《人工神經(jīng)網(wǎng)絡(luò)》精品PPT

1、人工神經(jīng)網(wǎng)絡(luò)目錄第1章 概述 11 人工神經(jīng)網(wǎng)絡(luò)研究與發(fā)展 12 生物神經(jīng)元 13 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成第2章人工神經(jīng)網(wǎng)絡(luò)基本模型 21 MP模型 22 感知器模型 23 自適應(yīng)線性神經(jīng)元第3章 EBP網(wǎng)絡(luò)(反向傳播算法） 31 含隱層的前饋網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 32 Sigmoid激發(fā)函數(shù)下的BP算法 33 BP網(wǎng)絡(luò)的訓(xùn)練與測試 34 BP算法的改進(jìn) 35 多層網(wǎng)絡(luò)BP算法的程序設(shè)計(jì) 多層前向網(wǎng)絡(luò)BP算法源程序第4章 Hopfield網(wǎng)絡(luò)模型 41 離散型Hopfield神經(jīng)網(wǎng)絡(luò) 42 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)模型源程序 43 旅行商問題(TSP)的HNN求解 Hopfi

2、eld模型求解TSP源程序第5章 隨機(jī)型神經(jīng)網(wǎng)絡(luò) 51 模擬退火算法 52 Boltzmann機(jī) Boltzmann機(jī)模型源程序 53 Gaussian機(jī)第6章自組織神經(jīng)網(wǎng)絡(luò) 61 競爭型學(xué)習(xí) 62 自適應(yīng)共振理論(ART)模型 63 自組織特征映射(SOM)模型 64 CPN模型目錄第7章 聯(lián)想記憶神經(jīng)網(wǎng)絡(luò) 71 聯(lián)想記憶基本特點(diǎn) 72 線性聯(lián)想記憶LAM模型 73 雙向聯(lián)想記憶BAM模型 74 時(shí)間聯(lián)想記憶TAM模型 Hopfield模型聯(lián)想記憶源程序第8章 CMAC模型 81 CMAC模型 82 CMAC映射算法 83 CMAC的輸出計(jì)算 84 CMAC控制器模型目錄神經(jīng)網(wǎng)絡(luò)研究與發(fā)展4

3、0年代初，美國Mc Culloch和PiMs從信息處理的角度，研究神經(jīng)細(xì)胞行為的數(shù)學(xué)模型表達(dá)提出了二值神經(jīng)元模型。MP模型的提出開始了對(duì)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)程。1949年心理學(xué)家Hebb提出著名的Hebb學(xué)習(xí)規(guī)則，即由神經(jīng)元之間結(jié)合強(qiáng)度的改變來實(shí)現(xiàn)神經(jīng)學(xué)習(xí)的方法。雖然Hebb學(xué)習(xí)規(guī)則在人們研究神經(jīng)網(wǎng)絡(luò)的初期就已提出，但是其基本思想至今在神經(jīng)網(wǎng)絡(luò)的研究中仍發(fā)揮著重要作用。 50年代末期，Rosenblatt提出感知機(jī)模型(Perceptron)，首先從工程角度出發(fā)，研究了用于信息處理的神經(jīng)網(wǎng)絡(luò)模型.這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本符合神經(jīng)生理學(xué)的原理。感知機(jī)雖然比較簡單，卻已具有神經(jīng)網(wǎng)絡(luò)的一

4、些基本性質(zhì)，如分布式存貯、并行處理、可學(xué)習(xí)性、連續(xù)計(jì)算等。這些神經(jīng)網(wǎng)絡(luò)的特性與當(dāng)時(shí)流行串行的、離散的、符號(hào)處理的電子計(jì)算機(jī)及其相應(yīng)的人工智能技術(shù)有本質(zhì)上的不同，由此引起許多研究者的興趣，在60代掀起了神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。但是，當(dāng)時(shí)人們對(duì)神經(jīng)網(wǎng)絡(luò)研究過于樂觀，認(rèn)為只要將這種神經(jīng)元互連成一個(gè)網(wǎng)絡(luò)，就可以解決人腦思維的模擬問題，然而，后來的研究結(jié)果卻又使人們走到另一個(gè)極端上。 在60年代末，美國著名人工智能專家Minsky和Papert對(duì)Rosenblatt的工作進(jìn)行了深人研究，出版了有較大影響的(Perceptron)一書，指出感知機(jī)的功能和處理能力的局限性，甚至連XOR(異或)這樣的問題也

5、不能解決，同時(shí)也指出如果在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)的層次，可以提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是卻無法給出相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)算法。因此Minsky的結(jié)論是悲觀的。另一方面，由于60年代以來集成電路和微電子技術(shù)日新月異的發(fā)展，使得電子計(jì)算機(jī)的計(jì)算速度飛速提高，加上那時(shí)以功能模擬為目標(biāo)、以知識(shí)信息處理為基礎(chǔ)的知識(shí)工程等研究成果，給人工智能從實(shí)驗(yàn)室走向?qū)嵱脦砹讼Ｍ?，這些技術(shù)進(jìn)步給人們造成這樣的認(rèn)識(shí)：以為串行信息處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無窮的，這就暫時(shí)掩蓋了發(fā)展新型計(jì)算機(jī)和尋找新的人工智能途徑的必要性和迫切性。另外，當(dāng)時(shí)對(duì)大腦的計(jì)算原理、對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算的優(yōu)點(diǎn)、缺點(diǎn)、可能性及其局限

6、性等還很不清楚。總之，認(rèn)識(shí)上的局限性使對(duì)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。 在這一低潮時(shí)期，仍有一些學(xué)者扎扎實(shí)實(shí)地繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的基礎(chǔ)理論研究，提出了許多有意義的理論和方法。其中，主要有自適應(yīng)共振理論，自組織映射，認(rèn)知機(jī)網(wǎng)絡(luò)模型理論，BSB模型等等，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了理論基礎(chǔ)。 進(jìn)入80年代，首先是基于“知識(shí)庫”的專家系統(tǒng)的研究和運(yùn)用，在許多方面取得了較大成功。但在一段時(shí)間以后，實(shí)際情況表明專家系統(tǒng)并不像人們所希望的那樣高明，特別是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運(yùn)動(dòng)控制等方面，傳統(tǒng)的計(jì)算機(jī)和人工智能技術(shù)面臨著重重困難。模擬人腦的智能信息處理過程，如果僅靠串行邏輯和符號(hào)處理等

7、傳統(tǒng)的方法來濟(jì)決復(fù)雜的問題，會(huì)產(chǎn)生計(jì)算量的組合爆炸。因此，具有并行分布處理模式的神經(jīng)網(wǎng)絡(luò)理論又重新受到人們的重視。對(duì)神經(jīng)網(wǎng)絡(luò)的研究又開始復(fù)興，掀起了第二次研究高潮。 1982年，美國加州理工學(xué)院物理學(xué)家JJHopfield提出了一種新的神經(jīng)網(wǎng)絡(luò)HNN。他引入了“能量函數(shù)”的概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù)。HNN的電子電路物理實(shí)現(xiàn)為神經(jīng)計(jì)算機(jī)的研究奠定了基礎(chǔ)，并將其應(yīng)用于目前電子計(jì)算機(jī)尚難解決的計(jì)算復(fù)雜度為NP完全型的問題，例如著名的“巡回推銷員問”(TSP)，取得很好的效果。從事并行分布處理研究的學(xué)者，于1985年對(duì)Hopfield模型引入隨機(jī)機(jī)制，提出了Boltzmann機(jī)。1986

8、年Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型的反向傳播學(xué)習(xí)算法(BP算法)，解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問題。 近十幾年來，許多具備不同信息處理能力的神經(jīng)網(wǎng)絡(luò)已被提出來并應(yīng)用于許多信息處理領(lǐng)域，如模式識(shí)別、自動(dòng)控制、信號(hào)處理、決策輔助、人工智能等方面。神經(jīng)計(jì)算機(jī)的研究也為神經(jīng)網(wǎng)絡(luò)的理論研究提供了許多有利條件，各種神經(jīng)網(wǎng)絡(luò)模擬軟件包、神經(jīng)網(wǎng)絡(luò)芯片以及電子神經(jīng)計(jì)算機(jī)的出現(xiàn)，體現(xiàn)了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的各項(xiàng)研究均取得了長足進(jìn)展。同時(shí)，相應(yīng)的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議和神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物的大量出現(xiàn)，給神經(jīng)網(wǎng)絡(luò)的研

9、究者們提供了許多討論交流的機(jī)會(huì)。 雖然人們已對(duì)神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的研究達(dá)成了共識(shí)，對(duì)其巨大潛力也毋庸置疑，但是須知，人類對(duì)自身大腦的研究，尤其是對(duì)其中智能信息處理機(jī)制的了解，還十分膚淺。因而現(xiàn)有的研究成果僅僅處于起步階段，還需許多有識(shí)之士長期的艱苦努力。 概括以上的簡要介紹，可以看出，當(dāng)前又處于神經(jīng)網(wǎng)絡(luò)理論的研究高潮，不僅給新一代智能計(jì)算機(jī)的研究帶來巨大影響，而且將推動(dòng)整個(gè)人工智能領(lǐng)域的發(fā)展。但另一方面，由于問題本身的復(fù)雜性，不論是神經(jīng)網(wǎng)絡(luò)原理自身，還是正在努力進(jìn)行探索和研究的神經(jīng)計(jì)算機(jī)，目前,都還處于起步發(fā)展階段。 為了了解ANN，我們首先分析一下現(xiàn)行計(jì)算機(jī)所存在的問題。盡管馮諾依曼型計(jì)

10、算機(jī)在當(dāng)今世界發(fā)揮著巨大的作用，但它在智能化信息處理過程中存在著許多局限性。我們簡單分析一下馮諾依曼型計(jì)算機(jī)求解某個(gè)問題所采用的方法。 (1)根據(jù)該問題的特點(diǎn)，建立合適的數(shù)學(xué)模型。 (2)根據(jù)所建立的數(shù)學(xué)模型的原始數(shù)據(jù)資料，生成適合于輸入計(jì)算機(jī)的程序和數(shù)據(jù)。 (3)計(jì)算機(jī)的控制器命令輸入器將計(jì)算步驟的初始數(shù)據(jù)記錄到存貯器中。 (4) 控制器根據(jù)計(jì)算步驟的順序，依次按存貯器地址讀出第一個(gè)計(jì)算步驟，然后根據(jù)讀出步驟的規(guī)定，控制運(yùn)算器對(duì)相應(yīng)數(shù)據(jù)執(zhí)行規(guī)定的運(yùn)算操作。 (5)反饋器從反饋信號(hào)中得知運(yùn)算器操作完畢，把所得的中間結(jié)果記錄到存貯器某個(gè)確定位置存貯好。 (6)反饋信號(hào)通知控制器再取第二個(gè)計(jì)算步騾

11、，然后重復(fù)上述的執(zhí)行過程。一直到整個(gè)運(yùn)算完成后，控制器就命令輸出器把存貯器中存放的最終結(jié)果用打印、顯示或繪圖等方式輸出。 將以上整個(gè)計(jì)算過程概括起來，可以看出現(xiàn)行馮諾依曼計(jì)算機(jī)有以下三個(gè)主要特點(diǎn)： (1)它必須不折不如地按照人們已經(jīng)編制好的程序步驟來進(jìn)行相應(yīng)的數(shù)值計(jì)算或邏輯運(yùn)算，它沒有主動(dòng)學(xué)習(xí)的能力和自適應(yīng)能力，因此它是被動(dòng)的。 (2)所有的程序指令都要調(diào)入CPU一條接一條地順序執(zhí)行。因此它的處理信息方式是集中的、串行的。 (3)存貯器的位置(即地址)和其中歷存貯的具體內(nèi)容無關(guān)。因此，在調(diào)用操作的指令或數(shù)據(jù)時(shí)，總是先找它所在存貯器的地址，然后再查出所存貯的內(nèi)容。這就是說，存貯內(nèi)容和存貯地址是不

12、相關(guān)的。 由于現(xiàn)行計(jì)算機(jī)的上述特點(diǎn)，一方面它在像數(shù)值計(jì)算或邏輯運(yùn)算這類屬于順序性(串行性)信息處理中，表現(xiàn)出遠(yuǎn)非人所能及的速度；另一方面，在涉及人類日常的信息活動(dòng)，例如識(shí)別圖形、聽懂語言等，卻又顯得那樣低能和笨拙。 實(shí)際上腦對(duì)外界世界時(shí)空客體的描述和識(shí)別，乃是認(rèn)知的基礎(chǔ)。認(rèn)知問題離不開對(duì)低層次信息處理的研究和認(rèn)識(shí)。雖然符號(hào)處理在腦的思維功能模擬等方面取得了很大進(jìn)展，但它對(duì)諸如視覺、聽覺、聯(lián)想記憶和形象思維等問題的處理往往感到力不從心。所以符號(hào)處理不可能全面解決認(rèn)知問題和機(jī)器智能化問題它對(duì)高層次腦功能的宏觀模擬很有效，而對(duì)一些低層次的模式處理則至今還有許多困難。 正是由于認(rèn)識(shí)到傳統(tǒng)的馮諾依曼計(jì)算

13、機(jī)在智能信息處理中的這種難以逾越的局限性使得人們考慮到有必要進(jìn)一步了解分析人腦神經(jīng)系統(tǒng)信息處理和存貯的機(jī)理特征以便尋求一條新的人工神經(jīng)網(wǎng)絡(luò)智能信息處理途徑。 人工神經(jīng)網(wǎng)絡(luò)研究是采用自下而上的方法，從腦的神經(jīng)系統(tǒng)結(jié)構(gòu)出發(fā)來研究腦的功能，研究大量簡單的神經(jīng)元的集團(tuán)信息處理能力及其動(dòng)態(tài)行為。目前，神經(jīng)網(wǎng)絡(luò)的研究使得對(duì)多年來困擾計(jì)算機(jī)科學(xué)和符號(hào)處理的一些難題可以得到比較令人滿意的解答，特別是對(duì)那些時(shí)空信息存貯及并行搜索、自組織聯(lián)想記億、時(shí)空數(shù)據(jù)統(tǒng)計(jì)描述的自組織以及從一些相互關(guān)聯(lián)的活動(dòng)中自動(dòng)獲取知識(shí)等一般性問題的求解，更顯示出獨(dú)特的能力。由此引起了智能研究者們的廣泛關(guān)注，并普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)方法適合于低層

14、次的模式處理。 人腦信息處理機(jī)制 生物神經(jīng)系統(tǒng)是一個(gè)有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞大約在1011一1013個(gè)左右。神經(jīng)細(xì)胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)的基本單元，它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。 人工神經(jīng)網(wǎng)絡(luò)的研究出發(fā)點(diǎn)是以生物神經(jīng)元學(xué)說為基礎(chǔ)的。生物神經(jīng)元學(xué)說認(rèn)為，神經(jīng)細(xì)胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨(dú)立的營養(yǎng)和功能單元。生物神經(jīng)系統(tǒng)包括中樞神經(jīng)系統(tǒng)和大腦，均是由各類神經(jīng)元組成。其獨(dú)立性是指每一個(gè)神經(jīng)元均有自己的核和自己的分界線或原生質(zhì)膜。 生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸

15、(Synapse)。突觸按其傳遞信息的不同機(jī)制，可分為化學(xué)突觸和電突觸、其中化學(xué)突觸占大多數(shù)，其神經(jīng)沖動(dòng)傳遞借助于化學(xué)遞質(zhì)的作用。生物神經(jīng)元的結(jié)構(gòu)大致描述如下圖所示。神經(jīng)元由細(xì)胞體和延伸部分組成。延伸部分按功能分有兩類，一種稱為樹突，占延伸部分的大多數(shù)，用來接受來自其他神經(jīng)元的信息；另一種用來傳遞和輸出信息，稱為軸突。神經(jīng)元對(duì)信息的接受和傳遞都是通過突觸來進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多達(dá)上千個(gè)的突觸輸入。這些輸入可達(dá)到神經(jīng)元的樹突、胞體和軸突等不同部位，但其分布各不相同對(duì)神經(jīng)元的影響也不同。 人類大腦皮質(zhì)的全部表面積約有20104mm2，平均厚度約25mm，皮質(zhì)的體積則約為50 104

16、mm3。如果皮質(zhì)中突觸的平均密度是6 l09mm3左右，則可認(rèn)為皮質(zhì)中的全部突觸數(shù)為3 1015個(gè)。如果再按上述人腦所含的全部神經(jīng)元數(shù)目計(jì)算，則每個(gè)神經(jīng)元平均的突觸數(shù)目可能就有1530萬個(gè)左右。 神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種突觸的聯(lián)接是可塑的，也就是說突觸特性的變化是受到外界信息的影響或自身生長過程的影響。生理學(xué)的研究歸納有以下幾個(gè)方面的變化： (1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴(kuò)大，從而突觸所釋放出的傳遞物質(zhì)增多，使得突觸的傳遞效率提高。其次是突觸傳遞物質(zhì)質(zhì)量的變化，包括比例成分的變化所引起傳遞效率的變化。 (2)突觸接觸間隙的變化。在突

17、觸表面有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。 (3)突觸的發(fā)芽。當(dāng)某些神經(jīng)纖維被破壞后，可能又會(huì)長出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸形成新的回路。由于新的回路的形成，使得結(jié)合模式發(fā)生變化，也會(huì)引起傳遞效率的變化。 (4)突觸數(shù)目的增減。由于種種復(fù)雜環(huán)境條件的刺激等原因，或者由于動(dòng)物本身的生長或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會(huì)發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。 神經(jīng)元對(duì)信息的接受和傳遞都是通過突觸來進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多個(gè)輸入。由于輸入分布于不同的部位，對(duì)神經(jīng)元影響的比例(權(quán)重)是不相同的。另外，各突觸輸入抵達(dá)神經(jīng)元的先后時(shí)間也不一祥。因此，一

18、個(gè)神經(jīng)元接受的信息，在時(shí)間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對(duì)它們進(jìn)行積累和整合加工，從而決定其輸出的時(shí)機(jī)和強(qiáng)度。正是神經(jīng)元這種整合作用，才使得億萬個(gè)神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。 多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。研究表明，生物神經(jīng)網(wǎng)絡(luò)的功能決不是單個(gè)神經(jīng)元生理和信息處理功能的簡單疊加，而是一個(gè)有層次的、多單元的動(dòng)態(tài)信息處理系統(tǒng)。它們有其獨(dú)特的運(yùn)行方式和控制機(jī)制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分折處理，然后調(diào)節(jié)控制機(jī)體對(duì)環(huán)境作出適當(dāng)?shù)姆磻?yīng)。 以上是從宏觀上分析了人腦信息處理特點(diǎn)。從信息系統(tǒng)研究的觀

19、點(diǎn)出發(fā)，對(duì)于人腦這個(gè)智能信息處理系統(tǒng)，有如下一些固有特征： (1)并行分布處理的工作模式。 實(shí)際上大腦中單個(gè)神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門電路要慢幾個(gè)數(shù)量級(jí)。每個(gè)神經(jīng)元的處理功能也很有限，估計(jì)不會(huì)比計(jì)算機(jī)的一條指令更復(fù)雜。 但是人腦對(duì)某一復(fù)雜過程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個(gè)圖形是否一樣，實(shí)際上約需400 ms，而在這個(gè)處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個(gè)串行步內(nèi)完成，這實(shí)際上是不可能辦到的。因此只能把它看成是一個(gè)由眾多神經(jīng)元所組成的超

20、高密度的并行處理系統(tǒng)。例如在一張照片尋找一個(gè)熟人的面孔，對(duì)人腦而言，幾秒鐘便可完成，但如用計(jì)算機(jī)來處理，以現(xiàn)有的技術(shù)，是不可能在短時(shí)間內(nèi)完成的。由此可見，大腦信息處理的并行速度已達(dá)到了極高的程度。 (2)神經(jīng)系統(tǒng)的可塑性和自組織性。 神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關(guān)。例如，人的幼年時(shí)期約在9歲左右，學(xué)習(xí)語言的能力十分強(qiáng)，說明在幼年時(shí)期，大腦的可塑性和柔軟性特別良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時(shí)還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復(fù)刺激下接受該信息的神經(jīng)細(xì)胞之間的突觸結(jié)合強(qiáng)度會(huì)增強(qiáng)。這種可塑性反映出大腦功能既有先天的制約因素，也有

21、可能通過后天的訓(xùn)練和學(xué)習(xí)而得到加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結(jié)合強(qiáng)度來實(shí)現(xiàn)的。 (3)信息處理與信息存貯合二為一。 大腦中的信息處理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計(jì)算機(jī)那樣存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進(jìn)行回億時(shí)，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。 (4)信息處理的系統(tǒng)性 大腦是一個(gè)復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個(gè)的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實(shí)際上，可以將大腦的各個(gè)部位看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)。各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一些子系

22、統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運(yùn)動(dòng)系統(tǒng)就存在很強(qiáng)的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能。 (5)能接受和處理模糊的、模擬的、隨機(jī)的信息。 (6)求滿意解而不是精確解。 人類處理日常行為時(shí)，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了。 (7)系統(tǒng)的恰當(dāng)退化和冗余備份(魯棒性和容錯(cuò)性)。 人工神經(jīng)網(wǎng)絡(luò)研究與應(yīng)用的主要內(nèi)容 人工種經(jīng)網(wǎng)絡(luò)的研究方興末艾，很難準(zhǔn)確地預(yù)測其發(fā)展方向。但就目前來看，人工神經(jīng)網(wǎng)絡(luò)的研究首先須解決全局穩(wěn)定性、結(jié)構(gòu)穩(wěn)定性、可編程性等問題?，F(xiàn)今的研究工作應(yīng)包含以下的一些基本內(nèi)容： (1)人工神經(jīng)網(wǎng)絡(luò)模型的研究。 神經(jīng)網(wǎng)絡(luò)

23、原型研究，即大腦神經(jīng)網(wǎng)絡(luò)的生理結(jié)構(gòu)、思維機(jī)制。 神經(jīng)元的生物特性如時(shí)空特性、不應(yīng)期、電化學(xué)性質(zhì)等的人工模擬 易于實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)計(jì)算模型。 利用物理學(xué)的方法進(jìn)行單元間相互作用理論的研究 如：聯(lián)想記憶模型。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法與學(xué)習(xí)系統(tǒng)。 (2)神經(jīng)網(wǎng)絡(luò)基本理論研究。神經(jīng)網(wǎng)絡(luò)的非線性特性，包括自組織、自適應(yīng)等作用。神經(jīng)網(wǎng)絡(luò)的基本性能，包括穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性、動(dòng)力學(xué)復(fù)雜性。神經(jīng)網(wǎng)絡(luò)的計(jì)算能力與信息存貯容量。 開展認(rèn)知科學(xué)的研究。探索包括感知、思考、記憶和語言等的腦信息處理模型。采用諸如連接機(jī)制等方法，將認(rèn)知信息處理過程模型化，并通過建立神經(jīng)計(jì)算學(xué)來代替算法淪。 (3)神經(jīng)網(wǎng)絡(luò)智能信息處理

24、系統(tǒng)的應(yīng)用。 認(rèn)知與人工智能包括模式識(shí)別、計(jì)算機(jī)視覺與聽覺、特征提取、語音識(shí)別語言翻譯、聯(lián)想記憶、邏輯推理、知識(shí)工程、專家系統(tǒng)、故障診斷、智能機(jī)器人等。 優(yōu)化與控制，包括優(yōu)化求解、決策與管理、系統(tǒng)辨識(shí)、魯棒性控制、自適應(yīng)控制、并行控制、分布控制、智能控制等。 信號(hào)處理；自適應(yīng)信號(hào)處理(自適應(yīng)濾波、時(shí)間序列預(yù)測、譜估計(jì)、消噪、檢測、陣列處理)和非線性信號(hào)處理(非線性濾波、非線性預(yù)測、非線性譜估計(jì)、非線性編碼、中值處理)。 傳感器信息處理：模式預(yù)處理變換、信息集成、多傳感器數(shù)據(jù)融合。 (4)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)。 在通用計(jì)算機(jī)、專用計(jì)算機(jī)或者并行計(jì)算機(jī)上進(jìn)行軟件模擬，或由專用數(shù)字信號(hào)處理芯

25、片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器。 由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實(shí)現(xiàn)神經(jīng)芯片。軟件模擬的優(yōu)點(diǎn)是網(wǎng)絡(luò)的規(guī)?？梢暂^大，適合于用來驗(yàn)證新的模型和復(fù)雜的網(wǎng)絡(luò)特性。硬件實(shí)現(xiàn)的優(yōu)點(diǎn)是處理速度快，但由于受器件物理因素的限制，根據(jù)目前的工藝條件，網(wǎng)絡(luò)規(guī)模不可能做得太大。僅幾千個(gè)神經(jīng)元。但代表了未來的發(fā)展方向，因此特別受到人們的重視。 (5)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)。 計(jì)算機(jī)仿真系統(tǒng)。 專用神經(jīng)網(wǎng)絡(luò)并行計(jì)算機(jī)系統(tǒng)。 數(shù)字、模擬、數(shù)?；旌?、光電互連等。 光學(xué)實(shí)現(xiàn)。 生物實(shí)現(xiàn)。 關(guān)于智能本質(zhì)的研究是自然科學(xué)和哲學(xué)的重大課題之一，對(duì)于智能的模擬和機(jī)器再現(xiàn)肯定可以開發(fā)拓展出一代新興產(chǎn)業(yè)。由于智能本質(zhì)的復(fù)雜性，現(xiàn)代智能

26、研究已超越傳統(tǒng)的學(xué)科界限，成為腦生理學(xué)、神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)，乃至數(shù)理科學(xué)共同關(guān)心的“焦點(diǎn)”學(xué)科。人工神經(jīng)網(wǎng)絡(luò)的重大研究進(jìn)展有可能使包括信息科學(xué)在內(nèi)的其他學(xué)科產(chǎn)生重大突破和變革。展望人工神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用，人類智能有可能產(chǎn)生一次新的飛躍。人工神經(jīng)網(wǎng)絡(luò)的信息處理能力人工神經(jīng)網(wǎng)絡(luò)的信息處理能力 人工神經(jīng)網(wǎng)絡(luò)的信息處理能力包括兩方面的內(nèi)容：一、神經(jīng)網(wǎng)絡(luò)信息存貯能力即要解決這樣的一個(gè)問題：在一個(gè)有N個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)中，可存貯多少值的信息?二、神經(jīng)網(wǎng)絡(luò)的計(jì)算能力。需要解決的問題是：神經(jīng)網(wǎng)絡(luò)能夠有效地計(jì)算哪些問題?在眾多的文獻(xiàn)中，人們都一致認(rèn)為：存貯能力和計(jì)算能力是

27、現(xiàn)代計(jì)算機(jī)科學(xué)中的兩個(gè)基本問題，同樣，它們也構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)研究中的基本問題。 前面提到在傳統(tǒng)的馮諾依曼型計(jì)算機(jī)中，其計(jì)算與存貯是完全獨(dú)立的兩個(gè)部分。這兩個(gè)獨(dú)立部分存貯器與運(yùn)算器之間的通道，就成為提高計(jì)算機(jī)計(jì)算能力的瓶頸，并且只要這兩個(gè)部分是獨(dú)立存在的，這個(gè)問題就始終存在。對(duì)不同的計(jì)算機(jī)而言，只是這一問題的嚴(yán)重程度不同而已。神經(jīng)網(wǎng)絡(luò)模型從本質(zhì)上解決了傳統(tǒng)計(jì)算機(jī)的這個(gè)問題。它將信息的存貯與信息的處理完善地結(jié)合在一起。這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)的運(yùn)行是從輸入到輸出的值傳遞過程，在信息傳遞的同時(shí)也就完成了信息的存貯與計(jì)算。 (1)神經(jīng)網(wǎng)絡(luò)的存貯能力。神經(jīng)網(wǎng)絡(luò)的存貯能力因不同的網(wǎng)絡(luò)而不相同。這里我們給出Hop

28、field的一些結(jié)論。 定義：一個(gè)存貯器的信息表達(dá)能力定義為其可分辨的信息類型的對(duì)數(shù)值。 在一個(gè)M1的隨機(jī)存貯器RAM中，有M位地址，一位數(shù)據(jù)，它可存貯2M位信息這個(gè)RAM中，可以讀寫長度為2M的信息串，而 M長度為2M的信息串有2 2 種，所以，可以分辨上述這么多種信息串。按上面的定義， M1的RAM的存貯能力為： C2M(位)。 定理1.1 N個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的信息表達(dá)能力上限為： C (位)。 定理12 N個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的信息表達(dá)能力下限為： C (位)。 其中N2指小于或等于N2的最大整數(shù)。定理13 神經(jīng)網(wǎng)絡(luò)可以存貯2N-1個(gè)信息，也可以區(qū)分2 N-1個(gè)不同的網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)的計(jì)

29、算能力數(shù)學(xué)的近似映射；識(shí)別和分類這些計(jì)算都可以抽象成一種近似的數(shù)學(xué)映射。如誤差反播模型(BP)、對(duì)向傳播網(wǎng)絡(luò)模型(CPN)、小腦模型(CMAC)等都可以完成這種計(jì)算。概率密度函數(shù)的估計(jì)：通過自組織的方式，開發(fā)尋找出一組等概率“錨點(diǎn)”，來響應(yīng)在空間只“中按照一個(gè)確定概率密度函數(shù)選擇到的一組矢量樣本。自組織映射模型(SOM) 和CPN模型可以完成這樣的計(jì)算。從二進(jìn)制數(shù)據(jù)基中提取相關(guān)的知識(shí)：這種計(jì)算是形成一種知識(shí)的聚類模型，這些知識(shí) 依照數(shù)據(jù)基的自組織在它們之間有某種統(tǒng)計(jì)上的共性，并依此來響應(yīng)輸入的數(shù)據(jù)基記錄。腦中盒模型(BSB)有能力進(jìn)行這種計(jì)算。形成拓?fù)溥B續(xù)及統(tǒng)計(jì)意義上的同構(gòu)映射：它是對(duì)固定概率

30、密度函數(shù)選擇的適應(yīng)輸入數(shù)據(jù)的一種自組織映射，其最終使得數(shù)據(jù)空間上的不同項(xiàng)有某種同構(gòu)。SOM模型適合計(jì)算此類問題。最近相鄰模式分類：通過比較大量的存貯數(shù)據(jù)來進(jìn)行模式分類，但首先應(yīng)通過學(xué)習(xí)樣本模式進(jìn)行分類?？捎脤哟涡缘拇尜A模式來進(jìn)行分類信息的表示。絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型均能進(jìn)行這種計(jì)算。如自適應(yīng)共振理論模型(ART)、雙向聯(lián)想記億模型 (BAM)、BP模型、玻爾茲曼機(jī)模型(BM)、BSB模型、CPN模型、Hopfield模型等等。數(shù)據(jù)聚類：采用自組織的方法形成所選擇的“顆?！被蚰Ｊ降木垲悾源藖眄憫?yīng)輸人數(shù)據(jù)。聚類是可變的但要限制其鞍點(diǎn)的個(gè)數(shù)。對(duì)于任何新的目標(biāo)，只要系統(tǒng)中沒有對(duì)其提供聚類，都要形成新

31、的聚類。很顯然這種能力可直接應(yīng)用于復(fù)雜的多目標(biāo)跟蹤。ART 模型最適合于這種計(jì)算。最優(yōu)化問題：用來求解局部甚至是全局最優(yōu)解。Hopfield模型、玻爾茲曼機(jī)模型(BM)有能力進(jìn)行這種計(jì)算。 自從80年代中期人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇以來，其發(fā)展速度及應(yīng)用規(guī)模令人驚嘆。技術(shù)發(fā)達(dá)國家和集團(tuán)推行了一系列有關(guān)的重要研究計(jì)劃、投資總額在數(shù)億美元，出現(xiàn)了一批神經(jīng)網(wǎng)絡(luò)企業(yè)和在眾多領(lǐng)域中的應(yīng)用產(chǎn)品。有關(guān)神經(jīng)網(wǎng)絡(luò)的大型國際會(huì)議已召開了許多次，我國也召開了三次。在前幾年的熱浪過去之后，當(dāng)前對(duì)于神經(jīng)網(wǎng)絡(luò)的研究正在轉(zhuǎn)入穩(wěn)定、但發(fā)展步伐依然是極其迅速的時(shí)期。這一時(shí)期的研究和發(fā)展有以下幾個(gè)特點(diǎn)： (1)神經(jīng)網(wǎng)絡(luò)研究工作者對(duì)于研究對(duì)

32、象的性能和潛力有了更充分的認(rèn)識(shí)從而對(duì)研究和應(yīng)用的領(lǐng)域有了更恰當(dāng)?shù)睦斫狻Ｔ陬^腦冷靜下來之后，可以看到，盡管神經(jīng)網(wǎng)絡(luò)所能做的事情比當(dāng)初一些狂熱鼓吹者所設(shè)想的要少，但肯定比那些悲觀論者要多得多?，F(xiàn)在普遍認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)比較適用于特征提取、模式分類、聯(lián)想記憶、低層次感知、自適應(yīng)控制等場合，在這些方面，嚴(yán)格的解析方法會(huì)遇到很大困難。當(dāng)前對(duì)神經(jīng)網(wǎng)絡(luò)的研究目標(biāo)，就是從理論上和實(shí)踐上探討一種規(guī)模上可控的系統(tǒng)，它的復(fù)雜程度雖然遠(yuǎn)比不上大腦，但又具有類似大腦的某些性質(zhì)，這種性質(zhì)如果用常規(guī)手段則難以實(shí)現(xiàn)?？梢哉f，國際上關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的主要領(lǐng)域不是對(duì)神經(jīng)網(wǎng)絡(luò)建模的基礎(chǔ)研究，而是一個(gè)工程或應(yīng)用領(lǐng)域，即它從對(duì)腦的神經(jīng)

33、模型研究中受到啟發(fā)和鼓舞，但試圖解決的卻是工程問題。雖然對(duì)腦工作機(jī)理的理解十分重要，但這種理解是一個(gè)相當(dāng)長期的過程。而對(duì)于神經(jīng)網(wǎng)絡(luò)的應(yīng)用需求則是大量的和迫切的。 (2)神經(jīng)網(wǎng)絡(luò)的研究，不僅其本身正在向綜合性發(fā)展，而且愈來愈與其他領(lǐng)域密切結(jié)合起來，發(fā)展出性能更強(qiáng)的結(jié)構(gòu)。為了更好地把現(xiàn)有各種神經(jīng)網(wǎng)絡(luò)模型的特點(diǎn)綜合起來，增強(qiáng)網(wǎng)絡(luò)解決問題的能力，80年代末和90年代初出現(xiàn)了混合網(wǎng)絡(luò)系統(tǒng)，如把多層感知器與自組織特征級(jí)聯(lián)起來，在模式識(shí)別中可以取得比單一網(wǎng)絡(luò)更好的結(jié)果。1991年美國ward System Group公司推出的軟件產(chǎn)品Neuro windows(Brain1)是這方面的典型代表。它可以產(chǎn)生1

34、28個(gè)交互作用的神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)可是自組織網(wǎng)也可是多層感知器網(wǎng)，最多可達(dá)32層，每層可達(dá)32個(gè)節(jié)點(diǎn)，且可以與其他8層相聯(lián)。據(jù)稱這是近年來神經(jīng)網(wǎng)絡(luò)發(fā)展方面的一個(gè)躍進(jìn)。它在微軟公司的VB上運(yùn)行，被認(rèn)為是近些年來最重要的軟件進(jìn)展和最高水平的智能工具。 神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)人工智能方法相結(jié)合是近年來發(fā)展員快的一個(gè)方面。雖然在人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇之初有人喊過“人工智能已死，神經(jīng)網(wǎng)絡(luò)萬歲”，雖然在傳統(tǒng)的人工智能領(lǐng)域工作的許多人對(duì)于神經(jīng)網(wǎng)絡(luò)的發(fā)展抱有懷疑或否定態(tài)度但這幾年的發(fā)展日益證明，把這兩者結(jié)合起來是一條最佳途徑。采用綜合方法可以取長補(bǔ)短，更好地發(fā)揮各自的特點(diǎn)。比如，神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)和連接可明確地與規(guī)定的目標(biāo)和關(guān)系

35、聯(lián)系在一起，可把特定的推理規(guī)則作為目標(biāo)節(jié)點(diǎn)之間的規(guī)定聯(lián)接，節(jié)點(diǎn)數(shù)可以由所描寫的規(guī)則所決定，可對(duì)節(jié)點(diǎn)的權(quán)及閾值加以選擇以便描寫所需的邏輯關(guān)系，利用組合規(guī)則解釋節(jié)點(diǎn)的激活從而解釋網(wǎng)絡(luò)的行為，并按神經(jīng)網(wǎng)絡(luò)方式設(shè)計(jì)專家系統(tǒng)。最近所出現(xiàn)的把神經(jīng)網(wǎng)絡(luò)與人工智能系統(tǒng)結(jié)合起來的方式大體可分為兩類，一類是把人工智能系統(tǒng)作為神經(jīng)網(wǎng)絡(luò)的前端，一類是把神經(jīng)網(wǎng)絡(luò)作為人工智能系統(tǒng)的前端。在前一類中，人工智能系統(tǒng)可以與使用者交互作用(如向使用者提出問題，了解使用者的需求)，然后利用知識(shí)與神經(jīng)網(wǎng)絡(luò)準(zhǔn)備數(shù)據(jù)。這方面的第一個(gè)商用系統(tǒng)是美國杜邦公司的LAM系統(tǒng)。它把人工智能系統(tǒng)、神經(jīng)網(wǎng)絡(luò)和文本檢索系統(tǒng)結(jié)合起來，供建筑師、玻璃切割與

36、裝配工程師使用，使得對(duì)建筑物玻璃結(jié)構(gòu)的設(shè)計(jì)、選配和施工更簡單、靈活、省時(shí)，適應(yīng)性更強(qiáng)。目前正在建筑行業(yè)大力推廣。也可以利用人工智能系統(tǒng)作為信息流的控制器，利用教師機(jī)制和基于規(guī)則的指南，幫助使用者從大量選擇項(xiàng)中選擇正確的神經(jīng)網(wǎng)絡(luò)來解決某一專門問題。這種系統(tǒng)已在化工領(lǐng)域中得到應(yīng)用，幫助用戶由所需化合物的性質(zhì)來確定化學(xué)公式，或由公式產(chǎn)生出相應(yīng)的物理特性，或由性質(zhì)產(chǎn)生出相應(yīng)的化合物等等。神經(jīng)網(wǎng)絡(luò)理論研究重大成果1.Hornik等人證明了：僅有一個(gè)非線性隱層的前饋網(wǎng)絡(luò)就能以任意精度逼近任意復(fù)雜度的函數(shù) 。2.神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，所表達(dá)的函數(shù)是“可以”求出的。3.神經(jīng)網(wǎng)絡(luò)的幾何意義。4.神經(jīng)網(wǎng)絡(luò)集成。5.自主

37、的神經(jīng)網(wǎng)絡(luò)。第2章 人工神經(jīng)網(wǎng)絡(luò)基本模型一、MP模型 MP模型屬于一種閾值元件模型，它是由美國Mc Culloch和Pitts提出的最早神經(jīng)元模型 之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。 標(biāo)準(zhǔn)MP模型 wij 代表神經(jīng)元i與神經(jīng)元j之間的連接強(qiáng)度(模擬生物神經(jīng)元之間突觸連接強(qiáng)度)，稱之為連接權(quán)； ui代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)； vj代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個(gè)輸入； i代表神經(jīng)元i的閾值。 函數(shù)f表達(dá)了神經(jīng)元的輸入輸出特性。在MP模型中，f定義為階躍函數(shù)： 如果把閾值i看作為一個(gè)特殊的權(quán)值，則可改寫為:其中，w0i-i，v01 為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力

38、，常采用s型函數(shù):該函數(shù)的圖像如下圖所示 MP模型在發(fā)表時(shí)并沒有給出一個(gè)學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)目的。下面介紹的Hebb學(xué)習(xí)規(guī)則就是一個(gè)常見學(xué)習(xí)算法。 Hebb學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整wij的原則為：若第i和第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即： wijuivj 這一規(guī)則與“條件反射”學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說的證實(shí)。 是表示學(xué)習(xí)速率的比例常數(shù)。 2 感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者F.Rosenb

39、latt于1957年提出.感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號(hào)處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。簡單感知器 簡單感知器模型實(shí)際上仍然是MP模型的結(jié)構(gòu)，但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。其結(jié)構(gòu)如下圖所示 感知器處理單元對(duì)n個(gè)輸入進(jìn)行加權(quán)和操作v即：其中，Wi為第i個(gè)輸入到處理單元的連接權(quán)值為閾值。 f取階躍函數(shù). 感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。 利用簡單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。 Y=f(w1x1+w2x2

40、-)(1)“與”運(yùn)算。當(dāng)取w1w21，1.5時(shí)，上式完成邏輯“與”的運(yùn)算。 (2)“或”運(yùn)算， 當(dāng)取wlw21， 0.5時(shí)，上式完成邏輯“或”的運(yùn)算。(3)“非”運(yùn)算，當(dāng)取wl=-1，w20， -1時(shí)完成邏輯“非”的運(yùn)算。 與許多代數(shù)方程一樣，上式中不等式具有一定的幾何意義。對(duì)于一個(gè)兩輸入的簡單感知器，每個(gè)輸入取值為0和1，如上面結(jié)出的邏輯運(yùn)算，所有輸入樣本有四個(gè)，記為(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，構(gòu)成了樣本輸入空間。例如，在二維平面上，對(duì)于“或”運(yùn)算，各個(gè)樣本的分布如下圖所示。直線 1*x1+1*x2-050將二維平面分為兩部分，上部為激發(fā)區(qū)(y，=1，用表示)，下部為抑制區(qū)(y0，用表示)。 簡單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法。該算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個(gè)重要算法，并已被廣泛應(yīng)用?，F(xiàn)介紹如下： 誤差型學(xué)習(xí)規(guī)則： (1)選擇一組初始權(quán)值wi(0)。 (2)計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸