《神經(jīng)網(wǎng)絡(luò)》課件第2章

2.1生物神經(jīng)元模型

2.2人工神經(jīng)元2.3神經(jīng)網(wǎng)絡(luò)常用的激發(fā)函數(shù)

2.4神經(jīng)網(wǎng)絡(luò)的分類

2.5神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法2.6小結(jié)習(xí)題

基于人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN)的控制稱之為神經(jīng)網(wǎng)絡(luò)控制(NNC)系統(tǒng)，簡(jiǎn)稱為神經(jīng)控制(NeuralControl,NC)。隨著人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展，神經(jīng)網(wǎng)絡(luò)越來(lái)越多地用于控制領(lǐng)域的各個(gè)方面,如過(guò)程控制、機(jī)器人控制、生產(chǎn)制造、模式識(shí)別及決策支持等。本章主要介紹神經(jīng)網(wǎng)絡(luò)的基本概念和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，包括生物神經(jīng)元模型、人工神經(jīng)網(wǎng)絡(luò)發(fā)展及特點(diǎn)、神經(jīng)網(wǎng)絡(luò)常用的激發(fā)函數(shù)、神經(jīng)網(wǎng)絡(luò)常用的學(xué)習(xí)方法等內(nèi)容。正常人腦是由大約1011~1012個(gè)神經(jīng)元組成的，神經(jīng)元是腦組織的基本單元。每個(gè)神經(jīng)元具有102~104個(gè)突觸與其它神經(jīng)元相連接，形成了錯(cuò)綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。神經(jīng)元由胞體、樹突和軸突構(gòu)成。胞體是神經(jīng)元的代謝中心，每個(gè)細(xì)胞體有大量的樹突(輸入端)和軸突(輸出端)，不同神經(jīng)元的軸突與樹突互連的結(jié)合部為突觸，突觸決定神經(jīng)元之間的連接強(qiáng)度和作用性質(zhì)，而每個(gè)神經(jīng)元胞體本身則是一非線性輸入、輸出單元。

一個(gè)神經(jīng)元的模型示意圖如圖2-1所示。2.1生物神經(jīng)元模型

圖2-1神經(jīng)元模型示意圖由圖可見(jiàn)，神經(jīng)元由胞體、樹突和軸突構(gòu)成。胞體是神經(jīng)元的代謝中心，它本身又由細(xì)胞核、內(nèi)質(zhì)網(wǎng)和高爾基體組成。胞體一般生長(zhǎng)有許多樹狀突起物，稱之為樹突，它是神經(jīng)元的主要接收器。胞體還延伸出一條管狀纖維組織，稱之為軸突，軸突外面包有一層較厚的絕緣組織，稱之為髓鞘(梅林鞘)。髓鞘規(guī)則地分為許多短段，段與段之間的部位被稱為郎飛節(jié)。軸突的作用是傳導(dǎo)信息，通常軸突的末端分出很多末梢，它們與后一個(gè)神經(jīng)元的樹突構(gòu)成一種稱為突觸的機(jī)構(gòu)。前一神經(jīng)元的信息經(jīng)由其軸突傳到末梢之后，通過(guò)突觸對(duì)后面各個(gè)神經(jīng)元產(chǎn)生影響。從生物控制論的觀點(diǎn)看，神經(jīng)元作為控制和信息處理的單元，具有以下主要功能及特點(diǎn)：

(1)興奮與抑制狀態(tài)。神經(jīng)元具有兩種常規(guī)工作狀態(tài)，當(dāng)傳入沖動(dòng)的信息使細(xì)胞膜電位升高，超過(guò)被稱為動(dòng)作電位的閾值(約40mV)時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由突觸輸出，稱之為興奮；否則，突觸無(wú)輸出，神經(jīng)元的工作狀態(tài)為抑制。神經(jīng)元的這兩種工作狀態(tài)滿足“0-1”率，對(duì)應(yīng)于“興奮-抑制”狀態(tài)。

(2)突觸的延期或不應(yīng)期。神經(jīng)沖動(dòng)沿神經(jīng)傳導(dǎo)的速度在1~150m/s之間，在相鄰的兩次沖動(dòng)之間需要一個(gè)時(shí)間間隔，即為不應(yīng)期。

(3)學(xué)習(xí)、遺忘和疲勞。由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)、減弱和飽和，因此細(xì)胞具有相應(yīng)的學(xué)習(xí)功能、遺忘或疲勞效應(yīng)(飽和效應(yīng))。

隨著生物控制論的發(fā)展，人們對(duì)神經(jīng)元的結(jié)構(gòu)和功能有了進(jìn)一步的了解，神經(jīng)元不僅僅是一簡(jiǎn)單的雙穩(wěn)態(tài)邏輯元件，而且是超級(jí)的微型生物信息處理機(jī)或控制機(jī)單元。2.2.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)模仿人腦神經(jīng)的活動(dòng)，力圖建立腦神經(jīng)活動(dòng)的數(shù)學(xué)模型。近年來(lái)，智能控制作為一個(gè)新的交叉學(xué)科蓬勃興起。人們?cè)诟邔哟紊蠈で罂刂?、?jì)算機(jī)和神經(jīng)生理學(xué)的

新結(jié)合，以此來(lái)解決現(xiàn)實(shí)世界中常規(guī)控制論難以解決的一些問(wèn)題。2.2人工神經(jīng)元

神經(jīng)網(wǎng)絡(luò)的研究已有60多年的歷史。20世紀(jì)40年代初，心理學(xué)家Mcculloch和數(shù)學(xué)家Pitts提出了形式神經(jīng)元的數(shù)學(xué)模型，且研究了神經(jīng)元模型幾個(gè)基本元件互相連接的潛在功能。1949年，Hebb和其他學(xué)者研究神經(jīng)系統(tǒng)中的自適應(yīng)定律，并提出了改進(jìn)神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。1958年，Rosenblatt首先引入了感知器(Perceptron)的概念，并提出了構(gòu)造感知器的結(jié)構(gòu)，這對(duì)以后的研究起到了很大的作用。1962年，Widrow提出了線性自適應(yīng)元件(Adline)，它用于連續(xù)取值的線性網(wǎng)絡(luò)，主要用于自適應(yīng)系統(tǒng)，與當(dāng)時(shí)占主導(dǎo)地位的以順序離散符號(hào)推理為基本特性的AI方法完全不同。之后，Minsky和Papert于1969年對(duì)以感知器為代表的網(wǎng)絡(luò)作了嚴(yán)格的數(shù)學(xué)分析，證明了一些性質(zhì)并指出了幾個(gè)模型的局限性。神經(jīng)元網(wǎng)絡(luò)在相當(dāng)長(zhǎng)的一段時(shí)間發(fā)展緩慢。Grossberg在20世紀(jì)70年代對(duì)神經(jīng)元網(wǎng)絡(luò)的研究有了新的突破性的進(jìn)展。根據(jù)生物學(xué)和生理學(xué)的證明，他提出了具有新特征的幾種非線性動(dòng)態(tài)系統(tǒng)結(jié)構(gòu)。1982年，Hopfield在網(wǎng)絡(luò)研究中引入了“能量函數(shù)”的概念，將特殊的非線性結(jié)構(gòu)用于解決優(yōu)化類的問(wèn)題，這引起了工程界的巨大興趣。Hopfield網(wǎng)至今仍是控制方面應(yīng)用最多的網(wǎng)絡(luò)之一。

1985年，Hinton和Sejnowshi借用了統(tǒng)計(jì)物理學(xué)的概念和方法，提出了Boltzman機(jī)模型，在學(xué)習(xí)過(guò)程中采用了模擬退火技術(shù)，保證系統(tǒng)能全局最優(yōu)。1986年，以Rumelthard和Mcclelland為代表的PDP(ParalellDistributedProcessing)小組發(fā)表了一系列研究結(jié)果和算法。由于他們卓越的工作，使得神經(jīng)元網(wǎng)絡(luò)的研究和應(yīng)用進(jìn)入了興盛時(shí)期。此后，Kosko提出了雙向聯(lián)想存儲(chǔ)器和自適應(yīng)雙向聯(lián)想存儲(chǔ)器，為在具有噪聲的環(huán)境中的學(xué)習(xí)提供了途徑。2.2.2神經(jīng)網(wǎng)絡(luò)的特性

神經(jīng)網(wǎng)絡(luò)作為一種新技術(shù)引起了人們的巨大興趣，并越來(lái)越多地用于控制領(lǐng)域，這正是因?yàn)榕c傳統(tǒng)的控制技術(shù)相比，神經(jīng)網(wǎng)絡(luò)具有以下主要特性：

(1)非線性。神經(jīng)網(wǎng)絡(luò)在理論上可以趨近任何非線性的映射。對(duì)于非線性復(fù)雜系統(tǒng)的建模、預(yù)測(cè)，神經(jīng)網(wǎng)絡(luò)比其它方法更實(shí)用、更經(jīng)濟(jì)。

(2)平行分布處理。神經(jīng)網(wǎng)絡(luò)具有高度平行的結(jié)構(gòu)，這使其本身可平行實(shí)現(xiàn)，故較其它常規(guī)方法有更大程度的容錯(cuò)能力。

(3)硬件實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)不僅可以平行實(shí)現(xiàn)，而且一些制造廠家已經(jīng)用專用的VLSI硬件來(lái)制作神經(jīng)網(wǎng)絡(luò)。

(4)學(xué)習(xí)和自適應(yīng)性。利用系統(tǒng)實(shí)際統(tǒng)計(jì)數(shù)據(jù)，可以對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。受適當(dāng)訓(xùn)練的網(wǎng)絡(luò)有能力泛化，即當(dāng)輸入出現(xiàn)訓(xùn)練中未提供的數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也有能力進(jìn)行辨識(shí)。神經(jīng)網(wǎng)絡(luò)還可以在線訓(xùn)練。

(5)數(shù)據(jù)融合。神經(jīng)網(wǎng)絡(luò)可以同時(shí)對(duì)定性、定量的數(shù)據(jù)進(jìn)行操作。在這方面，神經(jīng)網(wǎng)絡(luò)正好是傳統(tǒng)工程(定量數(shù)據(jù))和人工智能領(lǐng)域(符號(hào)數(shù)據(jù))信息處理技術(shù)之間的橋梁。

(6)多變量系統(tǒng)。神經(jīng)網(wǎng)絡(luò)能處理多輸入信號(hào)，且可以具有多個(gè)輸出，故適用于多變量系統(tǒng)。

從控制理論的觀點(diǎn)來(lái)看，神經(jīng)網(wǎng)絡(luò)處理非線性的能力是最有意義的；從系統(tǒng)辨識(shí)和模式識(shí)別的角度考慮，神經(jīng)網(wǎng)絡(luò)跟蹤和識(shí)別非線性特性的能力是其最大的優(yōu)勢(shì)。2.2.3人工神經(jīng)元模型

人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元。它是對(duì)生物神經(jīng)元的簡(jiǎn)化和模擬。圖2-2表示一種簡(jiǎn)化的神經(jīng)元結(jié)構(gòu)。從圖可見(jiàn)，它是一個(gè)多輸入、單輸出的非線性元件，其輸入/輸出

關(guān)系可描述為(2-1)其中xj(j=1,2,…,n)是從其它細(xì)胞傳來(lái)的輸入信號(hào)，θ為閾值，權(quán)系數(shù)wj表示連接的強(qiáng)度，說(shuō)明突觸的負(fù)載。f(x)稱為激發(fā)函數(shù)或作用函數(shù)，其非線性特性可用閾值型、分段線性型和連續(xù)型激發(fā)函數(shù)近似。圖2-2簡(jiǎn)化的神經(jīng)元結(jié)構(gòu)為了方便，有時(shí)將－θ也看成是對(duì)應(yīng)恒等于1的輸入x0

的權(quán)值，這時(shí)(2-1)式的和式變成：

其中,w0=-θ,x0=1。(2-2)神經(jīng)網(wǎng)絡(luò)中常用的激發(fā)函數(shù)如圖2-3所示。不同的激發(fā)函數(shù)決定了神經(jīng)元的不同輸出特性。2.3神經(jīng)網(wǎng)絡(luò)常用的激發(fā)函數(shù)

圖2-3常用激發(fā)函數(shù)

1.閾值型函數(shù)

圖2-3中，(a)和(b)為閾值型函數(shù)；當(dāng)yi取0或1時(shí)，f(x)為圖中(a)所示的階躍函數(shù)：(2-3)當(dāng)yi?。?或1時(shí)，f(x)為圖中(b)所示的sgn(符號(hào)函數(shù))函數(shù)：(2-4)

2.飽和型函數(shù)

圖2-3中(c)為飽和型函數(shù)，描述為

3.雙曲型函數(shù)

圖2-3中(d)是雙曲型函數(shù)或稱為對(duì)稱的sigmoid函數(shù)，描述為

圖2-3中(d)、(e)和(f)均為連續(xù)型的激發(fā)函數(shù)。其中I和x

之間的關(guān)系見(jiàn)式(2-2)。(2-6)

4.S型函數(shù)

圖2-3中(e)為S型函數(shù)，又稱之為sigmoid函數(shù)，描述為

神經(jīng)元的狀態(tài)與輸入之間的關(guān)系為在(0，1)內(nèi)連續(xù)取值的單調(diào)可微函數(shù)。當(dāng)β→∞時(shí)，S型函數(shù)趨于階躍函數(shù)。通常情況下β取1。(2-7)

5.高斯函數(shù)

圖2-3中(f)是高斯函數(shù):式中,c是高斯函數(shù)中心值，c為0時(shí)函數(shù)以縱軸對(duì)稱；b是高斯函數(shù)的尺度因子，b確定高斯函數(shù)的寬度。神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元廣泛連接成的網(wǎng)絡(luò)。根據(jù)連接方式的不同，神經(jīng)網(wǎng)絡(luò)可以分為兩大類：無(wú)反饋的前向神經(jīng)網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)(包括反饋網(wǎng)絡(luò))，分別如圖2-4和圖2-5所示。前向網(wǎng)絡(luò)分為輸入層、隱含層(簡(jiǎn)稱隱層也稱中間層)和輸出層。隱層可以有若干層，每一層的神經(jīng)元只接收前一層神經(jīng)元的輸出。而相互連接型網(wǎng)絡(luò)的神經(jīng)元相互之間都可能有連接，因此，輸入信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞，從某一初態(tài)開(kāi)始，經(jīng)過(guò)若干次變化，漸漸趨于某一穩(wěn)定狀態(tài)或進(jìn)入周期振蕩等其它狀態(tài)。2.4神經(jīng)網(wǎng)絡(luò)的分類

迄今為止，約有40種神經(jīng)網(wǎng)絡(luò)模型，其中具有代表性的有：BP網(wǎng)絡(luò)、回歸BP網(wǎng)絡(luò)、GMDH網(wǎng)絡(luò)、徑向基函數(shù)RBF、感知器、CG網(wǎng)絡(luò)、盒中腦(BSB)模型、Hopfield神經(jīng)網(wǎng)絡(luò)、BoltzmanMechine/CauchyMachine(BCM)、CounterPropagation(CPN)、Madaline網(wǎng)絡(luò)、自適應(yīng)共振理論(ART，包括ART1和ART2)、雪崩網(wǎng)絡(luò)、雙向聯(lián)想記憶(BAM)網(wǎng)絡(luò)、學(xué)習(xí)矩陣(LRN)、神經(jīng)認(rèn)識(shí)機(jī)、自組織映射(SOM)、細(xì)胞神經(jīng)網(wǎng)絡(luò)(CNN)、交替投影神經(jīng)網(wǎng)絡(luò)(APNN)、小腦模型(CMAC)等。從信息傳遞的規(guī)律來(lái)看，這些已有的神經(jīng)網(wǎng)絡(luò)可以分成三大類，即前向神經(jīng)網(wǎng)絡(luò)(FeedforwardNN)、反饋型神經(jīng)網(wǎng)絡(luò)(FeedbackNN)和自組織神經(jīng)網(wǎng)絡(luò)(SelforganizingNN，如圖2-6所示)。以后章節(jié)將分別介紹這三類神經(jīng)網(wǎng)絡(luò)中有代表性的網(wǎng)絡(luò)。

圖2-4前向神經(jīng)網(wǎng)絡(luò)圖2-6自組織特征映射神經(jīng)網(wǎng)絡(luò)圖2-5反饋型神經(jīng)網(wǎng)絡(luò)

自組織特征映射(SelforganizingFeatureMap)神經(jīng)網(wǎng)絡(luò)又被稱為Kohonen網(wǎng)絡(luò)，是一種無(wú)教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。其輸出神經(jīng)元(節(jié)點(diǎn))呈二維陣列分布，輸出節(jié)點(diǎn)與其它領(lǐng)域或其它神經(jīng)節(jié)點(diǎn)之間廣泛相連，相互激勵(lì)。它可以自動(dòng)地向環(huán)境學(xué)習(xí)，主要用于語(yǔ)音識(shí)別、圖像壓縮、機(jī)器人控制、優(yōu)化問(wèn)題等領(lǐng)域。這種網(wǎng)絡(luò)是基于生理學(xué)和腦科學(xué)研究成果提出來(lái)的。腦神經(jīng)研究表明：傳遞感覺(jué)的神經(jīng)元排列是按某種規(guī)律有序進(jìn)行的。這種排列一般反映所感受的外部刺激的某些物理特征。神經(jīng)網(wǎng)絡(luò)在接受外部輸入時(shí)，將會(huì)分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌Ｊ骄哂胁煌捻憫?yīng)特征，同時(shí)，這一過(guò)程是自動(dòng)完成的。在自組織特征映射網(wǎng)絡(luò)中，各神經(jīng)元的連接權(quán)值具有一定的分布特性，最鄰近的神經(jīng)元相互激勵(lì)，而較遠(yuǎn)的神經(jīng)元?jiǎng)t相互抑制。在外界刺激最強(qiáng)的區(qū)域形成一個(gè)氣泡(Bubble)，又稱其為墨西哥帽。在該氣泡區(qū)域中，神經(jīng)元權(quán)值向量會(huì)自動(dòng)調(diào)節(jié)。這種網(wǎng)絡(luò)的每個(gè)輸入節(jié)點(diǎn)與輸出之間由可變權(quán)值wij(k)連接，通過(guò)競(jìng)爭(zhēng)規(guī)律，不斷調(diào)整wij(k)，使得在穩(wěn)定時(shí)每一領(lǐng)域的所有節(jié)點(diǎn)對(duì)某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布趨于接近。

1.學(xué)習(xí)方法的種類

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法有多種。網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則可分為三類：相關(guān)規(guī)則，即僅僅根據(jù)連接間的激活水平改變權(quán)值；糾錯(cuò)規(guī)則，即依賴關(guān)于輸出節(jié)點(diǎn)的外部反饋來(lái)改變權(quán)系數(shù)；無(wú)教師學(xué)習(xí)規(guī)則，即學(xué)習(xí)表現(xiàn)為自適應(yīng)于輸入空間的檢測(cè)規(guī)則。相應(yīng)地，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法也可根據(jù)學(xué)習(xí)規(guī)則劃分為不同的種類。2.5神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

1)相關(guān)規(guī)則

相關(guān)規(guī)則常用于自聯(lián)想網(wǎng)絡(luò)，執(zhí)行特殊記憶狀態(tài)的記憶式學(xué)習(xí)，也屬于無(wú)教師的學(xué)習(xí)。Hopfield網(wǎng)絡(luò)就采用這種學(xué)習(xí)方法，稱之為修正的Hebb規(guī)則：

Δwij=(2xi-1)(2xj-1)(2-9)

式中，xi和xj分別表示兩個(gè)相連接的神經(jīng)元i和神經(jīng)元j的激活值。

2)糾錯(cuò)規(guī)則

糾錯(cuò)規(guī)則等效于梯度下降法，通過(guò)在局部最大改善的方向上逐步進(jìn)行修正，力圖達(dá)到表示函數(shù)功能的全局解。感知器即使用糾錯(cuò)規(guī)則，其特點(diǎn)為

(1)若一節(jié)點(diǎn)的輸出正確，一切不變。

(2)若輸出本應(yīng)為0而為1，則相應(yīng)的權(quán)值減小。

(3)若輸出應(yīng)為1而為0，則權(quán)值增加。

對(duì)于δ學(xué)習(xí)規(guī)則，可分為一般δ規(guī)則和廣義δ規(guī)則，常見(jiàn)的有以下3種。

(1)δ學(xué)習(xí)規(guī)則。權(quán)值的Δw修正不是固定的量而與誤差成正比，即

Δwij=ηδixj(2-10)

這里η是全局學(xué)習(xí)系數(shù)，而δi=ti-xi，即期望值和實(shí)際值之差;

xj是神經(jīng)元j的狀態(tài)。

δ學(xué)習(xí)規(guī)則和感知器學(xué)習(xí)規(guī)則一樣,只適用于線性可分函數(shù)，無(wú)法用于多層網(wǎng)絡(luò)。

(2)廣義δ規(guī)則。它可在多層網(wǎng)絡(luò)上有效地學(xué)習(xí)，可學(xué)習(xí)非線性可分函數(shù)。其關(guān)鍵是對(duì)隱節(jié)點(diǎn)的偏差δ如何定義和計(jì)算。對(duì)具有誤差反向傳播的前向神經(jīng)網(wǎng)絡(luò)的BP算法，當(dāng)j為神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)時(shí)，定義

(2-11)

式中，wjk是節(jié)點(diǎn)j到下一層神經(jīng)節(jié)點(diǎn)k的權(quán)值;netj為隱層第j個(gè)神經(jīng)節(jié)點(diǎn)的輸入網(wǎng)絡(luò);f(netj)為隱層第j個(gè)神經(jīng)節(jié)點(diǎn)的輸出;f′(netj)是連續(xù)的一次可微函數(shù);δj為隱層神經(jīng)節(jié)點(diǎn)j的誤差反向傳播系數(shù);δk為下一層神經(jīng)節(jié)點(diǎn)k的誤差反向傳播系數(shù)。

(3)Boltzmann機(jī)學(xué)習(xí)規(guī)則。它用模擬退火的統(tǒng)計(jì)方法來(lái)代替廣義的δ規(guī)則。它提供了隱節(jié)點(diǎn)的有效學(xué)習(xí)方法，能學(xué)習(xí)復(fù)雜的非線性可分函數(shù)。這種方法也屬于梯度下降法，其主要缺點(diǎn)是學(xué)習(xí)速度太慢。

3)無(wú)教師學(xué)習(xí)規(guī)則

在這種學(xué)習(xí)規(guī)則中，關(guān)鍵不在于實(shí)際節(jié)點(diǎn)的輸出怎樣與外部的期望輸出相一致，而在于調(diào)整參數(shù)以反映觀測(cè)事件的分布。諸如Grossberg的自適應(yīng)共振理論(ART)、自組織特征映射和Klopf的享樂(lè)主義神經(jīng)元都是無(wú)教師學(xué)習(xí)。

這類無(wú)教師學(xué)習(xí)的系統(tǒng)并不在于尋找一個(gè)特殊函數(shù)表示，而是將事件空間分類成輸入活動(dòng)區(qū)域，且有選擇地對(duì)這些區(qū)域響應(yīng)。它在應(yīng)用于開(kāi)發(fā)由多層競(jìng)爭(zhēng)族組成的網(wǎng)絡(luò)等方面有良好的前景。它的輸入可以是連續(xù)值，對(duì)噪聲有較強(qiáng)的抗干擾能力，但對(duì)較少的輸入樣本，結(jié)果可能依賴于輸入順序。在人工神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)規(guī)則是修正網(wǎng)絡(luò)權(quán)值的一種算法，以獲得適合的映射函數(shù)或其它系統(tǒng)性能。Hebb學(xué)習(xí)規(guī)則的相關(guān)假設(shè)是許多規(guī)則的基礎(chǔ)，尤其是相關(guān)規(guī)則；Hopfied網(wǎng)絡(luò)和自組織特征映射展示了有效的模式識(shí)別能力；糾錯(cuò)規(guī)則采用梯度下降法，因而存在局部極小點(diǎn)問(wèn)題。無(wú)教師學(xué)習(xí)提供了新的選擇，它利用自適應(yīng)學(xué)習(xí)方法，使節(jié)點(diǎn)有選擇地接收輸入空間上的不同特性，從而拋棄了普通神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)映射函數(shù)的學(xué)習(xí)概念，并提供了基于檢測(cè)特性空間的活動(dòng)規(guī)律的性能描寫。下面介紹幾種常用的學(xué)習(xí)方法。

2.常用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

1)Hebb學(xué)習(xí)方法

基于對(duì)生理學(xué)和對(duì)心理學(xué)的長(zhǎng)期研究，D.O.Hebb提出了生物神經(jīng)元學(xué)的假設(shè)，即當(dāng)兩個(gè)神經(jīng)同時(shí)處于興奮狀態(tài)時(shí)，它們之間的連接應(yīng)當(dāng)加強(qiáng)。這一假設(shè)可描述為

wij(k+1)=wij(k)+IiIj(2-12)

式中，wij(k)為連接從神經(jīng)元i到神經(jīng)元j的當(dāng)前權(quán)值；Ii、Ij為神經(jīng)元i、j的激活水平。

Hebb學(xué)習(xí)方法是一種無(wú)教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法亦稱相關(guān)規(guī)則。當(dāng)時(shí)，

則Hebb學(xué)習(xí)方法改寫成

wij(k+1)=wij(k)+yiyj(2-14)

另外，根據(jù)神經(jīng)元狀態(tài)變化來(lái)調(diào)整權(quán)值的Hebb學(xué)習(xí)方法稱為微分Hebb學(xué)習(xí)方法，可描述為

wij(k+1)=wij(k)+[yi(k)-yi(k-1)][yj(k)-yj(k-1)](2-15)(2-13)

2)梯度下降法

梯度下降法是一種有教師的學(xué)習(xí)方法。假設(shè)下列準(zhǔn)則函數(shù)

其中，Y(k)代表希望的輸出，為期望的實(shí)際輸出，W是所有權(quán)值組成的向量，為對(duì)y(k)的偏差?，F(xiàn)在的問(wèn)題是如何調(diào)整Ｗ使準(zhǔn)則函數(shù)最小。梯度下降法可用來(lái)解決此問(wèn)題，其基本思想是沿著J(W)的負(fù)梯度方向不斷修正值，直至J(W)達(dá)到最小。這種方法的數(shù)學(xué)表達(dá)式為(2-16)(2-17)其中,μ是控制權(quán)值修正速度的變量;J(W)的梯度為(2-18)在上述問(wèn)題中，把網(wǎng)絡(luò)的輸出看成是網(wǎng)絡(luò)權(quán)值向量W的函數(shù)，因此網(wǎng)絡(luò)的學(xué)習(xí)就是根據(jù)希望的輸出和實(shí)際之間的誤差平方最小原則來(lái)修正網(wǎng)絡(luò)的權(quán)向量。根據(jù)不同形式的，可推導(dǎo)出相應(yīng)的算法：δ規(guī)則和BP算法。

3)d規(guī)則

在B.WidroW的自適應(yīng)線性元件中，自適應(yīng)線性元件的輸出表示為

(2-19)

其中，為權(quán)值向量，為k時(shí)刻的輸入模式。

因此準(zhǔn)則函數(shù)的梯度為當(dāng)時(shí)，有Widrow的d規(guī)則為(2-20)這里a是控制算法和收縮性的常數(shù)，實(shí)際中往往取0.1<a<1.0。為了便于計(jì)算，δ規(guī)則可以表達(dá)為下面的形式：

W(k+1)=W(k)+ηε(W(k),k)X(k)

(2-21)或

W(k+1)=W(k)+h(1a)ε(W(k),k)X(k)+a(W(k)-W(k-1))(2-22)

其中,h常取0.01≤h≤100,a取值同上。

4)BP算法

誤差反向傳播的BP算法(BackPropagationAlgorithm)最早是在1974年由Webos在他的論文中提出的一種BP學(xué)習(xí)理論，到1985年發(fā)展為BP網(wǎng)絡(luò)訓(xùn)練算法。BP網(wǎng)絡(luò)不僅有輸入

層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)，而且有隱層節(jié)點(diǎn)(可以是一層或多層)。其作用函數(shù)通常選用連續(xù)可導(dǎo)的Sigmoid函數(shù)：(2-23)或者雙曲型函數(shù)(又稱之為對(duì)稱的sigmoid函數(shù))

式中在系統(tǒng)辨識(shí)中常用的是一種典型的多層并行網(wǎng)，即多層BP網(wǎng)。這是一種正向的、各層相互全連接的網(wǎng)絡(luò)。輸入信號(hào)要經(jīng)過(guò)輸入層向前傳遞給隱層節(jié)點(diǎn)，經(jīng)過(guò)激發(fā)(作用)函數(shù)后，把隱層節(jié)點(diǎn)的輸出傳遞到輸出節(jié)點(diǎn)，再經(jīng)過(guò)激發(fā)函數(shù)后才給出輸出結(jié)果。如果輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿原來(lái)的連接通路返回。通過(guò)修改各層神經(jīng)網(wǎng)絡(luò)的權(quán)值，使過(guò)程的輸出yp和神經(jīng)網(wǎng)絡(luò)模型的輸出ym之間的誤差信號(hào)最小為止。BP算法是梯度下降法的改進(jìn)算法，我們?cè)诘?章討論BP網(wǎng)絡(luò)時(shí)將展開(kāi)討論。

5)競(jìng)爭(zhēng)式學(xué)習(xí)

競(jìng)爭(zhēng)式學(xué)習(xí)屬于無(wú)教師學(xué)習(xí)方式。這種學(xué)習(xí)方式是指，不同層間的神經(jīng)元發(fā)生興奮性連接，同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性連接，而距離較遠(yuǎn)的神經(jīng)元?jiǎng)t產(chǎn)生抑制性連接，在這種連接機(jī)制中引入競(jìng)爭(zhēng)機(jī)制的學(xué)習(xí)方式稱為競(jìng)爭(zhēng)式學(xué)習(xí)。其本質(zhì)在于神經(jīng)元網(wǎng)絡(luò)中高層次的神經(jīng)