人工神經(jīng)網(wǎng)絡理論及應用課件第6章-反饋神經(jīng)網(wǎng)絡

第6章反饋神經(jīng)網(wǎng)絡

《人工神經(jīng)網(wǎng)絡理論及應用》第6章反饋神經(jīng)網(wǎng)絡6.1離散型Hopfield神經(jīng)網(wǎng)絡6.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡6.3Hopfield網(wǎng)絡應用與設計實例6.4雙向聯(lián)想記憶(BAM)神經(jīng)網(wǎng)絡6.5隨機神經(jīng)網(wǎng)絡Hopfield網(wǎng)絡分為離散型和連續(xù)型兩種網(wǎng)絡模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本章重點討論前一種類型。

根據(jù)神經(jīng)網(wǎng)絡運行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡的輸出僅由當前輸入和權矩陣決定，而與網(wǎng)絡先前的輸出狀態(tài)無關。

美國加州理工學院物理學家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡，后來人們將這種反饋網(wǎng)絡稱作Hopfield網(wǎng)。第6章反饋神經(jīng)網(wǎng)絡6.1.1網(wǎng)絡的結構與工作方式離散型反饋網(wǎng)絡的拓撲結構6.1離散型Hopfield神經(jīng)網(wǎng)絡(1)網(wǎng)絡的狀態(tài)

DHNN網(wǎng)中的每個神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用xj表示。j=1,2,…,n

所有神經(jīng)元狀態(tài)的集合就構成反饋網(wǎng)絡的狀態(tài)X=[x1,x2,…,xn]T

反饋網(wǎng)絡的輸入就是網(wǎng)絡的狀態(tài)初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T

反饋網(wǎng)絡在外界輸入激發(fā)下，從初始狀態(tài)進入動態(tài)演變過程，變化規(guī)律為j=1,2,…,n(6.1)

DHNN網(wǎng)的轉移函數(shù)常采用符號函數(shù)

式中凈輸入為

j=1,2,…,n(6.2)

對于DHNN網(wǎng)，一般有wii=0，wij=wji。反饋網(wǎng)絡穩(wěn)定時每個神經(jīng)元的狀態(tài)都不再改變，此時的穩(wěn)定狀態(tài)就是網(wǎng)絡的輸出，表示為

(2)網(wǎng)絡的異步工作方式

(6.3)

(3)網(wǎng)絡的同步工作方式

網(wǎng)絡的同步工作方式是一種并行方式，所有神經(jīng)元同時調(diào)整狀態(tài)，即j=1,2,…,n(6.4)

網(wǎng)絡運行時每次只有一個神經(jīng)元j進行狀態(tài)的調(diào)整計算，其它神經(jīng)元的狀態(tài)均保持不變，即6.1.2.1網(wǎng)絡的穩(wěn)定性

DHNN網(wǎng)實質上是一個離散的非線性動力學系統(tǒng)。網(wǎng)絡從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)＝X(t)，則稱該網(wǎng)絡是穩(wěn)定的。

如果網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)：

6.1.2網(wǎng)絡的穩(wěn)定性與吸引子

若網(wǎng)絡是不穩(wěn)定的，由于DHNN網(wǎng)每個節(jié)點的狀態(tài)只有1和-1兩種情況，網(wǎng)絡不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡稱為有限環(huán)網(wǎng)絡。如果網(wǎng)絡狀態(tài)的軌跡在某個確定的范圍內(nèi)變遷，但既不重復也不停止，狀態(tài)變化為無窮多個，軌跡也不發(fā)散到無窮遠，這種現(xiàn)象稱為混沌。網(wǎng)絡達到穩(wěn)定時的狀態(tài)X，稱為網(wǎng)絡的吸引子。

如果把問題的解編碼為網(wǎng)絡的吸引子，從初態(tài)向吸引子演變的過程便是求解計算的過程。

若把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子，當輸入含有部分記憶信息的樣本時，網(wǎng)絡的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。

定義6.1若網(wǎng)絡的狀態(tài)X

滿足X=f(WX-T)

則稱X為網(wǎng)絡的吸引子。

6.1.2.2吸引子與能量函數(shù)定理6.1對于DHNN網(wǎng)，若按異步方式調(diào)整網(wǎng)絡狀態(tài)，且連接權矩陣W為對稱陣，則對于任意初態(tài)，網(wǎng)絡都最終收斂到一個吸引子。

定理6.1證明：

定義網(wǎng)絡的能量函數(shù)為：

(6.5)

令網(wǎng)絡的能量改變量為ΔE，狀態(tài)改變量為ΔX，有(6.6)

(6.7)

6.1.2.2吸引子與能量函數(shù)將式(6.4)、(6.6)代入(6.5)，則網(wǎng)絡能量可進一步展開為

(6.8)將代入上式，并考慮到W為對稱矩陣，有

6.1.2.2吸引子與能量函數(shù)(6.9)上式中可能出現(xiàn)的情況：情況a：xj(t)=-1,xj(t+1)=1,由式(6.7)得Δxj(t)=2,由式(6.1)知，netj(t)≧0，代入式(6.9)，得ΔE(t)≦0。情況b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(6.1)知，netj(t)<0，代入式(6.9)，得ΔE(t)<0。情況c：xj(t)=xj(t+1),所以Δxj(t)=0,代入式(6.9)，從而有ΔE(t)=0。

由此可知在任何情況下均有ΔE(t)≦0

。6.1.2.2吸引子與能量函數(shù)

由于網(wǎng)絡中各節(jié)點的狀態(tài)只能取1或–1，能量函數(shù)E(t)作為網(wǎng)絡狀態(tài)的函數(shù)是有下界的，因此網(wǎng)絡能量函數(shù)最終將收斂于一個常數(shù)，此時ΔE(t)=0

。綜上所述，當網(wǎng)絡工作方式和權矩陣均滿足定理6.1的條件時，網(wǎng)絡最終將收斂到一個吸引子。

綜上所述，當網(wǎng)絡工作方式和權矩陣均滿足定理6.1的條件時，網(wǎng)絡最終將收斂到一個吸引子。

定理6.2對于DHNN網(wǎng)，若按同步方式調(diào)整狀態(tài)，且連接權矩陣W為非負定對稱陣，則對于任意初態(tài)，網(wǎng)絡都最終收斂到一個吸引子。

6.1.2.2吸引子與能量函數(shù)證明：由式(6.8)得前已證明，對于任何神經(jīng)元j，有因此上式第一項不大于0，只要W為非負定陣，第二項也不大于0，于是有⊿E(t)≦0

，也就是說E(t)最終將收斂到一個常數(shù)值，對應的穩(wěn)定狀態(tài)是網(wǎng)絡的一個吸引子。

以上分析表明，在網(wǎng)絡從初態(tài)向穩(wěn)態(tài)演變的過程中，網(wǎng)絡的能量始終向減小的方向演變，當能量最終穩(wěn)定于一個常數(shù)時，該常數(shù)對應于網(wǎng)絡能量的極小狀態(tài)，稱該極小狀態(tài)為網(wǎng)絡的能量井，能量井對應于網(wǎng)絡的吸引子。

6.1.2.2吸引子與能量函數(shù)性質1：若X

是網(wǎng)絡的一個吸引子，且閾值T=0，在sgn(0)處，xj(t+1)=xj(t)，則－X也一定是該網(wǎng)絡的吸引子。

證明：∵X是吸引子，即X=f(WX)，從而有

f[W(－X)]=f[－WX]=－f[WX]=－X

∴－X

也是該網(wǎng)絡的吸引子。

6.1.2.3吸引子的性質性質2：若Xa是網(wǎng)絡的一個吸引子，則與Xa的海明距離dH(Xa，Xb)=1的Xb一定不是吸引子。

證明：不妨設x1a≠x1b，xja=xjb，j=2,3,…,n?！遷11=0，由吸引子定義，有由假設條件知，x1a≠x1b，故∴-Xb

不是該網(wǎng)絡的吸引子。

6.1.2.3吸引子的性質

能使網(wǎng)絡穩(wěn)定在同一吸引子的所有初態(tài)的集合，稱為該吸引子的吸引域。定義6.2若Xa是吸引子，對于異步方式，若存在一個調(diào)整次序，使網(wǎng)絡可以從狀態(tài)X演變到Xa，則稱X弱吸引到Xa；若對于任意調(diào)整次序，網(wǎng)絡都可以從狀態(tài)X演變到Xa，則稱X強吸引到Xa。定義6.3若對某些X，有X弱吸引到吸引子Xa，則稱這些X的集合為Xa的弱吸引域；若對某些X，有X強吸引到吸引子Xa，則稱這些X的集合為Xa的強吸引域。6.1.2.4吸引子的吸引域例6.1設有3節(jié)點DHNN網(wǎng)，用無向圖表示如下，權值與閾值均已標在圖中，試計算網(wǎng)絡演變過程的狀態(tài)。

x1

-0.1-0.5

0.2

x2

0.0

0.0

x3

0.66.1.2.4吸引子的吸引域解：設各節(jié)點狀態(tài)取值為1或0，3節(jié)點DHNN網(wǎng)絡應有23=8種狀態(tài)。不妨將X=(x1,x2,x3)T=(0,0,0)T作為網(wǎng)絡初態(tài)，按1→2→3的次序更新狀態(tài)。第1步：更新x1，x1=sgn[(-0.5)

0+0.2

0－(-0.1)]=sgn(0.1)=1其它節(jié)點狀態(tài)不變，網(wǎng)絡狀態(tài)由(0,0,0)T變成(1,0,0)T。如果先更新x2或x3，網(wǎng)絡狀態(tài)將仍為(0,0,0)T，因此初態(tài)保持不變的概率為2/3，而變?yōu)?1,0,0)T的概率為1/3。

x1-0.1-0.50.2x20.0

0.0

x3

0.66.1.2.4吸引子的吸引域第2步：此時網(wǎng)絡狀態(tài)為(1,0,0)T，更新x2后，得

x2=sgn[(-0.5)

1+0.6

0－0]=sgn(-0.5)=0其它節(jié)點狀態(tài)不變，網(wǎng)絡狀態(tài)仍為(1,0,0)T。如果本步先更新x1或x3，網(wǎng)絡相應狀態(tài)將為(1,0,0)T和(1,0,1)T，因此本狀態(tài)保持不變的概率為2/3，而變?yōu)?1,0,1)T的概率為1/3。

第3步：此時網(wǎng)絡狀態(tài)為(1,0,0)T，更新x3得

x3=sgn[0.2

1+0.6

0－0]=sgn(0.2)=1

同理可算出其它狀態(tài)之間的演變歷程和狀態(tài)轉移概率。6.1.2.4吸引子的吸引域DHNN網(wǎng)絡狀態(tài)演變示意圖

為了使所設計的權值滿足要求，權值矩陣應符合以下要求：⑴為保證異步方式工作時網(wǎng)絡收斂，W應為對稱陣；⑵為保證同步方式工作時網(wǎng)絡收斂，W應為非負定對稱陣；⑶保證給定樣本是網(wǎng)絡的吸引子，并且要有一定的吸引域。6.1.3.2外積和法設給定P個模式樣本Xp，p=1,2,…,P，x

{-1,1}n，并設樣本兩兩正交，且n>P，則權值矩陣為記憶樣本的外積和

(6.16)6.1.3網(wǎng)絡的權值設計若取wjj=0，上式應寫為

(6.17)式中I為單位矩陣。上式寫成分量元素形式，有

(6.18)下面檢驗所給樣本能否稱為吸引子。

因為P個樣本Xp，p=1,2,…,P，x

{-1,1}n是兩兩正交的，有

因為n>P，所以有

可見給定樣本Xp，p=1,2,…,P是吸引子。

6.1.4網(wǎng)絡的信息存儲容量當網(wǎng)絡規(guī)模一定時，所能記憶的模式是有限的。對于所容許的聯(lián)想出錯率，網(wǎng)絡所能存儲的最大模式數(shù)Pmax稱為網(wǎng)絡容量。網(wǎng)絡容量與網(wǎng)絡的規(guī)模、算法以及記憶模式向量的分布都有關系。DHNN網(wǎng)的所有記憶模式都存儲在權矩陣W中。由于多個存儲模式互相重疊，當需要記憶的模式數(shù)增加時，可能會出現(xiàn)所謂“權值移動”和“交叉干擾”?？梢钥闯?，W陣對要記憶的模式Xp，p=1,2,…,P，是累加實現(xiàn)的。每記憶一個新模式Xp，就要向原權值矩陣Wp-1加入一項該模式的外積XpXp，從而使新的權值矩陣Wp從原來的基礎上發(fā)生移動。如果在加入新模式Xp之前存儲的模式都是吸引子，應有Xk=f(Wp-1Xk)，k=1,2,…,p-1，那么在加入模式Xp之后由于權值移動為Wp，式Xk=f(WpXk)就不一定對所有k(=1,2,…,p-1）均同時成立，也就是說網(wǎng)絡在記憶新樣本的同時可能會遺忘已記憶的樣本。隨著記憶模式數(shù)的增加，權值不斷移動，各記憶模式相互交叉，當模式數(shù)超過網(wǎng)絡容量Pmax時，網(wǎng)絡不但逐漸遺忘了以前記憶的模式，而且也無法記住新模式。6.1.4網(wǎng)絡的信息存儲容量事實上，當網(wǎng)絡規(guī)模n一定時，要記憶的模式數(shù)越多，聯(lián)想時出錯的可能性越大；反之，要求的出錯概率越低，網(wǎng)絡的信息存儲容量上限越小。研究表明存儲模式數(shù)P超過0.15n時，聯(lián)想時就有可能出錯。錯誤結果對應的是能量的某個局部極小點，或稱為偽吸引子。提高網(wǎng)絡存儲容量有兩個基本途徑：一是改進網(wǎng)絡的拓撲結構，二是改進網(wǎng)路的權值設計方法。常用的改進方法有：反復學習法、糾錯學習法、移動興奮門限法、偽逆技術、忘記規(guī)則和非線性學習規(guī)則等。6.1.4網(wǎng)絡的信息存儲容量6.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡1984年Hopfield把DHNN進一步發(fā)展成連續(xù)型Hopfield網(wǎng)絡，縮寫為CHNN網(wǎng)。CHNN的基本結構與DHNN相似，但CHNN中所有神經(jīng)元都同步工作，各輸入輸出量均是隨時間連續(xù)變化的模擬量，這就使得CHNN比DHNN在信息處理的并行性、實時性等方面更接近于實際生物神經(jīng)網(wǎng)絡的工作機理。CHNN可以用常系數(shù)微分方程來描述，但用模擬電子線路來描述，則更為形象直觀，易于理解也便于實現(xiàn)。6.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡6.2.1網(wǎng)絡的拓樸結構在連續(xù)Hopfield網(wǎng)中，所有神經(jīng)元都隨時間t并行更新，網(wǎng)絡狀態(tài)隨時間連續(xù)變化。圖6.4(a)給出了基于模擬電子線路的CHNN的拓撲結構。6.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡可以看出CHNN模型可與電子線路直接對應，每一個神經(jīng)元可以用一個運算放大器來模擬，神經(jīng)元的輸入與輸出分別用運算放大器的輸入電壓uj和輸出電壓vj表示，j＝1，2…n，而連接權wij用輸入端的電導表示，其作用是把第i個神經(jīng)元的輸出反饋到第j個神經(jīng)元作為輸入之一。每個運算放大器均有一個正相輸出和一個反相輸出。與正相輸出相連的電導表示興奮性突觸，而與反相輸出相連的電導表示抑制性突觸。另外，每個神經(jīng)元還有一個用于設置激活電平的外界輸入偏置電流Ij，其作用相當于閾值。6.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡CHNN模型對生物神經(jīng)元的功能做了大量簡化，只模仿了生物系統(tǒng)的幾個基本特性：S型轉移函數(shù)；信息傳遞過程中的時間常數(shù)；神經(jīng)元間的興奮及抑制性連接神經(jīng)元間的相互作用和時空作用網(wǎng)絡的能量函數(shù)可寫為

由定理6.6可知，隨著狀態(tài)的演變，網(wǎng)絡的能量總是降低的。只有當網(wǎng)路中所有節(jié)點的狀態(tài)不再改變時，能量才不再變化，此時到達能量的某一局部極小點或全局最小點，該能量點對應著網(wǎng)絡的某一個穩(wěn)定狀態(tài)。Hopfield網(wǎng)用于聯(lián)想記憶時，正是利用了這些局部極小點來記憶樣本，網(wǎng)絡的存貯容量越大，說明網(wǎng)絡的局部極小點越多。然而在優(yōu)化問題中，局部極小點越多，網(wǎng)絡就越不容易達到最優(yōu)解而只能達到較優(yōu)解。為保證網(wǎng)絡的穩(wěn)定性，要求網(wǎng)絡的結構必須對稱，否則運行中可能出現(xiàn)極限環(huán)或混沌狀態(tài)。

(6.26)6.3Hopfield網(wǎng)絡應用與設計實例Hopfield網(wǎng)絡在圖象、語音和信號處理、模式分類與識別、知識處理、自動控制、容錯計算和數(shù)據(jù)查詢等領域已經(jīng)有許多成功的應用。Hopfield網(wǎng)絡的應用主要有聯(lián)想記憶和優(yōu)化計算兩類，其中DHNN網(wǎng)主要用于聯(lián)想記憶，CHNN網(wǎng)主要用于優(yōu)化計算。6.3.2應用CHNN網(wǎng)解決優(yōu)化計算問題用CHNN網(wǎng)解決優(yōu)化問題一般需要以下幾個步驟：對于特定的問題，要選擇一種合適的表示方法，使得神經(jīng)網(wǎng)絡的輸出與問題的解相對應；構造網(wǎng)絡能量函數(shù)，使其最小值對應與問題的最佳解；將能量函數(shù)與式(6.26)中的標準形式進行比較，可推出神經(jīng)網(wǎng)絡的權值與偏流的表達式，從而確定了網(wǎng)絡的結構；由網(wǎng)絡結構建立網(wǎng)絡的電子線路并運行，其穩(wěn)態(tài)就是在一定條件下的問題優(yōu)化解。也可以編程模擬網(wǎng)絡的運行方式，在計算機上實現(xiàn)。6.3.2應用CHNN網(wǎng)解決優(yōu)化計算問題本節(jié)介紹應用CHNN解決TSP問題的網(wǎng)絡設計。TSP問題是一個經(jīng)典的人工智能難題。對n個城市而言，可能的路徑總數(shù)為n!／2n。隨著n的增加，路徑數(shù)將按指數(shù)率急劇增長，即所謂“指數(shù)爆炸”。當n值較大時，用傳統(tǒng)的數(shù)字計算機也無法在有限時間內(nèi)尋得答案。例如，n＝50時，即使用每秒一億次運算速度的巨型計算機按窮舉搜索法，也需要5×1048年時間。即使是n＝20個城市，也需求解350年。1985年HoPfield和Tank兩人用CHNN網(wǎng)絡為解決TSP難題開辟了一條嶄新的途徑，獲得了巨大的成功。其基本思想是把TSP問題映射到CHNN網(wǎng)絡中去，并設法用網(wǎng)絡能量代表路徑總長。這樣，當網(wǎng)絡的能量隨著模擬電子線路狀態(tài)的變遷，最終收斂于極小值(或最小值)時，問題的較佳解(或最佳解)便隨之求得。此外，由于模擬電子線路中的全部元件都是并行工作的，所以求解時間與城市數(shù)的多少無關，僅是運算放大器工作所需的微秒級時間，顯著地提高了求解速度，充分展示了神經(jīng)網(wǎng)絡的巨大優(yōu)越性。6.4雙向聯(lián)想記憶(BAM)神經(jīng)網(wǎng)絡聯(lián)想記憶網(wǎng)絡的研究是神經(jīng)網(wǎng)絡的重要分支，在各種聯(lián)想記憶網(wǎng)絡模型中，雙向聯(lián)想記憶(BidirectionalAssociativeMemory，縮寫為BAM)網(wǎng)絡的應用最為廣泛。Hopfield網(wǎng)可實現(xiàn)自聯(lián)想CNP網(wǎng)可實現(xiàn)異聯(lián)想BAM網(wǎng)可實現(xiàn)雙向異聯(lián)想BAM網(wǎng)有離散型、連續(xù)型和自適應型等多種形式，本節(jié)重點介紹常用的離散型BAM網(wǎng)絡。6.4雙向聯(lián)想記憶(BAM)神經(jīng)網(wǎng)絡聯(lián)想記憶網(wǎng)絡的研究是神經(jīng)網(wǎng)絡的重要分支，在各種聯(lián)想記憶網(wǎng)絡模型中，由B．kosko于1988年提出的雙向聯(lián)想記憶(BidirectionalAssociativeMemory，縮寫為BAM)網(wǎng)絡的應用最為廣泛。前面介紹的Hopfield網(wǎng)可實現(xiàn)自聯(lián)想，CNP網(wǎng)可實現(xiàn)異聯(lián)想，而BAM網(wǎng)可實現(xiàn)雙向異聯(lián)想。BAM網(wǎng)有離散型、連續(xù)型和自適應型等多種形式，本節(jié)重點介紹常用的離散型BAM網(wǎng)絡。6.4.1BAM網(wǎng)結構與原理BAM網(wǎng)的拓撲結構如圖6.7所示。該網(wǎng)是一種雙層雙向網(wǎng)絡，當向其中一層加入輸入信號時，另一層可得到輸出。由于初始模式可以作用于網(wǎng)絡的任一層，信息可以雙向傳播，所以沒有明確的輸入層或輸出層，可將其中的一層稱為X層，有n個神經(jīng)元節(jié)點，另一層稱為Y層，有m個神經(jīng)元節(jié)點。兩層的狀態(tài)向量可取單極性二進制0或1，也可以取雙極性離散值1或-1。如果令由X到Y的權矩陣為W，則由Y到X的權矩陣便是其轉置矩陣WT。BAM網(wǎng)的拓撲結構如圖6.7所示。該網(wǎng)是一種雙層雙向網(wǎng)絡，當向其中一層加入輸入信號時，另一層可得到輸出。6.4.1BAM網(wǎng)結構與原理6.4.1BAM網(wǎng)結構與原理由于初始模式可以作用于網(wǎng)絡的任一層，信息可以雙向傳播，所以沒有明確的輸入層或輸出層，可將其中的一層稱為X層，有n個神經(jīng)元節(jié)點，另一層稱為Y層，有m個神經(jīng)元節(jié)點。兩層的狀態(tài)向量可取單極性二進制0或1，也可以取雙極性離散值1或-1。如果令由X到Y的權矩陣為W，則由Y到X的權矩陣便是其轉置矩陣WT。6.4.1BAM網(wǎng)結構與原理圖6.8BAM網(wǎng)的雙向聯(lián)想過程BAM網(wǎng)實現(xiàn)雙向異聯(lián)想的過程是網(wǎng)絡運行從動態(tài)到穩(wěn)態(tài)的過程。由圖6.8(a)和(b)，有

X(t+1)=fx{WTfy[WX(t)]}(6.33a)

Y(t+1)=fy{Wfx[WTY(t)]}(6.33b)對于經(jīng)過充分訓練的權值矩陣，當向BAM網(wǎng)絡一側輸入有殘缺的已存儲模式時，網(wǎng)絡經(jīng)過有限次運行不僅能再另一側實現(xiàn)正確的異聯(lián)想，而且在輸入側重建了完整的輸入模式。6.4.2能量函數(shù)與穩(wěn)定性若BAM網(wǎng)絡的閾值為0，能量函數(shù)定義為

BAM網(wǎng)雙向聯(lián)想的動態(tài)過程就是能量函數(shù)量沿其狀態(tài)空間中的離散軌跡逐漸減少的過程。當達到雙向穩(wěn)態(tài)時，網(wǎng)絡必落入某一局部或全局能量最小點。6.4.3BAM網(wǎng)的權值設計對于離散BAM網(wǎng)絡，一般選轉移函數(shù)f(·)=sgn(·)。當網(wǎng)絡只需存儲一對模式(X1，Y1)時，若使其成為網(wǎng)絡的穩(wěn)定狀態(tài)，應滿足條件

sgn(WX1)=Y1(6.36a)sgn(WTY1)=X1(6.36b)容易證明，若W是向量Y1和X1外積，即W=Y1X1TW=X1Y1T則式(6.36)的條件必然成立。6.4.3BAM網(wǎng)的權值設計當需要存儲P對模式時，將以上結論擴展為P對模式的外積和，從而得到Kosko提出的權值學習公式(6.37a)用外積和法設計的權矩陣，不能保證任意P對模式的全部正確聯(lián)想，但下面的定理表明，如對記憶模式對加以限制，用外積和法設計BAM網(wǎng)具有較好的聯(lián)想能力。

(6.37b)6.4.4BAM網(wǎng)的應用BAM網(wǎng)絡的設計比較簡單，只需由幾組典型輸入、輸出向量構成權矩陣。運行時，由實測到的數(shù)據(jù)向量與權矩陣作內(nèi)積運算便可得到相應的信息輸出。這是一種大規(guī)模并行處理大量數(shù)據(jù)的有效方法，具有實時性和容錯性。更具魅力的是，這種聯(lián)想記憶法無需對輸入向量進行預處理．便可直接進入搜索，省去了編碼與解碼工作。6.5隨機神經(jīng)網(wǎng)絡如果將BP算法中的誤差函數(shù)看作一種能量函數(shù)，則BP算法通過不斷調(diào)整網(wǎng)絡參數(shù)使其能量函數(shù)按梯度單調(diào)下降，而反饋網(wǎng)絡使通過動態(tài)演變過程使網(wǎng)絡的能量函數(shù)沿著梯度單調(diào)下降。結果是常常導致網(wǎng)絡落入局部極小點而達不到全局最小點。其原因是，網(wǎng)絡的誤差函數(shù)或能量函數(shù)是具有多個極小點的非線性空間，而所用的算法卻一味追求網(wǎng)絡誤差或能量函數(shù)的單調(diào)下降。也就是說，算法賦予網(wǎng)絡的是只會“下山”而不會“爬山”的能力。局部極小問題需要通過改進算法來解決。6.5隨機神經(jīng)網(wǎng)絡隨機網(wǎng)絡可賦予網(wǎng)絡既能“下坡”也能“爬山”的本領，因而能有效地克服上述缺陷。①在學習階段，隨機網(wǎng)絡不像其它網(wǎng)絡那樣基于某種確定性算法調(diào)整權值，而是按某種概率分布進行修改；②在運行階段，隨機網(wǎng)絡不是按某種確定性的網(wǎng)絡方程進行狀態(tài)演變，而是按某種概率分布決定其狀態(tài)的轉移。圖6.10給出了隨機網(wǎng)絡算法與梯度下降算法區(qū)別的示意圖。6.5.1模擬退火原理模擬退火算法的基本思想是模擬金屬退火過程。金屬退火過程大致是，先將物體加熱至高溫，使其原子處于高速運動狀態(tài)，此時物體具有較高的內(nèi)能；然后，緩慢降溫，隨著溫度的下降，原子運動速度減慢，內(nèi)能下降；最后，整個特體達到內(nèi)能最低的狀態(tài)。模擬退火過程相當于沿水平方向晃動托盤，溫度高則意味著晃動的幅度大，小球肯定會從任何低谷中跳出，而落入另一個低谷?；蝿油斜P的力度要合適，并且還要由強至弱(溫度逐漸下降)，小球才不至于因為有了“爬山”的本領而越爬越高。6.5.1模擬退火原理隨機網(wǎng)絡的權值調(diào)整：在隨機網(wǎng)絡學習過程中，先令網(wǎng)絡權值作隨機變化，然后計算變化后的網(wǎng)絡能量函數(shù)。網(wǎng)絡權值的修改應遵循以下準則：若權值變化后能量變小，則接受這種變化；否則也不應完全拒絕這種變化，而是按預先選定的概率分布接受權值的這種變化。其目的在于賦予網(wǎng)絡一定的“爬山”能力。實現(xiàn)這一思想的一個有效方法就是Metropo1is等人提出的模擬退火算法。6.5.1模擬退火原理模擬退火算法：設X代表某一物質體系的微觀狀態(tài)(一組狀態(tài)變量，如粒子的速度和位置等)，E(X)表示該物質在某微觀狀態(tài)下的內(nèi)能，對于給定溫度T，如果體系處于熱平衡狀態(tài)，則在降溫退火過程中，其處于某能量狀態(tài)的概率與溫度的關系遵循Boltzmann分布規(guī)律。分布函數(shù)為由式(6.38)可以看出，當溫度一定時，物質體系的能量越高，其處于該狀態(tài)的概率就越低，因此物質體系的內(nèi)能趨向于向能量降低的方向演變。(6.38)圖6.11能量狀態(tài)的概率曲線與溫度的關系6.5.1模擬退火原理用隨機神經(jīng)網(wǎng)絡解決優(yōu)化問題時，通過數(shù)學算法模擬了以上退火過程。模擬方法是：定義一個網(wǎng)絡溫度以模仿物質的退火溫度取網(wǎng)絡能量為欲優(yōu)化的目標函數(shù)網(wǎng)絡運行開始時溫度較高，調(diào)整權值時允許目標函數(shù)偶爾向增大的方向變化，以使網(wǎng)絡能跳出那些能量的局部極小點。隨著網(wǎng)絡溫度不斷下降至0，最終以概率1穩(wěn)定在其能量函數(shù)的全局最小點，從而獲得最優(yōu)解6.5.2Boltzmann機G.E.Hinton等人于1983年—1986年提出一種稱為Boltzmann機的隨機神經(jīng)網(wǎng)絡。在這種網(wǎng)絡中神經(jīng)元只有兩種輸出狀態(tài)，即單極性二進制的0或1。狀態(tài)的取值根據(jù)概率統(tǒng)計法則決定，由于這種概率統(tǒng)計法則的表達形式與著名統(tǒng)計力學家L.Boltzmann提出的Boltzmann分布類似，故將這種網(wǎng)絡取名Boltzmann機。6.5.2.1BM機的拓撲結構與運行原理(1)BM機的拓撲結構

介于DHNN網(wǎng)的全互連結構與BP網(wǎng)的層次結構之間。從形式上看，BM機與單層反饋網(wǎng)絡DHNN網(wǎng)相似，具有對稱權值，即wij=wji，且wii=0。從神經(jīng)元的功能上看，BM機與三層BP網(wǎng)相似，具有輸入節(jié)點、隱節(jié)點和輸出節(jié)點。BM機的三類節(jié)點之間沒有明顯的層次，連接形式可用圖6.12中的有向圖表示。圖6.12BM機的拓撲結構6.5.2.1BM機的拓撲結構與運行原理(2)神經(jīng)元的轉移概率函數(shù)

設BM機中單個神經(jīng)元的凈輸入為與DHNN網(wǎng)不同的是，以上凈輸入并不能通過符號轉移函數(shù)直接獲得確定的輸出狀態(tài)，實際的輸出狀態(tài)將按某種概率發(fā)生，神經(jīng)元的凈輸入可通過S型函數(shù)獲得輸出某種狀態(tài)的轉移概率(6.39)6.5.2.1BM機的拓撲結構與運行原理對于同一凈輸入，溫度T較高時概率曲線變化平緩，對于同一凈輸入Pj(1)與Pj(0)的差別??；而T溫度低時概率曲線變的陡峭，對于同一凈輸入Pj(1)與Pj(0)的差別大。圖