反饋神經(jīng)網(wǎng)絡ppt課件

1、第五章第五章 反響神經(jīng)網(wǎng)絡反響神經(jīng)網(wǎng)絡 Hopfield Hopfield網(wǎng)絡分為離散型和延續(xù)型兩種網(wǎng)絡模型，網(wǎng)絡分為離散型和延續(xù)型兩種網(wǎng)絡模型，分別記作分別記作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network)CHNN (Continues Hopfield Neural Network)，本章，本章重點討論前一種類型。重點討論前一種類型。 根據(jù)神經(jīng)網(wǎng)絡運轉過程中的信息流向，可分為前饋式根據(jù)神經(jīng)網(wǎng)絡運

2、轉過程中的信息流向，可分為前饋式和反響式兩種根本類型。前饋網(wǎng)絡的輸出僅由當前輸入和和反響式兩種根本類型。前饋網(wǎng)絡的輸出僅由當前輸入和權矩陣決議，而與網(wǎng)絡先前的輸出形狀無關。權矩陣決議，而與網(wǎng)絡先前的輸出形狀無關。 美國加州理工學院物理學家美國加州理工學院物理學家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出一種單層反響神經(jīng)網(wǎng)絡，后來人們將這種反響網(wǎng)絡年提出一種單層反響神經(jīng)網(wǎng)絡，后來人們將這種反響網(wǎng)絡稱作稱作Hopfield Hopfield 網(wǎng)。網(wǎng)。 5.1.1 5.1.1 網(wǎng)絡的構造與任務方式網(wǎng)絡的構造與任務方式 離散型反響網(wǎng)絡的拓撲構造離散型反響網(wǎng)絡的拓

3、撲構造 x1 x2 xi xn T1 T2 Ti Tn 5.15.1離散型離散型HopfieldHopfield神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(1)(1)網(wǎng)絡的形狀網(wǎng)絡的形狀 DHNN DHNN網(wǎng)中的每個神經(jīng)元都有一樣的功能，網(wǎng)中的每個神經(jīng)元都有一樣的功能，其輸出稱為形狀，用其輸出稱為形狀，用 xj xj 表示。表示。)net( fxjjj=1,2,n 一切神經(jīng)元形狀的集合就構成反響網(wǎng)絡的形狀一切神經(jīng)元形狀的集合就構成反響網(wǎng)絡的形狀X=x1,x2,xnT 反響網(wǎng)絡的輸入就是網(wǎng)絡的形狀初始值，表示為反響網(wǎng)絡的輸入就是網(wǎng)絡的形狀初始值，表示為X(0)=x1(0),x2(0),xn(0)T 反響網(wǎng)絡在外界輸入激發(fā)

4、下，從初始形狀進入動態(tài)演反響網(wǎng)絡在外界輸入激發(fā)下，從初始形狀進入動態(tài)演化過程，變化規(guī)律為化過程，變化規(guī)律為0101sgnjjjjnetnetnetx）（j=1,2,n (5.1) DHNN網(wǎng)的轉移函數(shù)常采用符號函數(shù)網(wǎng)的轉移函數(shù)常采用符號函數(shù) 式中凈輸入為式中凈輸入為 nijiijjTxwnet1)(j=1,2,n (5.2) 對于對于DHNN網(wǎng)，普通有網(wǎng)，普通有wii=0 ，wij=wji。 反響網(wǎng)絡穩(wěn)定時每個神經(jīng)元的形狀都不再改動，此時反響網(wǎng)絡穩(wěn)定時每個神經(jīng)元的形狀都不再改動，此時的穩(wěn)定形狀就是網(wǎng)絡的輸出，表示為的穩(wěn)定形狀就是網(wǎng)絡的輸出，表示為 t)t(limX(2)(2)網(wǎng)絡的異步任務方式

5、網(wǎng)絡的異步任務方式 ijtxijtnettxjjj)()(sgn) 1(5.3) (3)(3)網(wǎng)絡的同步任務方式網(wǎng)絡的同步任務方式 網(wǎng)絡的同步任務方式是一種并行方式，網(wǎng)絡的同步任務方式是一種并行方式，一切神經(jīng)元同時調整形狀，即一切神經(jīng)元同時調整形狀，即 )(sgn) 1(tnettxjjj=1,2,n (5.4) 網(wǎng)絡運轉時每次只需一個神經(jīng)元網(wǎng)絡運轉時每次只需一個神經(jīng)元 j 進展形狀的調整計進展形狀的調整計算，其它神經(jīng)元的形狀均堅持不變，即算，其它神經(jīng)元的形狀均堅持不變，即5.1.2.1 網(wǎng)絡的穩(wěn)定性網(wǎng)絡的穩(wěn)定性 DHNN網(wǎng)本質上是一個離散的非線性動力學系統(tǒng)。網(wǎng)網(wǎng)本質上是一個離散的非線性動力學

6、系統(tǒng)。網(wǎng)絡從初態(tài)絡從初態(tài)X(0)開場，假設能經(jīng)有限次遞歸后，其形狀不再開場，假設能經(jīng)有限次遞歸后，其形狀不再發(fā)生變化，即發(fā)生變化，即X(t+1)X(t)，那么稱該網(wǎng)絡是穩(wěn)定的。，那么稱該網(wǎng)絡是穩(wěn)定的。 假設網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)：假設網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)： ( a ) ( b ) ( c ) 5.1.2 網(wǎng)絡的穩(wěn)定性與吸引子網(wǎng)絡的穩(wěn)定性與吸引子 假設網(wǎng)絡是不穩(wěn)定的，由于假設網(wǎng)絡是不穩(wěn)定的，由于DHNNDHNN網(wǎng)每個節(jié)點的形狀只需網(wǎng)每個節(jié)點的形狀只需1 1和和-1-1兩種情況，網(wǎng)絡不能夠出兩種情況，網(wǎng)絡不能夠出現(xiàn)無限發(fā)散的情況，而只能夠現(xiàn)無限發(fā)散的情

7、況，而只能夠出現(xiàn)限幅的自持振蕩，這種網(wǎng)出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡稱為有限環(huán)網(wǎng)絡。絡稱為有限環(huán)網(wǎng)絡。 ( a ) ( b ) ( c ) 假設網(wǎng)絡形狀的軌跡在某個確假設網(wǎng)絡形狀的軌跡在某個確定的范圍內變化，但既不反復定的范圍內變化，但既不反復也不停頓，形狀變化為無窮多也不停頓，形狀變化為無窮多個，軌跡也不發(fā)散到無窮遠，個，軌跡也不發(fā)散到無窮遠，這種景象稱為混沌。這種景象稱為混沌。 (a ) (b ) (c ) 網(wǎng)絡到達穩(wěn)定時的形狀網(wǎng)絡到達穩(wěn)定時的形狀X，稱為網(wǎng)絡的，稱為網(wǎng)絡的 吸引子。吸引子。 假設把問題的解編碼為網(wǎng)絡的吸引子，從初態(tài)向吸引子演假設把問題的解編碼為網(wǎng)絡的吸引子，從初態(tài)向吸引子演

8、化的過程便是求解計算的過程?；倪^程便是求解計算的過程。 假設把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子，當假設把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子，當輸入含有部分記憶信息的樣本時，網(wǎng)絡的演化過程便是輸入含有部分記憶信息的樣本時，網(wǎng)絡的演化過程便是從部分信息尋覓全部信息，即聯(lián)想回想的過程。從部分信息尋覓全部信息，即聯(lián)想回想的過程。 定義定義5.1 假設網(wǎng)絡的形狀假設網(wǎng)絡的形狀X 滿足滿足X=f(WX-T) 那么稱那么稱X為網(wǎng)絡的吸引子。為網(wǎng)絡的吸引子。 5.1.2.2 吸引子與能量函數(shù)吸引子與能量函數(shù) 定理定理5.1 對于對于DHNN 網(wǎng)，假設按異步方式調整網(wǎng)絡形網(wǎng)，假設按異步方式調整網(wǎng)絡形

9、狀，且銜接權矩陣狀，且銜接權矩陣W 為對稱陣，那么對于恣意初態(tài)，網(wǎng)為對稱陣，那么對于恣意初態(tài)，網(wǎng)絡都最終收斂到一個吸引子。絡都最終收斂到一個吸引子。 定理定理5.1證明：證明： 定義網(wǎng)絡的能量函數(shù)為：定義網(wǎng)絡的能量函數(shù)為： TXWXX)t ()t ()t ()t (ETT21(5.5) 令網(wǎng)絡的能量改動量為令網(wǎng)絡的能量改動量為E，形狀改動量為，形狀改動量為X，有，有 )() 1()(tttEEE(5.6) )() 1()(tttXXX(5.7) 5.1.2.2 吸引子與能量函數(shù)吸引子與能量函數(shù) 將式將式(5.4)、(5.6)代入代入(5.5)，那么網(wǎng)絡能量可進一步展開為，那么網(wǎng)絡能量可進一步展

10、開為 )t (E)1t (E)t (E)()()(21)()()()()()(21TXWXXTXXXXWXXtttttttttTTTTTXXWXWXX)()()()()(21tttttTTT(5.8) )()()()(21ttTttTTXWXWXX將將 代入上式代入上式 ，并思索到，并思索到W為為對稱矩陣，有對稱矩陣，有 Tjtxt 0,.,0),(, 0,.,0)(XjjjnijiijjwtxTxwtxtE)()()()(2211 )t (net)t (x)t (Ejj(5.9) 上式中能夠出現(xiàn)的情況：上式中能夠出現(xiàn)的情況： 情況情況a a ：xj(t)=-1, xj(t+1)=1, xj(

11、t)=-1, xj(t+1)=1, 由式由式(5.7)(5.7)得得xj(t)=2, xj(t)=2, 由式由式(5.1)(5.1)知，知，netj(t)netj(t)0 0，代入，代入式式(5.9)(5.9)，得，得E(t)E(t)0 0。情況情況b b ：xj(t)=1, xj(t+1)=-1, xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, xj(t)=-2, 由式由式(5.1)(5.1)知，知，netj(t)0netj(t)0，代入，代入式式(5.9)(5.9)，得，得E(t)0E(t)P，那么權值矩陣為記憶樣本的外積和，那么權值矩陣為記憶樣本的外積和 P1pTpp)( XXW(5.16) 5.1.3 網(wǎng)絡的權值設計網(wǎng)絡的權值設計 假設取假設取wjj=0，上式應寫為，上式應寫為 P1pTppI)(XXW(5.17) 式中式中I為單位矩陣。上式寫成分量元素方式，有為單位矩陣。上式寫成分量元素方式，有 ji0jixxwP1ppjpiij(5.18) 下面檢驗所給樣天性否稱為吸引子。下面檢驗所給樣天性否稱為吸引子。 由于由于P個