第五章霍普菲爾德(Hopfield)神經(jīng)網(wǎng)絡(luò)

1、第五章第五章霍普菲爾德（霍普菲爾德（Hopfield）神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 前面介紹的網(wǎng)絡(luò)模型屬于前向前面介紹的網(wǎng)絡(luò)模型屬于前向NNNN，從學習的角，從學習的角度看，具有較強的學習能力，結(jié)構(gòu)簡單，易于編程。度看，具有較強的學習能力，結(jié)構(gòu)簡單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過簡單從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過簡單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋，所以并不是強有處理能力。但他們因此缺乏反饋，所以并不是強有力的動力學系統(tǒng)。力的動力學系統(tǒng)。 聯(lián)想特性是聯(lián)想特性是ANNANN的一個重要特性，主要包

2、括聯(lián)的一個重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋能力，而不具備聯(lián)想記憶能力。在反饋NNNN中，我們中，我們將著重介紹將著重介紹NNNN的聯(lián)想記憶和優(yōu)化計算的能力。的聯(lián)想記憶和優(yōu)化計算的能力。5.1 5.1 概述概述 聯(lián)想記憶是指當網(wǎng)絡(luò)輸入某個矢量后，網(wǎng)絡(luò)聯(lián)想記憶是指當網(wǎng)絡(luò)輸入某個矢量后，網(wǎng)絡(luò)經(jīng)過反饋演化，從網(wǎng)絡(luò)輸出端得到另一個矢量，經(jīng)過反饋演化，從網(wǎng)絡(luò)輸出端得到另一個矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個穩(wěn)定記憶，即網(wǎng)絡(luò)的一個平衡點

3、。到的一個穩(wěn)定記憶，即網(wǎng)絡(luò)的一個平衡點。 優(yōu)化計算是指當某一問題存在多種解法時，優(yōu)化計算是指當某一問題存在多種解法時，可以設(shè)計一個目標函數(shù)，然后尋求滿足這一目標可以設(shè)計一個目標函數(shù)，然后尋求滿足這一目標函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目標函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)作為目標函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)達到極小點，即能量函數(shù)的穩(wěn)定平衡點。量函數(shù)達到極小點，即能量函數(shù)的穩(wěn)定平衡點。 總之，反饋網(wǎng)絡(luò)的設(shè)計思想就是在初始輸入總之，反饋網(wǎng)絡(luò)的設(shè)計思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過反饋計算最后到達穩(wěn)定狀態(tài)，這下，使網(wǎng)絡(luò)經(jīng)過反饋計算最后

4、到達穩(wěn)定狀態(tài)，這時的輸出即是用戶需要的平衡點。時的輸出即是用戶需要的平衡點。19821982年年, ,美國加州工學院美國加州工學院J.HopfieldJ.Hopfield提出了可用作聯(lián)想存儲提出了可用作聯(lián)想存儲器和優(yōu)化計算的反饋網(wǎng)絡(luò)器和優(yōu)化計算的反饋網(wǎng)絡(luò), ,這個網(wǎng)絡(luò)稱為這個網(wǎng)絡(luò)稱為HopfieldHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)(HNN)(HNN)模型模型, ,也稱也稱HopfieldHopfield模型模型. .并用它成功地探討了旅行商并用它成功地探討了旅行商問題問題(TSP)(TSP)的求解方法。的求解方法。HNNHNN是一種循環(huán)是一種循環(huán)NN,NN,從輸從輸出到輸入有反饋連接出到輸入有

5、反饋連接. .HNNHNN有離散型和連續(xù)型有離散型和連續(xù)型兩種兩種. .Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計算的角度上講，它模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計算的角度上講，它具有很強的計算能力。具有很強的計算能力。這樣的系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定這樣的系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問題。性問題。穩(wěn)定性是這類具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核穩(wěn)定性是這類具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核心，學習記憶的過程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過程。心，學習記憶的過程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過程。Hopfield網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問題的求解。網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問題的求解。 反饋網(wǎng)絡(luò)反饋網(wǎng)

6、絡(luò)(Recurrent Network),(Recurrent Network),又稱自聯(lián)又稱自聯(lián)想記憶網(wǎng)絡(luò)想記憶網(wǎng)絡(luò), ,如下圖所示如下圖所示: : 反饋網(wǎng)絡(luò)的目的是反饋網(wǎng)絡(luò)的目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點，使得當給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過組平衡點，使得當給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的平衡點上。自行運行而最終收斂到這個設(shè)計的平衡點上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學系統(tǒng)的動態(tài)反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學系統(tǒng)的動態(tài)特性。特性。它所具有的主要特性為以下兩點：它所具有的主要特性為以下兩點： 第一、第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)

7、絡(luò)網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；到某一個穩(wěn)定的平衡狀態(tài)； 第二、第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。的權(quán)值而被存儲到網(wǎng)絡(luò)中。 由于由于HNNHNN為動力學系統(tǒng)為動力學系統(tǒng), ,且其平衡態(tài)關(guān)系到信且其平衡態(tài)關(guān)系到信息的存儲與聯(lián)想記憶息的存儲與聯(lián)想記憶, ,其平衡態(tài)與穩(wěn)定性是非其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問題。常關(guān)鍵的問題。 反饋網(wǎng)絡(luò)根據(jù)信號的時間域的性質(zhì)的分類為反饋網(wǎng)絡(luò)根據(jù)信號的時間域的性質(zhì)的分類為 如果激活函數(shù)如果激活函數(shù)

8、f(f() )是一個是一個二值型的階躍函數(shù)二值型的階躍函數(shù), ,則則稱此網(wǎng)絡(luò)為稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)離散型反饋網(wǎng)絡(luò), ,主要用于聯(lián)想記憶主要用于聯(lián)想記憶; ; 如果如果f(f() )為一個為一個連續(xù)單調(diào)上升的有界函數(shù)連續(xù)單調(diào)上升的有界函數(shù), ,這類這類網(wǎng)絡(luò)被稱為網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)連續(xù)型反饋網(wǎng)絡(luò), ,主要用于優(yōu)化計算。主要用于優(yōu)化計算。 反饋反饋NNNN由于其輸出端有反饋到其輸入端由于其輸出端有反饋到其輸入端, ,所以所以,HNN,HNN在在輸入的激勵下輸入的激勵下, ,會產(chǎn)生不斷的狀態(tài)變化會產(chǎn)生不斷的狀態(tài)變化. . 當有輸入之后當有輸入之后, ,可以求取出可以求取出HNNHNN的輸出的

9、輸出, ,這個輸出反饋到輸這個輸出反饋到輸入從而產(chǎn)生新的輸出入從而產(chǎn)生新的輸出, ,這個反饋過程一直進行下去這個反饋過程一直進行下去. . 如果如果HNNHNN是一個能穩(wěn)定的網(wǎng)絡(luò)是一個能穩(wěn)定的網(wǎng)絡(luò), ,則這個反饋與迭代的計算則這個反饋與迭代的計算過程所產(chǎn)生的變化越來越小過程所產(chǎn)生的變化越來越小, ,一旦到達了穩(wěn)定平衡狀態(tài)一旦到達了穩(wěn)定平衡狀態(tài), ,那么那么HNNHNN就會輸出一個穩(wěn)定的恒值就會輸出一個穩(wěn)定的恒值. . 對于對于HNNHNN來說來說, ,關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù). . 應(yīng)該指出應(yīng)該指出, ,反饋網(wǎng)絡(luò)有穩(wěn)定的反饋網(wǎng)絡(luò)有穩(wěn)定的, ,也有

10、不穩(wěn)定的也有不穩(wěn)定的. .對于對于HNNHNN來說來說, ,還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)還存在如何判別它是穩(wěn)定網(wǎng)絡(luò), ,亦或是亦或是不穩(wěn)定的問題不穩(wěn)定的問題. .而判別依據(jù)是什么而判別依據(jù)是什么, ,也是需要確定的也是需要確定的. .反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 結(jié)構(gòu)不同結(jié)構(gòu)不同 前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。 反饋神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)定性反饋神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)定性問題。（關(guān)鍵問題）問題。（關(guān)鍵問題） 模型不同模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考慮延時。慮延時。 反饋網(wǎng)絡(luò)：考慮延

11、時，是一個動態(tài)系統(tǒng)，模反饋網(wǎng)絡(luò)：考慮延時，是一個動態(tài)系統(tǒng)，模型是動態(tài)方程（微分方程）。型是動態(tài)方程（微分方程）。網(wǎng)絡(luò)的演變過程不同網(wǎng)絡(luò)的演變過程不同 前向網(wǎng)絡(luò)：通過學習得到連接權(quán)然后完成指定任前向網(wǎng)絡(luò)：通過學習得到連接權(quán)然后完成指定任務(wù)。務(wù)。 反饋網(wǎng)絡(luò)：反饋網(wǎng)絡(luò)：( (優(yōu)化計算時優(yōu)化計算時) )首先確定首先確定w w（不是通過（不是通過學習而來的，而是通過目標函數(shù)用解析算法得到學習而來的，而是通過目標函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運動，若穩(wěn)的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運動，若穩(wěn)定，則最后達到一個穩(wěn)定狀態(tài)，對應(yīng)的輸出就是優(yōu)定，則最后達到一個穩(wěn)定狀態(tài)，對應(yīng)的輸出就是優(yōu)化

12、問題的解。化問題的解。學習方法不同學習方法不同 前向網(wǎng)絡(luò)：誤差修正算法（前向網(wǎng)絡(luò)：誤差修正算法（BPBP算法）。算法）。 反向網(wǎng)絡(luò)：海布反向網(wǎng)絡(luò)：海布(Hebb(Hebb) )算法算法( (用于聯(lián)想、分用于聯(lián)想、分類的時候類的時候) )運行學習算法wHebb 應(yīng)用范圍不同應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶和約反饋網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶和約束優(yōu)化問題的求解。束優(yōu)化問題的求解。 對于如對于如HNNHNN類似的反饋網(wǎng)絡(luò)類似的反饋網(wǎng)絡(luò), ,研究的重點為研究的重點為: : 如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于

13、如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)平衡狀態(tài), ,得到聯(lián)想存儲或優(yōu)化計算的結(jié)果得到聯(lián)想存儲或優(yōu)化計算的結(jié)果 網(wǎng)絡(luò)的穩(wěn)定性問題網(wǎng)絡(luò)的穩(wěn)定性問題 怎樣設(shè)計和利用穩(wěn)定的反饋網(wǎng)絡(luò)怎樣設(shè)計和利用穩(wěn)定的反饋網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)能夠達到穩(wěn)定收斂網(wǎng)絡(luò)系統(tǒng)能夠達到穩(wěn)定收斂 網(wǎng)絡(luò)的穩(wěn)定點網(wǎng)絡(luò)的穩(wěn)定點 吸引域的設(shè)計吸引域的設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)形式網(wǎng)絡(luò)結(jié)構(gòu)形式 HopfieldHopfield網(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò)，根據(jù)激勵函網(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò)，根據(jù)激勵函數(shù)選取的不同，可分為離散型和連續(xù)性兩種數(shù)選取的不同，可分為離散型和連續(xù)性兩種（ DHNN,CHNNDHNN,CHNN）。）。 DHNNDHNN：作用函數(shù)為：作用

14、函數(shù)為函數(shù)，主要用于聯(lián)想記憶。函數(shù)，主要用于聯(lián)想記憶。 CHNNCHNN：作用函數(shù)為：作用函數(shù)為S S型函數(shù)，主要用于優(yōu)化計算型函數(shù)，主要用于優(yōu)化計算 非線性系統(tǒng)狀態(tài)演變的形式非線性系統(tǒng)狀態(tài)演變的形式 在在Hopfield網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán)網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán) 輸輸入和入和ui，i=1n為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出為為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出為y1yn， 則則u,y的變化過程為一個非線性動力學系統(tǒng)?？捎梅蔷€的變化過程為一個非線性動力學系統(tǒng)。可用非線性差（微）分方程來描述。一般有如下的幾種狀態(tài)性差（微）分方程來描述。一般有如下的幾種狀態(tài)演變形式：演變形式： （1）漸進穩(wěn)定）漸進穩(wěn)定

15、（2）極限環(huán)）極限環(huán) （3）混沌現(xiàn)象）混沌現(xiàn)象 （4）狀態(tài)軌跡發(fā)散）狀態(tài)軌跡發(fā)散網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)結(jié)構(gòu)及I/O關(guān)系關(guān)系對于以符號函數(shù)為激勵函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可對于以符號函數(shù)為激勵函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為：寫為： 圖2.8.2 nitutxtxwtuiinjijiji, 2 , 1 ) 1(sgn) 1() 1(1離散型 Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)為對稱網(wǎng)絡(luò)，網(wǎng)絡(luò)為對稱網(wǎng)絡(luò)，wij=wji。當。當wii0時為無時為無自反饋型，反之為全自反饋型自反饋型，反之為全自反饋型5.2 5.2 離散離散HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò) HopfieldHopfield最早提出的

16、網(wǎng)絡(luò)是神經(jīng)元的輸出為最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-10-1二值的二值的NN,NN,所以所以, ,也稱離散的也稱離散的HNN (HNN (簡稱為簡稱為DHNN).DHNN). 下面分別討論下面分別討論DHNNDHNN的的結(jié)構(gòu)結(jié)構(gòu)動力學穩(wěn)定性動力學穩(wěn)定性( (網(wǎng)絡(luò)收斂性網(wǎng)絡(luò)收斂性) )聯(lián)想存儲中的應(yīng)用聯(lián)想存儲中的應(yīng)用記憶容量問題記憶容量問題 在在DHNNDHNN網(wǎng)絡(luò)中網(wǎng)絡(luò)中, ,神經(jīng)元所輸出的離散值神經(jīng)元所輸出的離散值1 1和和0 0分分別表示神經(jīng)元處于興奮和抑制狀態(tài)別表示神經(jīng)元處于興奮和抑制狀態(tài). . 各神經(jīng)元通過賦有權(quán)重的連接來互聯(lián)各神經(jīng)元通過賦有權(quán)重的連接來互聯(lián). . 下面下面, ,首先

17、考慮由三個神經(jīng)元組成的首先考慮由三個神經(jīng)元組成的DHNN,DHNN,其結(jié)其結(jié)構(gòu)如構(gòu)如圖圖1 1所示所示. ..1離散離散HopfieldHopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu) x1 x3 x2 y1 y3 y2 圖 三神經(jīng)元組成的 HNN w11 w12 w13 w21 w23 w31 w22 w33 w32 在圖中在圖中, ,第第0 0層僅僅是作為網(wǎng)絡(luò)的輸入層僅僅是作為網(wǎng)絡(luò)的輸入, ,它不是它不是實際神經(jīng)元實際神經(jīng)元, ,所以無計算功能所以無計算功能; ; 而第一層是實際神經(jīng)元而第一層是實際神經(jīng)元, ,故而執(zhí)行對輸入信息和故而執(zhí)行對輸入信息和權(quán)系數(shù)乘積求累加和權(quán)系數(shù)乘積求累加和

18、, ,并由非線性函數(shù)并由非線性函數(shù)f f處理后處理后產(chǎn)生輸出信息產(chǎn)生輸出信息. . f f是一個簡單的閾值函效是一個簡單的閾值函效, ,如果如果神經(jīng)元的輸入信息的綜合大于閾值神經(jīng)元的輸入信息的綜合大于閾值 , ,那么那么, ,神經(jīng)元的神經(jīng)元的輸出就取值為輸出就取值為1;1;小于閾值小于閾值 , ,則神經(jīng)元的輸出就取值為則神經(jīng)元的輸出就取值為0.0. 對于二值神經(jīng)元對于二值神經(jīng)元, ,它的計算公式如下它的計算公式如下jn1iiji,jxywu其中其中xj為外部輸入為外部輸入,并且有并且有yj=1,當當ujj時時yj=0,當當uj0,有有:y(t+ t)=y(t)則稱網(wǎng)絡(luò)是則稱網(wǎng)絡(luò)是穩(wěn)定穩(wěn)定的的.

19、吸引子：吸引子：若若y(t)是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱y(t)是網(wǎng)絡(luò)的穩(wěn)定吸引是網(wǎng)絡(luò)的穩(wěn)定吸引子。子。吸引域：吸引域：能夠穩(wěn)定在吸引子能夠穩(wěn)定在吸引子y(t)的所有初始狀態(tài)的所有初始狀態(tài)y(0)的集合，稱的集合，稱為吸引子為吸引子y(t)的吸引域。的吸引域。DHNN的能量函數(shù)的能量函數(shù)上例的狀態(tài)轉(zhuǎn)移關(guān)系有這樣的規(guī)律：任意一個狀態(tài)要么在同一上例的狀態(tài)轉(zhuǎn)移關(guān)系有這樣的規(guī)律：任意一個狀態(tài)要么在同一“高度高度”變化，要么從上向下轉(zhuǎn)移。變化，要么從上向下轉(zhuǎn)移。Hopfield網(wǎng)絡(luò)模型是一個多輸入、多輸出、帶閾值的二態(tài)非線網(wǎng)絡(luò)模型是一個多輸入、多輸出、帶閾值的二態(tài)非線性動力學系統(tǒng)。在滿足

20、一定的參數(shù)條件下，能量函數(shù)在網(wǎng)絡(luò)運性動力學系統(tǒng)。在滿足一定的參數(shù)條件下，能量函數(shù)在網(wǎng)絡(luò)運行過程中是不斷降低、最后趨于穩(wěn)定平衡狀態(tài)的。行過程中是不斷降低、最后趨于穩(wěn)定平衡狀態(tài)的。這種以能量函數(shù)作為網(wǎng)絡(luò)計算的求解工具，被稱為計算能量函這種以能量函數(shù)作為網(wǎng)絡(luò)計算的求解工具，被稱為計算能量函數(shù)。數(shù)。Hopfield網(wǎng)絡(luò)狀態(tài)變化分析的核心是對每個網(wǎng)絡(luò)的狀態(tài)定網(wǎng)絡(luò)狀態(tài)變化分析的核心是對每個網(wǎng)絡(luò)的狀態(tài)定義一個能量義一個能量E，任意一個神經(jīng)元節(jié)點狀態(tài)發(fā)生變化時，能量值，任意一個神經(jīng)元節(jié)點狀態(tài)發(fā)生變化時，能量值都將減小。都將減小。 假設(shè)第假設(shè)第i個神經(jīng)元節(jié)點狀態(tài)個神經(jīng)元節(jié)點狀態(tài)vi的變化量記為的變化量記為vi相

21、應(yīng)的能量變化相應(yīng)的能量變化量記為量記為Ei。所謂能量。所謂能量Ei隨狀態(tài)變化而減小意味著隨狀態(tài)變化而減小意味著Ei總是負值。總是負值。考察兩種情況：考察兩種情況：(1)當狀態(tài)當狀態(tài)vi由由0變?yōu)樽優(yōu)?時，時， vi 0。(2)當狀態(tài)當狀態(tài)vi由由1變?yōu)樽優(yōu)?時，時， vi 0。按照能量變化量為負的思路，可將能量的變化量按照能量變化量為負的思路，可將能量的變化量Ei表示為表示為故節(jié)點故節(jié)點i的能量可定義為：的能量可定義為：1()niijjiijEw vv 1111()12niijjiijj innnijijiiijij iEw vvEw v vv 顯然顯然E是對所有的是對所有的Ei按照某種方式求

22、和而得到，即式中出現(xiàn)的按照某種方式求和而得到，即式中出現(xiàn)的12因子。其原因在于離散因子。其原因在于離散Hopfield網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)模型中，wij=wji，如直，如直接計算接計算E，將會對，將會對Ei中的每一項計算兩次。如上例中對于中的每一項計算兩次。如上例中對于3個節(jié)個節(jié)點的網(wǎng)絡(luò)，其節(jié)點能量為：點的網(wǎng)絡(luò)，其節(jié)點能量為：由上面給出由上面給出E定義，顯然有：定義，顯然有：（1）在離散）在離散Hopfield模型狀態(tài)更新過程中，能量函數(shù)模型狀態(tài)更新過程中，能量函數(shù)E隨狀態(tài)隨狀態(tài)變化而嚴格單調(diào)遞減。變化而嚴格單調(diào)遞減。（2）離散）離散Hopfield模型的穩(wěn)定狀態(tài)與能量函數(shù)模型的穩(wěn)定狀態(tài)與能量函數(shù)

23、E在狀態(tài)空間的在狀態(tài)空間的局部極小點是一一對應(yīng)的。局部極小點是一一對應(yīng)的。q 從從DHNN可以看出可以看出: 它是一種多輸入它是一種多輸入,含有閾值的二值非線性動力系統(tǒng)含有閾值的二值非線性動力系統(tǒng). 在動力系統(tǒng)中在動力系統(tǒng)中,平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運動過程中的能量函數(shù)在系統(tǒng)運動過程中,其能量值不斷減小其能量值不斷減小,最后最后處于最小值處于最小值. 因此因此,對對HNN可引入一個可引入一個Lyapunov函數(shù)函數(shù),即所謂能量函數(shù)即所謂能量函數(shù): 即有即有) 1 (t)y(t)yx-(t)(t)yyw21E1n1ijjjjjiji

24、,njn1jjjn1jjjn1in1jjiji,(t)y(t)yx-(t)(t)yyw21-E 對對HNNHNN的能量函數(shù)有幾點說明的能量函數(shù)有幾點說明: : 當對反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后當對反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后, ,從任一初始狀態(tài)開從任一初始狀態(tài)開始始, ,因為在每次迭代后都能滿足因為在每次迭代后都能滿足 E E 0,0,所以網(wǎng)絡(luò)的所以網(wǎng)絡(luò)的能量將會越來越小能量將會越來越小. . 由于能量函數(shù)存在下界由于能量函數(shù)存在下界, ,因此其最后趨于穩(wěn)定點因此其最后趨于穩(wěn)定點 E=0.E=0. HopfieldHopfield能量函數(shù)的物理意義是能量函數(shù)的物理意義是: : 在那些漸進穩(wěn)定點的吸引域內(nèi)在

25、那些漸進穩(wěn)定點的吸引域內(nèi), ,離吸引點越遠的狀態(tài)離吸引點越遠的狀態(tài), ,所所具有的能量越大具有的能量越大. . 由于能量函數(shù)的單調(diào)下降特性由于能量函數(shù)的單調(diào)下降特性, ,保證狀態(tài)的運動方向能保證狀態(tài)的運動方向能從遠離吸引點處從遠離吸引點處, ,不斷地趨于吸引點不斷地趨于吸引點, ,直到達到穩(wěn)定點直到達到穩(wěn)定點. . 能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念. .根據(jù)能量函數(shù)根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性可以方便的判斷系統(tǒng)的穩(wěn)定性; ; HopfieldHopfield選擇的能量函數(shù)選擇的能量函數(shù), ,只是保證系統(tǒng)穩(wěn)定和漸只是保證系統(tǒng)穩(wěn)定和漸進穩(wěn)定的充分條件進穩(wěn)定的充

26、分條件, ,而不是必要條件而不是必要條件, ,其能量函數(shù)其能量函數(shù)也不是唯一的也不是唯一的. . 在狀態(tài)更新過程中，包括三種情況：由在狀態(tài)更新過程中，包括三種情況：由0 0變?yōu)樽優(yōu)? 1；由由1 1變?yōu)樽優(yōu)? 0及狀態(tài)保持不變。及狀態(tài)保持不變。q 類似于研究動力學系統(tǒng)穩(wěn)定性的類似于研究動力學系統(tǒng)穩(wěn)定性的Lyapunov穩(wěn)定性理論穩(wěn)定性理論,上述上述DHNN的穩(wěn)定性可由分析上述定義的的穩(wěn)定性可由分析上述定義的Lyapunov函數(shù)函數(shù)E的變化的變化規(guī)律而揭示規(guī)律而揭示. 因此因此,由神經(jīng)元由神經(jīng)元j的狀態(tài)變化量的狀態(tài)變化量 yj(t)所引起的所引起的的能量變化的能量變化量量 Ej為為:)2(t)y

27、x-(t)yw(w21-(t)y(t)yEEjn1ijjiij,ji,jjj 若所討論的若所討論的HNN是對稱網(wǎng)絡(luò)是對稱網(wǎng)絡(luò),即有即有wi,j=wj,i,i,j=1,2,.,n,則有則有) 3(t)yx-(t)ywEjn1ijjiji,j則yj(t+1)=fuj(t)-j式(3)則可記為:Ej(t)=-uj(t)+jyj(t) (3A)q 下面分別對 串行異步方式串行異步方式和 并行同步方式并行同步方式,證明對稱二值型HNN是穩(wěn)定的.q 如果,令jn1iiji,jx(t)yw(t)uA.串行異步方式串行異步方式q 對串行異步和對稱權(quán)值型的HNN,基于式(3A)Ej(t)=-uj(t)+jyj(

28、t) (3A)考慮如下兩種情況: 如果如果ujj,即神經(jīng)元j的輸入綜合大于閾值,則從二值神經(jīng)元的計算公式知道: yj的值保持為1,或者從0變到1. 這說明yj的變化yj只能是0或正值.這時很明顯有Ej:Ej0這說明HNN神經(jīng)元的能量減少或不變. 如果如果ujj,即神經(jīng)元j的輸入綜合小于閾值,則知yj的值保持為0,或者從1變到0,而yj小于等于零.這時則有Ej:Ej0這也說明HNN神經(jīng)元的能量減少.q 上面兩點說明了DHNN在權(quán)系數(shù)矩陣W的對角線元素為0,而且W矩陣元素對稱時,串行異步方式的DHNN是穩(wěn)定的.B. 并行同步方式并行同步方式q 由上述對串行異步和對稱權(quán)值型的DHNN的穩(wěn)定性分析過程

29、知,單個神經(jīng)元的狀態(tài)變化引起的Lyapunov函數(shù)的變化量Ej(t)0 因此, 并行同步且權(quán)值對稱的并行同步且權(quán)值對稱的DHNN的所有神經(jīng)元引起的Lyapunov函數(shù)的變化量為:0(t)E(t)y(t)yEE1j1jjnjnj 故上面兩點說明了DHNN在權(quán)系數(shù)矩陣W的對角線元素為0,而且W矩陣元素對稱時,并行同步方式的DHNN是穩(wěn)定的.q 基于上述分析,Coben和Grossberg在1983年給出了關(guān)于HNN穩(wěn)定的充分條件,他們指出: 如果權(quán)系數(shù)矩陣如果權(quán)系數(shù)矩陣W是一個對稱矩陣是一個對稱矩陣,并且并且,對角線元素為對角線元素為0.則這個網(wǎng)絡(luò)是穩(wěn)定的則這個網(wǎng)絡(luò)是穩(wěn)定的. 即是說在權(quán)系數(shù)矩陣W

30、中,若i=j時, Wij=0ij時,Wij=Wji則HNN是穩(wěn)定的. 應(yīng)該指出: 這只是HNN穩(wěn)定的充分條件,而不是必要條件. 在實際中有很多穩(wěn)定的HNN,但是它們并不滿足權(quán)系數(shù)矩陣w是對稱矩陣這一條件. x1 x3 x2 y1 y3 y2 圖 4 對角線權(quán)系數(shù)為 0 的對稱網(wǎng)另一圖示 w12 w13 w23 w21 w32 w31 q 由上面的分析可知: 無自反饋的權(quán)系數(shù)對稱HNN是穩(wěn)定. 它如圖4所示. 例例2 2：計算例：計算例1 1中中3 3節(jié)點模型的個狀態(tài)的能量。節(jié)點模型的個狀態(tài)的能量。首先選擇狀態(tài)首先選擇狀態(tài)y y1 1y y2 2y y3 3= =（011011），此時，網(wǎng)絡(luò)的能

31、量為：），此時，網(wǎng)絡(luò)的能量為：再選擇狀態(tài)再選擇狀態(tài)y y1 1y y2 2y y3 3= =（110110），同理，網(wǎng)絡(luò)的能量為：），同理，網(wǎng)絡(luò)的能量為：61*31*00*) 5(1*1*) 3(1*0*21*0*1332211322331132112yyyyywyywyywE60*31*01*) 5(0*1*) 3(0*1*21*1*1332211322331132112yyyyywyywyywE 其余狀態(tài)能量如表其余狀態(tài)能量如表2 2所示：所示： y1y2y3E0000001301000116100-5101-4110-6111-2 顯然，狀態(tài)顯然，狀態(tài)y y1 1y y2 2y y3 3

32、= =（110110）處的能量最小。從任意狀態(tài)開始，）處的能量最小。從任意狀態(tài)開始，網(wǎng)絡(luò)沿能量減小（包括同一級能量）方向更新狀態(tài)，最終能網(wǎng)絡(luò)沿能量減小（包括同一級能量）方向更新狀態(tài)，最終能達到對應(yīng)能量極小的穩(wěn)態(tài)。達到對應(yīng)能量極小的穩(wěn)態(tài)。例：運行圖所示例：運行圖所示4節(jié)點模型，并計算其各狀態(tài)的能量。節(jié)點模型，并計算其各狀態(tài)的能量。任意給定一個初始狀態(tài)為：任意給定一個初始狀態(tài)為：v(0)1,0,1,0，先計算先計算E(0)得得 E(0)1.0第一輪迭代：第一輪迭代：v1(1)sgn(2.8-6.3)=sgn (-3.5)=0v2(1) sgn(3.4+4.7-(-4.3)=sgn (12.4)=

33、1v3(1) sgn(2.8-(-2.5)=sgn (5.3)= 1v4(1) sgn(-3.1-5.9-(-9.6)=sgn (0.6)= 1E(1)-14.0v1(2)sgn(3.4+2.8-3.1-6.3)=sgn (-3.2)=0v2(2) sgn(4.7-1.2-(-4.3)=sgn (7.8)= 1v3(2) sgn(4.7-5.9-(-2.5)=sgn (1.3)= 1v4(2) sgn(-1.2-5.9-(-9.6)=sgn (2.5)= 1E(2)-14.0DHNN的能量函數(shù)的能量函數(shù) 因此，因此，v0,1,1,1是網(wǎng)絡(luò)的一個穩(wěn)定狀態(tài)。實際上此例中有是網(wǎng)絡(luò)的一個穩(wěn)定狀態(tài)。實際

34、上此例中有4個神經(jīng)元其可能的狀態(tài)有個神經(jīng)元其可能的狀態(tài)有16個，為便于驗算，將其各狀態(tài)的個，為便于驗算，將其各狀態(tài)的能量列表如下：能量列表如下：顯然，網(wǎng)絡(luò)穩(wěn)定狀態(tài)下的能量為最小值顯然，網(wǎng)絡(luò)穩(wěn)定狀態(tài)下的能量為最小值-14。網(wǎng)絡(luò)能量極小狀態(tài)即為網(wǎng)絡(luò)的一個穩(wěn)定平衡狀態(tài)。能量極小點的網(wǎng)絡(luò)能量極小狀態(tài)即為網(wǎng)絡(luò)的一個穩(wěn)定平衡狀態(tài)。能量極小點的存在為信息的分布式存儲記憶、優(yōu)化計算提供了基礎(chǔ)。如果將記存在為信息的分布式存儲記憶、優(yōu)化計算提供了基礎(chǔ)。如果將記憶的樣本信息存貯于不同的能量極小點，當輸入某一模式時，網(wǎng)憶的樣本信息存貯于不同的能量極小點，當輸入某一模式時，網(wǎng)絡(luò)就能絡(luò)就能“聯(lián)想記憶聯(lián)想記憶”與其相關(guān)的存

35、儲樣本，實現(xiàn)聯(lián)想記憶。與其相關(guān)的存儲樣本，實現(xiàn)聯(lián)想記憶。DHNN能量極小點的設(shè)計能量極小點的設(shè)計只有當網(wǎng)絡(luò)的能量極小點可被選擇和設(shè)定時，網(wǎng)絡(luò)所只有當網(wǎng)絡(luò)的能量極小點可被選擇和設(shè)定時，網(wǎng)絡(luò)所具有的能力才能發(fā)揮作用。具有的能力才能發(fā)揮作用。能量極小點的分布是由網(wǎng)絡(luò)的連接權(quán)值和閾值所決定能量極小點的分布是由網(wǎng)絡(luò)的連接權(quán)值和閾值所決定的。因此設(shè)計能量極小點的核心就是如何獲取一組合的。因此設(shè)計能量極小點的核心就是如何獲取一組合適的參數(shù)值。適的參數(shù)值。有兩種方法供選擇：有兩種方法供選擇：(1)根據(jù)求解問題的要求直接設(shè)計出所需要的連接枚值根據(jù)求解問題的要求直接設(shè)計出所需要的連接枚值(2)通過提供的附加機制來

36、訓練網(wǎng)絡(luò)，使其自動調(diào)整連通過提供的附加機制來訓練網(wǎng)絡(luò)，使其自動調(diào)整連接權(quán)值，產(chǎn)生期望的能量極小點。接權(quán)值，產(chǎn)生期望的能量極小點。前者為靜態(tài)學習方法，對于一個具體應(yīng)用而言，權(quán)矩前者為靜態(tài)學習方法，對于一個具體應(yīng)用而言，權(quán)矩陣為定常矩陣、如陣為定常矩陣、如TSP求解等。后者為動態(tài)學習方法，求解等。后者為動態(tài)學習方法，如聯(lián)想記憶等。如聯(lián)想記憶等。 例例 以以3節(jié)點節(jié)點Hopfield網(wǎng)絡(luò)為例，假定要求設(shè)計的能量網(wǎng)絡(luò)為例，假定要求設(shè)計的能量極小點為狀態(tài)極小點為狀態(tài)v1v2v3(010)和和v1v2v3(111)，且網(wǎng)絡(luò)，且網(wǎng)絡(luò)參數(shù)參數(shù)(權(quán)值、閡值權(quán)值、閡值)的取值范圍為的取值范圍為-1,1試確定滿足條

37、件試確定滿足條件的網(wǎng)絡(luò)參數(shù)。的網(wǎng)絡(luò)參數(shù)。記記v1v2v3(010)為狀態(tài)為狀態(tài)A，v1v2v3(111)為狀態(tài)為狀態(tài)B對于狀態(tài)對于狀態(tài)A，節(jié)點激勵函數(shù)必須滿足下列不等式：，節(jié)點激勵函數(shù)必須滿足下列不等式：對于狀態(tài)對于狀態(tài)B，節(jié)點激勵函數(shù)必須滿足下列不等式：，節(jié)點激勵函數(shù)必須滿足下列不等式： 1212233( )0( )0( )0awbcw 121311223223133( )0( )0()0dwwewwfww 用上面的不等式組，可以求解出用上面的不等式組，可以求解出6個未知量的允許取個未知量的允許取值范圍。值范圍。假設(shè)取假設(shè)取w120.5，則：，則：由由(a)式，式，0.511，取，取10.7

38、由由(d)式，式，0.2w13 1，取，取W130.4由由(b)式，式，-120，取，取2-0.2由由(e)式，式，-0.7w231，取，取w230.1由由(c)式，式，0.13 1，取，取30.4；3也滿足也滿足(f)式。式。于是，確定了一組權(quán)值和閾值：于是，確定了一組權(quán)值和閾值：w120.5，w130.4，w230.110.7，2-0.2，30.4可以驗證，利用這組參數(shù)構(gòu)成的可以驗證，利用這組參數(shù)構(gòu)成的Hopfield網(wǎng)絡(luò)對于任網(wǎng)絡(luò)對于任何起始狀態(tài)，始終都將達到所期望的穩(wěn)態(tài)何起始狀態(tài)，始終都將達到所期望的穩(wěn)態(tài)A和穩(wěn)態(tài)和穩(wěn)態(tài)BDHNN能量極小點的設(shè)計能量極小點的設(shè)計5.2.3 HNN5.2.

39、3 HNN的聯(lián)想記憶的聯(lián)想記憶 所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關(guān)的事物的過程相關(guān)的事物的過程. . 日常生活中日常生活中, ,從一種事物出發(fā)從一種事物出發(fā), ,人們會非常自然地人們會非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事務(wù)務(wù). . 兩種聯(lián)想形式兩種聯(lián)想形式 自聯(lián)想自聯(lián)想(Auto-association) :(Auto-association) : 由某種代表事物由某種代表事物( (或該事物的主要特征或該事物的主要特征, ,或部分主或部分主要特征要特征) )聯(lián)想到其所標示的實際事物。聯(lián)想到其

40、所標示的實際事物。 從英文字頭從英文字頭“Newt”Newt”聯(lián)想到聯(lián)想到“Newton”Newton”。 聽到歌曲的一部分可以聯(lián)想起整個曲子。聽到歌曲的一部分可以聯(lián)想起整個曲子。 異聯(lián)想異聯(lián)想( (他聯(lián)想他聯(lián)想)(Hetero -association) :)(Hetero -association) : 由一種事物由一種事物( (或該事物的主要特征或該事物的主要特征, ,或部分主要特或部分主要特征征) )聯(lián)想到與其密切相關(guān)的另一事物。聯(lián)想到與其密切相關(guān)的另一事物。 從質(zhì)能關(guān)系式從質(zhì)能關(guān)系式E=mcE=mc2 2聯(lián)想到其發(fā)明者愛因斯坦。聯(lián)想到其發(fā)明者愛因斯坦。 看到某人的名字會聯(lián)想起他的相貌

41、和特點?？吹侥橙说拿謺?lián)想起他的相貌和特點。 人腦從一種事物得到對應(yīng)事物的兩種途徑人腦從一種事物得到對應(yīng)事物的兩種途徑 按時間順序?qū)ο嚓P(guān)事物進行思考按時間順序?qū)ο嚓P(guān)事物進行思考 可通過時間表來回憶某一階段所做的工作可通過時間表來回憶某一階段所做的工作. . 通過事物本質(zhì)特征的對比來確定事物的屬性通過事物本質(zhì)特征的對比來確定事物的屬性 由提示信息或局部信息對事物進行回憶或確認由提示信息或局部信息對事物進行回憶或確認. .qHNNHNN的一個功能是可用于聯(lián)想記憶的一個功能是可用于聯(lián)想記憶, ,也即是聯(lián)想存儲也即是聯(lián)想存儲器器. .這是人類的智能特點之一這是人類的智能特點之一. . 人類的所謂人類

42、的所謂“觸景生情觸景生情”就是見到一些類同過去接觸的就是見到一些類同過去接觸的景物景物, ,容易產(chǎn)生對過去情景的回昧和思憶容易產(chǎn)生對過去情景的回昧和思憶. . 對于對于HNN,HNN,用它作聯(lián)想記憶時用它作聯(lián)想記憶時, ,首先通過一個學習訓練過首先通過一個學習訓練過程確定網(wǎng)絡(luò)中的權(quán)系數(shù)程確定網(wǎng)絡(luò)中的權(quán)系數(shù), ,使所記憶的信息在網(wǎng)絡(luò)的使所記憶的信息在網(wǎng)絡(luò)的n n維超維超立方體的某一個頂角的能量最小立方體的某一個頂角的能量最小. . 當網(wǎng)絡(luò)的權(quán)系數(shù)確定之后當網(wǎng)絡(luò)的權(quán)系數(shù)確定之后, ,只要向網(wǎng)絡(luò)給出輸入向量只要向網(wǎng)絡(luò)給出輸入向量, ,這這個向量可能是局部數(shù)據(jù)個向量可能是局部數(shù)據(jù). . 即不完全或部分

43、不正確的數(shù)據(jù)即不完全或部分不正確的數(shù)據(jù), ,但是網(wǎng)絡(luò)仍然產(chǎn)生所但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出記憶的信息的完整輸出. .q19841984年年HopfieldHopfield提出一種用提出一種用n n維維HNNHNN作聯(lián)想存儲器的作聯(lián)想存儲器的結(jié)構(gòu)結(jié)構(gòu). . HNNHNN聯(lián)想存儲器的主要思想為聯(lián)想存儲器的主要思想為: : 根據(jù)欲存儲的信息的表示形式和維數(shù)根據(jù)欲存儲的信息的表示形式和維數(shù), ,設(shè)計相應(yīng)的設(shè)計相應(yīng)的HNNHNN結(jié)構(gòu)結(jié)構(gòu) 將欲存儲的信息設(shè)計為將欲存儲的信息設(shè)計為HNNHNN的動力學過程的已知的漸的動力學過程的已知的漸近穩(wěn)定平衡點近穩(wěn)定平衡點 通過學習和設(shè)計算法尋求合適的權(quán)值矩陣

44、將穩(wěn)定狀態(tài)通過學習和設(shè)計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡(luò)中存儲到網(wǎng)絡(luò)中q 在在HNNHNN聯(lián)想存儲器中聯(lián)想存儲器中, ,權(quán)系數(shù)的賦值規(guī)則權(quán)系數(shù)的賦值規(guī)則HebbHebb規(guī)則規(guī)則, ,即為存儲即為存儲向量的外積存儲規(guī)則向量的外積存儲規(guī)則, ,其原理如下其原理如下: : 設(shè)有m個樣本存儲向量X1,X2,Xm,其中Xi=Xi1,Xi2,.,Xi,n把這m個樣本向量存儲入HNN中,則在網(wǎng)絡(luò)中第i,j兩個節(jié)點之間權(quán)系數(shù)的值為(權(quán)值學習規(guī)則):mjijijiXXWjkikij,.,2 , 1,0,時當時當其中k為樣本向量Xk的下標,k=1,2,m;i,j分別是樣本向量Xk的第i,j分量Xk,i,

45、Xk,j的下標. 如果把系統(tǒng)的穩(wěn)定點視做一個記憶的話，那如果把系統(tǒng)的穩(wěn)定點視做一個記憶的話，那么從初始狀態(tài)朝這個穩(wěn)定點移動的過程就是么從初始狀態(tài)朝這個穩(wěn)定點移動的過程就是尋找該記憶的過程。尋找該記憶的過程。 用用 DHNN實現(xiàn)聯(lián)想記憶需要考慮兩個重要的問題：實現(xiàn)聯(lián)想記憶需要考慮兩個重要的問題：怎樣按記憶確定網(wǎng)絡(luò)的怎樣按記憶確定網(wǎng)絡(luò)的W和和 ；網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別討論：討論：1、權(quán)值的設(shè)計方法權(quán)值的設(shè)計方法2、記憶容量分析記憶容量分析3、權(quán)值修正的其它方法權(quán)值修正的其它方法權(quán)值的設(shè)計方法權(quán)值的設(shè)計方法 權(quán)值設(shè)計的方法有外積法、偽

46、逆法、正交設(shè)計法等。權(quán)值設(shè)計的方法有外積法、偽逆法、正交設(shè)計法等。 外積法（外積法（Hebb學習規(guī)則）學習規(guī)則）：是一種比較簡單，在一定條件：是一種比較簡單，在一定條件下行之有效的方法。下行之有效的方法。niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK1 0 ,1,11單位陣，則為給定輸入按上述規(guī)則求出權(quán)矩陣后，網(wǎng)絡(luò)已經(jīng)將模式存入網(wǎng)絡(luò)的按上述規(guī)則求出權(quán)矩陣后，網(wǎng)絡(luò)已經(jīng)將模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過程中，先給出一個原始模式，使網(wǎng)連接權(quán)中。在聯(lián)想過程中，先給出一個原始模式，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動態(tài)運行，最后達絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動態(tài)運行，最后達

47、到一個穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對應(yīng)于網(wǎng)絡(luò)已存儲的到一個穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對應(yīng)于網(wǎng)絡(luò)已存儲的某個模式，則稱模式是由模式聯(lián)想起來的。某個模式，則稱模式是由模式聯(lián)想起來的。記憶容量問題記憶容量問題 設(shè)計設(shè)計DHNNDHNN網(wǎng)絡(luò)的目的網(wǎng)絡(luò)的目的, ,是希望通過所設(shè)計的權(quán)是希望通過所設(shè)計的權(quán)值矩陣值矩陣W W儲存多個期望模式儲存多個期望模式. . 因此因此, ,在在DHNNDHNN用于聯(lián)想記憶問題用于聯(lián)想記憶問題, ,記憶容量問題是記憶容量問題是一個必須回答的基本問題一個必須回答的基本問題. . 當網(wǎng)絡(luò)只記憶一個穩(wěn)定模式時當網(wǎng)絡(luò)只記憶一個穩(wěn)定模式時, ,該模式肯定被該模式肯定被網(wǎng)絡(luò)準確無誤地記憶住

48、網(wǎng)絡(luò)準確無誤地記憶住, ,即所設(shè)計的即所設(shè)計的W W值一定值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系能夠滿足正比于輸入和輸出矢量的乘積關(guān)系. . 但當需要記憶的模式增多時但當需要記憶的模式增多時, ,網(wǎng)絡(luò)記憶可能出現(xiàn)網(wǎng)絡(luò)記憶可能出現(xiàn)問題問題. . 按照按照HebbHebb規(guī)則求出權(quán)矩陣后，可以認為已有規(guī)則求出權(quán)矩陣后，可以認為已有M M個模式個模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過程中，先給出原始存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過程中，先給出原始模式模式m m0 0，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動態(tài)運行，最后到達一個穩(wěn)定狀態(tài)。如果此穩(wěn)定狀動態(tài)運行，最后到達一

49、個穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對應(yīng)于已存儲的態(tài)對應(yīng)于已存儲的M M個模式中的某個模式個模式中的某個模式m mk k, ,則稱模則稱模式式m mk k是由模式是由模式m m0 0聯(lián)想起來的。在這里舉例說明。聯(lián)想起來的。在這里舉例說明。 例例3.3.對于一個對于一個4 4神經(jīng)元的網(wǎng)絡(luò)，取閾值為神經(jīng)元的網(wǎng)絡(luò)，取閾值為0 0。給定兩。給定兩個模式存儲于網(wǎng)絡(luò)中：個模式存儲于網(wǎng)絡(luò)中： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,1,1,=1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,

50、-1,-1.=-1,-1,-1,-1.mjijijiXXWjkikij,.,2 , 1,0,時當時當 按照按照HebbHebb規(guī)則規(guī)則可求得權(quán)矩陣：可求得權(quán)矩陣：111213142122232431323334414243440222202222022220wwwwwwwwWwwwwwwwwjn1iiji,j(t)ywf1)(ty 給出用于聯(lián)想的原始模式：給出用于聯(lián)想的原始模式： m mA A:Y:Y=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,-1,1,=1,1,-1,1,運用網(wǎng)絡(luò)方程：運用網(wǎng)絡(luò)方程： 得到：得到： Y(1)=1,1,1,1,Y(1)=1,1,1,1,再次

51、運行，得到再次運行，得到 Y(2)=1,1,1,1Y(2)=1,1,1,1。 這時網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：這時網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：Y=1,1,1,1Y=1,1,1,1。而這。而這個穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式個穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式m m1 1，由此可，由此可以認為以認為m m1 1是由模式是由模式m mA A聯(lián)想起來的。聯(lián)想起來的。 若給出用于聯(lián)想的原始模式為：若給出用于聯(lián)想的原始模式為： m mB B:Y:Y=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,-1,1,=-1,-1,-1,1,則得到另一穩(wěn)定狀態(tài)則得到另一穩(wěn)定狀態(tài) Y=-1,-1,-1,-1Y=-1,

52、-1,-1,-1即模式即模式m m2 2。 再看一例。再看一例。例例4.4.存儲如下記憶模式：若給出用于聯(lián)想的原始模式存儲如下記憶模式：若給出用于聯(lián)想的原始模式為：為： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,1,=-1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,1,1,=-1,-1,1,1, m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.則其權(quán)矩陣為：則其權(quán)矩陣為：111

53、213142122232431323334414243440131101131011110wwwwwwwwWwwwwwwww 給出聯(lián)想模式：給出聯(lián)想模式： m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.但網(wǎng)絡(luò)運行穩(wěn)定在模式但網(wǎng)絡(luò)運行穩(wěn)定在模式 m m1 1:Y:Y(1)(1)=-1,1,1,1=-1,1,1,1而不是其自身模式而不是其自身模式m m3 3。 因此，因此，DHNNDHNN用于記憶聯(lián)想時，是受其記憶容量和用于記憶聯(lián)想時，是受其記憶容量和樣本差異制約的。當記憶模式較少，且模式之間樣本差異制約的。當記

54、憶模式較少，且模式之間的差異較大，則聯(lián)想的結(jié)果就比較正確；而當需的差異較大，則聯(lián)想的結(jié)果就比較正確；而當需記憶的模式較多，容易引起混淆時，網(wǎng)絡(luò)到達的記憶的模式較多，容易引起混淆時，網(wǎng)絡(luò)到達的穩(wěn)定狀態(tài)往往不是已記憶的模式；再者，當需記穩(wěn)定狀態(tài)往往不是已記憶的模式；再者，當需記憶的模式之間較為相近時，網(wǎng)絡(luò)就不能辨別出正憶的模式之間較為相近時，網(wǎng)絡(luò)就不能辨別出正確的模式，甚至連自身都會搞錯，即使用已記憶確的模式，甚至連自身都會搞錯，即使用已記憶的模式作為聯(lián)想模式（自聯(lián)想），也可能出錯，的模式作為聯(lián)想模式（自聯(lián)想），也可能出錯，如例如例4 4。 當網(wǎng)絡(luò)只記憶一個穩(wěn)定的模式時，該模式網(wǎng)絡(luò)只記憶一個穩(wěn)定的

55、模式時，該模式肯定被網(wǎng)絡(luò)準確無誤的記憶住。但當所要肯定被網(wǎng)絡(luò)準確無誤的記憶住。但當所要記憶的模式增加時，情況則發(fā)生了變化，記憶的模式增加時，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點上：主要表現(xiàn)在下列兩點上：1、權(quán)值移動權(quán)值移動2、交叉干擾交叉干擾當網(wǎng)絡(luò)用于聯(lián)想記憶時，就涉及到網(wǎng)絡(luò)的記憶容量問題。對當網(wǎng)絡(luò)用于聯(lián)想記憶時，就涉及到網(wǎng)絡(luò)的記憶容量問題。對此不做專門討論，僅給出一些研究結(jié)果。此不做專門討論，僅給出一些研究結(jié)果。權(quán)值移動權(quán)值移動 在網(wǎng)絡(luò)的學習過程中，網(wǎng)絡(luò)對權(quán)值的記憶實在網(wǎng)絡(luò)的學習過程中，網(wǎng)絡(luò)對權(quán)值的記憶實際上是逐個實現(xiàn)的。即對權(quán)值際上是逐個實現(xiàn)的。即對權(quán)值W，有程序，有程序: 當網(wǎng)絡(luò)當網(wǎng)絡(luò)準

56、確的記憶準確的記憶X1時，為了記憶時，為了記憶X2,需要在記憶樣本需要在記憶樣本X1的權(quán)值上加上對樣本的權(quán)值上加上對樣本X2的記憶項的記憶項X2 X2T-I，將權(quán)值在，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動。這樣網(wǎng)絡(luò)有可能部分地原來值的基礎(chǔ)上產(chǎn)生了移動。這樣網(wǎng)絡(luò)有可能部分地遺忘了以前已記憶的模式。遺忘了以前已記憶的模式。endIXXWWqkforWTKK, 1 0 從動力學的角度來看，從動力學的角度來看，k值較小時，網(wǎng)值較小時，網(wǎng)絡(luò)絡(luò)Hebb學習規(guī)則可以使輸入學習樣本成學習規(guī)則可以使輸入學習樣本成為其吸引子。隨著為其吸引子。隨著k值的增加，不但難以值的增加，不但難以使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且

57、使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使以記憶住的吸引子的吸引域變有可能使以記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從小，使原來處于吸引子位置上的樣本從吸引子的位置移動。對一記憶的樣本發(fā)吸引子的位置移動。對一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為生遺忘，這種現(xiàn)象稱為“疲勞疲勞”。交叉干擾交叉干擾 網(wǎng)絡(luò)在學習多個樣本后，在回憶階段，即驗證該記網(wǎng)絡(luò)在學習多個樣本后，在回憶階段，即驗證該記憶樣本時所產(chǎn)生的干擾，稱為交叉干擾憶樣本時所產(chǎn)生的干擾，稱為交叉干擾。 對外積型設(shè)計而言，如果輸入樣本是彼此正交的，對外積型設(shè)計而言，如果輸入樣本是彼此正交的，n個神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為個神經(jīng)元

58、的網(wǎng)絡(luò)其記憶容量的上界為n。但是在大。但是在大多數(shù)情況下，學習樣本不可能是正交的，因而網(wǎng)絡(luò)多數(shù)情況下，學習樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比的記憶容量要比n小得多，一般為小得多，一般為(0.130.15)n。權(quán)值修正的其它方法權(quán)值修正的其它方法1、學習規(guī)則2、偽逆法3、正交化權(quán)值設(shè)計 學習規(guī)則學習規(guī)則 學習規(guī)則基本公式是學習規(guī)則基本公式是： 即通過計算該神經(jīng)元節(jié)點的實際激勵值即通過計算該神經(jīng)元節(jié)點的實際激勵值A(chǔ)(t)，與期望狀態(tài)，與期望狀態(tài)T(t)進行比較，若不滿進行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持整量，

59、若滿足要求，則相應(yīng)的權(quán)值保持不變。不變。 tPtAtTtwtwPWijij1偽逆法偽逆法 求出權(quán)矩陣滿秩，其逆存在，則可線性無關(guān)的，則如果樣本之間是為偽逆，有其中由此可得輸入輸出之間用權(quán)值W來映射，則有設(shè)輸入樣本W(wǎng)XXXXXXXNWNYXWNXXXXTTTN, sgn, 121*X用用偽逆法求出的權(quán)偽逆法求出的權(quán)W可以保證在自己輸入時仍能收可以保證在自己輸入時仍能收斂到樣本自己。如果斂到樣本自己。如果N與輸入與輸入X完全相同，則完全相同，則W也也可以是對稱的，因而滿足穩(wěn)定工作的條件。其實只可以是對稱的，因而滿足穩(wěn)定工作的條件。其實只要滿足要滿足Y矩陣中每一個元與矩陣中每一個元與WX矩陣中的每個

60、元有相矩陣中的每個元有相同的符號就可以滿足收斂到本身。同的符號就可以滿足收斂到本身。正交化權(quán)值設(shè)計正交化權(quán)值設(shè)計 這一方法是由這一方法是由Li和和Mechel提出來的，其出發(fā)點為：提出來的，其出發(fā)點為： (1)要保證系統(tǒng)在異步工作時的穩(wěn)定性，則它的權(quán)是對要保證系統(tǒng)在異步工作時的穩(wěn)定性，則它的權(quán)是對稱的稱的 (2 )要保證所有的要求的記憶樣本都能收斂到自己，不要保證所有的要求的記憶樣本都能收斂到自己，不會出現(xiàn)錯誤的其他收斂值會出現(xiàn)錯誤的其他收斂值 (3)要求偽穩(wěn)定點的數(shù)目盡可能地少。要求偽穩(wěn)定點的數(shù)目盡可能地少。 (4)要求穩(wěn)定點吸引域盡可能地大。要求穩(wěn)定點吸引域盡可能地大。其狀態(tài)轉(zhuǎn)換公式為其狀