反饋神經(jīng)網(wǎng)絡(luò)2課件

1、1第三講第三講 反饋神經(jīng)網(wǎng)反饋神經(jīng)網(wǎng)絡(luò)絡(luò)2本章知識結(jié)構(gòu)本章知識結(jié)構(gòu) 概述概述 離散離散hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 連續(xù)連續(xù)hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 連續(xù)連續(xù)hopfieldhopfield網(wǎng)絡(luò)的應(yīng)用網(wǎng)絡(luò)的應(yīng)用優(yōu)化計算優(yōu)化計算33.1 3.1 概述概述 聯(lián)想特性是聯(lián)想特性是annann的一個重要特性。前面介紹的的一個重要特性。前面介紹的網(wǎng)絡(luò)模型屬于前向網(wǎng)絡(luò)模型屬于前向nnnn，從學習的角度看，具有，從學習的角度看，具有較強的學習能力，結(jié)構(gòu)簡單，易于編程。從系較強的學習能力，結(jié)構(gòu)簡單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過簡單統(tǒng)角度看，屬于靜態(tài)的非線性映射

2、，通過簡單的非線性處理單元的復合映射可獲得復雜的非的非線性處理單元的復合映射可獲得復雜的非線性處理能力。但他們因此缺乏反饋，所以并線性處理能力。但他們因此缺乏反饋，所以并不是強有力的動力學系統(tǒng)。聯(lián)想特性是不是強有力的動力學系統(tǒng)。聯(lián)想特性是annann的一的一個重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。個重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋聯(lián)想記憶能力。在反饋nnnn中，我們將著重介紹中，我們將著重介紹nnnn的聯(lián)想記憶和優(yōu)化計算的能力。的聯(lián)想記憶和優(yōu)化計算的能力。43.1 3.1 概述概述 聯(lián)想記

3、憶是指當網(wǎng)絡(luò)輸入某個矢量后，網(wǎng)絡(luò)聯(lián)想記憶是指當網(wǎng)絡(luò)輸入某個矢量后，網(wǎng)絡(luò)經(jīng)過反饋演化，從網(wǎng)絡(luò)輸出端得到另一個矢量，經(jīng)過反饋演化，從網(wǎng)絡(luò)輸出端得到另一個矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個穩(wěn)定記憶，即網(wǎng)絡(luò)的一個平衡點。優(yōu)化到的一個穩(wěn)定記憶，即網(wǎng)絡(luò)的一個平衡點。優(yōu)化計算是指當某一問題存在多種解法時，可以設(shè)計計算是指當某一問題存在多種解法時，可以設(shè)計一個目標函數(shù)，然后尋求滿足這一目標函數(shù)的最一個目標函數(shù)，然后尋求滿足這一目標函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目標函數(shù)，得到的最優(yōu)解法

4、需要使能量函數(shù)達為目標函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)達到極小點，即能量函數(shù)的穩(wěn)定平衡點?？傊?，反到極小點，即能量函數(shù)的穩(wěn)定平衡點?？傊答伨W(wǎng)絡(luò)的設(shè)計思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)饋網(wǎng)絡(luò)的設(shè)計思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過反饋計算最后到達穩(wěn)定狀態(tài)，這時的輸出即是過反饋計算最后到達穩(wěn)定狀態(tài)，這時的輸出即是用戶需要的平衡點。用戶需要的平衡點。5 19821982年年, ,美國加州工學院美國加州工學院j.hopfieldj.hopfield提出了可用作聯(lián)提出了可用作聯(lián)想存儲器和優(yōu)化計算的反饋網(wǎng)絡(luò)想存儲器和優(yōu)化計算的反饋網(wǎng)絡(luò), ,這個網(wǎng)絡(luò)稱為這個網(wǎng)絡(luò)稱為hopfieldhopfield神經(jīng)網(wǎng)絡(luò)神

5、經(jīng)網(wǎng)絡(luò)(hnn)(hnn)模型模型, ,也稱也稱hopfieldhopfield模型模型. .hnnhnn是一種循環(huán)是一種循環(huán)nn,nn,從輸出到輸從輸出到輸入有反饋連接入有反饋連接. .hnnhnn有有離散型和離散型和連續(xù)型連續(xù)型兩種兩種. .3.1 3.1 概述概述6 反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(recurrent network),(recurrent network),又稱自聯(lián)又稱自聯(lián)想記憶網(wǎng)絡(luò)想記憶網(wǎng)絡(luò), ,如下圖所示如下圖所示: :3.1 3.1 概述概述7 反饋網(wǎng)絡(luò)的目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一反饋網(wǎng)絡(luò)的目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點，使得當給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過組平衡點，

6、使得當給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的平衡點上。自行運行而最終收斂到這個設(shè)計的平衡點上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學系統(tǒng)的動態(tài)反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點：特性。它所具有的主要特性為以下兩點：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)絡(luò)從某第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；個穩(wěn)定的平衡狀態(tài)；第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。值而被存儲到

7、網(wǎng)絡(luò)中。 3.1 3.1 概述概述8 由于由于hnnhnn為動力學系統(tǒng)為動力學系統(tǒng), ,且其平衡態(tài)關(guān)系到信且其平衡態(tài)關(guān)系到信息的存儲與聯(lián)想記憶息的存儲與聯(lián)想記憶, ,其平衡態(tài)與穩(wěn)定性是非其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問題。常關(guān)鍵的問題。 反饋網(wǎng)絡(luò)根據(jù)信號的時間域的性質(zhì)的分類為反饋網(wǎng)絡(luò)根據(jù)信號的時間域的性質(zhì)的分類為如果激活函數(shù)如果激活函數(shù)f()f()是一個二值型的階躍函數(shù)是一個二值型的階躍函數(shù), ,則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò), ,主要用于聯(lián)想記主要用于聯(lián)想記憶憶; ;如果如果f()f()為一個連續(xù)單調(diào)上升的有界函數(shù)為一個連續(xù)單調(diào)上升的有界函數(shù), ,這這類網(wǎng)絡(luò)被稱為連續(xù)型反

8、饋網(wǎng)絡(luò)類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò), ,主要用于優(yōu)化計主要用于優(yōu)化計算。算。3.1 3.1 概述概述9 反饋反饋nnnn由于其輸出端有反饋到其輸入端由于其輸出端有反饋到其輸入端, ,所以所以,hnn,hnn在在輸入的激勵下輸入的激勵下, ,會產(chǎn)生不斷的狀態(tài)變化會產(chǎn)生不斷的狀態(tài)變化. .當有輸入之后當有輸入之后, ,可以求取出可以求取出hnnhnn的輸出的輸出, ,這個輸出反饋到輸這個輸出反饋到輸入從而產(chǎn)生新的輸出入從而產(chǎn)生新的輸出, ,這個反饋過程一直進行下去這個反饋過程一直進行下去. .如果如果hnnhnn是一個能穩(wěn)定的網(wǎng)絡(luò)是一個能穩(wěn)定的網(wǎng)絡(luò), ,則這個反饋與迭代的計算則這個反饋與迭代的計算過

9、程所產(chǎn)生的變化越來越小過程所產(chǎn)生的變化越來越小, ,一旦到達了穩(wěn)定平衡狀態(tài)一旦到達了穩(wěn)定平衡狀態(tài), ,那么那么hnnhnn就會輸出一個穩(wěn)定的恒值就會輸出一個穩(wěn)定的恒值. .對于對于hnnhnn來說來說, ,關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù). .應(yīng)該指出應(yīng)該指出, ,反饋網(wǎng)絡(luò)有穩(wěn)定的反饋網(wǎng)絡(luò)有穩(wěn)定的, ,也有不穩(wěn)定的也有不穩(wěn)定的. .對于對于hnnhnn來說來說, ,還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)還存在如何判別它是穩(wěn)定網(wǎng)絡(luò), ,亦或是亦或是不穩(wěn)定的問題不穩(wěn)定的問題. .而判別依據(jù)是什么而判別依據(jù)是什么, ,也是需要確定的也是需要確定的. .3.1 3.1 概述

10、概述103.1 3.1 概述概述反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 結(jié)構(gòu)不同結(jié)構(gòu)不同 前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。 反饋神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)定性反饋神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)定性問題。（關(guān)鍵問題）問題。（關(guān)鍵問題） 模型不同模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考慮延時。慮延時。 反饋網(wǎng)絡(luò)：考慮延時，是一個動態(tài)系統(tǒng)，模反饋網(wǎng)絡(luò)：考慮延時，是一個動態(tài)系統(tǒng)，模型是動態(tài)方程（微分方程）。型是動態(tài)方程（微分方程）。113.1 3.1 概述概述網(wǎng)絡(luò)的演變過程不同網(wǎng)絡(luò)的演變過程不同 前向網(wǎng)絡(luò)：通過學習得到

11、連接權(quán)然后完成指前向網(wǎng)絡(luò)：通過學習得到連接權(quán)然后完成指定任務(wù)。定任務(wù)。 反饋網(wǎng)絡(luò)：反饋網(wǎng)絡(luò)：( (優(yōu)化計算時優(yōu)化計算時) )首先確定首先確定w w（不是（不是通過學習而來的，而是通過目標函數(shù)用解析算通過學習而來的，而是通過目標函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運動，若穩(wěn)定，則最后達到一個穩(wěn)定狀態(tài)，對運動，若穩(wěn)定，則最后達到一個穩(wěn)定狀態(tài)，對應(yīng)的輸出就是優(yōu)化問題的解。應(yīng)的輸出就是優(yōu)化問題的解。123.1 3.1 概述概述學習方法不同學習方法不同 前向網(wǎng)絡(luò)：誤差修正算法（前向網(wǎng)絡(luò)：誤差修正算法（bpbp算法）。算法）。 反向網(wǎng)絡(luò)：海布反向網(wǎng)絡(luò)

12、：海布(hebb)(hebb)算法算法( (用于聯(lián)想、分用于聯(lián)想、分類的時候類的時候) )運行學習算法whebb133.1 3.1 概述概述 應(yīng)用范圍不同應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶和反饋網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶和約束優(yōu)化問題的求解。約束優(yōu)化問題的求解。14 對于如對于如hnnhnn類似的反饋網(wǎng)絡(luò)類似的反饋網(wǎng)絡(luò), ,研究的重點為研究的重點為: :如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)平衡狀態(tài), ,得到聯(lián)想存儲或優(yōu)化計算的結(jié)果得到聯(lián)想存儲或優(yōu)化計算的結(jié)

13、果網(wǎng)絡(luò)的穩(wěn)定性問題網(wǎng)絡(luò)的穩(wěn)定性問題怎樣設(shè)計和利用穩(wěn)定的反饋網(wǎng)絡(luò)怎樣設(shè)計和利用穩(wěn)定的反饋網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)能夠達到穩(wěn)定收斂網(wǎng)絡(luò)系統(tǒng)能夠達到穩(wěn)定收斂 網(wǎng)絡(luò)的穩(wěn)定點網(wǎng)絡(luò)的穩(wěn)定點 吸引域的設(shè)計吸引域的設(shè)計 下面開始介紹下面開始介紹hnn,hnn,分別介紹兩種主要的分別介紹兩種主要的hnn:hnn:離散離散hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò)連續(xù)連續(xù)hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò)3.1 3.1 概述概述153.2 3.2 離散離散hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò) hopfieldhopfield最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-10-1二值的二值的nn,nn

14、,所以所以, ,也稱離散的也稱離散的hnn (hnn (簡稱為簡稱為dhnn).dhnn).下面分別討論下面分別討論dhnndhnn的的結(jié)構(gòu)結(jié)構(gòu)動力學穩(wěn)定性動力學穩(wěn)定性( (網(wǎng)絡(luò)收斂性網(wǎng)絡(luò)收斂性) )聯(lián)想存儲中的應(yīng)用聯(lián)想存儲中的應(yīng)用記憶容量問題記憶容量問題16 在在dhnndhnn網(wǎng)絡(luò)中網(wǎng)絡(luò)中, ,神經(jīng)元所輸出的離散值神經(jīng)元所輸出的離散值1 1和和0 0分分別表示神經(jīng)元處于興奮和抑制狀態(tài)別表示神經(jīng)元處于興奮和抑制狀態(tài). .各神經(jīng)元通過賦有權(quán)重的連接來互聯(lián)各神經(jīng)元通過賦有權(quán)重的連接來互聯(lián). .下面下面, ,首先考慮由三個神經(jīng)元組成的首先考慮由三個神經(jīng)元組成的dhnn,dhnn,其結(jié)其結(jié)構(gòu)如構(gòu)如圖

15、圖3.13.1所示所示. ..1離散離散hopfieldhopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)17 x1 x3 x2 y1 y3 y2 圖 3.1 三神經(jīng)元組成的 hnn w11 w12 w13 w21 w23 w31 w22 w33 w32 .1離散離散hopfieldhopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)18 在圖中在圖中, ,第第0 0層僅僅是作為網(wǎng)絡(luò)的輸入層僅僅是作為網(wǎng)絡(luò)的輸入, ,它不是它不是實際神經(jīng)元實際神經(jīng)元, ,所以無計算功能所以無計算功能; ;而第一層是實際神經(jīng)元而第一層是實際神經(jīng)元, ,故而執(zhí)行對輸入信息和故而執(zhí)行對輸入信息和權(quán)系數(shù)乘積求累加和權(quán)

16、系數(shù)乘積求累加和, ,并由非線性函數(shù)并由非線性函數(shù)f f處理后處理后產(chǎn)生輸出信息產(chǎn)生輸出信息. .f f是一個簡單的閾值函效是一個簡單的閾值函效, ,如果如果神經(jīng)元的輸入信息的綜合大于閾值神經(jīng)元的輸入信息的綜合大于閾值 , ,那么那么, ,神經(jīng)元的神經(jīng)元的輸出就取值為輸出就取值為1;1;小于閾值小于閾值 , ,則神經(jīng)元的輸出就取值為則神經(jīng)元的輸出就取值為0.0.對于二值神經(jīng)元對于二值神經(jīng)元, ,它的計算公式如下它的計算公式如下jn1iiji,jxywu.1離散離散hopfieldhopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)19其中xj為外部輸入,并且有yj=1,當ujj時yj=0,當u

17、j0,有:y(t+t)=y(t)則稱網(wǎng)絡(luò)是穩(wěn)定的.吸引子：若y(t)是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱y(t)是網(wǎng)絡(luò)的穩(wěn)定吸引子。吸引域：能夠穩(wěn)定在吸引子y(t)的所有初始狀態(tài)y(0)的集合，稱為吸引子y(t)的吸引域。28q 從dhnn可以看出: 它是一種多輸入,含有閾值的二值非線性動力系統(tǒng). 在動力系統(tǒng)中,平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運動過程中,其能量值不斷減小,最后處于最小值. 因此,對hnn可引入一個lyapunov函數(shù),即所謂能量函數(shù):3.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性 即有) 1 (t)y(t)yx-(t)(t)yyw21e1n1ijj

18、jjjiji,njn1jjjn1jjjn1in1jjiji,(t)y(t)yx-(t)(t)yyw21-e293.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性 對對hnnhnn的能量函數(shù)有幾點說明的能量函數(shù)有幾點說明: :當對反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后當對反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后, ,從任一初始狀態(tài)開從任一初始狀態(tài)開始始, ,因為在每次迭代后都能滿足因為在每次迭代后都能滿足 e e 0,0,所以網(wǎng)絡(luò)的所以網(wǎng)絡(luò)的能量將會越來越小能量將會越來越小. .由于能量函數(shù)存在下界由于能量函數(shù)存在下界, ,因此其最后趨于穩(wěn)定點因此其最后趨于穩(wěn)定點 e=0. e=0. hopfieldhopfi

19、eld能量函數(shù)的物理意義是能量函數(shù)的物理意義是: :在那些漸進穩(wěn)定點的吸引域內(nèi)在那些漸進穩(wěn)定點的吸引域內(nèi), ,離吸引點越遠的狀態(tài)離吸引點越遠的狀態(tài), ,所所具有的能量越大具有的能量越大. .由于能量函數(shù)的單調(diào)下降特性由于能量函數(shù)的單調(diào)下降特性, ,保證狀態(tài)的運動方向能保證狀態(tài)的運動方向能從遠離吸引點處從遠離吸引點處, ,不斷地趨于吸引點不斷地趨于吸引點, ,直到達到穩(wěn)定點直到達到穩(wěn)定點. .303.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念. .根據(jù)能量函數(shù)根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性可以方便的判斷系統(tǒng)

20、的穩(wěn)定性; ;hopfieldhopfield選擇的能量函數(shù)選擇的能量函數(shù), ,只是保證系統(tǒng)穩(wěn)定和漸只是保證系統(tǒng)穩(wěn)定和漸進穩(wěn)定的充分條件進穩(wěn)定的充分條件, ,而不是必要條件而不是必要條件, ,其能量函數(shù)其能量函數(shù)也不是唯一的也不是唯一的. .在狀態(tài)更新過程中，包括三種情況：由在狀態(tài)更新過程中，包括三種情況：由0 0變?yōu)樽優(yōu)? 1；由由1 1變?yōu)樽優(yōu)? 0及狀態(tài)保持不變。及狀態(tài)保持不變。313.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性q 類似于研究動力學系統(tǒng)穩(wěn)定性的lyapunov穩(wěn)定性理論,上述dhnn的穩(wěn)定性可由分析上述定義的lyapunov函數(shù)e的變化規(guī)律而揭示.

21、因此,由神經(jīng)元j的狀態(tài)變化量yj(t)所引起的的能量變化量ej為:)2(t)yx-(t)yw(w21-(t)y(t)yeejn1ijjiij,ji,jjj 若所討論的hnn是對稱網(wǎng)絡(luò),即有wi,j=wj,i,i,j=1,2,.,n,則有)3(t)yx-(t)ywejn1ijjiji,j32則yj(t+1)=fuj(t)-j式(3)則可記為:ej(t)=-uj(t)+jyj(t) (3a)q 下面分別對 串行異步方式串行異步方式和 并行同步方式并行同步方式,證明對稱二值型hnn是穩(wěn)定的.3.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性q 如果,令jn1iiji,jx(t)yw

22、(t)u33a.串行異步方式串行異步方式q 對串行異步和對稱權(quán)值型的hnn,基于式(3a)ej(t)=-uj(t)+jyj(t) (3a)考慮如下兩種情況: 如果如果ujj,即神經(jīng)元j的輸入綜合大于閾值,則從二值神經(jīng)元的計算公式知道: yj的值保持為1,或者從0變到1. 這說明yj的變化yj只能是0或正值.這時很明顯有ej:ej0這說明hnn神經(jīng)元的能量減少或不變.3.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性34 如果如果ujj,即神經(jīng)元j的輸入綜合小于閾值,則知yj的值保持為0,或者從1變到0,而yj小于等于零.這時則有ej:ej0這也說明hnn神經(jīng)元的能量減少.q

23、上面兩點說明了dhnn在權(quán)系數(shù)矩陣w的對角線元素為0,而且w矩陣元素對稱時,串行異步方式的dhnn是穩(wěn)定的.3.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性35b. 并行同步方式并行同步方式q 由上述對串行異步和對稱權(quán)值型的dhnn的穩(wěn)定性分析過程知,單個神經(jīng)元的狀態(tài)變化引起的lyapunov函數(shù)的變化量ej(t)0 因此, 并行同步且權(quán)值對稱的并行同步且權(quán)值對稱的dhnn的所有神經(jīng)元引起的lyapunov函數(shù)的變化量為:3.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性0(t)e(t)y(t)yee1j1jjnjnj 故上面兩點說明了dhnn在權(quán)系數(shù)矩陣

24、w的對角線元素為0,而且w矩陣元素對稱時,并行同步方式的dhnn是穩(wěn)定的.36q 基于上述分析,coben和grossberg在1983年給出了關(guān)于hnn穩(wěn)定的充分條件,他們指出: 如果權(quán)系數(shù)矩陣如果權(quán)系數(shù)矩陣w是一個對稱矩陣是一個對稱矩陣,并且并且,對角線元素為對角線元素為0.則這個網(wǎng)絡(luò)是穩(wěn)定的則這個網(wǎng)絡(luò)是穩(wěn)定的. 即是說在權(quán)系數(shù)矩陣w中,若i=j時, wij=0ij時,wij=wji則hnn是穩(wěn)定的. 應(yīng)該指出: 這只是hnn穩(wěn)定的充分條件,而不是必要條件. 在實際中有很多穩(wěn)定的hnn,但是它們并不滿足權(quán)系數(shù)矩陣w是對稱矩陣這一條件.3.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的

25、動力學穩(wěn)定性373.2.2 dhnn3.2.2 dhnn的動力學穩(wěn)定性的動力學穩(wěn)定性 x1 x3 x2 y1 y3 y2 圖 3.4 對角線權(quán)系數(shù)為 0的對稱網(wǎng)另一圖示 w12 w13 w23 w21 w32 w31 q 由上面的分析可知: 無自反饋的權(quán)系數(shù)對稱hnn是穩(wěn)定. 它如圖3.4所示.382.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關(guān)的事物的過程相關(guān)的事物的過程. .日常生活中日常生活中, ,從一種事物出發(fā)從一種事物出發(fā), ,人們會非常自然地人們會非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的

26、種種事聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事務(wù)務(wù). .兩種聯(lián)想形式兩種聯(lián)想形式自聯(lián)想自聯(lián)想(auto-association) :(auto-association) :由某種代表事物由某種代表事物( (或該事物的主要特征或該事物的主要特征, ,或部分主或部分主要特征要特征) )聯(lián)想到其所標示的實際事物。聯(lián)想到其所標示的實際事物。從英文字頭從英文字頭“newt”newt”聯(lián)想到聯(lián)想到“newton”newton”。聽到歌曲的一部分可以聯(lián)想起整個曲子。聽到歌曲的一部分可以聯(lián)想起整個曲子。392.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶異聯(lián)想異聯(lián)想( (他聯(lián)想他聯(lián)想)(hetero

27、 -association) :)(hetero -association) :由一種事物由一種事物( (或該事物的主要特征或該事物的主要特征, ,或部分主要特或部分主要特征征) )聯(lián)想到與其密切相關(guān)的另一事物。聯(lián)想到與其密切相關(guān)的另一事物。從質(zhì)能關(guān)系式從質(zhì)能關(guān)系式e=mce=mc2 2聯(lián)想到其發(fā)明者愛因斯坦。聯(lián)想到其發(fā)明者愛因斯坦?？吹侥橙说拿謺?lián)想起他的相貌和特點。看到某人的名字會聯(lián)想起他的相貌和特點。人腦從一種事物得到對應(yīng)事物的兩種途徑人腦從一種事物得到對應(yīng)事物的兩種途徑按時間順序?qū)ο嚓P(guān)事物進行思考按時間順序?qū)ο嚓P(guān)事物進行思考可通過時間表來回憶某一階段所做的工作可通過時間表來回憶某一階

28、段所做的工作. .通過事物本質(zhì)特征的對比來確定事物的屬性通過事物本質(zhì)特征的對比來確定事物的屬性由提示信息或局部信息對事物進行回憶或確認由提示信息或局部信息對事物進行回憶或確認. .402.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶qhnnhnn的一個功能是可用于聯(lián)想記憶的一個功能是可用于聯(lián)想記憶, ,也即是聯(lián)想存儲也即是聯(lián)想存儲器器. .這是人類的智能特點之一這是人類的智能特點之一. . 人類的所謂人類的所謂“觸景生情觸景生情”就是見到一些類同過去接觸的就是見到一些類同過去接觸的景物景物, ,容易產(chǎn)生對過去情景的回昧和思憶容易產(chǎn)生對過去情景的回昧和思憶. . 對于對于hnn,hnn,

29、用它作聯(lián)想記憶時用它作聯(lián)想記憶時, ,首先通過一個學習訓練過首先通過一個學習訓練過程確定網(wǎng)絡(luò)中的權(quán)系數(shù)程確定網(wǎng)絡(luò)中的權(quán)系數(shù), ,使所記憶的信息在網(wǎng)絡(luò)的使所記憶的信息在網(wǎng)絡(luò)的n n維超維超立方體的某一個頂角的能量最小立方體的某一個頂角的能量最小. . 當網(wǎng)絡(luò)的權(quán)系數(shù)確定之后當網(wǎng)絡(luò)的權(quán)系數(shù)確定之后, ,只要向網(wǎng)絡(luò)給出輸入向量只要向網(wǎng)絡(luò)給出輸入向量, ,這這個向量可能是局部數(shù)據(jù)個向量可能是局部數(shù)據(jù). . 即不完全或部分不正確的數(shù)據(jù)即不完全或部分不正確的數(shù)據(jù), ,但是網(wǎng)絡(luò)仍然產(chǎn)生所但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出記憶的信息的完整輸出. .412.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記

30、憶q19841984年年hopfieldhopfield提出一種用提出一種用n n維維hnnhnn作聯(lián)想存儲器的作聯(lián)想存儲器的結(jié)構(gòu)結(jié)構(gòu). . hnnhnn聯(lián)想存儲器的主要思想為聯(lián)想存儲器的主要思想為: : 根據(jù)欲存儲的信息的表示形式和維數(shù)根據(jù)欲存儲的信息的表示形式和維數(shù), ,設(shè)計相應(yīng)的設(shè)計相應(yīng)的hnnhnn結(jié)構(gòu)結(jié)構(gòu) 將欲存儲的信息設(shè)計為將欲存儲的信息設(shè)計為hnnhnn的動力學過程的已知的漸的動力學過程的已知的漸近穩(wěn)定平衡點近穩(wěn)定平衡點 通過學習和設(shè)計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)通過學習和設(shè)計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡(luò)中存儲到網(wǎng)絡(luò)中422.2.3 hnn2.2.3 hnn的聯(lián)

31、想記憶的聯(lián)想記憶q 在hnn聯(lián)想存儲器中,權(quán)系數(shù)的賦值規(guī)則hebb規(guī)則,即為存儲向量的外積存儲規(guī)則,其原理如下: 設(shè)有m個樣本存儲向量x1,x2,xm,其中xi=xi1,xi2,.,xi,n把這m個樣本向量存儲入hnn中,則在網(wǎng)絡(luò)中第i,j兩個節(jié)點之間權(quán)系數(shù)的值為(權(quán)值學習規(guī)則):mjijijixxwjkikij,.,2 , 1,0,時當時當其中k為樣本向量xk的下標,k=1,2,m;i,j分別是樣本向量xk的第i,j分量xk,i,xk,j的下標.432.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 如果把系統(tǒng)的穩(wěn)定點視做一個記憶的話，那么從如果把系統(tǒng)的穩(wěn)定點視做一個記憶的話，那么從初

32、始狀態(tài)朝這個穩(wěn)定點移動的過程就是尋找該記初始狀態(tài)朝這個穩(wěn)定點移動的過程就是尋找該記憶的過程。憶的過程。 例例1 1：計算如圖：計算如圖3.53.5所示所示3 3節(jié)點節(jié)點dhnndhnn的狀態(tài)轉(zhuǎn)移關(guān)系。的狀態(tài)轉(zhuǎn)移關(guān)系?？紤]到考慮到dhnndhnn的權(quán)值特性的權(quán)值特性w wijijw wjiji，可簡化為圖，可簡化為圖3.63.6右右邊的等價圖。邊的等價圖。44 x1 x3 x2 y1 y3 y2 w12 w13 w23 w21 w32 w31 2.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 圖圖3.6 3.6 一個一個3 3節(jié)點的節(jié)點的dhnndhnn結(jié)構(gòu)圖結(jié)構(gòu)圖452.2.3 hnn

33、2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 設(shè)網(wǎng)絡(luò)參數(shù)為：設(shè)網(wǎng)絡(luò)參數(shù)為：. 3, 0, 5, 3, 2, 1321322331132112wwwwww 現(xiàn)在以初始狀態(tài)（可任意選定）現(xiàn)在以初始狀態(tài)（可任意選定）y y1 1y y2 2y y3 3=(000)=(000)為例為例, ,以異步運以異步運行網(wǎng)絡(luò)，考察各個節(jié)點的狀態(tài)轉(zhuǎn)移情況?，F(xiàn)在考慮每個節(jié)點行網(wǎng)絡(luò)，考察各個節(jié)點的狀態(tài)轉(zhuǎn)移情況。現(xiàn)在考慮每個節(jié)點y y1 1y y2 2y y3 3以等概率（以等概率（1/n1/n）被選擇。）被選擇。 假定首先選擇節(jié)點假定首先選擇節(jié)點y y1 1，則節(jié)點狀態(tài)為：，則節(jié)點狀態(tài)為： net1=1net1=1* *0+

34、20+2* *0-(-5)=500-(-5)=50節(jié)點節(jié)點1 1輸出為：輸出為： y y1 1=1=1即，網(wǎng)絡(luò)狀態(tài)由（即，網(wǎng)絡(luò)狀態(tài)由（000000）變化到（）變化到（100100），轉(zhuǎn)移概率為），轉(zhuǎn)移概率為1/31/3。462.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 如選擇節(jié)點如選擇節(jié)點y y2 2 ，則節(jié)點狀態(tài)為：，則節(jié)點狀態(tài)為： net2=1net2=1* *0+0+（-3-3）* *0-0=00-0=0節(jié)點節(jié)點2 2輸出為：輸出為： y y1 1=0=0即，網(wǎng)絡(luò)狀態(tài)由（即，網(wǎng)絡(luò)狀態(tài)由（000000）變化到（）變化到（000000），轉(zhuǎn)移概率為），轉(zhuǎn)移概率為1/31/3。 如

35、選擇節(jié)點如選擇節(jié)點y y3 3 ，則節(jié)點狀態(tài)為：，則節(jié)點狀態(tài)為： net3=2net3=2* *0+0+（-3-3）* *0-3=-300-3=-30節(jié)點節(jié)點3 3輸出為：輸出為： y y3 3=0=0即，網(wǎng)絡(luò)狀態(tài)由（即，網(wǎng)絡(luò)狀態(tài)由（000000）變化到（）變化到（000000），同樣，轉(zhuǎn)移概率為），同樣，轉(zhuǎn)移概率為1/31/3。從上面的網(wǎng)絡(luò)運行可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，網(wǎng)從上面的網(wǎng)絡(luò)運行可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，網(wǎng)絡(luò)狀態(tài)以絡(luò)狀態(tài)以1/31/3的概率轉(zhuǎn)移到（的概率轉(zhuǎn)移到（100100），以），以2/32/3的概率轉(zhuǎn)移到的概率轉(zhuǎn)移到（000000），即保持不變，而不會轉(zhuǎn)移到（），

36、即保持不變，而不會轉(zhuǎn)移到（010010）等其它狀態(tài)。）等其它狀態(tài)。472.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 同理，還可以計算出其它狀態(tài)之間的轉(zhuǎn)移關(guān)系。同理，還可以計算出其它狀態(tài)之間的轉(zhuǎn)移關(guān)系。 從這個例子可以看出：從這個例子可以看出：（1 1）狀態(tài)（）狀態(tài)（110110）是一個滿足前面穩(wěn)定定義的狀態(tài)，即為穩(wěn)）是一個滿足前面穩(wěn)定定義的狀態(tài)，即為穩(wěn)定狀態(tài)；定狀態(tài)；（2 2）從任意初始狀態(tài)開始，網(wǎng)絡(luò)經(jīng)過有限次狀態(tài)更新后，都）從任意初始狀態(tài)開始，網(wǎng)絡(luò)經(jīng)過有限次狀態(tài)更新后，都將到達該穩(wěn)定狀態(tài)。將到達該穩(wěn)定狀態(tài)。482.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 例例2 2：

37、計算例：計算例1 1中中3 3節(jié)點模型的個狀態(tài)的能量。節(jié)點模型的個狀態(tài)的能量。首先選擇狀態(tài)首先選擇狀態(tài)y y1 1y y2 2y y3 3= =（011011），此時，網(wǎng)絡(luò)的能量為：），此時，網(wǎng)絡(luò)的能量為：再選擇狀態(tài)再選擇狀態(tài)y y1 1y y2 2y y3 3= =（110110），同理，網(wǎng)絡(luò)的能量為：），同理，網(wǎng)絡(luò)的能量為：61*31*00*) 5(1*1*) 3(1*0*21*0*1332211322331132112yyyyywyywyywe60*31*01*) 5(0*1*) 3(0*1*21*1*1332211322331132112yyyyywyywyywe492.2.3 hnn

38、2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 其余狀態(tài)能量如表其余狀態(tài)能量如表2 2所示：所示： 表表2.2.模型各狀態(tài)能量表模型各狀態(tài)能量表y1y2y3e0000001301000116100-5101-4110-6111-2 顯然，狀態(tài)顯然，狀態(tài)y y1 1y y2 2y y3 3= =（110110）處的能量最小。從任意狀態(tài)開始，）處的能量最小。從任意狀態(tài)開始，網(wǎng)絡(luò)沿能量減?。òㄍ患壞芰浚┓较蚋聽顟B(tài)，最終能網(wǎng)絡(luò)沿能量減小（包括同一級能量）方向更新狀態(tài)，最終能達到對應(yīng)能量極小的穩(wěn)態(tài)。達到對應(yīng)能量極小的穩(wěn)態(tài)。502.2.4 2.2.4 記憶容量問題記憶容量問題 設(shè)計設(shè)計dhnndhnn網(wǎng)絡(luò)的

39、目的網(wǎng)絡(luò)的目的, ,是希望通過所設(shè)計的權(quán)是希望通過所設(shè)計的權(quán)值矩陣值矩陣w w儲存多個期望模式儲存多個期望模式. .因此因此, ,在在dhnndhnn用于聯(lián)想記憶問題用于聯(lián)想記憶問題, ,記憶容量問題是記憶容量問題是一個必須回答的基本問題一個必須回答的基本問題. . 當網(wǎng)絡(luò)只記憶一個穩(wěn)定模式時當網(wǎng)絡(luò)只記憶一個穩(wěn)定模式時, ,該模式肯定被該模式肯定被網(wǎng)絡(luò)準確無誤地記憶住網(wǎng)絡(luò)準確無誤地記憶住, ,即所設(shè)計的即所設(shè)計的w w值一定值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系能夠滿足正比于輸入和輸出矢量的乘積關(guān)系. .但當需要記憶的模式增多時但當需要記憶的模式增多時, ,網(wǎng)絡(luò)記憶可能出現(xiàn)網(wǎng)絡(luò)記憶可能出

40、現(xiàn)問題問題. .512.2.4 2.2.4 記憶容量問題記憶容量問題 按照按照hebbhebb規(guī)則求出權(quán)矩陣后，可以認為已有規(guī)則求出權(quán)矩陣后，可以認為已有m m個模式個模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過程中，先給出原始存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過程中，先給出原始模式模式m m0 0，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動態(tài)運行，最后到達一個穩(wěn)定狀態(tài)。如果此穩(wěn)定狀動態(tài)運行，最后到達一個穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對應(yīng)于已存儲的態(tài)對應(yīng)于已存儲的m m個模式中的某個模式個模式中的某個模式m mk k, ,則稱模則稱模式式m mk k是由模式是由模式m m0 0聯(lián)想起來

41、的。在這里舉例說明。聯(lián)想起來的。在這里舉例說明。 例例3.3.對于一個對于一個4 4神經(jīng)元的網(wǎng)絡(luò)，取閾值為神經(jīng)元的網(wǎng)絡(luò)，取閾值為0 0。給定兩。給定兩個模式存儲于網(wǎng)絡(luò)中：個模式存儲于網(wǎng)絡(luò)中： m m1 1:y:y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,1,1,=1,1,1,1, m m2 2:y:y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,-1,-1.=-1,-1,-1,-1.522.2.4 2.2.4 記憶容量問題記憶容量問題mjijijixxwjkikij,.,2 , 1,0,時當時當 按照按照hebbhebb規(guī)

42、則規(guī)則可求得權(quán)矩陣：可求得權(quán)矩陣：111213142122232431323334414243440222202222022220wwwwwwwwwwwwwwwww532.2.4 2.2.4 記憶容量問題記憶容量問題jn1iiji,j(t)ywf1)(ty 給出用于聯(lián)想的原始模式：給出用于聯(lián)想的原始模式： m ma a:y=y:y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,-1,1,=1,1,-1,1,運用網(wǎng)絡(luò)方程：運用網(wǎng)絡(luò)方程： 得到：得到： y(1)=1,1,1,1,y(1)=1,1,1,1,再次運行，得到再次運行，得到 y(2)=1,1,1,1y(2)=1,1,1,1。 這時網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：這時網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：y=1,1,1,1y=1,1,1,1。而這。而這個穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式個穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式m m1 1，由此可，由此可以認為以認為m m1 1是由模式是由模式m ma a聯(lián)想起來的。聯(lián)想起來的。542.2.4 2.2.4 記憶容量問題記憶容量問題 若給出用于聯(lián)想的原始模式為：若給出用于聯(lián)想的原始模式為： m mb b:y=y:y=y1 1,y,y2 2,y,y3 3,y,y4 4