《反饋神經(jīng)網(wǎng)絡(luò)》課件最新ppt

1、第三講 反饋神經(jīng)網(wǎng)絡(luò)本章知識(shí)結(jié)構(gòu)概述離散Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)的應(yīng)用優(yōu)化計(jì)算3.1 概述 聯(lián)想特性是ANN的一個(gè)重要特性。前面介紹的網(wǎng)絡(luò)模型屬于前向NN，從學(xué)習(xí)的角度看，具有較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過(guò)簡(jiǎn)單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋，所以并不是強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。聯(lián)想特性是ANN的一個(gè)重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋NN中，我們將著重介紹NN的聯(lián)想記憶和優(yōu)化計(jì)算的能力。3.1 概述 聯(lián)想記憶

2、是指當(dāng)網(wǎng)絡(luò)輸入某個(gè)矢量后，網(wǎng)絡(luò)經(jīng)過(guò)反饋演化，從網(wǎng)絡(luò)輸出端得到另一個(gè)矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個(gè)穩(wěn)定記憶，即網(wǎng)絡(luò)的一個(gè)平衡點(diǎn)。優(yōu)化計(jì)算是指當(dāng)某一問(wèn)題存在多種解法時(shí)，可以設(shè)計(jì)一個(gè)目標(biāo)函數(shù)，然后尋求滿足這一目標(biāo)函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目標(biāo)函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)達(dá)到極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)?？傊答伨W(wǎng)絡(luò)的設(shè)計(jì)思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過(guò)反饋計(jì)算最后到達(dá)穩(wěn)定狀態(tài)，這時(shí)的輸出即是用戶需要的平衡點(diǎn)。1982年,美國(guó)加州工學(xué)院J.Hopfield提出了可用作聯(lián)想存儲(chǔ)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò),這個(gè)網(wǎng)絡(luò)稱為Hopfield神經(jīng)網(wǎng)絡(luò)(HN

3、N)模型,也稱Hopfield模型.HNN是一種循環(huán)NN,從輸出到輸入有反饋連接.HNN有離散型和連續(xù)型兩種.3.1 概述 反饋網(wǎng)絡(luò)(Recurrent Network),又稱自聯(lián)想記憶網(wǎng)絡(luò),如下圖所示:3.1 概述 反饋網(wǎng)絡(luò)的目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開(kāi)始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。 3.1

4、概述由于HNN為動(dòng)力學(xué)系統(tǒng),且其平衡態(tài)關(guān)系到信息的存儲(chǔ)與聯(lián)想記憶,其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問(wèn)題。反饋網(wǎng)絡(luò)根據(jù)信號(hào)的時(shí)間域的性質(zhì)的分類為如果激活函數(shù)f()是一個(gè)二值型的階躍函數(shù),則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò),主要用于聯(lián)想記憶;如果f()為一個(gè)連續(xù)單調(diào)上升的有界函數(shù),這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò),主要用于優(yōu)化計(jì)算。3.1 概述反饋NN由于其輸出端有反饋到其輸入端,所以,HNN在輸入的激勵(lì)下,會(huì)產(chǎn)生不斷的狀態(tài)變化.當(dāng)有輸入之后,可以求取出HNN的輸出,這個(gè)輸出反饋到輸入從而產(chǎn)生新的輸出,這個(gè)反饋過(guò)程一直進(jìn)行下去.如果HNN是一個(gè)能穩(wěn)定的網(wǎng)絡(luò),則這個(gè)反饋與迭代的計(jì)算過(guò)程所產(chǎn)生的變化越來(lái)越小,一旦到達(dá)

5、了穩(wěn)定平衡狀態(tài),那么HNN就會(huì)輸出一個(gè)穩(wěn)定的恒值.對(duì)于HNN來(lái)說(shuō),關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù).應(yīng)該指出,反饋網(wǎng)絡(luò)有穩(wěn)定的,也有不穩(wěn)定的.對(duì)于HNN來(lái)說(shuō),還存在如何判別它是穩(wěn)定網(wǎng)絡(luò),亦或是不穩(wěn)定的問(wèn)題.而判別依據(jù)是什么,也是需要確定的.3.1 概述3.1 概述反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別結(jié)構(gòu)不同 前向神經(jīng)網(wǎng)絡(luò)：沒(méi)有反饋環(huán)節(jié)。 反饋神經(jīng)網(wǎng)絡(luò)：一個(gè)動(dòng)態(tài)系統(tǒng)，存在穩(wěn)定性問(wèn)題。（關(guān)鍵問(wèn)題）模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考慮延時(shí)。 反饋網(wǎng)絡(luò)：考慮延時(shí)，是一個(gè)動(dòng)態(tài)系統(tǒng)，模型是動(dòng)態(tài)方程（微分方程）。3.1 概述網(wǎng)絡(luò)的演變過(guò)程不同 前向網(wǎng)絡(luò)：通過(guò)學(xué)習(xí)得到連接權(quán)然后完成指定任務(wù)。 反饋網(wǎng)絡(luò)：

6、(優(yōu)化計(jì)算時(shí))首先確定w（不是通過(guò)學(xué)習(xí)而來(lái)的，而是通過(guò)目標(biāo)函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運(yùn)動(dòng)，若穩(wěn)定，則最后達(dá)到一個(gè)穩(wěn)定狀態(tài)，對(duì)應(yīng)的輸出就是優(yōu)化問(wèn)題的解。3.1 概述學(xué)習(xí)方法不同 前向網(wǎng)絡(luò)：誤差修正算法（BP算法）。 反向網(wǎng)絡(luò)：海布(Hebb)算法(用于聯(lián)想、分類的時(shí)候)3.1 概述應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)：同時(shí)也可以用于聯(lián)想記憶和約束優(yōu)化問(wèn)題的求解。對(duì)于如HNN類似的反饋網(wǎng)絡(luò),研究的重點(diǎn)為:如何通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài),得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題怎樣設(shè)計(jì)和利用穩(wěn)定的反饋網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂

7、 網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 吸引域的設(shè)計(jì) 下面開(kāi)始介紹HNN,分別介紹兩種主要的HNN:離散Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)3.1 概述3.2 離散Hopfield網(wǎng)絡(luò)Hopfield最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-1二值的NN,所以,也稱離散的HNN (簡(jiǎn)稱為DHNN).下面分別討論DHNN的結(jié)構(gòu)動(dòng)力學(xué)穩(wěn)定性(網(wǎng)絡(luò)收斂性)聯(lián)想存儲(chǔ)中的應(yīng)用記憶容量問(wèn)題在DHNN網(wǎng)絡(luò)中,神經(jīng)元所輸出的離散值1和0分別表示神經(jīng)元處于興奮和抑制狀態(tài).各神經(jīng)元通過(guò)賦有權(quán)重的連接來(lái)互聯(lián).下面,首先考慮由三個(gè)神經(jīng)元組成的DHNN,其結(jié)構(gòu)如圖3.1所示.3.2.1離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)3.2.1離散Hopfiel

8、d網(wǎng)絡(luò)的結(jié)構(gòu)在圖中,第0層僅僅是作為網(wǎng)絡(luò)的輸入,它不是實(shí)際神經(jīng)元,所以無(wú)計(jì)算功能;而第一層是實(shí)際神經(jīng)元,故而執(zhí)行對(duì)輸入信息和權(quán)系數(shù)乘積求累加和,并由非線性函數(shù)f處理后產(chǎn)生輸出信息.f是一個(gè)簡(jiǎn)單的閾值函效,如果神經(jīng)元的輸入信息的綜合大于閾值,那么,神經(jīng)元的輸出就取值為1;小于閾值,則神經(jīng)元的輸出就取值為0.對(duì)于二值神經(jīng)元,它的計(jì)算公式如下3.2.1離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)其中xj為外部輸入,并且有yj=1,當(dāng)ujj時(shí)yj=0,當(dāng)uj0,有:y(t+t)=y(t)則稱網(wǎng)絡(luò)是穩(wěn)定的.吸引子：若y(t)是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱y(t)是網(wǎng)絡(luò)的穩(wěn)定吸引子。吸引域：能夠穩(wěn)定在吸引子y(t)的所有初始狀

9、態(tài)y(0)的集合，稱為吸引子y(t)的吸引域。從DHNN可以看出:它是一種多輸入,含有閾值的二值非線性動(dòng)力系統(tǒng).在動(dòng)力系統(tǒng)中,平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運(yùn)動(dòng)過(guò)程中,其能量值不斷減小,最后處于最小值.因此,對(duì)HNN可引入一個(gè)Lyapunov函數(shù),即所謂能量函數(shù):3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性即有3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性對(duì)HNN的能量函數(shù)有幾點(diǎn)說(shuō)明:當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后,從任一初始狀態(tài)開(kāi)始,因?yàn)樵诿看蔚蠖寄軡M足E0,所以網(wǎng)絡(luò)的能量將會(huì)越來(lái)越小.由于能量函數(shù)存在下界,因此其最后趨于穩(wěn)定點(diǎn)E=0. Hopfield能量函數(shù)的物理意義是:在那些漸進(jìn)穩(wěn)定點(diǎn)

10、的吸引域內(nèi),離吸引點(diǎn)越遠(yuǎn)的狀態(tài),所具有的能量越大.由于能量函數(shù)的單調(diào)下降特性,保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處,不斷地趨于吸引點(diǎn),直到達(dá)到穩(wěn)定點(diǎn).3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念.根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性;Hopfield選擇的能量函數(shù),只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件,而不是必要條件,其能量函數(shù)也不是唯一的.在狀態(tài)更新過(guò)程中，包括三種情況：由0變?yōu)?；由1變?yōu)?及狀態(tài)保持不變。3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性類似于研究動(dòng)力學(xué)系統(tǒng)穩(wěn)定性的Lyapunov穩(wěn)定性理論,上述DHNN的穩(wěn)定性可由分析上述定義的Lyapunov函數(shù)E的變化規(guī)律而揭示

11、.因此,由神經(jīng)元j的狀態(tài)變化量yj(t)所引起的的能量變化量Ej為:若所討論的HNN是對(duì)稱網(wǎng)絡(luò),即有wi,j=wj,i,i,j=1,2,.,n,則有則yj(t+1)=fuj(t)-j式(3)則可記為:Ej(t)=-uj(t)+jyj(t) (3A)下面分別對(duì)串行異步方式和并行同步方式,證明對(duì)稱二值型HNN是穩(wěn)定的.3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性如果,令A(yù).串行異步方式對(duì)串行異步和對(duì)稱權(quán)值型的HNN,基于式(3A)Ej(t)=-uj(t)+jyj(t) (3A)考慮如下兩種情況:如果ujj,即神經(jīng)元j的輸入綜合大于閾值,則從二值神經(jīng)元的計(jì)算公式知道:yj的值保持為1,或者從0變到1.這說(shuō)明y

12、j的變化yj只能是0或正值.這時(shí)很明顯有Ej:Ej0這說(shuō)明HNN神經(jīng)元的能量減少或不變.3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性如果ujj,即神經(jīng)元j的輸入綜合小于閾值,則知yj的值保持為0,或者從1變到0,而yj小于等于零.這時(shí)則有Ej:Ej0這也說(shuō)明HNN神經(jīng)元的能量減少.上面兩點(diǎn)說(shuō)明了DHNN在權(quán)系數(shù)矩陣W的對(duì)角線元素為0,而且W矩陣元素對(duì)稱時(shí),串行異步方式的DHNN是穩(wěn)定的.3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性B. 并行同步方式由上述對(duì)串行異步和對(duì)稱權(quán)值型的DHNN的穩(wěn)定性分析過(guò)程知,單個(gè)神經(jīng)元的狀態(tài)變化引起的Lyapunov函數(shù)的變化量Ej(t)0 因此, 并行同步且權(quán)值對(duì)稱的DHNN的所有

13、神經(jīng)元引起的Lyapunov函數(shù)的變化量為:3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性 故上面兩點(diǎn)說(shuō)明了DHNN在權(quán)系數(shù)矩陣W的對(duì)角線元素為0,而且W矩陣元素對(duì)稱時(shí),并行同步方式的DHNN是穩(wěn)定的.基于上述分析,Coben和Grossberg在1983年給出了關(guān)于HNN穩(wěn)定的充分條件,他們指出:如果權(quán)系數(shù)矩陣W是一個(gè)對(duì)稱矩陣,并且,對(duì)角線元素為0.則這個(gè)網(wǎng)絡(luò)是穩(wěn)定的.即是說(shuō)在權(quán)系數(shù)矩陣W中,若i=j時(shí), Wij=0ij時(shí),Wij=Wji則HNN是穩(wěn)定的.應(yīng)該指出: 這只是HNN穩(wěn)定的充分條件,而不是必要條件.在實(shí)際中有很多穩(wěn)定的HNN,但是它們并不滿足權(quán)系數(shù)矩陣w是對(duì)稱矩陣這一條件.3.2.2 DHN

14、N的動(dòng)力學(xué)穩(wěn)定性3.2.2 DHNN的動(dòng)力學(xué)穩(wěn)定性由上面的分析可知:無(wú)自反饋的權(quán)系數(shù)對(duì)稱HNN是穩(wěn)定.它如圖3.4所示.2.2.3 HNN的聯(lián)想記憶所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關(guān)的事物的過(guò)程.日常生活中,從一種事物出發(fā),人們會(huì)非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事務(wù).兩種聯(lián)想形式自聯(lián)想(Auto-association) :由某種代表事物(或該事物的主要特征,或部分主要特征)聯(lián)想到其所標(biāo)示的實(shí)際事物。從英文字頭“Newt”聯(lián)想到“Newton”。聽(tīng)到歌曲的一部分可以聯(lián)想起整個(gè)曲子。2.2.3 HNN的聯(lián)想記憶異聯(lián)想(他聯(lián)想)(Hetero -association)

15、:由一種事物(或該事物的主要特征,或部分主要特征)聯(lián)想到與其密切相關(guān)的另一事物。從質(zhì)能關(guān)系式E=mc2聯(lián)想到其發(fā)明者愛(ài)因斯坦。看到某人的名字會(huì)聯(lián)想起他的相貌和特點(diǎn)。人腦從一種事物得到對(duì)應(yīng)事物的兩種途徑按時(shí)間順序?qū)ο嚓P(guān)事物進(jìn)行思考可通過(guò)時(shí)間表來(lái)回憶某一階段所做的工作.通過(guò)事物本質(zhì)特征的對(duì)比來(lái)確定事物的屬性由提示信息或局部信息對(duì)事物進(jìn)行回憶或確認(rèn).2.2.3 HNN的聯(lián)想記憶HNN的一個(gè)功能是可用于聯(lián)想記憶,也即是聯(lián)想存儲(chǔ)器.這是人類的智能特點(diǎn)之一.人類的所謂“觸景生情”就是見(jiàn)到一些類同過(guò)去接觸的景物,容易產(chǎn)生對(duì)過(guò)去情景的回昧和思憶.對(duì)于HNN,用它作聯(lián)想記憶時(shí),首先通過(guò)一個(gè)學(xué)習(xí)訓(xùn)練過(guò)程確定網(wǎng)絡(luò)中

16、的權(quán)系數(shù),使所記憶的信息在網(wǎng)絡(luò)的n維超立方體的某一個(gè)頂角的能量最小.當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后,只要向網(wǎng)絡(luò)給出輸入向量,這個(gè)向量可能是局部數(shù)據(jù).即不完全或部分不正確的數(shù)據(jù),但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出.2.2.3 HNN的聯(lián)想記憶1984年Hopfield提出一種用n維HNN作聯(lián)想存儲(chǔ)器的結(jié)構(gòu).HNN聯(lián)想存儲(chǔ)器的主要思想為:根據(jù)欲存儲(chǔ)的信息的表示形式和維數(shù),設(shè)計(jì)相應(yīng)的HNN結(jié)構(gòu)將欲存儲(chǔ)的信息設(shè)計(jì)為HNN的動(dòng)力學(xué)過(guò)程的已知的漸近穩(wěn)定平衡點(diǎn)通過(guò)學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲(chǔ)到網(wǎng)絡(luò)中2.2.3 HNN的聯(lián)想記憶在HNN聯(lián)想存儲(chǔ)器中,權(quán)系數(shù)的賦值規(guī)則Hebb規(guī)則,即為存儲(chǔ)向量的外

17、積存儲(chǔ)規(guī)則,其原理如下:設(shè)有m個(gè)樣本存儲(chǔ)向量X1,X2,Xm,其中Xi=Xi1,Xi2,.,Xi,n把這m個(gè)樣本向量存儲(chǔ)入HNN中,則在網(wǎng)絡(luò)中第i,j兩個(gè)節(jié)點(diǎn)之間權(quán)系數(shù)的值為(權(quán)值學(xué)習(xí)規(guī)則):其中k為樣本向量Xk的下標(biāo),k=1,2,m;i,j分別是樣本向量Xk的第i,j分量Xk,i,Xk,j的下標(biāo).2.2.3 HNN的聯(lián)想記憶如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從初始狀態(tài)朝這個(gè)穩(wěn)定點(diǎn)移動(dòng)的過(guò)程就是尋找該記憶的過(guò)程。例1：計(jì)算如圖3.5所示3節(jié)點(diǎn)DHNN的狀態(tài)轉(zhuǎn)移關(guān)系?？紤]到DHNN的權(quán)值特性wijwji，可簡(jiǎn)化為圖3.6右邊的等價(jià)圖。2.2.3 HNN的聯(lián)想記憶 圖3.6 一個(gè)3節(jié)點(diǎn)的DH

18、NN結(jié)構(gòu)圖2.2.3 HNN的聯(lián)想記憶設(shè)網(wǎng)絡(luò)參數(shù)為：現(xiàn)在以初始狀態(tài)（可任意選定）y1y2y3=(000)為例,以異步運(yùn)行網(wǎng)絡(luò)，考察各個(gè)節(jié)點(diǎn)的狀態(tài)轉(zhuǎn)移情況?，F(xiàn)在考慮每個(gè)節(jié)點(diǎn)y1y2y3以等概率（1/n）被選擇。假定首先選擇節(jié)點(diǎn)y1，則節(jié)點(diǎn)狀態(tài)為： Net1=1*0+2*0-(-5)=50節(jié)點(diǎn)1輸出為： y1=1即，網(wǎng)絡(luò)狀態(tài)由（000）變化到（100），轉(zhuǎn)移概率為1/3。2.2.3 HNN的聯(lián)想記憶如選擇節(jié)點(diǎn)y2 ，則節(jié)點(diǎn)狀態(tài)為： Net2=1*0+（-3）*0-0=0節(jié)點(diǎn)2輸出為： y1=0即，網(wǎng)絡(luò)狀態(tài)由（000）變化到（000），轉(zhuǎn)移概率為1/3。如選擇節(jié)點(diǎn)y3 ，則節(jié)點(diǎn)狀態(tài)為： Net3=2

19、*0+（-3）*0-3=-30節(jié)點(diǎn)3輸出為： y3=0即，網(wǎng)絡(luò)狀態(tài)由（000）變化到（000），同樣，轉(zhuǎn)移概率為1/3。從上面的網(wǎng)絡(luò)運(yùn)行可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，網(wǎng)絡(luò)狀態(tài)以1/3的概率轉(zhuǎn)移到（100），以2/3的概率轉(zhuǎn)移到（000），即保持不變，而不會(huì)轉(zhuǎn)移到（010）等其它狀態(tài)。2.2.3 HNN的聯(lián)想記憶同理，還可以計(jì)算出其它狀態(tài)之間的轉(zhuǎn)移關(guān)系。從這個(gè)例子可以看出：（1）狀態(tài)（110）是一個(gè)滿足前面穩(wěn)定定義的狀態(tài)，即為穩(wěn)定狀態(tài)；（2）從任意初始狀態(tài)開(kāi)始，網(wǎng)絡(luò)經(jīng)過(guò)有限次狀態(tài)更新后，都將到達(dá)該穩(wěn)定狀態(tài)。2.2.3 HNN的聯(lián)想記憶例2：計(jì)算例1中3節(jié)點(diǎn)模型的個(gè)狀態(tài)的能量。首先選擇狀態(tài)y1

20、y2y3=（011），此時(shí)，網(wǎng)絡(luò)的能量為：再選擇狀態(tài)y1y2y3=（110），同理，網(wǎng)絡(luò)的能量為：2.2.3 HNN的聯(lián)想記憶其余狀態(tài)能量如表2所示： 表2.模型各狀態(tài)能量表y1y2y3E0000001301000116100-5101-4110-6111-2顯然，狀態(tài)y1y2y3=（110）處的能量最小。從任意狀態(tài)開(kāi)始，網(wǎng)絡(luò)沿能量減?。òㄍ患?jí)能量）方向更新?tīng)顟B(tài)，最終能達(dá)到對(duì)應(yīng)能量極小的穩(wěn)態(tài)。2.2.4 記憶容量問(wèn)題設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的,是希望通過(guò)所設(shè)計(jì)的權(quán)值矩陣W儲(chǔ)存多個(gè)期望模式.因此,在DHNN用于聯(lián)想記憶問(wèn)題,記憶容量問(wèn)題是一個(gè)必須回答的基本問(wèn)題.當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí),該模式

21、肯定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住,即所設(shè)計(jì)的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系.但當(dāng)需要記憶的模式增多時(shí),網(wǎng)絡(luò)記憶可能出現(xiàn)問(wèn)題.2.2.4 記憶容量問(wèn)題按照Hebb規(guī)則求出權(quán)矩陣后，可以認(rèn)為已有M個(gè)模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過(guò)程中，先給出原始模式m0，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動(dòng)態(tài)運(yùn)行，最后到達(dá)一個(gè)穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對(duì)應(yīng)于已存儲(chǔ)的M個(gè)模式中的某個(gè)模式mk,則稱模式mk是由模式m0聯(lián)想起來(lái)的。在這里舉例說(shuō)明。例3.對(duì)于一個(gè)4神經(jīng)元的網(wǎng)絡(luò)，取閾值為0。給定兩個(gè)模式存儲(chǔ)于網(wǎng)絡(luò)中： m1:Y(1)=y1,y2,y3,y4=1,1,1,1, m2:Y(2)=y1,y2,y3,y4=-1,-1,-1,-1.2.2.4 記憶容量問(wèn)題按照Hebb規(guī)則可求得權(quán)矩陣：2.2.4 記憶容量問(wèn)題給出用于聯(lián)想的原始模式： mA:Y=y1,y2,y3,y4=1,1,-1,1,運(yùn)用網(wǎng)絡(luò)方程：得到： Y(1)=1,1,1,1,再次運(yùn)行，得到 Y(2)=1,1,1,1。 這時(shí)網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：Y=1,1,1,1。而這個(gè)穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式m1，