反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)第1頁(yè)/共97頁(yè)1.前饋型與反饋型神經(jīng)網(wǎng)絡(luò)的比較

(1)前饋型神經(jīng)網(wǎng)絡(luò)只表達(dá)輸入輸出之間的映射關(guān)系，實(shí)現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡(luò)考慮輸入輸出之間在時(shí)間上的延遲，需要用動(dòng)態(tài)方程來描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)。(2)前饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練主要采用BP算法，計(jì)算過程和收斂速度比較慢；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要采用Hebb規(guī)則，一般情況下計(jì)算的收斂速度很快，并且它與電子電路有明顯的對(duì)應(yīng)關(guān)系，使得網(wǎng)絡(luò)易于用硬件實(shí)現(xiàn)。

(3)前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是快速尋找到穩(wěn)定點(diǎn)，一般用能量函數(shù)來判別是否趨于穩(wěn)定點(diǎn)。

(4)兩者都有局部極小問題。第2頁(yè)/共97頁(yè)2.反饋型神經(jīng)網(wǎng)絡(luò)模型一、網(wǎng)絡(luò)結(jié)構(gòu)

單層全反饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入輸出關(guān)系為：第3頁(yè)/共97頁(yè)2.反饋型神經(jīng)網(wǎng)絡(luò)模型二、網(wǎng)絡(luò)狀態(tài)

(1)軌跡經(jīng)過一段時(shí)間t(t>0)后不會(huì)再延伸，而永遠(yuǎn)停留在X(t0+t)狀態(tài)，這時(shí)稱網(wǎng)絡(luò)收斂到一個(gè)穩(wěn)定點(diǎn)或平衡點(diǎn)。在一個(gè)反饋網(wǎng)絡(luò)中，可能存在有多個(gè)穩(wěn)定點(diǎn)，根據(jù)不同的情況，這些穩(wěn)定點(diǎn)可分為：①漸近穩(wěn)定點(diǎn)Xe②不穩(wěn)定的平衡點(diǎn)Xf

③網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)

(2)軌跡為環(huán)狀，稱為極限環(huán)。

(3)如果X(t)的軌跡在某個(gè)確定的范圍內(nèi)變化，但既不重復(fù)又不能停下來，狀態(tài)變化為無窮多個(gè)，而軌跡也不發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象成為混沌（Chaos）.(4)如果X(t)的軌跡隨時(shí)間一直延伸到無窮遠(yuǎn)，此時(shí)狀態(tài)發(fā)散，而系統(tǒng)的輸出也發(fā)散。第4頁(yè)/共97頁(yè)2.反饋型神經(jīng)網(wǎng)絡(luò)模型

三、網(wǎng)絡(luò)的設(shè)計(jì)要求

(1)網(wǎng)絡(luò)的穩(wěn)定性

(2)網(wǎng)絡(luò)的穩(wěn)定點(diǎn)

(3)穩(wěn)定點(diǎn)的吸引域第5頁(yè)/共97頁(yè)霍普菲爾德（Hopfield）神經(jīng)網(wǎng)絡(luò)美國(guó)加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield網(wǎng)。Hopfield網(wǎng)絡(luò)是單層對(duì)稱全反饋網(wǎng)絡(luò)，根據(jù)激活函數(shù)選取的不同，可分為離散型（DHNN）和連續(xù)性（CHNN）兩種。DHNN：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。CHNN：作用函數(shù)為S型函數(shù)，主要用于優(yōu)化計(jì)算。第6頁(yè)/共97頁(yè)離散型的Hopfield神經(jīng)網(wǎng)絡(luò)1、網(wǎng)絡(luò)結(jié)構(gòu)2、網(wǎng)絡(luò)的工作方式3、網(wǎng)絡(luò)的穩(wěn)定性分析4、DHNN網(wǎng)絡(luò)設(shè)計(jì)第7頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型一、網(wǎng)絡(luò)結(jié)構(gòu)DHNN的結(jié)構(gòu)是一個(gè)單層結(jié)構(gòu)的全反饋網(wǎng)絡(luò)，有n個(gè)節(jié)點(diǎn)，W是一個(gè)n×n的對(duì)稱零對(duì)角權(quán)值矩陣，θ為n維閾值向量。DHNN網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用xj表示。所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)：X=[x1,x2,…,xn]T

反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為：X(0)=[x1(0),x2(0),…,xn(0)]T第8頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型j=1,2,…,nDHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號(hào)函數(shù)

式中凈輸入為

j=1,2,…,n對(duì)于DHNN網(wǎng)，一般有wii=0，wij=wji。

反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為

第9頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型二、網(wǎng)絡(luò)的工作方式(1)串行（異步）工作方式任一時(shí)刻t，只有某一個(gè)節(jié)點(diǎn)i(隨機(jī)地或確定性地選擇)變化，而其余n-1個(gè)節(jié)點(diǎn)的狀態(tài)保持不變，即：(2)并行（同步）工作方式任一時(shí)刻t，所有的節(jié)點(diǎn)或部分節(jié)點(diǎn)改變狀態(tài)，即：

第10頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型

三、網(wǎng)絡(luò)的穩(wěn)定性分析（1）網(wǎng)絡(luò)的狀態(tài)穩(wěn)定：若網(wǎng)絡(luò)從一個(gè)初態(tài)X(t0)出發(fā)，經(jīng)過一個(gè)有限時(shí)刻t，網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即：

則稱網(wǎng)絡(luò)是穩(wěn)定的，這時(shí)所有的節(jié)點(diǎn)輸出不再變化，網(wǎng)絡(luò)穩(wěn)定在某一狀態(tài)。如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個(gè)穩(wěn)態(tài)。

第11頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型有限環(huán)：若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNN網(wǎng)每個(gè)節(jié)點(diǎn)的狀態(tài)只有1和-1兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)?；煦纾喝绻W(wǎng)絡(luò)狀態(tài)的軌跡在某個(gè)確定的范圍內(nèi)變遷，但既不重復(fù)也不停止，狀態(tài)變化為無窮多個(gè)，軌跡也不發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌。第12頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)達(dá)到穩(wěn)定時(shí)的狀態(tài)X，稱為網(wǎng)絡(luò)的吸引子。如果把問題的解編碼為網(wǎng)絡(luò)的吸引子，從初態(tài)向吸引子演變的過程便是求解計(jì)算的過程。若把需記憶的樣本信息存儲(chǔ)于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有部分記憶信息的樣本時(shí)，網(wǎng)絡(luò)的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。定義：若網(wǎng)絡(luò)的狀態(tài)X滿足X=f(net)=f(WX-T)則稱X為網(wǎng)絡(luò)的吸引子。第13頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型（2）穩(wěn)定性定理定理1：當(dāng)網(wǎng)絡(luò)工作在異步方式下，滿足wij=wji，wii=0，i、j=1,2,…,n，則能量函數(shù)單調(diào)下降，且網(wǎng)絡(luò)必定穩(wěn)定。定理5.1證明：定義網(wǎng)絡(luò)的能量函數(shù)為：令網(wǎng)絡(luò)的能量改變量為ΔE，狀態(tài)改變量為ΔX，有

第14頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型將代入上式，并考慮到W為對(duì)稱矩陣，有

第15頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型對(duì)于DHNN網(wǎng)絡(luò)的任一個(gè)節(jié)點(diǎn)i，能量函數(shù)的變化可能有以下幾種情況：因此,網(wǎng)絡(luò)無論在什么條件下都能保證△E≤0，這樣就保證了網(wǎng)絡(luò)的穩(wěn)定性和收斂性。第16頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型由于網(wǎng)絡(luò)中各節(jié)點(diǎn)的狀態(tài)只能取1或–1，能量函數(shù)E(t)作為網(wǎng)絡(luò)狀態(tài)的函數(shù)是有下界的，因此網(wǎng)絡(luò)能量函數(shù)最終將收斂于一個(gè)常數(shù)，此時(shí)ΔE(t)=0。綜上所述，當(dāng)網(wǎng)絡(luò)工作方式和權(quán)矩陣均滿足定理1的條件時(shí)，網(wǎng)絡(luò)最終將收斂到一個(gè)吸引子。定理2：當(dāng)網(wǎng)絡(luò)工作在異步方式下，滿足wij=wji，i、j=1,2,…,n，則能量函數(shù)單調(diào)下降，且網(wǎng)絡(luò)必定穩(wěn)定。第17頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型定理3：當(dāng)網(wǎng)絡(luò)工作在并行方式下，滿足wij=wji，則網(wǎng)絡(luò)或者收斂于一個(gè)穩(wěn)定點(diǎn)，或者收斂于極限環(huán)為2的一個(gè)周期解。證明：在并行工作方式時(shí)，其能量函數(shù)可以用下式表示：第18頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型第19頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型由于在NET(t)中的每個(gè)分量NETi(t)與在X(t+1)中每個(gè)分量Xi(t+1)同號(hào)，因而成立。所以△E≤0?，F(xiàn)在考慮在穩(wěn)定點(diǎn)的情況，即△E=0的情況：若X(t)=X(t+1)=X(t-1)，則△E=0，且網(wǎng)絡(luò)達(dá)到穩(wěn)定。若X(t)≠X(t+1)=X(t-1)，則△E=0，且網(wǎng)絡(luò)到達(dá)周期為2的極限環(huán)。證畢。第20頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型推論：

(1)如果W為一個(gè)正定矩陣，Ti=0、對(duì)所有的i成立，則：

網(wǎng)絡(luò)必定達(dá)到穩(wěn)定收斂。

(2)如果W為一個(gè)負(fù)定矩陣，Ti=0、對(duì)所有的i成立，則：

網(wǎng)絡(luò)周期振蕩，極限環(huán)為2。第21頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型以上分析表明，在網(wǎng)絡(luò)從初態(tài)向穩(wěn)態(tài)演變的過程中，網(wǎng)絡(luò)的能量始終向減小的方向演變，當(dāng)能量最終穩(wěn)定于一個(gè)常數(shù)時(shí)，該常數(shù)對(duì)應(yīng)于網(wǎng)絡(luò)能量的極小狀態(tài)，稱該極小狀態(tài)為網(wǎng)絡(luò)的能量井，能量井對(duì)應(yīng)于網(wǎng)絡(luò)的吸引子。性質(zhì)1：若X是網(wǎng)絡(luò)的一個(gè)吸引子，且閾值T=0，在sgn(0)處，xj(t+1)=xj(t)，則－X也一定是該網(wǎng)絡(luò)的吸引子。證明：∵X是吸引子，即X=f(WX)，從而有

f[W(－X)]=f[－WX]=－f[WX]=－X∴－X也是該網(wǎng)絡(luò)的吸引子。第22頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型性質(zhì)2：若Xa是網(wǎng)絡(luò)的一個(gè)吸引子，則與Xa的海明距離dH(Xa，Xb)=1的Xb一定不是吸引子。證明：不妨設(shè)x1a≠x1b，xja=xjb，j=2,3,…,n?！遷11=0，由吸引子定義，有由假設(shè)條件知，x1a≠x1b，故∴-Xb

不是該網(wǎng)絡(luò)的吸引子。

第23頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型能使網(wǎng)絡(luò)穩(wěn)定在同一吸引子的所有初態(tài)的集合，稱為該吸引子的吸引域。定義2若Xa是吸引子，對(duì)于異步方式，若存在一個(gè)調(diào)整次序，使網(wǎng)絡(luò)可以從狀態(tài)X演變到Xa

，則稱X弱吸引到Xa；若對(duì)于任意調(diào)整次序，網(wǎng)絡(luò)都可以從狀態(tài)X演變到Xa，則稱X強(qiáng)吸引到Xa。定義3若對(duì)某些X，有X弱吸引到吸引子Xa，則稱這些X的集合為Xa的弱吸引域；若對(duì)某些X，有X強(qiáng)吸引到吸引子Xa，則稱這些X的集合為Xa的強(qiáng)吸引域。第24頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型例.1設(shè)有3節(jié)點(diǎn)DHNN網(wǎng)，用無向圖表示如下，權(quán)值與閾值均已標(biāo)在圖中，試計(jì)算網(wǎng)絡(luò)演變過程的狀態(tài)。

x1-0.1

-0.50.2

x20.00.60.0x3

第25頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型解：設(shè)各節(jié)點(diǎn)狀態(tài)取值為1或0，3節(jié)點(diǎn)DHNN網(wǎng)絡(luò)應(yīng)有23=8種狀態(tài)。不妨將X=(x1,x2,x3),T=(0,0,0)T作為網(wǎng)絡(luò)初態(tài)，按1→2→3的次序更新狀態(tài)。第1步：更新x1，x1=sgn[(-0.5)0+0.20－(-0.1)]=sgn(0.1)=1其它節(jié)點(diǎn)狀態(tài)不變，網(wǎng)絡(luò)狀態(tài)由(0,0,0)T變成(1,0,0)T。如果先更新x2或x3，網(wǎng)絡(luò)狀態(tài)將仍為(0,0,0)T，因此初態(tài)保持不變的概率為2/3，而變?yōu)?1,0,0)T的概率為1/3。第2步：此時(shí)網(wǎng)絡(luò)狀態(tài)為(1,0,0)T，更新x2后，得x2=sgn[(-0.5)1+0.60－0]=sgn(-0.5)=0其它節(jié)點(diǎn)狀態(tài)不變，網(wǎng)絡(luò)狀態(tài)仍為(1,0,0)T。如果本步先更新x1或x3，網(wǎng)絡(luò)相應(yīng)狀態(tài)將為(1,0,0)T和(1,0,1)T，因此本狀態(tài)保持不變的概率為2/3，而變?yōu)?1,0,1)T的概率為1/3。第3步：此時(shí)網(wǎng)絡(luò)狀態(tài)為(1,0,0)T，更新x3得

x3=sgn[0.21+0.60－0]=sgn(0.2)=1同理可算出其它狀態(tài)之間的演變歷程和狀態(tài)轉(zhuǎn)移概率。第26頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型

從這個(gè)例子，可以看出兩個(gè)顯著的特征：

(1)狀態(tài)(011）是一個(gè)滿足前面定義的穩(wěn)定狀態(tài)。

(2)從任意初始狀態(tài)開始，網(wǎng)絡(luò)經(jīng)過有限次狀態(tài)更新后，都將到達(dá)該穩(wěn)定狀態(tài)。DHNN網(wǎng)絡(luò)狀態(tài)演變示意圖

第27頁(yè)/共97頁(yè)HNN的聯(lián)想記憶所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關(guān)的事物的過程.日常生活中,從一種事物出發(fā),人們會(huì)非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事務(wù).兩種聯(lián)想形式自聯(lián)想(Auto-association):由某種代表事物(或該事物的主要特征,或部分主要特征)聯(lián)想到其所標(biāo)示的實(shí)際事物。從英文字頭“Newt”聯(lián)想到“Newton”。聽到歌曲的一部分可以聯(lián)想起整個(gè)曲子。第28頁(yè)/共97頁(yè)HNN的聯(lián)想記憶異聯(lián)想(他聯(lián)想)(Hetero-association):由一種事物(或該事物的主要特征,或部分主要特征)聯(lián)想到與其密切相關(guān)的另一事物。從質(zhì)能關(guān)系式E=mc2聯(lián)想到其發(fā)明者愛因斯坦?？吹侥橙说拿謺?huì)聯(lián)想起他的相貌和特點(diǎn)。人腦從一種事物得到對(duì)應(yīng)事物的兩種途徑按時(shí)間順序?qū)ο嚓P(guān)事物進(jìn)行思考可通過時(shí)間表來回憶某一階段所做的工作.通過事物本質(zhì)特征的對(duì)比來確定事物的屬性由提示信息或局部信息對(duì)事物進(jìn)行回憶或確認(rèn).第29頁(yè)/共97頁(yè)HNN的聯(lián)想記憶HNN的一個(gè)功能是可用于聯(lián)想記憶,也即是聯(lián)想存儲(chǔ)器.這是人類的智能特點(diǎn)之一.人類的所謂“觸景生情”就是見到一些類同過去接觸的景物,容易產(chǎn)生對(duì)過去情景的回昧和思憶.對(duì)于HNN,用它作聯(lián)想記憶時(shí),首先通過一個(gè)學(xué)習(xí)訓(xùn)練過程確定網(wǎng)絡(luò)中的權(quán)系數(shù),使所記憶的信息在網(wǎng)絡(luò)的n維超立方體的某一個(gè)頂角的能量最小.當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后,只要向網(wǎng)絡(luò)給出輸入向量,這個(gè)向量可能是局部數(shù)據(jù).即不完全或部分不正確的數(shù)據(jù),但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出.第30頁(yè)/共97頁(yè)HNN的聯(lián)想記憶1984年Hopfield提出一種用n維HNN作聯(lián)想存儲(chǔ)器的結(jié)構(gòu).HNN聯(lián)想存儲(chǔ)器的主要思想為:根據(jù)欲存儲(chǔ)的信息的表示形式和維數(shù),設(shè)計(jì)相應(yīng)的HNN結(jié)構(gòu)將欲存儲(chǔ)的信息設(shè)計(jì)為HNN的動(dòng)力學(xué)過程的已知的漸近穩(wěn)定平衡點(diǎn)通過學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲(chǔ)到網(wǎng)絡(luò)中第31頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型4.DHNN網(wǎng)絡(luò)設(shè)計(jì)用DHNN實(shí)現(xiàn)聯(lián)想記憶需要考慮兩個(gè)重要的問題：①怎樣按記憶確定網(wǎng)絡(luò)的W和；②網(wǎng)絡(luò)給定之后如何分析它的記憶容量。為了使所設(shè)計(jì)的權(quán)值滿足要求，權(quán)值矩陣應(yīng)符合以下要求：⑴為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為對(duì)稱陣；⑵為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對(duì)稱陣；⑶保證給定樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。下面將分別討論。

權(quán)值設(shè)計(jì)的方法記憶容量分析

權(quán)值修正的其它方法第32頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型

(1)權(quán)值設(shè)計(jì)的方法權(quán)值設(shè)計(jì)的方法有外積法、偽逆法、正交設(shè)計(jì)法等。外積型網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)方法網(wǎng)絡(luò)待記憶的學(xué)習(xí)樣本有N個(gè)，XK,K=1,2,…,N，XK∈Rn，其每個(gè)分量為XiK，i=1,2,…,n，利用已知需要存儲(chǔ)的樣本來設(shè)計(jì)n個(gè)節(jié)點(diǎn)間的連接權(quán)值，如節(jié)點(diǎn)i和j間的連接權(quán)值為：第33頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型若取wjj=0，上式應(yīng)寫為

式中I為單位矩陣。上式寫成分量元素形式，有

下面檢驗(yàn)所給樣本能否稱為吸引子。

因?yàn)镻個(gè)樣本Xp，p=1,2,…,P，x{-1,1}n是兩兩正交的，有

第34頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型因?yàn)閚>P，所以有

可見給定樣本Xp，p=1,2,…,P是吸引子。

第35頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型如果N個(gè)樣本XK，K=1,2,…,N，不是兩兩正交，其連接權(quán)值依據(jù)Hebb規(guī)則求得，在N個(gè)樣本中任選一個(gè)樣本XK作為初始輸入：通過上式可求得新的輸出XK’=sgn(WXK)，取XK’的第j個(gè)分量：第36頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型式中

設(shè)nj為零均值的隨機(jī)變量，Xik,Xjk{1,-1}，而nj的方差2=(N-1)n,。對(duì)于非正交的學(xué)習(xí)樣本，如果滿足，則網(wǎng)絡(luò)仍可收斂到其記憶樣本上第37頁(yè)/共97頁(yè)設(shè)樣本維數(shù)為n，樣本個(gè)數(shù)為N，則根據(jù)Hebb規(guī)則設(shè)計(jì)的DHNN，實(shí)現(xiàn)樣本均為吸引子的充分條件（樣本應(yīng)滿足的條件）為：（1）若N個(gè)樣本兩兩正交，則充分條件為（2）若m個(gè)樣本不是兩兩正交，則為四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計(jì)第38頁(yè)/共97頁(yè)[例]對(duì)于一個(gè)4神經(jīng)元的網(wǎng)絡(luò)，取閾值為0。給定兩個(gè)模式存貯于網(wǎng)絡(luò)之中

m1：V(1)＝[v1,v2,v3,v4]＝[1,1,1,1]m2：V(2)＝[v1,v2,v3,v4]＝[-1,-1,-1,-1]計(jì)算可得權(quán)矩陣：給出用于聯(lián)想的原始模式：mA

：V(A)＝[1,1,-1,1]運(yùn)行網(wǎng)絡(luò)得到穩(wěn)定狀態(tài)V(1)＝[1,1,1,1]，這個(gè)穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式m1由此可以認(rèn)為A是由模式mA聯(lián)想起來的。如聯(lián)想模式為：mB：V(B)＝[-1,-1,-1,1]則得到另一穩(wěn)定狀態(tài):V(2)＝[-1,-1,-1,-1]，即模式m2第39頁(yè)/共97頁(yè)(2)偽逆法[]()()求出權(quán)矩陣滿秩，其逆存在，則可線性無關(guān)的，則如果樣本之間是為偽逆，有其中由此可得輸入輸出之間用權(quán)值W來映射，則有設(shè)輸入樣本W(wǎng)XXXXXXXNWNYXWNXXXXTTTN,

sgn,

121-****===*==LX第40頁(yè)/共97頁(yè)(3)正交化的權(quán)值設(shè)計(jì)1)保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性；2)保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己；3)使偽穩(wěn)定點(diǎn)（網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解）的數(shù)目盡可能的少；4)使穩(wěn)定點(diǎn)的吸引域盡可能的大。四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計(jì)第41頁(yè)/共97頁(yè)

設(shè)給定m個(gè)樣本向量x(k)=(k=1,2,…,m)，首先組成如下的n×

(m-1)階矩陣對(duì)A進(jìn)行奇異值分解U是nn正交陣，V是(m-1)×(m-1)

正交陣。(3)正交化的權(quán)值設(shè)計(jì)第42頁(yè)/共97頁(yè)則u1,u2,…,ur

是對(duì)應(yīng)于非零奇異值σ1,σ2,…,σr

的左奇異向量，且組成了A的值域空間的正交基；ur+1,…,un

是

A的值域的正交補(bǔ)空間的正交基。

按如下方法組成連接權(quán)矩陣W和閾值向量b。U可表示成(3)正交化的權(quán)值設(shè)計(jì)所設(shè)計(jì)出的平衡穩(wěn)定點(diǎn)能夠保證收斂到自己并且有較大的穩(wěn)定域。第43頁(yè)/共97頁(yè)DHNN的權(quán)值設(shè)計(jì)及網(wǎng)絡(luò)工作過程示例例1采用Hebb規(guī)則，設(shè)計(jì)離散Hopfield網(wǎng)絡(luò)，判斷樣本是否均為吸引子，并考察這兩個(gè)吸引子的吸引能力。

兩個(gè)樣本為第44頁(yè)/共97頁(yè)解1）求連接權(quán)矩陣DHNN的權(quán)值設(shè)計(jì)及網(wǎng)絡(luò)工作過程示例第45頁(yè)/共97頁(yè)可見，兩個(gè)樣本均為網(wǎng)絡(luò)的吸引子。不滿足前面給出的充分條件，是否為吸引子需具體加以檢驗(yàn)：2）判斷樣本是否為吸引子

兩個(gè)樣本不正交，根據(jù)第二種情況判斷第46頁(yè)/共97頁(yè)3）考察兩個(gè)吸引子的吸引能力（聯(lián)想記憶的功能)

顯然它比較接近x(1),用異步方式按1,2,3,4的調(diào)整次序來演變網(wǎng)絡(luò)：(1)可見，只需異步方式調(diào)整一步既收斂到x(1)

。即第47頁(yè)/共97頁(yè)3）考察兩個(gè)吸引子的吸引能力（聯(lián)想記憶的功能)

顯然它比較接近x(2),用異步方式按1,2,3,4的調(diào)整次序來演變網(wǎng)絡(luò)：(2)可見，只需異步方式調(diào)整一步既收斂到x(2)

。即第48頁(yè)/共97頁(yè)(3)可見，此時(shí)x(5)收斂到x(2)

。即

它與x(1)

和x(2)

的海明距離（兩個(gè)向量不相同元素的個(gè)數(shù)）均為2。若按1,2,3,4的調(diào)整次序調(diào)整網(wǎng)絡(luò)可得即第49頁(yè)/共97頁(yè)若按3,4,1,2的調(diào)整次序調(diào)整網(wǎng)絡(luò)可得即即可見，此時(shí)x(5)收斂到x(1)

。第50頁(yè)/共97頁(yè)下面對(duì)該例應(yīng)用同步方式進(jìn)行計(jì)算，仍取x(0)為x(3)，x(4)，

x(5)

三種情況。(1)可見，x(3)收斂到x(1)

。第51頁(yè)/共97頁(yè)(2)可見，x(4)收斂到x(2)

。第52頁(yè)/共97頁(yè)(3)

可見，它將在兩個(gè)狀態(tài)間跳躍，產(chǎn)生極限環(huán)為2的自持振蕩。若根據(jù)前面的穩(wěn)定性分析，由于此時(shí)連接權(quán)矩陣W不是非負(fù)定陣，所以出現(xiàn)了振蕩。

第53頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型2.記憶容量分析記憶容量是指在網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)一定條件下，保證聯(lián)想記憶功能正確實(shí)現(xiàn)，網(wǎng)絡(luò)所能存儲(chǔ)的最大樣本數(shù)。當(dāng)網(wǎng)絡(luò)規(guī)模一定時(shí)，所能記憶的模式是有限的。聯(lián)想記憶的原理

(1)自聯(lián)想記憶(Auto-AM)設(shè)在學(xué)習(xí)過程中存入N個(gè)樣本XK，K=1,2,…,N，若輸入X’=XK+V，其中XK是N個(gè)樣本之一，V是偏差項(xiàng)（可能是噪聲、圖形的缺損或畸變等），要求輸出為Y=XK，即使之復(fù)原。

(2)他聯(lián)想記憶（Hetero-AM）規(guī)定兩組樣本之間有一定的對(duì)應(yīng)關(guān)系XK→YK,K=1,2,…,N，例如，XK代表某人的照片，YK代表某人的姓名。使用時(shí)，若輸入X’=XK+V，要求輸出為Y=YK。當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定的模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤的記憶住。但當(dāng)所要記憶的模式增加時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點(diǎn)上：(1)權(quán)值移動(dòng)(2)交叉干擾第54頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型(1)權(quán)值移動(dòng)在網(wǎng)絡(luò)的學(xué)習(xí)過程中，網(wǎng)絡(luò)對(duì)權(quán)值的記憶實(shí)際上是逐個(gè)實(shí)現(xiàn)的。即對(duì)權(quán)值W，有程序:當(dāng)網(wǎng)絡(luò)準(zhǔn)確的X1時(shí)，為了記憶X2,需要在記憶樣本X1的權(quán)值上加上對(duì)樣本X2的記憶項(xiàng)X2X2T-I，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動(dòng)。這樣網(wǎng)絡(luò)有可能部分得遺忘了以前以記憶住的模式。()endIXXWWqkforWTKK-+===,10第55頁(yè)/共97頁(yè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型從動(dòng)力學(xué)的角度來看，k值較小時(shí)，網(wǎng)絡(luò)Hebb學(xué)習(xí)規(guī)則，可以使輸入學(xué)習(xí)樣本成為其吸引子。隨著k值的增加，不但難以使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使已記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動(dòng)。對(duì)一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。(2)交叉干擾

網(wǎng)絡(luò)在學(xué)習(xí)多個(gè)樣本后，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的干擾，稱為交叉干擾。對(duì)外積型設(shè)計(jì)而言，如果輸入樣本是彼此正交的，n個(gè)神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為n。但是在大多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比n小得多，一般為(0.13~0.15)n，n為神經(jīng)元數(shù)。第56頁(yè)/共97頁(yè)記憶容量問題例4.存儲(chǔ)如下記憶模式：若給出用于聯(lián)想的原始模式為：

m1:Y(1)=[y1,y2,y3,y4]=[-1,1,1,1],m2:Y(2)=[y1,y2,y3,y4]=[-1,-1,1,1],m3:Y(3)=[y1,y2,y3,y4]=[-1,1,1,-1].則其權(quán)矩陣為：第57頁(yè)/共97頁(yè)記憶容量問題給出聯(lián)想模式：

m3:Y(3)=[y1,y2,y3,y4]=[-1,1,1,-1].但網(wǎng)絡(luò)運(yùn)行穩(wěn)定在模式

m1:Y(1)=[-1,1,1,1]而不是其自身模式m3。第58頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)CHNN是在DHNN的基礎(chǔ)上提出的，它的原理和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實(shí)時(shí)性、分布存儲(chǔ)、協(xié)同性等方面比DHNN更接近于生物神經(jīng)網(wǎng)絡(luò)。我們將從以下幾點(diǎn)來討論CHNN。1、網(wǎng)絡(luò)模型2、CHNN方程的解及穩(wěn)定性分析3、關(guān)于Hopfield能量函數(shù)的幾點(diǎn)說明4、關(guān)于CHNN的幾點(diǎn)結(jié)論第59頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)利用運(yùn)算放大器實(shí)現(xiàn)的Hopfield動(dòng)態(tài)神經(jīng)元第60頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)連續(xù)型Hopfield網(wǎng)絡(luò)結(jié)構(gòu)第61頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)1.CHNN的網(wǎng)絡(luò)模型對(duì)于Hopfield動(dòng)態(tài)神經(jīng)元模型，放大器的I/O關(guān)系可用如下的方程來描述：

第62頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)對(duì)上述方程變形得：第63頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)

2.CHNN方程的解及穩(wěn)定性分析對(duì)于CHNN來說，關(guān)心的同樣是穩(wěn)定性問題。在所有影響電路系統(tǒng)穩(wěn)定的所有參數(shù)中，一個(gè)比較特殊的參數(shù)值是放大器的放大倍數(shù)。從前面的分析中可以看出，當(dāng)放大器的放大倍數(shù)足夠大時(shí)，網(wǎng)絡(luò)由連續(xù)性轉(zhuǎn)化成離散型，狀態(tài)與輸出之間的關(guān)系表現(xiàn)了激活函數(shù)的形狀，而正是激活函數(shù)代表了一個(gè)網(wǎng)絡(luò)的特點(diǎn)，所以，下面著重分析不同激活函數(shù)關(guān)系對(duì)系統(tǒng)的穩(wěn)定性的影響。1、激活函數(shù)為線性函數(shù)時(shí)2、激活函數(shù)為非線性函數(shù)時(shí)第64頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)

當(dāng)激活函數(shù)為線性函數(shù)時(shí)，即第65頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)

對(duì)于非線性系統(tǒng)進(jìn)行穩(wěn)定性分析，方法之一就是在系統(tǒng)的平衡點(diǎn)附近對(duì)系統(tǒng)進(jìn)行線性化處理。也可以基于網(wǎng)絡(luò)的能量函數(shù)。下面介紹Hopfield能量函數(shù)法。第66頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)第67頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)

此定理表明，隨著時(shí)間的演化，網(wǎng)絡(luò)的狀態(tài)總是朝能量減少的方向運(yùn)動(dòng)。網(wǎng)絡(luò)的平衡點(diǎn)就是E的極小點(diǎn)。第68頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)3.關(guān)于Hopfield能量函數(shù)的幾點(diǎn)說明1）能量函數(shù)為反饋網(wǎng)絡(luò)的重要概念。根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性；2）能量函數(shù)與李雅普諾夫函數(shù)的區(qū)別在于：李氏被限定在大于零的范圍內(nèi)，且要求在零點(diǎn)值為零；3）Hopfield選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。

當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后，從任一初始狀態(tài)開始，因?yàn)樵诿看蔚蠖寄軡M足E≤0，所以網(wǎng)絡(luò)的能量將會(huì)越來越小，最后趨于穩(wěn)定點(diǎn)E=0。Hopfield能量函數(shù)的物理意義是：在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi)，離吸引點(diǎn)越遠(yuǎn)的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調(diào)下降特性，保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處，不斷地趨于吸引點(diǎn)，直到達(dá)到穩(wěn)定點(diǎn)。第69頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)4.關(guān)于CHNN的幾點(diǎn)結(jié)論：1）具有良好的收斂性；

2）具有有限個(gè)平衡點(diǎn)；

3）如果平衡點(diǎn)是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)定的；

4）漸進(jìn)穩(wěn)定平衡點(diǎn)為其能量函數(shù)的局部極小點(diǎn)；

5）能將任意一組希望存儲(chǔ)的正交化矢量綜合為網(wǎng)絡(luò)的漸進(jìn)平衡點(diǎn)；

6）網(wǎng)絡(luò)的存儲(chǔ)信息表現(xiàn)為神經(jīng)元之間互連的分布式動(dòng)態(tài)存儲(chǔ)；

7）網(wǎng)絡(luò)以大規(guī)模、非線性、連續(xù)時(shí)間并行方式處理信息，其計(jì)算時(shí)間就是網(wǎng)絡(luò)趨于平衡點(diǎn)的時(shí)間。第70頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用

組合優(yōu)化問題，就是在給定約束條件下，求出使目標(biāo)函數(shù)極?。ɑ驑O大）的變量組合問題。

將Hopfield網(wǎng)絡(luò)應(yīng)用于求解組合優(yōu)化問題，就是把目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)。這樣當(dāng)網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時(shí)，問題的最優(yōu)解也隨之求出。

第71頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)旅行商問題，簡(jiǎn)稱TSP（TravelingSalesmanProblem）。問題的提法是：設(shè)有N個(gè)城市， ,記為： ,用dij表示ci和cj之間的距離，dij>0,(i,j=1,2,…n)。有一旅行商從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。N=5TSPProbelm，N=5，并用字母A、B、C、D、E、分別代表這5個(gè)城市。當(dāng)任選一條路徑如B->D->E->A->C，則其總路徑長(zhǎng)度可表示為第72頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)第一步就是將問題映照到一個(gè)神經(jīng)網(wǎng)絡(luò)。假定每個(gè)神經(jīng)元的放大器有很高的放大倍數(shù)，神經(jīng)元的輸出限制在二值0和1上，則映照問題可以用一個(gè)換位矩陣（PermutationMatrix）來進(jìn)行，換位矩陣可如下圖所示。

次序城市12345A00010B10000C00001D01000E00100第73頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)約束條件和最優(yōu)條件矩陣的每個(gè)元素對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元，則這個(gè)問題可用N2=52=25個(gè)神經(jīng)元組成的Hop-field網(wǎng)絡(luò)來求解。

問題的約束條件和最優(yōu)條件如下：（1)

一個(gè)城市只能被訪問一次=>換位矩陣每行只有一個(gè)“1”。

（2）一次只能訪問一個(gè)城市=>換拉矩陣每列只有一個(gè)“1”。

（3）總共有N個(gè)城市=>換位矩陣元素之和為N。

(4）求巡回路徑最短=>網(wǎng)絡(luò)能量函數(shù)的最小值對(duì)應(yīng)于TSP的最短路徑。

第74頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)用vij表示換位矩陣第i行、第j列的元素，顯然只能取1或0。同時(shí)，vij也是網(wǎng)絡(luò)神經(jīng)元的狀態(tài)。結(jié)論:構(gòu)成最短路徑的換位矩陣一定是形成網(wǎng)絡(luò)能量函數(shù)極小點(diǎn)的網(wǎng)絡(luò)狀態(tài)。第75頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)建立能量函數(shù)1）優(yōu)化目標(biāo)在換位矩陣中，順序訪問兩城市所有可能途徑（長(zhǎng)度）可表示為N個(gè)城市兩兩之間所有可能的訪問路徑的長(zhǎng)度可表示為當(dāng)這項(xiàng)最小時(shí)，則它就表示訪問N個(gè)城市的最短距離。第76頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)2）對(duì)應(yīng)于第（1）個(gè)約束條件第x行的所有元素

按順序兩兩相乘之和

應(yīng)為0。N個(gè)行的所有元素按順序兩兩相乘之和

也應(yīng)為0。則可得網(wǎng)絡(luò)能量函數(shù)的第一項(xiàng)，項(xiàng)前乘系數(shù)A/2，

第77頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)3）對(duì)應(yīng)于第（2）個(gè)約束條件，可得能量函數(shù)的第二項(xiàng)，式中B/2為系數(shù)。4)對(duì)應(yīng)于第（3）個(gè)約束條件，換位矩陣中所有為“1”元素之和應(yīng)等于N由此可得網(wǎng)絡(luò)能量函數(shù)的第三項(xiàng)式中，取平方值是為了使這項(xiàng)符合能量的表達(dá)形式，同時(shí)也體現(xiàn)了對(duì)不符合約束條件時(shí)的一種懲罰；C/2為系數(shù)。第78頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)5）網(wǎng)絡(luò)能量函數(shù)的最后表達(dá)式將優(yōu)化目標(biāo)乘以D/2，由此得到網(wǎng)絡(luò)能量函數(shù)的第四項(xiàng)，則最后的網(wǎng)絡(luò)能量函數(shù)為：

第79頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)確定網(wǎng)絡(luò)神經(jīng)元之間的連接權(quán)及神經(jīng)元輸出的閥值。設(shè)網(wǎng)絡(luò)神經(jīng)元與

神經(jīng)元之間的連接權(quán)為

，神經(jīng)元

輸出的閥值為

，則比較能量函數(shù)，即可確定神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。第80頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)確定的神經(jīng)網(wǎng)絡(luò)權(quán)值為：TSP網(wǎng)絡(luò)的迭代方程為：第81頁(yè)/共97頁(yè)連續(xù)性的Hopfield網(wǎng)絡(luò)迭代步驟：（1）初始化：給定一個(gè)

值（例如

）。這保證收斂于正確解，按下式取網(wǎng)絡(luò)各神經(jīng)元的初始狀態(tài)：

式中

，其中N為網(wǎng)絡(luò)神經(jīng)元個(gè)數(shù)；

為（-1，+1）區(qū)間的隨機(jī)值。（2）求出各神經(jīng)元的輸出

第82頁(yè)/共97頁(yè)迭代續(xù)1第83頁(yè)/共97頁(yè)

Hopfield網(wǎng)絡(luò)在系統(tǒng)辨識(shí)中的應(yīng)用

在系統(tǒng)辨識(shí)中，直接采用Hopfield神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)域內(nèi)動(dòng)態(tài)系統(tǒng)實(shí)現(xiàn)參數(shù)估計(jì)是一種簡(jiǎn)單而直接的動(dòng)態(tài)系統(tǒng)辨識(shí)方法。該方法的特點(diǎn)是根據(jù)Hopfield神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)機(jī)制，使其神經(jīng)元的輸出值對(duì)應(yīng)待識(shí)參數(shù)，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識(shí)參數(shù)辨識(shí)的過程。利用Hopfield網(wǎng)絡(luò)進(jìn)行辨識(shí)時(shí)，取所定義的辨識(shí)能量函數(shù)等于Hopfield網(wǎng)絡(luò)標(biāo)準(zhǔn)能量函數(shù)，通過Hopfield神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程，得到Hopfield網(wǎng)絡(luò)的連接權(quán)矩陣和神經(jīng)元的外部輸入，然后將其代入Hopfield網(wǎng)絡(luò)動(dòng)態(tài)方程運(yùn)行，經(jīng)過一段時(shí)間后，可得到穩(wěn)定的參數(shù)辨識(shí)結(jié)果。第84頁(yè)/共97頁(yè)（1）系統(tǒng)描述

設(shè)待辨識(shí)為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀態(tài)方程為其中、為待辨識(shí)的參數(shù)矩陣，取，

且狀態(tài)矢量