《神經(jīng)網(wǎng)絡(luò)導(dǎo)論》實(shí)驗(yàn)二-雙向聯(lián)想記憶

《神經(jīng)網(wǎng)絡(luò)導(dǎo)論》實(shí)驗(yàn)二雙向聯(lián)想記憶專業(yè)班級(jí)碩2081學(xué)號(hào)3112313038姓名李海玥完成時(shí)間2013年1月《神經(jīng)網(wǎng)絡(luò)導(dǎo)論》試驗(yàn)二雙向聯(lián)想記憶李海玥2013年1月一、實(shí)驗(yàn)?zāi)康氖煜osko型雙向聯(lián)想記憶網(wǎng)絡(luò)的原理與結(jié)構(gòu)，通過仿真實(shí)驗(yàn)掌握具體的實(shí)現(xiàn)方法，了解該網(wǎng)絡(luò)的功能及性能，加深對(duì)該類網(wǎng)絡(luò)的穩(wěn)定狀態(tài)和能量函數(shù)等概念的理解。二、實(shí)驗(yàn)原理聯(lián)想記憶功能分為自聯(lián)想和異聯(lián)想，異聯(lián)想也稱為雙向聯(lián)想記憶，簡寫為BAM。BAM存儲(chǔ)器可存儲(chǔ)兩組矢量，若有如下N維矢量A和P維矢量B：A=B=構(gòu)成M對(duì)矢量As,Bs,s=0,1,?,M-1如圖1所示，與矢量A相應(yīng)的一層有N個(gè)節(jié)點(diǎn)，另一層對(duì)應(yīng)矢量B，有P個(gè)節(jié)點(diǎn)，兩層間雙向連接。假定B到A的傳輸為正向，正向的權(quán)矩陣為W。如果輸入矢量由上層加入，且相應(yīng)于網(wǎng)絡(luò)中B的穩(wěn)定狀態(tài)，則經(jīng)W之作用產(chǎn)生A穩(wěn)定狀態(tài)。圖1：雙向聯(lián)想記憶網(wǎng)絡(luò)當(dāng)任意矢量輸入時(shí)，網(wǎng)絡(luò)要經(jīng)若干次次迭代計(jì)算演變至穩(wěn)態(tài)，過程可示意為：WBWWB?直至A、B為穩(wěn)態(tài)，演變過程結(jié)束。網(wǎng)絡(luò)學(xué)習(xí)遵從Hebb規(guī)則，若給定M個(gè)雙極性矢量對(duì)：A則正，反向權(quán)矩陣為：W=W如果BAM網(wǎng)絡(luò)神經(jīng)元函數(shù)值為0，則稱為齊次BAM網(wǎng)絡(luò)，其能量函數(shù)為：E若神經(jīng)元的非線性函數(shù)為f，則描述齊次BAM動(dòng)態(tài)特性的差分方程為：正向聯(lián)想(B?A)a反向聯(lián)想(A?B)b三、實(shí)驗(yàn)內(nèi)容及步驟1、選擇齊次Kosko型BAM網(wǎng)絡(luò)編制程序?qū)崿F(xiàn)聯(lián)想記憶。設(shè)神經(jīng)元非線性函數(shù)f為硬限幅函數(shù)，即f(x)=san(x)；當(dāng)x=0時(shí)，神經(jīng)元的輸出維持不變。2、根據(jù)Hebb規(guī)則算出網(wǎng)絡(luò)的連接權(quán)矩陣并記錄；算出四對(duì)矢量所對(duì)應(yīng)的穩(wěn)定狀態(tài)的能量值。連接權(quán)值W=4 2 2 -2 0 -2 0 -2 4 02 0 0 -4 2 0 2 0 2 -22 0 0 0 2 0 -2 -4 2 2-2 -4 0 0 2 0 2 0 -2 -20 2 2 2 -4 -2 0 2 0 0-2 0 0 0 -2 0 2 4 -2 -20 2 -2 2 0 2 -4 -2 0 4-2 0 -4 0 2 4 -2 0 -2 24 2 2 -2 0 -2 0 -2 4 00 -2 2 -2 0 -2 4 2 0 -40 -2 2 2 0 -2 0 -2 0 0-2 -4 0 0 2 0 2 0 -2 -22 4 0 0 -2 0 -2 0 2 20 2 -2 -2 0 2 0 2 0 00 2 -2 2 0 2 -4 -2 0 4穩(wěn)定狀態(tài)能量值：E=[3、驗(yàn)證網(wǎng)絡(luò)的聯(lián)想能力經(jīng)過Matlab編程驗(yàn)證，經(jīng)過以上計(jì)算出的權(quán)值W和對(duì)稱硬限幅函數(shù)的非線性作用，選擇標(biāo)準(zhǔn)樣本Ai進(jìn)行迭代，觀察上下兩層的狀態(tài)是否為(Ai,Bi)。同樣任選Bi輸入觀察穩(wěn)定后的結(jié)果。經(jīng)過前面計(jì)算出的權(quán)值W和符號(hào)函數(shù)非線性作用，進(jìn)行一次迭代，聯(lián)想成功沒有偏差。即AB4、驗(yàn)證網(wǎng)絡(luò)抗噪能力以標(biāo)準(zhǔn)矢量A1隨機(jī)兩位取反形成畸變矢量A帶入網(wǎng)絡(luò)中迭代至穩(wěn)定。得到結(jié)果A過程經(jīng)過兩次迭代期間能量變化為：E5、噪聲大小對(duì)聯(lián)想能力的影響統(tǒng)計(jì)4個(gè)矢量分別在1~3位上取反時(shí)的聯(lián)想正確率。對(duì)于每種情況取2000次運(yùn)算得到平均性能。表1噪聲對(duì)網(wǎng)絡(luò)聯(lián)想力的影響標(biāo)準(zhǔn)矢量取反位數(shù)迭代次數(shù)平均值聯(lián)想正確率A112.0000100%22.000098.97%32.097595.58%A212.0000100%22.016098.49%32.176591.68%A311.920099.52%21.990598.51%32.063695.21%A412.0000100%22.013099.61%32.097589.71%6、正反向聯(lián)想抗噪能力統(tǒng)計(jì)4個(gè)B矢量分別在1~3位取反時(shí)的聯(lián)想正確率，記錄結(jié)果并與第5步結(jié)果比較。表2反向聯(lián)想抗噪能力標(biāo)準(zhǔn)矢量取反位數(shù)迭代次數(shù)平均值聯(lián)想正確率B112.0000100%22.216091.75%32.336077.03%B211.870597.80%22.068594.52%32.339580.03%B311.902099.02%22.027091.43%32.203074.40%B411.795597.95%22.016592.17%32.181576.89%四、實(shí)驗(yàn)思考題1、在實(shí)驗(yàn)步驟4中觀察網(wǎng)絡(luò)能量E是如何變化的？根據(jù)網(wǎng)絡(luò)機(jī)理說明原因。從步驟4中可以看出，網(wǎng)絡(luò)能量E隨著跌代的次數(shù)而減小。這是因?yàn)殡p向聯(lián)想網(wǎng)絡(luò)是Hopfield網(wǎng)絡(luò)的一種，所以也具有Hopfield網(wǎng)絡(luò)特性。而對(duì)于標(biāo)準(zhǔn)Hopfield網(wǎng)絡(luò)，其能量函數(shù)E對(duì)時(shí)間的導(dǎo)數(shù)為負(fù)值，dE也就是說網(wǎng)絡(luò)總是朝著能量函數(shù)E減小的方向運(yùn)動(dòng)，且達(dá)到穩(wěn)態(tài)時(shí)，E取極小值。2、如果我們想要“擦除”存儲(chǔ)矢量中的某對(duì)(Ai,Bi)，應(yīng)如何調(diào)整網(wǎng)絡(luò)？雙向聯(lián)想記憶網(wǎng)絡(luò)特性主要體現(xiàn)在權(quán)值W上，如果想要“擦除”存儲(chǔ)矢量中的某對(duì)(Ai,Bi)，只需要對(duì)權(quán)值進(jìn)行調(diào)整：W或者更新權(quán)值為：W3、通過總結(jié)第5步和第6步的實(shí)驗(yàn)結(jié)果，能得出什么結(jié)論？簡要解釋其中的原因。隨著矢量位取反的位數(shù)增多，即噪聲的增大，網(wǎng)絡(luò)達(dá)到穩(wěn)態(tài)所需迭代次數(shù)增加。隨著網(wǎng)絡(luò)噪聲的增大，網(wǎng)絡(luò)聯(lián)想正確率下降，說明網(wǎng)絡(luò)恢復(fù)的記憶力是有限的。網(wǎng)絡(luò)對(duì)各組矢量的聯(lián)想記憶力是有限的，如果對(duì)其中一組矢量的記憶力增強(qiáng)，則另一組必定減弱。對(duì)不同樣本組記憶力大體相同，差異不大。五、實(shí)驗(yàn)結(jié)論雙向聯(lián)想記憶網(wǎng)絡(luò)是一種特殊的Hopfield神經(jīng)網(wǎng)絡(luò)，具有信息記憶和信息記憶的功能。Hopfield神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是每個(gè)神經(jīng)元的輸出要反饋給除自身以外的其他所有神經(jīng)元。那么設(shè)網(wǎng)絡(luò)上共有L個(gè)神經(jīng)預(yù)案，使得W成為一個(gè)L×L的矩陣，我們將L個(gè)神經(jīng)元分成N、P兩組。如果每組內(nèi)任一個(gè)神經(jīng)元的輸出都反饋給另一組的神經(jīng)元輸入，而不反饋給本組神經(jīng)元輸入端，這樣可以將不反饋的部分的權(quán)值視為0。所以Kosko型BAM網(wǎng)絡(luò)就可以視為一種特殊的Hopfield網(wǎng)絡(luò)。對(duì)于雙向聯(lián)想記憶網(wǎng)絡(luò)，它具有Hopfield網(wǎng)絡(luò)所具有的一般特性，在實(shí)驗(yàn)中可以看到，隨著時(shí)間的推移，網(wǎng)絡(luò)在狀態(tài)空間中總是朝著能量函數(shù)減小的方向移動(dòng)，當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定時(shí)，能量取得極小值。隨著網(wǎng)絡(luò)噪聲的增大，網(wǎng)絡(luò)達(dá)到穩(wěn)態(tài)所需迭代次數(shù)增加，網(wǎng)絡(luò)聯(lián)想正確率下降，同時(shí)說明網(wǎng)絡(luò)恢復(fù)的記憶力是有限的。Matlab主要源代碼1、Hebb規(guī)則A(:,1)=[1-11-11-11-11-11-11-11];A(:,2)=[11-1-111-1-111-1-111-1];A(:,3)=[111-1-1-1111-1-1-1111];A(:,4)=[1111-1-1-1-11111-1-1-1];B(:,1)=[1111-1-1-1-111];B(:,2)=[111-1-1-1111-1];B(:,3)=[11-1-111-1-111];B(:,4)=[1-11-11-11-11-1];w(1:15,1:10)=0;e(1:4)=0;fori=1:4w=w+A(:,i)*B(:,i)';endforj=1:4e(j)=-(A(:,j))'*w*B(:,j);endA1=A(:,1);B1=B(:,1);temp(15,1)=0;TimeNum=0;%isequal判斷數(shù)組容量是否相等;%hardlims對(duì)稱硬限幅功能傳輸函數(shù)；%%驗(yàn)證網(wǎng)絡(luò)聯(lián)想能力；whileisequal(A1,temp)temp=A1;A1=hardlims(w*B1);B1=hardlims(w*A1);TimeNum=TimeNum+1;End2、網(wǎng)絡(luò)迭代算法%A1任兩位取反A1=A(:,1).*(1-2*randerr(1,15,2)');e(1:k)=0;temp(15,1)=0;k=0;ifA1~=A(:,1)temp=A1(0);B1(k+1)=hardlims(w'*A1(k));k=k+1;A1(k+1)=hardlims(w*B1(k));endforj=1:ke(j)=-(A(:,j))'*w*B(:,j);endChangeNum=length(find(