神經(jīng)網(wǎng)絡講義

2024/4/251人工神經(jīng)網(wǎng)絡

ArtificialNeuralNetworks2024/4/252第4章

BP網(wǎng)絡4.1概述

4.2基本BP算法

4.3算法的改進

4.4算法的實現(xiàn)

4.5算法的理論基礎

4.6幾個問題的討論

2024/4/2534.1概述

1、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應性和有效性。2024/4/2544.2基本BP算法

4.2.1網(wǎng)絡的構成

神經(jīng)元的網(wǎng)絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：2024/4/255輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導的2024/4/256網(wǎng)絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2024/4/257網(wǎng)絡的拓撲結構

BP網(wǎng)的結構輸入向量、輸出向量的維數(shù)、網(wǎng)絡隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡精度和表達能力。BP網(wǎng)一般都選用二級網(wǎng)絡。2024/4/258網(wǎng)絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………WV2024/4/2594.2.2訓練過程概述

樣本：(輸入向量，理想輸出向量)權初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡；（2）計算相應的實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2024/4/25104.2.2訓練過程概述

2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應的理想輸出Yp的差；（2）按極小化誤差的方式調整權矩陣。（3）網(wǎng)絡關于第p個樣本的誤差測度：（4）網(wǎng)絡關于整個樣本集的誤差測度：2024/4/25114.2.3誤差傳播分析

1、輸出層權的調整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq2024/4/25122、隱藏層權的調整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2024/4/25132、隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk

有關不妨認為δpk-1通過權wp1對δ1k做出貢獻，通過權wp2對δ2k做出貢獻，……通過權wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2024/4/25142、隱藏層權的調整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2024/4/2515上次課內容回顧基本BP算法neti=x1w1i+x2w2i+…+xnwni

2024/4/2516上次課內容回顧x1o1輸出層隱藏層輸入層x2o2omxn…………WV2024/4/2517上次課內容回顧樣本權初始化向前傳播階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度2024/4/2518上次課內容回顧向后傳播階段——誤差傳播階段輸出層權的調整?wpq=αδqop=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op隱藏層權的調整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22024/4/25194.2.4基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調整，重復這個循環(huán)，直到∑Ep<ε。用輸出層的誤差調整輸出層權矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

2024/4/2520算法4-1

基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

2024/4/2521算法4-1

基本BP算法4.2對S中的每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應的實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應式子調整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應式子調整W(k)；

4.2.6.2k=k-1

4.3E=E/2.0

2024/4/25224.3算法的改進

1、BP網(wǎng)絡接受樣本的順序對訓練結果有較大影響。它更“偏愛”較后出現(xiàn)的樣本2、給集中的樣本安排一個適當?shù)捻樞?，是非常困難的。3、樣本順序影響結果的原因：“分別”、“依次”

4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

2024/4/2523算法4-2消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：?w(k)ij=0；

2024/4/25244.3對S中的每一個樣本（Xp,Yp）：

4.3.1計算出Xp對應的實際輸出Op；

4.3.2計算出Ep；

4.3.3E=E+Ep；

4.3.4對所有i，j根據(jù)相應式子計算?pw(L)ij；

4.3.5對所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do 4.3.7.1對所有i,j根據(jù)相應式子計算?pw(k)ij；

4.3.7.2對所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij；

4.3.7.3k=k-1

4.4對所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

2024/4/2525算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題

收斂速度：比較慢偏移量：給每一個神經(jīng)元增加一個偏移量來加快收斂速度沖量：聯(lián)接權的本次修改要考慮上次修改的影響，以減少抖動問題

2024/4/2526算法4-2分析——沖量設置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次的修改量，β在0和1之間取值

2024/4/25274.4算法的實現(xiàn)

主要數(shù)據(jù)結構W[H，m]——輸出層的權矩陣；V[n，H]——輸入（隱藏）層的權矩陣；?o[m]——輸出層各聯(lián)接權的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。

2024/4/2528算法的主要實現(xiàn)步驟

用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)ε；學習率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執(zhí)行如下操作

2024/4/25294.2對每一個樣本(X,Y)，執(zhí)行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權修改量

fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；2024/4/25304.2對每一個樣本(X，Y)，執(zhí)行的操作4.2.4計算隱藏層的權修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；2024/4/2531建議

隱藏層的神經(jīng)元的個數(shù)H作為一個輸入?yún)?shù)同時將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調試階段，最外層循環(huán)內，加一層控制，以探測網(wǎng)絡是否陷入了局部極小點

2024/4/25324.5算法的理論基礎基本假設網(wǎng)絡含有L層聯(lián)接矩陣：W(1)

，W(2)

，…，W(L)第k層的神經(jīng)元：Hk個自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

誤差測度: 2024/4/2533用E代表EP，用（X，Y）代表（XP，YP）

X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應的實際輸出為

O=（o1，o2，…，om）誤差測度2024/4/2534誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度2024/4/2535最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij2024/4/2536而其中的

所以，

最速下降法，要求E的極小點2024/4/2537令所以Δwij=αδjoiα為學習率最速下降法，要求E的極小點2024/4/2538ANj為輸出層神經(jīng)元

oj=f(netj)

容易得到

從而

2024/4/2539ANj為輸出層神經(jīng)元2024/4/2540所以，故，當ANj為輸出層的神經(jīng)元時，它對應的聯(lián)接權wij應該按照下列公式進行調整：ANj為輸出層神經(jīng)元2024/4/2541ANj為隱藏層神經(jīng)元

函數(shù)2024/4/2542ANj為隱藏層神經(jīng)元netk=oj…o2o1oHhnetk是oj下一級的神經(jīng)元的網(wǎng)絡輸入2024/4/2543ANj為隱藏層神經(jīng)元2024/4/2544ANj為隱藏層神經(jīng)元2024/4/2545ANj為隱藏層神經(jīng)元2024/4/25464.6幾個問題的討論

收斂速度問題

局部極小點問題

逃離/避開局部極小點：修改W、V的初值——并不是總有效。逃離——統(tǒng)計方法；[Wasserman，1986]將Cauchy訓練與BP算法結合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。

2024/4/25474.6幾個問題的討論

網(wǎng)絡癱瘓問題

在訓練中，權可能變得很大，這會使神經(jīng)元的網(wǎng)絡輸入變得很大，從而又使得其激活函數(shù)的導函數(shù)在此點上的取值很小。根據(jù)相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網(wǎng)絡停止收斂

穩(wěn)定性問題

用修改量的綜合實施權的修改連續(xù)變化的環(huán)境，它將變成無效的

2024/4/25484.6幾個問題的討論

步長問題

BP網(wǎng)絡的收斂是基于無窮小的權修改量步長太小，收斂就非常慢步長太大，可能會導致網(wǎng)絡的癱瘓和不穩(wěn)定自適應步長，使得權修改量能隨著網(wǎng)絡的訓練而不斷變化。[1988年，Wasserman]

2024/4/2549練習P541、5、102024/4/2550上次課內容回顧基本BP算法算法的改進用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)?w(k)ij=∑?pw(k)ij2024/4/2551上次課內容回顧改進算法有關問題抖動、收斂速度、偏移量、沖量算法的實現(xiàn)循環(huán)控制、算法的調試算法的理論基礎2024/4/2552上次課內容回顧問題的討論收斂速度局部極小點網(wǎng)絡癱瘓穩(wěn)定性步長2024/4/2553第5章

對傳網(wǎng)

主要內容：CPN的網(wǎng)絡結構，正常運行，輸入向量的預處理，Kohonen層的訓練算法及其權矩陣的初始化方法；Grossberg層的訓練；完整的對傳網(wǎng)重點：Kohonen層與Grossberg層的正常運行與訓練難點：Kohonen層的訓練算法及其權矩陣的初始化方法

2024/4/2554第5章

對傳網(wǎng)

5.1網(wǎng)絡結構

5.2網(wǎng)絡的正常運行

5.3Kohonen層的訓練

5.4Kohonen層聯(lián)接權的初始化方法

5.5Grossberg層的訓練

5.6補充說明

2024/4/2555第5章

對傳網(wǎng)RobertHecht-Nielson在1987年提出了對傳網(wǎng)（CounterpropagationNetworks，CPN）。CPN為異構網(wǎng)：Kohonen1981年提出的Self-organizationmapSOM——Kohonen層Grossberg1969年提出的Outstar——Grossberg層訓練時間短：BP的1%。應用面：比較窄讓網(wǎng)絡的隱藏層執(zhí)行無導師學習，是解決多級網(wǎng)絡訓練的另一個思路2024/4/25565.1網(wǎng)絡結構

單向CPN，完整CPN（雙向網(wǎng)）

除拓撲結構外，網(wǎng)絡的運行機制也是確定網(wǎng)絡結構（同構、異構）和性能的重要因素

網(wǎng)絡的層數(shù)計算

2024/4/25575.1網(wǎng)絡結構x1y1WV自組織映射（無導師學習）

Kohonen層散射星（有導師學習）

Grossberg層輸入層K1G1K2G2x2y2………KhGmxnym2024/4/25585.1網(wǎng)絡結構以Kohonen層的神經(jīng)元為“中心”討論問題K1W1=(w11，w21，…，wn1)TV1=(v11，v12，…，v1m)K2 W2=(w12，w22，…，wn2)TV2=(v21，v22，…，v2m) ……KhWh=(w1h，w2h，…，wnh)TVh=(vh1，vh2，…，vhm)2024/4/25595.2網(wǎng)絡的正常運行

5.2.1Kohonen層

“強者占先、弱者退出”（thewinnertakesall

）knetj=XWj=(x1，x2，…，xn)(w1j，w2j，…，wnj)T=w1jx1+w2jx2+…+wnjxn 向量形式KNET=(knet1，knet2，…，kneth)

2024/4/25605.2.1Kohonen層K1，K2，…，Kh的輸出k1，k2，…，kh構成向量

K=(k1，k2，…，kh)

1≦j≦h 1 knetj=Max{knet1，knet2，…，kneth}kj=

0 其它

幾何意義2024/4/25615.2.2Grossberg層

Grossberg層的每個神經(jīng)元Gj

（1≦j≦m）gnetj=K(v1j，v2j，…，vhj)T =(k1，k2，…，kh)(v1j，v2j，…，vhj)T =k1v1j+k2v2j+…+khvhj

唯一輸出1的神經(jīng)元為Ko

gnetj=k1v1j+k2v2j+…+khvhj =voj

2024/4/25625.2.2Grossberg層

GNET=(gnet1

，gnet2

，…，gnetm) =(vo1，vo2，…，vom)=Vo散射星：Vo的各個分量是從Ko到Grossberg層各神經(jīng)元的聯(lián)接權

2024/4/25635.2.2Grossberg層

CPN用于模式的完善，此時n=m：接受含有噪音的輸入模式(x1，x2，…，xn)，而輸出去掉噪音后的模式(vo1，vo2，…，vom)對訓練啟示W(wǎng)1，W2，…，Wh，各類X的共同特征V1，V2，…，Vh，X對應的理想輸出Y的共同特征

2024/4/25645.3Kohonen層的訓練

5.3.1輸入向量的預處理

單位化處理X=(x1，x2，…，xn)X′=(x1′，x2′，…，xn′) =(x1/‖X‖，x2/‖X‖，…，xn/‖X‖)

2024/4/25655.3.2訓練

算法

5-1Kohonen層訓練算法

對所有的輸入向量，進行單位化處理；對每個樣本（X，Y）執(zhí)行下列過程

2.1forj=1tohdo根據(jù)相應式子計算knetj；

2.2求出最大的kneto: 2.2.1max=knet1；o=1 2.2.2forj=1tohdo

ifknetj>maxthen{max=knetj；o=j}；

2024/4/2566算法

5-1Kohonen層訓練算法2.3計算K

2.3.1forj=1tohdokj=0；

2.3.2ko=1；2.4使Wo更接近X：Wo(new)=Wo(old)+α(X-Wo(old));2.5對Wo(new)進行單位化處理

2024/4/2567Wo(new)=Wo(old)+α(X-Wo(old))α∈（0，1）

Wo(new)=Wo(old)+α(X-Wo(old))=Wo(old)+αX-αWo(old)X-Wo(new)=X-[Wo(old)+α(X-Wo(old))] =X-Wo(old)-αX+αWo(old) =X(1-α)-Wo(old)(1-α) =(1-α)(X-Wo(old))由0<(1-α)<1，Wo(new)比Wo(old)更接近X

2024/4/2568o單位圓Wo(new)=Wo(old)+α(X-Wo(old))Wo(old)(1-α)(X-Wo(old))Wo(new)(X-Wo(old))X(X-Wo(old))-Wo(old)2024/4/2569學習率α

訓練初期，α一般取0.7左右，它將隨著訓練進展不斷變小

α過大可能導致有的X被放入錯誤的類中；使訓練陷入抖動根據(jù)X的分布決定W的初值：防止類過小和過大2024/4/2570啟發(fā)一般來說，一個類含有許多向量。這個類對應的Wj應該是樣本集中這一類向量（輸入向量部分）的平均值。事先給問題一個粗略分類，并從這個分類中提取一個較有代表性的向量構成樣本集啟發(fā)我們采用訓練和直接設定權向量的方式來完成該層的訓練。2024/4/2571上次課內容回顧CPN為異構網(wǎng)Kohonen層——SOMGrossberg層——

Outstar訓練時間短：BP的1%。應用面：比較窄除拓撲結構外，網(wǎng)絡的運行機制也是確定網(wǎng)絡結構（同構、異構）和性能的重要因素2024/4/2572拓撲結構x1y1WV自組織映射（無導師學習）

Kohonen層散射星（有導師學習）

Grossberg層輸入層K1G1K2G2x2y2………KhGmxnym2024/4/2573上次課內容回顧以Kohonen層的神經(jīng)元為“中心”討論問題Kohonen層：“強者占先、弱者退出”K=(0，…，0，1，0，…，0)

Grossberg層：散射星gnetj=k1v1j+k2v2j+…+khvhj=vojGNET=(gnet1

，gnet2

，…，gnetm) =(vo1，vo2，…，vom)=VoCPN用于模式的完善2024/4/2574上次課內容回顧強調X和W的單位化處理對訓練啟示W(wǎng)1，W2，…，Wh，各類X的共同特征V1，V2，…，Vh，X對應的Y的共同特征Kohonen層的訓練Wo(new)=Wo(old)+α(X-Wo(old))2024/4/25755.4Kohonen層聯(lián)接權初始化

理想情況下，W1，W2，…，Wh的初值應該依照樣本集中的輸入向量的分布來確定樣本集中的輸入向量的分布并不是均勻的

2024/4/2576o單位圓Xi的非均勻分布要求Wi非均勻分布X2X1X32024/4/2577凸狀組合法

取wij=將輸入向量X=(x1，x2，…，xn)變換為X′=(x1′，x2′，…，xn′)其中

2024/4/2578凸狀組合法隨著訓練的進行，λ趨近于1，從而使X′趨近于X，進而Wj趨近于一組X的平均值。在訓練的初期階段，λ的值非常小，使得W需要追蹤一個變化的目標2024/4/2579添加噪音法

在輸入向量中加進適當?shù)碾S機噪音，使輸入向量的分布均勻。訓練中逐漸去掉噪音Wj不斷地調整自己的“運動方向”，去追蹤其不斷變化的目標。試驗表明，這種方法的收斂速度比凸狀組合法更慢。

W也需要追蹤一個變化的目標2024/4/2580X在加噪音后變成均勻分布的o單位圓2024/4/2581初期全調法

Kohonen層訓練的初期，對應一個輸入向量，允許多個神經(jīng)元同時處于激發(fā)狀態(tài)。逐漸減少被激發(fā)的神經(jīng)元的最大個數(shù)或者逐漸提高閾值，最后達到對一個輸入向量，只有一個神經(jīng)元激發(fā)

要解決的問題問題調整的范圍的度量。2024/4/2582初期全調法另一種實現(xiàn)在訓練的初期，算法不僅調整“獲勝”的神經(jīng)元對應的權向量，而且對其它的權向量也作適當?shù)恼{整。隨著訓練的推進，被調整的范圍逐漸縮小，直到最終只有“獲勝”的神經(jīng)元對應的權向量才被調整要解決的問題問題調整的范圍的度量。其它的權向量的“適當調整”

2024/4/2583DeSieno法

當某一個權向量所獲得的匹配向量超過給定的數(shù)（1/h）后，它的閾值就被臨時提高

問題：當最應該被某個神經(jīng)元對應的權向量匹配的輸入向量在較后的時候被輸入時，它可能被拒絕，從而造成網(wǎng)絡精度的損失

Kohonen[1988]：在一個被完全訓練過的網(wǎng)中，隨機選取的輸入向量與任何給定權向量是最接近的概率是1/h按均勻分布初始化的權向量具有相同被匹配概率

2024/4/25845.5Grossberg層的訓練

訓練標量形式

voj=voj+α(yj-voj)向量形式

Vo(new)=Vo(old)+α(Y-Vo(old))比較

Wo(new)=Wo(old)+α(X-Wo(old))

Kohonen層2024/4/2585算法5-2CPN訓練算法一

0對W、V進行初始化；1對所有的輸入向量，進行單位化處理；2對每個樣本（X，Y）執(zhí)行下列過程

2.1forj=1tohdo根據(jù)knetj=XWj計算knetj；

2.2求出最大的kneto：

2.2.1max=knet1；o=1; 2.2.2forj=1tohdo 2.2.2.1ifknetj>maxthen{max=knetj；o=j}；2024/4/2586算法5-2CPN訓練算法一2.3計算K：

2.3.1forj=1tohdokj=0；

2.3.2ko=1；2.4使Wo更接近X：

Wo(new)=Wo(old)+α(X-Wo(old))；2.5對Wo(new)進行單位化處理；2.6使Vo更接近Y：

Vo(new)=Vo(old)+α(Y-Vo(old))。

2024/4/2587算法5-3CPN訓練算法二對應Kohonen的每一個Ki，它將代表一組輸入向量，所以希望這個Ki對應的Vi能代表這組輸入向量對應的輸出向量的平均值。0

對W、V進行初始化；0′清空Kohonen層各神經(jīng)元對應的紀錄表：

forj=1tohdoSKj=Φ；1對所有的輸入向量，進行單位化處理；2024/4/2588算法5-3CPN訓練算法二

2對每個樣本（Xs，Ys）執(zhí)行下列過程

2.1forj=1tohdo 2.1.1根據(jù)相應式子計算knetj；

2.2求出最大的kneto：

2.2.1max=knet1；o=1; 2.2.2forj=1tohdo 2.2.2.1ifknetj>maxthen {max=knetj；o=j}；

2024/4/2589算法5-3CPN訓練算法二

2.3計算K：

2.3.1forj=1tohdokj=0；

2.3.2ko=1；

2.4使Wo更接近Xs：

Wo(new)=Wo(old)+α(Xs-Wo(old))；

2.5對Wo(new)進行單位化處理；

2.6將Ys放入SKo：

SKo=SKo∪{Ys}；3forj=1tohdo Vj=SKj中各向量的平均值

2024/4/2590算法的進一步優(yōu)化集合變量SK1，

SK2

，…，SKh改為其它存儲量更小，而且更容易實現(xiàn)的變量在Xs激發(fā)Ko時，Ys被放入到SKo中會不會出現(xiàn)一個向量被放入多個SK中的問題

如何解決2024/4/25915.6補充說明

1、全對傳網(wǎng)WVXY′………Y…X′輸入層Kohonen層Grossberg層2024/4/25922、非簡單工作方式對給定的輸入向量，Kohonen層各神經(jīng)元可以給出不同的輸出輸出作為修改因子對應神經(jīng)元Kohonen層、Grossberg層的權向量輸出值較大的，表明該輸入向量與該神經(jīng)元對應的類較接近，它對應的權向量的修改量就大輸出值較小的，表明該輸入向量與該神經(jīng)元對應的類較遠，它對應的權向量的修改量就小。2024/4/2593練習P691、5、82024/4/2594上次課內容回顧Kohonen層聯(lián)接權初始化凸狀組合法添加噪音法初期全調法DeSieno法Kohonen層的訓練Wo(new)=Wo(old)+α(X-Wo(old))Grossberg層的訓練Vo(new)=Vo(old)+α(Y-Vo(old))2024/4/2595上次課內容回顧CPN訓練算法討論關于反復使用樣本集進行訓練的問題CPN訓練算法改造兩層一起訓練，分開訓練SK的處理問題全對傳網(wǎng)2024/4/2596第6章非確定方法

主要內容：統(tǒng)計網(wǎng)絡的基本訓練算法模擬退火算法與收斂分析Cauchy訓練人工熱與臨界溫度在訓練中的使用BP算法與Cauchy訓練的結合。重點：統(tǒng)計網(wǎng)絡的基本訓練算法，BP算法與Cauchy訓練的結合難點：模擬退火算法與收斂分析

2024/4/2597第6章非確定方法

6.1基本的非確定訓練算法

6.2模擬退火算法

6.3Cauchy訓練

6.4相關的幾個問題

2024/4/2598第6章非確定方法確定的方法前幾章所給方法的共同特征非確定的方法生物神經(jīng)網(wǎng)絡按照概率運行別稱統(tǒng)計方法（StatisticalMethod）。既可以用于訓練，又可以用于運行

2024/4/25996.1基本的非確定訓練算法

基本思想從所給的網(wǎng)絡中“隨機地選取一個聯(lián)接權”，對該聯(lián)接權提出一個“偽隨機調整量”，當用此調整量對所選的聯(lián)接權進行修改后，如果“被認為”修改改進了網(wǎng)絡的性能，則保留此調整；否則放棄本次調整。

2024/4/251006.1基本的非確定訓練算法基本數(shù)據(jù)結構樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}輸入向量：X=(x1，x2，…，xn)理想輸出向量：Y=(y1，y2，…，ym)L層：W(1)

，W(2)

，…，W(L)

2024/4/251016.1基本的非確定訓練算法拓撲結構

x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)

W(L)W(2)2024/4/25102算法6-1

基本統(tǒng)計訓練算法

1從樣本集S中取一樣本（X,Y）；2將X輸入到網(wǎng)絡中，計算出實際輸出O；3求出網(wǎng)絡關于Y，O的誤差測度E；4隨機地從W(1)

，W(2)

，…，W(L)中選擇一個聯(lián)接權wij(p)；5生成一個小隨機數(shù)Δwij(p)；6用Δwij(p)修改wij(p)；2024/4/25103算法6-1

基本統(tǒng)計訓練算法7用修改后的W(1)

，W(2)

，…，W(L)重新計算X對應的實際輸出O′；8求出網(wǎng)絡關于Y，O′的誤差測度E′；9如果E′<E，則保留本次對W(1)

，W(2)

，…，W(L)的修改，否則，根據(jù)概率判斷本次修改是否有用，如果認為有用，則保留本次對W(1)

，W(2)

，…，W(L)的修改，如果認為本次修改無用，則放棄它；10重復上述過程，直到網(wǎng)絡滿足要求。2024/4/25104算法6-1

基本統(tǒng)計訓練算法目標函數(shù)（ObjectiveFunction）誤差測度函數(shù)：實際輸出與理想輸出方差和

計算量從W(1)

，W(2)

，…，W(L)中隨機地選擇wij

共有n×H1+H1×H2+H2×H3+…+HM-1×m個“變量”可供選擇偽隨機數(shù)偽隨機數(shù)發(fā)生器來產生Δwij(p)；按照所謂的“能量”函數(shù)的分布去計算它2024/4/25105算法6-1

基本統(tǒng)計訓練算法局部極小點當E′<E不成立時，考慮使網(wǎng)絡從局部極小點中逃離出來，必須允許目標函數(shù)暫時變壞

循環(huán)控制判斷標準用一個樣本對網(wǎng)絡的某一個聯(lián)接權進行修改后，是隨機地抽取另一個聯(lián)接權進行重復，還是再選擇下一個樣本進行重復對一個選定的樣本，每次是否可以選取若干個聯(lián)接權進行修改？如果可以，還應做什么工作？

2024/4/25106逃離局部極小點

聯(lián)接權修改量

太?。郝涞紸點后很難逃離

太大：導致在A、B兩點來回抖動

解決辦法

控制聯(lián)接權修改量的大?。簷嘈薷牧坑纱笞冃?/p>

允許暫時變壞

修改量的大小和網(wǎng)絡的“能量”相關

模擬退火

ABD2024/4/25107逃離局部極小點DBA2024/4/251086.2模擬退火算法

金屬中原子的能量與溫度有關原子能量高的時候，有能力擺脫其原來的能量狀態(tài)而最后達到一個更加穩(wěn)定的狀態(tài)——全局極小能量狀態(tài)在金屬的退火過程中，能量的狀態(tài)分布P(E)——系統(tǒng)處于具有能量E的狀態(tài)的概率；k——Boltzmann常數(shù)；T——系統(tǒng)的絕對溫度(Kelvin)

P(E)∝2024/4/25109步長和能量、溫度的關系

降溫過程高溫低溫原子運動平穩(wěn)原子激烈隨機運動能量與溫度相關步長與能量和溫度相關步長與能量相關大步長小步長可逃離難逃離金屬熱加工大小高低高能量低能量目標函數(shù)的值網(wǎng)絡的能量訓練2024/4/25110能量與溫度高溫情況下：T足夠大，對系統(tǒng)所能處的任意能量狀態(tài)E，有

將趨近于12024/4/25111能量與溫度中溫情況下：T比較小，E的大小對P(E)有較大的影響，設E1>E2

P(E2)>P(E1)。即，系統(tǒng)處于高能量狀態(tài)的可能性小于處于低能量狀態(tài)的可能性2024/4/25112能量與溫度2024/4/25113能量與溫度低溫情況下：T非常小，E的大小對P(E)的影響非常大，設E1>E2

P(E2)>>P(E1)。即，當溫度趨近于0時，系統(tǒng)幾乎不可能處于高能量狀態(tài)2024/4/25114模擬退火組合優(yōu)化法

目標函數(shù)——能量函數(shù)人工溫度T——一個初值較大的數(shù)依據(jù)網(wǎng)絡的能量和溫度來決定聯(lián)接權的調整量（稱為步長）。與金屬的退火過程（Annealing）非常相似2024/4/25115模擬退火組合優(yōu)化法基本思想隨機地為系統(tǒng)選擇一個初始狀態(tài){wij(p)}，在此初始狀態(tài)下，給系統(tǒng)一個小的隨機擾動Δwij(p)，計算系統(tǒng)的能量變化ΔE=E({wij(p)+Δwij(p)})-E({wij(p)})

若ΔE<0則接受若ΔE≥0則依據(jù)概率判斷是否被接受若接受，則系統(tǒng)從狀態(tài){wij(p)}變換到狀態(tài){wij(p)+Δwij(p)}；否則，系統(tǒng)保持不變

2024/4/25116模擬退火組合優(yōu)化法在這個過程中，逐漸地降低溫度T。所得的系統(tǒng)狀態(tài)序列{wij(p)}將滿足下列分布

2024/4/25117算法6-2模擬退火算法

1初始化個層的聯(lián)接權矩陣W；定義人工溫度T的初值；2

對每一個溫度T重復如下過程：

2.1

取一樣本，計算其輸出與目標函數(shù)E({wij(p)})；

2.2

隨機地從{wij(p)}中選取一個wij(p)；

2.3

按一定的算法產生wij(p)

的一個調整量Δwij(p)

；

2.4

按照{wij(p)+Δwij(p)}重新計算相應輸出和目標函數(shù)E({wij(p)+Δwij(p)})；

2.5

ΔE=E({wij(p)+Δwij(p)})-E({wij(p)})；2024/4/25118算法6-2模擬退火算法

2.6

ifΔE>0then 2.6.1按均勻分布在[0,1]區(qū)間取一隨機數(shù)r；

2.6.2按Boltzmann分布計算接受本次調整的概率：

P(E({wij(p)+Δwij(p)}))= 2.6.3ifP(E({wij(p)+Δwij(p)}))<rthen轉2.2；2024/4/25119算法6-2模擬退火算法

2.7用{wij(p)+Δwij(p)}代替{wij(p)}；

2.8if樣本集中還有未被選用的樣本then轉2.1；3判斷在此溫度下，檢驗Metropolis抽樣是否穩(wěn)定。如不穩(wěn)定，則直接轉2；4降低溫度T；5如果T足夠小，則結束，否則，轉2。

2024/4/25120算法6-2模擬退火算法算法的第2步原則上應該對每一個樣本調整每一個權，調整的順序是隨機的；溫度T的降低T=λT

λ叫做冷卻率，一般情況下可以在[0.8，0.9]之間取值

Geman(1984年)：溫度下降必須與時間的對數(shù)成反比，網(wǎng)絡最終才能收斂到全局極小點

2024/4/25121算法6-2模擬退火算法T的初值T0

T0=

E({w(h)})；即：取初始系統(tǒng)目標函數(shù)（能量）的值

T0=z

E({w(h)})。即：取初始系統(tǒng)目標函數(shù)（能量）值的若干倍

按照經(jīng)驗給出

2024/4/25122算法6-2模擬退火算法調整量Δwij(p)的計算

可以根據(jù)Boltzmann分布或者Gaussian分布來計算。也可以用其它的方法。下面討論按Gaussian分布進行計算的方法。我們取如下形式的Gaussian分布函數(shù)。簡潔起見，用符號w代替符號wij(p)：

p(Δw)=

2024/4/25123MonteCarlo法

數(shù)值積分法

根據(jù)網(wǎng)絡的精度要求，設一個積分步長δ，然后通過數(shù)值積分構造出如下形式的表格

Δwδ2δ3δ4δ…NδC1C2C3C4…CN2024/4/25124MonteCarlo法首先按照均勻分布在[C1，CN]中隨機地取一個值C，然后，從

{C1，C2，C3，…，CN}中選取Ck滿足：|Ck-C|=min{|C-C1|,|C-C2|,|C-C3|,…,|C-CN|}Ck對應的kδ就是所需要的聯(lián)接權調整量Δw

2024/4/251256.3Cauchy訓練

Boltzmann分布Boltzmann訓練

1987年，S.Szu和R.Hartley提出用Cauchy分布去取代Gaussian分布Cauchy分布p(x)=2024/4/251266.3Cauchy訓練——優(yōu)點對于[C1，CN]中的任意一個C，它按照Cauchy分布所能取到的聯(lián)接權的調整量要大于按照Boltzmann分布所能取到的聯(lián)接權的調整量

用Cauchy分布取代Boltzmann分布后，溫度可以下降得更快。這時，溫度的下降變得與時間成反比：T0/(1+t)Cauchy分布函數(shù)可以用常規(guī)的方法進行積分運算

2024/4/25127Cauchy分布函數(shù)積分運算

2024/4/25128Cauchy分布函數(shù)積分運算MonteCarlo法：在(0,1)中按照均勻分布隨機取一數(shù)為P(Δw)，再取當前的溫度，就可以直接地計算出Δw

Cauchy訓練算法：將算法6-2中的Boltzmann分布換成Cauchy分布

Δw=αTtg(P(Δw))2024/4/251296.4相關的幾個問題

Boltzmann機

每個神經(jīng)元可以有一個特殊的閾值，用來限制神經(jīng)元所獲得的激活值

神經(jīng)元的狀態(tài)概率發(fā)生變化。oj=1的概率為2024/4/25130Boltzmann機Boltzmann機的目標函數(shù)（能量函數(shù)）

“一致性函數(shù)”2024/4/25131人工熱問題

特殊熱——溫度關于能量的變化率系統(tǒng)在能量躍變邊界處的溫度叫做臨界溫度人工特殊熱/“偽特殊熱”

系統(tǒng)的人工溫度關于系統(tǒng)的能量函數(shù)（目標函數(shù)）的平均變化率

臨界溫度臨界溫度時的小量下降，會引起能量函數(shù)值的較大變化

系統(tǒng)正處于一個局部極小點附近

臨界溫度點可以通過考察所定義的人工特殊熱的變化情況得到

2024/4/25132BP算法與Cauchy訓練的結合

Cauchy訓練的速度比Boltzmann訓練快

Cauchy訓練的速度比BP算法慢Cauchy訓練有可能使網(wǎng)絡逃離局部極小點由BP算法提供直接計算部分，Cauchy算法提供隨機部分wij=wij+?wij?wij=α((1-β)δjoi+β?wij′)+(1-α)?wij(c)α∈(0,1)為學習率,β∈(0,1)為沖量系數(shù)

2024/4/25133網(wǎng)絡陷入癱瘓

執(zhí)行對網(wǎng)絡聯(lián)接權的壓縮

如，如果將聯(lián)接權壓縮在（-a，a）以內，P.D.Wasserman曾給出如下建議公式

2024/4/25134第2次課堂測試（5分*4）什么叫線性不可分問題？我們是如何克服它的?BP算法是如何解決隱藏層的聯(lián)接權的調整的，試進行適當?shù)姆治觥⑹鰧骶W(wǎng)中Kohonen層聯(lián)接權的初始化方法。為什么需要花費如此大的力氣進行Kohonen層聯(lián)接權的初始化工作？2024/4/25135練習P1、52024/4/25136上次課內容回顧非確定算法的基本思想訓練工作基本統(tǒng)計訓練算法算法偽隨機數(shù)：初值與調整量循環(huán)控制2024/4/25137上次課內容回顧模擬退火算法基本思想能量和溫度相關高溫中溫低溫步長與能量相關自適應步長根據(jù)能量計算步長MonteCarlo方法2024/4/25138上次課內容回顧Cauchy訓練人工熱問題BP算法與Cauchy訓練的結合網(wǎng)絡陷入癱瘓2024/4/25139第7章

循環(huán)網(wǎng)絡主要內容Hopfield網(wǎng)絡實現(xiàn)的自相聯(lián)存儲穩(wěn)定性分析統(tǒng)計Hopfield網(wǎng)與Boltzmann機基本雙聯(lián)存儲器(BAM)的結構與訓練幾種相聯(lián)存儲網(wǎng)絡用Hopfield網(wǎng)解決TSP問題。2024/4/25140第7章

循環(huán)網(wǎng)絡重點Hopfield網(wǎng)絡實現(xiàn)的自相聯(lián)存儲基本雙聯(lián)存儲器的結構與訓練。難點穩(wěn)定性分析用Hopfield網(wǎng)解決TSP問題

2024/4/25141第7章

循環(huán)網(wǎng)絡7.1循環(huán)網(wǎng)絡的組織

7.2穩(wěn)定性分析

7.3統(tǒng)計Hopfield網(wǎng)與Boltzmann機

7.4雙聯(lián)存儲器的結構

7.5異相聯(lián)存儲

7.6其它的雙聯(lián)存儲器

7.7Hopfield網(wǎng)用于解決TSP問題

2024/4/25142第7章

循環(huán)網(wǎng)絡

循環(huán)網(wǎng)絡稱為Hopfield網(wǎng)

循環(huán)網(wǎng)絡對輸入信號的處理是一個逐漸“修復”、“加強”的過程。強烈變化較弱的變化不變化2024/4/251437.1循環(huán)網(wǎng)絡的組織網(wǎng)絡結構

X1Xno1om………………2024/4/251447.1循環(huán)網(wǎng)絡的組織聯(lián)接：神經(jīng)元之間都是互聯(lián)的wij，每個神經(jīng)元都沒有到自身的聯(lián)接wii=0。神經(jīng)元個數(shù)h，輸入向量維數(shù)n，輸出向量維數(shù)m。h≥n，h≥m，n≥1，m≥1。神經(jīng)元：輸入、輸出、隱藏狀態(tài)變化：非同步、同步輸入向量：X=(x1，x2，…，xn)

輸出向量：O=(o1，o2，…，om)

2024/4/251457.1循環(huán)網(wǎng)絡的組織神經(jīng)元的網(wǎng)絡輸入：

閾值函數(shù)：oj=1 ifnetj>θj0 ifnetj<θj

oj ifnetj=θj2024/4/25146最基本的Hopfield網(wǎng)

o1ono2x2x1xnW……n=m=h 2024/4/25147最基本的Hopfield網(wǎng)希望網(wǎng)絡的聯(lián)接矩陣存放的是一組這樣的樣本，在聯(lián)想過程中實現(xiàn)對信息的“修復”和“加強”，要求：它的輸入向量和輸出向量是相同的向量，即，X=Y

樣本集：S={X1，X2，…，Xs}

2024/4/25148最基本的Hopfield網(wǎng)

wii=0 1≤i≤nW是一個對角線元素為0的對稱矩陣：

W=X1T╳X1+X2T╳X2+…+XsT╳Xs-W0W是各個樣本向量自身的外積的和——網(wǎng)絡實現(xiàn)的是自相聯(lián)映射。

權矩陣：wij=i≠j2024/4/25149最基本的Hopfield網(wǎng)激活函數(shù)： 改為S形函數(shù)后，系統(tǒng)就成為一個連續(xù)系統(tǒng)

多級循環(huán)網(wǎng)絡 除輸出向量被反饋到輸入層外，其它各層之間的信號傳送均執(zhí)行如下規(guī)定：第i-1層神經(jīng)元的輸出經(jīng)過第i個連接矩陣被送入第i層。 一般不考慮越層的信號傳送、中間的信號反饋和同層的神經(jīng)元之間進行信號的直接傳送

2024/4/251507.2穩(wěn)定性分析網(wǎng)絡的穩(wěn)定性是與收斂性不同的問題

Cohen和Grossberg[1983年]:Hopfield網(wǎng)絡的穩(wěn)定性定理

如果Hopfield網(wǎng)絡的聯(lián)接權矩陣是對角線為0的對稱矩陣，則它是穩(wěn)定的

用著名的Lyapunov函數(shù)作為Hopfield網(wǎng)絡的能量函數(shù)

2024/4/25151Lyapunov函數(shù)——能量函數(shù)作為網(wǎng)絡的穩(wěn)定性度量wijoioj：網(wǎng)絡的一致性測度。xjoj：神經(jīng)元的輸入和輸出的一致性測度。θjoj：神經(jīng)元自身的穩(wěn)定性的測度。

2024/4/25152當ANk的狀態(tài)從ok變成ok′

1、ANk是輸入神經(jīng)元

2024/4/25153當ANk的狀態(tài)從ok變成ok′wkk=02024/4/25154ΔΕ=-(netk-θk)ΔokANk狀態(tài)的變化：Δok=(ok′-ok)Δok=0，ΔΕ=0Δok>0，ok′=1&ok=0，ok由0變到1，netk>θk，netk-θk>0所以，-(netk-θk)Δok<0故ΔΕ<0結論：網(wǎng)絡的目標函數(shù)總是下降Δok<0,ok′=0&ok=1，ok由1變到0netk<θk，netk-θk<0-(netk-θk)Δok<0故ΔΕ<02024/4/25155當ANk的狀態(tài)從ok變成ok′2、ANk不是輸入神經(jīng)元

2024/4/25156當ANk的狀態(tài)從ok變成ok′無論ANk的狀態(tài)是如何變化的，總有ΔΕ≤0

2024/4/251577.3統(tǒng)計Hopfield網(wǎng)與Boltzmann機統(tǒng)計Hopfield網(wǎng)

在網(wǎng)絡運行中，神經(jīng)元狀態(tài)與“人工溫度”確定的概率相關網(wǎng)絡運行模擬金屬退火過程pi：ANi的狀態(tài)取1的概率neti：ANi所獲網(wǎng)絡輸入；θi：ANi的閾值；T：系統(tǒng)的人工溫度。

2024/4/25158算法7-1統(tǒng)計Hopfield網(wǎng)運行算法

1

取一個很大的值作為人工溫度T的初值；

2

對網(wǎng)絡中每一個神經(jīng)元ANi，

2.1

按照相應式子計算相應的概率pi；

2.2

按照均勻分布，在[0，1]中取一個隨機數(shù)r；

2.3

如果

pi>r則使ANi的狀態(tài)為1， 否則使ANi的狀態(tài)為0；3逐漸降低溫度T，如果溫度足夠低，則算法結束。否則，重復2

2024/4/25159Boltzmann機的訓練

Boltzmann機是多級循環(huán)網(wǎng)絡，是Hopfield網(wǎng)的一種擴展。神經(jīng)元ANi實際輸出狀態(tài)oi=1的概率為：

T趨近于0時，神經(jīng)元的狀態(tài)不再具有隨機性，Boltzmann機退化成一般Hopfield網(wǎng)。2024/4/25160Boltzmann機的訓練神經(jīng)元ANi在運行中狀態(tài)發(fā)生了變化

Boltzmann機的能量函數(shù)(一致性函數(shù))2024/4/25161Boltzmann機的訓練如果ΔΕi>0，則應該選ANi輸出為1，否則，應該選ANi輸出為0。ΔΕi的值越大，神經(jīng)元ANi應該處于狀態(tài)1的概率就應該越大。反之，ΔΕi的值越小，神經(jīng)元ANi應該處于狀態(tài)1的概率就應該越小。從而，oi=1的概率為：

2024/4/25162Boltzmann機的訓練處于狀態(tài)a，b的概率Pa和Pb，對應于oi=1和oi=0，其它的神經(jīng)元在a，b狀態(tài)下不變

Pa=γpi

Pb=γ（1-pi）

2024/4/25163Boltzmann機的訓練網(wǎng)絡進行足夠多次迭代后，處于某狀態(tài)的概率與此狀態(tài)下的能量和此時系統(tǒng)的溫度有關。由于高溫時網(wǎng)絡的各個狀態(tài)出現(xiàn)的概率基本相同，這就給它逃離局部極小點提供了機會。當系統(tǒng)的溫度較低時，如果Ea<Eb，則Pa>Pb：網(wǎng)絡處于較低能量狀態(tài)的概率較大

2024/4/25164Boltzmann機的訓練1986年，Hinton和Sejnowski訓練方法自由概率Pij-：沒有輸入時ANi和ANj同時處于激發(fā)狀態(tài)的概率。約束概率Pij+：加上輸入后ANi和ANj同時處于激發(fā)狀態(tài)的概率。聯(lián)接權修改量：Δwij=α(Pij+-Pij-)

2024/4/25165算法7-2Boltzmann機訓練算法

1

計算約束概率

1.1對樣本集中每個樣本，執(zhí)行如下操作：

1.1.1將樣本加在網(wǎng)絡上（輸入向量及其對應的輸出向量）；

1.1.2讓網(wǎng)絡尋找平衡；

1.1.3記錄下所有神經(jīng)元的狀態(tài)；

1.2計算對所有的樣本，ANi和ANj的狀態(tài)同時為1的概率Pij+；2024/4/25166算法7-2Boltzmann機訓練算法

2

計算自由概率

2.1從一個隨機狀態(tài)開始，不加輸入、輸出，讓網(wǎng)絡自由運行，并且在運行過程中多次紀錄網(wǎng)絡的狀態(tài)；

2.2對所有的ANi和ANj，計算它們的狀態(tài)同時為1的概率Pij-；

3

對權矩陣進行調整Δwij=α(Pij+-Pij-)2024/4/251677.4雙聯(lián)存儲器的結構智力鏈從一件事想到另一件事，“喚回失去的記憶”。自相聯(lián)異相聯(lián)雙聯(lián)存儲器（BidirectionalAssociativeMemory—BAM）。雙聯(lián)存儲器具有一定的推廣能力它對含有一定缺陷的輸入向量，通過對信號的不斷變換、修補，最后給出一個正確的輸出。

2024/4/25168基本的雙聯(lián)存儲器結構

W第1層輸入向量第2層輸出向量WTx1xnymy1……………2024/4/25169網(wǎng)絡運行

Y=F(XW)X=F(YWT)X=(x1，x2，…，xn)Y=(y1，y2，…，ym)F為神經(jīng)元的激活函數(shù)，一般可采用S形函數(shù)

2024/4/25170激活函數(shù)——閾值函數(shù)隨著λ的增加，該函數(shù)趨近于閾值為0的閾值函數(shù)。

1 ifneti>0yi= 0 ifneti<0 yi ifneti=0

λ2>λ1λ1λ21/22024/4/25171基本BAM的穩(wěn)定Kosko(1987)：基本的雙聯(lián)存儲器無條件穩(wěn)定——聯(lián)接權矩陣是互為轉置矩陣。當輸入向量的維數(shù)與輸出向量的維數(shù)相同時，W為方陣，此時如果聯(lián)接矩陣W是對稱的，則基本的雙聯(lián)存儲器退化成一個Hopfield網(wǎng)

2024/4/251727.5異相聯(lián)存儲

樣本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)}權矩陣網(wǎng)絡需要對輸入向量進行循環(huán)處理的情況當輸入向量中含有“噪音”樣本集所含的信息超出網(wǎng)絡的容量

2024/4/25173容量

Kosko（1987），一般情況下，相聯(lián)存儲器的容量不會超過網(wǎng)絡最小層神經(jīng)元的個數(shù)min

Haines和Hecht-Nielson（1988），“非均勻”網(wǎng)絡的容量最多可以達到2min

R.J.McEliece、E.C.Posner、E.R.Rodemich用戶隨機地選擇L個狀態(tài)每個向量中有4+log2min個分量為1，其它為-198%的向量成為穩(wěn)定狀態(tài)

2024/4/251747.6其它的雙聯(lián)存儲器

具有競爭的雙聯(lián)存儲器

可通過附加側聯(lián)接實現(xiàn)競爭。這些權構成另一個主對角線元素為正值，其它元素為負值的權矩陣。Cohen-Grossberg定理指出，如果權矩陣是對稱的，則網(wǎng)絡是穩(wěn)定。即使權矩陣不對稱，網(wǎng)絡通常也是穩(wěn)定的。但是目前還不知道哪一類權矩陣會引起不穩(wěn)定

2024/4/251757.6其它的雙聯(lián)存儲器

連續(xù)的雙聯(lián)存儲器

Kosko（1987）證明，神經(jīng)元的狀態(tài)非同步變換，而且這些神經(jīng)元使用其他激勵函數(shù)，仍然是穩(wěn)定的，且有更強的表達能力

自適應雙聯(lián)存儲器

最簡單的方法是使用Hebb學習律進行訓練。Δwij=αoioj

2024/4/251767.7Hopfield網(wǎng)解決TSP問題1985年，J.J.Hopfield和D.W.Tank用循環(huán)網(wǎng)求解TSP。試驗表明，當城市的個數(shù)不超過30時，多可以給出最優(yōu)解的近似解。而當城市的個數(shù)超過30時，最終的結果就不太理想了

n個城市間存在n!/(2n)條可能路徑設問題中含有n個城市,用n*n個神經(jīng)元構成網(wǎng)絡

2024/4/251777.7Hopfield網(wǎng)解決TSP問題dxy——城市X與城市Y之間的距離；yxi——城市X的第i個神經(jīng)元的狀態(tài)：

1 城市X在第i個被訪問

yxi= 0 城市X不在第i個被訪問wxi,yj——城市X的第i個神經(jīng)元到城市Y的第j個神經(jīng)元的連接權。

2024/4/251787.7Hopfield網(wǎng)用于解決T