人工神經(jīng)網(wǎng)絡講稿ch4

第4章BP網(wǎng)絡

主要內(nèi)容：BP網(wǎng)絡的構(gòu)成隱藏層權(quán)的調(diào)整分析Delta規(guī)則理論推導算法的收斂速度及其改進討論BP網(wǎng)絡中的幾個重要問題

重點：BP算法難點：Delta規(guī)則的理論推導

1/13/20231精品ppt4.1概述

1、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂3、優(yōu)點：廣泛的適應性和有效性。1/13/20232精品ppt4.2基本BP算法

4.2.1網(wǎng)絡的構(gòu)成

神經(jīng)元的網(wǎng)絡輸入： neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：1/13/20233精品ppt輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導的1/13/20234精品ppt網(wǎng)絡的拓撲結(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)1/13/20235精品ppt網(wǎng)絡的拓撲結(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡精度和表達能力BP網(wǎng)一般都選用二級網(wǎng)絡1/13/20236精品ppt網(wǎng)絡的拓撲結(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV1/13/20237精品ppt4.2.2訓練過程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡；（2）計算相應的實際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))1/13/20238精品ppt4.2.2訓練過程概述

2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡關(guān)于第p個樣本的誤差測度：（4）網(wǎng)絡關(guān)于整個樣本集的誤差測度：1/13/20239精品ppt4.2.3誤差傳播分析

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq1/13/202310精品ppt2、隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……1/13/202311精品ppt2、隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有關(guān)不妨認為δpk-1通過權(quán)wp1對δ1k做出貢獻，通過權(quán)wp2對δ2k做出貢獻，……通過權(quán)wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)1/13/202312精品ppt2、隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……1/13/202313精品ppt4.2.4基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復這個循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

1/13/202314精品ppt算法4-1

基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

1/13/202315精品ppt算法4-1

基本BP算法4.2對S中的每一個樣本（Xp,Yp）： 4.2.1計算出Xp對應的實際輸出Op； 4.2.2計算出Ep； 4.2.3E=E+Ep； 4.2.4根據(jù)相應式子調(diào)整W(L)； 4.2.5k=L-1； 4.2.6whilek≠0do 4.2.6.1根據(jù)相應式子調(diào)整W(k)； 4.2.6.2k=k-1

4.3E=E/2.0

1/13/202316精品ppt4.3算法的改進

1、BP網(wǎng)絡接受樣本的順序?qū)τ柧毥Y(jié)果有較大影響。它更“偏愛”較后出現(xiàn)的樣本2、給集中的樣本安排一個適當?shù)捻樞?，是非常困難的。3、樣本順序影響結(jié)果的原因：“分別”、“依次”4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

1/13/202317精品ppt算法4-2消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：?w(k)ij=0；

1/13/202318精品ppt4.3對S中的每一個樣本（Xp,Yp）： 4.3.1計算出Xp對應的實際輸出Op； 4.3.2計算出Ep； 4.3.3E=E+Ep； 4.3.4對所有i，j根據(jù)相應式子計算?pw(L)ij； 4.3.5對所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij； 4.3.6k=L-1； 4.3.7whilek≠0do 4.3.7.1對所有i,j根據(jù)相應式子計算?pw(k)ij； 4.3.7.2對所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij； 4.3.7.3k=k-1

4.4對所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

1/13/202319精品ppt算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題

收斂速度：比較慢偏移量：給每一個神經(jīng)元增加一個偏移量來加快收斂速度沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動問題

1/13/202320精品ppt算法4-2分析——沖量設置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次的修改量，β在0和1之間取值

1/13/202321精品ppt4.4算法的實現(xiàn)

主要數(shù)據(jù)結(jié)構(gòu)W[H，m]——輸出層的權(quán)矩陣；V[n，H]——輸入（隱藏）層的權(quán)矩陣；?o[m]——輸出層各聯(lián)接權(quán)的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。

1/13/202322精品ppt算法的主要實現(xiàn)步驟

用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)ε；學習率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執(zhí)行如下操作

1/13/202323精品ppt4.2對每一個樣本(X,Y)，執(zhí)行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權(quán)修改量fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；1/13/202324精品ppt4.2對每一個樣本(X，Y)，執(zhí)行的操作4.2.4計算隱藏層的權(quán)修改量：fori=1toH 4.2.4.1Z=0； 4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]； 4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權(quán)矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權(quán)矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；1/13/202325精品ppt建議

隱藏層的神經(jīng)元的個數(shù)H作為一個輸入?yún)?shù)同時將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測網(wǎng)絡是否陷入了局部極小點

1/13/202326精品ppt4.5算法的理論基礎(chǔ)基本假設網(wǎng)絡含有L層聯(lián)接矩陣：W(1)

，W(2)

，…，W(L)第k層的神經(jīng)元：Hk個自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

誤差測度: 1/13/202327精品ppt用E代表EP，用（X，Y）代表（XP，YP） X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應的實際輸出為 O=（o1，o2，…，om）誤差測度1/13/202328精品ppt誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度1/13/202329精品ppt最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij1/13/202330精品ppt而其中的

所以，

最速下降法，要求E的極小點1/13/202331精品ppt令所以Δwij=αδjoiα為學習率最速下降法，要求E的極小點1/13/202332精品pptANj為輸出層神經(jīng)元

oj=f(netj)

容易得到

從而

1/13/202333精品pptANj為輸出層神經(jīng)元1/13/202334精品ppt所以，故，當ANj為輸出層的神經(jīng)元時，它對應的聯(lián)接權(quán)wij應該按照下列公式進行調(diào)整：ANj為輸出層神經(jīng)元1/13/202335精品pptANj為隱藏層神經(jīng)元

函數(shù)1/13/202336精品pptANj為隱藏層神經(jīng)元net