BP神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用

1、BP神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用1人工神經(jīng)網(wǎng)絡(luò)簡介1.1生物神經(jīng)元模型神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元（神經(jīng)細(xì)胞），它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表明，人的大腦一般有10101011個神經(jīng)元。每個神經(jīng)元都由一個細(xì)胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹突組成。軸突的功能是將本神經(jīng)元的輸出信號（興奮）傳遞給別的神經(jīng)元。其末端的許多神經(jīng)末梢使得興奮可以同時送給多個神經(jīng)元.樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接受到的所有信號進行簡單地處理后由軸突輸出。神經(jīng)元的樹突與另外的神經(jīng)元的神經(jīng)末梢相連的部分稱為突觸。tinWI+0檔佯IRk詐紳ji

2、X/i；d1。2人工神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)是由許多相互連接的處理單元組成.這些處理單元通常線性排列成組，稱為層。每一個處理單元有許多輸入量，而對每一個輸入量都相應(yīng)有一個相關(guān)聯(lián)的權(quán)重。處理單元將輸入量經(jīng)過加權(quán)求和，并通過傳遞函數(shù)的作用得到輸出量,再傳給下一層的神經(jīng)元目前人們提出的神經(jīng)元模型已有很多，其中提出最早且影響最大的是1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts在分析總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出的M-P模型，它是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。Y(t)=f(wx-0)(1。1)jjiji=1式(1.1)中，j為神經(jīng)元單元的偏置(閾值)，w為連接權(quán)系數(shù)(對于激發(fā)狀態(tài),w九ji取正值，對

3、于抑制狀態(tài),w取負(fù)值)，n為輸入信號數(shù)目,Y為神經(jīng)元輸出，t為時jij間，f()為輸出變換函數(shù)，有時叫做激發(fā)或激勵函數(shù)往往采用0和1二值函數(shù)或S形函數(shù).1。3人工神經(jīng)網(wǎng)絡(luò)的基本特性人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成;這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)每個神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接;存在許多(多重)輸出連接方法，每種連接方法對應(yīng)一個連接權(quán)系數(shù)。嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：(1) 對于每個節(jié)點存在一個狀態(tài)變量xi;(2) 從節(jié)點i至節(jié)點j,存在一個連接權(quán)系數(shù)wji；(3) 對于每個節(jié)點，存在一個閾值j；(4)對于每個節(jié)點，定義一個變換函數(shù)f(x,w

4、,0),i豐j，對于最一般的情況，jijij此函數(shù)取fawx-0)形式。jjiiji1。4人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)主要通過兩種學(xué)習(xí)算法進行訓(xùn)練，即指導(dǎo)式(有師)學(xué)習(xí)算法和非指導(dǎo)式(無師)學(xué)習(xí)算法。此外，還存在第三種學(xué)習(xí)算法，即強化學(xué)習(xí)算法；可把它看做有師學(xué)習(xí)的一種特例。(1) 有師學(xué)習(xí)有師學(xué)習(xí)算法能夠根據(jù)期望的和實際的網(wǎng)絡(luò)輸出(對應(yīng)于給定輸入)間的差來調(diào)整神經(jīng)元間連接的強度或權(quán)。因此，有師學(xué)習(xí)需要有個老師或?qū)焷硖峁┢谕蚰繕?biāo)輸出信號。有師學(xué)習(xí)算法的例子包括規(guī)則、廣義規(guī)則或反向傳播算法以及LVQ算法等。(2) 無師學(xué)習(xí)無師學(xué)習(xí)算法不需要知道期望輸出.在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸

5、入模式,神經(jīng)網(wǎng)絡(luò)就能夠自動地適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集。無師學(xué)習(xí)算法的例子包括Kohonen算法和Carpenter-Grossberg自適應(yīng)共振理論(ART)等。(3) 強化學(xué)習(xí)如前所述，強化學(xué)習(xí)是有師學(xué)習(xí)的特例它不需要老師給出目標(biāo)輸出。強化學(xué)習(xí)算法采用一個“評論員”來評價與給定輸入相對應(yīng)的神。2BP神經(jīng)網(wǎng)絡(luò)原理2。1基本BP算法公式推導(dǎo)基本BP算法包括兩個方面：信號的前向傳播和誤差的反向傳播。即計算實際輸出時按從輸入到輸出的方向進行，而權(quán)值和閾值的修正從輸出到輸入的方向進行。1輸出變量圖21BP網(wǎng)絡(luò)結(jié)構(gòu)Fig.2-1StructureofBPnetwork圖中：xj表示輸

6、入層第j個節(jié)點的輸入，j=l,，M；舄表示隱含層第i個節(jié)點到輸入層第j個節(jié)點之間的權(quán)值;i表示隱含層第i個節(jié)點的閾值；(x)表示隱含層的激勵函數(shù)；wki表示輸出層第k個節(jié)點到隱含層第i個節(jié)點之間的權(quán)值,i=l,，q;ak表示輸出層第k個節(jié)點的閾值,k=l,.,L;屮(x)表示輸出層的激勵函數(shù)；ok表示輸出層第k個節(jié)點的輸出。(1)信號的前向傳播過程隱含層第i個節(jié)點的輸入neti：net=Xwx+0iijjij=1隱含層第i個節(jié)點的輸出yi:y=e(net)=e(Xwx+0)iiijji31)3-2)輸出層第k個節(jié)點的輸入net：net=Xwy+akkiii=1輸出層第k個節(jié)點的輸出ok：o=屮

7、(net)=屮(工wkkkii=1=Xwe(Xwx+0)+akkiijjiki=1j=13-3)te(藝kiJ=1j=1wx+0)+aijjik丿3-4)j=1(36)Awki,輸出層閾值的修正量Aak，隱含層權(quán)值的修正量Aw”，隱含層閾值的修正量A9i。AwdEkiBwAaBEBakik；Aw=BEijBwij;A0=BEB03-7)(2)誤差的反向傳播過程誤差的反向傳播，即首先由輸出層開始逐層計算各層神經(jīng)元的輸出誤差，然后根據(jù)誤差梯度下降法來調(diào)節(jié)各層的權(quán)值和閾值，使修改后的網(wǎng)絡(luò)的最終輸出能接近期望值。對于每一個樣本p的二次型誤差準(zhǔn)則函數(shù)為Ep：E=-Xl(T-o)2p2kk系統(tǒng)對P個訓(xùn)練樣

8、本的總誤差準(zhǔn)則函數(shù)為：E=(Tpop)22kkp=1k=1根據(jù)誤差梯度下降法依次修正輸出層權(quán)值的修正量輸出層權(quán)值調(diào)整公式:AwBEBEBnetBEBoBnetkiBwBnetBwBoBnetBwkikiki3-8)輸出層閾值調(diào)整公式：AaBEBaBEBnetBEBoBnetBnetBa-krBoBnetBa3-9)隱含層權(quán)值調(diào)整公式：dEAwnjdwij-ndnetidEdnetidwijdEdydnetndydnetdwiiij隱含層閾值調(diào)整公式：dEAe-nd0idEdnet-ndnetdeiidEdydnet=-ndydnetd0i又因為：dEdok(Tpop)kkp1k1dnetkdw

9、kidnetkdakdnet1i-Xdwj，ij，dnet二1d0i所以最后得到以下公式：dyi另另p)屮(net)wkkkkp1k1g(net)dnetidok屮(net)dnetkkAw=耳昱另(Tp一op)屮(net)kikp1k1Aakn為另(Tpop)屮(net)kkkp1k1Awn昱另(Tp-op)屮(net)w爐(net)xjkkkkjp1k1Aen為另(Tp-op)屮(net)wg(net)kkkkp1k1(310)311)312)(3-13)314)315)(3-16)317)(3-18)(3-19)(3-20)圖22BP算法程序流程圖Fig。2-2Theflowcharto

10、ftheBPalgorithmprogram2。2基本BP算法的缺陷BP算法因其簡單、易行、計算量小、并行性強等優(yōu)點，目前是神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多也是最成熟的訓(xùn)練算法之一.其算法的實質(zhì)是求解誤差函數(shù)的最小值問題，由于它采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)值，因而通常存在以下問題：（1）學(xué)習(xí)效率低，收斂速度慢（2）易陷入局部極小狀態(tài)2。3BP算法的改進2。3.1附加動量法附加動量法使網(wǎng)絡(luò)在修正其權(quán)值時,不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響。在沒有附加動量的作用下,網(wǎng)絡(luò)可能陷入淺的局部極小值，利用附加動量的作用有可能滑過這些極小值。該方法是在反向傳播

11、法的基礎(chǔ)上在每一個權(quán)值(或閾值)的變化上加上一項正比于前次權(quán)值(或閾值)變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值(或閾值)變化。帶有附加動量因子的權(quán)值和閾值調(diào)節(jié)公式為:Aw(k+1)=(1一me)6p+mcAw(k)ijijijAb(k+1)=(1一me川6+meAb(k)iii其中k為訓(xùn)練次數(shù)，me為動量因子，一般取0。95左右.附加動量法的實質(zhì)是將最后一次權(quán)值(或閾值)變化的影響,通過一個動量因子來傳遞。當(dāng)動量因子取值為零時，權(quán)值(或閾值)的變化僅是根據(jù)梯度下降法產(chǎn)生;當(dāng)動量因子取值為1時,新的權(quán)值(或閾值)變化則是設(shè)置為最后一次權(quán)值(或閾值)的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了

12、.以此方式，當(dāng)增加了動量項后,促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進入誤差曲面底部的平坦區(qū)時，6將變得i很小，于是Aw(k+1)二Aw(k)，從而防止了Aw二0的出現(xiàn)，有助于使網(wǎng)絡(luò)ijijij從誤差曲面的局部極小值中跳出。根據(jù)附加動量法的設(shè)計原則,當(dāng)修正的權(quán)值在誤差中導(dǎo)致太大的增長結(jié)果時，新的權(quán)值應(yīng)被取消而不被采用，并使動量作用停止下來,以使網(wǎng)絡(luò)不進入較大誤差曲面；當(dāng)新的誤差變化率對其舊值超過一個事先設(shè)定的最大誤差變化率時，也得取消所計算的權(quán)值變化。其最大誤差變化率可以是任何大于或等于1的值。典型的取值取1。04。所以，在進行附加動量法的訓(xùn)練程序設(shè)計時，必須加進條件判斷以正

13、確使用其權(quán)值修正公式。訓(xùn)練程序設(shè)計中采用動量法的判斷條件為：0E(k)E(k一1)*1.04me=(0.95E(k)E(k一1)，E(k)為第k步誤差平方和。me其它2。3。2自適應(yīng)學(xué)習(xí)速率對于一個特定的問題，要選擇適當(dāng)?shù)膶W(xué)習(xí)速率不是一件容易的事情。通常是憑經(jīng)驗或?qū)嶒灚@取,但即使這樣，對訓(xùn)練開始初期功效較好的學(xué)習(xí)速率，不見得對后來的訓(xùn)練合適。為了解決這個問題，人們自然想到在訓(xùn)練過程中，自動調(diào)節(jié)學(xué)習(xí)速率.通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選學(xué)習(xí)速率小了，可以適當(dāng)增加一個量;若不是這樣,而產(chǎn)生了過調(diào),那幺就應(yīng)該減少學(xué)習(xí)速率的值。下式給出了一個自適應(yīng)學(xué)習(xí)

14、速率的調(diào)整公式：工05耳(k)E(k+1)1.04E(k),E(k)為第k步誤差平方和。n(k)其它初始學(xué)習(xí)速率n(0)的選取范圍可以有很大的隨意性2.3。3動量自適應(yīng)學(xué)習(xí)速率調(diào)整算法當(dāng)采用前述的動量法時,BP算法可以找到全局最優(yōu)解，而當(dāng)采用自適應(yīng)學(xué)習(xí)速率時，bp算法可以縮短訓(xùn)練時間，采用這兩種方法也可以用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該方法稱為動量自適應(yīng)學(xué)習(xí)速率調(diào)整算法2.4網(wǎng)絡(luò)的設(shè)計2.4。1網(wǎng)絡(luò)的層數(shù)理論上已證明：具有偏差和至少一個s型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理數(shù)增加層數(shù)可以更進一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。而誤差精度的提高實際上也

15、可以通過增加神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整。所以一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。2.4.2隱含層的神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加神經(jīng)元數(shù)了的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加隱含層數(shù)要簡單得多。那么究竟選取多少隱含層節(jié)點才合適?這在理論上并沒有一個明確的規(guī)定。在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c余量。2.4。3初始權(quán)值的選取由于系統(tǒng)是非線性的，初始值對于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂及訓(xùn)練時間的長短關(guān)系很大如果初始值太大，使得加權(quán)后的輸入和n落在了S型激活函數(shù)的飽和區(qū)，從而導(dǎo)致

16、其導(dǎo)數(shù)f(n)非常小，而在計算權(quán)值修正公式中，因為f(n)，當(dāng)f(n)t0時，則有0。這使得AwT0，從而使得調(diào)節(jié)過程幾乎停頓下來。所以一般總是希望經(jīng)過初ij始加權(quán)后的每個神經(jīng)元的輸出值都接近于零，這樣可以保證每個神經(jīng)元的權(quán)值都能夠在它們的S型激活函數(shù)變化最大之處進行調(diào)節(jié)所以,一般取初始權(quán)值在（1，1）之間的隨機數(shù)。2.4.4學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值.所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率

17、的選取范圍在0.01-0。8之間.3BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用現(xiàn)給出一藥品商店一年當(dāng)中12個月的藥品銷售量（單位：箱）如下：205623952600229816341600187314871900150020461556訓(xùn)練一個BP網(wǎng)絡(luò)，用當(dāng)前的所有數(shù)據(jù)預(yù)測下一個月的藥品銷售量。有兩種方法實現(xiàn)，一種是編寫matlab程序,一種是使用nntool工具箱。3.1matlab程序?qū)崿F(xiàn)我們用前三個月的銷售量預(yù)測下一個月的銷售量，也就是用1-3月的銷售量預(yù)測第4個月的銷售量，用24個月的銷售量預(yù)測第5個月的銷售量，如此循環(huán)下去，直到用9-11月預(yù)測12月份的銷售量。這樣訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)后，就可以用10-12月的

18、數(shù)據(jù)預(yù)測來年一月的銷售量。實現(xiàn)程序如下：p=205623952600;239526002298；260022981634；229816341600;163416001873;160018731478；187314781900;147819001500;190015002046;t=229816341600187314871900150020461556;pmax=max(p)；pmax1=max(pmax)；pmin=min(p)；pmin1=min(pmin);fori=1:9%歸一化處理p1(i,:)=(p(i,:)-pmin1)/(pmax1pmin1);endt1=(t-pminl)/

19、(pmaxl-pminl)；t1=t1；net=newff(01；01；01,71,tansig,logsig,traingd);fori=1：9net.trainParam.epochs=15000；net。trainParam.goal=0。01；LPolr=0。1;net=train(net,p1(i,：),t1(i)；endy=sim(net,150020461556);y1=y*(pmax1pmin1)+pmin1；如果神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)使用trainlm,則仿真步驟會很少，但需要較大的系統(tǒng)內(nèi)存。經(jīng)預(yù)測，來年一月的銷售量(y1)為1。4848e+003箱(每次運行后的結(jié)果可能不同)。

20、3.2nntool神經(jīng)網(wǎng)絡(luò)工具箱的使用1)在matlab(7.4)命令窗口鍵入nntool命令打開神經(jīng)網(wǎng)絡(luò)工具箱。如圖:2)點擊Import按鈕兩次，分別把輸入向量和目標(biāo)輸出加入到對應(yīng)的窗口(Inputs和Targets)中,有兩種可供選擇的加入對象(點擊Import后可以看見)，一種是把當(dāng)前工作區(qū)中的某個矩陣加入，另一種是通過。mat文件讀入。UStiiE.atifrXklFariAIriDT1Jia(ijSTstwarkC._)LnfUtHbt4i)TifgitIii.tALnitialInputSt-ates()Initiid.LyarSt-atAEOutpatIiat.”、ErrnrD

21、!&CLoieEtixrccijImportfratNATLKEvorkEf-acvOLoiifroridi三kfLit3）點擊NewNetwork按鈕，填入各參數(shù)：（以最常用的帶一個隱層的3層神經(jīng)網(wǎng)絡(luò)為例說明，下面沒有列出的參數(shù)表示使用默認(rèn)值就可以了，例如NetworkType為默認(rèn)的BP神經(jīng)網(wǎng)絡(luò)）；i）InputRange一-這個通過點擊GetFromInput下拉框選擇你加入的輸入向量便可自動完成，當(dāng)然也可以自己手動添加。ii）TrainingFunction一-最好使用TRAINSCG,即共軛梯度法，其好處是當(dāng)訓(xùn)練不收斂時，它會自動停止訓(xùn)練，而且耗時較其他算法（TRAINLM，TRAI

22、NGD）少，也就是收斂很快（如果收斂的話），而且TrainParameters輸入不多，也不用太多的技巧調(diào)整，一般指定迭代次數(shù)、結(jié)果顯示頻率和目標(biāo)誤差就可以了（詳見下文）。一iii）Layer1NumberofNeurons隱層的神經(jīng)元個數(shù)，這是需要經(jīng)驗慢慢嘗試并調(diào)整的，大致上由輸入向量的維數(shù)、樣本的數(shù)量和輸出層（Layer2）的神經(jīng)元個數(shù)決定。一般來說，神經(jīng)元越多，輸出的數(shù)值與目標(biāo)值越接近，但所花費的訓(xùn)練時間也越長，反之，神經(jīng)元越少，輸出值與目標(biāo)值相差越大，但訓(xùn)練時間會相應(yīng)地減少，這是由于神經(jīng)元越多其算法越復(fù)雜造成的，所以需要自己慢慢嘗試，找到一個合適的中間點。比如輸入是3行5000列的09的隨機整數(shù)矩陣，在一開始選擇1000個神經(jīng)元，雖然精度比較高，但是花費的訓(xùn)練時間較長而且這樣神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與算法都非常復(fù)雜，不容易在實際應(yīng)用中實現(xiàn)，嘗試改為100個，再調(diào)整為50個，如果發(fā)現(xiàn)在50個以下時精度較差,則可最后定為50個神經(jīng)iv）Layer1TransferFunction-一般用TANSIG（當(dāng)然也可以LOGSIG），即表示隱層輸出是-1,1之間的實數(shù)，與LOGSIG相比范圍更大。v）Layer2Numbe