BP神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介生物神經(jīng)元模型神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元（神經(jīng)細(xì)胞），它是辦理人體內(nèi)各部分之間互相信息傳達(dá)的基本單元。據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表示，人的大腦一般有10101011個(gè)神經(jīng)元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其余神經(jīng)元的軸突和一些向外伸出的其余較短分支——樹突構(gòu)成。軸突的功能是將本神經(jīng)元的輸出信號(hào)（愉悅）傳達(dá)給其余神經(jīng)元。其尾端的好多神經(jīng)末梢使得愉悅能夠同時(shí)送給多個(gè)神經(jīng)元。樹突的功能是接受來自其余神經(jīng)元的愉悅。神經(jīng)元細(xì)胞體將接遇到的全部信號(hào)進(jìn)行簡(jiǎn)單地辦理后由軸突輸出。神經(jīng)元的樹突與別的的神經(jīng)元的神經(jīng)末梢相連的部分稱為突觸。人工神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)是由好多互相連接的辦理單元構(gòu)成。這些辦理單元平時(shí)線性擺列成組，稱為層。每一個(gè)辦理單元有好多輸入量，而對(duì)每一個(gè)輸入量都相應(yīng)有一個(gè)相關(guān)聯(lián)的權(quán)重。辦理單元將輸入量經(jīng)過加權(quán)乞降，并經(jīng)過傳達(dá)函數(shù)的作用獲取輸出量，再傳給下一層的神經(jīng)元。當(dāng)古人們提出的神經(jīng)元模型已有好多，此中提出最早且影響最大的是1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts在解析總結(jié)神經(jīng)元基本特征的基礎(chǔ)上第一提出的M-P模型，它是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。nYj

(t)

f(

wji

xi

j)

（）i1式中,j為神經(jīng)元單元的偏置（閾值），wji為連接權(quán)系數(shù)（對(duì)于激發(fā)狀態(tài)，wji取正當(dāng)，對(duì)于克制狀態(tài)，wji取負(fù)值），n為輸入信號(hào)數(shù)目，Yj為神經(jīng)元輸出，t為時(shí)間，f( )為輸出變換函數(shù)，有時(shí)叫做激發(fā)或激勵(lì)函數(shù)，常常采納

0和

1二值函數(shù)或Ｓ形函數(shù)。人工神經(jīng)網(wǎng)絡(luò)的基本特征人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成；這類由好多神經(jīng)元構(gòu)成的信息辦理網(wǎng)絡(luò)擁有并行分布構(gòu)造。每個(gè)神經(jīng)元擁有單一輸出，并且能夠與其余神經(jīng)元連接；存在好多（多重）輸出連接方法，每種連接方法對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種擁有以下特征的有向圖：（１）對(duì)于每個(gè)節(jié)點(diǎn)存在一個(gè)狀態(tài)變量xi；（２）從節(jié)點(diǎn)i至節(jié)點(diǎn)j，存在一個(gè)連接權(quán)系數(shù)wji；（３）對(duì)于每個(gè)節(jié)點(diǎn)，存在一個(gè)閾值j；（４）對(duì)于每個(gè)節(jié)點(diǎn)，定義一個(gè)變換函數(shù)fj(xi,wji,j),ij,對(duì)于最一般的狀況，此函數(shù)取fj(wjixij)形式。i人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)主要經(jīng)過兩種學(xué)習(xí)算法進(jìn)行訓(xùn)練，即指導(dǎo)式（有師）學(xué)習(xí)算法和非指導(dǎo)式（無師）學(xué)習(xí)算法。其余，還存在第三種學(xué)習(xí)算法，即增強(qiáng)學(xué)習(xí)算法；可把它看做有師學(xué)習(xí)的一種特例。（１）有師學(xué)習(xí)有師學(xué)習(xí)算法能夠依據(jù)希望的和實(shí)質(zhì)的網(wǎng)絡(luò)輸出(對(duì)應(yīng)于給定輸入)間的差來調(diào)整神經(jīng)元間連接的強(qiáng)度或權(quán)。所以，有師學(xué)習(xí)需要有個(gè)老師或?qū)焷砉┙o希望或目標(biāo)輸出信號(hào)。有師學(xué)習(xí)算法的例子包含規(guī)則、廣義規(guī)則或反向流傳算法以及LVQ算法等。（２）無師學(xué)習(xí)無師學(xué)習(xí)算法不需要知道希望輸出。在訓(xùn)練過程中，只需向神經(jīng)網(wǎng)絡(luò)供給輸入模式，神經(jīng)網(wǎng)絡(luò)便能夠自動(dòng)地適應(yīng)連接權(quán)，以便按相似特色把輸入模式分組齊集。無師學(xué)習(xí)算法的例子包含Kohonen算法和Carpenter-Grossberg自適應(yīng)共振理論（ART）等。（３）增強(qiáng)學(xué)習(xí)如前所述，增強(qiáng)學(xué)習(xí)是有師學(xué)習(xí)的特例。它不需要老師給出目標(biāo)輸出。增強(qiáng)學(xué)習(xí)算法采納一個(gè)“議論員”來議論與給定輸入相對(duì)應(yīng)的神。2BP神經(jīng)網(wǎng)絡(luò)原理基本BP算法公式推導(dǎo)基本BP算法包含兩個(gè)方面：信號(hào)的前向流傳和偏差的反向流傳。即計(jì)算實(shí)質(zhì)輸出時(shí)按從輸入到輸出的方向進(jìn)行，而權(quán)值和閾值的修正從輸出到輸入的方向進(jìn)行。1a1x1o1???輸輸iak出入xjok變變wijwki?量量?aL?qoLxM輸入層隱含層輸出層圖2-1BP網(wǎng)絡(luò)構(gòu)造StructureofBPnetwork圖中：表示輸入層第個(gè)節(jié)點(diǎn)的輸入，j=1,,M；表示隱含層第i個(gè)節(jié)點(diǎn)到輸入層第j個(gè)節(jié)點(diǎn)之間的權(quán)值；表示隱含層第i個(gè)節(jié)點(diǎn)的閾值；表示隱含層的激勵(lì)函數(shù)；表示輸出層第個(gè)節(jié)點(diǎn)到隱含層第i個(gè)節(jié)點(diǎn)之間的權(quán)值，i=1,,q；表示輸出層第k個(gè)節(jié)點(diǎn)的閾值,k=1,,L；表示輸出層的激勵(lì)函數(shù)；表示輸出層第個(gè)節(jié)點(diǎn)的輸出。1）信號(hào)的前向流傳過程隱含層第i個(gè)節(jié)點(diǎn)的輸入neti：（3-1）隱含層第i個(gè)節(jié)點(diǎn)的輸出yi：（3-2）輸出層第k個(gè)節(jié)點(diǎn)的輸入netk：（3-3）輸出層第k個(gè)節(jié)點(diǎn)的輸出ok：（3-4）（2）偏差的反向流傳過程偏差的反向流傳，即第一由輸出層開始逐層計(jì)算各層神經(jīng)元的輸出偏差，而后依據(jù)偏差梯度降落法來調(diào)理各層的權(quán)值和閾值，使更正后的網(wǎng)絡(luò)的最后輸出能湊近希望值。對(duì)于每一個(gè)樣本p的二次型偏差準(zhǔn)則函數(shù)為Ep：（3-5）系統(tǒng)對(duì)P個(gè)訓(xùn)練樣本的總偏差準(zhǔn)則函數(shù)為：（3-6）依據(jù)偏差梯度降落法挨次修正輸出層權(quán)值的修正量wki，輸出層閾值的修正量ak，隱含層權(quán)值的修正量wij，隱含層閾值的修正量。；；；（3-7）輸出層權(quán)值調(diào)整公式：（3-8）輸出層閾值調(diào)整公式：（3-9）隱含層權(quán)值調(diào)整公式：（3-10）隱含層閾值調(diào)整公式：（3-11）又因?yàn)椋海?-12），，，（3-13）（3-14）（3-15）（3-16）所以最后獲取以下公式：（3-17）（3-18）（3-19）（3-20）開始批量輸入學(xué)習(xí)樣本并且對(duì)輸入和輸出量進(jìn)行歸一化辦理參數(shù)初始化：最大訓(xùn)練次數(shù)，學(xué)習(xí)精度，隱節(jié)點(diǎn)數(shù)，初始權(quán)值、閾值，初始學(xué)習(xí)速率等計(jì)算各層的輸入和輸出值Yes計(jì)算輸出層偏差E(q)YesE(q)<εN修正權(quán)值和閾值結(jié)束圖2-2BP算法程序流程圖TheflowchartoftheBPalgorithmprogram基本BP算法的缺點(diǎn)BP算法因其簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)等長(zhǎng)處，當(dāng)前是神經(jīng)網(wǎng)絡(luò)訓(xùn)練采納最多也是最成熟的訓(xùn)練算法之一。其算法的實(shí)質(zhì)是求解偏差函數(shù)的最小值問題，因?yàn)樗杉{非線性規(guī)劃中的最速降落方法，按偏差函數(shù)的負(fù)梯度方向更正權(quán)值，因此平時(shí)存在以下問題：1）學(xué)習(xí)效率低，收斂速度慢2）易墮入局部極小狀態(tài)BP算法的改進(jìn)附帶動(dòng)量法附帶動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不但考慮偏差在梯度上的作用，并且考慮在偏差曲面上變化趨向的影響。在沒有附帶動(dòng)量的作用下，網(wǎng)絡(luò)可能墮入淺的局部極小值，利用附帶動(dòng)量的作用有可能滑過這些極小值。該方法是在反向流傳法的基礎(chǔ)上在每一個(gè)權(quán)值（或閾值）的變化上加上一項(xiàng)正比于上次權(quán)值（或閾值）變化量的值，并依據(jù)反向流傳法來產(chǎn)生新的權(quán)值（或閾值）變化。帶有附帶動(dòng)量因子的權(quán)值和閾值調(diào)理公式為：wij(k1)(1mc)ipjmcwij(k)bi(k1)(1mc)imcbi(k)此中k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，一般取左右。附帶動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值（或閾值）變化的影響，經(jīng)過一個(gè)動(dòng)量因子來傳達(dá)。當(dāng)動(dòng)量因子取值為零時(shí)，權(quán)值（或閾值）的變化僅是依據(jù)梯度降落法產(chǎn)生；當(dāng)動(dòng)量因子取值為1時(shí)，新的權(quán)值（或閾值）變化則是設(shè)置為最后一次權(quán)值（或閾值）的變化，而依梯度法產(chǎn)生的變化部分則被忽視掉了。以此方式，當(dāng)增添了動(dòng)量項(xiàng)后，促使權(quán)值的調(diào)理向著偏差曲面底部的均勻方向變化，

當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入偏差曲面底部的平展區(qū)時(shí)，

i將變得很小，于是

wij

(k

1)

wij

(k)

,

從而防范了

wij

0的出現(xiàn)，有助于使網(wǎng)絡(luò)從偏差曲面的局部極小值中跳出。依據(jù)附帶動(dòng)量法的設(shè)計(jì)原則，當(dāng)修正的權(quán)值在偏差中以致太大的增添結(jié)果時(shí)，新的權(quán)值應(yīng)被撤消而不被采納，并使動(dòng)量作用停止下來，以使網(wǎng)絡(luò)不進(jìn)入較大偏差曲面；當(dāng)新的偏差變化率對(duì)其舊值超出一個(gè)早先設(shè)定的最大偏差變化率時(shí)，也得撤消所計(jì)算的權(quán)值變化。其最大偏差變化率能夠是任何大于或等于1的值。典型的取值取。所以，在進(jìn)行附帶動(dòng)量法的訓(xùn)練程序設(shè)計(jì)時(shí)，一定加進(jìn)條件判斷以正確使用其權(quán)值修正公式。訓(xùn)練程序設(shè)計(jì)中采納動(dòng)量法的判斷條件為：0E(k)E(k1)*1.04mc0.95E(k)E(k1)，E（k）為第k步偏差平方和。mc其余自適應(yīng)學(xué)習(xí)速率對(duì)于一個(gè)特定的問題，要選擇適合的學(xué)習(xí)速率不是一件簡(jiǎn)單的事情。平時(shí)是憑經(jīng)驗(yàn)或?qū)嶒?yàn)獲取，但即便這樣，對(duì)訓(xùn)練開始早期功能較好的學(xué)習(xí)速率，不見得對(duì)以后的訓(xùn)練適合。為認(rèn)識(shí)決這個(gè)問題，人們自然想到在訓(xùn)練過程中，自動(dòng)調(diào)理學(xué)習(xí)速率。平時(shí)調(diào)理學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值是否真切降低了偏差函數(shù)，假如的確這樣，則說明所選學(xué)習(xí)速率小了，能夠適合增添一個(gè)量；若不是這樣，而產(chǎn)生了過調(diào)，那幺就應(yīng)當(dāng)減少學(xué)習(xí)速率的值。下式給出了一個(gè)自適應(yīng)學(xué)習(xí)速率的調(diào)整公式：1.05(k)E(k1)E(k)(k1)0.7(k)E(k1)1.04E(k)，E（k）為第k步偏差平方和。(k)其余初始學(xué)習(xí)速率(0)的采納范圍能夠有很大的隨意性。動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法當(dāng)采納前述的動(dòng)量法時(shí)，BP算法能夠找到全局最優(yōu)解，而當(dāng)采納自適應(yīng)學(xué)習(xí)速率時(shí)，BP算法能夠縮短訓(xùn)練時(shí)間，采納這兩種方法也能夠用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該方法稱為動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法。網(wǎng)絡(luò)的設(shè)計(jì)網(wǎng)絡(luò)的層數(shù)理論上已證明：擁有偏差和最少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠迫近任何有理數(shù)。增添層數(shù)能夠更進(jìn)一步的降低偏差，提升精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增添了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。而偏差精度的提升實(shí)質(zhì)上也能夠經(jīng)過增添神經(jīng)元數(shù)目來獲取，其訓(xùn)練成效也比增加層數(shù)更簡(jiǎn)單觀察和調(diào)整。所以一般狀況下，應(yīng)優(yōu)先考慮增添隱含層中的神經(jīng)元數(shù)。隱含層的神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提升，能夠經(jīng)過采納一個(gè)隱含層，而增添神經(jīng)元數(shù)了的方法來獲取。這在構(gòu)造實(shí)現(xiàn)上，要比增添隱含層數(shù)要簡(jiǎn)單得多。那么究竟采納多少隱含層節(jié)點(diǎn)才適合？這在理論上并無一個(gè)明確的規(guī)定。在具體設(shè)計(jì)時(shí)，比較實(shí)質(zhì)的做法是經(jīng)過對(duì)不一樣神經(jīng)元數(shù)進(jìn)行訓(xùn)練比較，而后適當(dāng)?shù)丶由弦稽c(diǎn)余量。初始權(quán)值的采納因?yàn)橄到y(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)能否達(dá)到局部最小、能否能夠收斂及訓(xùn)練時(shí)間的長(zhǎng)短關(guān)系很大。假如初始值太大，使得加權(quán)后的輸入和n落在了S型激活函數(shù)的飽和區(qū)，從而以致其導(dǎo)數(shù)f’(n)特別小，而在計(jì)算權(quán)值修正公式中，因?yàn)閒'(n)，當(dāng)f’(n)0時(shí)，則有0。這使得wij0，從而使得調(diào)理過程幾乎逗留下來。所以一般老是希望經(jīng)過初始加權(quán)后的每個(gè)神經(jīng)元的輸出值都湊近于零，這樣能夠保證每個(gè)神經(jīng)元的權(quán)值都能夠在它們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)理。所以，一般取初始權(quán)值在（-1，1）之間的隨機(jī)數(shù)。學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能以致系統(tǒng)的不穩(wěn)固；但小的學(xué)習(xí)速率以致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，但是能保證網(wǎng)絡(luò)的偏差值不跳出偏差表面的低谷而最后趨于最小偏差值。所以在一般狀況下，偏向于采納較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)固性。學(xué)習(xí)速率的采納范圍在之間。BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用現(xiàn)給出一藥品商店一年中間12個(gè)月的藥品銷售量（單位：箱）以下：訓(xùn)練一個(gè)BP網(wǎng)絡(luò)，用當(dāng)前的全部數(shù)據(jù)展望下一個(gè)月的藥品銷售量。有兩種方法實(shí)現(xiàn)，一種是編寫matlab程序，一種是使用nntool工具箱。matlab程序?qū)崿F(xiàn)我們用前三個(gè)月的銷售量展望下一個(gè)月的銷售量，也就是用

1-3

月的銷售量展望第

4個(gè)月的銷售量，用

2-4

個(gè)月的銷售量展望第

5個(gè)月的銷售量，這樣循環(huán)下去，直到用

9-11

月展望

12月份的銷售量。這樣訓(xùn)練

BP神經(jīng)網(wǎng)絡(luò)后，便能夠用10-12月的數(shù)據(jù)展望來年一月的銷售量。實(shí)現(xiàn)程序以下：p=[205623952600;239526002298;260022981634;229816341600;pmax=max(p);pmax1=max(pmax);pmin=min(p);pmin1=min(pmin);fori=1:9%歸一化辦理p1(i,:)=(p(i,:)-pmin1)/(pmax1-pmin1);endt1=(t-pmin1)/(pmax1-pmin1);t1=t1';net=newff([01;01;01],[71],{'tansig'fori=1:9

,'logsig'

},'traingd'

);',t1(i));endy1=y*(pmax1-pmin1)+pmin1;假如神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)使用trainlm，則仿真步驟會(huì)極少，但需要較大的系統(tǒng)內(nèi)存。經(jīng)展望，來年一月的銷售量（y1）為+003箱（每次運(yùn)轉(zhuǎn)后的結(jié)果可能不一樣）。nntool神經(jīng)網(wǎng)絡(luò)工具箱的使用在matlab（）命令窗口鍵入nntool命令打開神經(jīng)網(wǎng)絡(luò)工具箱。如圖：點(diǎn)擊Import按鈕兩次，分別把輸入向量和目標(biāo)輸出加入到對(duì)應(yīng)的窗口[Inputs]和[Targets]）中，有兩種可供選擇的加入對(duì)象（點(diǎn)擊Import后能夠看見），一種是把當(dāng)前工作區(qū)中的某個(gè)矩陣加入，另一種是經(jīng)過.mat文件讀入。點(diǎn)擊[NewNetwork]按鈕，填入各參數(shù)：（以最常用的帶一個(gè)隱層的3層神經(jīng)網(wǎng)絡(luò)為例說明，下邊沒有列出的參數(shù)表示使用默認(rèn)值便能夠了，比方NetworkType為默認(rèn)的BP神經(jīng)網(wǎng)絡(luò)）；i)InputRange——這個(gè)經(jīng)過點(diǎn)擊GetFromInput下拉框選擇你加入的輸入向量即可自動(dòng)達(dá)成，自然也能夠自己手動(dòng)增添。TrainingFunction——最好使用TRAINSCG，即共軛梯度法，其好處是當(dāng)訓(xùn)練不收斂時(shí)，它會(huì)自動(dòng)停止訓(xùn)練，并且耗時(shí)較其余算法（TRAINLM，TRAINGD）少，也就是收斂很快（假如收斂的話），并且TrainParameters輸入不多，也不用太多的技巧調(diào)整，一般指定迭代次數(shù)、結(jié)果顯示頻率和目標(biāo)偏差便能夠了（詳見下文）。Layer1NumberofNeurons——隱層的神經(jīng)元個(gè)數(shù)，這是需要經(jīng)驗(yàn)慢慢試試并調(diào)整的，大體上由輸入向量的維數(shù)、樣本的數(shù)目和輸出層（Layer2）的神經(jīng)元個(gè)數(shù)決定。一般來說，神經(jīng)元越多，輸出的數(shù)值與目標(biāo)值越湊近，但所花費(fèi)的訓(xùn)練時(shí)間也越長(zhǎng)，反之，神經(jīng)元越少，輸出值與目標(biāo)值相差越大，但訓(xùn)練時(shí)間會(huì)相應(yīng)地減少，這是因?yàn)樯窠?jīng)元越多其算法越復(fù)雜造成的，所以需要自己慢慢試試，找到一個(gè)適合的中間點(diǎn)。比方輸入是3行5000列的0-9的隨機(jī)整數(shù)矩陣，在一開始選擇1000個(gè)神經(jīng)元，固然精度比較高，但是花銷的訓(xùn)練時(shí)間較長(zhǎng)，而且這樣神經(jīng)網(wǎng)絡(luò)的構(gòu)造與算法都特別復(fù)雜，不簡(jiǎn)單在實(shí)質(zhì)應(yīng)用中實(shí)現(xiàn)，試試改為100個(gè)，再調(diào)整為50個(gè)，假如發(fā)此刻50個(gè)以下時(shí)精度較差，則可最后定為50個(gè)神經(jīng)元，等等。iv)Layer1TransferFunction——一般用TANSIG（自然也能夠LOGSIG），即表示隱層輸出是[-1,1]之間的實(shí)數(shù)，與LOGSIG對(duì)比范圍更大。Layer2NumberofNeurons——輸出層的神經(jīng)元個(gè)數(shù)，需要與輸出的矩陣行數(shù)對(duì)應(yīng)，比方設(shè)置為3，等等。Layer2TransferFunction——假如是模式識(shí)其余兩