《反向傳播神經(jīng)網(wǎng)絡(luò)》ppt課件

1、第06講 反向傳播網(wǎng)絡(luò) 反向傳播網(wǎng)絡(luò)(BackPropagation Network，簡(jiǎn)稱BP網(wǎng)絡(luò))是將WH學(xué)習(xí)規(guī)那么普通化，對(duì)非線性可微分函數(shù)進(jìn)展權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)是一種多層前向反響神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)，因此輸出量為0到1之間的延續(xù)量，它可以實(shí)現(xiàn)從輸入到輸出的恣意的非線性映射。由于其權(quán)值的調(diào)整采用反向傳播Backpropagation的學(xué)習(xí)算法，因此被稱為BP網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)主要用于：1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近個(gè)函數(shù)；2)方式識(shí)別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)絡(luò)起來(lái)；3)分類：把輸入矢量以所定義的適宜方式進(jìn)展分類； 4)數(shù)據(jù)

2、緊縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。 61 BP網(wǎng)絡(luò)模型與構(gòu)造 一個(gè)具有r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型構(gòu)造 感知器和自順應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的。 BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已引見(jiàn)過(guò)的模型有不同外，其主要差別也表如今激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必需是處處可微的，所以它就不能采用二值型的閥值函數(shù)0，1或符號(hào)函數(shù)1，1，BP網(wǎng)絡(luò)經(jīng)常運(yùn)用的是S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)。 圖6. 2 BP網(wǎng)絡(luò)S型激活函數(shù) 由于S型函數(shù)具有非線性放大系數(shù)功能，它可以把輸入從負(fù)無(wú)窮大到正無(wú)窮大的信號(hào)，變換成-1到l之間輸出，對(duì)較大的輸入信號(hào)

3、，放大系數(shù)較??；而對(duì)較小的輸入信號(hào)，放大系數(shù)那么較大，所以采用S型激活函數(shù)可以去處置和逼近非線性的輸入/輸出關(guān)系。 只需當(dāng)希望對(duì)網(wǎng)絡(luò)的輸出進(jìn)展限制，如限制在0和1之間，那么在輸出層該當(dāng)包含S型激活函數(shù)，在普通情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)。BP網(wǎng)絡(luò)的特點(diǎn)：1、輸入和輸出是并行的模擬量；2、網(wǎng)絡(luò)的輸入輸出關(guān)系是各層銜接的權(quán)因子決議，沒(méi)有固定的算法；3、權(quán)因子是經(jīng)過(guò)學(xué)習(xí)信號(hào)調(diào)理的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；4、隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響62 BP學(xué)習(xí)規(guī)那么 BP算法屬于算法，是一種監(jiān)視式的學(xué)習(xí)算法。 其主要思想為：對(duì)于

4、q個(gè)輸入學(xué)習(xí)樣本：P1，P2，Pq，知與其對(duì)應(yīng)的輸出樣本為：T1，T2，Tq。學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實(shí)踐輸出A1，A2，Aq，與目的矢量T1，T2，Tq，之間的誤差來(lái)修正其權(quán)值，使Al，(ll，2，q)與期望的Tl盡能夠地接近；即：使網(wǎng)絡(luò)輸出層的誤差平方和到達(dá)最小。 BP算法是由兩部分組成：信息的正向傳送與誤差的反向傳播。在正向傳播過(guò)程中，輸入信息從輸入經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的形狀只影響下一層神經(jīng)元的形狀。假設(shè)在輸出層沒(méi)有得到期望的輸出，那么計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，經(jīng)過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的銜接通路反傳回來(lái)修正各層神經(jīng)元的權(quán)值直至到達(dá)期望目的。 圖63 具有一

5、個(gè)隱含層的簡(jiǎn)化網(wǎng)絡(luò)圖 設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為F2，輸出為A，目的矢量為T(mén)。 621信息的正向傳送1)隱含層中第i個(gè)神經(jīng)元的輸出為： 2)輸出層第k個(gè)神經(jīng)元的輸出為： 3)定義誤差函數(shù)為： (6.1)6.2 6.3 622利用梯度下降法求權(quán)值變化及誤差的反向傳播 (1)輸出層的權(quán)值變化對(duì)從第i個(gè)輸入到第k個(gè)輸出的權(quán)值有：其中： 同理可得： 6.4 6.56.6 6.7 (2)隱含層權(quán)值變化 對(duì)從第j個(gè)輸入到第i個(gè)輸出的權(quán)值，有： 其中： 同理可得： 6.8 6.9 6.10 經(jīng)過(guò)MATLAB的實(shí)現(xiàn)過(guò)程：1)對(duì)

6、于(61)式所表示的隱含層輸出，假設(shè)采用對(duì)數(shù)S型激活函數(shù)，那么用函數(shù)logsig.m；假設(shè)采用雙曲正切S型激活函數(shù)，那么用函數(shù)tansig.m；2)對(duì)于(62)式所表示的輸出層輸出，假設(shè)采用線性激活函數(shù)有purelin.m與之對(duì)應(yīng)；3)對(duì)于(63)式所表示的誤差函數(shù)，可用函數(shù)sumsqr.m求之；4)有l(wèi)earnbp.m函數(shù)專門(mén)求(64)、(67)、(68)和(610)式所表示的輸出層以及隱含層中權(quán)值與偏向的變化量； 5)由(6.5)和(6.9)式所表示的誤差的變化有函數(shù)deltalin.m、deltatan.m、deltalog.m來(lái)處理。它們分別用于線性層、雙曲正切層和對(duì)數(shù)層。 623 誤

7、差反向傳播的流程圖與圖形解釋 誤差反向傳播過(guò)程實(shí)踐上是經(jīng)過(guò)計(jì)算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)f2相乘來(lái)求得ki。由于隱含層中沒(méi)有直接給出目的矢量，所以利用輸出層的ki反向傳送來(lái)求出隱含層權(quán)值的變化量w2ki。然后計(jì)算并同樣經(jīng)過(guò)將ei與該層激活函數(shù)的一階導(dǎo)數(shù)f1相乘，而求得ij，以此求出前層權(quán)值的變化量w1ij。假設(shè)前面還有隱含層，沿用上述同樣方法依此類推，不斷將輸出誤差ek一層一層的反推算到第一層為止。 圖64 誤差反向傳播法的圖形解釋 6.3 BP網(wǎng)絡(luò)的訓(xùn)練過(guò)程 為了訓(xùn)練一個(gè)BP網(wǎng)絡(luò)，需求計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求得誤差平方和。當(dāng)所訓(xùn)練矢量的誤差

8、平方和小于誤差目的，訓(xùn)練那么停頓，否那么在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)那么來(lái)調(diào)整權(quán)值，并反復(fù)此過(guò)程。當(dāng)網(wǎng)絡(luò)完成訓(xùn)練后，對(duì)網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果。 為了可以較好地掌握BP網(wǎng)絡(luò)的訓(xùn)練過(guò)程，我們用兩層網(wǎng)絡(luò)為例來(lái)表達(dá)BP網(wǎng)絡(luò)的訓(xùn)練步驟。 1)用小的隨機(jī)數(shù)對(duì)每一層的權(quán)值W和偏向B初始化，以保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和；并進(jìn)展以下參數(shù)的設(shè)定或初始化： a)期望誤差最小值error_goal； b)最大循環(huán)次數(shù)max_epoch； c)修正權(quán)值的學(xué)習(xí)速率1r，普通情況下k00l07； d)從1開(kāi)場(chǎng)的循環(huán)訓(xùn)練：for epoch1：max_epoch；2)計(jì)

9、算網(wǎng)絡(luò)各層輸出矢量A1和A2以及網(wǎng)絡(luò)誤差E：A1tansig(W1*P，B1)；A2purelin(W2*A1，B2)；ET-A；3)計(jì)算各層反傳的誤差變化D2和D1并計(jì)算各層權(quán)值的修正值以及新權(quán)值：D2deltalin(A2，E)；D1deltatan(A1，D2，W2)；dlWl，dBllearnbp(P，D1，lr)；dW2，dB21earnbp(A1，D2，1r)；W1W1十dW1；B1B1十dBl；W2W2十dW2；B2B2十dB2；4)再次計(jì)算權(quán)值修正后誤差平方和：SSEsumsqr(T-purelin(W2*tansig(W1*P，B1)，B2)；5)檢查SSE能否小于err_g

10、oal，假設(shè)是，訓(xùn)練終了；否那么繼續(xù)。以上一切的學(xué)習(xí)規(guī)那么與訓(xùn)練的全過(guò)程，依然可以用函數(shù)trainbp.m來(lái)完成。它的運(yùn)用同樣只需求定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目的誤差，以及學(xué)習(xí)速率，而調(diào)用后前往訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差： TPdisp_freq max_epoch err_goal 1r；W，B，epochs，errorstrainbp(W，B，F(xiàn)，P，T，TP)； 例61用于函數(shù)逼近的BP網(wǎng)絡(luò)的設(shè)計(jì)。P=-1:0.1:1；T=-0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.3

11、93 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201;比較trainbpx和trainbp的速度差別。exc4.m泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)可以合理地呼應(yīng)被訓(xùn)練以外的輸入。 要留意的是，泛化性能只對(duì)被訓(xùn)練的輸入輸出對(duì)最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差。 64 BP網(wǎng)絡(luò)的設(shè)計(jì) 641網(wǎng)絡(luò)的層數(shù)實(shí)際上曾經(jīng)證明：具有偏向和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，可以逼近任何有理函數(shù)。 添加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同

12、時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而添加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。 普通情況下，應(yīng)優(yōu)先思索添加隱含層中的神經(jīng)元數(shù)。 能不能僅器具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)處理問(wèn)題呢？結(jié)論是：沒(méi)有必要或效果不好。 642 隱含層的神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以經(jīng)過(guò)采用一個(gè)隱含層，而添加其神經(jīng)元數(shù)的方法來(lái)獲得。這在構(gòu)造實(shí)現(xiàn)上，要比添加更多的隱含層要簡(jiǎn)單得多。 在詳細(xì)設(shè)計(jì)時(shí)，比較實(shí)踐的做法是經(jīng)過(guò)對(duì)不同神經(jīng)元數(shù)進(jìn)展訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。 643初始權(quán)值的選取普通取初始權(quán)值在(1，1)之間的隨機(jī)數(shù)。威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)展訓(xùn)練后，提出一種選定初始權(quán)值的戰(zhàn)略。在MATLAB工具箱中可采用函數(shù)nwlog

13、.m或nwtan.m來(lái)初始化隱含層權(quán)值W1和B1。其方法僅需求運(yùn)用在第一隱含層的初始值的選取上，后面層的初始值依然采用隨機(jī)取數(shù)。 644 學(xué)習(xí)速率學(xué)習(xí)速率決議每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率能夠?qū)е孪到y(tǒng)的不穩(wěn)定。小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，能夠收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差外表的低谷而最終趨于最小誤差值。所以在普通情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在00108之間。 645 期望誤差的選取在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也該當(dāng)經(jīng)過(guò)對(duì)比訓(xùn)練后確定一個(gè)適宜的值。這個(gè)所謂的“適宜，是相對(duì)于所需求的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定，由于較小的期

14、望誤差值是要靠添加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來(lái)獲得的。普通情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)展訓(xùn)練，最后經(jīng)過(guò)綜合要素的思索來(lái)確定采用其中一個(gè)網(wǎng)絡(luò)。 65 限制與缺乏 (1)需求較長(zhǎng)的訓(xùn)練時(shí)間 (2)完全不能訓(xùn)練 通常為了防止這種景象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又添加了訓(xùn)練時(shí)間。 (3)部分極小值 BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很能夠是一個(gè)部分極小解。 66 反向傳播法的改良方法 主要目的是為了加快訓(xùn)練速度，防止墮入部分極小值。661 附加動(dòng)量法 附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅思索誤差在梯

15、度上的作用，而且思索在誤差曲面上變化趨勢(shì)的影響，其作用好像一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。 利用附加動(dòng)量的作用那么有能夠滑過(guò)部分極小值。 該方法是在反向傳播法的根底上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化。帶有附加動(dòng)量因子的權(quán)值調(diào)理公式為： 其中k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，普通取095左右。 附加動(dòng)量法的本質(zhì)是將最后一次權(quán)值變化的影響，經(jīng)過(guò)一個(gè)動(dòng)量因子來(lái)傳送。當(dāng)動(dòng)量因子取值為零時(shí)，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動(dòng)量因子取值為1時(shí)，新的權(quán)值變化那么是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分那么被忽略掉了。 在

16、MATLAB工具箱中，帶有動(dòng)量因子的權(quán)值修正法是用函數(shù)learnbpm.m來(lái)實(shí)現(xiàn)的。 trainbpm.m可以訓(xùn)練一層直至三層的帶有附加動(dòng)量因子的反向傳播網(wǎng)絡(luò)。 下面是對(duì)單層網(wǎng)絡(luò)運(yùn)用函數(shù)trainbpm.m的情形：W，B，epochs，errorstrainbpm(W，B，F(xiàn)，P，T，TP)； 662 誤差函數(shù)的改良 包穆(Baum)等人于1988年提出一種誤差函數(shù)為： 不會(huì)產(chǎn)生不能完全訓(xùn)練的麻木景象。 663 自順應(yīng)學(xué)習(xí)速率 通常調(diào)理學(xué)習(xí)速率的準(zhǔn)那么是：檢查權(quán)值的修正值能否真正降低了誤差函數(shù)，假設(shè)確實(shí)如此，那么闡明所選取的學(xué)習(xí)速率值小了，可以對(duì)其添加一個(gè)量；假設(shè)不是這樣，而產(chǎn)生了過(guò)調(diào)，那么就

17、應(yīng)該減小學(xué)習(xí)速率的值。下式給出了一種自順應(yīng)學(xué)習(xí)速率的調(diào)整公式：MATLAB工具箱中帶有自順應(yīng)學(xué)習(xí)速率進(jìn)展反向傳播訓(xùn)練的函數(shù)為：trainbpa.m。它可以訓(xùn)練直至三層網(wǎng)絡(luò)。運(yùn)用方法為：W，B，epochs，TEtrainbpa(W，B，F(xiàn)，P，T，TP)可以將動(dòng)量法和自順應(yīng)學(xué)習(xí)速率結(jié)合起來(lái)以利用兩方面的優(yōu)點(diǎn)。這個(gè)技術(shù)已編入了函數(shù)trainbpx.m之中。這個(gè)函數(shù)的調(diào)用和其他函數(shù)一樣，只是需求更多的初始參數(shù)而已：TPdisp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；W，B，epochs，error; lrtrainbpx(W，B，F(xiàn)，P，T，TP)47 本章小結(jié) 1)反向傳播法可以用來(lái)訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)以進(jìn)展函數(shù)逼近，方式分類等任務(wù)；2)反向傳播網(wǎng)絡(luò)的構(gòu)造不完全受所要處理的問(wèn)題所限制。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問(wèn)題的要求所決議的，而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來(lái)決議的；3)已證明，兩層S型線性網(wǎng)絡(luò)，假設(shè)S型層有足夠的神經(jīng)元，那么可以訓(xùn)練出