多層前饋神經(jīng)網(wǎng)絡(luò)

1、5 多層前饋網(wǎng)絡(luò)及bp算法多層前饋網(wǎng)絡(luò)的反向傳播 （bp）學(xué)習(xí)算法，簡(jiǎn)稱bp算法，是有導(dǎo)師的學(xué)習(xí)，它是梯度下降法在多層前饋網(wǎng)中的應(yīng)用。（a） 網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)下圖，、是網(wǎng)絡(luò)的輸入、輸出向量，神經(jīng)元用節(jié)點(diǎn)表示，網(wǎng)絡(luò)由輸入層、隱層和輸出層節(jié)點(diǎn)組成，隱層可一層，也可多層（圖中是單隱層），前層至后層節(jié)點(diǎn)通過(guò)權(quán)聯(lián)接。由于用bp學(xué)習(xí)算法，所以常稱bp神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元（節(jié)點(diǎn)）的輸入；每個(gè)神經(jīng)元（節(jié)點(diǎn)）的輸出；神經(jīng)元的第個(gè)輸入。神經(jīng)元到神經(jīng)元的連接權(quán)節(jié)點(diǎn)的作用函數(shù)：, 為閾值（可設(shè)置一個(gè)偏置節(jié)點(diǎn)代替）可為線性函數(shù)，一般取為sigmoid函數(shù) , 為很小的數(shù)，如0.1（b） bp學(xué)習(xí)算法 已知網(wǎng)絡(luò)的輸入/輸出樣本

2、，即導(dǎo)師信號(hào)。 bp學(xué)習(xí)算法由正向傳播和反向傳播組成： 正向傳播是輸入信號(hào)從輸入層經(jīng)隱層，傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。 反向傳播是將誤差(樣本輸出與網(wǎng)絡(luò)輸出之差）按原聯(lián)接通路反向計(jì)算，由梯度下降法調(diào)整各層節(jié)點(diǎn)的權(quán)值和閾值，使誤差減小。bp學(xué)習(xí)算法步驟如下：(1) 設(shè)置初始權(quán)值，它是較小的隨機(jī)非零值。(2) 給定輸入/輸出樣本對(duì)，計(jì)算網(wǎng)絡(luò)的輸出。設(shè)第p組樣本輸入： 輸出：節(jié)點(diǎn) 在第 組樣本輸入時(shí)，輸出為 : -（1式）式中，是在第 組樣本輸入時(shí)，節(jié)點(diǎn) 的第 個(gè)輸入。 取可微的 型作用函數(shù)式 = -（2式）可由輸入層隱層至輸出層，求得網(wǎng)絡(luò)輸出層節(jié)點(diǎn)的輸

3、出。（1） 計(jì)算網(wǎng)絡(luò)的目標(biāo)函數(shù) 設(shè) 為在第 組樣本輸入時(shí)，網(wǎng)絡(luò)的目標(biāo)函數(shù)，取范數(shù)，則-（3式）式中，是在第 組樣本輸入時(shí)，經(jīng) 次權(quán)值調(diào)整后網(wǎng)絡(luò)的輸出：是輸出層第 個(gè)節(jié)點(diǎn)。網(wǎng)絡(luò)的總目標(biāo)函數(shù)： = -（4式）作為對(duì)網(wǎng)絡(luò)學(xué)習(xí)狀況的評(píng)價(jià)。（2） 判別 若 -（5式）算法結(jié)束；否則，至步驟（4）。式中，是預(yù)先確定的，.（3） 反向傳播計(jì)算由輸出層，依據(jù) ，按梯度下降法反向計(jì)算，可逐層調(diào)整權(quán)值。由式，取步長(zhǎng)為常值，可得到神經(jīng)元到神經(jīng)元的連接權(quán)次調(diào)整算式：-6式）式中，為步長(zhǎng)，在此稱為學(xué)習(xí)算子。具體算法如下： -（7式）設(shè) -（8式）式中，是第個(gè)節(jié)點(diǎn)的狀態(tài)對(duì)的靈敏度（第組樣本輸入時(shí)）。又（7式）（8式）可得

4、： -（9式）分以下兩種情況計(jì)算。 若為輸出節(jié)點(diǎn)，由（3式）和（8式）可得： -（10式）將（10式）代入（7式），則： -（11式） 若不是輸出節(jié)點(diǎn)，此時(shí)（8式）為： -（12式）其中 （13式）式中，是節(jié)點(diǎn) 后邊一層的第個(gè)節(jié)點(diǎn)；是節(jié)點(diǎn)的第個(gè)輸入（第組樣本輸入時(shí)），當(dāng)時(shí) 將（12式）和（13式）代入（7式），有 -(14式)可見(jiàn)，由(11式)和（14式），可進(jìn)行（6式）的權(quán)值調(diào)整計(jì)算。(c)幾個(gè)問(wèn)題討論： (1)實(shí)現(xiàn)輸入/輸出的非線性映射 (2)輸入/輸出的歸一化，即將輸入輸出轉(zhuǎn)化到（0，1） (3)泛化能力 (4)訓(xùn)練誤差 (5)bp的不足l 收斂速度慢，局部最優(yōu)點(diǎn)，收斂速度與初始權(quán)的選擇

5、有關(guān)l 隱層及接點(diǎn)數(shù)的選擇無(wú)理論指導(dǎo)l 新加入的樣本會(huì)影響到已學(xué)好的樣本(6)改進(jìn)的bp算法例: 算法的思路及計(jì)算過(guò)程為了找出小麥產(chǎn)量與化肥用量的關(guān)系, 觀測(cè)得到了多組數(shù)據(jù), 如化肥用量為0.01噸/每畝時(shí),產(chǎn)量為0.3噸/每畝, 0.015噸/每畝時(shí),產(chǎn)量為0.350噸/每畝, 0.020噸/每畝時(shí),產(chǎn)量為0.380噸/每畝, 若化肥用量為0.050噸/每畝,則產(chǎn)量為多少?思路: 假設(shè)產(chǎn)量為,化肥用量為,需要根據(jù)已知數(shù)據(jù)求出.可利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)與之間的映射關(guān)系.輸入/輸出樣本對(duì)有三個(gè)(p=3)，為0.01, 0.3; 0.015, 0.35; 0.02, 0.38;假設(shè)權(quán)值的初始值為: 輸入

6、到隱層: ,; 隱層到輸出: ,.節(jié)點(diǎn)的作用函數(shù)，此例僅為演示bp訓(xùn)練過(guò)程，為計(jì)算方便，取，閾值取為0（不為0時(shí)，需加一個(gè)偏置節(jié)點(diǎn)）（1）對(duì)第一個(gè)樣本（p=1）: 隱層節(jié)點(diǎn)1的輸入為: ;隱層節(jié)點(diǎn)2的輸入為: ;隱層節(jié)點(diǎn)1的輸出為: ;隱層節(jié)點(diǎn)2的輸出為: ;輸出節(jié)點(diǎn)的輸入為：輸出節(jié)點(diǎn)的輸出為：和期望輸出的誤差為：隱層到輸出層的權(quán)值調(diào)整（）：輸入層到隱層的權(quán)值調(diào)整（）：（2）同理求得第2、第3個(gè)樣本時(shí)的。（3）更新權(quán)值（4）如果訓(xùn)練誤差=回到步驟（1），否則結(jié)束例: 利用matlab中的神經(jīng)網(wǎng)絡(luò)工具箱，使用bp網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)正弦函數(shù)的逼近。程序：p=-1:0.1:1t=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.66 0.4609 0.1336 -0.2013 -0.4344 -0.5 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201s1=5;w1,b1,w2,b2=initff(p,s1,tansig,t,purelin);df=10;me=8000;eg=0.02;lr=0.01;tp=df me eg lr;w1,b1,w2,b2,ep,tr=trainbp(