多層前饋神經網絡

1、5 多層前饋網絡及bp算法多層前饋網絡的反向傳播 （bp）學習算法，簡稱bp算法，是有導師的學習，它是梯度下降法在多層前饋網中的應用。（a） 網絡結構見下圖，、是網絡的輸入、輸出向量，神經元用節(jié)點表示，網絡由輸入層、隱層和輸出層節(jié)點組成，隱層可一層，也可多層（圖中是單隱層），前層至后層節(jié)點通過權聯接。由于用bp學習算法，所以常稱bp神經網絡。每個神經元（節(jié)點）的輸入；每個神經元（節(jié)點）的輸出；神經元的第個輸入。神經元到神經元的連接權節(jié)點的作用函數：, 為閾值（可設置一個偏置節(jié)點代替）可為線性函數，一般取為sigmoid函數 , 為很小的數，如0.1（b） bp學習算法 已知網絡的輸入/輸出樣本

2、，即導師信號。 bp學習算法由正向傳播和反向傳播組成： 正向傳播是輸入信號從輸入層經隱層，傳向輸出層，若輸出層得到了期望的輸出，則學習算法結束；否則，轉至反向傳播。 反向傳播是將誤差(樣本輸出與網絡輸出之差）按原聯接通路反向計算，由梯度下降法調整各層節(jié)點的權值和閾值，使誤差減小。bp學習算法步驟如下：(1) 設置初始權值，它是較小的隨機非零值。(2) 給定輸入/輸出樣本對，計算網絡的輸出。設第p組樣本輸入： 輸出：節(jié)點 在第 組樣本輸入時，輸出為 : -（1式）式中，是在第 組樣本輸入時，節(jié)點 的第 個輸入。 取可微的 型作用函數式 = -（2式）可由輸入層隱層至輸出層，求得網絡輸出層節(jié)點的輸

3、出。（1） 計算網絡的目標函數 設 為在第 組樣本輸入時，網絡的目標函數，取范數，則-（3式）式中，是在第 組樣本輸入時，經 次權值調整后網絡的輸出：是輸出層第 個節(jié)點。網絡的總目標函數： = -（4式）作為對網絡學習狀況的評價。（2） 判別 若 -（5式）算法結束；否則，至步驟（4）。式中，是預先確定的，.（3） 反向傳播計算由輸出層，依據 ，按梯度下降法反向計算，可逐層調整權值。由式，取步長為常值，可得到神經元到神經元的連接權次調整算式：-6式）式中，為步長，在此稱為學習算子。具體算法如下： -（7式）設 -（8式）式中，是第個節(jié)點的狀態(tài)對的靈敏度（第組樣本輸入時）。又（7式）（8式）可得

4、： -（9式）分以下兩種情況計算。 若為輸出節(jié)點，由（3式）和（8式）可得： -（10式）將（10式）代入（7式），則： -（11式） 若不是輸出節(jié)點，此時（8式）為： -（12式）其中 （13式）式中，是節(jié)點 后邊一層的第個節(jié)點；是節(jié)點的第個輸入（第組樣本輸入時），當時 將（12式）和（13式）代入（7式），有 -(14式)可見，由(11式)和（14式），可進行（6式）的權值調整計算。(c)幾個問題討論： (1)實現輸入/輸出的非線性映射 (2)輸入/輸出的歸一化，即將輸入輸出轉化到（0，1） (3)泛化能力 (4)訓練誤差 (5)bp的不足l 收斂速度慢，局部最優(yōu)點，收斂速度與初始權的選擇

5、有關l 隱層及接點數的選擇無理論指導l 新加入的樣本會影響到已學好的樣本(6)改進的bp算法例: 算法的思路及計算過程為了找出小麥產量與化肥用量的關系, 觀測得到了多組數據, 如化肥用量為0.01噸/每畝時,產量為0.3噸/每畝, 0.015噸/每畝時,產量為0.350噸/每畝, 0.020噸/每畝時,產量為0.380噸/每畝, 若化肥用量為0.050噸/每畝,則產量為多少?思路: 假設產量為,化肥用量為,需要根據已知數據求出.可利用神經網絡實現與之間的映射關系.輸入/輸出樣本對有三個(p=3)，為0.01, 0.3; 0.015, 0.35; 0.02, 0.38;假設權值的初始值為: 輸入

6、到隱層: ,; 隱層到輸出: ,.節(jié)點的作用函數，此例僅為演示bp訓練過程，為計算方便，取，閾值取為0（不為0時，需加一個偏置節(jié)點）（1）對第一個樣本（p=1）: 隱層節(jié)點1的輸入為: ;隱層節(jié)點2的輸入為: ;隱層節(jié)點1的輸出為: ;隱層節(jié)點2的輸出為: ;輸出節(jié)點的輸入為：輸出節(jié)點的輸出為：和期望輸出的誤差為：隱層到輸出層的權值調整（）：輸入層到隱層的權值調整（）：（2）同理求得第2、第3個樣本時的。（3）更新權值（4）如果訓練誤差=回到步驟（1），否則結束例: 利用matlab中的神經網絡工具箱，使用bp網絡實現對正弦函數的逼近。程序：p=-1:0.1:1t=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.66 0.4609 0.1336 -0.2013 -0.4344 -0.5 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201s1=5;w1,b1,w2,b2=initff(p,s1,tansig,t,purelin);df=10;me=8000;eg=0.02;lr=0.01;tp=df me eg lr;w1,b1,w2,b2,ep,tr=trainbp(