bp神經(jīng)網(wǎng)絡(luò)算法同名8805

1、bp神經(jīng)網(wǎng)絡(luò)算法（同名8805）BP神經(jīng)網(wǎng)絡(luò)算法 三層BP神經(jīng)網(wǎng)絡(luò)如圖:目標(biāo)輸出tkZk輸出層yjXiX2X3xn設(shè)網(wǎng)絡(luò)的輸入模式為x(Xi，X2，.Xn)T ,隱含層有h個(gè)單元，隱含層的輸出為y (yi，y2，.yh)T ,輸出層有m 個(gè)單元，他們的輸出為Z (=Z2，.Zm)T,目標(biāo)輸出為 t(ti,t2tm)T設(shè)隱含層到輸出層的傳遞函數(shù)為f,輸出層的傳遞函數(shù)為g于是：yj f/wjX,) f/wjXi)：隱含層第j個(gè)神經(jīng)元i ii 0的輸出；其中Woj , Xo 1Zkg(WjkYj）：輸出層第k個(gè)神經(jīng)元的輸出 0此時(shí)網(wǎng)絡(luò)輸出與目標(biāo)輸出的誤差為(tkk 1Zk)1 2顯然，它是 wj 和

2、 wjk 的函數(shù)。下面的步驟就是想辦法調(diào)整權(quán)值，使 減小。由高等數(shù)學(xué)的知識(shí)知道：負(fù)梯度方向是函數(shù)值減小最快的方向因此，可以設(shè)定一個(gè)步長(zhǎng) ，每次沿負(fù)梯度方向 調(diào)整個(gè)單位，即每次權(quán)值的調(diào)整為：w pq在神經(jīng)網(wǎng)絡(luò)中稱為學(xué)習(xí)速率(tk Zk)g'(Vk)yjg'(Uk)evk 2(1 e k)vk(1vkZk (1Zk)可以證明：按這個(gè)方法調(diào)整，誤差會(huì)逐漸減小。BP神經(jīng)網(wǎng)絡(luò)（反向傳播）的調(diào)整順序?yàn)椋?）先調(diào)整隱含層到輸出層的權(quán)值設(shè)Vk為輸出層第k個(gè)神經(jīng)元的輸入Vk hwjkyjj 0于是隱含層到輸出層的權(quán)值調(diào)整迭代公式為:Wjk(t 1) Wjk(t) zk(1zk)Yj2)從輸入層到

3、隱含層的權(quán)值調(diào)整迭代公式為:1 mi m(tk zk)2(tk zk)2 2l11 yj ujWijWijyjuj Wij其中Uj為隱含層第j個(gè)神經(jīng)元的輸入:nUjWijXii 0注意：隱含層第j個(gè)神經(jīng)元與輸出層的各個(gè)神經(jīng) 元都有連接，即"涉及所有的權(quán)值wij,因此m(tk zk)f'(Uk)Wjk k 0 m (tkzk)2zkUkyj k 0zkUk yj于是：1 m22 (t k zk)m2-1 (tk zk)f'(Uk)Wjk f'(Uj) XijXiWijWijk 0因此從輸入層到隱含層的權(quán)值調(diào)整迭代為公式為：Wij (t 1) Wij (t)jXi

4、例：下表給出了某地區(qū)公路運(yùn)力的歷史統(tǒng)計(jì)數(shù)據(jù)，請(qǐng)建立相應(yīng)的預(yù)測(cè)模型，并對(duì)給出的 2010和2011年的數(shù)據(jù)，預(yù)測(cè)相應(yīng)的公路客運(yùn)量和貨運(yùn)量時(shí)間人數(shù)（單位： 萬(wàn)人）機(jī)動(dòng)車數(shù) （單位：萬(wàn) 輛）公路面積（單 位：力平方公 里）公路客運(yùn)量 （單位：萬(wàn) 人）公路貨運(yùn)量 （單位：萬(wàn) 噸）1990 J20.550.60.09512612371991：22.440.750.11162171379199225.370.850.1177301385199327.130.90.1491451399199429.451.050.2 104601663199530.11.350.23113871714199630.96r1

5、.45 10.23 1123531834199734.061.60.32 1157504322199836.421.70.32183048132199938.09r1.85 10.34 1198368936200039.132.15 10.36 12102411099200139.992.20.361949011203200241.932.25 10.38 12043310524200344.5912.35 10.49 12259811115200447.32.50.562510713320200552.892.60.59 ；3344216762200655.732.70.5936836186

6、73200756.762.850.674054820724200859.172.950.69 ；42927208032009 160.633.10.794346221804201073.3900 3.9635 0.9880201175.5500 4.0975 1.0268%清屏%清除內(nèi)存以便function main() clc clear all;加快運(yùn)算速度close all;%關(guān)閉當(dāng)前所有figure圖像SamNum=20;%輸入樣本數(shù)量為20TestSamNum=20;%測(cè)試樣本數(shù)量也是20ForcastSamNum=2;% 預(yù)測(cè)樣本數(shù)量為2HiddenUnitNum=8;% 中間層隱

7、節(jié)點(diǎn)數(shù)量取8,比工具箱程序多了 1個(gè)InDim=3;%網(wǎng)絡(luò)輸入維度為3OutDim=2;%網(wǎng)絡(luò)輸出維度為2%原始數(shù)據(jù)%人數(shù)（單位：萬(wàn)人）sqrs=20.55 22.44 25.37 27.13 29.45 30.10 30.9634.06 36.42 38.09 39.13 39.99 .41.93 44.59 47.30 52.89 55.73 56.76 59.1760.63;%機(jī)動(dòng)車數(shù)（單位：萬(wàn)輛）sqjdcs=0.6 0.75 0.85 0.9 1.05 1.35 1.45 1.6 1.7 1.85 2.15 2.2 2.25 2.35 2.5 2.6.2.7 2.85 2.95 3.

8、1;%公路面積（單位：萬(wàn)平方公里）sqglmj=0.09 0.11 0.11 0.14 0.20 0.23 0.23 0.320.32 0.34 0.36 0.36 0.38 0.49 .0.56 0.59 0.59 0.67 0.69 0.79;%公路客運(yùn)量（單位：萬(wàn)人）glkyl=5126 6217 7730 9145 10460 11387 12353 15750 18304 19836 21024 19490 20433 .22598 25107 33442 36836 40548 4292743462;%公路貨運(yùn)量（單位：萬(wàn)噸） glhyl=1237 1379 1385 1399 1

9、663 1714 1834 4322 8132 8936 11099 11203 10524 11115 .13320 16762 18673 20724 2080321804;p=sqrs;sqjdcs;sqglmj;% 輸入數(shù)據(jù)矩陣t=glkyl;glhyl;%目標(biāo)數(shù)據(jù)矩陣SamIn,minp,maxp,tn,mint,maxt=premnmx（p,t）;%原始樣本對(duì)（輸入和輸出）初始化rand('state',sum(100*clock) % 依據(jù)系統(tǒng)時(shí)鐘種子產(chǎn)生隨機(jī)數(shù)rand是產(chǎn)生0到1的均勻分布，randn是產(chǎn)生均值為0,方差為1的正態(tài)分 布 rand(n)或 ran

10、dn(n)產(chǎn)生 n*n 階矩陣， rand(m,n)或randn(n)產(chǎn)生m*n的隨機(jī)數(shù)矩陣 NoiseVar=0.01;% 噪聲強(qiáng)度為0.01 (添加噪聲的目的是為了防止網(wǎng)絡(luò)過(guò)度 擬合)Noise=NoiseVar*randn(2,SamNum);%生成噪聲SamOut=tn + Noise;%將噪聲添加到輸出樣本上TestSamIn=SamIn;%這里取輸入樣本與測(cè)試樣本相同因?yàn)闃颖?容量偏少TestSamOut=SamOut;%也取輸出樣本與測(cè)試樣本相同MaxEpochs=50000;%最多訓(xùn)練次數(shù)為50000lr=0.035;%學(xué)習(xí)速率為0.035E0=0.65*10八(-3);%目標(biāo)

11、誤差為0.65*10八(-3)W1=0.5*rand(HiddenUnitNum,InDim)-0.1;%初始化輸入層與隱含層之間的權(quán)值B1=0.5*rand(HiddenUnitNum,1)-0.1;%初始化輸入層與隱含層之間的閾值W2=0.5*rand(OutDim,HiddenUnitNum)-0.1;%初始化輸出層與隱含層之間的權(quán)值B2=0.5*rand(OutDim,1)-0.1;%初始化輸出層與隱含層之間的閾值ErrHistory=口；%給中間變量預(yù)先占據(jù)內(nèi)存for i=1:MaxEpochsHiddenOut=logsig(W1*SamIn+repmat(B1,1,SamNum)

12、; % 隱含層網(wǎng)絡(luò)輸出NetworkOut=W2*HiddenOut+repmat(B2,1,SamNum); %輸出層網(wǎng)絡(luò)輸出Error=SamOut-NetworkOut;%實(shí)際輸出與網(wǎng)絡(luò)輸出之差SSE=sumsqr(Error)%能量函數(shù)(誤差平方和)ErrHistory=ErrHistory SSE;if SSE<E0,break, end % 如果達(dá)到誤 差要求則跳出學(xué)習(xí)循環(huán)%以下六行是BP網(wǎng)絡(luò)最核心的程序%他們是權(quán)值(閾值)依據(jù)能量函數(shù)負(fù)梯 度下降原理所作的每一步動(dòng)態(tài)調(diào)整量Delta2=Error;Delta1=W2'*Delta2.*HiddenOut.*(1-Hi

13、ddenOut);dW2=Delta2*HiddenOut'dB2=Delta2*ones(SamNum,1); dW1=Delta1*SamIn'dB1=Delta1*ones(SamNum,1);%對(duì)輸出層與隱含層之間的權(quán)值和閾值進(jìn) 行修正W2=W2+lr*dW2;B2=B2+lr*dB2;%對(duì)輸入層與隱含層之間的權(quán)值和閾值進(jìn) 行修正W1=W1+lr*dW1;B1=B1+lr*dB1; endHiddenOut=logsig(W1*SamIn+repmat(B1,1,Tes tSamNum); % 隱含層輸出最終結(jié)果 NetworkOut=W2*HiddenOut+repm

14、at(B2,1,Test SamNum); %輸出層輸出最終結(jié)果 a=postmnmx(NetworkOut,mint,maxt);%還原網(wǎng)絡(luò)輸出層的結(jié)果 x=1990:2009;%時(shí)間軸刻度newk=a(1,:);%網(wǎng)絡(luò)輸出客運(yùn)量newh=a(2,:);%網(wǎng)絡(luò)輸出貨運(yùn)量figure ;subplot(2,1,1);plot(x,newk,'r-o',x,glkyl,'b-+')%繪值公路客運(yùn)量對(duì)比圖；legend('網(wǎng)絡(luò)輸出客運(yùn)量,實(shí)際客運(yùn)量,);xlabel('年份');ylabel('客運(yùn)量/萬(wàn)人')；subplot

15、(2,1,2);plot(x,newh,'r-o',x,glhyl,'b-+')%繪制公路貨運(yùn)量對(duì)比圖；legend('網(wǎng)絡(luò)輸出貨運(yùn)量,'實(shí)際貨運(yùn)量');xlabel('年份');ylabel('貨運(yùn)量/萬(wàn)噸')；%利用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)%當(dāng)用訓(xùn)練好的網(wǎng)絡(luò)對(duì)新數(shù)據(jù)pnew進(jìn)行預(yù)測(cè)時(shí)，也應(yīng)作相應(yīng)的處理pnew=73.39 75.553.9635 4.09750.98801.0268;%2010 年和2011年的相關(guān)數(shù)據(jù)；pnewn=tramnmx(pnew,minp,maxp);%利用原始輸入數(shù)據(jù)的歸一化參數(shù)對(duì)新數(shù)據(jù)進(jìn) 行歸一化；Hidd