BP算法心得范文.doc

BP算法心得范文 BP算法心得誤差反向傳播算法(Error BackPropagation,EBP，簡(jiǎn)稱BP)在于利用輸出層的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差。 如此下去，就獲得了所有其他各層的誤差估計(jì)。 這樣就形成了將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過(guò)程。 因此，人們就又將此算法稱為向后傳播算法，簡(jiǎn)稱BP算法。 使用BP算法進(jìn)行學(xué)習(xí)的多層前向網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。 1.BP算法的原理設(shè)有一個(gè)m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X;設(shè)第k層的i神經(jīng)元的輸入總和表示為Uki，輸出Xki;從第k-1層的第j個(gè)神經(jīng)元到第k層的第i個(gè)神經(jīng)元的權(quán)系數(shù)為Wij,各個(gè)神經(jīng)元的激發(fā)函數(shù)為f，則各個(gè)變量的關(guān)系可用下面有關(guān)數(shù)學(xué)式表示:)(i UXkikf=（2-1）反向傳播算法分兩步進(jìn)行，即正向傳播和反向傳播。 這兩個(gè)過(guò)程的工作簡(jiǎn)述如下。 1)正向傳播X WUkjjk1ij i?=（2-2）輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。 在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。 2)反向傳播反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。 2.BP實(shí)現(xiàn)步驟在反向傳播算法應(yīng)用于前向多層網(wǎng)絡(luò)時(shí)，采用Sigmoid為激發(fā)函數(shù)時(shí)，可用下列步驟對(duì)網(wǎng)絡(luò)的權(quán)系數(shù)城j進(jìn)行遞歸求取。 注意對(duì)于每層有n個(gè)神經(jīng)元的時(shí)候，即有i=1,2,n;j=1,2,n。 對(duì)于第k層的第i個(gè)神經(jīng)元，則有n個(gè)權(quán)系數(shù)W WWin ii,.,21，另外多取一個(gè)Wn i1,+用于表示閥值i,并且在輸入樣本X時(shí)，取)1,.,(X21nX X X=。 算法執(zhí)行的步驟如下: (1)對(duì)權(quán)系數(shù)W置初值。 對(duì)各層的權(quán)系數(shù)Wij，置一個(gè)較小的非零隨機(jī)數(shù)，但其中?=+1,i nW。 (2)輸入一個(gè)樣本)1,.,(X21nX X X=，以及對(duì)應(yīng)期望輸出),.,(Y21nY Y Y=。 (3)計(jì)算各層的輸出對(duì)于第k層第i個(gè)神經(jīng)元的輸出Xki，有:?+=?=111kinjkj ijX WU，111=?+Xkn，?=+W ni1,，)(kikiU fX= (4)求各層的學(xué)習(xí)誤差d ki;對(duì)于輸出層有k=m，有)(1Y X XXdimimimimi?=對(duì)于其他各層，有?+?=lki likikikid WXXd1)(1 (5)修正權(quán)系數(shù)Wij和閥值。 用權(quán)值修正公式有，其中 (6)當(dāng)求出了各層各個(gè)權(quán)系數(shù)之后，可按給定指標(biāo)判別是否滿足要求。 如果滿足要求，則算法結(jié)束;如果未滿足要求，則返回 (3)執(zhí)行。 這個(gè)學(xué)習(xí)過(guò)程，對(duì)于任一給定的樣本)1,.,(21p ppn pXXXX=和期望輸出),.,(21pn pp pYYYY=都要執(zhí)行，直到滿足所有輸入輸出要求為止。 3.BP算法流程圖常規(guī)BP算法的總過(guò)程如下圖所示。 圖中給出的迭代次數(shù)的上限的目的，是為了避免當(dāng)平均誤差一直不滿足精度要求而導(dǎo)致程序無(wú)法結(jié)束運(yùn)行的情況。 4.BP算法實(shí)例測(cè)試及運(yùn)行結(jié)果測(cè)試數(shù)據(jù)集wji0=new double1,0.1;wji1=new double2,0.5;wji2=new double3.5,0.3;wji3=new double1.5,3.3;wji_b0=new double1,0.1;wji_b1=new double2,0.5;wji_b2=new double3.5,0.3;wji_b3=new double1.5,3.3;測(cè)試結(jié)果5.BP算法缺點(diǎn)及改進(jìn)BP算法理論具有依據(jù)可靠、推導(dǎo)過(guò)程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點(diǎn)，但標(biāo)準(zhǔn)BP算法存在著收斂速度緩慢和易陷入局部極小值的嚴(yán)重缺陷。 BP算法在誤差曲面上通過(guò)在真實(shí)方向上的鋸齒形路線趨于最小點(diǎn)，因此它傾向于緩慢收斂。 其原因主要有: (1)BP算法利用梯度信息來(lái)調(diào)整權(quán)值。 (2)神經(jīng)元的總輸入偏離閾值太遠(yuǎn)時(shí)，總的輸入就進(jìn)入激活函數(shù)非線性特性的飽和區(qū)。 (3)由于網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，不同權(quán)值和閩值對(duì)同一樣本的收斂速度不同，從而使得整體學(xué)習(xí)速度緩慢。 由于BP算法的缺點(diǎn)，在有些實(shí)際應(yīng)用中，BP算法就很難勝任，因此出現(xiàn)了很多改進(jìn)算法 (1)如利用動(dòng)量法改進(jìn)BP算法。 這種方法所加的動(dòng)量因子實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過(guò)程中的振蕩趨勢(shì)，降低了網(wǎng)絡(luò)對(duì)于誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小。 (2)自適應(yīng)調(diào)整學(xué)習(xí)速率。 調(diào)整的基本指