誤差反傳算法.講課教案

1、誤差反傳算法誤差反傳算法.誤差反傳算法1、BP算法的基本思想 學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形成通過(guò)隱層向輸入層逐層反傳，并將誤差攤給各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的次數(shù)為止。誤差反傳算法

2、2、基于BP算法的多層感知器模型誤差反傳算法2、基于BP算法的多層感知器模型三層感知器中，輸入向量為12,.,.TinXx xxx圖中01x 是為隱層神經(jīng)元引入閾值而設(shè)置的；隱層輸出向量為12,.,.TimYy yyy，圖中01y 是為 輸出層神經(jīng)元引入閾值而設(shè)置的，輸出層輸出向量為12,.,.,TklOo ooo；期望輸出向量為12,.,.,Tkldd ddd。輸入層到隱層之間的權(quán)值矩陣用V V表示，12,.,.,TjmVv vvv，其中列向量jv為隱層第j個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用W表示，12,.,.,TklWW WWW，其中列向量kW為輸出層第k個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向

3、量。誤差反傳算法對(duì)于輸出層，有01,2,.,1,2,.,kkmkjkjjof netklnetw ykl對(duì)于隱層，有01,2,.,1,2,.,ijnjijiiyf netjmnetv xjm以上兩式中，變換函數(shù) f x均為單極性Sigmoid函數(shù) 11xfxe具有連續(xù)、可導(dǎo)的特點(diǎn)，且有 f x 1fxfxfx誤差反傳算法根據(jù)需要，也可以采用雙極性Sigmoid函數(shù)（或稱(chēng)雙曲線(xiàn)正切函數(shù)） 11xxef xe網(wǎng)絡(luò)誤差與權(quán)值調(diào)整當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時(shí)，存在輸出誤差E，定義如下2211122lkkkEdodo將以上誤差定義式展開(kāi)至隱層，有221101122llmkkkjkikkjEdf netdf

4、w y進(jìn)一步展開(kāi)至輸入層，有誤差反傳算法21021001212lmkjkjkjlmnkjkijikjiEdfw f netdfw fv x由以上可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值jkijwv、的函數(shù)，因此調(diào)整權(quán)值可改變誤差E顯然，調(diào)整權(quán)值的原則是使誤差不斷地減少，因此應(yīng)使權(quán)值的調(diào)整量與誤差的梯度下降成正比，即0,1,2,.,;1,2,.,jkjkEwjm klw 0,1,2,., ;1,2,.,ijijEvin jmv 誤差反傳算法標(biāo)準(zhǔn)BP算法的改進(jìn)存在的缺陷：u易形成局部極小而得不到全局最優(yōu)；u訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；u隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；u訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨

5、勢(shì)誤差反傳算法改進(jìn)方法：增加動(dòng)量項(xiàng)；自適應(yīng)調(diào)整學(xué)習(xí)率；引入陡度因子增加動(dòng)量項(xiàng)：為了考慮t時(shí)刻之前的梯度方向。若用W代表某層權(quán)矩陣，X代表某層輸入向量，則含有動(dòng)量項(xiàng)的權(quán)值調(diào)整向量表達(dá)式為 1W tXW t 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率從誤差曲面可以看出，在平坦區(qū)域內(nèi)太小會(huì)使訓(xùn)練次數(shù)增加，因而希望增大值；而在誤差變化劇烈的區(qū)域，太大會(huì)因調(diào)整量過(guò)大而跨過(guò)較窄的“凹坑”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。誤差反傳算法設(shè)一初始學(xué)習(xí)率，若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差E總增大，則本次調(diào)整無(wú)效，且 1tt；若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差E總減少，則本次調(diào)整有效，且 1tt引入陡度因子 誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進(jìn)入平坦區(qū)的原因是神經(jīng)元輸入了變換函數(shù)的飽和區(qū)。如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出變換函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整擺脫平坦區(qū)。實(shí)現(xiàn)這一思路的做法是，在原變換函數(shù)中引入一個(gè)陡度因子