反向傳播神經(jīng)網(wǎng)絡

第06講反向傳播網(wǎng)絡反向傳播網(wǎng)絡(Back—PropagationNetwork，簡稱BP網(wǎng)絡)是將W—H學習規(guī)則一般化，對非線性可微分函數(shù)進行權(quán)值訓練的多層網(wǎng)絡。BP網(wǎng)絡是一種多層前向反饋神經(jīng)網(wǎng)絡，其神經(jīng)元的變換函數(shù)是S型函數(shù)，因此輸出量為0到1之間的連續(xù)量，它可以實現(xiàn)從輸入到輸出的任意的非線性映射。由于其權(quán)值的調(diào)整采用反向傳播（Backpropagation）的學習算法，因此被稱為BP網(wǎng)絡。BP網(wǎng)絡主要用于：1)函數(shù)逼近：用輸入矢量和相應的輸出矢量訓練一個網(wǎng)絡逼近—個函數(shù)；2)模式識別：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；3)分類：把輸入矢量以所定義的合適方式進行分類；4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲。6．1BP網(wǎng)絡模型與結(jié)構(gòu)一個具有r個輸入和一個隱含層的神經(jīng)網(wǎng)絡模型結(jié)構(gòu)感知器和自適應線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的。BP網(wǎng)絡具有一層或多層隱含層，除了在多層網(wǎng)絡上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡的激活函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){—1，1}，BP網(wǎng)絡經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)。圖6.2BP網(wǎng)絡S型激活函數(shù)因為S型函數(shù)具有非線性放大系數(shù)功能，它可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出，對較大的輸入信號，放大系數(shù)較小；而對較小的輸入信號，放大系數(shù)則較大，所以采用S型激活函數(shù)可以去處理和逼近非線性的輸入/輸出關(guān)系。只有當希望對網(wǎng)絡的輸出進行限制，如限制在0和1之間，那么在輸出層應當包含S型激活函數(shù)，在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)。BP網(wǎng)絡的特點：1、輸入和輸出是并行的模擬量；2、網(wǎng)絡的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法；3、權(quán)因子是通過學習信號調(diào)節(jié)的，這樣學習越多，網(wǎng)絡越聰明；4、隱含層越多，網(wǎng)絡輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡輸出產(chǎn)生大的影響6．2BP學習規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學習算法。其主要思想為：對于q個輸入學習樣本：P1，P2，……Pq，已知與其對應的輸出樣本為：T1，T2，……Tq。學習的目的是用網(wǎng)絡的實際輸出A1，A2，……Aq，與目標矢量T1，T2，……Tq，之間的誤差來修改其權(quán)值，使Al，(l＝l，2…，q)與期望的Tl盡可能地接近；即：使網(wǎng)絡輸出層的誤差平方和達到最小。BP算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中，輸入信息從輸入經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達到期望目標。圖6員．3求具有漿一個廚隱含控層的怒簡化蝕網(wǎng)絡頂圖設輸槍入為P，輸入洗神經(jīng)嶼元有r個，軍隱含潤層內(nèi)霸有s1個神雅經(jīng)元頃，激螺活函暗數(shù)為F1鬧，輸出感層內(nèi)答有s2個神曲經(jīng)元副，對拔應的要激活新函數(shù)錘為F2傻，輸出殃為A，目標禮矢量搭為T。6．忍2．爺1信餃息的殼正向警傳遞1)瓶隱含仔層中脆第i個神失經(jīng)元酬的輸辭出為裁：2)樓輸出可層第k個神陡經(jīng)元踢的輸襲出為鉛：3)沃定義酷誤差燥函數(shù)袍為：(6員.1矩)（6甜.2蝴）（6認.3?。?．碰2．意2利眉用梯害度下所降法恨求權(quán)扎值變產(chǎn)化及哨誤差駱的反護向傳止播(1替)輸棒出層程的權(quán)捐值變碗化對從劣第i個輸沿入到融第k個輸肯出的趙權(quán)值痕有：其中問：同理串可得岡：（6適.4條）（6購.5框）（弄6.費6）（6續(xù).7粥）(2況)隱群含層錦權(quán)值升變化對從鵝第j個輸擦入到化第i個輸膛出的翼權(quán)值撲，有賀：其中搏：同理勇可得婚：（6棗.8項）（6捷.9共）（6獎.1蛇0）通過MA領TL憤AB的實溝現(xiàn)過億程：1)缺對于躍(6趴．1銜)式澆所表箭示的褲隱含錘層輸酸出，影若采文用對命數(shù)S型激克活函顫數(shù)，鈴則用越函數(shù)lo砌gs倚ig掩.m符；若采梁用雙司曲正茶切S型激躲活函搞數(shù)，慘則用礎函數(shù)ta照ns孫ig四.m編；2)對于蜜(6揭．2招)式瞎所表躁示的蹦輸出輛層輸仙出，背若采方用線紀性激幟活函彈數(shù)有pu駝re套li性n.釘m與之緩對應票；3)殖對于族(6東．3扔)式毯所表靈示的動誤差臘函數(shù)搜，可博用函歐數(shù)su沙ms聰qr姜.m求之鄉(xiāng)豐；4)興有l(wèi)e投ar報nb主p.仁m函數(shù)闖專門修求(學6．枝4)匙、(病6．見7)錢、(礎6．地8)霜和(平6．洲10浙)式繩所表冬示的附輸出帖層以欣及隱賀含層臟中權(quán)匹值與佳偏差顏的變糖化量窄；5)塞由(揉6.宵5)掃和(都6.爸9)溝式所婦表示石的誤另差的肌變化銹有函激數(shù)de朝lt狠al冊in遭.m得、d摩el衡ta覺ta橋n.非m、懶de片lt巧al美og勇.m來解詞決。簽它們稅分別泥用于春線性窮層、武雙曲細正切桑層和壯對數(shù)磨層。6．洪2．祝3奪誤伶差反勢向傳謹播的兆流程拔圖與素圖形辛解釋誤差喂反向亞傳播瞧過程北實際斥上是甚通過左計算壺輸出集層的基誤差ek，然后河將其列與輸?shù)A出層酒激活蠢函數(shù)翼的一老階導案數(shù)f2丙’相乘質(zhì)來求恢得δki。由于淘隱含杏層中果沒有盆直接橋給出青目標溝矢量攏，所遇以利婆用輸羨出層贏的δki反向詞傳遞聯(lián)來求善出隱磨含層世權(quán)值值的變咱化量Δw峽2ki。然后印計算并同湖樣通屬過將ei與該詳層激征活函紡數(shù)的羽一階抹導數(shù)f1放’相乘催，而專求得δij，以此盲求出貿(mào)前層預權(quán)值蹈的變約化量Δw蔬1ij。如果籍前面悟還有疤隱含丘層，根沿用幕上述榴同樣河方法譜依此傭類推菜，一逮直將標輸出更誤差ek一層虹一層彈的反繩推算死到第競一層厲為止選。圖6廚．4售誤差譜反向廣傳播泳法的晌圖形仆解釋6.銷3BP網(wǎng)絡定的訓聾練過辦程為了偏訓練驕一個BP網(wǎng)絡貓，需袖要計哥算網(wǎng)若絡加私權(quán)輸洽入矢提量以待及網(wǎng)致絡輸鋼出和朽誤差趴矢量領，然嬸后求岔得誤娘差平鍛方和填。當所腔訓練靈矢量袖的誤碎差平疏方和慶小于車誤差榆目標貓，訓遞練則母停止灘，否此則在提輸出妨層計襖算誤麥差變顏化，借且采生用反桶向傳倡播學步習規(guī)暴則來郊調(diào)整甚權(quán)值愚，并足重復識此過云程。當網(wǎng)浩絡完扭成訓獨練后應，對策網(wǎng)絡移輸入在一個復不是單訓練鄰集合艱中的岸矢量破，網(wǎng)蜜絡將釋以泛敏化方艱式給陸出輸逼出結(jié)半果。為了糠能夠憲較好似地掌膚握BP網(wǎng)絡碼的訓證練過損程，嗽我們相用兩堤層網(wǎng)綁絡為縫例來集敘述BP網(wǎng)絡孔的訓衰練步圾驟。1)揚用小撓的隨汁機數(shù)著對每類一層斧的權(quán)錦值W和偏陰差B初始泊化，園以保萍證網(wǎng)您絡不沖被大霞的加摧權(quán)輸泄入飽宅和；就并進煮行以謙下參殲數(shù)的海設定租或初裙始化委：a)期望愛誤差堡最小抓值er版ro戚r_察go歸al姨；b)最大獨循環(huán)詢次數(shù)ma婦x_陳ep侮oc蝴h；c)修正治權(quán)值動的學曉習速匪率1r，一般臨情況兇下k＝斜0．板0l稼~0殊．7露；d)從1臭開始允的循叫環(huán)訓倡練：fo亞r塌ep挽oc慢h＝糕1：妹ma斥x_冶ep筋oc畏h；2)監(jiān)計算纖網(wǎng)絡倍各層犬輸出菌矢量A1和A2以及蛾網(wǎng)絡旅誤差E：A1國＝t禁an擴si濫g(圖W1巧*P獨，B霜1)負；A2改＝p在ur荒el干in武(W溫2*糠A1結(jié)，B涌2)騾；E＝滴T-壩A；3)巖計算盡各層垃反傳鳥的誤蛙差變趕化D2和D1并計滑算各看層權(quán)閱值的吃修正霉值以朝及新去權(quán)值堂：D2蜜＝d猛el占ta褲li邀n(渣A2畏，E惱)；D1環(huán)＝d尊el尿ta溝ta腿n(交A1熊，D土2，堆W2廣)；[d大lW弱l，脫dB悉l]瓦＝l朗ea才rn冰bp帳(P習，D派1，準lr燒)；[d臥W2擁，d余B2饞]＝惡1e警ar刪nb咱p(闖A1寺，D優(yōu)2，透1r咸)；W1潮＝W圾1十dW婦1；男B1守＝B遭1十dB產(chǎn)l；W2喜＝W眉2十dW羨2；姥B2紅＝B桂2十dB夫2；4)序再次陸計算鞏權(quán)值借修正歡后誤儲差平圓方和坐：SS雪E＝長su只ms釋qr只(T設-p揚ur飯el答in洗(W蕉2*乞ta類ns提ig聯(lián)(W弦1*米P，周B1鋤)，靠B2桐))妻；5)檢查SS夫E是否濾小于er嫂r_吹go寶al垃，若是噴，訓脾練結(jié)亡束；幸否則裳繼續(xù)殲。以上達所有革的學子習規(guī)出則與哄訓練恩的全斬過程劫，仍寶然可憶以用灰函數(shù)tr唇ai舉nb搞p.滋m來完例成。榨它的穩(wěn)使用管同樣疏只需惠要定佩義有灰關(guān)參麥數(shù)：炸顯示沒間隔惜次數(shù)賣，最占大循灰環(huán)次頌數(shù)，閉目標株誤差醒，以燥及學寒習速屠率，掏而調(diào)壘用后扮返回券訓練賓后權(quán)歲值，恒循環(huán)襲總數(shù)館和最們終誤末差：TP走＝[偵di陪sp繁_f臣re川q干m紋ax須_e敘po拐ch隔er喚r_暢go滴al舅1r扯]；[W工，B蝦，e齒po央ch滑s，真er朽ro湖rs走]＝蒸tr凈ai土nb關(guān)p(竿W，威B，借’F脖’，鎖P，墓T，鑰TP跡)；[例貍6．返1]姓用于撿函數(shù)緩逼近捉的BP網(wǎng)絡張的設雄計。P=渴-1恨:0羅.1太:1似；T=拼[-講0.僻96座0.拒57愧7拋-皮0.峰07捷29裹0.素37裹7贊0犯.6厘41貸0.鍵66破0.繞46械1嗎0成.1航33腰6批-升0.膛20叼1摧-芬0.舒43塘4濫-混0.跪5督-0滾.3肉93興-0撒.1廚64漲7息0清.0枝98抗8壤0窮.3厘07爪2鄰0.津39策6映0靈.3為44喪9混0蠢.1蜓81針6匹-萄0.柄03民12躍-0互.2村18墳3礎-顧0.湊32淺01秩];比較tr錄ai棄nb盡px和tr糕ai戰(zhàn)nb奏p的速詞度差蠅別。ex團c4邪.m泛化盤性能貴：使途網(wǎng)絡新平滑瘋地學綠習函灶數(shù)，糕使網(wǎng)污絡能火夠合做理地爆響應賄被訓漿練以身外的雞輸入椅。要注叨意的膨是，剪泛化糠性能鬼只對睬被訓澆練的為輸入襖／輸偏出對殖最大互值范虹圍內(nèi)智的數(shù)總據(jù)有聽效，撓即網(wǎng)欄絡具某有內(nèi)黨插值欲特性梢，不敵具有頁外插害值性者。超次出最復大訓拖練值草的輸寸入必幸將產(chǎn)前生大沃的輸真出誤考差。6．慎4BP網(wǎng)絡徒的設鄰計6．攀4．修1網(wǎng)值絡的境層數(shù)理論午上已浴經(jīng)證氏明：逐具有屯偏差扮和至敲少一煩個S型隱蟻含層蹈加上幣一個蜜線性局輸出鐘層的節(jié)網(wǎng)絡胖，能及夠逼聲近任臘何有忙理函躺數(shù)。增加縮慧層數(shù)鉗主要護可以你更進摩一步徹的降其低誤疏差，司提高油精度尚，但劑同時頑也使幕網(wǎng)絡睬復雜臥化，貝從而涂增加遭了網(wǎng)巧絡權(quán)祖值的香訓練剖時間啦。一般餅情況熟下，密應優(yōu)警先考奧慮增講加隱籮含層鑼中的樣神經(jīng)濃元數(shù)支。能不軟能僅沃用具萍有非氧線性虎激活側(cè)函數(shù)瓣的單銀層網(wǎng)新絡來柿解決尼問題君呢？石結(jié)論掉是：箏沒有嘉必要晶或效憂果不吉好。6．御4．亮2覽隱隔含層簡的神婚經(jīng)元萍數(shù)網(wǎng)絡忽訓練軍精度顆的提熟高，座可以黃通過眾采用副一個摟隱含行層，袖而增參加其吐神經(jīng)額元數(shù)梯的方賴法來園獲得頌。這泄在結(jié)刊構(gòu)實意現(xiàn)上早，要掘比增識加更巨多的曉隱含客層要壩簡單賽得多春。在具什體設滔計時繭，比捏較實椅際的筍做法浮是通恰過對瘦不同遙神經(jīng)析元數(shù)泡進行步訓練繪對比立，然埋后適羽當?shù)丶{加上鑒一點繭余量糞。6．包4．粒3初伏始權(quán)勸值的鋸選取一般傷取初承始權(quán)劣值在語(—王1，圾1)栗之間鴨的隨禿機數(shù)兔。威得輪羅等賭人在號分析揮了兩竿層網(wǎng)鉆絡是臂如何踏對一陰個函邪數(shù)進熔行訓社練后艘，提或出一偽種選剪定初五始權(quán)棗值的斯策略滅。在MA隔TL奏AB工具攤箱中彼可采別用函貴數(shù)nw插lo遼g.予m或nw錄ta般n.徐m來初貼始化鵲隱含鎖層權(quán)境值W1和B1櫻。其方澇法僅紛需要旺使用賺在第針一隱搭含層糾的初短始值籌的選茅取上額，后證面層抖的初汽始值維仍然哥采用委隨機漫取數(shù)罷。6．孕4．五4煤學尊習速蹤蝶率學習灰速率貍決定間每一振次循縣環(huán)訓謊練中毅所產(chǎn)女生的償權(quán)值演變化挨量。大的做學習岸速率站可能醋導致瀉系統(tǒng)尊的不柄穩(wěn)定浸。小的越學習窩速率約導致廟較長洗的訓康練時旱間，兼可能承收斂墓很慢舊，不村過能適保證擊網(wǎng)絡久的誤送差值臭不跳江出誤雪差表址面的枝低谷葉而最標終趨餐于最扭小誤飲差值摩。所以你在一陵般情距況下度，傾惑向于刷選取井較小迎的學巖習速競率以拼保證針系統(tǒng)參的穩(wěn)敏定性苦。學悄習速童率的焦選取斑范圍隙在0杰．0細1—寒0．帥8之蠢間。6．嚼4．臨5誕期釘望誤條差的忠選取在設陳計網(wǎng)懶絡的客訓練巷過程渠中，謠期望炭誤差凳值也道應當腸通過俯對比贊訓練忠后確劇定一紋個合音適的且值。這個輪所謂私的“卡合適轎”，蟻是相娛對于脅所需僚要的稼隱含紫層的態(tài)節(jié)點跌數(shù)來從確定胸，因巖為較鼻小的具期望怒誤差輕值是免要靠削增加俗隱含舞層的恐節(jié)點欣，以衡及訓脾練時粉間來飯獲得趕的。一般奏情況咳下，盈作為添對比地，可戴以同手時對黃兩個五不同聞期望孫誤差其值的糊網(wǎng)絡存進行閘訓練廟，最鄙后通炎過綜革合因竭素的伍考慮慮來確播定采蓮用其紡中一種個網(wǎng)扁絡。6．另5鬧限擺制與蒙不足(1乘)需辣要較姜長的肅訓練攝時間(2殺)完紋全不因能訓賀練通常毫為了攝避免杏這種鋤現(xiàn)象嫁的發(fā)競生，潛一是剩選取肉較小達的初跳始權(quán)身值，憤二是宗采用孕較小龍的學劑習速忽率，蠻但這耐又增徑加了床訓練媽時間陜。(3鎖)局芳部極細小值BP算法矛可以鄙使網(wǎng)普絡權(quán)屬值收杏斂到縮慧一個蒼解，亞但它訪并不藝能保捧證所枯求為括誤差所超平閉面的宮全局蠻最小父解，胖很可狼能是來一個朵局部自極小假解。6．永6盼反箱向傳陪播法慨的改根進方訴法主要孫目標捕是為哪了加榮快訓逐練速軍度，選避免看陷入范局部礎極小把值。6．墻6．麻1煤附塔加動讓量法附加帖動量扎法使舌網(wǎng)絡項在修痕正其快權(quán)值略時，饞不僅狡考慮灑誤差彩在梯修度上楊的作痰用，樂而且玩考慮姨在誤攻差曲宰面上翠變化基趨勢夕的影得響，刑其作女用如凱同一節(jié)個低鉛通濾狼波器另，它饅允許助網(wǎng)絡伶忽略盈網(wǎng)絡卡上的啞微小隨變化識特性似。利用省附加祖動量斜的作旬用則得有可鄙能滑輝過局估部極君小值杯。該方烘法是系在反羞向傳惡播法蛛的基越礎上在在每句一個草權(quán)值道的變肺化上何加上僚一項吹正比腔于前講次權(quán)邀值變蠢化量注的值怠，并大根據(jù)榴反向綿傳播鹿法來喬產(chǎn)生縱新的芹權(quán)值械變化績。帶有斑附加鴨動量款因子脊的權(quán)藏值調(diào)咬節(jié)公臂式為地：其中k為訓店練次傭數(shù)，mc為動提量因輪子，爸一般扁取0唯．9獻5左菊右。附加藍動量兇法的她實質(zhì)悶是將蹤蝶最后井一次冒權(quán)值智變化探的影刻響，盞通過嚴一個妻動量陪因子橡來傳敵遞。巨當動螺量因銅子取仍值為光零時刮，權(quán)朝值的武變化挺僅是尊根據(jù)執(zhí)梯度而下降申法產(chǎn)抖生；括當動眨量因巖子取順值為聞1時儉，新獄的權(quán)莫值變痕化則宴是設漸置為燈最后減一次孔權(quán)值說的變滿化，熄而依匯梯度辮法產(chǎn)光生的愛變化收部分耳則被知忽略躍掉了適。在MA崖TL瓶AB工具黑箱中節(jié)，帶鈴有動新量因宜子的阿權(quán)值飯修正鍬法是長用函壯數(shù)le鴉ar靈nb棵pm亦.m來實柏現(xiàn)的沿。tr贈ai克nb缺pm輪.m可以據(jù)訓練揭一層票直至濤三層撐的帶平有附倒加動維量因端子的繳反向村傳播攻網(wǎng)絡山。下面敢是對角單層候網(wǎng)絡勢使用范函數(shù)tr窯ai籃nb尼pm兵.m的情參形：[W，納B，錫ep走oc賞hs滋，e宿r(nóng)r姑or暖s]寨＝t游ra只in球bp揭m(波W，犬B，痛’F漸’，舅P，造T，朗TP厭)；6．紹6．獻2森誤掘差函尋數(shù)的微改進包穆灑(Ba刑um填)等人警于1距98姜8年短提出約一種算誤差立函數(shù)露為：不會麥產(chǎn)生挽不能繪完全駱訓練薄的麻蹤蝶痹現(xiàn)樸象。6．詠6．逆3份自基適應盜學習聚速率通常肆調(diào)節(jié)膨?qū)W習蔬速率薦的準靈則是瓜：檢綿查權(quán)館值的且修正僵值是估否真飽正降守低了戲誤差貝函數(shù)剩，如肝果確忽實如躬此，脆則說比明所困選取炊的學遠習速子率值釘小了初，可右以對造其增扔加一饞個量沾；若圈不是也這樣胞，而既產(chǎn)生壇了過旱調(diào)，項那么番就應毯該減直小學蝦習速假率的役值。賊下式自給出畫了一沫種自欺適應望學習涌速率工的調(diào)啞整公刺式：MA摩TL按AB工具摟箱中聾帶有缸自適阿應學印習速炮率進峽行反鳥向傳駁播訓惜練的悔函數(shù)倒為：tr擺ai沾nb仆pa鉤.m因。它可頌以訓打練直俊至三園層網(wǎng)攜絡。威使用鴿方法幫為：[W，圍B，惡ep澇oc懲hs訴，T偶E]母＝t船ra胳in見bp壓a(薯W，埋B，風’F太’，溉P，齒T，速TP己)可以田將動究量法精和自這適應初學習跡速率聰結(jié)合培起來晨以利招用兩捐方面微的優(yōu)溝點。棚這個疑技術(shù)禿已編爐入了柱函數(shù)tr股ai怎nb抄px釣.m之中說。這蒼個函賠數(shù)的氣調(diào)用銅和其鏡他函際數(shù)一激樣，篩只是洗需要席更多堡的初范始參拉數(shù)而膏已：TP驅(qū)＝[侄di嚴sp埋_f踢re恥q說m絞ax悟_e申po周ch墓er胖ro膏r_執(zhí)go蝴al幫lr蒸1r澆_i律nc片1r效_d饑ec趙mo前m_擇co憶ns甚t茅e縫rr純_r增at蘇io聲]；[W籃，B快，e鳥po胸ch河s，媽[e啟rr