人工神經(jīng)網(wǎng)絡-BP

1、2021/4/2612021/4/262人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡 是是生物神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡的某種模型的某種模型( (數(shù)學模型數(shù)學模型) ) 是對生物神經(jīng)網(wǎng)絡的模仿是對生物神經(jīng)網(wǎng)絡的模仿 基本處理單元為基本處理單元為人工神經(jīng)元人工神經(jīng)元2021/4/263 大量大量的廣泛、復雜連接，形成的廣泛、復雜連接，形成實現(xiàn)各種智能活動實現(xiàn)各種智能活動 2021/4/264 2021/4/265(2)(2)生物神經(jīng)元的基本特征生物神經(jīng)元的基本特征 神經(jīng)元之間彼此神經(jīng)元之間彼此 神經(jīng)元之間的神經(jīng)元之間的連接強度連接強度決定決定的強弱的強弱 神經(jīng)元之間的神經(jīng)元之間的可以可以 學習、遺忘、疲勞學習、遺忘、疲勞

2、 -神經(jīng)網(wǎng)絡中各神經(jīng)元之間神經(jīng)網(wǎng)絡中各神經(jīng)元之間，按外部的，按外部的激勵信號做激勵信號做 信號可以起信號可以起作用，也可以起作用，也可以起作用作用 一個神經(jīng)元接受信號的一個神經(jīng)元接受信號的決定該神經(jīng)元的決定該神經(jīng)元的 每個神經(jīng)元可以有一個每個神經(jīng)元可以有一個2021/4/266是是對對的的模模擬擬。 大大量量簡簡單單的的以以某某種種形形式式連連接接，形形成成一一個個. . 其其中中某某些些因因素素，如如: :連連接接連連接接，其其大大小小決決定定信信號號傳傳遞遞強強弱弱) ); ; , ,神神經(jīng)經(jīng)元元的的輸輸入入輸輸出出特特性性) ); ;甚甚至至等等， 可可依依某某種種規(guī)規(guī)則則隨隨外外部部數(shù)

3、數(shù)據(jù)據(jù) 進進人人工工神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡絡計計算算單單元元（結(jié)結(jié)點點，神神經(jīng)經(jīng)元元）網(wǎng)網(wǎng)絡絡強強度度行行適適當當調(diào)調(diào)整整，最最終終實實現(xiàn)現(xiàn)某某種種功功能能。 ( (權權值值結(jié)結(jié)點點 神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡絡計計算算特特性性( (激激活活特特性性網(wǎng)網(wǎng)絡絡結(jié)結(jié)的的計計算算通通過過網(wǎng)網(wǎng)絡絡結(jié)結(jié)構(gòu)構(gòu)實實現(xiàn)現(xiàn)； 生生 物物神神經(jīng)經(jīng) 構(gòu)構(gòu)系系 統(tǒng)統(tǒng) 不不同同網(wǎng)網(wǎng)絡絡結(jié)結(jié)構(gòu)構(gòu)可可以以體體現(xiàn)現(xiàn)各各種種不不同同的的功功能能； 網(wǎng)網(wǎng)絡絡結(jié)結(jié)構(gòu)構(gòu)的的是是通通過過逐逐漸漸參參數(shù)數(shù)學學習習修修正正的的。2021/4/267McCulloch-PittsMcCulloch-Pitts神經(jīng)元模型神經(jīng)元模型輸入信號；鏈接強度與權向量；輸入

4、信號；鏈接強度與權向量；信號累積信號累積激活與抑制激活與抑制2021/4/26800權值，激活 連接權值，突觸連接強度權值，抑制 輸入信號關于神經(jīng)元突觸的線性加權 將神經(jīng)元的輸出信號限制在有限范圍內(nèi) 一組連接 一個加法器一個激勵函數(shù)人工神經(jīng)元模型的三要素 :2021/4/269,.,.,1n1ni= xx=,維輸入向量 是來自其它 個神經(jīng)元的輸出； 也可以是來自外部的輸入信號維權向量 相當于突觸的連接強度。TTnxxnnWR輸輸 入入信信號號權權向向量量2021/4/26101()iinetxynet 單調(diào)增函數(shù)，通常為非線性函數(shù)網(wǎng)絡輸入 -神經(jīng)元的輸入興奮總量是多個輸入的代數(shù)和 其中輸出 標

5、量 -執(zhí)行該神經(jīng)元所獲得的網(wǎng)絡輸入的變換niW xf 轉(zhuǎn)轉(zhuǎn)移移函函數(shù)數(shù), ,激激勵勵 激激活活 函函數(shù)數(shù) 傳傳輸輸函函數(shù)數(shù)，輸輸出出函函數(shù)數(shù)，限限幅幅函函數(shù)數(shù) 將將可可能能的的無無線線域域變變換換到到指指定定的的有有限限范范圍圍輸輸出出。-單單輸輸出出()()傳傳遞遞函函數(shù)數(shù)9、 人的價值，在招收誘惑的一瞬間被決定。2022-3-62022-3-6Sunday, March 06, 202210、低頭要有勇氣，抬頭要有低氣。2022-3-62022-3-62022-3-63/6/2022 8:05:24 PM11、人總是珍惜為得到。2022-3-62022-3-62022-3-6Mar-226

6、-Mar-2212、人亂于心，不寬余請。2022-3-62022-3-62022-3-6Sunday, March 06, 202213、生氣是拿別人做錯的事來懲罰自己。2022-3-62022-3-62022-3-62022-3-63/6/202214、抱最大的希望，作最大的努力。2022年3月6日星期日2022-3-62022-3-62022-3-615、一個人炫耀什么，說明他內(nèi)心缺少什么。2022年3月2022-3-62022-3-62022-3-63/6/202216、業(yè)余生活要有意義，不要越軌。2022-3-62022-3-6March 6, 202217、一個人即使已登上頂峰，也仍

7、要自強不息。2022-3-62022-3-62022-3-62022-3-62021/4/2612(1) (1) 基本的人工神經(jīng)元模型基本的人工神經(jīng)元模型1()iinetbpbynet若帶偏置量，則有 標量niW pf-單單輸輸出出()()2021/4/2613(2) (2) 輸出函數(shù)輸出函數(shù)f0,f net = k net+cnetf netnetnetnet ： 為常數(shù)，稱飽和值，是該神經(jīng)單元的最大輸出； 輸出函數(shù)值限制在范圍內(nèi)。(Ramp Function)bkbbb bA.線性函數(shù)B.非線性斜數(shù) 函 面2021/4/2614(2) (2) 輸出函數(shù)輸出函數(shù)f, ,1 net0f net

8、 = sgn net =-1 net 0hardlims netf net =- net 型函數(shù)，不可微；對稱硬極限函數(shù)； 雙極函數(shù) 函數(shù) 其中非負實數(shù) signmatlabC.符號函數(shù)D.閾值函數(shù)2021/4/2615(2) (2) 輸出函數(shù)輸出函數(shù)f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的學習算法要求輸出函數(shù)可微 ， 值域， 對數(shù)S型函數(shù)雙曲 函數(shù)： 值域， 函正切S數(shù)型函數(shù)netfematlabeeftheE sigmoidSeematlab函數(shù)型函數(shù)連續(xù)可微tansig：非線性，單調(diào)； 無限次可微較小時(權值較小)，可近似線性函

9、數(shù) -高增益區(qū)處理小信號較大時(權值較大)，可近似閾值函數(shù). -低增益區(qū)處理大信號netnet2021/4/2616()網(wǎng)絡結(jié)構(gòu)或拓撲(連接形式)神經(jīng)元的計算特性 傳遞函數(shù)學習規(guī)則上述要素不同組合，形成各種神經(jīng)網(wǎng)絡模型3. 人工神經(jīng)網(wǎng)絡三個要素2021/4/2617 23HopfieldSOM.1 網(wǎng)絡 神經(jīng)網(wǎng)絡feedfroward networkfeedback networkcompetitive learning network4 神經(jīng)網(wǎng)絡三種基本前饋型模神經(jīng)網(wǎng)絡-反饋網(wǎng)絡競爭學習重點介紹網(wǎng)絡型多多層層感感知知器器 B BP P網(wǎng)網(wǎng)絡絡 R RB BF F網(wǎng)網(wǎng)絡絡2021/4/2618

10、 自學習 自適應 并行處理 分布表達與計算回歸 狀態(tài)預測 可應用到眾多領域,如： 優(yōu)化計算；信號處理；智能控制； 模式識別；機器視覺；等等。神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡應用神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡絡本本質(zhì)質(zhì)上上，可可以以理理解解為為函函數(shù)數(shù)逼逼近近2021/4/26192021/4/2620 各神經(jīng)元接受來自前級的輸入，并產(chǎn)生輸出到下一級，各神經(jīng)元接受來自前級的輸入，并產(chǎn)生輸出到下一級，可用一有向無環(huán)圖表示。，可用一有向無環(huán)圖表示。 網(wǎng)絡中的節(jié)點分兩類：網(wǎng)絡中的節(jié)點分兩類： 節(jié)點按層節(jié)點按層(layer)(layer)組織組織 ： 第第i i層的輸入只與第層的輸入只與第i i-1 -1層的輸出相連。層的輸出相連

11、。 輸入信號由輸入層輸入輸入信號由輸入層輸入, ,由第一層節(jié)點輸出，傳向下層，由第一層節(jié)點輸出，傳向下層，。- (input layer) (input layer) 輸入節(jié)點所在層，無計算能力輸入節(jié)點所在層，無計算能力 (output layer) (output layer) 節(jié)點為神經(jīng)元節(jié)點為神經(jīng)元 中間層，節(jié)點為神經(jīng)元中間層，節(jié)點為神經(jīng)元2021/4/26212021/4/26222. 2. 感知器神經(jīng)網(wǎng)絡感知器神經(jīng)網(wǎng)絡( (感知器感知器) )、感知器神經(jīng)元、感知器神經(jīng)元2021/4/26231 net0f net = sgn net =-1 net 0hardlims1 net0ha

12、rdlim net =0 net 0對稱硬極限函數(shù) 函數(shù) matlab符號函數(shù)2. 2. 感知器神經(jīng)網(wǎng)絡、感知器神經(jīng)元感知器神經(jīng)網(wǎng)絡、感知器神經(jīng)元( (續(xù)續(xù)) )2021/4/2624 單個閾值神經(jīng)元可以實現(xiàn)的與與、或或及、邏輯門。 任何邏輯函數(shù)可由兩層前饋網(wǎng)絡（一層計任何邏輯函數(shù)可由兩層前饋網(wǎng)絡（一層計算單元）實現(xiàn)算單元）實現(xiàn)。 多層感知器的適用范圍大大超過單層網(wǎng)絡。2021/4/26252021/4/2626 0111,.,iji0ji=kk1xgygnetvv c 第 個隱含層的第 個節(jié)點的凈輸入輸出層的第 個節(jié)點的凈輸入類，c個判別函數(shù) 可表達更為復雜的非線性函數(shù)不一定為符號函數(shù) nk

13、kjkkjjmkxxkc輸出單元的輸出隱含層單一般的前饋運算 元 激活函數(shù) 常要求激活函數(shù)是連續(xù)可微的輸出層與隱含層的激活函數(shù)可以不同，并且輸出層各單元的激活函數(shù)可有所區(qū)別2021/4/2627 2Kolmogorov 按照定理,任何一個判決均可用前式所示的三層神經(jīng)網(wǎng)絡實現(xiàn)。即： 只要給定足夠數(shù)量的隱含層單元、適當?shù)姆蔷€性函數(shù)、以及權值， 任何由輸入向輸出的連續(xù)映射函數(shù)均可用一個實現(xiàn)。三層前饋神經(jīng)多層網(wǎng)網(wǎng)絡能力絡的表達2021/4/26282021/4/26292021/4/26302021/4/2631 1011,20121301,.,14B,.,P-1=維輸入向量 層神經(jīng)網(wǎng)絡層號 輸入層層

14、號 隱含層層號 輸出層各層節(jié)點 輸入節(jié)點，計算節(jié)點 數(shù)目， 輸入層輸出層相鄰層連接權值 來自與第層的當前的連接節(jié)點第 層節(jié)點權值TnlLlijnxxxLllLlLnlLnnnliljm算法訓練過程描述約定：標準化2021/4/2632 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 層為當前處理層； 其前一層、當前層 、后一層的計算單元序號為； 位于當前層第 個計算單元的輸出為， 前層第 個單元到本層第 個單元的連接權值為 本層第 個單元到后層第 個單元的連接權值為注：采用修正權值，輸出函數(shù)應連續(xù)可微，選ljllijlljkllllljninknsigm算法訓練過程描述假

15、假定定梯梯度度法法函數(shù)。oid2021/4/2633 111,1,. ,111. jjnetOOn tle-=+從樣本集內(nèi)取出一個樣本,將 各分量從輸入層輸入至網(wǎng)絡,由前向后，逐層得到各的：對于的第 個計算單元, 該單元的 ljlnlnllljijiilljjetllljjjx Dxyefnetf netf netnf1 1 輸入信號的正向傳遞過計算單元實際輸出當前層凈輸入實際輸出程若當前層為111,.,jyyydyy，則計算單元預測輸出 且給定輸出 TljjmTjmlLOyD實際輸出輸輸理想出出層2021/4/2634 122122111111,.,112211221xx-=最小誤差平方和。

16、 某樣本在網(wǎng)絡產(chǎn)生的為 樣本集內(nèi)所有樣本關于該網(wǎng)絡的 輸出層節(jié)點 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 誤差反向傳播過程I 輸出誤差準則函數(shù) 輸出層 各節(jié)點輸出誤差總輸出誤差凈輸入2121111-+ LjLnLinetiLjeO實際輸出2021/4/2635 2211212211111121,.,11,.,121122=隱含層 輸出層 輸出層與前一層的實際輸出 輸出誤差 輸出層誤差計算元的單LLLiLjLinLLjjiimmjjjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII 輸出層的權調(diào)值調(diào)整 連接整

17、權值 111111局部梯度 LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydf netf nEnetyydeyt2021/4/2636 212111111111111211111.1= 修正應使誤差 最快減 續(xù)小 LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII 輸出層的權值調(diào)整權值對誤差 的影響輸出層的權值調(diào)整 修正量 221111.11 LLiiLLLLijijijijjjjjydyttyOOBt修正方式 2021/4/2637111111111,.,1,.,

18、11節(jié)點后層中的節(jié)點 的輸出 輸出層誤差 關于隱含層 的節(jié)點 凈輸入的局對后層全部節(jié)點部梯度：均有 影響 llllijnnlllkjkjkjjlkllllljljjjkinljljlIIInf nkOfffEnetnenelkOljEEttetne隱含層 當前層當調(diào)整 值前層的權111111111111111= llllljllljjlknknnllllkjkkjkkknliiljljjiljljnetOOfnetOetOOn t2021/4/263811111111111111111,.,1, .,1.= llllllijnljlkjnnllllkjkkjkkllljllljjjlljljl

19、jknliilklkjijiinljEnetnOOneIIInnetfnetOOEnetOett當前層隱含層的權 權值值調(diào)整 11111111 權值修正 lllilijnlllllijjjjkjlljljklkijlllijijlilijijijOEnnetOetOEEOOttt對誤差 的影響2021/4/2639 ()11 續(xù) ijijijijjiijttttOt為為加加快快收收斂斂速速度度，往往往往在在權權值值 修修正正量量中中加加上上前前次次的的權權值值修修正正 量量，稱稱為為。2引入慣性誤差反向傳播過程慣性項項： 權值修正2021/4/2640,00011.3.10.3.9BP 輸入向

20、量,期望輸出 ，如 小隨機數(shù) 如：之間 通常固定之間；也可動態(tài)調(diào)整 通常之間包括 輸入層節(jié)點數(shù)；隱含層數(shù)目；各隱含層節(jié)點數(shù)目； 輸出層節(jié)點數(shù)；各神經(jīng)元節(jié)點的激活函數(shù)最大可允許迭代ppxDSTEP訓練樣本權值初始化首先明確學習步長慣性算法步驟樣本集的標準化沖量 項系數(shù)確定神經(jīng)網(wǎng)絡結(jié)構(gòu)，設定終止條件：處理；0次數(shù) 硬條件 ； 訓練精度 軟條件記訓練時間時間t以小隨機數(shù)初始化網(wǎng)絡權值；2021/4/2641 111121121,2,1mj=1yfy DBP：按隨機或任意順序從訓練集中抽取1個訓練樣本 計算輸入 時，當前網(wǎng)絡的續(xù)TnnTmmTnl LlrsrjknliisjiSTEPx DxxxRdd

21、Rxyyffx重復如下過程直至滿足算法終止條件 樣本輸入 期望輸出 實際輸 出算法步驟 2121,.,1111 激活函數(shù)其中Lnrmfeefffe2021/4/2642 11311,.,1,.,111,., BP -1 對于第 層，修正權值 權值修正項 輸出層 ，具體為 間層：中l(wèi)llijijijllllijiljjjjljjltttinjntxlLyydyjml算法步權驟調(diào)整值從從 輸輸出出層層開開始始 1111111,., lnllllljjjkjkklLxxtjn2021/4/2643 41B1P1213 更新全部權值，對所有訓練樣本重新計算輸出； 計算更新后網(wǎng)絡輸出與期望輸出的誤差；

22、檢查算法若不滿足終止條件，則 ,轉(zhuǎn)向若條件滿足，則終止，轉(zhuǎn)向：算法結(jié)束.輸出各層連接權值。可以是如下之一：網(wǎng)絡實際輸出與期望輸出 最近 輪訓練中所有權值變化 算法達到最大允tt +1STEP3STEP3終止條件 終止條件總誤差最大值算法步驟閾值閾值2= 許的 閾值3 總訓練次數(shù)2021/4/26442021/4/2645。2021/4/26462021/4/2647 建模前輸入輸出數(shù)據(jù)的預處理建模前輸入輸出數(shù)據(jù)的預處理正向標準化正向標準化 建模后輸入輸出數(shù)據(jù)的后處理建模后輸入輸出數(shù)據(jù)的后處理反向標準化反向標準化特征的平移特征的平移特征的尺度調(diào)整特征的尺度調(diào)整0,1,-1,1,-0,1,-1,1

23、,-a,aa,a,0,a0,a 2021/4/2648 11,1,., ,1,.1.,0,1min1,.,maxminmin1maxminxxyy給定樣本集 標準化處理后的樣本集 TdiiidiiTmiiimiiikjkikjkjkikjkikjkjkxRxyinyRxyinxxxkdxxyyykyyA. 線性映回歸模型中的輸入 / 輸出數(shù)射至據(jù)的預處理,.,m2021/4/26491,12min1,.,maxmin2min1,.,maxmin1,.,1,. 1 1 ikjkikjkjkikjkikjkjkikjkikjkikjkikjkxxxkdxxyyykmyyxmean xxkdxyme

24、an yykyB.線性映射至C.基于樣本標準差及樣本均值的線性映射,m2021/4/2650 1,0,1 maxminmin1,.2.,yyyy給定標準化處理之后的某個輸入樣本神經(jīng)網(wǎng)絡回歸模型關于該輸入產(chǎn)生預測輸出對進行反向標準化后處理得最終預測輸出 下面給出具體的后處理方式。 Tmkkjkjkjkxxyyyyyyykm回歸模型中的輸出A. 若標準數(shù)據(jù)化為線性后處理預處理式的模映射至2021/4/2651 1,1maxmin 1min21,.,1,.2.,yy+=+ jkjkkkjkkkjkjkyyykmyyymean ykmB. 若輸出的標準化為線性映射至C.基于樣本標準差及樣本均值的反向線

25、性映射回歸模型中的輸出后處理預處理數(shù)據(jù)的模式2021/4/2652 1,1,., ,1,.,1,2.,0,11,10,1min1,.,maxminyxx-給定樣本集 標準化處理后的樣本集，或或 iiTdiiidiiiikjkikjkjkxinxRxyinyCxxxkdxxA.預 輸出的標準化處理 B. 將輸入各分量線性映射3 狀態(tài)預測模型 分類模型 中的輸入 / 輸?shù)奶幚沓鲋翑?shù)據(jù)2021/4/26531,12min1,.,maxmin1,., 1 ikjkikjkjkikjkikjkxxxkdxxxmean xxkdxC.將輸入各分量線性線性映射至D.基于樣本標準差及樣本均值的輸入各分量線性映

26、射2021/4/2654對多層網(wǎng)絡要確定選用幾個隱含層？對多層網(wǎng)絡要確定選用幾個隱含層？19881988年年CybenkoCybenko指出，若各節(jié)點均采用指出，若各節(jié)點均采用S S型函型函數(shù)，則數(shù)，則 一個隱含層一個隱含層足以實現(xiàn)任意判決分類問題；足以實現(xiàn)任意判決分類問題； 兩個隱含層兩個隱含層足以實現(xiàn)輸入圖形的任意輸出足以實現(xiàn)輸入圖形的任意輸出2021/4/26552021/4/2656取決于取決于: : 輸出的表示方法輸出的表示方法; ; 類別數(shù)目；類別數(shù)目； 待逼近的函數(shù)數(shù)目。待逼近的函數(shù)數(shù)目。(3)(3)輸出節(jié)點數(shù)是待逼近的函數(shù)個數(shù)輸出節(jié)點數(shù)是待逼近的函數(shù)個數(shù)2021/4/26572

27、021/4/26582,1010logIoHIHHIoHn nnnnnnnaann輸入,輸出層節(jié)點數(shù)隱含層節(jié)點數(shù) 2021/4/26592021/4/26601.狀態(tài)預測狀態(tài)預測-參考參考MATLAB神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡30個案例分析個案例分析例例.基于基于BP神經(jīng)網(wǎng)絡的數(shù)據(jù)分類神經(jīng)網(wǎng)絡的數(shù)據(jù)分類四類語音特征信號分析四類語音特征信號分析每組語音信號為24維輸入；四類語音信號：民歌、古箏、搖滾、流形共計2000組語音信號要求：基于BP網(wǎng)絡設計一個語音信號類別預測模型代碼：見案例12021/4/26612021/4/26622. 回歸估計回歸估計例：基于例：基于BP神經(jīng)網(wǎng)絡的公路運量神經(jīng)網(wǎng)絡的公路運量(客運量、貨運量客運量、貨運量)預測預測公路運量與該地區(qū)人數(shù)、機動車數(shù)量、公路面積有關。已知某地區(qū)20年的公路運量有關數(shù)據(jù)，對于未來某兩年，若明確該地區(qū)人數(shù)、機動車數(shù)量、公路面積，要求：預測該地區(qū)的公路運量。分析：(1)明確模型輸入輸出關系(2)建模： 原始數(shù)據(jù)讀取；數(shù)據(jù)標準化處理；網(wǎng)絡訓練；(3)模型評價：