人工神經(jīng)網(wǎng)絡(luò)-BP

1、2021/4/2612021/4/262人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 是是生物神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)的某種模型的某種模型( (數(shù)學(xué)模型數(shù)學(xué)模型) ) 是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模仿是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模仿 基本處理單元為基本處理單元為人工神經(jīng)元人工神經(jīng)元2021/4/263 大量大量的廣泛、復(fù)雜連接，形成的廣泛、復(fù)雜連接，形成實(shí)現(xiàn)各種智能活動(dòng)實(shí)現(xiàn)各種智能活動(dòng) 2021/4/264 2021/4/265(2)(2)生物神經(jīng)元的基本特征生物神經(jīng)元的基本特征 神經(jīng)元之間彼此神經(jīng)元之間彼此 神經(jīng)元之間的神經(jīng)元之間的連接強(qiáng)度連接強(qiáng)度決定決定的強(qiáng)弱的強(qiáng)弱 神經(jīng)元之間的神經(jīng)元之間的可以可以 學(xué)習(xí)、遺忘、疲勞學(xué)習(xí)、遺忘、疲勞

2、 -神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間，按外部的，按外部的激勵(lì)信號(hào)做激勵(lì)信號(hào)做 信號(hào)可以起信號(hào)可以起作用，也可以起作用，也可以起作用作用 一個(gè)神經(jīng)元接受信號(hào)的一個(gè)神經(jīng)元接受信號(hào)的決定該神經(jīng)元的決定該神經(jīng)元的 每個(gè)神經(jīng)元可以有一個(gè)每個(gè)神經(jīng)元可以有一個(gè)2021/4/266是是對(duì)對(duì)的的模模擬擬。 大大量量簡(jiǎn)簡(jiǎn)單單的的以以某某種種形形式式連連接接，形形成成一一個(gè)個(gè). . 其其中中某某些些因因素素，如如: :連連接接連連接接，其其大大小小決決定定信信號(hào)號(hào)傳傳遞遞強(qiáng)強(qiáng)弱弱) ); ; , ,神神經(jīng)經(jīng)元元的的輸輸入入輸輸出出特特性性) ); ;甚甚至至等等， 可可依依某某種種規(guī)規(guī)則則隨隨外外部部數(shù)

3、數(shù)據(jù)據(jù) 進(jìn)進(jìn)人人工工神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)計(jì)計(jì)算算單單元元（結(jié)結(jié)點(diǎn)點(diǎn)，神神經(jīng)經(jīng)元元）網(wǎng)網(wǎng)絡(luò)絡(luò)強(qiáng)強(qiáng)度度行行適適當(dāng)當(dāng)調(diào)調(diào)整整，最最終終實(shí)實(shí)現(xiàn)現(xiàn)某某種種功功能能。 ( (權(quán)權(quán)值值結(jié)結(jié)點(diǎn)點(diǎn) 神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)計(jì)計(jì)算算特特性性( (激激活活特特性性網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)的的計(jì)計(jì)算算通通過過網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu)實(shí)實(shí)現(xiàn)現(xiàn)； 生生 物物神神經(jīng)經(jīng) 構(gòu)構(gòu)系系 統(tǒng)統(tǒng) 不不同同網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu)可可以以體體現(xiàn)現(xiàn)各各種種不不同同的的功功能能； 網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu)的的是是通通過過逐逐漸漸參參數(shù)數(shù)學(xué)學(xué)習(xí)習(xí)修修正正的的。2021/4/267McCulloch-PittsMcCulloch-Pitts神經(jīng)元模型神經(jīng)元模型輸入信號(hào)；鏈接強(qiáng)度與權(quán)向量；輸入

4、信號(hào)；鏈接強(qiáng)度與權(quán)向量；信號(hào)累積信號(hào)累積激活與抑制激活與抑制2021/4/26800權(quán)值，激活 連接權(quán)值，突觸連接強(qiáng)度權(quán)值，抑制 輸入信號(hào)關(guān)于神經(jīng)元突觸的線性加權(quán) 將神經(jīng)元的輸出信號(hào)限制在有限范圍內(nèi) 一組連接 一個(gè)加法器一個(gè)激勵(lì)函數(shù)人工神經(jīng)元模型的三要素 :2021/4/269,.,.,1n1ni= xx=,維輸入向量 是來自其它 個(gè)神經(jīng)元的輸出； 也可以是來自外部的輸入信號(hào)維權(quán)向量 相當(dāng)于突觸的連接強(qiáng)度。TTnxxnnWR輸輸 入入信信號(hào)號(hào)權(quán)權(quán)向向量量2021/4/26101()iinetxynet 單調(diào)增函數(shù)，通常為非線性函數(shù)網(wǎng)絡(luò)輸入 -神經(jīng)元的輸入興奮總量是多個(gè)輸入的代數(shù)和 其中輸出 標(biāo)

5、量 -執(zhí)行該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換niW xf 轉(zhuǎn)轉(zhuǎn)移移函函數(shù)數(shù), ,激激勵(lì)勵(lì) 激激活活 函函數(shù)數(shù) 傳傳輸輸函函數(shù)數(shù)，輸輸出出函函數(shù)數(shù)，限限幅幅函函數(shù)數(shù) 將將可可能能的的無無線線域域變變換換到到指指定定的的有有限限范范圍圍輸輸出出。-單單輸輸出出()()傳傳遞遞函函數(shù)數(shù)9、 人的價(jià)值，在招收誘惑的一瞬間被決定。2022-3-62022-3-6Sunday, March 06, 202210、低頭要有勇氣，抬頭要有低氣。2022-3-62022-3-62022-3-63/6/2022 8:05:24 PM11、人總是珍惜為得到。2022-3-62022-3-62022-3-6Mar-226

6、-Mar-2212、人亂于心，不寬余請(qǐng)。2022-3-62022-3-62022-3-6Sunday, March 06, 202213、生氣是拿別人做錯(cuò)的事來懲罰自己。2022-3-62022-3-62022-3-62022-3-63/6/202214、抱最大的希望，作最大的努力。2022年3月6日星期日2022-3-62022-3-62022-3-615、一個(gè)人炫耀什么，說明他內(nèi)心缺少什么。2022年3月2022-3-62022-3-62022-3-63/6/202216、業(yè)余生活要有意義，不要越軌。2022-3-62022-3-6March 6, 202217、一個(gè)人即使已登上頂峰，也仍

7、要自強(qiáng)不息。2022-3-62022-3-62022-3-62022-3-62021/4/2612(1) (1) 基本的人工神經(jīng)元模型基本的人工神經(jīng)元模型1()iinetbpbynet若帶偏置量，則有 標(biāo)量niW pf-單單輸輸出出()()2021/4/2613(2) (2) 輸出函數(shù)輸出函數(shù)f0,f net = k net+cnetf netnetnetnet ： 為常數(shù)，稱飽和值，是該神經(jīng)單元的最大輸出； 輸出函數(shù)值限制在范圍內(nèi)。(Ramp Function)bkbbb bA.線性函數(shù)B.非線性斜數(shù) 函 面2021/4/2614(2) (2) 輸出函數(shù)輸出函數(shù)f, ,1 net0f net

8、 = sgn net =-1 net 0hardlims netf net =- net 型函數(shù)，不可微；對(duì)稱硬極限函數(shù)； 雙極函數(shù) 函數(shù) 其中非負(fù)實(shí)數(shù) signmatlabC.符號(hào)函數(shù)D.閾值函數(shù)2021/4/2615(2) (2) 輸出函數(shù)輸出函數(shù)f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的學(xué)習(xí)算法要求輸出函數(shù)可微 ， 值域， 對(duì)數(shù)S型函數(shù)雙曲 函數(shù)： 值域， 函正切S數(shù)型函數(shù)netfematlabeeftheE sigmoidSeematlab函數(shù)型函數(shù)連續(xù)可微tansig：非線性，單調(diào)； 無限次可微較小時(shí)(權(quán)值較小)，可近似線性函

9、數(shù) -高增益區(qū)處理小信號(hào)較大時(shí)(權(quán)值較大)，可近似閾值函數(shù). -低增益區(qū)處理大信號(hào)netnet2021/4/2616()網(wǎng)絡(luò)結(jié)構(gòu)或拓?fù)?連接形式)神經(jīng)元的計(jì)算特性 傳遞函數(shù)學(xué)習(xí)規(guī)則上述要素不同組合，形成各種神經(jīng)網(wǎng)絡(luò)模型3. 人工神經(jīng)網(wǎng)絡(luò)三個(gè)要素2021/4/2617 23HopfieldSOM.1 網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)feedfroward networkfeedback networkcompetitive learning network4 神經(jīng)網(wǎng)絡(luò)三種基本前饋型模神經(jīng)網(wǎng)絡(luò)-反饋網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)重點(diǎn)介紹網(wǎng)絡(luò)型多多層層感感知知器器 B BP P網(wǎng)網(wǎng)絡(luò)絡(luò) R RB BF F網(wǎng)網(wǎng)絡(luò)絡(luò)2021/4/2618

10、 自學(xué)習(xí) 自適應(yīng) 并行處理 分布表達(dá)與計(jì)算回歸 狀態(tài)預(yù)測(cè) 可應(yīng)用到眾多領(lǐng)域,如： 優(yōu)化計(jì)算；信號(hào)處理；智能控制； 模式識(shí)別；機(jī)器視覺；等等。神經(jīng)網(wǎng)絡(luò)特點(diǎn)神經(jīng)網(wǎng)絡(luò)應(yīng)用神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)本本質(zhì)質(zhì)上上，可可以以理理解解為為函函數(shù)數(shù)逼逼近近2021/4/26192021/4/2620 各神經(jīng)元接受來自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，各神經(jīng)元接受來自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，可用一有向無環(huán)圖表示。，可用一有向無環(huán)圖表示。 網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類：網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類： 節(jié)點(diǎn)按層節(jié)點(diǎn)按層(layer)(layer)組織組織 ： 第第i i層的輸入只與第層的輸入只與第i i-1 -1層的輸出相連。層的輸出相連

11、。 輸入信號(hào)由輸入層輸入輸入信號(hào)由輸入層輸入, ,由第一層節(jié)點(diǎn)輸出，傳向下層，由第一層節(jié)點(diǎn)輸出，傳向下層，。- (input layer) (input layer) 輸入節(jié)點(diǎn)所在層，無計(jì)算能力輸入節(jié)點(diǎn)所在層，無計(jì)算能力 (output layer) (output layer) 節(jié)點(diǎn)為神經(jīng)元節(jié)點(diǎn)為神經(jīng)元 中間層，節(jié)點(diǎn)為神經(jīng)元中間層，節(jié)點(diǎn)為神經(jīng)元2021/4/26212021/4/26222. 2. 感知器神經(jīng)網(wǎng)絡(luò)感知器神經(jīng)網(wǎng)絡(luò)( (感知器感知器) )、感知器神經(jīng)元、感知器神經(jīng)元2021/4/26231 net0f net = sgn net =-1 net 0hardlims1 net0ha

12、rdlim net =0 net 0對(duì)稱硬極限函數(shù) 函數(shù) matlab符號(hào)函數(shù)2. 2. 感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元( (續(xù)續(xù)) )2021/4/2624 單個(gè)閾值神經(jīng)元可以實(shí)現(xiàn)的與與、或或及、邏輯門。 任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計(jì)任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計(jì)算單元）實(shí)現(xiàn)算單元）實(shí)現(xiàn)。 多層感知器的適用范圍大大超過單層網(wǎng)絡(luò)。2021/4/26252021/4/2626 0111,.,iji0ji=kk1xgygnetvv c 第 個(gè)隱含層的第 個(gè)節(jié)點(diǎn)的凈輸入輸出層的第 個(gè)節(jié)點(diǎn)的凈輸入類，c個(gè)判別函數(shù) 可表達(dá)更為復(fù)雜的非線性函數(shù)不一定為符號(hào)函數(shù) nk

13、kjkkjjmkxxkc輸出單元的輸出隱含層單一般的前饋運(yùn)算 元 激活函數(shù) 常要求激活函數(shù)是連續(xù)可微的輸出層與隱含層的激活函數(shù)可以不同，并且輸出層各單元的激活函數(shù)可有所區(qū)別2021/4/2627 2Kolmogorov 按照定理,任何一個(gè)判決均可用前式所示的三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。即： 只要給定足夠數(shù)量的隱含層單元、適當(dāng)?shù)姆蔷€性函數(shù)、以及權(quán)值， 任何由輸入向輸出的連續(xù)映射函數(shù)均可用一個(gè)實(shí)現(xiàn)。三層前饋神經(jīng)多層網(wǎng)網(wǎng)絡(luò)能力絡(luò)的表達(dá)2021/4/26282021/4/26292021/4/26302021/4/2631 1011,20121301,.,14B,.,P-1=維輸入向量 層神經(jīng)網(wǎng)絡(luò)層號(hào) 輸入層層

14、號(hào) 隱含層層號(hào) 輸出層各層節(jié)點(diǎn) 輸入節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn) 數(shù)目， 輸入層輸出層相鄰層連接權(quán)值 來自與第層的當(dāng)前的連接節(jié)點(diǎn)第 層節(jié)點(diǎn)權(quán)值TnlLlijnxxxLllLlLnlLnnnliljm算法訓(xùn)練過程描述約定：標(biāo)準(zhǔn)化2021/4/2632 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 層為當(dāng)前處理層； 其前一層、當(dāng)前層 、后一層的計(jì)算單元序號(hào)為； 位于當(dāng)前層第 個(gè)計(jì)算單元的輸出為， 前層第 個(gè)單元到本層第 個(gè)單元的連接權(quán)值為 本層第 個(gè)單元到后層第 個(gè)單元的連接權(quán)值為注：采用修正權(quán)值，輸出函數(shù)應(yīng)連續(xù)可微，選ljllijlljkllllljninknsigm算法訓(xùn)練過程描述假

15、假定定梯梯度度法法函數(shù)。oid2021/4/2633 111,1,. ,111. jjnetOOn tle-=+從樣本集內(nèi)取出一個(gè)樣本,將 各分量從輸入層輸入至網(wǎng)絡(luò),由前向后，逐層得到各的：對(duì)于的第 個(gè)計(jì)算單元, 該單元的 ljlnlnllljijiilljjetllljjjx Dxyefnetf netf netnf1 1 輸入信號(hào)的正向傳遞過計(jì)算單元實(shí)際輸出當(dāng)前層凈輸入實(shí)際輸出程若當(dāng)前層為111,.,jyyydyy，則計(jì)算單元預(yù)測(cè)輸出 且給定輸出 TljjmTjmlLOyD實(shí)際輸出輸輸理想出出層2021/4/2634 122122111111,.,112211221xx-=最小誤差平方和。

16、 某樣本在網(wǎng)絡(luò)產(chǎn)生的為 樣本集內(nèi)所有樣本關(guān)于該網(wǎng)絡(luò)的 輸出層節(jié)點(diǎn) 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 誤差反向傳播過程I 輸出誤差準(zhǔn)則函數(shù) 輸出層 各節(jié)點(diǎn)輸出誤差總輸出誤差凈輸入2121111-+ LjLnLinetiLjeO實(shí)際輸出2021/4/2635 2211212211111121,.,11,.,121122=隱含層 輸出層 輸出層與前一層的實(shí)際輸出 輸出誤差 輸出層誤差計(jì)算元的單LLLiLjLinLLjjiimmjjjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII 輸出層的權(quán)調(diào)值調(diào)整 連接整

17、權(quán)值 111111局部梯度 LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydf netf nEnetyydeyt2021/4/2636 212111111111111211111.1= 修正應(yīng)使誤差 最快減 續(xù)小 LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII 輸出層的權(quán)值調(diào)整權(quán)值對(duì)誤差 的影響輸出層的權(quán)值調(diào)整 修正量 221111.11 LLiiLLLLijijijijjjjjydyttyOOBt修正方式 2021/4/2637111111111,.,1,.,

18、11節(jié)點(diǎn)后層中的節(jié)點(diǎn) 的輸出 輸出層誤差 關(guān)于隱含層 的節(jié)點(diǎn) 凈輸入的局對(duì)后層全部節(jié)點(diǎn)部梯度：均有 影響 llllijnnlllkjkjkjjlkllllljljjjkinljljlIIInf nkOfffEnetnenelkOljEEttetne隱含層 當(dāng)前層當(dāng)調(diào)整 值前層的權(quán)111111111111111= llllljllljjlknknnllllkjkkjkkknliiljljjiljljnetOOfnetOetOOn t2021/4/263811111111111111111,.,1, .,1.= llllllijnljlkjnnllllkjkkjkkllljllljjjlljljl

19、jknliilklkjijiinljEnetnOOneIIInnetfnetOOEnetOett當(dāng)前層隱含層的權(quán) 權(quán)值值調(diào)整 11111111 權(quán)值修正 lllilijnlllllijjjjkjlljljklkijlllijijlilijijijOEnnetOetOEEOOttt對(duì)誤差 的影響2021/4/2639 ()11 續(xù) ijijijijjiijttttOt為為加加快快收收斂斂速速度度，往往往往在在權(quán)權(quán)值值 修修正正量量中中加加上上前前次次的的權(quán)權(quán)值值修修正正 量量，稱稱為為。2引入慣性誤差反向傳播過程慣性項(xiàng)項(xiàng)： 權(quán)值修正2021/4/2640,00011.3.10.3.9BP 輸入向

20、量,期望輸出 ，如 小隨機(jī)數(shù) 如：之間 通常固定之間；也可動(dòng)態(tài)調(diào)整 通常之間包括 輸入層節(jié)點(diǎn)數(shù)；隱含層數(shù)目；各隱含層節(jié)點(diǎn)數(shù)目； 輸出層節(jié)點(diǎn)數(shù)；各神經(jīng)元節(jié)點(diǎn)的激活函數(shù)最大可允許迭代ppxDSTEP訓(xùn)練樣本權(quán)值初始化首先明確學(xué)習(xí)步長(zhǎng)慣性算法步驟樣本集的標(biāo)準(zhǔn)化沖量 項(xiàng)系數(shù)確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)定終止條件：處理；0次數(shù) 硬條件 ； 訓(xùn)練精度 軟條件記訓(xùn)練時(shí)間時(shí)間t以小隨機(jī)數(shù)初始化網(wǎng)絡(luò)權(quán)值；2021/4/2641 111121121,2,1mj=1yfy DBP：按隨機(jī)或任意順序從訓(xùn)練集中抽取1個(gè)訓(xùn)練樣本 計(jì)算輸入 時(shí)，當(dāng)前網(wǎng)絡(luò)的續(xù)TnnTmmTnl LlrsrjknliisjiSTEPx DxxxRdd

21、Rxyyffx重復(fù)如下過程直至滿足算法終止條件 樣本輸入 期望輸出 實(shí)際輸 出算法步驟 2121,.,1111 激活函數(shù)其中Lnrmfeefffe2021/4/2642 11311,.,1,.,111,., BP -1 對(duì)于第 層，修正權(quán)值 權(quán)值修正項(xiàng) 輸出層 ，具體為 間層：中l(wèi)llijijijllllijiljjjjljjltttinjntxlLyydyjml算法步權(quán)驟調(diào)整值從從 輸輸出出層層開開始始 1111111,., lnllllljjjkjkklLxxtjn2021/4/2643 41B1P1213 更新全部權(quán)值，對(duì)所有訓(xùn)練樣本重新計(jì)算輸出； 計(jì)算更新后網(wǎng)絡(luò)輸出與期望輸出的誤差；

22、檢查算法若不滿足終止條件，則 ,轉(zhuǎn)向若條件滿足，則終止，轉(zhuǎn)向：算法結(jié)束.輸出各層連接權(quán)值。可以是如下之一：網(wǎng)絡(luò)實(shí)際輸出與期望輸出 最近 輪訓(xùn)練中所有權(quán)值變化 算法達(dá)到最大允tt +1STEP3STEP3終止條件 終止條件總誤差最大值算法步驟閾值閾值2= 許的 閾值3 總訓(xùn)練次數(shù)2021/4/26442021/4/2645。2021/4/26462021/4/2647 建模前輸入輸出數(shù)據(jù)的預(yù)處理建模前輸入輸出數(shù)據(jù)的預(yù)處理正向標(biāo)準(zhǔn)化正向標(biāo)準(zhǔn)化 建模后輸入輸出數(shù)據(jù)的后處理建模后輸入輸出數(shù)據(jù)的后處理反向標(biāo)準(zhǔn)化反向標(biāo)準(zhǔn)化特征的平移特征的平移特征的尺度調(diào)整特征的尺度調(diào)整0,1,-1,1,-0,1,-1,1

23、,-a,aa,a,0,a0,a 2021/4/2648 11,1,., ,1,.1.,0,1min1,.,maxminmin1maxminxxyy給定樣本集 標(biāo)準(zhǔn)化處理后的樣本集 TdiiidiiTmiiimiiikjkikjkjkikjkikjkjkxRxyinyRxyinxxxkdxxyyykyyA. 線性映回歸模型中的輸入 / 輸出數(shù)射至據(jù)的預(yù)處理,.,m2021/4/26491,12min1,.,maxmin2min1,.,maxmin1,.,1,. 1 1 ikjkikjkjkikjkikjkjkikjkikjkikjkikjkxxxkdxxyyykmyyxmean xxkdxyme

24、an yykyB.線性映射至C.基于樣本標(biāo)準(zhǔn)差及樣本均值的線性映射,m2021/4/2650 1,0,1 maxminmin1,.2.,yyyy給定標(biāo)準(zhǔn)化處理之后的某個(gè)輸入樣本神經(jīng)網(wǎng)絡(luò)回歸模型關(guān)于該輸入產(chǎn)生預(yù)測(cè)輸出對(duì)進(jìn)行反向標(biāo)準(zhǔn)化后處理得最終預(yù)測(cè)輸出 下面給出具體的后處理方式。 Tmkkjkjkjkxxyyyyyyykm回歸模型中的輸出A. 若標(biāo)準(zhǔn)數(shù)據(jù)化為線性后處理預(yù)處理式的模映射至2021/4/2651 1,1maxmin 1min21,.,1,.2.,yy+=+ jkjkkkjkkkjkjkyyykmyyymean ykmB. 若輸出的標(biāo)準(zhǔn)化為線性映射至C.基于樣本標(biāo)準(zhǔn)差及樣本均值的反向線

25、性映射回歸模型中的輸出后處理預(yù)處理數(shù)據(jù)的模式2021/4/2652 1,1,., ,1,.,1,2.,0,11,10,1min1,.,maxminyxx-給定樣本集 標(biāo)準(zhǔn)化處理后的樣本集，或或 iiTdiiidiiiikjkikjkjkxinxRxyinyCxxxkdxxA.預(yù) 輸出的標(biāo)準(zhǔn)化處理 B. 將輸入各分量線性映射3 狀態(tài)預(yù)測(cè)模型 分類模型 中的輸入 / 輸?shù)奶幚沓鲋翑?shù)據(jù)2021/4/26531,12min1,.,maxmin1,., 1 ikjkikjkjkikjkikjkxxxkdxxxmean xxkdxC.將輸入各分量線性線性映射至D.基于樣本標(biāo)準(zhǔn)差及樣本均值的輸入各分量線性映

26、射2021/4/2654對(duì)多層網(wǎng)絡(luò)要確定選用幾個(gè)隱含層？對(duì)多層網(wǎng)絡(luò)要確定選用幾個(gè)隱含層？19881988年年CybenkoCybenko指出，若各節(jié)點(diǎn)均采用指出，若各節(jié)點(diǎn)均采用S S型函型函數(shù)，則數(shù)，則 一個(gè)隱含層一個(gè)隱含層足以實(shí)現(xiàn)任意判決分類問題；足以實(shí)現(xiàn)任意判決分類問題； 兩個(gè)隱含層兩個(gè)隱含層足以實(shí)現(xiàn)輸入圖形的任意輸出足以實(shí)現(xiàn)輸入圖形的任意輸出2021/4/26552021/4/2656取決于取決于: : 輸出的表示方法輸出的表示方法; ; 類別數(shù)目；類別數(shù)目； 待逼近的函數(shù)數(shù)目。待逼近的函數(shù)數(shù)目。(3)(3)輸出節(jié)點(diǎn)數(shù)是待逼近的函數(shù)個(gè)數(shù)輸出節(jié)點(diǎn)數(shù)是待逼近的函數(shù)個(gè)數(shù)2021/4/26572

27、021/4/26582,1010logIoHIHHIoHn nnnnnnnaann輸入,輸出層節(jié)點(diǎn)數(shù)隱含層節(jié)點(diǎn)數(shù) 2021/4/26592021/4/26601.狀態(tài)預(yù)測(cè)狀態(tài)預(yù)測(cè)-參考參考MATLAB神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)30個(gè)案例分析個(gè)案例分析例例.基于基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類四類語音特征信號(hào)分析四類語音特征信號(hào)分析每組語音信號(hào)為24維輸入；四類語音信號(hào)：民歌、古箏、搖滾、流形共計(jì)2000組語音信號(hào)要求：基于BP網(wǎng)絡(luò)設(shè)計(jì)一個(gè)語音信號(hào)類別預(yù)測(cè)模型代碼：見案例12021/4/26612021/4/26622. 回歸估計(jì)回歸估計(jì)例：基于例：基于BP神經(jīng)網(wǎng)絡(luò)的公路運(yùn)量神經(jīng)網(wǎng)絡(luò)的公路運(yùn)量(客運(yùn)量、貨運(yùn)量客運(yùn)量、貨運(yùn)量)預(yù)測(cè)預(yù)測(cè)公路運(yùn)量與該地區(qū)人數(shù)、機(jī)動(dòng)車數(shù)量、公路面積有關(guān)。已知某地區(qū)20年的公路運(yùn)量有關(guān)數(shù)據(jù)，對(duì)于未來某兩年，若明確該地區(qū)人數(shù)、機(jī)動(dòng)車數(shù)量、公路面積，要求：預(yù)測(cè)該地區(qū)的公路運(yùn)量。分析：(1)明確模型輸入輸出關(guān)系(2)建模： 原始數(shù)據(jù)讀?。粩?shù)據(jù)標(biāo)準(zhǔn)化處理；網(wǎng)絡(luò)訓(xùn)練；(3)模型評(píng)價(jià)：