BP神經(jīng)網(wǎng)絡(luò)詳解-最好的版本課件

BP神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。J.McClelland

DavidRumelhart

BP神經(jīng)網(wǎng)絡(luò)模型三層BP網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)模型輸出的導(dǎo)數(shù)根據(jù)S型激活函數(shù)的圖形可知,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)

BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過(guò)程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類(lèi)型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳學(xué)習(xí)的過(guò)程：信號(hào)的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號(hào)修正各單元權(quán)值BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過(guò)程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù):誤差函數(shù)：BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計(jì)算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿(mǎn)足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋情況二直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e<0,此時(shí)Δwho>0whoBP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說(shuō)明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能對(duì)數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說(shuō)明對(duì)數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)例2-3，下表為某藥品的銷(xiāo)售情況，現(xiàn)構(gòu)建一個(gè)如下的三層BP神經(jīng)網(wǎng)絡(luò)對(duì)藥品的銷(xiāo)售進(jìn)行預(yù)測(cè)：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個(gè)，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對(duì)藥品的銷(xiāo)售量進(jìn)行預(yù)測(cè)，預(yù)測(cè)方法采用滾動(dòng)預(yù)測(cè)方式，即用前三個(gè)月的銷(xiāo)售量來(lái)預(yù)測(cè)第四個(gè)月的銷(xiāo)售量，如用1、2、3月的銷(xiāo)售量為輸入預(yù)測(cè)第4個(gè)月的銷(xiāo)售量，用2、3、4月的銷(xiāo)售量為輸入預(yù)測(cè)第5個(gè)月的銷(xiāo)售量.如此反復(fù)直至滿(mǎn)足預(yù)測(cè)精度要求為止。月份123456銷(xiāo)量205623952600229816341600月份789101112銷(xiāo)量187314781900150020461556BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測(cè)對(duì)比圖由對(duì)比圖可以看出預(yù)測(cè)效果與實(shí)際存在一定誤差，此誤差可以通過(guò)增加運(yùn)行步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進(jìn)一步縮小BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱(chēng)為泛化能力。容錯(cuò)能力輸入