BP人工神經(jīng)網(wǎng)絡(luò)的基本原理、模型與實(shí)例(教學(xué)課件）

1、第8章人工神經(jīng)網(wǎng)絡(luò)方法,本講大綱：,人工神經(jīng)網(wǎng)絡(luò)的基本概念 誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò),8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,從數(shù)學(xué)和物理方法以及信息處理的角度，對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，稱為人工神經(jīng)網(wǎng)絡(luò)。 應(yīng)用領(lǐng)域： 模式識(shí)別 系統(tǒng)辨識(shí) 預(yù)測(cè)預(yù)估 數(shù)據(jù)挖掘 經(jīng)濟(jì)學(xué) ,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,人工神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是由許多小的非線性函數(shù)組成的大的非線性函數(shù)，反映的是輸入變量到輸出變量間的復(fù)雜映射關(guān)系。先給出單個(gè)人工神經(jīng)網(wǎng)絡(luò)的一般模型描述：,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,先來(lái)看一個(gè)單一輸入的神經(jīng)元模型 輸入變量：x1 連接權(quán)重：w1 激活函數(shù)：f (),8.1人工神經(jīng)網(wǎng)絡(luò)的基本概

2、念,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,單極sigmoid函數(shù),8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,雙曲函數(shù),8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,增加激活閾值后的神經(jīng)元模型 輸入變量：x1 連接權(quán)重：w1 激活函數(shù)：f (),小練習(xí)：請(qǐng)你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時(shí)，該神經(jīng)元的凈輸入和輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,當(dāng)輸入增加時(shí)的神經(jīng)元模型 輸入變量：x1， x2 連接權(quán)重：w1，w2 激活函數(shù)：f (),小練習(xí)：請(qǐng)你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時(shí)，該神經(jīng)元的凈輸入和輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,當(dāng)多個(gè)神經(jīng)元組合起

3、來(lái)時(shí)，人工神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu)如下：,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,當(dāng)層數(shù)增加時(shí)的神經(jīng)元模型 輸入變量：x1， x2 連接權(quán)重：w1，w2 激活函數(shù)：f (),小練習(xí)：請(qǐng)你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時(shí)，該神經(jīng)元的凈輸入和輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,初始輸入、權(quán)重和偏倚值,小練習(xí)：請(qǐng)你算一算，各節(jié)點(diǎn)的凈輸入和凈輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,凈輸入和輸出的計(jì)算,-0.7,0.1,0.332,0.525,-0.105,0.474,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,思考： 如果想要讓神經(jīng)網(wǎng)絡(luò)的期望輸出盡可能接近“1”這個(gè)數(shù)值，請(qǐng)問(wèn)應(yīng)該調(diào)整網(wǎng)絡(luò)的哪些參數(shù)

4、？,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,初始輸入、權(quán)重和偏倚值,小練習(xí)：若將各權(quán)值與閾值換成以上各值，各節(jié)點(diǎn)的凈輸入和凈輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,凈輸入和輸出的計(jì)算,-0.522,0.082,0.6276,0.4795,-0.1842,0.5459,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,神經(jīng)網(wǎng)絡(luò)運(yùn)算的難點(diǎn)之一： 如何高效地確定各個(gè)連接權(quán)值W與激活閾值 自動(dòng)確定權(quán)值與閾值的過(guò)程稱為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（訓(xùn)練）。,8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式： 監(jiān)督學(xué)習(xí) 非監(jiān)督學(xué)習(xí) 激勵(lì)學(xué)習(xí),8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò),反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。 1正向傳播 輸入

5、的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。 2反向傳播 反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。,8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò),8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò),每個(gè)節(jié)點(diǎn)輸入端誤差Errj的計(jì)算,Err4= -0.0087,Err5= -0.0065,0.332,0.525,Err6= 0.1311,1-0.474,0.1311 w46,0.1311w56,8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò),權(quán)重和偏倚更新的計(jì)算,參考資料,(美)韓家煒, (美)坎伯(Kam