BP神經(jīng)網(wǎng)絡(luò)課件

1、講解內(nèi)容如下：1.趣味入門2.實例講解3.較深入的探討實例背后的BP神經(jīng)網(wǎng)絡(luò)算法4.總結(jié) 學(xué)習(xí)本來就是很枯燥的，但是，希望可以快樂的講給大家。 黃利飛 先從特征來講?？萏倮蠘浠桫f古道西風(fēng)瘦馬夕陽西下小橋流水人家 馬致遠(yuǎn)先生的天凈沙 秋思 寥寥數(shù)字，只是提取了秋天的幾種很常見的事物，然而我們讀到時，卻是一副畫一幅精美絕倫的古畫，躍然于腦海。 我們再來欣賞一下圍城里的兩段話： 沒說完，汪太太出來了。骨肉停勻，并不算瘦，就是臉上沒有血色，也沒擦胭脂，只傅了粉。嘴唇卻涂澤鮮紅嘴唇卻涂澤鮮紅，旗袍是淺紫色，顯得那張臉殘酷地白。長睫毛，眼梢斜撇向上。頭發(fā)沒燙，梳了髻，想來是嫌本地理發(fā)店電燙不到家的緣故。手

2、里抱著皮熱水袋，十指甲全是紅的十指甲全是紅的，當(dāng)然絕非畫畫時染上的顏色，因為她畫的青山綠水。 鴻漸見了她（孫小姐，指孫柔嘉）面，不大自然，手不停弄著書桌上他自德國帶回的Supernorma牌四色鉛筆。孫小姐要過筆來，把紅色鉛捺出來，在吸墨水紙板的空白上，畫一張紅嘴畫一張紅嘴，相去一寸相去一寸許畫十個尖而長的紅點，五個一組，代表指甲，許畫十個尖而長的紅點，五個一組，代表指甲，此外的面目身體全沒有。此外的面目身體全沒有。她畫完了，說：“這就是汪太太的的提綱?！兵櫇u想一想，忍不住笑道：“真有點像，虧你想得出！” 之后，我們便要進(jìn)入我們的正題了BP神經(jīng)網(wǎng)絡(luò)之模式分類。 請問，如何區(qū)分頭像上的男女？ 用

3、MATLAB模式識別工具箱（函數(shù)）來對某些指標(biāo)（如空氣質(zhì)量、水質(zhì)量、個人業(yè)績等）進(jìn)行分類、評估、預(yù)測，分為三步： 數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備 訓(xùn)練和評估訓(xùn)練和評估 預(yù)測預(yù)測數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備 準(zhǔn)備好訓(xùn)練數(shù)據(jù)和待預(yù)測數(shù)據(jù)：把數(shù)據(jù)導(dǎo)入到MATLAB程序里 clear all clc rawX1=xlsread(data.xls,sheet1,A3:D200) rawX2=xlsread(data.xls,sheet1,E3:E200); rawX2=xlsread(data.xls,sheet1,G3:J200); rawY2=xlsread(data.xls,sheet1,K3:K200); Xdata=r

4、awX1 rawX2; Ydata=rawY1 rawY2; 訓(xùn)練和評估訓(xùn)練和評估 我們來使用我們來使用MATLAB自帶的模式識別工具箱界自帶的模式識別工具箱界面面(nprtool)來導(dǎo)入數(shù)據(jù)、調(diào)整參數(shù)等，然后得到來導(dǎo)入數(shù)據(jù)、調(diào)整參數(shù)等，然后得到結(jié)果。結(jié)果。 nprtool 訓(xùn)練和評估訓(xùn)練和評估 訓(xùn)練和評估訓(xùn)練和評估 訓(xùn)練和評估訓(xùn)練和評估 訓(xùn)練和評估訓(xùn)練和評估 訓(xùn)練和評估訓(xùn)練和評估 訓(xùn)練和評估訓(xùn)練和評估 預(yù)測預(yù)測反向傳播網(wǎng)絡(luò)反向傳播網(wǎng)絡(luò)(Back-Propagation Network，BP網(wǎng)網(wǎng)絡(luò)絡(luò))是將是將W-H學(xué)習(xí)規(guī)則一般化，對非線性可微函數(shù)學(xué)習(xí)規(guī)則一般化，對非線性可微函數(shù)進(jìn)行權(quán)值訓(xùn)練的多

5、層網(wǎng)絡(luò)。進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)用途：網(wǎng)絡(luò)用途：1)函數(shù)逼近：函數(shù)逼近：用輸入矢量和輸出矢量訓(xùn)練網(wǎng)絡(luò)逼近一用輸入矢量和輸出矢量訓(xùn)練網(wǎng)絡(luò)逼近一個函數(shù)；個函數(shù)；2)模式識別：模式識別：用特定的輸出矢量將它與輸入矢量聯(lián)系用特定的輸出矢量將它與輸入矢量聯(lián)系起來；起來；3)分類：分類：把輸入矢量以所定義的合適方式進(jìn)行分類；把輸入矢量以所定義的合適方式進(jìn)行分類；4)數(shù)據(jù)壓縮：數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便傳輸或存儲。減少輸出矢量維數(shù)以便傳輸或存儲。實際應(yīng)用中，實際應(yīng)用中， 8090的人工神經(jīng)網(wǎng)絡(luò)模型是采的人工神經(jīng)網(wǎng)絡(luò)模型是采用用BP網(wǎng)絡(luò)或它的變化形式網(wǎng)絡(luò)或它的變化形式，是前向網(wǎng)絡(luò)的核心部，是前向網(wǎng)

6、絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。4.1 誤差反傳算法 有隱層的有隱層的多層感知器多層感知器能提高網(wǎng)絡(luò)的分類能能提高網(wǎng)絡(luò)的分類能力，但力，但權(quán)值調(diào)整算法權(quán)值調(diào)整算法沒有解決。沒有解決。 19861986，RumelhartRumelhart和和McCellandMcCelland提出具有非提出具有非線性連續(xù)變換函數(shù)的多層感知器的線性連續(xù)變換函數(shù)的多層感知器的BPBP算法，算法，實現(xiàn)了多層感知器的設(shè)想。實現(xiàn)了多層感知器的設(shè)想。多層感知器多多層感知器多采用采用BPBP算法，所以，通常將其稱為算法，所以，通常將其稱為BPBP網(wǎng)絡(luò)。網(wǎng)絡(luò)。 首先學(xué)習(xí)基于首

7、先學(xué)習(xí)基于BPBP算法的多層感知器模型。算法的多層感知器模型。4.1.1 BP4.1.1 BP網(wǎng)絡(luò)模型與結(jié)構(gòu)網(wǎng)絡(luò)模型與結(jié)構(gòu) 應(yīng)用最多的是具有應(yīng)用最多的是具有單隱層的單隱層的BP網(wǎng)絡(luò)網(wǎng)絡(luò)。一個具有。一個具有r個個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖所示。輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖所示。（Matlab Help中常見表示）中常見表示）BP 網(wǎng)絡(luò)的另外一種表示網(wǎng)絡(luò)的另外一種表示輸入向量為：隱層輸出向量為：輸出層輸出向量：期望輸出向量：輸入到隱層間權(quán)：隱層到輸出間權(quán)：x0-1是為隱層神經(jīng)元引入閾值而設(shè)置的；y0-1是為輸出層神經(jīng)元引入閾值而設(shè)置的;Vj為隱層第j個神經(jīng)元對應(yīng)的權(quán)向量；Wk

8、輸出層第k個神經(jīng)元對應(yīng)的權(quán)向量Observed Deserved21-1ijkx0VijWjkyjOkDkx1x2-0.50.8-1-0.50.8V-0.3 0.2 0.5-0.5 0.1 0.20.8 -0.1 0.6-0.30.20.5W-0.1 0.3 0.6 -0.2 0.4 0.3 0.7 -0.2y01y-1y1y2y3yV X=-0.3 0.2 0.5-0.5 0.1 0.20.8 -0.1 0.6-1-0.50.80.60.160.22OW Y=-0.1 0.3 0.6 -0.2 0.4 0.3 0.7 -0.2-10.60.160.220.332-0.122 BP網(wǎng)絡(luò)與前面介

9、紹過的模型除了是多層網(wǎng)絡(luò)之外，網(wǎng)絡(luò)與前面介紹過的模型除了是多層網(wǎng)絡(luò)之外，其主要差別也表現(xiàn)在激活函數(shù)上。其主要差別也表現(xiàn)在激活函數(shù)上。（1）BP網(wǎng)絡(luò)的網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的激活函數(shù)必須是處處可微的，所以，所以它就它就不能采用二值型的閾值函數(shù)不能采用二值型的閾值函數(shù)0，1或符號函數(shù)或符號函數(shù)-1，1， BP網(wǎng)絡(luò)經(jīng)常使用的是網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切型的對數(shù)或正切激活函數(shù)激活函數(shù)和和線性函數(shù)線性函數(shù)。 xexf11)(xxeexf2211)(變換函數(shù)為S型激活函數(shù)(logsig)為：雙極性（雙曲正切）S型激活函數(shù)（tansig）：f(x)連續(xù)可導(dǎo)，一階導(dǎo)數(shù)為：f(x)=f(x)1-f(

10、x)導(dǎo)數(shù) f(x)=1-f(x)2/2 對于多層網(wǎng)絡(luò)，這種激活函數(shù)所劃分的區(qū)域?qū)τ诙鄬泳W(wǎng)絡(luò)，這種激活函數(shù)所劃分的區(qū)域不再是線性劃分，而是不再是線性劃分，而是由一個非線性的超平由一個非線性的超平面組成的區(qū)域面組成的區(qū)域。它是比較柔和、光滑的任意。它是比較柔和、光滑的任意界面，因而它的分界面，因而它的分類比線性劃分精確、合理類比線性劃分精確、合理，這種網(wǎng)絡(luò)的這種網(wǎng)絡(luò)的容錯性容錯性較好。較好。（2）另一重要特點：由于激活函數(shù)是連續(xù)可）另一重要特點：由于激活函數(shù)是連續(xù)可微的，它可以微的，它可以嚴(yán)格利用梯度法進(jìn)行推算嚴(yán)格利用梯度法進(jìn)行推算，它，它的權(quán)值修正的解析式十分明確，其算法被稱的權(quán)值修正的解析式十

11、分明確，其算法被稱為為誤差反向傳播法誤差反向傳播法，也簡稱，也簡稱BP算法算法。 （3）非線性放大系數(shù)功能：）非線性放大系數(shù)功能：S型函數(shù)可以把從負(fù)無型函數(shù)可以把從負(fù)無窮大到正無窮大的輸入信號，變換成窮大到正無窮大的輸入信號，變換成-1到到1之間輸之間輸出，出，對較大的輸入信號，放大系數(shù)較小；而對較對較大的輸入信號，放大系數(shù)較?。欢鴮^小的輸入信號，小的輸入信號， 放大系數(shù)則較大，放大系數(shù)則較大，所以采用所以采用S型型激活函數(shù)可以去處理和逼近非線性的輸入輸出關(guān)激活函數(shù)可以去處理和逼近非線性的輸入輸出關(guān)系。系。 只有當(dāng)希望只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在，如限制在0和

12、和1之間，之間， 則輸出層用則輸出層用S型激活函數(shù)。型激活函數(shù)。 一般：一般：隱含層用隱含層用S型激活函數(shù)；型激活函數(shù)； 輸出層用線性激輸出層用線性激活函數(shù)活函數(shù)。nf S函數(shù)的非線性放大功能函數(shù)的非線性放大功能 BP算法的基本思想：算法的基本思想： 學(xué)習(xí)過程由信息的正向傳遞學(xué)習(xí)過程由信息的正向傳遞與與誤差的反向傳播兩個誤差的反向傳播兩個過程組成過程組成 (1)正向傳遞正向傳遞:輸入樣本從輸入經(jīng)隱含層逐層計算傳輸入樣本從輸入經(jīng)隱含層逐層計算傳向輸出層，若輸出層的實際輸出和期望輸出不符，向輸出層，若輸出層的實際輸出和期望輸出不符，則計算輸出層的誤差值，然后轉(zhuǎn)向反向傳播過程。則計算輸出層的誤差值，

13、然后轉(zhuǎn)向反向傳播過程。 (2)誤差的反向傳播：誤差的反向傳播：是是將輸出誤差以某種形式通過將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號單元，從而獲得各層單元的誤差信號，此誤差做為，此誤差做為修正該單元的依據(jù)。修正該單元的依據(jù)。 信號正向傳遞和誤差反向傳播反復(fù)進(jìn)行，權(quán)值不信號正向傳遞和誤差反向傳播反復(fù)進(jìn)行，權(quán)值不斷得到調(diào)整的過程，就是網(wǎng)絡(luò)的學(xué)習(xí)斷得到調(diào)整的過程，就是網(wǎng)絡(luò)的學(xué)習(xí)/訓(xùn)練過程。當(dāng)訓(xùn)練過程。當(dāng)訓(xùn)練訓(xùn)練達(dá)到規(guī)定誤差達(dá)到規(guī)定誤差或或一定訓(xùn)練次數(shù)一定訓(xùn)練次數(shù)，則結(jié)束訓(xùn)練。，則結(jié)束訓(xùn)練。4.1.2

14、 BP4.1.2 BP學(xué)習(xí)算法學(xué)習(xí)算法 以三層以三層BP網(wǎng)絡(luò)為例介紹網(wǎng)絡(luò)為例介紹BP學(xué)習(xí)算法，可推廣到學(xué)習(xí)算法，可推廣到多層情況。多層情況。 1網(wǎng)絡(luò)誤差與權(quán)值調(diào)整網(wǎng)絡(luò)誤差與權(quán)值調(diào)整當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時，存在輸出誤差當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時，存在輸出誤差E：222211 由上式，由上式，網(wǎng)絡(luò)輸入誤差是各層權(quán)值網(wǎng)絡(luò)輸入誤差是各層權(quán)值wjk、vij的函數(shù)的函數(shù)，因此因此調(diào)整權(quán)值可改變誤差調(diào)整權(quán)值可改變誤差E。 顯然，調(diào)整權(quán)值的原則是使誤差不斷地減小，因此顯然，調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使應(yīng)使權(quán)值的調(diào)整量與誤差的梯度下降成正比權(quán)值的調(diào)整量與誤差的梯度下降成正比，即，即 式中負(fù)號表

15、示梯度下降，常數(shù)式中負(fù)號表示梯度下降，常數(shù)（0，1）學(xué)習(xí)）學(xué)習(xí)速率。速率。 BP算法屬于算法屬于學(xué)習(xí)規(guī)則類，這類算法常被稱為學(xué)習(xí)規(guī)則類，這類算法常被稱為誤差誤差的梯度下降的梯度下降(Gradient Descent)算法。算法。2 2、算法推導(dǎo)、算法推導(dǎo)3層BP網(wǎng)絡(luò)權(quán)值具體調(diào)整公式推導(dǎo)。輸出層：j=0,1,.m , k=1,2,.l；隱含層：i=0,1,2,.n, j=1,2.,m;ijkxiVijWjkyjOkDk 對輸出層： 對隱含層： 對輸出、隱層定義一個誤差信號：可將權(quán)值W調(diào)整式改寫為可將權(quán)值V調(diào)整式改寫為 、 推導(dǎo)：對于輸出層， 可展開為mjjjkkywnet0niiijjxwnet

16、0Ok對于隱含層， 可展開為網(wǎng)絡(luò)誤差對各層輸出的偏導(dǎo)：對于輸出層，可得對于隱層，利用右式得則：三層感知器的BP學(xué)習(xí)算法權(quán)值調(diào)整計算公式為若有h個隱層，按順序各隱層節(jié)點數(shù)分別記為m1,m2,.mh，各隱層輸出分別記為y1，y2，yh，各層權(quán)值矩陣分別記為w1，w2,，w，則各層權(quán)值調(diào)整計算公式為輸出層第h隱層則第一層權(quán)值調(diào)整可見，BP學(xué)習(xí)算法中，各層權(quán)值調(diào)整公式權(quán)值調(diào)整公式形式上都是一樣的，均由3個因素決定： 學(xué)習(xí)率 本層輸出的誤差信號 本層輸入信號y(或x)其中輸出層誤差信號同網(wǎng)絡(luò)的期望輸出與實際輸出輸出層誤差信號同網(wǎng)絡(luò)的期望輸出與實際輸出之差有關(guān)之差有關(guān)，直接反映了輸出誤差，各隱層的誤差信號

17、與前面各層的誤差信號都有關(guān)各隱層的誤差信號與前面各層的誤差信號都有關(guān)，是從輸出層開始逐層反傳過來的。 BPBP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)前面導(dǎo)出的算法是標(biāo)準(zhǔn)前面導(dǎo)出的算法是標(biāo)準(zhǔn)BP算法。軟件編程實現(xiàn)標(biāo)準(zhǔn)算法。軟件編程實現(xiàn)標(biāo)準(zhǔn)BP算法編程的步驟。算法編程的步驟。 (1)初始化初始化 對權(quán)值矩陣對權(quán)值矩陣W、V賦隨機數(shù)，將樣本模式計數(shù)器賦隨機數(shù)，將樣本模式計數(shù)器p和訓(xùn)練次數(shù)計數(shù)器和訓(xùn)練次數(shù)計數(shù)器q置為置為1，誤差，誤差E置置0，學(xué)習(xí)率，學(xué)習(xí)率設(shè)為設(shè)為01內(nèi)的小數(shù)，網(wǎng)絡(luò)訓(xùn)練后達(dá)到的精度內(nèi)的小數(shù)，網(wǎng)絡(luò)訓(xùn)練后達(dá)到的精度Emin設(shè)為一個正的小數(shù)。設(shè)為一個正的小數(shù)。 (2)輸入訓(xùn)練樣本對，計算各層輸出輸入

18、訓(xùn)練樣本對，計算各層輸出 用當(dāng)前樣本用當(dāng)前樣本Xp、dp為向量數(shù)組為向量數(shù)組X、D賦值，計算賦值，計算y和和O中各分量。中各分量。 (3)計算網(wǎng)絡(luò)輸出誤差計算網(wǎng)絡(luò)輸出誤差 設(shè)共有設(shè)共有P對訓(xùn)練樣本，網(wǎng)絡(luò)對于不同的樣本具有對訓(xùn)練樣本，網(wǎng)絡(luò)對于不同的樣本具有不同的誤差不同的誤差Ep可將全部樣本輸出誤差的平方可將全部樣本輸出誤差的平方(EP)2進(jìn)行累加再開方，作為總輸出誤差，也可用諸誤進(jìn)行累加再開方，作為總輸出誤差，也可用諸誤差中的最大者差中的最大者Emax代表網(wǎng)絡(luò)的總輸出誤差，實用代表網(wǎng)絡(luò)的總輸出誤差，實用中更多采用均方根誤差作為網(wǎng)絡(luò)的總誤差。中更多采用均方根誤差作為網(wǎng)絡(luò)的總誤差。PppRMEEpE12)(1 (4)計算各層誤差信號計算各層誤差信號計算計算 和和 。 (5)調(diào)整各層權(quán)值調(diào)整各層權(quán)值:計算計算W、V中各分量。中各分量。 (6)檢查是否對所有樣本完成一次輪訓(xùn)檢查是否對所有樣本完成一次輪訓(xùn) 若若pP，計數(shù)器，計數(shù)器p、q增增1，返回步驟，返回步驟(2)，否則轉(zhuǎn)步驟否則轉(zhuǎn)步驟(7)。 (7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到