人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第3講感知機及BP網(wǎng)絡(luò).ppt

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第3講 感知機及BP網(wǎng)絡(luò),何建華 電信系，華中科技大學(xué) 2003年2月25日,2019/7/16,2,一、內(nèi)容回顧 二、感知機 三、自適應(yīng)線性元件 四、內(nèi)容小結(jié),內(nèi)容安排,2019/7/16,3,生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、內(nèi)容回顧,2019/7/16,4,生物神經(jīng)元 生物神經(jīng)元模型 突觸信息處理 信息傳遞功能與特點 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、內(nèi)容回顧,2019/7/16,5,生物神經(jīng)元模型,一、內(nèi)容回顧,2019/7/16,6,生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)元模型 常見響應(yīng)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、內(nèi)容回顧,2019/7/16,7,生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法 權(quán)值確定 Hebb學(xué)習(xí)規(guī)則 誤差校正學(xué)習(xí)規(guī)則 相近（無教師）學(xué)習(xí)規(guī)則,一、內(nèi)容回顧,2019/7/16,8,Hebb學(xué)習(xí)規(guī)則,Donall Hebb根據(jù)生理學(xué)中條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則 如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強 a為學(xué)習(xí)速率，Vi, Vj為神經(jīng)元i和j的輸出 Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形,2019/7/16,9,誤差校正規(guī)則,用已知樣本作為教師對網(wǎng)絡(luò)進行學(xué)習(xí) 學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出 誤差校正學(xué)習(xí)規(guī)則實際上是一種梯度方法 不能保證得到全局最優(yōu)解 要求大量訓(xùn)練樣本，收斂速度慢 對樣本地表示次序變化比較敏感,2019/7/16,10,無教師學(xué)習(xí)規(guī)則,這類學(xué)習(xí)不在于尋找一個特殊映射的表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部 輸入可以為連續(xù)值，對噪聲有較強抗干擾能力 對較少輸入樣本，結(jié)果可能要依賴于輸入序列 在ART、Kohonen等自組織競爭型網(wǎng)絡(luò)中采用,2019/7/16,11,2.1 感知機簡介 2.2 神經(jīng)元模型 2.3 網(wǎng)絡(luò)結(jié)構(gòu) 2.4 功能解釋 2.5 學(xué)習(xí)和訓(xùn)練 2.6 局限性,二、感知機,2019/7/16,12,感知器由美國計算機科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出 收斂定理 F.Roseblatt證明，如果兩類模式是線性可分的（指存在一個超平面將它們分開），則算法一定收斂 感知器特別適用于簡單的模式分類問題，也可用于基于模式分類的學(xué)習(xí)控制中 本講中感知器特指單層感知器,2.1 感知機簡介,2019/7/16,13,2.2 神經(jīng)元模型,2019/7/16,14,2.3 網(wǎng)絡(luò)結(jié)構(gòu),ni 第i個神經(jīng)元加權(quán)輸入和 ai第i個神經(jīng)元輸出,i1,2,s,2019/7/16,15,2.4 功能解釋,感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出 根據(jù)輸出值通過測試加權(quán)輸入和值落在閾值函數(shù)的左右對輸入數(shù)據(jù)進行分類,2019/7/16,16,2.4 功能解釋,這一功能可以通過在輸人矢量空間里的作圖來加以解釋 以輸入矢量r2為例 對選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標的輸入平面內(nèi)畫出W*P+bw1 p1十w2 p2十b0的軌跡 它是一條直線，此直線上及其線以上部分的所有p1、p2值均使w1 p1十w2 p2十b0，這些點通過由w1、w2和b構(gòu)成的感知器的輸出為1；該直線以下部分的點通過感知器的輸出為0,2019/7/16,17,2.4 功能解釋,2019/7/16,18,當采用感知器對不同的輸入矢量進行期望輸出為0或1的分類時，其問題可轉(zhuǎn)化為對已知輸入矢量在輸入空間形成的不同點的位置，設(shè)計感知器的權(quán)值W和b 感知器權(quán)值參數(shù)設(shè)計目的，就是根據(jù)學(xué)習(xí)法則設(shè)計一條W*P+b0的軌跡，使其對輸入矢量能夠達到所期望的劃分,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,19,學(xué)習(xí)規(guī)則 用來計算新的權(quán)值矩陣W及新的偏差B的算法 權(quán)值的變化量等于輸入矢量 假定輸入矢量P，輸出矢量A，目標矢量為T的感知器網(wǎng)絡(luò),2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,20,如果第i個神經(jīng)元的輸出是正確的，即aiti，那么與第i個神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變 如果第i個神經(jīng)元的輸出是0，但期望輸出為1，即有ai0，而ti1，此時權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸人矢量pj；新的偏差bi為舊偏差bi加上1 如果第i個神經(jīng)元的輸出為1，但期望輸出為0，即有ai1，而ti0，此時權(quán)值修正算法，新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；新的偏差bi為舊偏差bi減去1,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,21,上述用來修正感知器權(quán)值的學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個名為1earnp.m的函數(shù)。 只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸人變量為：輸入、輸出矢量和目標矢量（P、A和T） 調(diào)用命令為： dW，dBlearnp(P，A，T),2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,22,訓(xùn)練思想 在輸入矢量P的作用下，計算網(wǎng)絡(luò)的實際輸出A，并與相應(yīng)的目標矢量T進行比較，檢查A是否等于T，然后用比較后的誤差量，根據(jù)學(xué)習(xí)規(guī)則進行權(quán)值和偏差的調(diào)整 重新計算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過程，直到網(wǎng)絡(luò)的輸出A等于目標矢量T或訓(xùn)練次數(shù)達到事先設(shè)置的最大值時訓(xùn)練結(jié)束,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,23,訓(xùn)練算法 對于所要解決的問題，確定輸入矢量P，目標矢量T，并確定各矢量的維數(shù)及神經(jīng)元數(shù)目：r，s和q； （1）參數(shù)初始化 a)賦給權(quán)矢量w在(l，1)的隨機非零初始值； b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch； （2）初始化網(wǎng)絡(luò)表達式。根據(jù)輸人矢量P以及最新權(quán)矢量W，計算網(wǎng)絡(luò)輸出矢量A； （3）檢查過程。檢查輸出矢量A與目標矢量T是否相同。如果是，或已達最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入（4） （4）學(xué)習(xí)過程。根據(jù)感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回（3）,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,24,由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題 感知器僅能夠線性地將輸入矢量進行分類 當輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導(dǎo)致較慢的收斂速度,2.6 局限性,2019/7/16,25,三、自適應(yīng)線性元件,3.1 Adline簡介 3.2 網(wǎng)絡(luò)結(jié)構(gòu) 3.3 網(wǎng)絡(luò)學(xué)習(xí) 3.4 網(wǎng)絡(luò)訓(xùn)練 3.5 應(yīng)用舉例 3.6 局限性,2019/7/16,26,3.1 Adline簡介,自適應(yīng)線性元件(Adaptive Linear Element 簡稱Adaline) 由威德羅(Widrow)和霍夫(Hoff)首先提出 自適應(yīng)線性元件的主要用途是線性逼近一個函數(shù)式而進行模式聯(lián)想。 它與感知器的主要不同之處 在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1 它采用的是W-H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進行訓(xùn)練,2019/7/16,27,3.2 網(wǎng)絡(luò)結(jié)構(gòu),神經(jīng)元(a)與網(wǎng)絡(luò)(b),2019/7/16,28,3.3 學(xué)習(xí)規(guī)則,W-H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的用來修正權(quán)矢量的學(xué)習(xí)規(guī)則 采用W-H學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個函數(shù)式而進行模式聯(lián)想(Pattern Association) 定義一個線性網(wǎng)絡(luò)的輸出誤差函數(shù) 目的是通過調(diào)節(jié)權(quán)矢量，使E(W，B)達到最小值所以在給定E(W，B)后，利用W-H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點開始，沿著E(W，B)的斜面向下滑行,2019/7/16,29,3.3 學(xué)習(xí)規(guī)則,根據(jù)梯度下降法，權(quán)矢量的修正值正比于當前位置上E(W，B)的梯度，對于第i個輸出節(jié)點有： 或表示為,2019/7/16,30,3.3 學(xué)習(xí)規(guī)則,為學(xué)習(xí)速率。在一般的實際運用中，實踐表明，通常取一接近1的數(shù)，或取值為： 自適應(yīng)線性網(wǎng)絡(luò)還有另一個潛在的困難，當學(xué)習(xí)速率取得較大時，可導(dǎo)致訓(xùn)練過程的不穩(wěn)定 采用W-H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨立的，且應(yīng)適當?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象,2019/7/16,31,3.4 網(wǎng)絡(luò)訓(xùn)練,自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可歸納為以下四個步驟 初始化。權(quán)值W,B和T 表達。計算訓(xùn)練的輸出矢量A=W*P+B，以及與期望輸出之間的誤差E=T-A 檢查。將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù) 學(xué)習(xí)。采用W-H學(xué)習(xí)規(guī)則計算新的權(quán)值和偏差，并返回到“表達”過程,2019/7/16,32,3.5 應(yīng)用舉例,考慮一個較大的多神經(jīng)元網(wǎng)絡(luò)的模式聯(lián)想的設(shè)計問題 輸入矢量P和目標矢量T,2019/7/16,33,3.5 應(yīng)用舉例,求解精確解 這個問題的求解同樣可以采用線性方程組求出，即對每一個輸出節(jié)點寫出輸入和輸出之間的關(guān)系等式,2019/7/16,34,3.5 應(yīng)用舉例,求解神經(jīng)網(wǎng)絡(luò) 訓(xùn)練誤差記錄 訓(xùn)練后權(quán)值,2019/7/16,35,3.5 應(yīng)用舉例,求解神經(jīng)網(wǎng)絡(luò) 由輸入矢量和目標輸出矢量可得：r3，s4，q4。網(wǎng)絡(luò)的結(jié)構(gòu)如下圖示,2019/7/16,36,3.5 應(yīng)用舉例,分析Adline與方程求解 求解前述16個方程不太容易，需要一定時間 對一些實際問題，如果不需要求出其完美的零誤差時的解，也即允許存在一定的誤差時，采用自適應(yīng)線性網(wǎng)絡(luò)求解可以很快地訓(xùn)練出滿足一定要求的網(wǎng)絡(luò)權(quán)值 如果輸入矢量具有奇異性，用函數(shù)solvelin.m求解精確解時將產(chǎn)生問題。而神經(jīng)網(wǎng)絡(luò)則能得到較好的性能,2019/7/16,37,3.6 Adline與感知機,網(wǎng)絡(luò)模型結(jié)構(gòu)上 感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上的主要區(qū)別在于激活函數(shù)，分別為二值型和線性 學(xué)習(xí)算法 感知器的算法是最早提出的可收斂的算法 它的自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法 在BP算法中得到進一步的推廣，它們屬于同一類算法 適用性與局限性 感知器僅能夠進行簡單的分類。感知器可以將輸入分成兩類或四類等，但僅能對線性可分的輸入進行分類。 自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣可以進行線性分類外，還可以實現(xiàn)線性逼近，因為其激活函數(shù)可以連續(xù)取值而不同于感知器的僅能取0或1的緣故,2019/7/16,38,四、內(nèi)容小結(jié),內(nèi)容回顧 感知機 自適應(yīng)線性元件 下次講課內(nèi)容,2019/7/16,39,四、內(nèi)容小結(jié),內(nèi)容回顧 生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法 感知機 自適應(yīng)線性元件 下次講課內(nèi)容,2019/7/16,40,四、內(nèi)容小結(jié),內(nèi)