神經(jīng)網(wǎng)絡 第二章 單層前向網(wǎng)絡及LMS算法課件

1、第二章 單層前向網(wǎng)絡及LMS算法1、單層感知器2、單層感知器的學習算法3、自適應線性神經(jīng)元4、LMS學習算法5、仿真實例神經(jīng)網(wǎng)絡原理1感知器是由美國學者F.Rosenblatt在1957年首次提出的神經(jīng)網(wǎng)絡模型。LMS算法是由Widrow和Hoff在1960年提出的高效率易實現(xiàn)的自適應濾波算法。LMS（Least-Mean-Square)算法，可稱為最小均方誤差算法或梯度算法，也稱為Delta規(guī)則。本章首先介紹單層感知器及其學習算法，然后介紹自適應線性元件及LMS算法，最后給出典型算法的仿真實例。2.1 單層感知器*感知器是神經(jīng)網(wǎng)絡用來進行模式識別的一種最簡單模型。*單層感知器只能用來實現(xiàn)線性

2、可分的兩類模式的識別。*單層感知器模型與MP模型的不同之處是其神經(jīng)元的突觸權值是可調的，這樣就可以進行學習。*感知器模型在神經(jīng)網(wǎng)絡研究中具有重要的意義和地位。2.1.1 單層感知器模型感知器神經(jīng)元模型如圖2.1所示。I/O關系： 圖2.1感知器模型單層感知器模型如圖2.2定義加權系數(shù)wij為第i個神經(jīng)元到第j個輸入之間的連接值。 圖2.2 單層感知器感知器包括一個線性累加器和一個二值閾值元件，同時還有一個外部偏差b。線性累加器的輸出作為二值閾值元件的輸入。二值閾值元件的輸入為正數(shù)時，神經(jīng)元輸出 -1或0 。單層感知器可實現(xiàn)兩類目標的識別，當感知器輸出為+1時，我們認為輸入模式為一類；當感知器輸

3、出為-1時，我們認為輸入模式為另一類。在m維信號空間，單層感知器進行模式識別的判決超平面由下式?jīng)Q定：圖2.3 給出了一種只有兩個輸入 和 的判決超平面的情況，它的判決邊界是直線 圖2.3 兩類模式識別的判定2.1.2單層感知器的學習算法單層感知器的學習算法是基于疊代的思想，通常是采用糾錯學習規(guī)則的學習算法。為方便，將偏差b 作為權向量的一個分量加到權值向量中去，對應的輸入向量也增加一項，可設輸入向量的第一個分量固定為+1，則輸入向量和權值向量可寫成如下形式： 其中，變量n為疊代次數(shù)，b(n)可用 表示,則二值閾值元件的輸入(激活值)可重新寫為： 令上式等于零，即可得在m信號空間的單層感知器的判

4、決超平面。 學習算法如下：第一步 設置變量和參量： b(n)為偏差。 y(n)為實際輸出。 d(n)為期望輸出。 為學習速率。 n為迭代次數(shù)。第六步 判斷是否滿足條件，若滿足算法結束，若不 滿足則n值增加1，轉到第三步重新執(zhí)行。注意：在第六步判斷的條件可以是：誤差小于設定值，即 ；權值的變化量已很小，即 迭代次數(shù)大于N在感知器學習算法中，重要的是引入了一個量化的期望輸出d(n)，其定義為： 采用糾錯學習規(guī)則對權向量進行逐步修正，對于線性可分的兩類模式，可以證明單層感知器的學習算法是收斂的。2.1.3 matlab工具箱應用該函數(shù)返回一個新的感知器網(wǎng)絡。2. Sim 神經(jīng)網(wǎng)絡仿真函數(shù)sim用于仿

5、真一個神經(jīng)網(wǎng)絡，調用格式為：Y, Pf, Af= sim (net, P, Pi, Ai)其中：net 神經(jīng)網(wǎng)絡；P 網(wǎng)絡的輸入；Pi 初始輸入延遲，缺省值為0；Ai 初始的層延遲，缺省值為0。該函數(shù)返回 Y 網(wǎng)絡的輸出；Pf 最終輸出延遲；Af 最終的層延遲。3. init 神經(jīng)網(wǎng)絡初始化調用格式為：net=init(net)init函數(shù)調用NET.initFcn函數(shù)，根據(jù)NET,initParam設定的參數(shù)對網(wǎng)絡的權值和閾值進行初始化。 4. adapt 神經(jīng)網(wǎng)絡的自適應格式：net,Y,E,Pf,Af=adapt (NET, P, T, Pi, Ai )其中：NET 一個神經(jīng)網(wǎng)絡；P 網(wǎng)

6、絡的輸入；Pi 初始輸入延遲，缺省值為0；Ai 初始的層延遲，缺省值為0。返回一個具有適應功能NET.adaptFcn及適應參數(shù)NET.adaptParam的結果：net 修正后的網(wǎng)絡；Y 網(wǎng)絡的輸出；E網(wǎng)絡的誤差；Pf最終輸出延遲；Af最終的層延遲。而參數(shù)T僅對需要目標的網(wǎng)絡是必須的，而且是可任選的。5. train 神經(jīng)網(wǎng)絡的訓練函數(shù)格式：net,tr=train(NET, P, T, Pi, Ai)train函數(shù)是按照NET.trainFcn和NET.trainParam訓練網(wǎng)絡NET的。其中：NET 神經(jīng)網(wǎng)絡；P 網(wǎng)絡的輸入；T 網(wǎng)絡的目標，默認值為0；Pi 初始輸入延遲，默認值為0；

7、Ai 初始的層延遲，默認值為0。返回：net 修正后的網(wǎng)絡；TR 訓練的紀錄（訓練步數(shù)和性能 epoch and perf ）.而參數(shù)T僅對需要目標的網(wǎng)絡是必須的，而且是可任選的。Pi 和Ai僅用于具有輸入或層間的延遲的網(wǎng)絡，而且也是可以任選的。6.learnp 感知器的權值/閾值學習函數(shù)格式： dW,LS=learnp(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)db,LS=learnp(b,ones(1,Q),Z,N,A,T,E,gW,gA,D, LP,LS)info = learnp (code)W SR維的權值矩陣（或S1維的閾值向量）；P Q組R維的輸入向量（或Q組單個輸

8、入）；Z Q組R維的權值輸入向量；N Q組R維的網(wǎng)絡輸入向量；A Q組R維的輸出向量；T Q組R維的目標向量；E Q組R維的誤差向量；gW SR維的性能參數(shù)的梯度；gA Q組R維的性能參數(shù)的輸出梯度；LP 學習參數(shù)，若沒有學習參數(shù)，LP=；LS 學習狀態(tài)，初始值為。函數(shù)返回以下參數(shù)：dW SR維的權值（或閾值）變化陣；LS 新的學習狀態(tài)；learnp(code) 對于每一個code 代碼返回相應的有 用的信息：pnames 返回學習參數(shù)的名稱；pdefaults 返回默認的學習參數(shù)；needg 如果該函數(shù)使用gW或gA，則返回值 為1。即：輸入矢量：P=-0.5 0.5 0.3 0.0; -0

9、.5 0.5 -0.5 1.0目標矢量：T=1.0 1.0 0.0 0.0輸入矢量可以用圖來描述，對應于目標值0.0的輸入矢量用符號表示，對應于目標值1.0的輸入矢量符號+表示。輸入矢量圖 為解決這個問題，首先用函數(shù)newp構造一個輸入向量均在-1，1之間的單個神經(jīng)元感知器： net=newp(-1 1;-1 1,1); 用init 對網(wǎng)絡進行初始化： net=init(net); 利用函數(shù)adapt調整網(wǎng)絡的權值和閾值，直到誤差為0時結束訓練： net,Y,E=adapt(net,P,T); 訓練結束后可得到下圖所示的分類曲線，由圖可見分類線將兩類輸入向量正確地分類：感知器神經(jīng)網(wǎng)絡在取不同的

10、初始條件時，其訓練的結果不同，即用感知器求解分類問題可得到多個解。當網(wǎng)絡訓練完成之后，其權值和閾值就不再改變，這是就可利用訓練好的感知器神經(jīng)網(wǎng)絡來解決實際的分類問題，對任意的輸入矢量進行分類。例如：p=0.7;1.2;a=sim (net, p);得到的分類結果如圖所示：可見感知器網(wǎng)絡能對輸入向量進行正確的分類，同時驗證了網(wǎng)絡的正確性。(源程序見附錄1中的例2.1)感知器應用結果討論局限性1）由于激活函數(shù)為閾值函數(shù)，輸出矢量只能取0、1，所以僅可以解決簡單的分類問題；2）輸入矢量線性可分時，學習在有限次數(shù)內收斂；3）輸入矢量的奇異性導致較慢的收斂。比如當輸入/輸出矢量分別為： P=-0.5 0

11、.5 +0.3 0.1 80 -0.5 +0.5 0.5 +1.0 100; T=1 1 0 0 1; 時，必然導致訓練的困難；4）異或問題不可解。2.2自適應線性神經(jīng)元自適應線性神經(jīng)元Adaline模型如圖2.4所示： 圖2.4 自適應線性神經(jīng)元模型 LMS算法模擬輸出二值輸出它實際上是一個連續(xù)時間線性閥值邏輯器件。神經(jīng)元的輸入向量的各分量被權向量加權（ 連接單位輸入 ，來控制閥值電平），得到模擬輸出和二值輸出。模擬輸出為：二值輸出為：其中： 為符號函數(shù)，當單個神經(jīng)元具有n個二進制輸入，共有 個可能的輸入模式，具有一個模擬輸出和一個二值輸出。單個神經(jīng)元只能實現(xiàn)線性可分函數(shù)。自適應線性神經(jīng)元采

12、用LMS學習算法。 假定只有兩個輸入 和 ，則自適應線性神經(jīng)元的模擬輸出為： 調整臨界閥值條件，可令y輸出為零，有 該直線方程為自適應線性神經(jīng)元實現(xiàn)線性可分函數(shù)。如圖2.5所示，通過學習總是可以得到一條直線將空心小園和實心小園分開。 圖2.5 線性可分模式空間 用自適應線性神經(jīng)元實現(xiàn)非線性可分函數(shù)的方法有兩種，一是對神經(jīng)元施加非線性輸入函數(shù)，如圖2.6所示。 圖2.6 兩個非線性輸入的Adaline神經(jīng)元若令Y=0，上式為曲線方程，通過選擇W，可實現(xiàn)非線性函數(shù)，使得自適應線性神經(jīng)元具有非線性可分性。如圖2.7所示： 圖2.7 自適應線性元件的非線性可分性 另一種實現(xiàn)非線性函數(shù)可分的方法是由多個

13、自適應線性神經(jīng)元和AND邏輯器件構成的，所謂Madalines網(wǎng)絡，如圖2.8所示。 圖2.8 兩輸入Madalines 模型 AND 其原理是實現(xiàn)多個線性函數(shù)，對線性不可非區(qū)域進行劃分。如圖2.9所示：圖2.9 Madalines的非線性劃分2.3 LMS學習算法LMS算法也稱為Widrow-Hoff算法或Delta算法，由于容易實現(xiàn)而很快得到了廣泛的應用，成為自適應濾波的標準算法。Adaline和Madalines模型所采用的就是LMS算法。該方法通過調整單個神經(jīng)元的權值，使神經(jīng)元的實際輸出與理想輸出之差為最小。LMS算法采用了誤差最速下降準則，使用的誤差測度函數(shù)為均方誤差MSE。即權值的

14、調整是按均方誤差函數(shù)負梯度變化。即有其中 是當前權值， 是下一步權值， 是學習率， 是MES曲面上對應于 的梯度值。 設MSE測度函數(shù)（誤差平方和）為其中， 為在j 輸出單元的期望輸出；第j 單元的實際輸出為改寫上式為：其中， 為當前模式輸入向量。定義瞬時梯度為：則有注意，上式采用的是瞬時梯度下降來訓練網(wǎng)絡的權值，因此，LMS算法實際上偏離了E真正的梯度下降方向，是一種近似的梯度下降。但當學習率很小時，這種偏離是可以忽略的。當學習率 比較小時，LMS算法自適應過程較慢， 但這時可記憶更多的過去數(shù)據(jù)，從而結果更精確。也可以說，學習率的倒數(shù)表示了LMS算法的記憶容量。 若要實現(xiàn)全局誤差函數(shù)E上的梯

15、度下降，則的變化應正比于負平均梯度，即： 之所以采用瞬時梯度，是因為它可以直接從單個樣本數(shù)據(jù)求得。此外，要計算所有訓練模式的平均梯度是很費時的，因而在實際中很少用。 當用式(2.2)來訓練網(wǎng)絡，為獲得全局誤差最小的最優(yōu)權值，需要無限次的迭代運算。有限次迭代得到的解只是近似解，這是LMS學習算法的一個不足之處。 可以看出，LMS算法與感知器的誤差修正算法在形式上是一樣的，但他們有本質上的差別。差別在于：感知器學習的數(shù)學基礎是模式空間超平面位置的調整；LMS算法學習的數(shù)學基礎是誤差曲面上的梯度下降。LMS算法步驟初始化 。選擇一輸入樣本 。計算實際輸出 。如果誤差 則結束訓練。計算 ，更新 。返回

16、 2網(wǎng)絡應用設計舉例 對線性神經(jīng)元進行訓練設計一個簡單的單層線性神經(jīng)元，使其實現(xiàn)從輸入到輸出的變換關系。 P=+1.0 1.2 T=+0.5 +1.0給出權值和閾值的范圍并繪制誤差曲面及誤差等高線， w_range = -1:0.1:1; b_range = -1:0.1:1; ES = errsurf(P,T,w_range,purelin); plotes(w_range,b_range,ES);誤差曲面及誤差等高線誤差曲面及誤差等高線如下圖所示。學習速率問題 在網(wǎng)絡設計中，學習速率的選取是影響收斂速 度以及訓練結果的一個很重要的因素。只要學 習速率足夠小，采用Widrow-Hoff學習規(guī)

17、則的 線性網(wǎng)絡總可以訓練出一個最小的輸出誤差。 但是當學習速率較大時，可導致訓練過程的不 穩(wěn)定。Matlab工具箱給出了一個正確求解學習 率的函數(shù)maxlinlr。下面我們用maxlinlr求得 的學習率大的值訓練網(wǎng)絡。舉例 學習速率過大輸入和目標與上例相同，但學習率是原來的1.5倍。本例選取的學習率為 maxlr = maxlinlr(P,bias);訓練次數(shù)為 net.trainParam.epochs= 20;建立一個學習率為原來的1.5倍的線性網(wǎng)絡：net = newlin( -2 2,1,0,maxlr*2.25) 該程序的仿真結果為： a= 66.2114 1.誤差曲面及誤差等高線 2.訓練過程的誤差曲線 當學習率選取較大時，誤差越來越大 ，網(wǎng)絡不收斂。如圖所示。舉例 自適應噪聲消除 設計一個自適應線性網(wǎng)絡，使其對輸入信號進行預測。程序如下：time = 1:0.01:2.5;X = sin(sin(time).*time*10);P = con2seq(X);T = con2seq(2*0 X(1:(end-1) + X);plot(time,cat(2,P:),time,cat(2,T:),-)；title(Input and Ta