神經(jīng)網(wǎng)絡感知器與自適應元課件

1、2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元1第六章第六章 感知器與自適應元感知器與自適應元件件2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元2內(nèi)容安排內(nèi)容安排6.1 6.1 感知器感知器6.1 6.1 自適應元件自適應元件2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元36.1 6.1 感知器感知器 感知器的網(wǎng)絡結構感知器的網(wǎng)絡結構 感知器的圖形解釋感知器的圖形解釋 感知器的學習規(guī)則感知器的學習規(guī)則 網(wǎng)絡的訓練網(wǎng)絡的訓練 感知器神經(jīng)網(wǎng)絡應用的局限性感知器神經(jīng)網(wǎng)絡應用的局限性 感知器神經(jīng)網(wǎng)絡設計實例感知器神經(jīng)網(wǎng)絡設計實例2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元4感知器是由美國計算機科學家羅森布拉特感知器

2、是由美國計算機科學家羅森布拉特（F.Roseblatt）于）于1957年提出的。年提出的。單層感知器神經(jīng)元模型圖：單層感知器神經(jīng)元模型圖：圖圖 感知器神經(jīng)元模型感知器神經(jīng)元模型 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元5 F.Roseblatt已經(jīng)證明，如果兩類模式是線性可分已經(jīng)證明，如果兩類模式是線性可分的（指存在一個超平面將它們分開），則算法一定收的（指存在一個超平面將它們分開），則算法一定收斂。斂。 感知器特別適用于簡單的模式分類問題，也可用感知器特別適用于簡單的模式分類問題，也可用于基于模式分類的學習控制中。于基于模式分類的學習控制中。 本節(jié)中所說的感知器是指單層的感知器。多層網(wǎng)本節(jié)

3、中所說的感知器是指單層的感知器。多層網(wǎng)絡因為要用到后面將要介紹的反向傳播法進行權值修絡因為要用到后面將要介紹的反向傳播法進行權值修正，所以把它們均歸類為反向傳播網(wǎng)絡之中。正，所以把它們均歸類為反向傳播網(wǎng)絡之中。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元66.1.1 感知器的網(wǎng)絡結構感知器的網(wǎng)絡結構 根據(jù)網(wǎng)絡結構，可以寫出第根據(jù)網(wǎng)絡結構，可以寫出第i個輸出神經(jīng)元個輸出神經(jīng)元(i1，2，s)的加權輸入和的加權輸入和ni及其輸出及其輸出ai為：為： 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元7 感知器的輸出值是通過測試加權輸入和值落在閾感知器的輸出值是通過測試加權輸入和值落在閾值函數(shù)的左右來進行分

4、類的，即有：值函數(shù)的左右來進行分類的，即有： 閾值激活函數(shù)如圖閾值激活函數(shù)如圖43所示。所示。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元86.1 .2 感知器的圖形解釋感知器的圖形解釋 由感知器的網(wǎng)絡結構，我們可以看出感知器的基由感知器的網(wǎng)絡結構，我們可以看出感知器的基本功能是將輸入矢量轉化成本功能是將輸入矢量轉化成0或或1的輸出。這一功能可的輸出。這一功能可以通過在輸人矢量空間里的作圖來加以解釋。以通過在輸人矢量空間里的作圖來加以解釋。 感知器權值參數(shù)的設計目的，就是根據(jù)學習法感知器權值參數(shù)的設計目的，就是根據(jù)學習法則設計一條則設計一條W*P+b0的軌跡，使其對輸入矢量能夠的軌跡，使其對輸

5、入矢量能夠達到期望位置的劃分。達到期望位置的劃分。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元9 以輸入矢量以輸入矢量r2為例，對于選定的權值為例，對于選定的權值w1、w2和和b，可以在以可以在以p1和和p2分別作為橫、縱坐標的輸入平面內(nèi)畫分別作為橫、縱坐標的輸入平面內(nèi)畫出出W*P+bw1 p1十十w2 p2十十b0的軌跡，它是一條直線，的軌跡，它是一條直線，此直線以上部分的所有此直線以上部分的所有p1、p2值均使值均使w1 p1十十w2 p2十十b0，這些點若通過由，這些點若通過由w1、w2和和b構成的感知器則使其輸構成的感知器則使其輸出為出為1；該直線以下部分的點則使感知器的輸出為；該直線

6、以下部分的點則使感知器的輸出為0。 所以當采用感知器對不同的輸入矢量進行期望輸所以當采用感知器對不同的輸入矢量進行期望輸出為出為0或或1的分類時，其問題可轉化為：對于已知輸入的分類時，其問題可轉化為：對于已知輸入矢量在輸入空間形成的不同點的位置，設計感知器的矢量在輸入空間形成的不同點的位置，設計感知器的權值權值W和和b，將由，將由W*P+b0的直線放置在適當?shù)奈恢玫闹本€放置在適當?shù)奈恢蒙鲜馆斎胧噶堪雌谕敵鲋颠M行上下分類。上使輸入矢量按期望輸出值進行上下分類。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元10圖圖 輸入矢量平面圖輸入矢量平面圖2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元116.1.

7、3 感知器的學習規(guī)則感知器的學習規(guī)則 學習規(guī)則是用來計算新的權值矩陣學習規(guī)則是用來計算新的權值矩陣W及新的偏差及新的偏差B的算法。的算法。 感知器利用其學習規(guī)則來調(diào)整網(wǎng)絡的權值，以便感知器利用其學習規(guī)則來調(diào)整網(wǎng)絡的權值，以便使該網(wǎng)絡對輸人矢量的響應達到數(shù)值為使該網(wǎng)絡對輸人矢量的響應達到數(shù)值為0或或1的目標輸?shù)哪繕溯敵觥３觥?輸入矢量輸入矢量P，輸出矢量，輸出矢量A，目標矢量為，目標矢量為T的感知器的感知器網(wǎng)絡，其學習規(guī)則為：網(wǎng)絡，其學習規(guī)則為：2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元12如果第如果第i個神經(jīng)元的輸出是正確的，即有：個神經(jīng)元的輸出是正確的，即有：aiti，那么，那么與第與第i個

8、神經(jīng)元聯(lián)接的權值個神經(jīng)元聯(lián)接的權值wij和偏差值和偏差值bi保持不變；保持不變； 如果第如果第i個神經(jīng)元的輸出是個神經(jīng)元的輸出是0，但期望輸出為，但期望輸出為1，即有，即有ai0，而，而ti1，此時權值修正算法為：新的權值，此時權值修正算法為：新的權值wij為舊為舊的權值的權值wij加上輸人矢量加上輸人矢量pj；類似的，新的偏差；類似的，新的偏差bi為舊偏為舊偏差差bi加上它的輸入加上它的輸入1； 如果第如果第i個神經(jīng)元的輸出為個神經(jīng)元的輸出為1，但期望輸出為，但期望輸出為0，即有，即有ai1，而，而ti0，此時權值修正算法為：新的權值，此時權值修正算法為：新的權值wij等于等于舊的權值舊的權

9、值wij減去輸入矢量減去輸入矢量pj；類似的，新的偏差；類似的，新的偏差bi為舊為舊偏差偏差bi減去減去1。 感知器學習規(guī)則的實質(zhì)為：權值的變化量等于正感知器學習規(guī)則的實質(zhì)為：權值的變化量等于正負輸入矢量。負輸入矢量。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元13 對于所有的對于所有的i和和j，il，2，s；j1，2，r，感知器修正權值公式為：感知器修正權值公式為： 上述用來修正感知器權值的學習算法在上述用來修正感知器權值的學習算法在MATLAB神經(jīng)網(wǎng)絡工具箱中已編成了子程序，成為一個名為神經(jīng)網(wǎng)絡工具箱中已編成了子程序，成為一個名為1earnp.m的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲的函數(shù)

10、。只要直接調(diào)用此函數(shù)，即可立即獲得權值的修正量。此函數(shù)所需要的輸人變量為：輸入、得權值的修正量。此函數(shù)所需要的輸人變量為：輸入、輸出矢量和目標矢量：輸出矢量和目標矢量：P、A和和T。調(diào)用命令為：。調(diào)用命令為：dW，dBlearnp(P，A，T)； (4-5)2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元146.1.4 網(wǎng)絡的訓練網(wǎng)絡的訓練 感知器的訓練過程如下：感知器的訓練過程如下： 輸入矢量輸入矢量P的作用下，計算網(wǎng)絡的實際輸出的作用下，計算網(wǎng)絡的實際輸出A，并，并與相應的目標矢量與相應的目標矢量T進行比較，檢查進行比較，檢查A是否等于是否等于T，然，然后用比較后的誤差量，根據(jù)學習規(guī)則進行權值和

11、偏差后用比較后的誤差量，根據(jù)學習規(guī)則進行權值和偏差的調(diào)整；的調(diào)整；重新計算網(wǎng)絡在新權值作用下的輸入，重復權值重新計算網(wǎng)絡在新權值作用下的輸入，重復權值調(diào)整過程，直到網(wǎng)絡的輸出調(diào)整過程，直到網(wǎng)絡的輸出A等于目標矢量等于目標矢量T或訓練次或訓練次數(shù)達到事先設置的最大值時訓練結束。數(shù)達到事先設置的最大值時訓練結束。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元15 感知器設計訓練的步驟可總結如下：感知器設計訓練的步驟可總結如下： 1) 對于所要解決的問題，確定輸入矢量對于所要解決的問題，確定輸入矢量P，目標矢，目標矢量量T，并由此確定各矢量的維數(shù)以及確定網(wǎng)絡結構大小，并由此確定各矢量的維數(shù)以及確定網(wǎng)絡

12、結構大小的神經(jīng)元數(shù)目：的神經(jīng)元數(shù)目：r，s和和q； 2) 參數(shù)初始化：參數(shù)初始化：a) 賦給權矢量賦給權矢量w在在(-1，1)的隨機非零初始值；的隨機非零初始值；b) 給出最大訓練循環(huán)次數(shù)給出最大訓練循環(huán)次數(shù)max_epoch； 3) 網(wǎng)絡表達式：根據(jù)輸人矢量網(wǎng)絡表達式：根據(jù)輸人矢量P以及最新權矢量以及最新權矢量W，計算網(wǎng)絡輸出矢量計算網(wǎng)絡輸出矢量A； 4) 檢查：檢查輸出矢量檢查：檢查輸出矢量A與目標矢量與目標矢量T是否相同，如是否相同，如果是，或已達最大循環(huán)次數(shù)，訓練結束，否則轉入果是，或已達最大循環(huán)次數(shù)，訓練結束，否則轉入5)； 5) 學習：根據(jù)學習：根據(jù)(45)式感知器的學習規(guī)則調(diào)整權

13、矢量，式感知器的學習規(guī)則調(diào)整權矢量，并返回并返回3)。2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元166.1. 5 感知器神經(jīng)網(wǎng)絡應用的局限性感知器神經(jīng)網(wǎng)絡應用的局限性 首先，感知器的輸出只能取首先，感知器的輸出只能取0或或1。 其次，單層感知器只能對線性可分的向量集合進其次，單層感知器只能對線性可分的向量集合進行分類。行分類。2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元176.1. 6 感知器神經(jīng)網(wǎng)絡設計實例感知器神經(jīng)網(wǎng)絡設計實例 例例1 考慮一個簡單的分類問題?？紤]一個簡單的分類問題。 設計一個感知器，將二維的四組輸入矢量分設計一個感知器，將二維的四組輸入矢量分成兩類。成兩類。輸入矢量為：輸入

14、矢量為：P-0.5 -0.5 0.3 0； -0.5 0.5 -0.5 1；目標矢量為：目標矢量為：T1.0 l.0 0 0，2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元18代數(shù)求解法代數(shù)求解法2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元19 當采用感知器神經(jīng)網(wǎng)絡來對此題進行求解時，網(wǎng)當采用感知器神經(jīng)網(wǎng)絡來對此題進行求解時，網(wǎng)絡結構圖如圖絡結構圖如圖45所示。所示。 由此可見，對于單層網(wǎng)絡，網(wǎng)絡的輸入神經(jīng)元數(shù)由此可見，對于單層網(wǎng)絡，網(wǎng)絡的輸入神經(jīng)元數(shù)r和輸出神經(jīng)元數(shù)和輸出神經(jīng)元數(shù)s分別由輸入矢量分別由輸入矢量P和目標矢量和目標矢量T唯一確唯一確定。網(wǎng)絡的權矩陣的維數(shù)為：定。網(wǎng)絡的權矩陣的維數(shù)為：W

15、sr，Bs1權值總數(shù)為權值總數(shù)為sr個，偏差個數(shù)為個，偏差個數(shù)為s個。個。 在確定了網(wǎng)絡結構并設置了最大循環(huán)次數(shù)和賦予在確定了網(wǎng)絡結構并設置了最大循環(huán)次數(shù)和賦予權值初始值后，設計者可方便地利用權值初始值后，設計者可方便地利用MATLAB，根據(jù)，根據(jù)題意以及感知器的學習、訓練過程來編寫自己的程序。題意以及感知器的學習、訓練過程來編寫自己的程序。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元20 作業(yè)作業(yè) 1. 設設P =-1,1,-1,1, -1,1,-1,1;-1,-1,1,1,-1,-1,1,1;-1,-1,-1,-1,1,1,1,1 T = 0 ,1,0 ,0,1,1,0,1 請畫出感知器網(wǎng)

16、絡結構圖，并編寫請畫出感知器網(wǎng)絡結構圖，并編寫MATLAB程序解該程序解該分類問題。分類問題。如如 T = 0,0,0,0,1,1,1,1；0,0,0,0,1,1,1,1 請畫出感知器網(wǎng)絡結構圖，并編寫請畫出感知器網(wǎng)絡結構圖，并編寫MATLAB程序解程序解該分類問題。該分類問題。2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元21 感知器的局限性 由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取矢量只能取0或或1，所以只能用它來解決簡單的分，所以只能用它來解決簡單的分類問題；類問題； 感知器僅能夠線性地將輸入矢量進行分類。感知器僅能夠線性地將輸入矢量進行

17、分類。 感知器還有另外一個問題，當輸入矢量中有一個感知器還有另外一個問題，當輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導致較慢的數(shù)比其他數(shù)都大或小得很多時，可能導致較慢的收斂速度。收斂速度。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元226.2 6.2 自適應元件自適應元件 自適應線性神經(jīng)元模型和結構自適應線性神經(jīng)元模型和結構 WH學習規(guī)則學習規(guī)則 網(wǎng)絡訓練網(wǎng)絡訓練 例題與分析例題與分析 對比與分析對比與分析2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元23 自適應線性元件自適應線性元件(Adaptive Linear Element，簡稱，簡稱Adaline) ，由威德羅（，由威德羅（Wi

18、drow）和霍夫（）和霍夫（Hoff）首先）首先提出的，它與感知器的主要不同之處在于其神經(jīng)元有提出的，它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取僅僅只是像感知器中那樣只能取0或或1。 它采用的是它采用的是WH學習法則，也稱最小均方差學習法則，也稱最小均方差(LMS)規(guī)則對權值進行訓練。規(guī)則對權值進行訓練。 自適應線性元件的主要用途是線性逼近一個函數(shù)自適應線性元件的主要用途是線性逼近一個函數(shù)式而進行模式聯(lián)想。式而進行模式聯(lián)想。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元246.2.

19、1 自適應線性神經(jīng)元模型和結構自適應線性神經(jīng)元模型和結構 圖圖 自適應線性神經(jīng)網(wǎng)絡的結構自適應線性神經(jīng)網(wǎng)絡的結構 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元256.2.2 WH學習規(guī)則學習規(guī)則 WH學習規(guī)則是由威德羅和霍夫提出的用來修學習規(guī)則是由威德羅和霍夫提出的用來修正權矢量的學習規(guī)則正權矢量的學習規(guī)則 。 采用采用WH學習規(guī)則可以用來訓練一定網(wǎng)絡的權學習規(guī)則可以用來訓練一定網(wǎng)絡的權值和偏差使之線性地逼近一個函數(shù)式而進行模式聯(lián)想值和偏差使之線性地逼近一個函數(shù)式而進行模式聯(lián)想(Pattern Association)。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元26定義一個線性網(wǎng)絡的輸出誤差函

20、數(shù)為：定義一個線性網(wǎng)絡的輸出誤差函數(shù)為： 我們的目的是通過調(diào)節(jié)權矢量，使我們的目的是通過調(diào)節(jié)權矢量，使E(W，B)達到達到最小值。最小值。 所以在給定所以在給定E(W，B)后，利用后，利用WH學習規(guī)則修學習規(guī)則修正權矢量和偏差矢量，使正權矢量和偏差矢量，使E(W，B)從誤差空間的某一從誤差空間的某一點開始，沿著點開始，沿著E(W，B)的斜面向下滑行。的斜面向下滑行。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元27 根據(jù)梯度下降法，權矢量的修正值正比于當前位根據(jù)梯度下降法，權矢量的修正值正比于當前位置上置上E(W，B)的梯度，對于第的梯度，對于第i個輸出節(jié)點有：個輸出節(jié)點有： 或表示為或表示為：

21、 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元28 為學習速率。在一般的實際運用中，實踐表明，為學習速率。在一般的實際運用中，實踐表明，通常取一接近通常取一接近1的數(shù)，或取值為：的數(shù)，或取值為： 學習速率的這一取法在神經(jīng)網(wǎng)絡工具箱中用函學習速率的這一取法在神經(jīng)網(wǎng)絡工具箱中用函數(shù)數(shù)maxlinlr.m來實現(xiàn)。上式可實現(xiàn)為：來實現(xiàn)。上式可實現(xiàn)為： 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元29 WH學習規(guī)則的函數(shù)為：學習規(guī)則的函數(shù)為：learnwh.m來實現(xiàn)，加來實現(xiàn)，加上線性自適應網(wǎng)絡輸出函數(shù)上線性自適應網(wǎng)絡輸出函數(shù)purelin.m，可以寫出，可以寫出WH學習規(guī)則的計算公式為：學習規(guī)則的計算公式

22、為： Apurelin(W*P)； ETA； dW，dBlearnwh(P，E，h)； WW十十dW； BB十十dB； 采用采用WH規(guī)則訓練自適應線性元件使其能夠得規(guī)則訓練自適應線性元件使其能夠得以收斂的必要條件是被訓練的輸入矢量必須是線性獨以收斂的必要條件是被訓練的輸入矢量必須是線性獨立的，且應適當?shù)剡x擇學習速率以防止產(chǎn)生振蕩現(xiàn)象。立的，且應適當?shù)剡x擇學習速率以防止產(chǎn)生振蕩現(xiàn)象。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元306.2.3 網(wǎng)絡訓練網(wǎng)絡訓練 自適應線性元件的網(wǎng)絡訓練過程可以歸納為以下自適應線性元件的網(wǎng)絡訓練過程可以歸納為以下三個步驟：三個步驟： 1) 表達：計算訓練的輸出矢量表

23、達：計算訓練的輸出矢量AW*P十十B，以，以及與期望輸出之間的誤差及與期望輸出之間的誤差ETA； 2) 檢查：將網(wǎng)絡輸出誤差的平方和與期望誤差相檢查：將網(wǎng)絡輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓練已達到事先設比較，如果其值小于期望誤差，或訓練已達到事先設定的最大訓練次數(shù)，則停止訓練，否則繼續(xù)；定的最大訓練次數(shù)，則停止訓練，否則繼續(xù)； 3) 學習：采用學習：采用WH學習規(guī)則計算新的權值和偏學習規(guī)則計算新的權值和偏差，并返回到差，并返回到 1)。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元31采用采用Matlab進行自適應線性元件網(wǎng)絡的訓練過程如下：進行自適應線性元件網(wǎng)絡的訓

24、練過程如下：trainwh.m 表達式表達式A=purelin(W*P，B);E=T-A；SSEsumsqr(E);求誤差平方和求誤差平方和for epoch1: max_epoch循環(huán)訓練循環(huán)訓練if SSEerr_goal比較誤差比較誤差epochepoch1；break若滿足期望誤差要求，結束訓練若滿足期望誤差要求，結束訓練enddW，dB1earnwh(P，E，lr)；修正權值；修正權值WW十十dW；BB十十dB;Apurelin(W*P，B)；網(wǎng)絡輸出網(wǎng)絡輸出ET-A；SSEsumsqr(E)；計算網(wǎng)絡誤差平方和計算網(wǎng)絡誤差平方和end 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元32

25、6.2.4 例題與分析例題與分析 例例1 設計自適應線性網(wǎng)絡實現(xiàn)從輸入矢量到輸出矢量設計自適應線性網(wǎng)絡實現(xiàn)從輸入矢量到輸出矢量的變換關系。其輸入矢量和輸出矢量分別為：的變換關系。其輸入矢量和輸出矢量分別為： P1.0 -1.2 T0.5 1.02021-9-22神經(jīng)網(wǎng)絡感知器與自適應元33wf1.mP1 -1.2；T0.5 1；R，Qsize(P)；S，Qsize(T)；W，Brands(S，R)；max_epoch20；最大循環(huán)次數(shù)最大循環(huán)次數(shù)err_goal0.001；期望誤差期望誤差1r0.4*maxlinlr(P)；最佳學習速率最佳學習速率disp_freq1；設置顯示頻率設置顯示頻率

26、TPdisp_freq max_epoch err_goal lr;設置參數(shù)變量設置參數(shù)變量TPW，B，epochs，errortrainwh(W，B，P，T，TP) 進行線性進行線性網(wǎng)絡權值訓練網(wǎng)絡權值訓練2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元34 在隨機初始值為：在隨機初始值為：W00.9309；B00.8931的的情況下，經(jīng)過情況下，經(jīng)過12次循環(huán)訓練后，網(wǎng)絡的輸出誤差平方次循環(huán)訓練后，網(wǎng)絡的輸出誤差平方和達到和達到0.000949，網(wǎng)絡的最終權值為：，網(wǎng)絡的最終權值為：W-0.2354；B0.7066 實際上，對于實際上，對于上面上面這個簡單的例題，它存在一個這個簡單的例題，它存在

27、一個精確解，且可以用解二元一次方程的方式將精確解，且可以用解二元一次方程的方式將P和和T值分值分別對應地代入方程別對應地代入方程TW*P十十B得：得： 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元35 可解出可解出eT-A0的解為：的解為：W-0.2273；B0.7273 由此看出，對于特別簡單的問題，采用自適應線由此看出，對于特別簡單的問題，采用自適應線性網(wǎng)絡的訓練不一定能夠得到足夠精確的解。因為當性網(wǎng)絡的訓練不一定能夠得到足夠精確的解。因為當訓練誤差達到期望誤差值后，訓練即被終止。訓練誤差達到期望誤差值后，訓練即被終止。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元36 對于具有零誤差的自適應

28、線性網(wǎng)絡，即輸入對于具有零誤差的自適應線性網(wǎng)絡，即輸入/輸出矢量對存在著嚴格的線性關系，此時的自適應輸出矢量對存在著嚴格的線性關系，此時的自適應線性網(wǎng)絡的設計可以采用工具箱中另外一個名為線性網(wǎng)絡的設計可以采用工具箱中另外一個名為solvelin.m的函數(shù)。的函數(shù)。 W，Bsolvelin(P，T) 然后可用然后可用simulin.m函數(shù)來檢測所設計的網(wǎng)絡：函數(shù)來檢測所設計的網(wǎng)絡： Asimulin(P，W，B) 還可以用還可以用sumsqr.m函數(shù)來求出誤差平方和：函數(shù)來求出誤差平方和： SSEsumsqr(T-A) 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元37 例例2 2 現(xiàn)在來考慮一個較

29、大的多神經(jīng)元網(wǎng)絡的模式現(xiàn)在來考慮一個較大的多神經(jīng)元網(wǎng)絡的模式聯(lián)想的設計問題。輸入矢量和目標矢量分別為：聯(lián)想的設計問題。輸入矢量和目標矢量分別為：2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元38解：解：由輸入矢量和目標輸出矢量可得：由輸入矢量和目標輸出矢量可得：r3，s4，q4。所以網(wǎng)絡的結構如圖所示。所以網(wǎng)絡的結構如圖所示。 這個問題的求解同樣可以采用線性方程組求出，即這個問題的求解同樣可以采用線性方程組求出，即對每一個輸出節(jié)點寫出輸入和輸出之間的關系等式。對每一個輸出節(jié)點寫出輸入和輸出之間的關系等式。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元39 實際上要求出這實際上要求出這16個方程的解是

30、需要花費一定的個方程的解是需要花費一定的時間的，甚至是不太容易的。時間的，甚至是不太容易的。 對于一些實際問題，常常并不需要求出其完美的對于一些實際問題，常常并不需要求出其完美的零誤差時的解。也就是說允許存在一定的誤差。零誤差時的解。也就是說允許存在一定的誤差。 在這種情況下，采用自適應線性網(wǎng)絡求解就顯示在這種情況下，采用自適應線性網(wǎng)絡求解就顯示出它的優(yōu)越性：因為它可以很快地訓練出滿足一定要出它的優(yōu)越性：因為它可以很快地訓練出滿足一定要求的網(wǎng)絡權值。求的網(wǎng)絡權值。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元40wf2.mP=1 1.5 1.2 0.3; -1 2 3 0.5; 2 1 1.6

31、0.9;T=0.5 3 2.2 1.4; 1.1 1.2 1.7 0.4; 3 0.2 1.8 0.4; -1 0.1 1.0 0.6;disp_freq=400;中間不顯示結果中間不顯示結果max_epoch=400;err_goal=0.001;lr=0.9*maxlinlr(P);W=1.9978 0.5959 0.3517; 1.5543 0.05331 1.3660;%初始權值初始權值1.0672 0.3645 0.9227; -0.7747 1.3839 0.3384;B=0.0746; -0.0642; -0.4256; -0.6433;SSEsumsqr(T-purelin(W

32、*P，B);%未訓練前誤差未訓練前誤差fprintf(Before trainihg, sum squared error=g. n, SSE)2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元41訓練網(wǎng)絡訓練網(wǎng)絡flops(0)tpdisp_freq max_epoch err_goal lr;%設置參數(shù)變量設置參數(shù)變量tpW, B, epochs，errorstrainwh(W, B, P, T, tp); %進行線性網(wǎng)絡權值進行線性網(wǎng)絡權值訓練訓練W顯示最終訓練權矢量顯示最終訓練權矢量B顯示最終訓練偏差矢量顯示最終訓練偏差矢量SSEsumsqr(T-purelin(W*P, B)；最終誤差最終誤

33、差顯示結果并給出結論顯示結果并給出結論ploterr(errors), fprintf (n After.0f epochs，sum squared e errorg. nn, SSE),fprintf (Training took .0f flops. n, flops),fprintf ( Trained network operates：); if SSEerr_goal disp(Adequately.) elsedisp(Inadequately.) endend2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元42訓練后的網(wǎng)絡權值為訓練后的網(wǎng)絡權值為： 網(wǎng)絡訓練過程中的誤差記錄網(wǎng)絡訓練過程

34、中的誤差記錄 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元43對于存在零誤差的精確權值網(wǎng)絡，若用函數(shù)對于存在零誤差的精確權值網(wǎng)絡，若用函數(shù)solvelin.m來來求解，則更加簡單如下：求解，則更加簡單如下：wf3.mP1 1.5 1.2 0.3; -1 2 3 0.5; 2 1 1.6 0.9;T0.5 3 2.2 1.4; 1.1 1.2 1.7 0.4; 3 0.2 1.8 -0.4; -1 0.1 1.0 0.6;W，Bsolvelin(P,T);Asimulin (P, W, B);SSEsumsqr (T-A)WBend2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元44由此可得零誤差的唯一

35、精確解為：由此可得零誤差的唯一精確解為： 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元45 例例3 3 設計訓練一個線性網(wǎng)絡實現(xiàn)下列從輸入矢量設計訓練一個線性網(wǎng)絡實現(xiàn)下列從輸入矢量到目標矢量的變換：到目標矢量的變換： 所給出的輸入矢量元素之間是線性相關的：第三組所給出的輸入矢量元素之間是線性相關的：第三組元素等于第二組元素的兩倍減去第一組：元素等于第二組元素的兩倍減去第一組：P32P2P1。 由于輸入矢量的奇異性，用函數(shù)由于輸入矢量的奇異性，用函數(shù)solvelin.m來設計來設計時網(wǎng)絡會產(chǎn)生問題。只有在能夠線性地解出問題的情時網(wǎng)絡會產(chǎn)生問題。只有在能夠線性地解出問題的情況下，用函數(shù)況下，用函數(shù)s

36、olvelin.m才比較準確。才比較準確。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元46 只要將前面已編寫的只要將前面已編寫的wf2.m程序中的輸入與目標程序中的輸入與目標矢量改變一下，并給出矢量改變一下，并給出(-1，1)之間的隨機初始值，即之間的隨機初始值，即可運行看到本例的結果?？蛇\行看到本例的結果。 其最終誤差在其最終誤差在1.04左右，這就是本例題下的最小左右，這就是本例題下的最小誤差平方和，誤差平方和， 而當采用完全線性函數(shù)的設計而當采用完全線性函數(shù)的設計solvelin.m去求解網(wǎng)去求解網(wǎng)絡權值時，所得到的誤差是絡權值時，所得到的誤差是4.25。 采用采用WH算法訓練出的誤差是

37、它的算法訓練出的誤差是它的14，由此，由此可見其算法的優(yōu)越性?？梢娖渌惴ǖ膬?yōu)越性。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元47 例例4 現(xiàn)在假定在上面例題的輸入輸出矢量中增加現(xiàn)在假定在上面例題的輸入輸出矢量中增加兩組元素，使其變?yōu)閮山M元素，使其變?yōu)?P1.0 1.5 3.0 -1.2 T0.5 1.1 3.0 -1.0 本例題的目的是在于了解自適應線性網(wǎng)絡的線性逼本例題的目的是在于了解自適應線性網(wǎng)絡的線性逼近求解的能力。近求解的能力。 本例題給出了輸入輸出對的位置以及網(wǎng)絡求解的結本例題給出了輸入輸出對的位置以及網(wǎng)絡求解的結果。對于所設置的果。對于所設置的err_goal0.001, 在循環(huán)

38、訓練了在循環(huán)訓練了50次次后所得的誤差平方和仍然為：后所得的誤差平方和仍然為：SSE0.289。這個值即是。這個值即是本題所能達到的最小誤差平方和的值。本題所能達到的最小誤差平方和的值。 當采用線性自適應線性網(wǎng)絡求解問題所得到的誤差當采用線性自適應線性網(wǎng)絡求解問題所得到的誤差特別大時，可以認為此問題不適宜用線性網(wǎng)絡來解決。特別大時，可以認為此問題不適宜用線性網(wǎng)絡來解決。 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元48圖圖 網(wǎng)絡訓練結果圖網(wǎng)絡訓練結果圖 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元49 自適應線性網(wǎng)絡還有另一個潛在的困難，當學習速自適應線性網(wǎng)絡還有另一個潛在的困難，當學習速率取得較

39、大時，可導致訓練過程的不穩(wěn)定。率取得較大時，可導致訓練過程的不穩(wěn)定。 例例5 5 輸入輸入/目標矢量與例目標矢量與例1相同。我們將以不同的學相同。我們將以不同的學習速率訓練兩次網(wǎng)絡以展現(xiàn)兩種不希望的學習速率帶來習速率訓練兩次網(wǎng)絡以展現(xiàn)兩種不希望的學習速率帶來的影響。的影響。 以例以例1 1為樣本，為樣本， 1)1)對于第一個嘗試，學習速率對于第一個嘗試，學習速率lrlr?。喝。?1r1r1.71.7* *maxlinlr(P)maxlinlr(P)； 2)2)第二個嘗試是選用更大學習速率：第二個嘗試是選用更大學習速率： 1r1r2.52.5* *maxlinlr(P); maxlinlr(P); 2021-9-22神經(jīng)網(wǎng)絡感知器與自適應元502021-9-22神經(jīng)網(wǎng)絡感知器與自適應元516.2.5 對比與分析對比與分析 感知器和自適應線性網(wǎng)絡感知器和自適應線性網(wǎng)絡 (1)網(wǎng)絡模