第三章 前饋神經(jīng)網(wǎng)絡(luò)課件

第三章前饋神經(jīng)網(wǎng)絡(luò)本章主要介紹最常用的兩種前饋網(wǎng)絡(luò):BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，以及它的前身感知器、自適應(yīng)線性單元。第三章前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中的一種典型的分層結(jié)構(gòu)，信息從輸入層進入網(wǎng)絡(luò)后逐層向前傳遞至輸出層。根據(jù)前饋網(wǎng)絡(luò)中神經(jīng)元轉(zhuǎn)移函數(shù)、隱層數(shù)以及權(quán)值調(diào)整規(guī)則的不同，可以形成具有各種功能特點的神經(jīng)網(wǎng)絡(luò)。2第三章前饋神經(jīng)網(wǎng)絡(luò)§3.1感知器§3.2

自適應(yīng)線性單元§3.3BP網(wǎng)絡(luò)§3.4BP網(wǎng)絡(luò)變通結(jié)構(gòu)§3.5BP網(wǎng)絡(luò)學習算法的改進§3.6BP網(wǎng)絡(luò)設(shè)計基礎(chǔ)§3.7BP網(wǎng)絡(luò)應(yīng)用與設(shè)計實例§3.8小結(jié)3第三章前饋神經(jīng)網(wǎng)絡(luò)1958年，美國心理學家FrankRosenblatt提出一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進行信息傳遞。感知器研究中首次提出了自組織、自學習的思想，而且對說解決的問題存在著收斂算法，并能從數(shù)學上嚴格證明，因而對神經(jīng)網(wǎng)絡(luò)的研究起了非常重要的推動作用。單層感知器的結(jié)構(gòu)和功能都很簡單，以至于在解決實際問題是很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其他網(wǎng)絡(luò)的基礎(chǔ)，而且較易學習和理解，適合于作為神經(jīng)網(wǎng)絡(luò)的起點?！?.1感知器4第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.1感知器模型j=1,2,…,m

5第三章前饋神經(jīng)網(wǎng)絡(luò)凈輸入：輸出：3.1.1感知器模型6第三章前饋神經(jīng)網(wǎng)絡(luò)(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程

wijx1+w2jx2-Tj=0

確定了二維平面上的一條分界線。ojx1-1x23.1.2感知器的功能7第三章前饋神經(jīng)網(wǎng)絡(luò)感知器的功能（二維）8第三章前饋神經(jīng)網(wǎng)絡(luò)wijx1+w2jx2–Tj=0 wijx1=Tj-w2jx2 x1=(Tj-w2jx2)/wij

=-(w2j/wij)x2+Tj/wij=a

x2+c

9第三章前饋神經(jīng)網(wǎng)絡(luò)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程

wijx1+w2jx2+w3j

–Tj=0確定了三維空間上的一個分界平面。

x2ojx1x3-110第三章前饋神經(jīng)網(wǎng)絡(luò)wijx1+w2jx2

+w3j

x3–Tj=0

x1=a

x2+b

x3+c

是什么？11第三章前饋神經(jīng)網(wǎng)絡(luò)設(shè)輸入向量X=(x1,x2,…,xn)T則由方程

wijx1+w2jx2+…+wnj

–Tj=0確定了n維空間上的一個分界平面。

輸出：wijx1+w2jx2+…+wnj

–Tj=012第三章前饋神經(jīng)網(wǎng)絡(luò)

一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。3.1.2感知器的功能13第三章前饋神經(jīng)網(wǎng)絡(luò)例用感知器實現(xiàn)邏輯“與”功能x1 x2 y0 0 00 1 01 0 01 1

1邏輯“與”真值表14第三章前饋神經(jīng)網(wǎng)絡(luò)例一用感知器實現(xiàn)邏輯“與”功能感知器結(jié)構(gòu)w1x1+w2x2

-T=0

0.5x1+0.5x2-0.75=015第三章前饋神經(jīng)網(wǎng)絡(luò)例用感知器實現(xiàn)邏輯“或”功能x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表16第三章前饋神經(jīng)網(wǎng)絡(luò)用感知器實現(xiàn)邏輯“或”功能感知器結(jié)構(gòu)w1x1+w2x2-T=0

x1+x2-0.5=017第三章前饋神經(jīng)網(wǎng)絡(luò)問題：能否用感知器實現(xiàn)“異或”功能？“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 018第三章前饋神經(jīng)網(wǎng)絡(luò)關(guān)鍵問題就是求19第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.3感知器的學習Perceptron(感知器)學習規(guī)則式中，當實際輸出與期望值相同時，權(quán)值不需要調(diào)整。感知器學習規(guī)則代表一種有導師學習。20第三章前饋神經(jīng)網(wǎng)絡(luò)感知器學習規(guī)則的訓練步驟：(1)對各權(quán)值w0j(0),w1j(0),┄,wnj(0)，j=1,2,…,m

（m為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；(2)輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,…,xnp)，

dp為期望的輸出向量（教師信號），上標p代表樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P，則p=1,2,…,P；3.1.3感知器的學習21第三章前饋神經(jīng)網(wǎng)絡(luò)(3)計算各節(jié)點的實際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調(diào)整各節(jié)點對應(yīng)的權(quán)值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,…,m,

其中為學習率，用于控制調(diào)整速度，太大會影響訓練的穩(wěn)定性，太小則使訓練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實際輸出與期望輸出相等。3.1.3感知器的學習22第三章前饋神經(jīng)網(wǎng)絡(luò)感知器學習規(guī)則的訓練步驟：（1）權(quán)值初始化（2）輸入樣本對（3）計算輸出（4）根據(jù)感知器學習規(guī)則調(diào)整權(quán)值（5）返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實際輸出與期望輸出相等。23第三章前饋神經(jīng)網(wǎng)絡(luò)例單計算節(jié)點感知器，3個輸入。給定3對訓練樣本對如下：X1=(-1，1，-2，0)T

d1=

1 X2=(-1，0，1.5，-0.5)T

d2=

1X3=(-1，-1，1，0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個分量x0恒等于-1，權(quán)向量中第一個分量為閾值，試根據(jù)以上學習規(guī)則訓練該感知器。3.1.3感知器的學習24第三章前饋神經(jīng)網(wǎng)絡(luò)解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T3.1.3感知器的學習25第三章前饋神經(jīng)網(wǎng)絡(luò)第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。3.1.3感知器的學習26第三章前饋神經(jīng)網(wǎng)絡(luò)第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓練直到dp-op=0，p=1,2,3。3.1.3感知器的學習27第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.4單層感知器的局限性問題：能否用感知器解決如下問題？28第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.4單層感知器的局限性無法解決“異或”問題只能解決線性可分問題“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 029第三章前饋神經(jīng)網(wǎng)絡(luò)雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1

x2 y1

y2

o00 11001 10 110 01 111 1103.1.5多層感知器30第三章前饋神經(jīng)網(wǎng)絡(luò)給出具有一個具有單隱層的感知器，其中隱層的兩個節(jié)點相當于兩個獨立的符號單元（但計算節(jié)點感知器）。這兩個符號單元可分別在由x1、x2構(gòu)成的平面上確定兩條分界直線S1和S2，從而構(gòu)成一個開放式凸域。顯然通過適當調(diào)整兩條直線的位置，可使兩類線性不可分樣本分別位于該開放式凸域內(nèi)部和外部。此時對于隱節(jié)點1來說，直線S1下面的樣本使其輸出y1=1，而直線上面的樣本使其輸出為y2=1，而直線下面的樣本使其輸出為y2=0。當輸入樣本為o類時，其位置位于開放式凸域外部，即或者同時同時處在兩直線S1、S2上方，使y1=0，y2=1；或者同時處在兩直線S1、S2下方，使y1=1，y2=0。輸出層節(jié)點一隱層兩節(jié)點的輸出y1、y2作為輸入，其結(jié)構(gòu)也相當于一個符號單元。如果經(jīng)過訓練，使其具有邏輯“與非”功能，則疑惑問題即可得到解決。根據(jù)“與非”邏輯，當隱節(jié)點輸出為y1=1，y2=1時，該節(jié)點輸出為o=0，當隱節(jié)點輸出為y1=1，y2=0時，或y1=0，y2=1時，該節(jié)點輸出o=1。可以看出單隱層感知器確實可以解決異或問題，因此具有解決線性不可分問題的能力。

31第三章前饋神經(jīng)網(wǎng)絡(luò)多層感知器的提出單計算層感知器的局限性只能解決線性可分問題，而大量的分類問題是線性不可分的。解決的有效辦法在輸入層與輸出層之間引入隱層作為輸入模式的“內(nèi)部表示”，將單計算層感知器變成多（計算）層感知器。采用非線性連續(xù)函數(shù)作為轉(zhuǎn)移函數(shù)，使區(qū)域邊界線的基本線素由直線變成曲線，從而使整個邊界線變成連續(xù)光滑的曲線。32第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.5多層感知器33第三章前饋神經(jīng)網(wǎng)絡(luò)⊿Wj(t)=

[dj-oj

(t)]X3.1.5多層感知器具有不同隱層數(shù)的感知器的分類能力對比

返回34第三章前饋神經(jīng)網(wǎng)絡(luò)§3.2自適應(yīng)線性單元1962年美國斯坦福大學教授Widrow提出一種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)，其基本構(gòu)成單元稱為自適應(yīng)線性單元。這種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)主要適用于信號處理中的自適應(yīng)濾波、預(yù)測和模式識別。

返回35第三章前饋神經(jīng)網(wǎng)絡(luò)§3.3BP網(wǎng)絡(luò)

誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP(BackPropagation)網(wǎng)絡(luò)，是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。BP網(wǎng)絡(luò)的示意圖36第三章前饋神經(jīng)網(wǎng)絡(luò)誤差反向傳播算法簡稱BP算法，其基本思想是最小二乘法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實際輸出值與期望輸出值的誤差均方值為最小。BP算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使誤差信號最小。37第三章前饋神經(jīng)網(wǎng)絡(luò)基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反傳（BP）算法38第三章前饋神經(jīng)網(wǎng)絡(luò)模型的數(shù)學表達輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)各個變量之間如何建立聯(lián)系，來描述整個網(wǎng)絡(luò)？39第三章前饋神經(jīng)網(wǎng)絡(luò)對于輸出層：k=1,2,…,l(3.1)k=1,2,…,l(3.2)對于隱層：j=1,2,…,m(3.3)j=1,2,…,m

(3.4)BP學習算法40第三章前饋神經(jīng)網(wǎng)絡(luò)雙極性Sigmoid函數(shù)：單極性Sigmoid函數(shù)：(3.5)BP學習算法41第三章前饋神經(jīng)網(wǎng)絡(luò)輸出誤差E定義：(3.6)將以上誤差定義式展開至隱層：(3.7)BP學習算法42第三章前饋神經(jīng)網(wǎng)絡(luò)進一步展開至輸入層：(3.8)BP學習算法43第三章前饋神經(jīng)網(wǎng)絡(luò)j=0,1,2,…,m;k=1,2,…,l(3.9a)i=0,1,2,…,n;j=1,2,…,m(3.9b)式中負號表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)。在全部推導過程中，對輸出層有j=0,1,2,…,m;k=1,2,…,l對隱層有i=0,1,2,…,n;j=1,2,…,mBP學習算法44第三章前饋神經(jīng)網(wǎng)絡(luò)對于輸出層，式(3.9a)可寫為(3.10a)對隱層，式(3.9b)可寫為(3.10b)對輸出層和隱層各定義一個誤差信號，令

(3.11a)(3.11b)BP學習算法45第三章前饋神經(jīng)網(wǎng)絡(luò)綜合應(yīng)用式(3.2)和(3.11a)，可將式

(3.10a)的權(quán)值調(diào)整式改寫為綜合應(yīng)用式(3.4)和(3.11b)，可將式

(3.10b)的權(quán)值調(diào)整式改寫為(3.12a)（3.12b)可以看出，只要計算出式(3.12)中的誤差信號

o和y，權(quán)值調(diào)整量的計算推導即可完成。下面繼續(xù)推導如何求誤差信號

o和y

。46第三章前饋神經(jīng)網(wǎng)絡(luò)對于輸出層，

o可展開為對于隱層，

y可展開為下面求式(3.13)中網(wǎng)絡(luò)誤差對各層輸出的偏導。(3.13a)（3.13b)47第三章前饋神經(jīng)網(wǎng)絡(luò)對于輸出層，利用式(3.6)：對于隱層，利用式(3.7)：（3.14a)可得：（3.14b)可得：48第三章前饋神經(jīng)網(wǎng)絡(luò)將以上結(jié)果代入式(3.13)，并應(yīng)用式(3.15)（3.15a)得到：（3.15b)至此兩個誤差信號的推導已完成。49第三章前饋神經(jīng)網(wǎng)絡(luò)將式(3.15)代回到式(3.12)，得到三層前饋網(wǎng)的BP學習算法權(quán)值調(diào)整計算公式為：(3.16a)(3.16b)50第三章前饋神經(jīng)網(wǎng)絡(luò)51第三章前饋神經(jīng)網(wǎng)絡(luò)BP學習算法流程：

1)初始化置所有權(quán)值為最小的隨機數(shù)；

2)提供訓練集給定輸入向量和期望的目標輸出向量；

3)計算實際輸出計算隱含層、輸出層各神經(jīng)元輸出；

4)計算目標值與實際輸出的偏差；

5)計算局部梯度；

6)調(diào)整各層權(quán)重；

7)返回2)重復(fù)計算，直到誤差滿足要求為止。52第三章前饋神經(jīng)網(wǎng)絡(luò)53第三章前饋神經(jīng)網(wǎng)絡(luò)

在使用BP算法時，應(yīng)注意的幾個問題是：學習開始時，各隱層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機數(shù)較為適宜。采用S型激發(fā)函數(shù)時，由于輸出層各神經(jīng)元的輸出只能趨于1或0，不能達到1或0。在設(shè)置各訓練樣本時，期望的輸出分量不能設(shè)置為1或0，以設(shè)置為0.9或0.1較為適宜。在學習開始階段，選較大的值可以加快學習速率。學習接近優(yōu)化區(qū)時，學習速率必須相當小，否則權(quán)值將產(chǎn)生振蕩而不收斂。54第三章前饋神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)包含一個隱層，設(shè)輸入層與隱層的權(quán)值wjk，隱層與輸出層的權(quán)值wij初始值x1x2y000011101110BP網(wǎng)絡(luò)權(quán)值學習舉例樣本：輸入和期望輸出激發(fā)函數(shù)學習速率55第三章前饋神經(jīng)網(wǎng)絡(luò)迭代1次后的BP網(wǎng)絡(luò)x1x2y實際輸出誤差0000.50.50110.51010.51100.556第三章前饋神經(jīng)網(wǎng)絡(luò)迭代8000次后的BP網(wǎng)絡(luò)x1x2y實際輸出誤差0000.1190.1660010.7271010.7341100.41557第三章前饋神經(jīng)網(wǎng)絡(luò)迭代11050次后的BP網(wǎng)絡(luò)x1x2y實際輸出誤差0000.050.0080110.9411010.9411100.078

返回58第三章前饋神經(jīng)網(wǎng)絡(luò)標準連接(StandardConnection)

每個單元都與下一層的單元相連。一般三層網(wǎng)絡(luò)能夠解決大多數(shù)問題。如果需要選用一個以上的中間層，學習時間需要大大增加。§3.4BP網(wǎng)絡(luò)變通結(jié)構(gòu)59第三章前饋神經(jīng)網(wǎng)絡(luò)跳躍連接（JumpConnections）Recurrent網(wǎng)絡(luò)

返回60第三章前饋神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)的主要能力(1)非線性映射能力

多層前饋網(wǎng)能學習和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。61第三章前饋神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)的主要能力(2)泛化能力

當向網(wǎng)絡(luò)輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯能力

輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。62第三章前饋神經(jīng)網(wǎng)絡(luò)誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：誤差E是nw+1維空間中一個形狀極為復(fù)雜的曲面，該曲面上的每個點的“高度”對應(yīng)于一個誤差值，每個點的坐標向量對應(yīng)著nw個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。63第三章前饋神經(jīng)網(wǎng)絡(luò)誤差曲面的分布－－BP算法的局限性曲面的分布特點--------算法的局限性(1)存在平坦區(qū)域--------誤差下降緩慢，影響收斂速度(2)存在多個極小點------易陷入局部最小點64第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點1：存在平坦區(qū)域平坦－－誤差的梯度變化?。咏诹?5第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點2：存在多個極小點

誤差梯度為零多數(shù)極小點都是局部極小，即使是全局極小往往也不是唯一的。單權(quán)值雙權(quán)值66第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點2：存在多個極小點BP算法－－－以誤差梯度下降為權(quán)值調(diào)整原則誤差曲面的這一特點－－－使之無法辨別極小點的性質(zhì)導致的結(jié)果：因而訓練經(jīng)常陷入某個局部極小點而不能自拔，從而使訓練無法收斂于給定誤差。67第三章前饋神經(jīng)網(wǎng)絡(luò)BP算法存在的問題BP網(wǎng)絡(luò)收斂太慢影響了該網(wǎng)絡(luò)在許多方面的實際應(yīng)用。為此，許多人對BP網(wǎng)絡(luò)的學習算法進行了廣泛的研究，提出了許多改進的算法。學習時間過長泛化能力較低容易陷入局部最小而中斷學習過程中間層單元個數(shù)、網(wǎng)絡(luò)的大小如何確定（實際應(yīng)用多采用三層網(wǎng)絡(luò)）68第三章前饋神經(jīng)網(wǎng)絡(luò)標準BP算法的改進誤差曲面的形狀－－固有的算法的作用是什么？調(diào)整權(quán)值，找到最優(yōu)點那么如何更好地調(diào)整權(quán)值？利用算法使得權(quán)值在更新的過程中，‘走’合適的路徑，比如跳出平坦區(qū)來提高收斂速度，跳出局部最小點等等如何操作？需要在進入平坦區(qū)或局部最小點時進行一些判斷，通過改變某些參數(shù)來使得權(quán)值的調(diào)整更為合理。69第三章前饋神經(jīng)網(wǎng)絡(luò)引入動量項標準BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)算法，在修正w(t)時，只按t時刻的負梯度方式進行修正，而沒有考慮以前積累的經(jīng)驗，即以前時刻的梯度方向，從而常使學習過程發(fā)生振蕩，收斂緩慢。為此提出如下改進算法：增加動量項即從前一次權(quán)值調(diào)整量中提取出一部分迭代到本次權(quán)值調(diào)整量中。該方法所加入的動量項實質(zhì)上相當于阻尼項，它減小了學習過程的振蕩趨勢，改善了收斂性，這是目前應(yīng)用比較廣泛的種改進算法。70第三章前饋神經(jīng)網(wǎng)絡(luò)變尺度法標準BP學習算法采用一階梯度法，因而收斂較慢。若采用二階梯度法，則改善收斂性。該算法為

其中

雖然二階梯度法具有比較好的收斂性，但需要計算E對w的二階導數(shù)，計算量很大。一般不直接采用二階梯度法，而采用變尺度法或共軛梯度法，它們具有如二階梯度法收斂快的優(yōu)點，而又無需直接計算二階梯度。71第三章前饋神經(jīng)網(wǎng)絡(luò)下面具體給出變尺度法的算法：72第三章前饋神經(jīng)網(wǎng)絡(luò)變步長法

一階梯度法尋優(yōu)收斂較慢的一個重要原因是

η(學習率)不好選擇。η選的太小，收斂太慢，若η選的太大，則有可能修正過頭，導致振蕩甚至發(fā)散。下面給出的變步長法即是針對這個問題而提出的。這里w表示某個連接權(quán)系數(shù)。73第三章前饋神經(jīng)網(wǎng)絡(luò)

上面的算法說明，當連續(xù)兩次迭代其梯度方法相同時，表明下降太慢，這時可使步長加倍；當連續(xù)兩次迭代其梯度方向相反時，表明下降過頭，這時可使步長減半。當需要引入動量項時，上述算法的第二項可修改為

在使用該算法時，由于步長在迭代過程中自適應(yīng)調(diào)整，因此對于不同的連接權(quán)系數(shù)實際采用了不同的學習率，也就是說誤差代價函數(shù)E在超曲面上在不同地方按照各自比較合理的步長向極小點逼近。

返回74第三章前饋神經(jīng)網(wǎng)絡(luò)一、訓練樣本集的準備1.輸入輸出量的選擇2.輸入量的提取與表示3.輸出量的表示二、輸入輸出數(shù)據(jù)的歸一化三、網(wǎng)絡(luò)訓練與測試§3.6BP網(wǎng)絡(luò)設(shè)計基礎(chǔ)75第三章前饋神經(jīng)網(wǎng)絡(luò)1.輸出量的選擇

輸出量:代表系統(tǒng)要實現(xiàn)的功能目標系統(tǒng)的性能指標分類問題的類別歸屬非線性函數(shù)的函數(shù)值一、訓練樣本集的準備76第三章前饋神經(jīng)網(wǎng)絡(luò)2.輸入量的選擇輸入量選擇的兩條基本原則必須選擇那些對輸出影響大且能夠檢測或提取的變量各輸入變量之間互不相關(guān)或相關(guān)性很小77第三章前饋神經(jīng)網(wǎng)絡(luò)輸入輸出量的性質(zhì)從輸入、輸出量的性質(zhì)來看，可分為兩類：一類是數(shù)值變量，一類是語言變量。數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。語言變量是用自然語言表示的概念，其“語言值”是用自然語言表示的事物的各種屬性。當選用語言變量作為網(wǎng)絡(luò)的輸入或輸出變量時，需將其語言值轉(zhuǎn)換為離散的數(shù)值量。78第三章前饋神經(jīng)網(wǎng)絡(luò)輸入量的提取與表示XC=(111100111)T

XI=(111100111)T

XT=(111100111)T(1)文字符號輸入79第三章前饋神經(jīng)網(wǎng)絡(luò)（2）曲線輸入p=1,2,…,P80第三章前饋神經(jīng)網(wǎng)絡(luò)(3)函數(shù)自變量輸入一般有幾個輸入量就設(shè)幾個分量，1個輸入分量對應(yīng)1個輸入層節(jié)點。(4)圖象輸入在這類應(yīng)用中，一般先根據(jù)識別的具體目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的貢獻進行篩選，這種特征提取屬于圖象處理的范疇。81第三章前饋神經(jīng)網(wǎng)絡(luò)3.輸出量的表示(1)“n中取1”表示法

“n中取1”是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對應(yīng)的輸出分量取1，其余n-1個分量全取0。例如，用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個類別。(2)“n-1”表示法

如果用n-1個全為0的輸出向量表示某個類別，則可以節(jié)省一個輸出節(jié)點。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個類別。(3)數(shù)值表示法

對于漸進式的分類，可以將語言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進關(guān)系，并要根據(jù)實際意義拉開距離。82第三章前饋神經(jīng)網(wǎng)絡(luò)二、輸入輸出數(shù)據(jù)的歸一化歸一化也稱為或標準化，是指通過變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0，1]或[-1，1]區(qū)間內(nèi)。

進行歸一化的主要原因：歸一化的方法：83第三章前饋神經(jīng)網(wǎng)絡(luò)進行歸一化的主要原因：網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進入誤差曲面的平坦區(qū)；Sigmoid轉(zhuǎn)移函數(shù)的輸出在0-1或-1-1之間。教師信號如不進行歸一化處理，勢必使數(shù)值大的輸出分量絕對誤差大，數(shù)值小的輸出分量絕對誤差小。84第三章前饋神經(jīng)網(wǎng)絡(luò)歸一化的方法：將輸入輸出數(shù)據(jù)變換為[0，1]區(qū)間的值常用以下變換式其中，xI代表輸入或輸出數(shù)據(jù)，xmin代表數(shù)據(jù)變化的最小值，xman代表數(shù)據(jù)的最大值。

將輸入輸出數(shù)據(jù)變換為[-1，1]區(qū)間的值