第三章 前饋神經(jīng)網(wǎng)絡(luò)模型課件

第三章前饋神經(jīng)網(wǎng)絡(luò)模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)：由一層或多層非線性處理單元組成。相鄰層之間通過突觸權(quán)陣連接起來。由于前一層的輸出作為下一層的輸入，因此此類神經(jīng)網(wǎng)絡(luò)為前向神經(jīng)網(wǎng)絡(luò)。在前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中輸入輸出之間包含著一層或多層隱含層。前向神經(jīng)網(wǎng)絡(luò)可以看成是一種一組輸入模式到一組輸出模式的系統(tǒng)變換，這種變換通過對某一給定的輸入樣本相應(yīng)的輸出樣本集的訓(xùn)練而得到，為了實(shí)現(xiàn)這一行為，網(wǎng)絡(luò)的權(quán)系數(shù)在某種學(xué)習(xí)規(guī)則下進(jìn)行自適應(yīng)學(xué)習(xí)，也就是有導(dǎo)師指導(dǎo)學(xué)習(xí)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型內(nèi)容提要感知器多層感知器自適應(yīng)線性元模型BP算法第三章前饋神經(jīng)網(wǎng)絡(luò)模型第一節(jié)感知器第三章前饋神經(jīng)網(wǎng)絡(luò)模型線性閾值單元線性閾值單元是前向網(wǎng)絡(luò)（又稱前饋網(wǎng)絡(luò)）中最基本的計(jì)算單元，它具有n個(gè)輸入（x1,x2,…,xn），一個(gè)輸出y，n個(gè)連接權(quán)值（w1,w2,…,wn），且xiwiy

?第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器簡介1958年，美國心理學(xué)家FrankRosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。感知器研究中首次提出了自組織、自學(xué)習(xí)的思想，而且對所能解決的問題存在著收斂算法，并能從數(shù)學(xué)上嚴(yán)格證明，因而對神經(jīng)網(wǎng)絡(luò)研究起了重要推動(dòng)作用。感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實(shí)際問題時(shí)很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，而且較易學(xué)習(xí)和理解，適合于作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。

第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器模型結(jié)構(gòu)感知器的模型結(jié)構(gòu)如圖所示。感知器是指只有一層處理單元的感知器，如果包括輸入層在內(nèi)，應(yīng)為兩層。圖中輸入層也稱為感知層，有n個(gè)神經(jīng)元節(jié)點(diǎn)，這些節(jié)點(diǎn)只負(fù)責(zé)引入外部信息，自身無信息處理能力，每個(gè)節(jié)點(diǎn)接收一個(gè)輸入信號，n個(gè)輸入信號構(gòu)成輸入列向量X。輸出層也稱為處理層，有m個(gè)神經(jīng)元節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)均具有信息處理能力，m個(gè)節(jié)點(diǎn)向外部輸出處理信息，構(gòu)成輸出列向量O。兩層之間的連接權(quán)值用權(quán)值列向量Wj表示，m個(gè)權(quán)向量構(gòu)成單層感知器的權(quán)值矩陣W。3個(gè)列向量分別表示為：第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器模型結(jié)構(gòu)

j=1,2,…,m

第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器模型結(jié)構(gòu)

第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的功能

一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的功能

(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0

確定了二維平面上的一條分界線。ojx1-1x2第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的功能

w1jx1+w2jx2–Tj=0 w1jx1=Tj-w2jx2 x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j

=a

x2+c

第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的功能

(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程w1jx1+w2jx2+w3j

–Tj=0確定了三維空間上的一個(gè)分界平面。x2ojx1x3-1第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的功能

w1jx1+w2jx2+w3j

x3–Tj=0

x1=a

x2+b

x3+c

第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的功能

(3)設(shè)輸入向量X=(x1，x2,…，xn)T則由方程w1jx1+w2jx2+…+wnj

–Tj=0(3.6)確定了n維空間上的一個(gè)分界平面。輸出：w1jx1+w2jx2+…+wnj

–Tj=0(3.5)第三章前饋神經(jīng)網(wǎng)絡(luò)模型例一用感知器實(shí)現(xiàn)邏輯“與”功能

x1 x2 y0 0 00 1 01 0 01 1

1邏輯“與”真值表第三章前饋神經(jīng)網(wǎng)絡(luò)模型例一用感知器實(shí)現(xiàn)邏輯“與”功能

感知器結(jié)構(gòu)wix1+w2x2-T=0

0.5x1+0.5x2-0.75=0第三章前饋神經(jīng)網(wǎng)絡(luò)模型例二用感知器實(shí)現(xiàn)邏輯“或”功能

x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表第三章前饋神經(jīng)網(wǎng)絡(luò)模型例二用感知器實(shí)現(xiàn)邏輯“或”功能

感知器結(jié)構(gòu)wix1+w2x2-T=0

x1+x2-0.5=0第三章前饋神經(jīng)網(wǎng)絡(luò)模型思考

分界線的方程是什么？感知器的模型如何表示？數(shù)學(xué)表達(dá)式？第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的局限性

Rosenblatt已經(jīng)證明，如果兩類模式在分布空間中可以找到一個(gè)超平面將它們分開，那么感知器的學(xué)習(xí)過程就一定會(huì)收斂。否則判定邊界就會(huì)振蕩不休，永遠(yuǎn)不會(huì)穩(wěn)定，這也正是單層感知器所無法克服的缺陷，所以它連最簡單的異或（XOR）問題也解決不了?！爱惢颉钡恼嬷当韝1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的局限性

關(guān)鍵問題就是求第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)

式中，當(dāng)實(shí)際輸出與期望值相同時(shí)，權(quán)值不需要調(diào)整。感知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)規(guī)則

感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對各權(quán)值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m

（m為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；(2)輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)，

dp為期望的輸出向量（教師信號），上標(biāo)p代表樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P，則p=1,2,┄,P；第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)規(guī)則

(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調(diào)整各節(jié)點(diǎn)對應(yīng)的權(quán)值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,┄,m,

其中η為學(xué)習(xí)率，用于控制調(diào)整速度，太大會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實(shí)際輸出與期望輸出相等。第三章前饋神經(jīng)網(wǎng)絡(luò)模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)規(guī)則的訓(xùn)練步驟

1.初始化：權(quán)值初始化為一個(gè)較小的隨機(jī)非零值。2.將一模式送入輸入神經(jīng)元，并給出理想輸出值。3.計(jì)算神經(jīng)網(wǎng)絡(luò)模型的實(shí)際輸出：4.調(diào)節(jié)權(quán)值:5.轉(zhuǎn)2，直到這次迭代完所給定的所有輸入樣本。6.計(jì)算結(jié)束判據(jù)。條件符合，結(jié)束；否則轉(zhuǎn)2。第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)

例三單計(jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定3對訓(xùn)練樣本對如下：X1=(-1，1，-2，0)T

d1=

1 X2=(-1，0，1.5，-0.5)T

d2=

1X3=(-1，-1，1，0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個(gè)分量x0恒等于-1，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)

解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)

第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器的學(xué)習(xí)

第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓(xùn)練直到dp-op=0，p=1,2,3。第三章前饋神經(jīng)網(wǎng)絡(luò)模型第二節(jié)多層感知器第三章前饋神經(jīng)網(wǎng)絡(luò)模型多層感知器簡介多層感知器（MultilayerPerceptron）是一種在輸入層與輸出層之間含有一層或多層隱含神經(jīng)元的具有正向傳播機(jī)制的神經(jīng)網(wǎng)絡(luò)模型。多層感知器克服了單層感知器的許多局限，單層感知器只能實(shí)現(xiàn)線性可分問題和簡單布爾函數(shù)，多層感知器可以實(shí)現(xiàn)線性不可分問題和任意布爾函數(shù)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型多層感知器的結(jié)構(gòu)

輸入層隱含層輸出層第三章前饋神經(jīng)網(wǎng)絡(luò)模型多層感知器的分類能力一個(gè)單層感知器構(gòu)成一個(gè)半平面判定區(qū)域，一個(gè)兩層感知器可以構(gòu)成任意無邊界的空間區(qū)域，這些判定區(qū)域有的是凸多邊形，有的是無邊界的凹區(qū)域。凸區(qū)域是多層感知器中第一層各個(gè)神經(jīng)元所構(gòu)成的半平面判定區(qū)域（即判定區(qū)域）相交而成。第三章前饋神經(jīng)網(wǎng)絡(luò)模型多層感知器性能等價(jià)問題第一層中的神經(jīng)元就像一單層感知器，所形成的凸區(qū)域的邊數(shù)最多和第一層神經(jīng)元個(gè)數(shù)一樣多。一個(gè)三層感知機(jī)能夠形成任意復(fù)雜的判定區(qū)域，也能把那些相互滲透的區(qū)域分開。第三章前饋神經(jīng)網(wǎng)絡(luò)模型例子一1、用單層感知器實(shí)現(xiàn)簡單邏輯運(yùn)算。

(1)（與）等價(jià)于，即

(2)（或）等價(jià)于，即

(3)（非）等價(jià)于，即第三章前饋神經(jīng)網(wǎng)絡(luò)模型例子二2、用兩層感知器實(shí)現(xiàn)異或運(yùn)算。第三章前饋神經(jīng)網(wǎng)絡(luò)模型例子三試用單個(gè)感知器神經(jīng)元完成下列分類，寫出其訓(xùn)練迭代過程，畫出最終的分類示意圖。x1w1y

x2w2fn01第三章前饋神經(jīng)網(wǎng)絡(luò)模型第三節(jié)自適應(yīng)線性元模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)線性元件于1961年由美國的Widrow教授提出。適用于信號處理中的自適應(yīng)濾波、預(yù)測和模式識別。第三章前饋神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)線性元模型結(jié)構(gòu)第三章前饋神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)線性元模型數(shù)學(xué)描述輸入該模型是一自適應(yīng)閾值邏輯單元。圖中x0，x1k，x2k，…，xnk為該自適應(yīng)線性元在t時(shí)刻的外部輸入，用向量表示為:Xk＝（x0，x1k，x2k，…，xnk）T這個(gè)向量稱為自適應(yīng)線性元的輸入信號向量或輸入模式向量。第三章前饋神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)線性元模型數(shù)學(xué)描述連接權(quán)值與輸入向量Xk相對應(yīng)有一權(quán)值向量:Wk=(w0k，w1k，w2k，…，wnk)T其中Wk每一元素與輸入向量

Xk中的每一元素相對應(yīng)。w0k為基權(quán)，稱為門限權(quán)，它用來調(diào)整自適應(yīng)線性元的閾值。第三章前饋神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)線性元模型數(shù)學(xué)描述輸出模擬輸出二值輸出第三章前饋神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)線性元模型數(shù)學(xué)描述理想輸出在圖中的自適應(yīng)線性元中有一特殊的輸入dk，即理想輸出。該輸出是用來將理想響應(yīng)信號送入自適應(yīng)線性元中，在自適應(yīng)線性元中通過比較yk和理想響應(yīng)dk，并將差值送入最小均方差(LMS)學(xué)習(xí)算法機(jī)制中來調(diào)整權(quán)向量Wk，使得yk和所期望的輸出dk相一致。第三章前饋神經(jīng)網(wǎng)絡(luò)模型LMS學(xué)習(xí)過程（圖示）第三章前饋神經(jīng)網(wǎng)絡(luò)模型與單層感知器的差別在于：輸出分為模擬和數(shù)字兩個(gè)部分。數(shù)字部分與感知器單元完全相同，可進(jìn)行線性分割模擬部分是作為誤差調(diào)節(jié)之用，對單個(gè)Adaline，其誤差為模擬輸出和要求響應(yīng)輸出差。第三章前饋神經(jīng)網(wǎng)絡(luò)模型LMS學(xué)習(xí)過程（文字說明）樣本數(shù)i=0，連接權(quán)值隨機(jī)初始化一個(gè)較小的不等于0的值；提交第i個(gè)學(xué)習(xí)樣本；計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出；計(jì)算實(shí)際輸出和理想輸出的誤差；按照權(quán)值修改規(guī)則修改神經(jīng)網(wǎng)絡(luò)權(quán)值；i++；i=N?；否，轉(zhuǎn)2。計(jì)算學(xué)習(xí)結(jié)束判據(jù)；學(xué)習(xí)結(jié)束否？達(dá)到要求學(xué)習(xí)結(jié)束，否則轉(zhuǎn)1。第三章前饋神經(jīng)網(wǎng)絡(luò)模型LMS學(xué)習(xí)算法權(quán)值修改規(guī)則其中：為當(dāng)前的誤差（即理想輸出與模擬實(shí)際輸出之間的差值），稱為學(xué)習(xí)速度(LearningRate)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型ADALINE學(xué)習(xí)算法實(shí)質(zhì)分析

第三章前饋神經(jīng)網(wǎng)絡(luò)模型

的取值

的選擇決定了學(xué)習(xí)算法收斂的穩(wěn)定性和收斂的速度。穩(wěn)定性要求：0<<2。但是過大可能會(huì)修正過度，一個(gè)比較好的選擇范圍是：0.1<<1第三章前饋神經(jīng)網(wǎng)絡(luò)模型LMS算法的幾何解釋

第三章前饋神經(jīng)網(wǎng)絡(luò)模型ADALINE模型計(jì)算能力分析若ADALINE輸入為二值，它可以完成一定的邏輯功能。若有n個(gè)輸入，即則有2n個(gè)可能的輸入模式。在一般的邏輯實(shí)現(xiàn)中，依照所期望的輸出響應(yīng)，可以將個(gè)輸入模式劃分成＋和－兩類。每一個(gè)自適應(yīng)線性元模型可以完成某一種邏輯功能，因而我們也可以把自適應(yīng)線性元看成是一邏輯部件。第三章前饋神經(jīng)網(wǎng)絡(luò)模型ADALINE模型計(jì)算能力分析每個(gè)自適應(yīng)線性元的功能也主要由各個(gè)權(quán)值所確定。每個(gè)自適應(yīng)線性元只能實(shí)現(xiàn)邏輯空間上的線性劃分。第三章前饋神經(jīng)網(wǎng)絡(luò)模型ADALINE模型學(xué)習(xí)過程舉例網(wǎng)絡(luò)模型x1=1.2x2=2.7x0=1w1=0.344w2=1.1w0=1d=2.3y=4.57E=-2.27w0=0.870w1=0.5w2=0.749y=3.305E=-1.05第三章前饋神經(jīng)網(wǎng)絡(luò)模型ADALINE模型的學(xué)習(xí)曲線結(jié)束判據(jù)總體誤差降低到某個(gè)預(yù)設(shè)的極小值；迭代了一定的次數(shù)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型第四節(jié)BP模型第三章前饋神經(jīng)網(wǎng)絡(luò)模型感知器神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和最小均方差（LMS）學(xué)習(xí)算法只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)，而單層神經(jīng)網(wǎng)絡(luò)只能解決線性可分的分類問題。多層神經(jīng)網(wǎng)絡(luò)可以用于非線性分類問題。但需要尋找訓(xùn)練多層網(wǎng)絡(luò)的學(xué)習(xí)算法。BP算法----適于多層網(wǎng)絡(luò)的學(xué)習(xí)算法。BP網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識別/分類、數(shù)據(jù)壓縮等。80%~90%的人工神經(jīng)網(wǎng)絡(luò)采用BP網(wǎng)絡(luò)或者它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP神經(jīng)元與其他神經(jīng)元類似，不同的是BP神經(jīng)元的傳輸函數(shù)為非線性函數(shù)，常用的有S型函數(shù)。BP網(wǎng)絡(luò)的信息從輸入層流向輸出層，是一種多層前饋神經(jīng)網(wǎng)絡(luò)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)在確定了BP網(wǎng)絡(luò)的結(jié)構(gòu)以后，要通過輸入和輸出樣本集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，亦即對網(wǎng)絡(luò)的閾值和權(quán)值進(jìn)行學(xué)習(xí)和修正，以使網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系。BP網(wǎng)絡(luò)學(xué)習(xí)分兩個(gè)階段:第一個(gè)階段是輸入已知學(xué)習(xí)樣本，通過設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)的第一層向后計(jì)算各神經(jīng)元的輸出第二個(gè)階段是對權(quán)和閾值進(jìn)行修改，從最后一層向前計(jì)算各權(quán)值和閾值對總誤差的影響（梯度），據(jù)此對各權(quán)值和閾值進(jìn)行修改。以上兩個(gè)過程反復(fù)交替，直到達(dá)到收斂為止。第三章前饋神經(jīng)網(wǎng)絡(luò)模型由于誤差逐層往回傳遞，以修正層與層之間的權(quán)值和閾值，所以稱該算法為誤差反向傳播算法，這種誤差反傳學(xué)習(xí)算法可以推廣到有若干個(gè)中間層的多層網(wǎng)絡(luò)，因此該多層網(wǎng)絡(luò)常稱之為BP網(wǎng)絡(luò)。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP學(xué)習(xí)算法概述BP算法的基本過程初始化階段前饋階段權(quán)值調(diào)整階段學(xué)習(xí)精度計(jì)算學(xué)習(xí)結(jié)束判斷第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP學(xué)習(xí)算法描述（初始化階段）對所有神經(jīng)元的閾值及連接權(quán)值取一個(gè)較小的非零隨機(jī)值。設(shè)一個(gè)較小的數(shù)

作為學(xué)習(xí)期望達(dá)到的最終學(xué)習(xí)精度。該值作為學(xué)習(xí)過程的結(jié)束判斷條件。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP學(xué)習(xí)算法描述（前饋階段）給定輸入樣本和理想輸出。對p

層的神經(jīng)元i，按下式計(jì)算p

層中神經(jīng)元i的活躍值，也即輸出到p+1層的輸出值。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP學(xué)習(xí)算法描述（權(quán)值調(diào)整階段）利用下面公式，從輸出層開始向輸入層方向進(jìn)行權(quán)值調(diào)整：第三章前饋神經(jīng)網(wǎng)絡(luò)模型權(quán)值調(diào)整中的誤差項(xiàng)求解輸出層誤差項(xiàng)求解隱含層誤差項(xiàng)求解實(shí)際輸出理想輸出第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP學(xué)習(xí)算法描述（權(quán)值調(diào)整）實(shí)際輸出理想輸出輸出層誤差項(xiàng)求解隱含層誤差項(xiàng)求解第三章前饋神經(jīng)網(wǎng)絡(luò)模型神經(jīng)元閾值的修改若把層p中神經(jīng)元的閾值看成是層p-1中神經(jīng)元到某一個(gè)附加的常數(shù)輸入聯(lián)接權(quán)值，也可以按照類似的方法進(jìn)行該神經(jīng)元閾值的修改。實(shí)際輸出理想輸出第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP學(xué)習(xí)算法描述（計(jì)算累計(jì)誤差）按下式計(jì)算當(dāng)前學(xué)習(xí)樣本的誤差：實(shí)際輸出理想輸出第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP學(xué)習(xí)算法描述（結(jié)束條件判斷）在當(dāng)前迭代周期內(nèi)，樣本學(xué)習(xí)完否？沒有學(xué)習(xí)完，轉(zhuǎn)前饋階段；計(jì)算所有樣本的累積誤差：判

E<

否？是，學(xué)習(xí)過程結(jié)束，否則轉(zhuǎn)前饋階段。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP算法存在的問題（1）從數(shù)學(xué)上看它是一個(gè)非線性優(yōu)化問題，這就不可避免地存在有局部極小問題；（2）學(xué)習(xí)算法的收斂速度很慢，通常要幾千步迭代或更多；（3）網(wǎng)絡(luò)運(yùn)行還是單向傳播，沒有反饋。目前的這種模型并不是一個(gè)非線性動(dòng)力系統(tǒng)，而只是一個(gè)非線性映射；（4）網(wǎng)絡(luò)的隱節(jié)點(diǎn)個(gè)數(shù)選取尚無理論上的指導(dǎo)，而是根據(jù)經(jīng)驗(yàn)選取的；（5）對新加入的樣本要影響到已經(jīng)學(xué)完的樣本，刻畫每個(gè)輸入樣本的特征的數(shù)目也要求必須相同。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP算法的改進(jìn)----變步長在BP算法中步長是不變的，這是因?yàn)镋是一個(gè)十分復(fù)雜的非線性函數(shù)，很難通過最優(yōu)求極小的方法得到步長，同時(shí)如果每一步都要求計(jì)算輸出，則計(jì)算量變得很大。推薦一種步長調(diào)整的方法，如下第三章前饋神經(jīng)網(wǎng)絡(luò)模型步長調(diào)整方法：先設(shè)一初始步長，若一次迭代后誤差函數(shù)E增大，則將步長乘以小于1的常數(shù)，沿原方向重新計(jì)算下一個(gè)迭代點(diǎn)，若一次迭代后誤差函數(shù)E減小，則將步長乘一個(gè)大于1的常數(shù)，這樣既不增加太多的計(jì)算量，又使步長得到合理的調(diào)整。第三章前饋神經(jīng)網(wǎng)絡(luò)模型另外，有加入動(dòng)量項(xiàng)的改進(jìn)方法，有加入因子的改進(jìn)算法。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的設(shè)計(jì)考慮----輸入輸出層1、輸入輸出層的設(shè)計(jì)輸入輸出的維數(shù)完全根據(jù)使用者的要求來設(shè)計(jì)，若BP網(wǎng)絡(luò)用作分類器，其類別數(shù)為m個(gè)，那么輸出一般取m個(gè)神經(jīng)元，其訓(xùn)練樣本集中的x屬于第j類，要求輸出為即第j個(gè)輸出為1，其他輸出為0。第三章前饋神經(jīng)網(wǎng)絡(luò)模型輸入的神經(jīng)單元可以根據(jù)需要求解的問題和數(shù)據(jù)表示的方式而定如果輸入的是電壓波形，那么輸入單元可根據(jù)電壓波形的采樣數(shù)值和采樣點(diǎn)數(shù)來決定輸入單元的維數(shù)，也可以用一個(gè)單元輸入，但輸入樣本為采樣的時(shí)間序列。若輸入為圖像，則輸入單元可以為圖像像素，也可為圖像處理后的圖像特征。即問題確定，輸入輸出單元層數(shù)確定。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的設(shè)計(jì)考慮----隱層1989年，Robert證明了：對于任何在閉區(qū)間內(nèi)的一個(gè)連續(xù)的函數(shù)都可以用一個(gè)隱層的BP網(wǎng)絡(luò)來逼近，因而一個(gè)三層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映射。第三章前饋神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的設(shè)計(jì)考慮----隱單元數(shù)的選擇隱單元數(shù)的選擇是一個(gè)復(fù)雜的問題，沒有很好的解析式表