7-典型的神經網絡

本章主要教學內容感知器誤差反向傳播(BP)神經網絡BP網絡學習BP網絡改進徑向基函數(RBF)神經網絡動態(tài)回歸(DRNN)神經網絡感知器人的視覺是重要的感覺器官，人通過視覺接受的信息占全部信息量的80~85%。感知器是模擬人的視覺接受環(huán)境信息，并由神經沖動進行信息傳遞的神經網絡。感知器分單層與多層，是具有學習能力的神經網絡。感知器是最簡單的前饋網絡，主要用于模式分類。1單層感知器(Single-LayerPerceptron)單層感知器結構:單層感知器是一個具有單層處理單元的神經網絡，如圖所示，感知器的輸出為式中f為階躍函數。感知器1單層感知器(Single-LayerPerceptron)學習算法隨機給出一組初始連接權值wj(0)，(j=1,2,…,n)；輸入一組樣本Xp=(xp1，xp2，…，xpn)和希望輸出(即教師信號)dp

(p=1,2,…,L)計算感知器的輸出yp權值調整若yp(k)=dp，學習結束，否則返回3)?？梢妼W習結束后，網絡將樣本模式以連接權和閾值的形式分布記憶(存儲)于網絡中。感知器1單層感知器(Single-LayerPerceptron)特性用于兩類模式分類時相當于在高維樣本空間中，用一個超平面將兩類樣本分開。已證明若輸入的兩類模式是線性可分集合（指存在一個超平面能將其分開），則算法一定收斂。局限性:若輸入模式為線性不可分集合，網絡的學習算法不收斂，不能進行正確分類。[例]線性可分集合二維平面上的兩類模式，見表。用下圖(a)所示二輸入/單輸出單層感知器，其輸入輸出描述：u1u2y000100010111顯然這四組樣本可分為兩類，因而是線性可分集合，此直線方程可用下式表示[例]線性可分集合2)三維空間兩類模式，見表。用下圖(a)所示三輸入/單輸出單層感知器，其輸入輸出描述：對這8組樣本可找到一個平面，將其分為兩類，該平面方程為u1u2u3y00001000110001000011101101111111討論同理對于維數n>3的高維空間上的線性可分集合，一定可找到一超平面，將輸入模式分為兩類。由n輸入/單輸出的單層感知器實現。但對于線性不可分集合，單層感知器則無能為力，如右圖所示的異或問題就是如此。因為對于該圖找不到可以將其分為紅、藍兩類的一條直線。對于這類問題，單層感知器不會收斂。感知器2多層感知器(Multi-LayerPerceptron)在輸入、輸出層間加一層或多層隱單元，可構成多層感知器，也稱多層前饋網絡。圖示為三層感知器結構，利用該結構可以解決異或問題。感知器2多層感知器(Multi-LayerPerceptron)例如調整1w11

、1w21、1確定直線L1，調整1w12

、1w22、2確定直線L2。則直線L1、L2將4個點分成了兩組(紅點和藍點)，即對于藍點，z1、z2的輸出相異(粉紅)，而對于紅點z1、z2輸出相同(黃),調整2w1、2w2即可最終實現異或分類。u1u21W2Wyz1z2L1L2BP網絡BP網絡（BP，BackPropagation）是一種多層前饋網絡(MFNN,MultilayerFeedforwardNeuralNetwork)，但它采用了誤差反傳學習算法，即BP算法，在非線性系統(tǒng)辨識、控制、故障診斷中有廣泛的應用。1網絡結構見圖，xi、xk是網絡的輸入、輸出，神經元用節(jié)點表示，網絡由輸入層、隱層和輸出層節(jié)點組成，隱層可一層，也可多層（圖中是單隱層），前層至后層節(jié)點通過權聯接。BP網絡2BP學習算法BP學習算法的特點已知網絡的輸入/輸出樣本，即導師信號。BP學習算法由正向傳播和反向傳播組成：正向傳播是輸入信號從輸入層經隱層，傳向輸出層，若輸出層得到了期望的輸出，則學習算法結束；否則，轉至反向傳播。反向傳播是將誤差(樣本輸出與網絡輸出之差）按原聯接通路反向計算，由梯度下降法調整各層節(jié)點的權值和閾值，使誤差減小。BP網絡2BP學習算法

BP學習算法的步驟設置初始權系W(0)，它是較小的隨機非零值。給定輸入/輸出樣本對，計算網絡輸出。設第p組樣本輸入：輸出：隱層節(jié)點j在第p組樣本輸入時，輸出為x’jp：網絡的輸出

BP學習算法的步驟計算網絡的目標函數J

設Ep為在第p組樣本輸入時，網絡的目標函數，則式中，yp是在第p組樣本輸入時，輸出層的輸出。網絡的總目標函數：作為對網絡學習狀況的評價。判別若則算法結束；否則至步驟5）。式中是預先確定的正數。

BP學習算法的步驟反向傳播計算由輸出層，依照J，按梯度下降法反向計算，可逐層調整權值。神經元i到神經元

j的連接權的調整：式中為步長，亦稱為學習算子。具體算法(采用鏈式法則)(式中稱為梯度信號)反向傳播計算具體算法(采用鏈式法則)輸出層-隱層權值調整反向傳播計算具體算法(采用鏈式法則)隱層-輸入層權值調整jpBP網絡3BP網絡討論實現輸入/輸出非線性映射：若輸入、輸出節(jié)點為n、m個，實現的是n維至m維歐氏空間的映射：

可知網絡的輸出是樣本輸出在范數意義下的最佳逼近。BP學習算法的數學分析：BP算法用了優(yōu)化算法中的梯度下降法，把一組樣本的I/O問題，變?yōu)榉蔷€性優(yōu)化問題，隱層使優(yōu)化問題的可調參數增加，使解更精確。學習算子：稱梯度搜索算法的步長（收斂因子、學習速率），0<<1，越大，權值調整得越快，在不導致振蕩情況下，可大一些。網絡的輸入：S型作用函數隨|x|的增大，梯度下降，即|f'(x)|減小，并0，不利于權值的調整，因此希望|x|工作在較小區(qū)域。若實際問題給以網絡的輸入量較大，需作歸一化處理，則網絡輸出也要進行相應的處理。BP網絡

3BP網絡討論泛化能力(GeneralizationAbility)：也稱綜合能力或概括能力，是指用較少的樣本進行訓練，使網絡能在給定的區(qū)域內達到要求的精度，或者說用較少的樣本訓練，使網絡對未經訓練的輸入也能給出合適的輸出。對于BP網絡除了要有訓練樣本集外，還要有測試集。由圖可知隨著網絡訓練的次數增加，訓練集的J減小，但測試集的J1可能增加，因此應取J1極小點對應的訓練權系。BP網絡

3BP網絡討論BP算法的不足由于是非線性優(yōu)化，就不可避免的會存在局部極小問題,見圖。學習算法的收斂速度慢，且收斂速度與初始權的選擇有關.網絡的結構設計，即隱層及節(jié)點數的選擇,尚無理論指導.新加入的樣本會影響到已學好的樣本.BP網絡

4BP網絡改進為了克服BP算法的收斂速度慢，可采用帶阻尼項的動量法：式中，是阻尼系數，0<<1，也稱為動量因子。加入動量項后，可減弱振蕩，提高學習速度。同時，在學習中適時改變學習步長，也可提高學習速度。仿真示例(P128)仿真對象:BP網絡為2-6-1結構,隱層激發(fā)函數為Sigmoid函數,輸出層為線性函數,控制周期為1ms.輸入信號為比較:(1)BP網絡逼近

(2)帶動量因子的BP網絡逼近結論:改進的BP算法在逼近精度和速度上明顯優(yōu)于普通的BP算法.BP算法

訓練誤差0.20

學習率=0.0005(過大不收斂)改進的BP算法

訓練誤差0.06

學習率=1.5(可自動調整)BP算法

測試誤差0.04改進的BP算法測試誤差0.02RBF神經網絡

1RBF(RadialBasisFunction)網絡的特點RBF網絡隱層的作用(激發(fā))函數為高斯基函數，輸出層則為線性函數。由于高斯基函數僅在輸入空間的有限范圍內為非零值，因而RBF網絡屬于局部逼近的神經網絡。RBF網絡具有更快的學習速度，并且可避免陷入局部極小。RBF神經網絡

2RBF網絡的學習隱層的高斯基函數式中，X=[x1,x2,...,xn]T為網絡的輸入向量;

Cj=[cj1,cj2,...,cjn]T為隱層第j個節(jié)點的中心向量;

bj:用來控制高斯基函數的寬度.權值調整

RBF網絡的權值調整方法與BP網絡相同.RBF神經網絡

2RBF網絡的學習高斯基函數參數的調整同理:RBF神經網絡

3RBF網絡防真仿真對象:RBF網絡為2-300-1結構,隱層激發(fā)函數為高斯基函數,輸出層為線性函數,控制周期為1ms.輸入信號為比較:(1)改進BP網絡逼近

(2)RBF網絡逼近結論:RBF算法在逼近精度和速度上明顯優(yōu)于改進的BP算法.改進的BP算法RBF算法測試輸入:u(k)=0.5*cos(4*2**k*ts)改進的BP算法RBF算法雖然RBF網絡具有更高的非線性逼近精度，但這種網絡的隱層神經元個數較BP網絡的多，因此在線計算量較大?；貧w神經網絡

1DRNN(DynamicRecurrentNeuralNetwork)網絡結構DRNN網絡屬于反饋神經網絡。由于網絡中存在反饋回路，因此這類網絡具有動態(tài)特性，因而更適用于動態(tài)系統(tǒng)的建模與控制。圖示為隱層神經元存在局部反饋回路的DRNN網絡，也稱為Elman網絡?；貧w神經網絡

2DRNN網絡學習網絡輸出逼近誤差網絡回歸層輸出網絡回歸層輸入目標函數回歸層神經元函數回歸神經網絡

2DRNN網絡學習輸出層權值調整隱層權值調整隱層反饋權值調整回歸神經網絡

3DRNN網絡仿真仿真對象:D