典型神經網絡

1、典型神經網絡第一頁，共60頁。iuijxnj, 1ijwjuiuis第二頁，共60頁。)(iiugy jiijijisxwNet)(iiNetfu iiuug)()(iiNetfy 第三頁，共60頁。第四頁，共60頁。0001)(iiiNetNetNetf第五頁，共60頁。iliiliiiiiiNetNetfNetNetNetkNetNetNetNetfmax000)(第六頁，共60頁。TNetiieNetf11)(第七頁，共60頁。7.2 BP第八頁，共60頁。第九頁，共60頁。7.2.2 BP網絡結構 含一個隱含層的含一個隱含層的BP網絡結構如圖網絡結構如圖7-5所示，所示，圖中圖中 為輸

2、入層神經元，為輸入層神經元， 為隱層神經元，為隱層神經元， 為輸出層神經元。為輸出層神經元。 ijk第十頁，共60頁。圖圖7-5 BP7-5 BP神經網絡結構神經網絡結構 第十一頁，共60頁。7.2.3 BP網絡的逼近 BP網絡逼近的結構如圖網絡逼近的結構如圖7-6所示，圖中所示，圖中k為為網絡的迭代步驟，網絡的迭代步驟，u(k)和和y(k)為逼近器的輸為逼近器的輸入。入。BP為網絡逼近器，為網絡逼近器，y(k)為被控對象實際為被控對象實際輸出，輸出，yn(k)為為BP的輸出。將系統輸出的輸出。將系統輸出y(k)及及輸入輸入u(k)的值作為逼近器的值作為逼近器BP的輸入，將系統的輸入，將系統輸

3、出與網絡輸出的誤差作為逼近器的調整信輸出與網絡輸出的誤差作為逼近器的調整信號。號。第十二頁，共60頁。圖7-6 BP神經網絡逼近 第十三頁，共60頁。用于逼近的BP網絡如圖7-7所示。)(kyn)(ku)(kyijw2jwjxjxix圖7-7 用于逼近的BP網絡。第十四頁，共60頁。 BP算法的學習過程由正向傳播和反向傳算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸播組成。在正向傳播過程中，輸入信息從輸入層經隱層逐層處理，并傳向輸出層，每層入層經隱層逐層處理，并傳向輸出層，每層神經元（節(jié)點）的狀態(tài)只影響下一層神經元神經元（節(jié)點）的狀態(tài)只影響下一層神經元的狀態(tài)。如果在輸出

4、層不能得到期望的輸出，的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉至反向傳播，將誤差信號（理想輸出與則轉至反向傳播，將誤差信號（理想輸出與實際輸出之差）按聯接通路反向計算，由梯實際輸出之差）按聯接通路反向計算，由梯度下降法調整各層神經元的權值，使誤差信度下降法調整各層神經元的權值，使誤差信號減小。號減小。第十五頁，共60頁。iiijjxwxjxjjexfx11)()1(jjjjxxxx第十六頁，共60頁。iiijjxwxjxjjexfx11)()1(jjjjxxxx第十七頁，共60頁。jjjkxwx2)()()(kykyken2)(keE21第十八頁，共60頁。222)()(jjkjjxkew

5、xkewEw222)() 1(jjjwtwtw第十九頁，共60頁。ijnijijwykewEw)(ijjjijjjijjjjjnijnxxxwxxxwwxxxxywy)1 (22ijijijwkwkw)() 1(第二十頁，共60頁。)1()()() 1(22222kwkwwkwkwjjjjj)1()()() 1(kwkwwkwkwijijijijij1 , 01 , 0第二十一頁，共60頁。Jacobian(t)1ux jjjjjjjjjnnwxxwxxxxxykuykuy1211kkk第二十二頁，共60頁。7.2.4 BP網絡的優(yōu)缺點網絡的優(yōu)缺點 BP網絡的優(yōu)點為：網絡的優(yōu)點為：（1）只要有

6、足夠多的隱層和隱層節(jié)點，）只要有足夠多的隱層和隱層節(jié)點，BP網絡可以逼網絡可以逼近任意的非線性映射關系；近任意的非線性映射關系；（2）BP網絡的學習算法屬于全局逼近算法，具有較強網絡的學習算法屬于全局逼近算法，具有較強的泛化能力。的泛化能力。（3）BP網絡輸入輸出之間的關聯信息分布地存儲在網網絡輸入輸出之間的關聯信息分布地存儲在網絡的連接權中，個別神經元的損壞只對輸入輸出關系絡的連接權中，個別神經元的損壞只對輸入輸出關系有較小的影響，因而有較小的影響，因而BP網絡具有較好的容錯性。網絡具有較好的容錯性。第二十三頁，共60頁。BP網絡的主要缺點為：網絡的主要缺點為：（1）待尋優(yōu)的參數多，收斂速度

7、慢；）待尋優(yōu)的參數多，收斂速度慢；（2）目標函數存在多個極值點，按梯度下降）目標函數存在多個極值點，按梯度下降法進行學習，很容易陷入局部極小值；法進行學習，很容易陷入局部極小值；（3）難以確定隱層及隱層節(jié)點的數目。目前，）難以確定隱層及隱層節(jié)點的數目。目前，如何根據特定的問題來確定具體的網絡結構如何根據特定的問題來確定具體的網絡結構尚無很好的方法，仍需根據經驗來試湊。尚無很好的方法，仍需根據經驗來試湊。第二十四頁，共60頁。 由于由于BP網絡具有很好的逼近非線性映射的能力，網絡具有很好的逼近非線性映射的能力，該網絡在模式識別、圖像處理、系統辨識、函數擬該網絡在模式識別、圖像處理、系統辨識、函數

8、擬合、優(yōu)化計算、最優(yōu)預測和自適應控制等領域有著合、優(yōu)化計算、最優(yōu)預測和自適應控制等領域有著較為廣泛的應用。較為廣泛的應用。 由于由于BP網絡具有很好的逼近特性和泛化能力，可用網絡具有很好的逼近特性和泛化能力，可用于神經網絡控制器的設計。但由于于神經網絡控制器的設計。但由于BP網絡收斂速度網絡收斂速度慢，難以適應實時控制的要求。慢，難以適應實時控制的要求。第二十五頁，共60頁。7.2.5 BP網絡逼近仿真實例網絡逼近仿真實例 使用BP網絡逼近對象： BP網絡逼近程序見chap7_1.m 23) 1(1) 1()()(kykykuky第二十六頁，共60頁。7.2.6 BP網絡模式識別網絡模式識別

9、由于神經網絡具有自學習、自組織和并由于神經網絡具有自學習、自組織和并行處理等特征，并具有很強的容錯能力和聯行處理等特征，并具有很強的容錯能力和聯想能力，因此，神經網絡具有模式識別的能想能力，因此，神經網絡具有模式識別的能力。力。 第二十七頁，共60頁。 在神經網絡模式識別中，根據標準的輸在神經網絡模式識別中，根據標準的輸入輸出模式對，采用神經網絡學習算法，以入輸出模式對，采用神經網絡學習算法，以標準的模式作為學習樣本進行訓練，通過學標準的模式作為學習樣本進行訓練，通過學習調整神經網絡的連接權值。當訓練滿足要習調整神經網絡的連接權值。當訓練滿足要求后，得到的神經網絡權值構成了模式識別求后，得到的

10、神經網絡權值構成了模式識別的知識庫，利用神經網絡并行推理算法對所的知識庫，利用神經網絡并行推理算法對所需要的輸入模式進行識別。需要的輸入模式進行識別。第二十八頁，共60頁。 當待識別的輸入模式與訓練樣本中的某個當待識別的輸入模式與訓練樣本中的某個輸入模式相同時，神經網絡識別的結果就是與輸入模式相同時，神經網絡識別的結果就是與訓練樣本中相對應的輸出模式。當待識別的輸訓練樣本中相對應的輸出模式。當待識別的輸入模式與訓練樣本中所有輸入模式都不完全相入模式與訓練樣本中所有輸入模式都不完全相同時，則可得到與其相近樣本相對應的輸出模同時，則可得到與其相近樣本相對應的輸出模式。當待識別的輸入模式與訓練樣本中

11、所有輸式。當待識別的輸入模式與訓練樣本中所有輸入模式相差較遠時，就不能得到正確的識別結入模式相差較遠時，就不能得到正確的識別結果，此時可將這一模式作為新的樣本進行訓練，果，此時可將這一模式作為新的樣本進行訓練，使神經網絡獲取新的知識，并存儲到網絡的權使神經網絡獲取新的知識，并存儲到網絡的權值矩陣中，從而增強網絡的識別能力。值矩陣中，從而增強網絡的識別能力。第二十九頁，共60頁。 BP網絡的訓練過程如下：正向傳播是輸入信號網絡的訓練過程如下：正向傳播是輸入信號從輸入層經隱層傳向輸出層，若輸出層得到了期從輸入層經隱層傳向輸出層，若輸出層得到了期望的輸出，則學習算法結束；否則，轉至反向傳望的輸出，則

12、學習算法結束；否則，轉至反向傳播播 以第以第p個樣本為例，用于訓練的個樣本為例，用于訓練的BP網絡結構如網絡結構如圖圖7-11所示。所示。第三十頁，共60頁。圖圖7-11 BP7-11 BP神經網絡結構神經網絡結構 第三十一頁，共60頁。 網絡的學習算法如下：網絡的學習算法如下：（1）前向傳播：計算網絡的輸出。）前向傳播：計算網絡的輸出。 隱層神經元的輸入為所有輸入的加權之和：隱層神經元的輸入為所有輸入的加權之和： 隱層神經元的輸出隱層神經元的輸出 采用采用S函數激發(fā)函數激發(fā) ：iiijjxwxjxjx第三十二頁，共60頁。jxjjexfx11)()1 (jjjjxxxx則輸出層神經元的輸出：

13、jjjllxwx第三十三頁，共60頁。 網絡第 個輸出與相應理想輸出 的誤差為： 第p個樣本的誤差性能指標函數為：其中N為網絡輸出層的個數。0lxlllxxe0NllpeE1221l第三十四頁，共60頁。（2）反向傳播：采用梯度下降法，調整各層間的權值。權值的學習算法如下： 輸出層及隱層的連接權值 學習算法為：jlwjljllljlpjlxewxewEwjljljlwkwkw)() 1(第三十五頁，共60頁。其中隱層及輸入層連接權值 學習算法為： ijwNlijllijpijwxewEw1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxxwx)1 (ijijijwkwkw)(

14、) 1(第三十六頁，共60頁。 如果考慮上次權值對本次權值變化的影響，需要加入動量因子 ，此時的權值為： 11kwkwwkwkwjljljljljl)1()()() 1(twtwwtwtwijijijijij其中 為學習速率， 為動量因子。 1 , 01 , 0第三十七頁，共60頁。7.2.7 仿真實例：仿真實例： 取標準樣本為3輸入2輸出樣本，如表7-1所示。 輸 入輸 出1001001000.500101表7-1 訓練樣本 第三十八頁，共60頁。 BP網絡模式識別程序包括網絡訓練程序chap7_2a.m和網絡測試程序chap7_2b.m。第三十九頁，共60頁。第四十頁，共60頁。第四十一頁

15、，共60頁。第四十二頁，共60頁。第四十三頁，共60頁。7.3.2 RBF網絡的逼近網絡的逼近 采用RBF網絡逼近一對象的結構如圖7-14所示。 第四十四頁，共60頁。圖7-14 RBF神經網絡逼近 第四十五頁，共60頁。TnxxxX,.,21Th.,h ,hm21jhHmjbXjj,2, 1),2C-exp(-h22jTn21jcc ,c Cjijjjc 第四十六頁，共60頁。T21,Bmbbbjb,W21mjwwww h+w+h+whw=whkymmm2211)(2m(k)-(k)(21yykE)(第四十七頁，共60頁。)2() 1(kwkwhyywwjjjmjj(k)-(k)(1)-(k

16、(k)32jjjjmjbCXhwyyb-(k)-(k)(2)-(k-1)-(k(1)-(k(k)jjjjjbbbbb2jjijjmjibcxwyyc-(k)-(k)(2)-(k-1)-(k(1)-(k(k)ijijijijijccccc 第四十八頁，共60頁。Jacobianmjjjjjmbxchwkukykuky1211)()()()(k)ux 1第四十九頁，共60頁。23) 1(1) 1()()(kykykuky使用RBF網絡逼近下列對象： RBF網絡逼近程序見chap7_3.m。 第五十頁，共60頁。第五十一頁，共60頁。第五十二頁，共60頁。第五十三頁，共60頁。nIIII,21(t)

17、iI(k)jX(k)jSj(.)f(k)ODWOWIW第五十四頁，共60頁。7.4.2 DRNN網絡的逼近網絡的逼近 DRNN網絡逼近的結構如圖網絡逼近的結構如圖7-19所示，所示，圖中圖中k k為網絡的迭代步驟，為網絡的迭代步驟，u(k)u(k)和和y(k)y(k)為辨為辨識器的輸入。識器的輸入。DRNN為網絡辨識器。為網絡辨識器。y(k)y(k)為為被控對象實際輸出，被控對象實際輸出，y ym m(k)(k)為為DRNN的輸出。的輸出。將系統輸出將系統輸出y(k)y(k)及輸入及輸入u(k)u(k)的值作為辨識器的值作為辨識器DRNN的輸入，將系統輸出與網絡輸出的誤的輸入，將系統輸出與網絡輸出的誤差作為辨識器的調整信號。差作為辨識器的調整信號。 第五十五頁，共60頁。圖7-19 DRNN神經網絡逼近 第五十六頁，共60頁。)()()(kXwkOkyjjojm)()(kSfkXjj)() 1()(kIwkXwkSiIijijojj第五十七頁，共60頁。2(k)21ekE)()()()(kykytem)()()()()(kXkewykewkEkwjojmojoj第五十八頁，共60頁。)2() 1