智能控制講義神經(jīng)網(wǎng)絡

1、人工神經(jīng)網(wǎng)絡（5）主講：華東理工大學自動化系本節(jié)內容1、小腦模型神經(jīng)網(wǎng)絡2、RBF神經(jīng)網(wǎng)絡3、模糊神經(jīng)網(wǎng)絡小腦模型神經(jīng)網(wǎng)絡(CMAC)1、網(wǎng)絡結構2、工作原理3、學習訓練算法4、網(wǎng)絡特點全局網(wǎng)絡和局部網(wǎng)絡全局網(wǎng)絡：如果網(wǎng)絡的任一連接權系數(shù)或自適應可調參數(shù)在輸入空間的每一點對任何一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡為全局例：BP網(wǎng)絡近網(wǎng)絡。全局網(wǎng)絡學習時：學習每個輸入輸出數(shù)據(jù)對，網(wǎng)絡的每接權均需進行調整，從而導致全局近網(wǎng)絡學習速度很慢的缺點。局部網(wǎng)絡：如果對輸入空間的某個局部區(qū)域，接權影響網(wǎng)絡的輸出，則稱該網(wǎng)絡為局部數(shù)幾個連近網(wǎng)絡。對于每個輸入輸出數(shù)據(jù)對，量的連接權需要進行調整，從而使局部近網(wǎng)絡具有

2、學習速度快的優(yōu)點CMAC神經(jīng)網(wǎng)絡是Albus根據(jù)小腦的生物模型一種人工神經(jīng)網(wǎng)絡。它學習速度快，具有局域泛化能力，能夠克服BP網(wǎng)絡容易陷入局部最小點，且硬件易于實現(xiàn)。目前，CMAC神經(jīng)網(wǎng)絡被廣泛應用于機器人控制、非線性函數(shù)、模式識別以及自適應控制等領域CMAC神經(jīng)網(wǎng)絡概述1975年 J.S.Albus提出特點：是典型的局部網(wǎng)絡用于機器人控制、模式識別、信號處理、自適應控制等CMAC神經(jīng)網(wǎng)絡結構相聯(lián)空間輸出空間y y y y T12r輸入空間x TxnMAAUx1yc posxn 1xnC為感受野工作原理1：S:xAx將輸入空間中的點為相聯(lián)空間的向量 ，素都為0。的少數(shù)幾個元素為1，其余元該是在設

3、計網(wǎng)絡時便確定了的。2： P:Aym wij j j 1yi哈西問題：若x為n維，每一維可取q個不同的值，則聯(lián)想A的大小為：qnCMAC網(wǎng)絡所需容量隨輸入維數(shù)的增加呈指數(shù)增長解決方法：哈西A中數(shù)元素個數(shù)為1，其余元素都為0，A是一個稀疏矩陣。哈西編碼是壓縮稀疏矩陣的常用技術。把一個大的 其壓縮區(qū)域稀疏到小的的數(shù)據(jù)通過哈西編碼將區(qū)域。哈西碰撞：通過訓練解決。學習算法y y (k ) / Tw (k 1) wdij0 2ijiij網(wǎng)絡特點(1)具有局部泛化能力，輸入空間中相近的輸入矢量將產(chǎn)生相近的輸出；(2)盡絡可以很大，但對于每一輸入，要處理的內存單元只是其中很小的一部分;(3)CMAC的學習算

4、法采用簡單的算法，因此學習速度快，可運行。輻射基函數(shù)神經(jīng)網(wǎng)絡(RBF)1、網(wǎng)絡結構2、學習訓練算法3、網(wǎng)絡特點4、相應的函數(shù)網(wǎng)絡結構屬于多層前向網(wǎng)絡，三層：I,H,O,如圖2.7.1所示。I：輸入層H：隱含層線性非線性徑向基函數(shù)O：輸出層線性I/O關系：給定n輸出 y1 yn為中的輸入向量 X Rn ,到l wij jX Ci 1 myij 1，直接作用于 j函數(shù)，cj為中心，cj Rn輸入層無通常為 0函數(shù)學習訓練算法分為如下幾步）中心c j , j 1 l的確定 a)隨機選取中心法做法: 中心在輸入數(shù)據(jù)中隨機l個，且固定不變b)自組織學習選取RBF中心 k-均值聚類算法1）初始化聚類中心

5、ti (i 1,2, l ), 一般隨機從X j ( j 1 n)中選l個2）輸入樣本按最鄰近規(guī)則分組，即X j ( j 1 n)分配給ti (i 1 l)的輸入樣本聚類集合i (i 1 l)X j i滿足條件di minX j tii3）計算i的樣本均值（即聚類中心ti） 1tXijlX j iili為i的樣本數(shù)反復第2）步到第3）步，直到分布不再變化）H-O輸出層陣學習N給定 X組1 ii , 2d, , n目, 標i1 niRRdnmXI由 Hii輸O出有l(wèi)k kcwjkijyxik 1寫成最小二乘問題(11 ( xnw 1wlxx)1 )ddn1 1111 ww ( ) d ( xW

6、n)dml lnm m11ln1m DDl一般情況 W)1DT(TRBF神經(jīng)網(wǎng)絡特點1、RBF神經(jīng)網(wǎng)絡神經(jīng)元節(jié)點通常比BP網(wǎng)絡多；2、訓練時間遠遠低于BP網(wǎng)絡；3、對于存在大量訓練樣本的情況，RBF網(wǎng)絡的性能比較好；4、只要隱含層節(jié)點數(shù)足夠多，RBF可以任意非線性函數(shù)。相應的建立一個RBF網(wǎng)絡在函數(shù)中可用以下的語句：net = newrb(P,T,goal,spread)或用net = newrbe(P,T,spread)一般利用RBF網(wǎng)絡來完成函數(shù)近的任務比用BP網(wǎng)絡所用的時間要短，但是所用的神經(jīng)元的個數(shù)卻要多.函數(shù)的擴展系數(shù)關于rbf神經(jīng)網(wǎng)絡的demoDemorb1:用RBF神經(jīng)網(wǎng)絡做非線

7、性函數(shù)的近擴展系數(shù)取的過小模糊神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡的特點:并行計算,分布,容錯能力,學習功能不表達基于規(guī)則的知識黑箱表達模糊邏輯的特點:適合于表達模糊的定性的知識模擬人的思維、推理缺乏學習能力將兩者結合,取長補短形成模糊神經(jīng)網(wǎng)絡模糊邏輯神經(jīng)網(wǎng)絡模糊神經(jīng)網(wǎng)絡研究人的智能語言計算邏輯推理 分布式處理非線性NN與FL的結合方式利用神經(jīng)網(wǎng)絡的學習能力提取模糊規(guī)則或調整模糊規(guī)則參數(shù)；用神經(jīng)網(wǎng)絡實現(xiàn)一個已知的模糊系統(tǒng)，以完成并行模糊推理；將模糊集合的概念應用于神經(jīng)網(wǎng)絡的計算和學習，從而在普通神經(jīng)網(wǎng)絡的基礎上發(fā)展各種模糊神經(jīng)網(wǎng)絡；用模糊技術提高神經(jīng)網(wǎng)絡學習性能；模糊神經(jīng)網(wǎng)絡的輸入輸出關系已知輸入輸出關系的模

8、糊規(guī)則：R : 如果x 是Ai and x 是Ai and x 是Ai則y是Bii1122nni 1, 2,m當前輸入為x, 求模糊系統(tǒng)的輸出ymi yci i i1為第i條規(guī)則的匹配度。y xn )mi1A12ni或者 xn )A12n模糊神經(jīng)網(wǎng)絡的結構第五層第一層第二層第三層第四層1、第一層為輸入層2、 第二層為模糊化層，計算各輸入分量屬于各語言變量值模糊集合的隸 屬度函數(shù)。每個結點代表一個語言變量值，如NB，PS等。例若采用函數(shù)則3、 第三層用來匹配模糊規(guī)則的前件計算出每條規(guī)則的適用度。 每個結點4、第四層實現(xiàn)歸一化計算5、第五層為輸出層，實現(xiàn)清晰化計算myi wij j , i 1, 2, ri1m j j / i , j 1,