神經(jīng)網(wǎng)絡(luò)控制

1、神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制人工神經(jīng)元網(wǎng)絡(luò)模型與控制 引言 前向神經(jīng)網(wǎng)絡(luò)模型 動態(tài)神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)pid控制控制 小結(jié)第一節(jié) 引言 模糊控制解決了人類語言的描述和推理問題，為模擬人腦的感知推理等智能行為邁了一大步。但是在數(shù)據(jù)處理、自學(xué)習(xí)能力方面還有很大的差距。 人工神經(jīng)網(wǎng)絡(luò)就是模擬人腦細(xì)胞的分布式工作特點和自組織功能實現(xiàn)并行處理、自學(xué)習(xí)和非線性映射等能力。1943年，心理學(xué)家mccmloch和數(shù)學(xué)家pitts合作提出里神經(jīng)元數(shù)學(xué)模型（mp）；1944年，hebb提出的改變神經(jīng)元連接強(qiáng)度的hebb規(guī)則；1957年，rosenblatt引進(jìn)感知概念；1976年，grossberg基于生理

2、和心理學(xué)的經(jīng)驗，提出了自適應(yīng)共振理論；1982年，美國加州工學(xué)院物理學(xué)家hopfield提出了hnn模型；1986年，rummelhart等pdf研究小組提出了多層前向傳播網(wǎng)絡(luò)的bp學(xué)習(xí)算法。研究神經(jīng)元網(wǎng)絡(luò)系統(tǒng)主要有三個方面的內(nèi)容：神經(jīng)元模型、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。從神經(jīng)元模型來分有：線性處理單元、非線性處理單元；從網(wǎng)絡(luò)結(jié)構(gòu)來分有：前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)。神經(jīng)元網(wǎng)絡(luò)的特點：1）非線性2）分布處理3）學(xué)習(xí)并行和自適應(yīng)4）數(shù)據(jù)融合5）適用于多變量系統(tǒng)6）便于硬件實現(xiàn)人工神經(jīng)網(wǎng)絡(luò)前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)自組織網(wǎng)絡(luò)cmacmlphopfieldrnnkohonenartboltzman ma

3、chine圖4-1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分類示意圖 人腦大約包含1012個神經(jīng)元，分成約1000種類型，每個神經(jīng)元大約與102104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時，如此大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。 從生物控制論的觀點來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性： 時空整合功能 興奮與抑制狀態(tài) 脈沖與電位轉(zhuǎn)換 神經(jīng)纖維傳導(dǎo)速度 突觸延時和不應(yīng)期 學(xué)習(xí)、遺忘和疲勞 圖4-2 神經(jīng)元結(jié)構(gòu)模型x1x2xnw

4、i1wi2winuiyisi神經(jīng)元是生物神經(jīng)系統(tǒng)的基本單元。神經(jīng)元模型是生物神經(jīng)元的抽象和模擬。神經(jīng)元一般是多輸入-三輸出的非線性器件。圖中 為神經(jīng)元內(nèi)部狀態(tài)； 為閥值； 為輸入信號，j=1，2，3,.n; 表示從單元 到單元 的連接系數(shù)， 為外部輸入信號。iuiixijwjuiuis)34()()()24()() 14(iiiiiiijjijinethugynetfusxwnet圖4-2 神經(jīng)元結(jié)構(gòu)模型x1x2xnwi1wi2winuiyisi假如， 即 ，常用的神經(jīng)元非線性特性有四種：iiuug)()(iinetfy （1）、閥值型inet（2）、分段線性型iliiliiiiiinetne

5、tfnetnetnetknetnetnetnetfmax000)(inetilnet0inet（3）、sigmoid函數(shù)型tnetiienetf11)(inet0001)(iiinetnetnetf（4）、tan函數(shù)型tnettnettnettnetiiiiieeeenetf)(二、神經(jīng)網(wǎng)絡(luò)的模型分類（1）、神經(jīng)元層次模型 研究由單個神經(jīng)元的動態(tài)特性和自適應(yīng)特性；（2）、組合式模型由幾種互相補(bǔ)充、互相協(xié)作的神經(jīng)元組成，完成特定的任務(wù)； （3）、網(wǎng)絡(luò)層次模型由眾多相同的神經(jīng)元相互連接而成的網(wǎng)絡(luò)，研究神經(jīng)網(wǎng)絡(luò)的整體性能；（4）、神經(jīng)系統(tǒng)層次模型一般有多個神經(jīng)網(wǎng)絡(luò)構(gòu)成，以模擬生物神經(jīng)系統(tǒng)更復(fù)雜、更抽

6、象的特性。典型的神經(jīng)網(wǎng)絡(luò)有：bp網(wǎng)、hopfield網(wǎng)絡(luò)、cmac小腦模型、art自適應(yīng)共振理論、bam雙向聯(lián)想記憶、som自組織網(wǎng)絡(luò)、blotzman機(jī)網(wǎng)絡(luò)和madaline網(wǎng)絡(luò)等等根據(jù)聯(lián)結(jié)方式分：（1）、前向網(wǎng)絡(luò)神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每層只能夠接受前一層神經(jīng)元的輸入。（2）、反饋網(wǎng)絡(luò)在輸入層到輸出層存在反饋。（3）、相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合網(wǎng)絡(luò)屬于網(wǎng)絡(luò)結(jié)構(gòu)。任意兩個神經(jīng)元之間可能有連接。（4）、混合型網(wǎng)絡(luò)層次形型網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)的一種結(jié)合。輸入輸出輸入輸出(a)(b)(c)(d)三、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)的實質(zhì)就是針對一組給定輸入xp使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望的輸出的過程。

7、網(wǎng)絡(luò)學(xué)習(xí)分兩大類：1、有導(dǎo)師學(xué)習(xí)存在一個期望的網(wǎng)絡(luò)輸出。期望輸出和實際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。2、無導(dǎo)師學(xué)習(xí)沒有直接的誤差信息，需要建立一個間接的評價函數(shù)，以對網(wǎng)絡(luò)的某種行為進(jìn)行評價。學(xué)習(xí)規(guī)則根據(jù)連接權(quán)系數(shù)的改變方式分：（1）、相關(guān)學(xué)習(xí)根據(jù)連接之間的激活水平改變權(quán)系數(shù)。（2）、糾錯學(xué)習(xí)依賴關(guān)于輸出節(jié)點的外部反饋改變權(quán)系數(shù)。（3）、無導(dǎo)師學(xué)習(xí)學(xué)習(xí)表現(xiàn)為自動實現(xiàn)輸入空間的檢測和分類。第二節(jié) 前向神經(jīng)網(wǎng)絡(luò)模型 前向神經(jīng)網(wǎng)絡(luò)是由一層或者多層非線性處理單元組成的。相鄰層之間通過突觸權(quán)連接起來。由于前一層的輸出作為下一層的輸入，因此，稱此類網(wǎng)絡(luò)結(jié)構(gòu)為前向神經(jīng)網(wǎng)絡(luò)。一、單一人工神經(jīng)元)(x

8、1x1x2xn01w2wnwy圖4-11 單一人工神經(jīng)元示意圖)()(1010njjjnjjjxwnetyxwnet1xnx1x2xnx1x2xnx11w12wnw11nw2nwnnwy圖4-12 只含二次項的神經(jīng)元結(jié)構(gòu)示意圖)()(11101110njnkkjjknjjjnjnkkjjknjjjxxwxwnetyxxwxwnet二、單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1x2xnx1y2yny圖2-13 單層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖jnjijijixwy1)(三、多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)kx1kx2knixky1ky2kny01ijw2ijw(a)kx1kx2knix1ijwlijwky1ky2kny0(b)圖4-14 多

9、層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖(a)含一個隱含層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖(b)含l+1個隱含層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖00211, 3 , 2 , 1, 3 , 2 , 1njxwynjxwhjnjilijjhnijljlj)(1211211llllllllxwwwf四、多層傳播網(wǎng)絡(luò)學(xué)習(xí)算法前向傳播網(wǎng)絡(luò)實質(zhì)上表示的是一種從輸入空間輸出空間的映射。)(xty 網(wǎng)絡(luò)的訓(xùn)練實質(zhì)上是對突觸權(quán)陣的調(diào)整，以滿足當(dāng)輸入為xp時其輸出應(yīng)為tp.對于一組給定的權(quán)系數(shù)，網(wǎng)絡(luò)對當(dāng)前輸入xp的響應(yīng)為：突觸權(quán)系數(shù)的調(diào)整是通過對樣本p=1，2，3，.,n的誤差指標(biāo)達(dá)到極小的方法來實現(xiàn)的。)(ppxty ),(pppytde 對于n

10、個樣本集，性能指標(biāo)為：npnipipinppytee1110)(對于具有n0個輸出的單元網(wǎng)絡(luò)，每一個期望輸出矢量tp和實際的輸出矢量yp之間的誤差函數(shù)可以用平方差和來表示，即012)(21njpipipyte 一般說，前向神經(jīng)網(wǎng)絡(luò)是通過期望輸出與實際輸出之間的誤差平方的極小來進(jìn)行權(quán)陣的學(xué)習(xí)和訓(xùn)練。通常一個周期一個周期進(jìn)行訓(xùn)練，一個周期對所有的樣本集，完成后下一個周期對此樣本集進(jìn)行重復(fù)訓(xùn)練，直到性能指標(biāo)e滿足要求為止。對于多層前向傳播網(wǎng)絡(luò)kx1kx2knix1ijwlijwky1ky2kny0(b)圖4-14 多層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖(b)含l+1個隱含層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖設(shè)輸入模式xp，

11、則相應(yīng)的隱含單元的輸出為)(1111)1(jniipijipjxwo根據(jù)l層網(wǎng)絡(luò)結(jié)構(gòu)可知，網(wǎng)絡(luò)輸出為：0)1(1, 2 , 1)()(1njownetyljlpiniljlllpjlpjl第r+1個隱含層的輸入是第r個隱含層的輸出，所以：1, 2 , 1 , 0)(11)(11)1(lrowornlrjrplrjirrpj多層前向傳播網(wǎng)絡(luò)的權(quán)系數(shù)訓(xùn)練算法是利用著名的誤差反向傳播學(xué)系算法得到的bp算法012)(21njpipipyte因為：rjiprjiwewrjirpjrpjprjipwnetnetewekrpirpkrjkrjirjirpjoowwwnet)1()1(rpjprpjnete其

12、中定義為廣義誤差則)1( rpirpjrpjponete)1( rpirpjrpjponete要使e安梯度下降，就必須按下式進(jìn)行權(quán)值的調(diào)整)1( rpirpjrjiow式中：上標(biāo)變量表示第r個隱含層，r=1,2,l； 為第r-1層第i個單元到第r層的第j單元的連接系數(shù)； 為學(xué)習(xí)步長。rjiw因為若r=l為輸出單元層，則：)()(lpjlpjpjlpjpjpjprpjplpjnetytnetyyenete)()()()(1111rpjrkrkjrpkkrpjrrpjrpkrpkprpjrpjrpjprpjnetwnetonetnetenetooe若 為輸出單元層，則：lr bp學(xué)習(xí)算法步驟：給定

13、p組樣本（x1,t1;x2,t2;,xp,tp)。其中xi為ni維輸入矢量，t維n0維期望的輸出矢量i=1,2,.,p。假如矢量y和0分別表示網(wǎng)絡(luò)的輸出層和隱含層的輸出矢量。則訓(xùn)練過程為：1）、選 ， 作為最大容許誤差，并將權(quán)系數(shù) ，初始化成某小的隨機(jī)權(quán)矩陣。0maxellwll，、21, 0, 1ep2）、訓(xùn)練開始，pppttxo,)0(計算出各隱含層神經(jīng)元的激勵輸出；計算各輸出層神經(jīng)的激勵輸出：按按1, 2 , 1 , 0)(11)(11)1(lrowornlrjrplrjirrpj0)1(1, 2 , 1)()(1njownetyljlpiniljlllpjlpjl3）、計算誤差02,

14、2 , 1,2/)(neytekk4）、按下式計算廣義誤差lpj按下式計算廣義誤差rpj)()(lpjlpjpjlpjpjpjprpjplpjnetytnetyyenete)()()()(1111rpjrkrkjrpkkrpjrrpjrpkrpkprpjrpjrpjprpjnetwnetonetnetenetooe5）、調(diào)整權(quán)陣系數(shù)rpjrjrpirpjrjiow )1(6）、。，否則轉(zhuǎn)轉(zhuǎn)若0072, 1,pppp7）、0max2, 1, 0,轉(zhuǎn)結(jié)束，否則若peee實際上，對訓(xùn)練過程有較大影響的有：權(quán)系數(shù)的初值、學(xué)習(xí)方式、激勵函數(shù)、學(xué)習(xí)速率等（1）、權(quán)系數(shù)的初值 權(quán)系數(shù)通常初始化成小的初始值，

15、盡可能覆蓋整個權(quán)陣的空間域，避免出現(xiàn)初始陣系數(shù)相同的情況。（2）、學(xué)習(xí)方式 學(xué)習(xí)方式不同，訓(xùn)練的效果也不同（3）、激勵函數(shù) 激勵函數(shù)的選擇對訓(xùn)練有較大的影響。（4）、學(xué)習(xí)速率 一般來說，學(xué)習(xí)速率越快，收斂越快，但容易產(chǎn)生震蕩；學(xué)習(xí)速率越小，收斂越慢。bp學(xué)習(xí)算法本質(zhì)上是屬于一次收斂的學(xué)習(xí)算法。所以bp算法不可避免存在局部極小問題，且學(xué)習(xí)速度很慢，在極點附近出現(xiàn)震蕩現(xiàn)象，而且不能夠平滑趨于最優(yōu)解。為了減小這種現(xiàn)象，一般采用平滑的權(quán)值更新公式，即：) 1(0)(1kwkwrjirpirpjrji例3-1 如圖3-15所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。假設(shè)對于期望的輸入 。網(wǎng)絡(luò)權(quán)系數(shù)的初始值見圖，試用

16、bp算法訓(xùn)練此網(wǎng)絡(luò)。這里神經(jīng)元激勵函數(shù)為 ，學(xué)習(xí)步長為ttttttxx05. 095. 0 ,31 2121xexf11)(1圖3-15 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖x1x211203-2-1o1o2110-21-23y1y2解：1）、輸入最大容許逼近誤差值 和最大迭代學(xué)習(xí)次數(shù) 設(shè)初始迭代學(xué)習(xí)次數(shù) 2）、計算當(dāng)前輸入狀態(tài)下、當(dāng)前網(wǎng)絡(luò)的連接權(quán)系數(shù)下的神經(jīng)網(wǎng)絡(luò)輸出。maxiteafe0iteafe110223)2(1211202122112112211102112111111xxwxwxwnetxxwxwxwnet731. 011111192. 0111112211211eeoeeonetnet6572. 13

17、)2(18808. 1201212202222122122212102212121121oowowownetoowowownet8399. 0111323. 011222121netneteyey3）、判斷神經(jīng)網(wǎng)絡(luò)逼近誤差要求或者迭代學(xué)習(xí)到最大容許值否？maxiterateiterateoryt若上述不等式中有一個滿足,則退出學(xué)習(xí).否則進(jìn)入4)。4）、計算廣義誤差。 0938. 0)1 ()()()(1111211121yyytnetfyt1062. 0)1 ()()()(2222222222yyytnetfyt2811. 0)1 ()()1 (1122122211211121211oowwo

18、owkkk04176. 0)1 ()()1 (2222222212212222212oowwoowkkk5）連接權(quán)系數(shù)更新2811. 0111111xw8433. 0211112xw2811. 011110w04176. 0112121xw1253. 0212122xw04176. 012120w0112. 0121211ow0686. 0221212ow0938. 021210w01266. 0122221ow0776. 0222222ow1062. 022220w. 2 , 1; 2 , 1 , 0; 2 , 1)() 1(jilwiteratewiteratewljiljiljiiter

19、ate=iterate+1;繼續(xù)迭代計算直至滿足終止條件為止。例3-2 利用多層前向傳播神經(jīng)網(wǎng)絡(luò)來逼近非線性函數(shù))cos1 (5 . 0 xy解：xxyy從圖中可以看到，增加隱含層的數(shù)目并不一定意味著能夠改善逼近精度第三節(jié) 動態(tài)神經(jīng)網(wǎng)絡(luò)模型前向傳播網(wǎng)絡(luò)的特點：1、結(jié)構(gòu)簡單、易于編程；2、是一種靜態(tài)非線性映射，不注重非線性動態(tài)性能的研究，缺乏豐富的動力學(xué)行為；反饋型神經(jīng)網(wǎng)絡(luò)：具有豐富的非線性動力學(xué)特性，如穩(wěn)定性、極限環(huán)、奇異吸引子（混沌現(xiàn)象）反饋動力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有以下特性：1、系統(tǒng)有若干穩(wěn)定狀態(tài)，如果從某一初始狀態(tài)開始運(yùn)動，系統(tǒng)總可以進(jìn)入某一穩(wěn)定狀態(tài)。（將神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)當(dāng)作記憶，實際上神經(jīng)

20、網(wǎng)絡(luò)由任一初始狀態(tài)向穩(wěn)態(tài)的演化過程，實質(zhì)上尋找記憶的過程。穩(wěn)定是神經(jīng)網(wǎng)絡(luò)的一個重要特性，能量函數(shù)是判斷網(wǎng)絡(luò)穩(wěn)定性的基本概念。2、系統(tǒng)的穩(wěn)定狀態(tài)可以通過改變相連單元的權(quán)值而產(chǎn)生。網(wǎng)絡(luò)穩(wěn)定性？定義4-1 神經(jīng)網(wǎng)絡(luò)從任一初始狀態(tài) x(0)開始運(yùn)動，若存在某一有限的時刻 ，從 以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即 ，則稱網(wǎng)絡(luò)穩(wěn)定。處于穩(wěn)定時刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點吸引子。stst0),()(ttxttxss神經(jīng)動力學(xué)系統(tǒng)具有以下一些共性：（1）、非常大的自由度 仿真系統(tǒng)的神經(jīng)元數(shù)限于 。人腦的神經(jīng)細(xì)胞個數(shù)（2）、非線性非線性是神經(jīng)東西學(xué)系統(tǒng)的主要特征。任何由現(xiàn)行單元組成的神經(jīng)網(wǎng)絡(luò)都可以退化成一個

21、等效的單層神經(jīng)網(wǎng)絡(luò)。（3）、消耗性消耗性指的是隨時間的推移系統(tǒng)狀態(tài)收斂于某一個流形域。（4）、節(jié)點方程微分方程或者差分方程，不是簡單的非線性方程。5101110動態(tài)神經(jīng)網(wǎng)絡(luò)的類型：1、帶時滯的多層感知器網(wǎng)絡(luò)2、回歸神經(jīng)網(wǎng)絡(luò)3、hopfield網(wǎng)絡(luò)1、帶時滯的多層感知器網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò)抽頭時滯環(huán)節(jié)x(k)x(k-1)x(k-n)x(k)y(k)圖4-18 時滯的多層感知器網(wǎng)絡(luò)2、回歸神經(jīng)網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò)抽頭時滯環(huán)節(jié)x(k) x(k-1)x(k-n)x(k)y(k)圖4-19 帶反饋的時滯的多層感知器網(wǎng)絡(luò)抽頭時滯環(huán)節(jié)y(k-m)y(k-2)y(k-1)1z1、將時間作為一維信號同時加入到神經(jīng)網(wǎng)

22、絡(luò)的輸入端實現(xiàn)利用靜態(tài)網(wǎng)絡(luò)來逼近動態(tài)時滯的時間序列系統(tǒng)。)(,),1(),()(2nkxkxkxfky、)(,),2(),1(),(,),1(),()(mkykykynkxkxkxfky3、hopfield網(wǎng)絡(luò)1982年和1984年hopfield發(fā)表了兩篇著名的文章：1、neural network and physical systems with emergerent collective computation ability ;2、neurons with graded response have collective computation properties like thos

23、e of two state neurons。 第一次將能量函數(shù)引入到神經(jīng)網(wǎng)絡(luò)中，給出了穩(wěn)定性的判據(jù)；利用模擬電子線路實現(xiàn)了提出的模型，成功用神經(jīng)網(wǎng)絡(luò)實現(xiàn)了4位a/d轉(zhuǎn)換；用一組耦合的非線性微分方程來表示hopfield網(wǎng)絡(luò)；hopfield網(wǎng)絡(luò)在任何初始狀態(tài)下都能夠趨于穩(wěn)定態(tài)；hopfield網(wǎng)絡(luò)穩(wěn)定態(tài)是由神經(jīng)元的連接權(quán)數(shù)決定的；hopfield網(wǎng)絡(luò)主要貢獻(xiàn)在于成功實現(xiàn)了聯(lián)想記憶和快速優(yōu)化計算。我們主要討論二值型hopfield網(wǎng)絡(luò)1、二值型hopfield網(wǎng)絡(luò)二值型hopfield網(wǎng)絡(luò)又稱離散型的hopfield網(wǎng)絡(luò)(dhnn)只有一個神經(jīng)元層次，每個處理單元有兩個狀態(tài)0、1或者-1、1，

24、即抑制和興奮，而整個網(wǎng)絡(luò)由單一神經(jīng)元組成。圖3-20 二值型hopfield網(wǎng)絡(luò)結(jié)構(gòu)123nny3y2y1y11w21w33w13wnw122w12w23wnnw)() 1()()(1knetfkykywknetiinjjijii二值型hopfield網(wǎng)絡(luò)節(jié)點方程式：k表示時間變量； 表示外部輸入； 表示神經(jīng)元輸出表示神經(jīng)元內(nèi)部狀態(tài)； 表示閥值函數(shù)。iiyinet對于n個節(jié)點的離散hopfield網(wǎng)絡(luò)有個可能的狀態(tài)。節(jié)點更新包括三種情況： 、 或者狀態(tài)保持 1001例4-3 假設(shè)一個3節(jié)點的離散hopfield神經(jīng)網(wǎng)絡(luò)，已知網(wǎng)絡(luò)權(quán)值與閥值如圖所示，計算狀態(tài)轉(zhuǎn)移關(guān)系。 v10.10.00.0v2

25、v3-已知網(wǎng)絡(luò)權(quán)值初值，圈內(nèi)為閥值，線上為連接系數(shù)解：設(shè)定初始狀態(tài)為： ，可以依次選擇節(jié)點v1、v2、v3，確定其節(jié)點興奮的條件及狀態(tài)的轉(zhuǎn)移。假設(shè)首選節(jié)點v1，激勵函數(shù)為：000321yyy01 . 01 . 00)2 . 0(0)5 . 0()0()0(1111njjjywnet可見，節(jié)點v1處于興奮狀態(tài)并且狀態(tài)y1由0 1。網(wǎng)絡(luò)狀態(tài)由000 001，轉(zhuǎn)移概率為1/3。000)6 . 0(0)5 . 0()0()0(1222njjjywnet同理可得：000)6 . 0(0)2 . 0()0()0(1333njjjywnet可見節(jié)點v1、v2的狀態(tài)保持不變。因此，由狀態(tài)00

26、0不會轉(zhuǎn)變到001和010。同理，可以計算出其他的狀態(tài)之間的轉(zhuǎn)移關(guān)系，見下圖所示。-0.6110001000100101111011010-0.4-0.3-0.10.00.00.40.0易知，hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元狀態(tài)要么在同一“高度”上變化，要么從上向下轉(zhuǎn)移（能量從達(dá)到小的變化）必然規(guī)律。由圖可知，系統(tǒng)狀態(tài)011是一個網(wǎng)絡(luò)的穩(wěn)定狀態(tài)；任意初始狀態(tài)經(jīng)過幾次的狀態(tài)更新后將到達(dá)此穩(wěn)態(tài)。能量函數(shù)：ninijjiijijttyywywyye11)(2121則hopfield神經(jīng)網(wǎng)絡(luò)中的狀態(tài)變化導(dǎo)致能量函數(shù)e的下降，并且能量函數(shù)的極小值點與網(wǎng)絡(luò)穩(wěn)定狀態(tài)由這緊密的關(guān)系。定理4-1 離散hopfi

27、eld 神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)與能量函數(shù)e在狀態(tài)空間的局部極小狀態(tài)是一一對應(yīng)的。 第四節(jié)第四節(jié) 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)pid控制控制 盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在的優(yōu)勢，但單純使用神經(jīng)網(wǎng)絡(luò)的控制方法的研究仍有待進(jìn)一步發(fā)展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的控制理論或智能技術(shù)綜合使用。神經(jīng)網(wǎng)絡(luò)在控制中的作用有以下幾種： 1在傳統(tǒng)的控制系統(tǒng)中用以動態(tài)系統(tǒng)建模，充當(dāng)對象模型； 2在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用； 3在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計算作用； 4與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。 3.4.1 基于bp神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)pid控制 bp神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，而

28、且結(jié)構(gòu)和學(xué)習(xí)算法簡單明確。通過神經(jīng)網(wǎng)絡(luò)自身的學(xué)習(xí)，可以找到某一最優(yōu)控制律下的p，i，d參數(shù)?；赽p神經(jīng)網(wǎng)絡(luò)的pd控制系統(tǒng)結(jié)構(gòu)如圖所示，控制器由兩個部分組成：經(jīng)典的pid控制器：直接對被控對象進(jìn)行閉環(huán)控制，并且kp,ki,kd三個參數(shù)為在線整定；神經(jīng)網(wǎng)絡(luò)nn：根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，調(diào)節(jié)pid控制器的參數(shù)，以期達(dá)到某種性能指標(biāo)的最優(yōu)化。即使輸出層神經(jīng)元的輸出狀態(tài)對應(yīng)于pid控制器的三個可調(diào)參數(shù)kp,ki,kd，通過神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定狀態(tài)對應(yīng)于某種最優(yōu)控制律下的pid控制器參數(shù)。 基于bp神經(jīng)網(wǎng)絡(luò)的pid控制算法可歸納如下： 1). 事先選定bp神經(jīng)網(wǎng)絡(luò)nn的結(jié)構(gòu)，即選定輸入

29、層節(jié)點數(shù)m和隱含層節(jié)點數(shù)q，并給出權(quán)系數(shù)的初值w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率和平滑因子，k=1； 2). 采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)； 3). 對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為nn的輸入； 4). 前向計算nn的各層神經(jīng)元的輸入和輸出，nn輸出層的輸出即為pid控制器的三個可調(diào)參數(shù)kp(k),ki(k),kd(k)； 5). 計算pid控制器的控制輸出u(k)，參與控制和計算； 6). 計算修正輸出層的權(quán)系數(shù)w(3)li(k)； 7). 計算修正隱含層的權(quán)系數(shù)w(2)ij(k)； 8). 置k=

30、k+1，返回到“2）”。 3.4.2 改進(jìn)型bp神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)pid控制 將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計或直接學(xué)習(xí)計算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計算權(quán)系數(shù)的修正量。但實際上，系統(tǒng)的預(yù)測輸出值是不易直接測得的，通常的做法是建立被控對象的預(yù)測數(shù)學(xué)模型，用該模型所計算的預(yù)測輸出來取代預(yù)測處的實測值，以提高控制效果。1采用線性預(yù)測模型的bp神經(jīng)網(wǎng)絡(luò)pid控制器 采用線性預(yù)測模型的采用線性預(yù)測模型的bp神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)pid控制系統(tǒng)算法歸納如下控制系統(tǒng)算法歸納如下： 1). 事先選定bp神經(jīng)網(wǎng)絡(luò)nn的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)m和隱含層節(jié)點數(shù)q，并給出權(quán)系數(shù)的初值

31、w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率和平滑因子，k=1； 2). 用線性系統(tǒng)辨識法估計出參數(shù)矢量(k)，從而形成一步預(yù)報模型式； 3). 采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)； 4). 對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為nn的輸入； 5). 前向計算nn的各層神經(jīng)元的輸入和輸出，nn輸出層的輸出即為pid控制器的三個可調(diào)參數(shù)kp(k),ki(k),kd(k)； 6). 計算pid控制器的控制輸出u(k)，參與控制和計算； 7).計算 和 ； 8). 計算修正輸出層的權(quán)系數(shù)w(3)li(k)； 9). 計算修正隱含

32、層的權(quán)系數(shù)w(2)ij(k)； 10). 置k=k+1，返回到“2）”。 ) 1( ky)(/ ) 1(kuky2采用非線性預(yù)測模型的bp神經(jīng)網(wǎng)絡(luò)pid控制器基于bp神經(jīng)網(wǎng)絡(luò)的pid控制算法可歸納如下： 1). 事先選定bp神經(jīng)網(wǎng)絡(luò)nn的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)m和隱含層節(jié)點數(shù)q，并給出權(quán)系數(shù)的初值w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率和平滑因子，k=1； 2). 采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)； 3). 對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為nn的輸入； 4). 前向計算nn的各層神經(jīng)元的輸入和輸出，nn輸出層

33、的輸出即為pid控制器的三個可調(diào)參數(shù)kp(k),ki(k),kd(k)； 5). 計算pid控制器的控制輸出u(k)，參與控制和計算； 6).前向計算nnm的各層神經(jīng)元的輸入和輸出，nnm的輸出為 ，計算修正隱含層和輸出層的權(quán)系數(shù)； 7).計算 ； 8). 計算修正輸出層的權(quán)系數(shù)w(3)li(k)； 9). 計算修正隱含層的權(quán)系數(shù)w(2)ij(k)； 10). 置k=k+1，返回到“2）”。) 1( ky)(/ ) 1(kuky單神經(jīng)元自適應(yīng)控制系統(tǒng)結(jié)構(gòu)學(xué)習(xí)算法)2()1(2)()()1()()()()()()1()()()()()1()()()()()1()()(/)()()()1()(23

34、213332221113131kekekekexkekexkexkxkukzkwkwkxkukzkwkwkxkukzkwkwkwkwwkxkwkkukudpiiiiiiii式中，系統(tǒng)對象：仿真示例)2(632. 0) 1(1 . 0)2(26. 0) 1(368. 0)(kukukykyky系統(tǒng)輸入：)4sgn(sin(5 .0)(tkrinmatlab程序%single neural adaptive controllerclear all;close all;x=0,0,0;xitep=0.40;xitei=0.35;xited=0.40;%initilizing kp,ki and kd

35、wkp_1=0.10; wki_1=0.10; wkd_1=0.10; %wkp_1=rand; %wki_1=rand; %wkd_1=rand;error_1=0; error_2=0; y_1=0;y_2=0;y_3=0;u_1=0;u_2=0;u_3=0;ts=0.001;for k=1:1:1000 time(k)=k*ts; rin(k)=0.5*sign(sin(2*2*pi*k*ts); yout(k)=0.368*y_1+0.26*y_2+0.1*u_1+0.632*u_2; error(k)=rin(k)-yout(k);%adjusting weight value by

36、 hebb learning algorithmm=4;if m=1 %no supervised heb learning algorithm wkp(k)=wkp_1+xitep*u_1*x(1); %p wki(k)=wki_1+xitei*u_1*x(2); %i wkd(k)=wkd_1+xited*u_1*x(3); %d k=0.06; elseif m=2 %supervised delta learning algorithm wkp(k)=wkp_1+xitep*error(k)*u_1; %p wki(k)=wki_1+xitei*error(k)*u_1; %i wkd

37、(k)=wkd_1+xited*error(k)*u_1; %dk=0.12; elseif m=3 %supervised heb learning algorithm wkp(k)=wkp_1+xitep*error(k)*u_1*x(1); %p wki(k)=wki_1+xitei*error(k)*u_1*x(2); %i wkd(k)=wkd_1+xited*error(k)*u_1*x(3); %d k=0.12; elseif m=4 %improved heb learning algorithm wkp(k)=wkp_1+xitep*error(k)*u_1*(2*erro

38、r(k)-error_1); wki(k)=wki_1+xitei*error(k)*u_1*(2*error(k)-error_1); wkd(k)=wkd_1+xited*error(k)*u_1*(2*error(k)-error_1); k=0.12; endx(1)=error(k)-error_1; %p x(2)=error(k); %i x(3)=error(k)-2*error_1+error_2; %d wadd(k)=abs(wkp(k)+abs(wki(k)+abs(wkd(k); w11(k)=wkp(k)/wadd(k); w22(k)=wki(k)/wadd(k); w33(k)=wkd(k)/wadd(k); w=w11(k),w22(k),w33(k);u(k)=u_1+k*w*x; %control lawif u(k)10 u(k)=10; endif u(k)-10 u(k)=-10;end