神經(jīng)網(wǎng)絡(luò)控制ppt課件

1、神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制人工神經(jīng)元網(wǎng)絡(luò)模型與控制 引言 前向神經(jīng)網(wǎng)絡(luò)模型 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)PID控制 小結(jié)第一節(jié) 引言 模糊控制處理了人類言語的描畫和推理問題，為模擬人腦的感知推理等智能行為邁了一大步。但是在數(shù)據(jù)處置、自學(xué)習(xí)才干方面還有很大的差距。 人工神經(jīng)網(wǎng)絡(luò)就是模擬人腦細(xì)胞的分布式任務(wù)特點(diǎn)和自組織功能實(shí)現(xiàn)并行處置、自學(xué)習(xí)和非線性映射等才干。1943年，心思學(xué)家McCmloch和數(shù)學(xué)家Pitts協(xié)作提出里神經(jīng)元數(shù)學(xué)模型MP；1944年，Hebb提出的改動(dòng)神經(jīng)元銜接強(qiáng)度的Hebb規(guī)那么；1957年，Rosenblatt引進(jìn)感知概念；1976年，Grossberg基于生理和心思學(xué)的閱歷

2、，提出了自順應(yīng)共振實(shí)際；1982年，美國加州工學(xué)院物理學(xué)家Hopfield提出了HNN模型；1986年，Rummelhart等PDF研討小組提出了多層前向傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法。研討神經(jīng)元網(wǎng)絡(luò)系統(tǒng)主要有三個(gè)方面的內(nèi)容：神經(jīng)元模型、神經(jīng)網(wǎng)絡(luò)構(gòu)造、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。從神經(jīng)元模型來分有：線性處置單元、非線性處置單元；從網(wǎng)絡(luò)構(gòu)造來分有：前向網(wǎng)絡(luò)、反響網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)。神經(jīng)元網(wǎng)絡(luò)的特點(diǎn)：1非線性2分布處置3學(xué)習(xí)并行和自順應(yīng)4數(shù)據(jù)交融5適用于多變量系統(tǒng)6便于硬件實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)前向網(wǎng)絡(luò)反響網(wǎng)絡(luò)自組織網(wǎng)絡(luò)CMACMLPHopfieldRNNKohonenARTBoltzman Machine圖4-1 神經(jīng)網(wǎng)

3、絡(luò)構(gòu)造分類表示圖 人腦大約包含1012個(gè)神經(jīng)元，分成約1000種類型，每個(gè)神經(jīng)元大約與102104個(gè)其他神經(jīng)元相銜接，構(gòu)成極為錯(cuò)綜復(fù)雜而又靈敏多變的神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元雖然都非常簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的銜接卻可以演化出豐富多彩的行為方式。同時(shí)，如此大量的神經(jīng)元與外部感受器之間的多種多樣的銜接方式也蘊(yùn)含了變化莫測(cè)的反響方式。 從生物控制論的觀念來看，神經(jīng)元作為控制和信息處置的根本單元，具有以下一些重要的功能與特性： 時(shí)空整合功能 興奮與抑制形狀 脈沖與電位轉(zhuǎn)換 神經(jīng)纖維傳導(dǎo)速度 突觸延時(shí)和不應(yīng)期 學(xué)習(xí)、遺忘和疲勞 圖4-2 神經(jīng)元構(gòu)造模型X1X2XnWi1Wi2WinUiyiS

4、i神經(jīng)元是生物神經(jīng)系統(tǒng)的根本單元。神經(jīng)元模型是生物神經(jīng)元的籠統(tǒng)和模擬。神經(jīng)元普通是多輸入-三輸出的非線性器件。圖中 為神經(jīng)元內(nèi)部形狀； 為閥值； 為輸入信號(hào)，j=1，2，3,.n; 表示從單元 到單元 的銜接系數(shù)， 為外部輸入信號(hào)。iuiixijwjuiuis)34()()()24()() 14(iiiiiiijjijiNethugyNetfusxwNet圖4-2 神經(jīng)元構(gòu)造模型X1X2XnWi1Wi2WinUiyiSi假設(shè)， 即 ，常用的神經(jīng)元非線性特性有四種：iiuug)()(iiNetfy 1、閥值型iNet2、分段線性型iliiliiiiiiNetNetfNetNetNetkNetNe

5、tNetNetfmax000)(iNetilNet0iNet3、Sigmoid函數(shù)型TNetiieNetf11)(iNet0001)(iiiNetNetNetf4、Tan函數(shù)型TNetTNetTNetTNetiiiiieeeeNetf)(二、神經(jīng)網(wǎng)絡(luò)的模型分類1、神經(jīng)元層次模型 研討由單個(gè)神經(jīng)元的動(dòng)態(tài)特性和自順應(yīng)特性；2、組合式模型由幾種相互補(bǔ)充、相互協(xié)作的神經(jīng)元組成，完成特定的義務(wù)； 3、網(wǎng)絡(luò)層次模型由眾多一樣的神經(jīng)元相互銜接而成的網(wǎng)絡(luò)，研討神經(jīng)網(wǎng)絡(luò)的整體性能；4、神經(jīng)系統(tǒng)層次模型普通有多個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)成，以模擬生物神經(jīng)系統(tǒng)更復(fù)雜、更籠統(tǒng)的特性。典型的神經(jīng)網(wǎng)絡(luò)有：BP網(wǎng)、Hopfield網(wǎng)絡(luò)、

6、CMAC小腦模型、ART自順應(yīng)共振實(shí)際、BAM雙向聯(lián)想記憶、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等等根據(jù)結(jié)合方式分：1、前向網(wǎng)絡(luò)神經(jīng)元分層陳列，組成輸入層、隱含層和輸出層。每層只可以接受前一層神經(jīng)元的輸入。2、反響網(wǎng)絡(luò)在輸入層到輸出層存在反響。3、相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合網(wǎng)絡(luò)屬于網(wǎng)絡(luò)構(gòu)造。恣意兩個(gè)神經(jīng)元之間能夠有銜接。4、混合型網(wǎng)絡(luò)層次形型網(wǎng)絡(luò)和網(wǎng)狀構(gòu)造網(wǎng)絡(luò)的一種結(jié)合。輸入輸出輸入輸出(a)(b)(c)(d)三、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)的本質(zhì)就是針對(duì)一組給定輸入Xp使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望的輸出的過程。網(wǎng)絡(luò)學(xué)習(xí)分兩大類：1、有導(dǎo)師學(xué)習(xí)存在一個(gè)期望的網(wǎng)絡(luò)輸出。期望輸出和實(shí)踐輸出

7、之間的間隔作為誤差度量并用于調(diào)整權(quán)值。2、無導(dǎo)師學(xué)習(xí)沒有直接的誤差信息，需求建立一個(gè)間接的評(píng)價(jià)函數(shù)，以對(duì)網(wǎng)絡(luò)的某種行為進(jìn)展評(píng)價(jià)。學(xué)習(xí)規(guī)那么根據(jù)銜接權(quán)系數(shù)的改動(dòng)方式分：1、相關(guān)學(xué)習(xí)根據(jù)銜接之間的激活程度改動(dòng)權(quán)系數(shù)。2、糾錯(cuò)學(xué)習(xí)依賴關(guān)于輸出節(jié)點(diǎn)的外部反響改動(dòng)權(quán)系數(shù)。3、無導(dǎo)師學(xué)習(xí)學(xué)習(xí)表現(xiàn)為自動(dòng)實(shí)現(xiàn)輸入空間的檢測(cè)和分類。第二節(jié) 前向神經(jīng)網(wǎng)絡(luò)模型 前向神經(jīng)網(wǎng)絡(luò)是由一層或者多層非線性處置單元組成的。相鄰層之間經(jīng)過突觸權(quán)銜接起來。由于前一層的輸出作為下一層的輸入，因此，稱此類網(wǎng)絡(luò)構(gòu)造為前向神經(jīng)網(wǎng)絡(luò)。一、單一人工神經(jīng)元)(x1X1X2Xn01w2wnwy圖4-11 單一人工神經(jīng)元表示圖)()(1010njj

8、jnjjjxwNetyxwNet1xnx1x2xnx1x2xnx11w12wnw11nw2nwnnwy圖4-12 只含二次項(xiàng)的神經(jīng)元構(gòu)造表示圖)()(11101110njnkkjjknjjjnjnkkjjknjjjxxwxwNetyxxwxwNet二、單層神經(jīng)網(wǎng)絡(luò)構(gòu)造1x2xnx1y2yny圖2-13 單層前向傳播網(wǎng)絡(luò)構(gòu)造表示圖jnjijijixwy1)(三、多層神經(jīng)網(wǎng)絡(luò)構(gòu)造kx1kx2knixky1ky2kny01ijw2ijw(a)kx1kx2knix1ijwLijwky1ky2kny0(b)圖4-14 多層前向傳播網(wǎng)絡(luò)構(gòu)造表示圖(a)含一個(gè)隱含層前向傳播網(wǎng)絡(luò)構(gòu)造表示圖(b)含L+1個(gè)隱含

9、層前向傳播網(wǎng)絡(luò)構(gòu)造表示圖00211, 3 , 2 , 1, 3 , 2 , 1njxwynjxwhjnjilijjhnijljlj)(1211211LLLLLLLLXWWWF四、多層傳播網(wǎng)絡(luò)學(xué)習(xí)算法前向傳播網(wǎng)絡(luò)本質(zhì)上表示的是一種從輸入空間輸出空間的映射。)(XTY 網(wǎng)絡(luò)的訓(xùn)練本質(zhì)上是對(duì)突觸權(quán)陣的調(diào)整，以滿足當(dāng)輸入為Xp時(shí)其輸出應(yīng)為Tp.對(duì)于一組給定的權(quán)系數(shù)，網(wǎng)絡(luò)對(duì)當(dāng)前輸入Xp的呼應(yīng)為：突觸權(quán)系數(shù)的調(diào)整是經(jīng)過對(duì)樣本p=1，2，3，.,N的誤差目的到達(dá)極小的方法來實(shí)現(xiàn)的。)(ppXTY ),(pppYTdE 對(duì)于N個(gè)樣本集，性能目的為：NpnipipiNppytEE1110)(對(duì)于具有n0個(gè)輸出的

10、單元網(wǎng)絡(luò)，每一個(gè)期望輸出矢量Tp和實(shí)踐的輸出矢量Yp之間的誤差函數(shù)可以用平方差和來表示，即012)(21njpipipytE 普通說，前向神經(jīng)網(wǎng)絡(luò)是經(jīng)過期望輸出與實(shí)踐輸出之間的誤差平方的極小來進(jìn)展權(quán)陣的學(xué)習(xí)和訓(xùn)練。通常一個(gè)周期一個(gè)周期進(jìn)展訓(xùn)練，一個(gè)周期對(duì)一切的樣本集，完成后下一個(gè)周期對(duì)此樣本集進(jìn)展反復(fù)訓(xùn)練，直到性能目的E滿足要求為止。對(duì)于多層前向傳播網(wǎng)絡(luò)kx1kx2knix1ijwLijwky1ky2kny0(b)圖4-14 多層前向傳播網(wǎng)絡(luò)構(gòu)造表示圖(b)含L+1個(gè)隱含層前向傳播網(wǎng)絡(luò)構(gòu)造表示圖設(shè)輸入方式Xp，那么相應(yīng)的隱含單元的輸出為)(1111)1(jniipijipjxwo根據(jù)L層網(wǎng)絡(luò)構(gòu)

11、造可知，網(wǎng)絡(luò)輸出為：0)1(1, 2 , 1)()(1njowNetyLjLpiniLjlLLpjLpjL第r+1個(gè)隱含層的輸入是第r個(gè)隱含層的輸出，所以：1, 2 , 1 , 0)(11)(11)1(Lrowornlrjrplrjirrpj多層前向傳播網(wǎng)絡(luò)的權(quán)系數(shù)訓(xùn)練算法是利用著名的誤差反向傳播學(xué)系算法得到的BP算法012)(21njpipipytE由于：rjiprjiwEwrjirpjrpjprjipwNetNetEwEkrpirpkrjkrjirjirpjoowwwNet)1()1(rpjprpjNetE其中定義為廣義誤差那么)1( rpirpjrpjpoNetE)1( rpirpjrp

12、jpoNetE要使E安梯度下降，就必需按下式進(jìn)展權(quán)值的調(diào)整)1( rpirpjrjiow式中：上標(biāo)變量表示第r個(gè)隱含層，r=1,2,L； 為第r-1層第i個(gè)單元到第r層的第j單元的銜接系數(shù)； 為學(xué)習(xí)步長。rjiw由于假設(shè)r=L為輸出單元層，那么：)()(LpjLpjpjLpjpjpjprpjpLpjNetytNetyyENetE)()()()(1111rpjrkrkjrpkkrpjrrpjrpkrpkprpjrpjrpjprpjNetwNetoNetNetENetooE假設(shè) 為輸出單元層，那么：Lr BP學(xué)習(xí)算法步驟：給定P組樣本X1,T1;X2,T2;,Xp,Tp)。其中Xi為ni維輸入矢量

13、，T維n0維期望的輸出矢量I=1,2,.,p。假設(shè)矢量y和0分別表示網(wǎng)絡(luò)的輸出層和隱含層的輸出矢量。那么訓(xùn)練過程為：1、選 ， 作為最大允許誤差，并將權(quán)系數(shù) ，初始化成某小的隨機(jī)權(quán)矩陣。0maxELlWll，、21, 0, 1Ep2、訓(xùn)練開場(chǎng)，pppTTXo,)0(計(jì)算出各隱含層神經(jīng)元的鼓勵(lì)輸出；計(jì)算各輸出層神經(jīng)的鼓勵(lì)輸出：按按1, 2 , 1 , 0)(11)(11)1(Lrowornlrjrplrjirrpj0)1(1, 2 , 1)()(1njowNetyLjLpiniLjlLLpjLpjL3、計(jì)算誤差02, 2 , 1,2/)(nEytEkk4、按下式計(jì)算廣義誤差Lpj按下式計(jì)算廣義誤

14、差rpj)()(LpjLpjpjLpjpjpjprpjpLpjNetytNetyyENetE)()()()(1111rpjrkrkjrpkkrpjrrpjrpkrpkprpjrpjrpjprpjNetwNetoNetNetENetooE5、調(diào)整權(quán)陣系數(shù)rpjrjrpirpjrjiow )1(6、。，否則轉(zhuǎn)轉(zhuǎn)若0072, 1,ppPp7、0max2, 1, 0,轉(zhuǎn)結(jié)束，否則若pEEE實(shí)踐上，對(duì)訓(xùn)練過程有較大影響的有：權(quán)系數(shù)的初值、學(xué)習(xí)方式、鼓勵(lì)函數(shù)、學(xué)習(xí)速率等1、權(quán)系數(shù)的初值 權(quán)系數(shù)通常初始化成小的初始值，盡能夠覆蓋整個(gè)權(quán)陣的空間域，防止出現(xiàn)初始陣系數(shù)一樣的情況。2、學(xué)習(xí)方式 學(xué)習(xí)方式不同，訓(xùn)練

15、的效果也不同3、鼓勵(lì)函數(shù) 鼓勵(lì)函數(shù)的選擇對(duì)訓(xùn)練有較大的影響。4、學(xué)習(xí)速率 普通來說，學(xué)習(xí)速率越快，收斂越快，但容易產(chǎn)生震蕩；學(xué)習(xí)速率越小，收斂越慢。BP學(xué)習(xí)算法本質(zhì)上是屬于一次收斂的學(xué)習(xí)算法。所以BP算法不可防止存在部分極小問題，且學(xué)習(xí)速度很慢，在極點(diǎn)附近出現(xiàn)震蕩景象，而且不可以平滑趨于最優(yōu)解。為了減小這種景象，普通采用平滑的權(quán)值更新公式，即：) 1(0)(1kwkwrjirpirpjrji例3-1 如圖3-15所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)構(gòu)造。假設(shè)對(duì)于期望的輸入 。網(wǎng)絡(luò)權(quán)系數(shù)的初始值見圖，試用BP算法訓(xùn)練此網(wǎng)絡(luò)。這里神經(jīng)元鼓勵(lì)函數(shù)為 ，學(xué)習(xí)步長為TTTTttxx05. 095. 0 ,31 2

16、121xexf11)(1圖3-15 神經(jīng)網(wǎng)絡(luò)構(gòu)造圖x1x211203-2-1o1o2110-21-23y1y2解：1、輸入最大允許逼近誤差值 和最大迭代學(xué)習(xí)次數(shù) 設(shè)初始迭代學(xué)習(xí)次數(shù) 2、計(jì)算當(dāng)前輸入形狀下、當(dāng)前網(wǎng)絡(luò)的銜接權(quán)系數(shù)下的神經(jīng)網(wǎng)絡(luò)輸出。maxiteafe0iteafe110223)2(1211202122112112211102112111111xxwxwxwnetxxwxwxwnet731. 011111192. 0111112211211eeoeeonetnet6572. 13)2(18808. 1201212202222122122212102212121121oowowowne

17、toowowownet8399. 0111323. 011222121netneteyey3、判別神經(jīng)網(wǎng)絡(luò)逼近誤差要求或者迭代學(xué)習(xí)到最大允許值否？maxiterateiterateoryt假設(shè)上述不等式中有一個(gè)滿足,那么退出學(xué)習(xí).否那么進(jìn)入4)。4、計(jì)算廣義誤差。 0938. 0)1 ()()()(1111211121yyytnetfyt1062. 0)1 ()()()(2222222222yyytnetfyt2811. 0)1 ()()1 (1122122211211121211oowwoowkkk04176. 0)1 ()()1 (2222222212212222212oowwoowkkk

18、5銜接權(quán)系數(shù)更新2811. 0111111xw8433. 0211112xw2811. 011110w04176. 0112121xw1253. 0212122xw04176. 012120w0112. 0121211ow0686. 0221212ow0938. 021210w01266. 0122221ow0776. 0222222ow1062. 022220w. 2 , 1; 2 , 1 , 0; 2 , 1)() 1(jilwiteratewiteratewljiljiljiiterate=iterate+1;繼續(xù)迭代計(jì)算直至滿足終止條件為止。例3-2 利用多層前向傳播神經(jīng)網(wǎng)絡(luò)來逼近非線

19、性函數(shù))cos1 (5 . 0 xy解：xxyy從圖中可以看到，添加隱含層的數(shù)目并不一定意味著可以改善逼近精度第三節(jié) 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型前向傳播網(wǎng)絡(luò)的特點(diǎn)：1、構(gòu)造簡單、易于編程；2、是一種靜態(tài)非線性映射，不注重非線性動(dòng)態(tài)性能的研討，缺乏豐富的動(dòng)力學(xué)行為；反響型神經(jīng)網(wǎng)絡(luò)：具有豐富的非線性動(dòng)力學(xué)特性，如穩(wěn)定性、極限環(huán)、奇特吸引子混沌景象反響動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有以下特性：1、系統(tǒng)有假設(shè)干穩(wěn)定形狀，假設(shè)從某一初始形狀開場(chǎng)運(yùn)動(dòng)，系統(tǒng)總可以進(jìn)入某一穩(wěn)定形狀。將神經(jīng)網(wǎng)絡(luò)穩(wěn)定形狀當(dāng)作記憶，實(shí)踐上神經(jīng)網(wǎng)絡(luò)由任一初始形狀向穩(wěn)態(tài)的演化過程，本質(zhì)上尋覓記憶的過程。穩(wěn)定是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特性，能量函數(shù)是判別網(wǎng)絡(luò)穩(wěn)定

20、性的根本概念。2、系統(tǒng)的穩(wěn)定形狀可以經(jīng)過改動(dòng)相連單元的權(quán)值而產(chǎn)生。網(wǎng)絡(luò)穩(wěn)定性？定義4-1 神經(jīng)網(wǎng)絡(luò)從任一初始形狀 X(0)開場(chǎng)運(yùn)動(dòng)，假設(shè)存在某一有限的時(shí)辰 ，從 以后神經(jīng)網(wǎng)絡(luò)的形狀不再發(fā)生變化，即 ，那么稱網(wǎng)絡(luò)穩(wěn)定。處于穩(wěn)定時(shí)辰的網(wǎng)絡(luò)形狀叫穩(wěn)定形狀，又稱定點(diǎn)吸引子。stst0),()(ttXttXss神經(jīng)動(dòng)力學(xué)系統(tǒng)具有以下一些共性：1、非常大的自在度 仿真系統(tǒng)的神經(jīng)元數(shù)限于 。人腦的神經(jīng)細(xì)胞個(gè)數(shù)2、非線性非線性是神經(jīng)東西學(xué)系統(tǒng)的主要特征。任何由現(xiàn)行單元組成的神經(jīng)網(wǎng)絡(luò)都可以退化成一個(gè)等效的單層神經(jīng)網(wǎng)絡(luò)。3、耗費(fèi)性耗費(fèi)性指的是隨時(shí)間的推移系統(tǒng)形狀收斂于某一個(gè)流形域。4、節(jié)點(diǎn)方程微分方程或者差分方程

21、，不是簡單的非線性方程。5101110動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的類型：1、帶時(shí)滯的多層感知器網(wǎng)絡(luò)2、回歸神經(jīng)網(wǎng)絡(luò)3、Hopfield網(wǎng)絡(luò)1、帶時(shí)滯的多層感知器網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò)抽頭時(shí)滯環(huán)節(jié)X(k)X(k-1)X(k-n)X(k)y(k)圖4-18 時(shí)滯的多層感知器網(wǎng)絡(luò)2、回歸神經(jīng)網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò)抽頭時(shí)滯環(huán)節(jié)X(k) X(k-1)X(k-n)X(k)y(k)圖4-19 帶反響的時(shí)滯的多層感知器網(wǎng)絡(luò)抽頭時(shí)滯環(huán)節(jié)y(k-m)y(k-2)y(k-1)1z1、將時(shí)間作為一維信號(hào)同時(shí)參與到神經(jīng)網(wǎng)絡(luò)的輸入端實(shí)現(xiàn)利用靜態(tài)網(wǎng)絡(luò)來逼近動(dòng)態(tài)時(shí)滯的時(shí)間序列系統(tǒng)。)(,),1(),()(2nkxkxkxfky、)(,),2(),

22、1(),(,),1(),()(mkykykynkxkxkxfky3、Hopfield網(wǎng)絡(luò)1982年和1984年Hopfield發(fā)表了兩篇著名的文章：1、Neural network and physical systems with emergerent collective computation ability ;2、Neurons with graded response have collective computation properties like those of two state neurons。 第一次將能量函數(shù)引入到神經(jīng)網(wǎng)絡(luò)中，給出了穩(wěn)定性的判據(jù)；利用模擬電子線路實(shí)現(xiàn)

23、了提出的模型，勝利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了4位A/D轉(zhuǎn)換；用一組耦合的非線性微分方程來表示Hopfield網(wǎng)絡(luò)；Hopfield網(wǎng)絡(luò)在任何初始形狀下都可以趨于穩(wěn)定態(tài)；Hopfield網(wǎng)絡(luò)穩(wěn)定態(tài)是由神經(jīng)元的銜接權(quán)數(shù)決議的；Hopfield網(wǎng)絡(luò)主要奉獻(xiàn)在于勝利實(shí)現(xiàn)了聯(lián)想記憶和快速優(yōu)化計(jì)算。我們主要討論二值型Hopfield網(wǎng)絡(luò)1、二值型Hopfield網(wǎng)絡(luò)二值型Hopfield網(wǎng)絡(luò)又稱離散型的Hopfield網(wǎng)絡(luò)(DHNN)只需一個(gè)神經(jīng)元層次，每個(gè)處置單元有兩個(gè)形狀0、1或者-1、1，即抑制和興奮，而整個(gè)網(wǎng)絡(luò)由單一神經(jīng)元組成。圖3-20 二值型Hopfield網(wǎng)絡(luò)構(gòu)造123NNy3y2y1y11w21w3

24、3w13wNw122w12w23wNNw)() 1()()(1kNetfkykywkNetiiNjjijii二值型Hopfield網(wǎng)絡(luò)節(jié)點(diǎn)方程式：K表示時(shí)間變量； 表示外部輸入； 表示神經(jīng)元輸出表示神經(jīng)元內(nèi)部形狀； 表示閥值函數(shù)。iiyiNet對(duì)于n個(gè)節(jié)點(diǎn)的離散Hopfield網(wǎng)絡(luò)有個(gè)能夠的形狀。節(jié)點(diǎn)更新包括三種情況： 、 或者形狀堅(jiān)持 1001例4-3 假設(shè)一個(gè)3節(jié)點(diǎn)的離散Hopfield神經(jīng)網(wǎng)絡(luò)，知網(wǎng)絡(luò)權(quán)值與閥值如下圖，計(jì)算形狀轉(zhuǎn)移關(guān)系。 v10.10.00.0v2v3-知網(wǎng)絡(luò)權(quán)值初值，圈內(nèi)為閥值，線上為銜接系數(shù)解：設(shè)定初始形狀為： ，可以依次選擇節(jié)點(diǎn)V1、V2、V3，確

25、定其節(jié)點(diǎn)興奮的條件及形狀的轉(zhuǎn)移。假設(shè)首選節(jié)點(diǎn)V1，鼓勵(lì)函數(shù)為：000321yyy01 . 01 . 00)2 . 0(0)5 . 0()0()0(1111NjjjywNet可見，節(jié)點(diǎn)V1處于興奮形狀并且形狀y1由0 1。網(wǎng)絡(luò)形狀由000 001，轉(zhuǎn)移概率為1/3。000)6 . 0(0)5 . 0()0()0(1222NjjjywNet同理可得：000)6 . 0(0)2 . 0()0()0(1333NjjjywNet可見節(jié)點(diǎn)V1、V2的形狀堅(jiān)持不變。因此，由形狀000不會(huì)轉(zhuǎn)變到001和010。同理，可以計(jì)算出其他的形狀之間的轉(zhuǎn)移關(guān)系，見以下圖所示。-0.6110001000100101111

26、011010-0.4-0.3-0.10.00.00.40.0易知，Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元形狀要么在同一“高度上變化，要么從上向下轉(zhuǎn)移能量從到達(dá)小的變化必然規(guī)律。由圖可知，系統(tǒng)形狀011是一個(gè)網(wǎng)絡(luò)的穩(wěn)定形狀；恣意初始形狀經(jīng)過幾次的形狀更新后將到達(dá)此穩(wěn)態(tài)。能量函數(shù)：ninijjiijijTTyywYWYYE11)(2121那么Hopfield神經(jīng)網(wǎng)絡(luò)中的形狀變化導(dǎo)致能量函數(shù)E的下降，并且能量函數(shù)的極小值點(diǎn)與網(wǎng)絡(luò)穩(wěn)定形狀由這嚴(yán)密的關(guān)系。定理4-1 離散Hopfield 神經(jīng)網(wǎng)絡(luò)的穩(wěn)定形狀與能量函數(shù)E在形狀空間的部分極小形狀是一一對(duì)應(yīng)的。 第四節(jié)第四節(jié) 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)PID控制控制 雖然神

27、經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在的優(yōu)勢(shì)，但單純運(yùn)用神經(jīng)網(wǎng)絡(luò)的控制方法的研討仍有待進(jìn)一步開展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的控制實(shí)際或智能技術(shù)綜合運(yùn)用。神經(jīng)網(wǎng)絡(luò)在控制中的作用有以下幾種： 1在傳統(tǒng)的控制系統(tǒng)中用以動(dòng)態(tài)系統(tǒng)建模，充任對(duì)象模型； 2在反響控制系統(tǒng)中直接充任控制器的作用； 3在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計(jì)算作用； 4與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相交融。 3.4.1 基于BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制 BP神經(jīng)網(wǎng)絡(luò)具有逼近恣意非線性函數(shù)的才干，而且構(gòu)造和學(xué)習(xí)算法簡單明確。經(jīng)過神經(jīng)網(wǎng)絡(luò)本身的學(xué)習(xí)，可以找到某一最優(yōu)控制律下的P，I，D參數(shù)?；贐P神經(jīng)網(wǎng)絡(luò)的PD控制系統(tǒng)構(gòu)造如下

28、圖，控制器由兩個(gè)部分組成：經(jīng)典的PID控制器：直接對(duì)被控對(duì)象進(jìn)展閉環(huán)控制，并且KP,KI,KD三個(gè)參數(shù)為在線整定；神經(jīng)網(wǎng)絡(luò)NN：根據(jù)系統(tǒng)的運(yùn)轉(zhuǎn)形狀，調(diào)理PID控制器的參數(shù)，以期到達(dá)某種性能目的的最優(yōu)化。即使輸出層神經(jīng)元的輸出形狀對(duì)應(yīng)于PID控制器的三個(gè)可調(diào)參數(shù)KP,KI,KD，經(jīng)過神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定形狀對(duì)應(yīng)于某種最優(yōu)控制律下的PID控制器參數(shù)。 基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下： 1). 事先選定BP神經(jīng)網(wǎng)絡(luò)NN的構(gòu)造，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率和平滑因子，k=1； 2). 采

29、樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)； 3). 對(duì)r(i),y(i),u(i-1),e(i)進(jìn)展歸一化處置，作為NN的輸入； 4). 前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)； 5). 計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算； 6). 計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)； 7). 計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)； 8). 置k=k+1，前往到“2。 3.4.2 改良型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制 將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出控

30、制量，普通都要用到系統(tǒng)的預(yù)測(cè)輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。但實(shí)踐上，系統(tǒng)的預(yù)測(cè)輸出值是不易直接測(cè)得的，通常的做法是建立被控對(duì)象的預(yù)測(cè)數(shù)學(xué)模型，用該模型所計(jì)算的預(yù)測(cè)輸出來取代預(yù)測(cè)處的實(shí)測(cè)值，以提高控制效果。1采用線性預(yù)測(cè)模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器 采用線性預(yù)測(cè)模型的采用線性預(yù)測(cè)模型的BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法歸納如下：控制系統(tǒng)算法歸納如下： 1). 事先選定事先選定BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)NN的構(gòu)造，即選定輸入層節(jié)點(diǎn)數(shù)的構(gòu)造，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值，并給出權(quán)系數(shù)的初值w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率，選定學(xué)

31、習(xí)速率和平滑因子和平滑因子，k=1； 2). 用線性系統(tǒng)辨識(shí)法估計(jì)出參數(shù)矢量用線性系統(tǒng)辨識(shí)法估計(jì)出參數(shù)矢量(k)，從而構(gòu)成一步，從而構(gòu)成一步預(yù)告模型式；預(yù)告模型式； 3). 采樣得到采樣得到r(k)和和y(k)，計(jì)算，計(jì)算e(k)=z(k)=r(k)-y(k)； 4). 對(duì)對(duì)r(i),y(i),u(i-1),e(i)進(jìn)展歸一化處置，作為進(jìn)展歸一化處置，作為NN的輸入；的輸入； 5). 前向計(jì)算前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出層的輸出即為輸出即為PID控制器的三個(gè)可調(diào)參數(shù)控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)； 6). 計(jì)算計(jì)算PI

32、D控制器的控制輸出控制器的控制輸出u(k)，參與控制和計(jì)算；，參與控制和計(jì)算； 7).計(jì)算計(jì)算 和和 ； 8). 計(jì)算修正輸出層的權(quán)系數(shù)計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)； 9). 計(jì)算修正隱含層的權(quán)系數(shù)計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)； 10). 置置k=k+1，前往到，前往到“2。 ) 1( ky)(/ ) 1(kuky2采用非線性預(yù)測(cè)模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下： 1). 事先選定BP神經(jīng)網(wǎng)絡(luò)NN的構(gòu)造，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率和平滑因子，k=1

33、； 2). 采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)； 3). 對(duì)r(i),y(i),u(i-1),e(i)進(jìn)展歸一化處置，作為NN的輸入； 4). 前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)； 5). 計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算； 6).前向計(jì)算NNM的各層神經(jīng)元的輸入和輸出，NNM的輸出為 ，計(jì)算修正隱含層和輸出層的權(quán)系數(shù)； 7).計(jì)算 ； 8). 計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)； 9). 計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)； 10). 置k=k

34、+1，前往到“2。) 1( ky)(/ ) 1(kuky單神經(jīng)元自順應(yīng)控制系統(tǒng)構(gòu)造學(xué)習(xí)算法)2()1(2)()()1()()()()()()1()()()()()1()()()()()1()()(/)()()()1()(23213332221113131kekekekexkekexkexkxkukzkwkwkxkukzkwkwkxkukzkwkwkwkwwkxkwKkukuDPIiiiiiii式中，系統(tǒng)對(duì)象：仿真例如)2(632. 0) 1(1 . 0)2(26. 0) 1(368. 0)(kukukykyky系統(tǒng)輸入：)4sgn(sin(5 .0)(tkrinMATLAB程序%Single

35、Neural Adaptive Controllerclear all;close all;x=0,0,0;xiteP=0.40;xiteI=0.35;xiteD=0.40;%Initilizing kp,ki and kdwkp_1=0.10; wki_1=0.10; wkd_1=0.10; %wkp_1=rand; %wki_1=rand; %wkd_1=rand;error_1=0; error_2=0; y_1=0;y_2=0;y_3=0;u_1=0;u_2=0;u_3=0;ts=0.001;for k=1:1:1000 time(k)=k*ts; rin(k)=0.5*sign(si

36、n(2*2*pi*k*ts); yout(k)=0.368*y_1+0.26*y_2+0.1*u_1+0.632*u_2; error(k)=rin(k)-yout(k);%Adjusting Weight Value by hebb learning algorithmM=4;if M=1 %No Supervised Heb learning algorithm wkp(k)=wkp_1+xiteP*u_1*x(1); %P wki(k)=wki_1+xiteI*u_1*x(2); %I wkd(k)=wkd_1+xiteD*u_1*x(3); %D K=0.06; elseif M=2

37、%Supervised Delta learning algorithm wkp(k)=wkp_1+xiteP*error(k)*u_1; %P wki(k)=wki_1+xiteI*error(k)*u_1; %I wkd(k)=wkd_1+xiteD*error(k)*u_1; %DK=0.12; elseif M=3 %Supervised Heb learning algorithm wkp(k)=wkp_1+xiteP*error(k)*u_1*x(1); %P wki(k)=wki_1+xiteI*error(k)*u_1*x(2); %I wkd(k)=wkd_1+xiteD*e

38、rror(k)*u_1*x(3); %D K=0.12; elseif M=4 %Improved Heb learning algorithm wkp(k)=wkp_1+xiteP*error(k)*u_1*(2*error(k)-error_1); wki(k)=wki_1+xiteI*error(k)*u_1*(2*error(k)-error_1); wkd(k)=wkd_1+xiteD*error(k)*u_1*(2*error(k)-error_1); K=0.12; endx(1)=error(k)-error_1; %P x(2)=error(k); %I x(3)=error

39、(k)-2*error_1+error_2; %D wadd(k)=abs(wkp(k)+abs(wki(k)+abs(wkd(k); w11(k)=wkp(k)/wadd(k); w22(k)=wki(k)/wadd(k); w33(k)=wkd(k)/wadd(k); w=w11(k),w22(k),w33(k);u(k)=u_1+K*w*x; %Control lawif u(k)10 u(k)=10; endif u(k)-10 u(k)=-10;enderror_2=error_1;error_1=error(k); u_3=u_2;u_2=u_1;u_1=u(k);y_3=y_2;y_2=y_1;y_1=yout(k); wkp_1=wkp(k);wkd_1=