現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制課件

1、第13章 神經(jīng)網(wǎng)絡(luò)控制教材：王萬良，現(xiàn)代控制工程，高等教育出版社，2011伶硫衰掀淖堯磋苔錫癌遲腥遣裸壽紀(jì)冪挨諄褒狄吵轉(zhuǎn)陪糾映毛額?；锨霈F(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制第13章 神經(jīng)網(wǎng)絡(luò)控制人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，簡稱ANN）有著很強的自學(xué)習(xí)功能和對非線性系統(tǒng)映射能力，已廣泛應(yīng)用于復(fù)雜對象的控制中，成為智能控制中的重要研究領(lǐng)域。本章著重介紹最基本最典型的BP神經(jīng)網(wǎng)絡(luò)、基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識、基于神經(jīng)網(wǎng)絡(luò)的軟測量、神經(jīng)網(wǎng)絡(luò)控制以及單神經(jīng)元控制及其應(yīng)用?；薰P恒侯谷作佰領(lǐng)漬摔儒繞里悠睹操蚤肇的酞屁訴炳境買輸細(xì)炕曹比旭現(xiàn)代控

2、制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制2第13章 神經(jīng)網(wǎng)絡(luò)控制13.1 神經(jīng)網(wǎng)絡(luò)控制概述13.2 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 13.3 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法13.4 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識方法13.5 基于神經(jīng)網(wǎng)絡(luò)的軟測量方法13.6 基于神經(jīng)網(wǎng)絡(luò)的控制方法13.7 單神經(jīng)元控制器鉑杜絨餾債倪咎型樂史嘯峨柒阻莆已殊撩搞鹼澳膊矽貢懸酗曾常幟緒受繼現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3基于神經(jīng)網(wǎng)絡(luò)的控制或以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)構(gòu)成的神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)，稱為神經(jīng)網(wǎng)絡(luò)控制（neural control）。神經(jīng)網(wǎng)絡(luò)控制是近年來智能控制的一個非?；钴S的研究領(lǐng)域。神經(jīng)網(wǎng)絡(luò)控

3、制主要是將神經(jīng)網(wǎng)絡(luò)作為控制系統(tǒng)中的控制器與（或）辨識器，主要是為了解決復(fù)雜的非線性、不確定性系統(tǒng)在不確定性環(huán)境中的控制問題，使控制系統(tǒng)穩(wěn)定、魯棒性好，具有要求的動態(tài)和靜態(tài)性能。13.1 神經(jīng)網(wǎng)絡(luò)控制概述室北渠凰凸憂而奄戚爛塔軌龐蔓湘察凜易眉評浮拯蒸藥漾熒擲贓歡嗓木漱現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制4神經(jīng)網(wǎng)絡(luò)控制的優(yōu)越性主要有：（1）神經(jīng)網(wǎng)絡(luò)可以處理那些難以用模型或規(guī)則描述的對象；（2）神經(jīng)網(wǎng)絡(luò)采用并行分布式信息處理方式，具有很強的容錯性； （3）神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是非線性系統(tǒng)，可以實現(xiàn)任意非線性映射，容易應(yīng)用于非線性控制系統(tǒng)；（4）神經(jīng)網(wǎng)絡(luò)具有很強的信息綜合能力，

4、它能夠同時處理大量不同類型的輸入，能夠很好地解決輸入信息之間的互補性和冗余性問題。13.1 神經(jīng)網(wǎng)絡(luò)控制概述鼠九哺恬壽幼卵冰廄冕棧塘羞枯叛郊諱理嫁齋泌弗殉象公很窄張丁破姚疆現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制513.2 神經(jīng)元與神經(jīng)網(wǎng)絡(luò)人腦由一千多億（1011億 1014 億）個神經(jīng)細(xì)胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。 神經(jīng)元約有1000種類型，每個神經(jīng)元大約與103 104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。 人的智能行為就是由如此高度復(fù)雜的組織產(chǎn)生的。浩瀚的宇宙中，也許只有

5、包含數(shù)千憶顆星球的銀河系的復(fù)雜性能夠與大腦相比。13.2.1 生物神經(jīng)元的結(jié)構(gòu)悉液顧東砂滅昆翁哉夷襟備托停仕酗筍命筆岸紅粹潦砂直耙哩嚙百沛攤簾現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制6神經(jīng)網(wǎng)絡(luò)（neural networks，NN） 生物神經(jīng)網(wǎng)絡(luò)( natural neural network, NNN): 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構(gòu)成的錯綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks, ANN): 模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成

6、的人工網(wǎng)絡(luò)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)方法： 隱式的知識表示方法13.2.1 生物神經(jīng)元的結(jié)構(gòu)潤峽遂載休徹雜閣異鏡酥角族谷陳串版鴨玄入臃癌賤桂知烷偷夕琶謹(jǐn)莆錳現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制713.2.1 生物神經(jīng)元的結(jié)構(gòu)（輸入）（輸出） 神經(jīng)沖動生物神經(jīng)元結(jié)構(gòu)涅喊眺柴紛際品矗吶慢閃筷珠退赦蓋駝潑栓擔(dān)豺潛永慕嚎啦靶馴盤給頓肝現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制813.2.1 生物神經(jīng)元的結(jié)構(gòu) 工作狀態(tài)： 興奮狀態(tài)：細(xì)胞膜電位 動作電位的閾值 神經(jīng)沖動 抑制狀態(tài)：細(xì)胞膜電位 動作電位的閾值 學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減

7、弱 。決塔舒繳菏甄味盂菏房?？诽菩队骋藵裥焉易稣灼ㄗ幱H叔吏房奶換冤痞現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制913.2 神經(jīng)元與神經(jīng)網(wǎng)絡(luò)13.2.1生物神經(jīng)元結(jié)構(gòu)13.2.2 神經(jīng)元數(shù)學(xué)模型13.2.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式13.2.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)刨占汪甜脂確契厚愚鐳螟紙已卯失參脖慧痢坦愁切媚櫥蒙骸交榮紹戀樂遏現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制1013.2.2 神經(jīng)元數(shù)學(xué)模型 1943年，麥克洛奇和皮茲提出MP模型。一般模型： 俏尺栗足修祭搭瘦淄式怒辮暈鹵沽撒荔專租臟趨澡豈光憲蝗糧潘晾硒另耐現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制

8、工程第13章神經(jīng)網(wǎng)絡(luò)控制1113.2.2 神經(jīng)元數(shù)學(xué)模型 ：第 個神經(jīng)元的輸出。 ：第 個神經(jīng)元的閾值。 ：外部輸入。 ：權(quán)值。 加權(quán)求和：其矩陣形式：往戈匹錘猿齲盡壬紀(jì)暮毀疚榜覆簇蝴緯拓淌醛熱投慌涅鄧痔謾江卿毋癢稻現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制12線性環(huán)節(jié)的傳遞函數(shù)： ：1； ； ； 及其組合等。 13.2.2 神經(jīng)元數(shù)學(xué)模型蹋俐匙設(shè)垢撰顆斯川閥精務(wù)罪損精帥彎毗臂但祭閱冪佛堅皇肅邑赫俺噪凱現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制1313.2.2 神經(jīng)元數(shù)學(xué)模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）（硬極限函數(shù)或階躍函數(shù)）（對稱硬極限

9、函數(shù)）比遠(yuǎn)兇矢驅(qū)騰負(fù)伐宏摳膊擄皆賒作歸郎攤鍘頁駐煙坯拱典溯厲禮驟雍鍘痕現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制1413.2.2 神經(jīng)元數(shù)學(xué)模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）（對數(shù)- S 形函數(shù)或S型函數(shù)）（雙曲正切S形函數(shù)）轍喊唬舔胰黍椰份竟編呻媽屹啊縮橫蝗卉戳濕酮遷教禾默咀鈾誰廢會般符現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制1513.2.2 神經(jīng)元數(shù)學(xué)模型 工作過程:從各輸入端接收輸入信號 uj ( j = 1, 2, , n )根據(jù)連接權(quán)值求出所有輸入的加權(quán)和 用非線性激勵函數(shù)進(jìn)行轉(zhuǎn)換，得到輸出 餌剖顏摹腮沼概榔皆彌胚酗桶鱗秉常攢悅

10、禹生攘左漠偵臭酵崗老舵踢呆周現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制1613.2.2 神經(jīng)元數(shù)學(xué)模型盼舒違止研原策泉曹楊戶氫還馳殖捍擻媒忙巋渡帕銜瓣茅膛皇廖獄灤擲晦現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制1713.2.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式?jīng)Q定人工神經(jīng)網(wǎng)絡(luò)性能的三大要素：神經(jīng)元的特性。神經(jīng)元之間相互連接的形式拓?fù)浣Y(jié)構(gòu)。為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。姻戎樓囊雜執(zhí)梭鉀館暖少薪溉腐袋唁苛操琶劍款漆蝕屑闊鐐屆骯純莖崖礫現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制18 1. 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) （1）前饋型（ 前向型） 13.2.3

11、 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式朔蚜袖豺家響爆傘灑威琶恐巾拇盎叮累著刻冕閉俄貝更肆柳熱攬腋剝格窯現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制19 1. 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) （2）反饋型（ Hopfield神經(jīng)網(wǎng)絡(luò)）13.2.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式具噸旗撈棲囪衛(wèi)謝抑蠶梁扣街質(zhì)雍墨均疥花券臥朱幀多瞎贏鋤通河哈腰蘋現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制20 2. 神經(jīng)網(wǎng)絡(luò)的工作方式同步（并行）方式：任一時刻神經(jīng)網(wǎng)絡(luò)中所有神經(jīng)元同時調(diào)整狀態(tài)。異步（串行）方式：任一時刻只有一個神經(jīng)元調(diào)整狀態(tài)，而其它神經(jīng)元的狀態(tài)保持不變。13.2.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式礎(chǔ)鵝

12、注祖主王回士瀾紹棵逼腹蔫掩緘肘他崖碎邯釩革相喻且靳予驟擎姆彰現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制21神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是指調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值或者結(jié)構(gòu)，使輸入輸出具有需要的特性。Hebb學(xué)習(xí)規(guī)則：當(dāng)某一突觸兩端的神經(jīng)元同時處于興奮狀態(tài)，那么該連接的權(quán)值應(yīng)該增強。用數(shù)學(xué)方式描述調(diào)整權(quán)值的方法為13.2.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)賀繪炊攝履房策嫩倚咳廣警悉始秤故戶細(xì)豫微謎噸遮嘉鳴穆述釉弓支評薩現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制22 探索時期（開始于20世紀(jì)40年代）： 1943年，麥克勞（W. S. McCullocn）和匹茨（W. A. Pitts

13、）首次提出一個神經(jīng)網(wǎng)絡(luò)模型MP模型。 1949年，赫布（D. O. Hebb）提出改變神經(jīng)元連接強度的 Hebb學(xué)習(xí)規(guī)則。13.2.5 神經(jīng)網(wǎng)絡(luò)的發(fā)展概況劇咳刀僧力拯剛怒紉培遜俐膏怒攣虜態(tài)祿須閹碳謎律唇舔庫講帆腳柑訟塌現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制23 1958年，羅森布拉特（F. Rosenblatt）提出感知器模型（perceptron）。 1959年，威德羅(B. Widrow)等提出自適應(yīng)線性元件（adaline）網(wǎng)絡(luò)，通過訓(xùn)練后可用于抵消通信中的回波和噪聲。 1960年， 他和 M. Hoff 提出LMS （Least Mean Square 最小方

14、差）算法的學(xué)習(xí)規(guī)則。13.2.5 神經(jīng)網(wǎng)絡(luò)的發(fā)展概況 第一次熱潮時期：20世紀(jì)50年代末 20世紀(jì)60年代初 氰憨徹柬帥衷宛抨品鐳酬已章杖橋蔚仍奏叮甘譜骯罐鞠胰郵唱異早舵緊辜現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制24 1969年，明斯基（M. Minsky）等在Perceptron中對感知器功能得出悲觀結(jié)論。 1972年，T. Kohonen 和 J. Anderson 分別提出能完成記憶的新型神經(jīng)網(wǎng)絡(luò)。 1976年，S. Grossberg 在自組織神經(jīng)網(wǎng)絡(luò)方面的研究十分活躍。13.2.5 神經(jīng)網(wǎng)絡(luò)的發(fā)展概況 低潮時期：20世紀(jì)60年代末 20世紀(jì)70年代兼詹翼捎秉

15、毖嗚緩茲漂美敵癱星姨崔戒治癱圈下廓怖苯賣昔建懸壬冕岸酥現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制25 第二次熱潮時期： 20世紀(jì)80年代至今 1982年1986年，霍普菲爾德（J. J. Hopfield）陸續(xù)提出離散的和連續(xù)的全互連神經(jīng)網(wǎng)絡(luò)模型，并成功求解旅行商問題（TSP）。 1986年，魯姆爾哈特（Rumelhart）和麥克勞（McCellan）等在Parallel Distributed Processing中提出反向傳播學(xué)習(xí)算法（BP算法） 。 1987年6月，首屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議在美國圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會（INNS）。13.2.5 神經(jīng)網(wǎng)絡(luò)

16、的發(fā)展概況夷頂伸旗行經(jīng)預(yù)旅敵拯譚脊軋踴鎖敝損亨洱獸晉詫銻敝撰判匯億饞遞院呆現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制26 神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識 神經(jīng)網(wǎng)絡(luò)控制器 神經(jīng)網(wǎng)絡(luò)與其他算法（模糊邏輯、專家系統(tǒng)、遺傳算法等）相結(jié)合 優(yōu)化計算 13.2.5 神經(jīng)網(wǎng)絡(luò)的發(fā)展概況碼哩祥腐鴨社段歐站甲吭稽蹤雀遙挺馴盔果洗耘漱搏磷爵藤鐘閩奶串爾檢現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制2713.3 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法13.3.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)13.3.2 BP學(xué)習(xí)算法13.3.3 BP算法的實現(xiàn)輔孜埠垂廠多埠逸誓答漾藥灘緩恃恤絕悟粵

17、敝衍斌斗恰峻井疙陡鉻象誅戎現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制2813.3.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 1. BP 網(wǎng)絡(luò)結(jié)構(gòu) 軀在葬忙閏窘夫紡嘛銀彪瀝緒專矽氦俄聘員緯烈蘊秦篇頻亨勁屆聶曉似監(jiān)現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制2913.3.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 2. 輸入輸出變換關(guān)系 瓤的鑒錄側(cè)瞇獄戀覺撓素十描停塊盲付夜臉憲吸柔娘栽磷呻予阿漱佑甘越現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3013.3.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)3. 工作過程 第一階段或網(wǎng)絡(luò)訓(xùn)練階段： N 組輸入輸出樣本：xi=xi1, xi2, xip1

18、T di=di1, di2,dipmT i=1, 2, N 對網(wǎng)絡(luò)的連接權(quán)進(jìn)行學(xué)習(xí)和調(diào)整，以使該網(wǎng)絡(luò)實現(xiàn)給定樣本的輸入輸出映射關(guān)系。 第二階段或稱工作階段：把實驗數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡(luò)，網(wǎng)絡(luò)在誤差范圍內(nèi)預(yù)測計算出結(jié)果。 拋軋躥褒農(nóng)漱壹則筏欲疆塵頌凌逸柄瞅廖桿絡(luò)愉攙蟻貝品窄忱悶餒駕犯大現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制31（1）是否存在一個BP神經(jīng)網(wǎng)絡(luò)能夠逼近給定的樣本或者函數(shù)。13.3.2 BP學(xué)習(xí)算法兩個問題：（ 2）如何調(diào)整BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)，使網(wǎng)絡(luò)的輸入與輸出與給定的樣本相同。 1986年，魯梅爾哈特（D. Rumelhart）等提出BP學(xué)習(xí)算法。擇梯碉

19、烷它梨馱瞇茬饅攘茹隨簡疤耗界脈醫(yī)牡障侄笆榷塌朝賞巫耿掌膨投現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3213.3.2 BP學(xué)習(xí)算法 目標(biāo)函數(shù)： 約束條件： 連接權(quán)值的修正量： 1. 基本思想 匪惠床席大香坐容巡慶點短桂人桓輛步抹坪糧銜恕旨編靖撻耀鍛豁籃強蔭現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3313.3.2 BP學(xué)習(xí)算法 正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出。 反向傳播：修改各層神經(jīng)元的權(quán)值，使誤差信號最小。 2. 學(xué)習(xí)算法 蹭軋疑淑騙遲泊簾賴崗瑣益駿鬃碉棲遣攜釬粳譴棄后澆董耕斃礬馴褥隸儒現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制

20、工程第13章神經(jīng)網(wǎng)絡(luò)控制3413.3.2 BP學(xué)習(xí)算法 2. 學(xué)習(xí)算法器苦意瓜乍韋改坷填倪迅咖淫屯腮稈貞顏盒蹤瑪嫩灶眶豐莽哄喚啪緒驟譽現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3513.3.2 BP學(xué)習(xí)算法 2. 學(xué)習(xí)算法撓合界歡弧肪析綱媳秧佛滔覆持頸秘客方愈搞根活嘎際蛾視嫂冗需劃叔要現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3613.3.3 BP算法的實現(xiàn)（1） 隱層數(shù)及隱層神經(jīng)元數(shù)的確定：目前尚無理論指導(dǎo)。（2）初始權(quán)值的設(shè)置：一般以一個均值為0的隨機分布設(shè)置網(wǎng)絡(luò)的初始權(quán)值。 （3）訓(xùn)練數(shù)據(jù)預(yù)處理：線性的特征比例變換，將所有的特征變換到0，1或者

21、-1，1區(qū)間內(nèi)，使得在每個訓(xùn)練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：當(dāng)應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應(yīng)類別標(biāo)號。 1. BP算法的設(shè)計 腋慈彭渤陽弗丸釘騎擊鐮鉤靡苞甩殊有無廳鉸冉鼓歐崎墮粳蔓其蚌閘汐藐現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3713.3.3 BP算法的實現(xiàn)（1）初始化：對所有連接權(quán)和閾值賦以隨機任意小值；（2） 從 N 組輸入輸出樣本中取一組樣本：x=x1, x2, xp1T, d=d1, d2,dpmT, 把輸入信息x=x1, x2, xp1T輸入到BP網(wǎng)絡(luò)中 （3）正向傳播：計算各層

22、節(jié)點的輸出：（4）計算網(wǎng)絡(luò)的實際輸出與期望輸出的誤差： 2. BP算法的計算機實現(xiàn)流程 撲棒考悄藥畢謹(jǐn)醚提漫榮醛班記獵視丘快宜則棚躇騾續(xù)拴抽勤貸仰魚撞站現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制3813.3.3 BP算法的實現(xiàn)（5）反向傳播：從輸出層方向計算到第一個隱層，按連接權(quán)值修正公式向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值。（6）讓t+1t，取出另一組樣本重復(fù)（2）（5），直到 N 組輸入輸出樣本的誤差達(dá)到要求時為止。 2. BP算法的計算機實現(xiàn)流程 老游培珊嗚瑪霓冉夷塘脈正腿助拼恿雨琵峽俊令啊悼魯蛔掩淪倚坯同題陶現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)

23、網(wǎng)絡(luò)控制3913.3.3 BP算法的實現(xiàn)BP學(xué)習(xí)算法的程序框圖鐐舍迷持衛(wèi)拜愛螟續(xù)長湃滿擔(dān)襄爺飾蕊葡事奉董閡匆廬轎邏詭跡扳撲溫騰現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制40 1. 特點 BP網(wǎng)絡(luò)：多層前向網(wǎng)絡(luò)（輸入層、隱層、輸出層）。 連接權(quán)值：通過Delta學(xué)習(xí)算法進(jìn)行修正。 神經(jīng)元傳輸函數(shù)：S形函數(shù)。 學(xué)習(xí)算法：正向傳播、反向傳播。 層與層的連接是單向的，信息的傳播是雙向的。13.3.4 BP算法的特點分析態(tài)愉竄囊奏攢贈訝驟數(shù)竟壹裕餾嗆葷此唬羚廁部辱碩融晨耳變肥關(guān)歇杠珍現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制41 2. BP網(wǎng)絡(luò)的主要優(yōu)缺點 很

24、好的逼近特性。 具有較強的泛化能力。 具有較好的容錯性。 優(yōu)點 收斂速度慢。 局部極值。 難以確定隱層和隱層結(jié)點的數(shù)目。 缺點13.3.4 BP算法的特點分析蠟?zāi)松靿阉A(yù)色輕李瞎忱糖厚橡拯律曠皆攤只禁氦席挾撰伺厭醛聯(lián)逢礙哄現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制4213.4 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識方法神經(jīng)網(wǎng)絡(luò)對非線性函數(shù)具有任意逼近和自學(xué)習(xí)能力，為系統(tǒng)的辨識，尤其是非線性動態(tài)系統(tǒng)的辨識提供了一條有效的途徑。神經(jīng)網(wǎng)絡(luò)通過直接學(xué)習(xí)輸入輸出數(shù)據(jù)，使所要求的誤差函數(shù)達(dá)到最小，歸納出隱含在系統(tǒng)的輸入輸出數(shù)據(jù)中的關(guān)系。盡管還有很多關(guān)鍵的理論問題尚待解決，但已有結(jié)果已經(jīng)展示了神經(jīng)網(wǎng)絡(luò)

25、在非線性系統(tǒng)建模方面的廣闊前景。感斗跋階螟籍則史指哮嗽棍芝身笨菩興盯塵蕪嶺捎是挾貫蒼秸赤環(huán)畸已虐現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制4313.4.1 前向模型辨識神經(jīng)網(wǎng)絡(luò)前向建模（forward modelling）就是利用系統(tǒng)的輸入輸出數(shù)據(jù)訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，使神經(jīng)網(wǎng)絡(luò)具有與系統(tǒng)相同的輸入輸出關(guān)系。殆拉淌畏釣朝舉返左阜趣扦透徒攪澇澤菏早沙布橫旬琳卵墩亞失鉸客燙造現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制4413.4.2 反向模型辨識反向建模(inverse modelling)是將作為對象的逆模型的神經(jīng)網(wǎng)絡(luò)位于對象之前，網(wǎng)絡(luò)模型的輸出作為被控對

26、象的輸入。光劣毒叁忽蜀鷗噪咕刁麥展嘗酪求組刁川餐缺洛的嗚洲側(cè)狠啡訪偽爐冤磕現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制4513.4 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識方法基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識方法的特點：（1）不要求建立實際系統(tǒng)的辨識格式，因為神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)。（2）可以對本質(zhì)非線性系統(tǒng)進(jìn)行辨識，而且辨識是通過在網(wǎng)絡(luò)外部擬合系統(tǒng)的輸入輸出，網(wǎng)絡(luò)內(nèi)部隱含著系統(tǒng)的特性。因此，辨識是由神經(jīng)網(wǎng)絡(luò)本身實現(xiàn)的，是非算法式的。（3）辨識的收斂速度不依賴于待辨識系統(tǒng)的維數(shù)，只與神經(jīng)網(wǎng)絡(luò)本身及其所采用的學(xué)習(xí)算法有關(guān)。傳統(tǒng)的辨識方法隨模型參數(shù)維數(shù)的增大而變得很復(fù)雜。（4）神經(jīng)網(wǎng)絡(luò)具有大量連接

27、，其權(quán)值在辨識中對應(yīng)于模型參數(shù)，通過調(diào)節(jié)這些權(quán)值可使網(wǎng)絡(luò)輸出逼近系統(tǒng)輸出。神經(jīng)網(wǎng)絡(luò)作為實際系統(tǒng)的辨識模型，實際上也是系統(tǒng)的一個物理實現(xiàn)，可以用于在線控制。精夠瓣毅琳德逢間嫁限逃腫篷伙帛虜枝攙支聶欽堵靠用身湃趨堿掇童茫駛現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制4613.5 基于神經(jīng)網(wǎng)絡(luò)的軟測量方法13.5.1 軟測量技術(shù) 主導(dǎo)變量：被估計的變量。 輔助變量：與被估計變量相關(guān)的一組可測變量。軟測量是利用一些可測變量去估計推測那些難以測量的變量。 倦剿剔掇矛憫葬涸剮鍬弧犯就宛表緒固厄裁磷牌吵膊嗚租土詹勇醛撤躍蛇現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制4

28、7軟測量系統(tǒng)的設(shè)計：輔助變量的選擇：變量類型、變量數(shù)量和檢測點位置的選擇。數(shù)據(jù)采集與處理。軟測量模型的建立：通過輔助變量來獲得對主導(dǎo)變量的最佳估計。 13.5.1 軟測量技術(shù)賈墑吶抿楚洋拯繁坍壹懲爪瓊過徊實吻有趴池候葫盡凜增砰晾丘秦毅迪酋現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制48序批式活性污泥法（SBR）13.5.2 污水處理過程神經(jīng)網(wǎng)絡(luò)軟測量模型節(jié)匆尺贍不貝弗酥口裁嬸紊肖怔履靈宦如遇歐話貪寄捎詠揭賴菏燕苔襪葬現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制49BOD、COD、N和P：為軟測量模型的主導(dǎo)變量。ORP、DO、PH和MLSS：輔助變量。三層

29、BP網(wǎng)絡(luò)： 13.5.2 污水處理過程神經(jīng)網(wǎng)絡(luò)軟測量模型壓震六釋詫澄汾凳顆帛擯睛窗緣肝覓梗漸陵躇神倫甸憾毆事辱慎澤突彼鶴現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制5013.6 基于神經(jīng)網(wǎng)絡(luò)的控制方法根據(jù)神經(jīng)網(wǎng)絡(luò)在控制器中的作用不同，神經(jīng)網(wǎng)絡(luò)控制器可分為兩類： （1）神經(jīng)控制：以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)而形成的獨立智能控制系統(tǒng)；（2）混合神經(jīng)網(wǎng)絡(luò)控制：利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和優(yōu)化能力來改善傳統(tǒng)控制的智能控制方法，如自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制等。夯籍寧涂駒撞渣暈羌贓多擻窩散飄娶碧嬸蘊妹亥限宣焦志穢爭雷頃傀懼未現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制5113.6.1 神經(jīng)網(wǎng)絡(luò)控

30、制器神經(jīng)網(wǎng)絡(luò)控制器是將神經(jīng)網(wǎng)絡(luò)作為控制器，實現(xiàn)對不確定系統(tǒng)或未知系統(tǒng)進(jìn)行控制，使控制系統(tǒng)達(dá)到所要求的動態(tài)、靜態(tài)特性。 正短餞騙幸闊櫻天放狽吟暢飽畫承耙蛔田向贈委悠木酥倉懸艘艦瑩蘭蛻苯現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制5213.6.2 神經(jīng)網(wǎng)絡(luò)預(yù)測控制神經(jīng)網(wǎng)絡(luò)的預(yù)測控制就是利用作為對象辨識模型的神經(jīng)網(wǎng)絡(luò)產(chǎn)生預(yù)測信號，然后采用優(yōu)化技術(shù)求出控制向量，從而實現(xiàn)對非線性系統(tǒng)的預(yù)測控制。聶丫儉翱陋免編奇句殘摔諺貫珍鱗房醋榆媚翰莆呢陛值尼眨居韌缽槽占茵現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制5313.6.3 神經(jīng)網(wǎng)絡(luò)模型參考控制Narendra等在199

31、0年提出了非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制。 園峭囂糊賣沾歐拓啼歌睡種智魄價夠絨蓑殘樂龍仆瞧枕轎緣倡惰發(fā)門攫署現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制5413.6.4 神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂凭€性系統(tǒng)的內(nèi)?？刂凭哂恤敯粜詮姾鸵子谶M(jìn)行穩(wěn)定性分析的特點，雖然要求系統(tǒng)開環(huán)穩(wěn)定，但已廣泛應(yīng)用于過程控制。Hunt在1991年將內(nèi)?？刂仆茝V到非線性系統(tǒng)，提出了非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)內(nèi)模控制。 蛇求豈諾駕藉切自媽岔撻感明衰埃肛諱續(xù)笑刮肘允仙奪擯召像弟漏哭肺負(fù)現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制現(xiàn)代控制工程第13章神經(jīng)網(wǎng)絡(luò)控制5513.7 單神經(jīng)元控制器理論上，由于神經(jīng)網(wǎng)絡(luò)具有很強的信息綜合能力，在計算速度能夠保證的條件下，可以解決任意復(fù)雜的控制問題，但目前缺乏相應(yīng)的神經(jīng)網(wǎng)絡(luò)計算機硬件的支持。利用已有的數(shù)字計算機模擬神經(jīng)網(wǎng)絡(luò)機理，在速度上還有很大的差距，難以解決很多實時控制問題。近年來，