人工神經(jīng)元網(wǎng)絡(luò)控制論課件

人工神經(jīng)元網(wǎng)絡(luò)控制論1編輯版ppt本章主要內(nèi)容

人工神經(jīng)元網(wǎng)絡(luò)概述

神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)

前向神經(jīng)網(wǎng)絡(luò)模型

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制

神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)2編輯版ppt一、人工神經(jīng)元網(wǎng)絡(luò)概述

模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。

但是，模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人腦的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機(jī)理來實(shí)現(xiàn)機(jī)器的部分智能行為。

人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。3編輯版ppt1.神經(jīng)網(wǎng)絡(luò)發(fā)展歷史

神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個(gè)階段。(1)啟蒙期（1890-1969年）1890年，W.James發(fā)表專著《心理學(xué)》，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細(xì)胞動(dòng)作的數(shù)學(xué)模型，即M-P模型（第一個(gè)神經(jīng)網(wǎng)絡(luò)模型）。1949年，心理學(xué)家Hebb實(shí)現(xiàn)了對(duì)腦細(xì)胞之間相互影響的數(shù)學(xué)描述，從心理學(xué)的角度提出了Hebb學(xué)習(xí)法則。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數(shù)學(xué)模型，即著名的感知機(jī)模型（Perceptron）。4編輯版ppt1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即δ學(xué)習(xí)規(guī)則），并用電路進(jìn)行了硬件設(shè)計(jì)。(2)低潮期（1969-1982）受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮·諾依曼式計(jì)算機(jī)發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。

在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。1969年，S.Groisberg和A.Carpentet提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對(duì)任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。5編輯版ppt(3)復(fù)興期（1982-1986）1982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型通過引入能量函數(shù)，實(shí)現(xiàn)了問題優(yōu)化求解。1984年，Hoppield用Hoppield神經(jīng)網(wǎng)絡(luò)模型成功地解決了旅行商路徑優(yōu)化問題(TSP)。1986年，Rumelhart和McCelland等出版《ParallelDistributedProcessing》一書中提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)，迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)。(4)新連接機(jī)制時(shí)期（1986-現(xiàn)在）神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。應(yīng)用領(lǐng)域有：模式識(shí)別與圖象處理（語音、指紋、故障檢測(cè)和圖象壓縮等）、通信等。6編輯版ppt2.神經(jīng)網(wǎng)絡(luò)基本原理

神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。為了能利用數(shù)學(xué)模型來模擬人腦的活動(dòng)，完成學(xué)習(xí)等智能活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。

神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。7編輯版ppt軸突功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳給多個(gè)神經(jīng)元。

樹突的功能是接受來自其它神經(jīng)元的興奮。

神經(jīng)元細(xì)胞體將接收到的所有信號(hào)進(jìn)行簡(jiǎn)單地處理后，由軸突輸出。神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。8編輯版ppt9編輯版ppt所以，決定神經(jīng)網(wǎng)絡(luò)模型性能三大要素為：10編輯版ppt3.神經(jīng)網(wǎng)絡(luò)的分類目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，可分為三種形式：(1)前向網(wǎng)絡(luò)神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。

11編輯版ppt(2)反饋網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，還可以解決尋優(yōu)問題。12編輯版ppt(3)自組織網(wǎng)絡(luò)Kohonen網(wǎng)絡(luò)是最典型的自組織網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，網(wǎng)絡(luò)的不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓?fù)湟饬x上的非線性映射。這種映射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱為自組織特征圖。13編輯版ppt二、神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)1.神經(jīng)元模型14編輯版ppt通常情況下，取即15編輯版pptai1ai2ainbi1bi2bimwiy1y2ynu1ukum1vixiyi●神經(jīng)元網(wǎng)絡(luò)的一般模型框架1）加法器2）線性動(dòng)態(tài)系統(tǒng)（SISO）3）靜態(tài)非線性系統(tǒng)︰︰16編輯版ppt通常情況下，可以假設(shè)常用的神經(jīng)元非線性特征有以下四種：1）閾值型函數(shù)2）分段線性型函數(shù)17編輯版ppt3）Sigmoid函數(shù)型4）Tan函數(shù)型函數(shù)18編輯版ppt

學(xué)習(xí)是針對(duì)一組給定輸入使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望輸出的過程?？偟膩碚f，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法分為兩大類，有導(dǎo)師指導(dǎo)學(xué)習(xí)和無導(dǎo)師指導(dǎo)學(xué)習(xí)，分別如下圖：2.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法距離計(jì)算神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式

無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式19編輯版ppt有導(dǎo)師學(xué)習(xí)——在訓(xùn)練過程中，紿終存在一個(gè)期望的網(wǎng)絡(luò)輸出。期望輸出和實(shí)際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。無導(dǎo)師學(xué)習(xí)——網(wǎng)絡(luò)不存在一個(gè)期望的輸出值，因而沒有直接的誤差信息，因此，為實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訓(xùn)練，需建立一個(gè)間接的評(píng)價(jià)函數(shù)，以對(duì)網(wǎng)絡(luò)的某種行為趨向作出評(píng)價(jià)。20編輯版ppt

學(xué)習(xí)規(guī)則根據(jù)連接權(quán)系數(shù)的改變方式不同又可以分為以下三類：

（1）相關(guān)學(xué)習(xí)僅僅根據(jù)連接間的激活水平改變權(quán)系數(shù)。它常用于自聯(lián)想網(wǎng)絡(luò)，執(zhí)行特殊記憶狀態(tài)的死記式學(xué)習(xí)。最常見的學(xué)習(xí)算法是Hebb規(guī)則。簡(jiǎn)化后，函數(shù)g和h與其第一個(gè)自變量成正比，則有：有導(dǎo)師：21編輯版ppt（2）糾錯(cuò)學(xué)習(xí)依賴關(guān)于輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)，它常用于感知器網(wǎng)絡(luò)、多層前向傳播網(wǎng)絡(luò)和Boltzman機(jī)網(wǎng)絡(luò)。其學(xué)習(xí)方法是梯度下降法。最常見的學(xué)習(xí)方法有規(guī)則、模擬退火學(xué)習(xí)規(guī)則。感知器學(xué)習(xí)規(guī)則：delta學(xué)習(xí)規(guī)則：22編輯版ppt（3）無導(dǎo)師學(xué)習(xí)學(xué)習(xí)表現(xiàn)為自動(dòng)實(shí)現(xiàn)輸入空間的檢測(cè)和分類，關(guān)鍵不在于實(shí)際節(jié)點(diǎn)的輸出怎樣與外部期望輸出相一致，而在于調(diào)整參數(shù)以反映所觀察事件的分布。無導(dǎo)師指導(dǎo)下的學(xué)習(xí)有時(shí)又稱為自組織訓(xùn)練，輸入樣本就可以進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。在整個(gè)訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)權(quán)系數(shù)調(diào)整的目的是保證此網(wǎng)絡(luò)能夠?qū)⑾囝愃频妮斎霕颖居成涞较嘟频妮敵鰡卧?。?shí)質(zhì)是從輸入樣本集中抽取其統(tǒng)計(jì)特性。（聚類分析）23編輯版ppt神經(jīng)網(wǎng)絡(luò)理論研究中困擾人們的問題：

神經(jīng)網(wǎng)絡(luò)能否實(shí)現(xiàn)期望的表示？滿足期望輸入輸出映射的網(wǎng)絡(luò)權(quán)陣是否存在？學(xué)習(xí)算法能否保證權(quán)值收斂于真值？權(quán)值能否通過網(wǎng)絡(luò)訓(xùn)練達(dá)到最佳值？神經(jīng)網(wǎng)絡(luò)的泛化能力是否充分？訓(xùn)練樣本集是否合理？能否充分描述系統(tǒng)的輸入輸出特性？

24編輯版ppt25編輯版ppt3.神經(jīng)網(wǎng)絡(luò)的泛化能力

人們希望人工神經(jīng)網(wǎng)絡(luò)能容許某些變化，即與樣本輸入矢量存在差異時(shí)，其神經(jīng)網(wǎng)絡(luò)的輸出同樣能夠準(zhǔn)確地呈現(xiàn)出應(yīng)有的輸出。這種能力就稱這神經(jīng)網(wǎng)絡(luò)的泛化能力。

泛化或插值都需要一定數(shù)量的樣本訓(xùn)練集。很顯然，如果僅僅只有少數(shù)樣本點(diǎn)，那么點(diǎn)之間的曲線形狀的不確定性將是相當(dāng)嚴(yán)重的。

用有限的樣本數(shù)據(jù)集很難正確的確定其他點(diǎn)的輸出情況，目前沒有很好的解決辦法。26編輯版ppt三、前向神經(jīng)網(wǎng)絡(luò)模型前向神經(jīng)網(wǎng)絡(luò)——由一層或多層非線性處理單元組成的。相鄰層之間通過突觸權(quán)陣連接起來。由于前一層的輸出作為下一層的輸入，因此稱此類網(wǎng)絡(luò)結(jié)構(gòu)為前向神經(jīng)網(wǎng)絡(luò)。

基本概念

前向神經(jīng)網(wǎng)絡(luò)可以看成一種一組輸入模式到一組輸出模式的系統(tǒng)變換。這種變換通過對(duì)某一給定的輸入樣本相應(yīng)的輸出數(shù)據(jù)集的訓(xùn)練而得到。在前向網(wǎng)絡(luò)結(jié)構(gòu)中輸入輸出之間包含著一層或多層隱含層。27編輯版ppt單一人工神經(jīng)元的激勵(lì)輸出是由一組連續(xù)輸入信號(hào)決定的。這些輸入信號(hào)代表著從另外神經(jīng)元傳遞過來的神經(jīng)脈沖的瞬間激勵(lì)。設(shè)代表神經(jīng)元的連續(xù)輸出狀態(tài)值，在離散情況下，取0或1來表示神經(jīng)元的興奮或抑制。（1）單一人工神經(jīng)元（單元）2.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

單一神經(jīng)元的輸入項(xiàng)Net由輸入信號(hào)

的線性組合構(gòu)成，即

式中，為閾值；是決定第個(gè)輸入的突觸權(quán)系數(shù)。

式中，表示神經(jīng)元激勵(lì)函數(shù)。

如果輸出變量是一個(gè)二值元素，則在平衡點(diǎn)

表示興奮狀態(tài)，表示抑制狀態(tài)。30編輯版ppt二值輸出的神經(jīng)元：只含興奮和抑制兩種狀態(tài)的單一神經(jīng)元可以看作是一個(gè)分類器，即能對(duì)任意一組輸入信號(hào)進(jìn)行是否屬于的分類映射。連續(xù)輸出的單一神經(jīng)元：神經(jīng)元可以作為一個(gè)最簡(jiǎn)單的神經(jīng)控制器進(jìn)行參數(shù)自適應(yīng)控制，如傳統(tǒng)的PID調(diào)節(jié)器就可以用單一神經(jīng)元來實(shí)現(xiàn)。這樣，可以通過神經(jīng)元的連接權(quán)系數(shù)來達(dá)到PID參數(shù)的自適應(yīng)。31編輯版ppt

單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是由個(gè)輸入單元和個(gè)輸出單元組成的，見下圖。（2）單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)32編輯版ppt多層傳播結(jié)構(gòu)是在輸入層和輸出層之間嵌入一層或多層隱含層的網(wǎng)絡(luò)結(jié)構(gòu)。隱含單元既可以與輸入輸出單元相連，也可以與其它隱含單元相連。（3）多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)隱含層單元與輸入單元之間通過突觸權(quán)系數(shù)連接，并可用矩陣表示全部的連接關(guān)系，隱含單元與輸出單元通過突觸權(quán)系數(shù)表示，全部連接關(guān)系可用矩陣記之。33編輯版ppt34編輯版ppt35編輯版ppt36編輯版ppt其中一般取為與網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的非線性算子。神經(jīng)網(wǎng)絡(luò)可以通過合適樣本集，即外部給定的輸入輸出矢量對(duì)，來進(jìn)行訓(xùn)練，調(diào)整其權(quán)值矩陣。3、多層傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法

前向傳播網(wǎng)絡(luò)實(shí)質(zhì)上表示的是一種從輸入空間到輸出空間的映射。對(duì)于給定的輸入矢量，其神經(jīng)網(wǎng)絡(luò)的響應(yīng)為37編輯版ppt

權(quán)值矩陣系數(shù)的調(diào)整是通過對(duì)所有樣本的誤差指標(biāo)

達(dá)到極小的方法來實(shí)現(xiàn)的。式中，表示期望的輸出；表示當(dāng)前網(wǎng)絡(luò)的實(shí)際輸出；表示距離函數(shù)。誤差指標(biāo)函數(shù)可以用平方誤差和來表示，即：

針對(duì)所有的樣本集，前向神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值矩陣系數(shù)的迭代調(diào)整，直到誤差指標(biāo)滿足要求為止。（1）單層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法——基于最小二乘其中，引入N個(gè)樣本數(shù)據(jù)后，總的樣本誤差為：令樣本誤差對(duì)權(quán)值的微分為0，則有：最小二乘意義上的最優(yōu)解為：

現(xiàn)在考慮多層前向傳播網(wǎng)絡(luò)見下圖。設(shè)輸入模式為，則相應(yīng)的隱含單元的輸出為：L+1層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖（2）多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

很顯然，隱含單元輸出是輸入矢量和它們之間的突觸權(quán)系數(shù)的函數(shù)。突觸權(quán)系數(shù)由學(xué)習(xí)算法來訓(xùn)練。

根據(jù)層網(wǎng)絡(luò)結(jié)構(gòu)可知，網(wǎng)絡(luò)的輸出為

其中，第個(gè)隱含層的輸入是第個(gè)隱含層的輸出，所以反向傳播：將誤差信號(hào)按神經(jīng)網(wǎng)絡(luò)通路反向計(jì)算，按梯度下降法調(diào)整各層神經(jīng)元的權(quán)值和閥值，使誤差信號(hào)減小。正向傳播：輸入信號(hào)從輸入層經(jīng)隱含層傳向輸出層，若輸出層達(dá)到期望的輸出，學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。BP學(xué)習(xí)算法——誤差反向傳播學(xué)習(xí)算法

梯度下降法——求函數(shù)極小值的迭代算法

基本概念

設(shè)是準(zhǔn)則函數(shù)，為一向量。是在點(diǎn)

的梯度，為一向量，其方向是增長最快的方向；負(fù)梯度方向，則是減小最快的方向。

因此，若求某函數(shù)的極大值，沿著梯度方向走，可最快達(dá)到最大點(diǎn)；反之，沿負(fù)梯度方向走，可最快達(dá)到最小點(diǎn)。根據(jù)誤差指標(biāo)函數(shù)：按照梯度下降法反向計(jì)算：定義

其中又稱為廣義誤差。

則可記：46編輯版ppt

這就是說，要使按梯度下降，就必須按下式進(jìn)行權(quán)值調(diào)整：其中，上標(biāo)變量表示第個(gè)隱含層，

為第層第單元到第層的第單元連接系數(shù)；為學(xué)習(xí)步長。47編輯版ppt若為輸出單元層，則若為輸出單元層，考慮到所有層的神經(jīng)元輸入激勵(lì)信號(hào)都與第層的神經(jīng)元輸出相關(guān)，利用復(fù)合微分規(guī)則對(duì)求微分需對(duì)所有層的輸入激勵(lì)信號(hào)分別求微分之和：BP學(xué)習(xí)算法的訓(xùn)練過程

給定P組樣本。這里為維輸入矢量，為維期望的輸出矢量，，假設(shè)矢量和分別表示網(wǎng)絡(luò)的輸出層和隱含層的輸出矢量。則訓(xùn)練過程可分為：1）選，作為最大容許誤差，并將權(quán)系數(shù)，初始化成某一小的隨機(jī)權(quán)矩陣。49編輯版ppt2）訓(xùn)練開始

根據(jù)

計(jì)算出各隱含層神經(jīng)元的激勵(lì)輸出和各輸出層神經(jīng)元的激勵(lì)輸出。3）計(jì)算誤差50編輯版ppt4）計(jì)算出廣義誤差5）調(diào)整權(quán)陣系數(shù)6）若，轉(zhuǎn)2），否則轉(zhuǎn)7）

7）若，結(jié)束，否則，轉(zhuǎn)2）

從理論上來說，具有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)能實(shí)現(xiàn)任意連續(xù)函數(shù)的逼近。但在訓(xùn)練過程中仍有許多問題值得討論。對(duì)訓(xùn)練過程有較大影響的是有權(quán)系數(shù)的初值、學(xué)習(xí)方式、激勵(lì)函數(shù)、學(xué)習(xí)速率等。52編輯版ppt

初始化加輸入和期望輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值

改變訓(xùn)練樣板訓(xùn)練樣終止？迭代終止？BP算法的基本流程N(yùn)oNoyy53編輯版ppt學(xué)習(xí)方式本書所采用的學(xué)習(xí)算法是根據(jù)廣義誤差

得到的，這種學(xué)習(xí)算法又稱增量型學(xué)習(xí)算法。其缺點(diǎn)是權(quán)值調(diào)整只滿足逼近最近的那個(gè)樣本。權(quán)系數(shù)的初值一般情況下，權(quán)系數(shù)通常初始化成小的隨機(jī)值，盡量可能覆蓋整個(gè)權(quán)陣的空間域。從而可以避免出現(xiàn)初始權(quán)陣系數(shù)相同的情況。若采用累積型學(xué)習(xí)方法，則有：54編輯版ppt激勵(lì)函數(shù)常規(guī)Sigmoid函數(shù)在輸入趨于1時(shí)其導(dǎo)數(shù)接近0，從而容易產(chǎn)生飽和現(xiàn)象。因此，可以通過調(diào)節(jié)Sigmoid函數(shù)的斜率或采用其它激勵(lì)單元來改善網(wǎng)絡(luò)的學(xué)習(xí)性能。學(xué)習(xí)速度一般說來，學(xué)習(xí)速率越大，收斂越快，但容易產(chǎn)生振蕩；而學(xué)習(xí)速率越小，收斂越慢。55編輯版ppt

小結(jié)BP學(xué)習(xí)算法本質(zhì)上屬于一次收斂的學(xué)習(xí)算法；BP學(xué)習(xí)算法存在局部極小問題，且學(xué)習(xí)速度很慢，甚至?xí)跇O值點(diǎn)附近出現(xiàn)振蕩現(xiàn)象，而不能平滑地趨于最優(yōu)解；可采用某種平滑的權(quán)值更新公式例如下圖所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)假設(shè)對(duì)于期望的輸入

試用BP算法訓(xùn)練此網(wǎng)絡(luò)。這里，取神經(jīng)元激勵(lì)函數(shù)：學(xué)習(xí)步長為57編輯版ppt解：

1）輸入最大容許逼近誤差值最大迭代學(xué)習(xí)次數(shù)iterafemax.

置初始迭代學(xué)習(xí)次數(shù)iterate=02）計(jì)算當(dāng)前輸入狀態(tài)下、當(dāng)前網(wǎng)絡(luò)的連接權(quán)系數(shù)下的神經(jīng)網(wǎng)絡(luò)輸出。3)判斷神經(jīng)網(wǎng)絡(luò)逼近誤差滿足要求或迭代學(xué)習(xí)達(dá)到最大容許值否？若上述不等式中有一個(gè)滿足，則退出學(xué)習(xí)。否則進(jìn)入下一步。4）計(jì)算廣義誤差輸出層隱含層5）連接權(quán)系數(shù)更新令，繼續(xù)迭代計(jì)算直至滿足終止條件為止例利用多層前向傳播神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)解訓(xùn)練算法采用傳統(tǒng)的BP學(xué)習(xí)算法，其中樣本集取20點(diǎn)，即

選擇MLP網(wǎng)絡(luò)結(jié)構(gòu)為：1個(gè)輸入神經(jīng)元、6個(gè)隱含層神經(jīng)元和1個(gè)輸出神經(jīng)元。神經(jīng)元激勵(lì)函數(shù)都為Sigmoid函數(shù)初始權(quán)系數(shù)陣由（0,1）之間的隨機(jī)數(shù)組成。學(xué)習(xí)步長選擇為，下面給出了此神經(jīng)網(wǎng)絡(luò)的BP學(xué)習(xí)算法的平方誤差曲線的收斂過程。為了驗(yàn)證此神經(jīng)網(wǎng)絡(luò)逼近的泛化性，我們又選擇了30個(gè)校驗(yàn)樣本數(shù)據(jù)集，它們的取值為63編輯版ppt均方誤差y

針對(duì)同樣的樣本集對(duì)含有兩個(gè)隱含層的MLP進(jìn)行了仿真試驗(yàn)。第一隱含層的隱含神元經(jīng)數(shù)為4、第二隱含層的隱含神元經(jīng)數(shù)為2,學(xué)習(xí)步長BP算法的學(xué)習(xí)曲線神經(jīng)網(wǎng)絡(luò)的逼近性能均方誤差y65編輯版ppt

結(jié)論增加隱含層的數(shù)目并不一定意味著能夠改善逼近精度；傳統(tǒng)的BP學(xué)習(xí)算法在極值點(diǎn)附近訓(xùn)練速度相當(dāng)慢；如果神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果不夠理想，應(yīng)該重新對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；當(dāng)輸入信號(hào)與訓(xùn)練的樣本信號(hào)相距較遠(yuǎn)時(shí)，神經(jīng)網(wǎng)絡(luò)的輸出可能會(huì)產(chǎn)生完全不準(zhǔn)確的結(jié)果；66編輯版ppt四動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型

雖然前向傳播網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，系統(tǒng)結(jié)構(gòu)簡(jiǎn)單且易于編程，但其并不注重系統(tǒng)的動(dòng)力學(xué)行為，而現(xiàn)實(shí)世界中的許多系統(tǒng)恰恰是非線性動(dòng)態(tài)系統(tǒng)，如何利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)動(dòng)態(tài)系統(tǒng)的逼近和控制？問題的提出

解決方法研究反饋動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)模型67編輯版ppt

由簡(jiǎn)單非線性神經(jīng)元互連而成的反饋動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有如下兩個(gè)重要的特征。系統(tǒng)有若干個(gè)穩(wěn)定狀態(tài)。如果從某一初始狀態(tài)開紿運(yùn)動(dòng)，系統(tǒng)總可以進(jìn)入某一穩(wěn)定狀態(tài)。系統(tǒng)的穩(wěn)定狀態(tài)可以通過改變相連單元的權(quán)值而產(chǎn)生。

因此，神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和應(yīng)用必須建立在對(duì)其動(dòng)力學(xué)特性的理解的基礎(chǔ)上，穩(wěn)定性是其重要性質(zhì)，而能量函數(shù)是判定網(wǎng)絡(luò)穩(wěn)定性的基本概念。68編輯版ppt穩(wěn)定性——神經(jīng)網(wǎng)絡(luò)從任一初態(tài)X（0）開紿運(yùn)動(dòng)，若存在某一有限的時(shí)刻。從以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即則稱網(wǎng)絡(luò)是穩(wěn)定的處于穩(wěn)定時(shí)刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點(diǎn)吸引子。

基本概念

反饋的引入是構(gòu)成動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。反饋網(wǎng)絡(luò)的一個(gè)重要特征是系統(tǒng)具有穩(wěn)定狀態(tài)。動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的典型代表是Hopfield網(wǎng)絡(luò)、帶時(shí)滯的多層感知器網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)等等。69編輯版ppt1、帶時(shí)滯的多層感知器網(wǎng)絡(luò)一個(gè)帶時(shí)滯的多層感知器網(wǎng)絡(luò)結(jié)構(gòu)圖如下所示多層感知器網(wǎng)絡(luò)抽頭時(shí)滯環(huán)節(jié)

這種網(wǎng)絡(luò)結(jié)構(gòu)可以有效地描述輸出是有限維獨(dú)立的輸入序列函數(shù)的動(dòng)態(tài)系統(tǒng)：70編輯版ppt

由于不存在反饋，故其訓(xùn)練方法完全套用傳統(tǒng)的BP學(xué)習(xí)算法。而帶反饋的動(dòng)態(tài)網(wǎng)絡(luò)系統(tǒng)具有比純前饋神經(jīng)網(wǎng)絡(luò)更優(yōu)越的性能。此類帶反饋的神經(jīng)網(wǎng)絡(luò)通常又稱為回歸神經(jīng)網(wǎng)絡(luò)。一種將反饋引入到神經(jīng)網(wǎng)絡(luò)中來的簡(jiǎn)單方法是將輸出的時(shí)延直接加到網(wǎng)絡(luò)輸入端。多層感知器網(wǎng)絡(luò)抽頭時(shí)滯環(huán)節(jié)

抽頭時(shí)滯環(huán)節(jié)X(k)X(k-1)X(k-n)X(k-m)Y(k-2)Y(k-1)X(k)Y(k)

回歸神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可以直接利用靜態(tài)前向傳播神經(jīng)網(wǎng)絡(luò)的BP算法解決。72編輯版ppt2.Hopfield神經(jīng)網(wǎng)絡(luò)（硬件電路）Hopfield網(wǎng)絡(luò)可以用一組耦合的非線性微分方程來表示；在任何初始狀態(tài)下都能漸進(jìn)趨于穩(wěn)定態(tài)，這一穩(wěn)定態(tài)是由神經(jīng)元之間的連接權(quán)系數(shù)決定的；具備快速優(yōu)化能力；（1）二值型的Hopfield網(wǎng)絡(luò)(離散型的Hopfield網(wǎng)絡(luò))

只有一個(gè)神經(jīng)元層次,每個(gè)處理單元均有一個(gè)活躍值，又可稱為狀態(tài)，它取兩個(gè)可能的狀態(tài)值之一，通常用0和1或－1和1來表示神經(jīng)元的抑制和興奮狀態(tài).73編輯版ppt

整個(gè)網(wǎng)絡(luò)的狀態(tài)由單一神經(jīng)元的狀態(tài)組成。網(wǎng)絡(luò)的狀態(tài)可用一個(gè)由0(-1)/1組成的矢量來表示，其中每一元素對(duì)應(yīng)于某個(gè)神經(jīng)元的狀態(tài)。通常二值型的Hopfield網(wǎng)絡(luò)可以用如下節(jié)點(diǎn)方程式來描述。式中，表示時(shí)間變量；表示外部輸入；表示神經(jīng)元輸出；表示神經(jīng)元內(nèi)部狀態(tài)；表示閥值函數(shù)。

神經(jīng)元之間實(shí)現(xiàn)全連接，即每個(gè)神經(jīng)元的輸出都通過權(quán)系數(shù)反饋到所有其它神經(jīng)元（包括自身神經(jīng)元）二值型Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)圖75編輯版ppt含有n個(gè)節(jié)點(diǎn)的離散Hopfield網(wǎng)絡(luò)有2n個(gè)可能的狀態(tài)；網(wǎng)絡(luò)狀態(tài)變化采用隨機(jī)性異步更新策略；節(jié)點(diǎn)狀態(tài)更新包括三種情況：0→1、1→0，或狀態(tài)保持；某一時(shí)刻網(wǎng)絡(luò)中只有一個(gè)節(jié)點(diǎn)被選擇進(jìn)行狀態(tài)更新，其余的節(jié)點(diǎn)保持原有狀態(tài)；Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移例

假設(shè)一個(gè)3節(jié)點(diǎn)的離散Hopfield神經(jīng)網(wǎng)絡(luò)，已知網(wǎng)絡(luò)權(quán)值與閥值如下圖所示。計(jì)算狀態(tài)轉(zhuǎn)移關(guān)系。0.00.00.1-0.50.20.6解以初始狀態(tài)為例，我們可以依次選擇節(jié)點(diǎn)，確定其節(jié)點(diǎn)興奮的條件及狀態(tài)的轉(zhuǎn)移。圖a)

3節(jié)點(diǎn)離散hopfield網(wǎng)絡(luò)77編輯版ppt假設(shè)首先選擇節(jié)點(diǎn)，激勵(lì)函數(shù)為:

可見，節(jié)點(diǎn)處于興奮狀態(tài)并且狀態(tài)由0→1。網(wǎng)絡(luò)狀態(tài)由000→100，轉(zhuǎn)移概率為1/3。同樣其它兩個(gè)節(jié)點(diǎn)也可以以等概率發(fā)生狀態(tài)變化，它們的激勵(lì)函數(shù)為節(jié)點(diǎn)和狀態(tài)保持不變。因此，由狀態(tài)000不會(huì)轉(zhuǎn)移到001和010。110000001-0.6-0.43/31/30100111111000.41/30.01/3-0.32/32/31/31/30.01/31/31/30.01/3-0.11/31/31/31/31/31012/3

從這個(gè)例子上可以看出，系統(tǒng)狀態(tài)是一個(gè)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)；網(wǎng)絡(luò)從任意一個(gè)初始狀態(tài)開始經(jīng)幾次的狀態(tài)更新后都將到達(dá)此穩(wěn)態(tài)。圖b)

3節(jié)點(diǎn)離散hopfield網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移圖Hopfield網(wǎng)絡(luò)狀態(tài)變化的核心是每個(gè)狀態(tài)定義一個(gè)能量E，任意一個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)變化時(shí)，能量E都將減小。能量減小是Hopfield網(wǎng)絡(luò)系統(tǒng)穩(wěn)定的重要標(biāo)記。引入能量函數(shù)研究反饋神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性。Hopfield神經(jīng)網(wǎng)絡(luò)中的狀態(tài)變化導(dǎo)致能量函數(shù)E的下降，并且能量函數(shù)的極小值點(diǎn)與網(wǎng)絡(luò)穩(wěn)定狀態(tài)有著緊密的關(guān)系定理離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間的局部極小狀態(tài)是一一對(duì)應(yīng)的。例：計(jì)算上例中的各狀態(tài)能量。

解：首先看狀態(tài)時(shí)，由b)圖可知，狀態(tài)111可以轉(zhuǎn)移到011。狀態(tài)011的能量為

同理，可以計(jì)算出其它狀態(tài)對(duì)應(yīng)的能量，結(jié)果如圖b所示。方框內(nèi)的數(shù)字所示為能量。顯然，狀態(tài)011處的能量最小。從任意初始狀態(tài)開始，網(wǎng)絡(luò)沿能量減小方向更新狀態(tài)，最終能達(dá)到能量極小所對(duì)應(yīng)的穩(wěn)定。

神經(jīng)網(wǎng)絡(luò)的能量極小狀態(tài)又稱為能量井。能量井的存在為信息的分布存儲(chǔ)記憶、神經(jīng)優(yōu)化計(jì)算提供了基礎(chǔ)。能量井的分布是由連接權(quán)值決定的。因此，設(shè)計(jì)能量井的核心是如何獲得一組合適的權(quán)值。權(quán)值設(shè)計(jì)通常有兩種方法:靜態(tài)產(chǎn)生方法——

根據(jù)求解問題的要求直接計(jì)算出所需要的連接權(quán)值，一旦權(quán)值確定下來就不再改變；動(dòng)態(tài)產(chǎn)生方法——

通過提供一種學(xué)習(xí)機(jī)制來訓(xùn)練網(wǎng)絡(luò)，使其能自動(dòng)調(diào)整連接權(quán)值，產(chǎn)生期望的能量井；83編輯版ppt例3-3以圖（下圖）所示的3節(jié)點(diǎn)DHNN為例，要求設(shè)計(jì)的能量井為狀態(tài)和111。權(quán)值和閥值可在[-1,1]區(qū)間取值。試確定網(wǎng)絡(luò)權(quán)值和閥值。圖

3節(jié)點(diǎn)DHNN模型當(dāng)神經(jīng)網(wǎng)絡(luò)達(dá)到能量井時(shí)，神經(jīng)網(wǎng)絡(luò)狀態(tài)則進(jìn)入穩(wěn)定狀態(tài)，不再發(fā)生變化。要想使其進(jìn)入所選擇的穩(wěn)態(tài)，只有修改網(wǎng)絡(luò)的權(quán)值和閥值。分析

記為狀態(tài)A，為狀態(tài)B。對(duì)于狀態(tài)A，節(jié)點(diǎn)激勵(lì)函數(shù)必須滿足下列不等式：

解：

因?yàn)辄c(diǎn)的神經(jīng)元輸入激勵(lì)函數(shù)值為：，當(dāng)系統(tǒng)處于穩(wěn)態(tài)時(shí)，必須要求，這樣才能保持狀態(tài)不變。①②③85編輯版ppt

同理，可得其余兩個(gè)神經(jīng)元也應(yīng)該滿足相應(yīng)的不等式。對(duì)于狀態(tài)B，權(quán)系數(shù)也必須滿足以下不等式。

利用上面6個(gè)不等式可以求出6個(gè)未知量的允許取值范圍。假設(shè)取，則由上面節(jié)①式得④⑤⑥取

由④得，

由②得，

由⑤得，

由⑥得，

由③得，取取取取取

因此，需要記憶穩(wěn)定A和B的3點(diǎn)DHNN網(wǎng)絡(luò)的一組權(quán)系數(shù)值為：

可以驗(yàn)證，利用這組參數(shù)構(gòu)成的DHNN，對(duì)于任一初始狀態(tài)，最終都將達(dá)到所期望的穩(wěn)態(tài)A或B。

由于網(wǎng)絡(luò)權(quán)值和閥值的選擇可以在某一個(gè)范圍內(nèi)進(jìn)行，因此，它的解并不是唯一的，有可能產(chǎn)生我們不期望的能量井。針對(duì)上例。如果選擇權(quán)值和閥值為：

可以驗(yàn)證，這組值是滿足上面約束的要求，由這組參數(shù)構(gòu)成DHNN有三個(gè)能量井，除010、111外，還有一假能量井100。100101001011001000010111110圖DHNN狀態(tài)轉(zhuǎn)移圖89編輯版pptDHNN的學(xué)習(xí)只是在此神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶時(shí)才有意義。其實(shí)質(zhì)是通過一定的學(xué)習(xí)規(guī)則自動(dòng)調(diào)整連接權(quán)值，使網(wǎng)絡(luò)具有期望的能量井分布，并經(jīng)記憶樣本存儲(chǔ)在不同的能量井中。常用的Hopfield網(wǎng)絡(luò)學(xué)習(xí)規(guī)則是Hebb學(xué)習(xí)規(guī)則和學(xué)習(xí)規(guī)則。Hebb學(xué)習(xí)規(guī)則

設(shè)有N個(gè)神經(jīng)元相互連接，每個(gè)神經(jīng)元的活化狀態(tài)只能取0或1，分別代表抑制和興奮。

調(diào)節(jié)的原則為：若與兩個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接加強(qiáng)，即

對(duì)于一給定的需記憶的樣本向量，如果的狀態(tài)值為＋1或－1，則其連接權(quán)系數(shù)的學(xué)習(xí)可以利用“外積規(guī)則”即

對(duì)于單端情況，即神經(jīng)元的活躍值為1或0時(shí)，則權(quán)系數(shù)的學(xué)習(xí)規(guī)則為91編輯版ppt具體的計(jì)算步驟可歸結(jié)為：

1）置；

2）輸入，對(duì)所有連續(xù)對(duì)的權(quán)系數(shù)分別按外積規(guī)則或單端狀況計(jì)算。一旦學(xué)習(xí)完成，Hopfield網(wǎng)絡(luò)就可以用作聯(lián)想記憶即對(duì)于某一帶噪聲的輸入模式，Hopfield網(wǎng)絡(luò)將收斂于與學(xué)習(xí)樣本最相近的穩(wěn)態(tài)模式。92編輯版ppt

學(xué)習(xí)規(guī)則學(xué)習(xí)算法的基本公式為：即計(jì)算每一個(gè)神經(jīng)元節(jié)點(diǎn)的實(shí)際激活值，并與期望狀態(tài)進(jìn)行比較，若不滿足要求，則將二者的誤差值的一小部分作為調(diào)整量，調(diào)整具有激活輸入（狀態(tài)為1的輸入端）的節(jié)點(diǎn)的權(quán)值或閥值；若滿足要求，則相應(yīng)的權(quán)值或閥值不需修整。2、Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶

前面已經(jīng)提到，能量井的存在為實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶提供了保證。同樣，聯(lián)想記憶功能也是DHNN的一個(gè)重要應(yīng)用特征。要實(shí)現(xiàn)聯(lián)想記憶，神經(jīng)網(wǎng)絡(luò)必須具備兩個(gè)基本條件：能夠收斂于穩(wěn)定狀態(tài)，利用此穩(wěn)態(tài)來記憶樣本信息；具有回憶能力，能夠從某一局部輸入信息回憶起與其相關(guān)的相似記憶，或者由等一殘缺的信息回憶起比較完整的記憶。94編輯版pptDHNN實(shí)現(xiàn)聯(lián)想記憶分為兩個(gè)階段，即學(xué)習(xí)記憶階段和聯(lián)記回憶階段：學(xué)習(xí)記憶階段——實(shí)質(zhì)上是設(shè)計(jì)能量井的分布，對(duì)于要記憶的樣本信息，通過一定的學(xué)習(xí)規(guī)則訓(xùn)練網(wǎng)絡(luò)，確定一組合適的權(quán)值的閥值，使網(wǎng)絡(luò)具有期望的穩(wěn)態(tài)。聯(lián)記回憶階段——當(dāng)給定網(wǎng)絡(luò)某一輸入模式的情況下，網(wǎng)絡(luò)能夠通過自身的動(dòng)力學(xué)狀態(tài)演化過程達(dá)到與其在海明距離意義上最近的穩(wěn)態(tài)，從而實(shí)現(xiàn)自聯(lián)想或異聯(lián)想回憶。95編輯版pptDHNN用于聯(lián)想記憶有兩個(gè)突出特點(diǎn)，即：

記憶是分布式的，聯(lián)想是動(dòng)態(tài)的。這與人腦的聯(lián)想記憶實(shí)現(xiàn)機(jī)理相類似。利用網(wǎng)絡(luò)能量井來存儲(chǔ)記憶樣本，按照反饋動(dòng)力學(xué)活動(dòng)規(guī)律喚起記憶，顯示出DHNN聯(lián)想記憶實(shí)現(xiàn)方法的重要價(jià)值。96編輯版ppt五神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)1.神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制的優(yōu)越性：97編輯版ppt3）神經(jīng)網(wǎng)絡(luò)是本質(zhì)的非線性系統(tǒng)。它可以實(shí)現(xiàn)任何非線性映射。而在非線性系統(tǒng)的控制中有很大前途。

4）神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的信息綜合能力。它能夠同時(shí)處理大量不同類型的輸入。利用此功能人們可以有效地進(jìn)行信息的融合。

5）神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)愈趨方便。大規(guī)模集成電路技術(shù)的發(fā)展為神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)提供了技術(shù)手段。98編輯版ppt

神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)一般分為兩大類：神經(jīng)網(wǎng)絡(luò)控制：它是以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)而形成的獨(dú)立智能控制系統(tǒng)；混合神經(jīng)網(wǎng)絡(luò)控制：利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和優(yōu)化能力來改善傳統(tǒng)控制的現(xiàn)代控制方法；如自適應(yīng)神經(jīng)控制等。2、神經(jīng)網(wǎng)絡(luò)控制器分類99編輯版ppt100編輯版ppt101編輯版ppt102編輯版ppt103編輯版ppt104編輯版ppt105編輯版ppt（6）混合控制系統(tǒng)由神經(jīng)網(wǎng)絡(luò)技術(shù)與模糊控制、專家系統(tǒng)等結(jié)合形成的一種具有很強(qiáng)學(xué)習(xí)能力的智能控制系統(tǒng)，它集人工智能各分支的優(yōu)點(diǎn)，