神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制課件

推薦課后閱讀資料SimonHaykin.神經(jīng)網(wǎng)絡(luò)的綜合基礎(chǔ)(第2版).清華大學(xué)出版社,2001

MartinT.Hagan.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì).機(jī)械工業(yè)出版社,2002

推薦課后閱讀資料SimonHaykin.神經(jīng)網(wǎng)絡(luò)的綜合基礎(chǔ)125.1概述生物神經(jīng)元模型

人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法25.1概述生物神經(jīng)元模型3生物神經(jīng)元模型

人腦大約包含1012個神經(jīng)元，分成約1000種類型，每個神經(jīng)元大約與102～104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時，如此大量的神經(jīng)元與外部之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。3生物神經(jīng)元模型人腦大約包含1012個神經(jīng)神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制課件4556

從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：時空整合功能興奮與抑制狀態(tài)脈沖與電位轉(zhuǎn)換神經(jīng)纖維傳導(dǎo)速度突觸延時和不應(yīng)期學(xué)習(xí)、遺忘和疲勞生物神經(jīng)元模型6從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制課件7否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法可見單元由輸入、輸出部分組成。根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。3）累積誤差校正算法：7)模擬退火算法等。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；5，輸入層到隱含層，隱含層到輸出值的激活函數(shù)為單極SIGMOID函數(shù)，要求誤差e為0.將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。1)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。重復(fù)上述步驟，直到pij-p’ij小于一定的容限。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法前向計(jì)算，求出所有神經(jīng)元的輸出8人工神經(jīng)元模型人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入、單輸出的非線性元件。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入9910其輸入、輸出關(guān)系可描述為其中，是從其他神經(jīng)元傳來的輸入信號；表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；為閾值；稱為激發(fā)函數(shù)或作用函數(shù)。人工神經(jīng)元模型10其輸入、輸出關(guān)系可描述為人工神經(jīng)元模型W1*1＋W2*1<，真值表的第一行；感知器是一個具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單的前向網(wǎng)絡(luò)。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。輸入樣本－－輸入層－－各隱層－－輸出層對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。{(0，0)，（1，1）}和{(0，1)，（1，0）}的直線2）S函數(shù)輸出限幅算法離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有n個神經(jīng)元節(jié)點(diǎn)，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。慣性系數(shù)是變量，隨著校正的不斷進(jìn)行，慣性系數(shù)逐漸增大：它主要用于模式分類，單層的感知器網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達(dá)到穩(wěn)定。計(jì)算；7)模擬退火算法等。從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（BackPropagation），是一種單向傳播的多層前向網(wǎng)絡(luò)。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)高斯函數(shù)（見圖（f））大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；5，閾值為0，學(xué)習(xí)率為0.11

激發(fā)函數(shù)又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點(diǎn)）的輸出。該輸出取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特性。下圖表示了幾種常見的激發(fā)函數(shù)。

1.閾值型函數(shù)（見圖（a），（b））

2.飽和型函數(shù)（見圖（c））

3.雙曲函數(shù)（見圖（d））

4.S型函數(shù)（見（e））

5.高斯函數(shù)（見圖（f））人工神經(jīng)元模型W1*1＋W2*1<，真值表的第一行1212神經(jīng)元處理活性的理想模式神經(jīng)元處理活性的理想模式1314人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。14人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神15(1).前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（FeedforwardNN）。如圖所示，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。15(1).前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（F1616從學(xué)習(xí)的觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。(1).前饋型神經(jīng)網(wǎng)絡(luò)17從學(xué)習(xí)的觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)18(2).反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)（FeedbackNN）的結(jié)構(gòu)如圖所示。如果總節(jié)點(diǎn)（神經(jīng)元）數(shù)為N，那么每個節(jié)點(diǎn)有N個輸入和一個輸出，也就是說，所有節(jié)點(diǎn)都是一樣的，它們之間都可相互連接。18(2).反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)（Feedbac1919

反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶（Content一AddressibleMemory，CAM）的功能，同時Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。(2).反饋型神經(jīng)網(wǎng)絡(luò)

20反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段21神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主要標(biāo)志，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師來分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。21神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。Boltzmann機(jī)網(wǎng)絡(luò)是一個相互連接的神經(jīng)網(wǎng)絡(luò)模型，具有對稱的連接權(quán)系數(shù)，及wij＝wji且wii=0。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法這一改進(jìn)的目的是使被校正量隨著學(xué)習(xí)進(jìn)程的發(fā)展，逐漸沿前一次校正方向變化。采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；判斷是否滿足結(jié)束條件，不滿足轉(zhuǎn)至2，否則算法結(jié)束6)網(wǎng)絡(luò)的預(yù)測能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾。人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止將輸出誤差以某種形式通過隱層向輸入層逐層反傳Δw（n+1）=d+ηΔw（n）感知器是一個具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單的前向網(wǎng)絡(luò)。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。0＋0<或?yàn)檎龜?shù)，真值表的最后一行。前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符該輸出取決于其輸入之和大于或小于內(nèi)部閾值。在二維空間中沒有可分離點(diǎn)集合適的期望誤差應(yīng)通過對比訓(xùn)練后確定。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法22計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；在有教23神經(jīng)網(wǎng)絡(luò)中常用的幾種基本學(xué)習(xí)方法

(1).Hebb學(xué)習(xí)規(guī)則兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則。Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。23神經(jīng)網(wǎng)絡(luò)中常用的幾種基本學(xué)習(xí)方法(1).Hebb學(xué)習(xí)24(2)．Delta（δ）學(xué)習(xí)規(guī)則δ規(guī)則可以誤差函數(shù)達(dá)到最小值。但δ學(xué)習(xí)規(guī)則只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)學(xué)習(xí)算法稱為BP算法，是在δ規(guī)則基礎(chǔ)上發(fā)展起來的，可在多網(wǎng)絡(luò)上有效地學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)中常用的幾種基本學(xué)習(xí)方法

24(2)．Delta（δ）學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)中常用的幾種基本25(3)．競爭式學(xué)習(xí)競爭式學(xué)習(xí)屬于無教師學(xué)習(xí)方式。此種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這種聯(lián)接機(jī)制中引入競爭機(jī)制的學(xué)習(xí)方式稱為競爭式學(xué)習(xí)。它的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對低層次神經(jīng)元的輸入模式進(jìn)行競爭識別。神經(jīng)網(wǎng)絡(luò)中常用的幾種基本學(xué)習(xí)方法

25(3)．競爭式學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中常用的幾種基本學(xué)習(xí)方法265.2前向神經(jīng)網(wǎng)絡(luò)感知器網(wǎng)絡(luò)感知器是一個具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單的前向網(wǎng)絡(luò)。它主要用于模式分類，單層的感知器網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。265.2前向神經(jīng)網(wǎng)絡(luò)感知器網(wǎng)絡(luò)272728感知器的一種學(xué)習(xí)算法：

隨機(jī)地給定一組連接權(quán)；輸入一組樣本和期望的輸出（亦稱之為教師信號）；計(jì)算感知器實(shí)際輸出；修正權(quán)值；選取另外一組樣本，重復(fù)上述2）～4）的過程，直到權(quán)值對一切樣本均穩(wěn)定不變?yōu)橹?，學(xué)習(xí)過程結(jié)束。28感知器的一種學(xué)習(xí)算法：隨機(jī)地給定一組連接權(quán)；單層感知器--與運(yùn)算y=f(v)f(v)x1bx2w1w2x1 x2 d0 0 00 1 01 0 01 1 1邏輯“與”真值表11=1×0.1+1×0.1=0.2=-0.4y=0b=-0.6=0.1=0.1誤差e=d-y=1設(shè)學(xué)習(xí)率η為0.629單層感知器--與運(yùn)算y=f(v)f(v)x1bx2w1w2x30網(wǎng)絡(luò)誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（BackPropagation），是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。如圖是BP網(wǎng)絡(luò)的示意圖。5.2前向神經(jīng)網(wǎng)絡(luò)30網(wǎng)絡(luò)誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（BackPro313132誤差反向傳播的BP算法簡稱BP算法，其基本思想是最小二乘算法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。5.2前向神經(jīng)網(wǎng)絡(luò)32誤差反向傳播的BP算法簡稱BP算法，其基本思想是最小二乘

BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使輸出誤差信號最小。5.2前向神經(jīng)網(wǎng)絡(luò)33BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師來分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；1)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。感知器是一個具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單的前向網(wǎng)絡(luò)。與其他全局搜索算法相結(jié)合；第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。<0,此時Δwho>0一般采用增加隱層中神經(jīng)元數(shù)目的方法來提高精度，其訓(xùn)練效果也更容易觀察和調(diào)整。選取另外一組樣本，重復(fù)上述2）～4）的過程，直到權(quán)值對一切樣本均穩(wěn)定不變?yōu)橹?，學(xué)習(xí)過程結(jié)束。3).4)采用動態(tài)步長；4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。2)網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實(shí)例集自動提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力。一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：在使用BP算法時，應(yīng)注意的問題是：前向計(jì)算，求出所有神經(jīng)元的輸出它包括訓(xùn)練數(shù)據(jù)的收集、分析、選擇和預(yù)處理等。也有采用慣性系數(shù)按指數(shù)形式增長的校正方法。激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)使用S型激發(fā)函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出5.2前向神經(jīng)網(wǎng)絡(luò)34目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師來分類，可分為有教師輸出的導(dǎo)數(shù)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)

5.2前向神經(jīng)網(wǎng)絡(luò)35輸出的導(dǎo)數(shù)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。36BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過程：36學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法37學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)將誤差分?jǐn)偨o各層的所有單元－－－各層單BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：輸入樣本－－輸入層－－各隱層－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止38BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：38BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元,

輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;39BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與隱含層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激發(fā)函數(shù):誤差函數(shù)：40BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與隱含層的連接權(quán)值:40輸入層與隱含層之間的權(quán)值調(diào)整計(jì)算：目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師來分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。{(0，0)，（1，1）}和{(0，1)，（1，0）}的直線激發(fā)函數(shù)又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點(diǎn)）的輸出。xi(i=1,2,…,n)是輸入，wi為該神經(jīng)元與各輸入間的連接權(quán)值，為閾值，yo為輸出選取另外一組樣本，重復(fù)上述2）～4）的過程，直到權(quán)值對一切樣本均穩(wěn)定不變?yōu)橹梗瑢W(xué)習(xí)過程結(jié)束。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動力學(xué)行為。BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。這一改進(jìn)的目的是使被校正量隨著學(xué)習(xí)進(jìn)程的發(fā)展，逐漸沿前一次校正方向變化。同時，如此大量的神經(jīng)元與外部之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；<0,此時Δwho>0若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個網(wǎng)絡(luò)，儲存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個設(shè)計(jì)的平衡點(diǎn)上。能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。(1)Boltzmann機(jī)網(wǎng)絡(luò)結(jié)構(gòu)和工作方式0＋0<或?yàn)檎龜?shù)，真值表的最后一行。2．在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。與標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴ㄏ啾龋總€連接權(quán)與閾值的校正次數(shù)明顯減少（每一次學(xué)習(xí)減少M(fèi)-1次校正），學(xué)習(xí)時間也隨之縮短。事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第一步，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值ε和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第κ個輸入樣本及對應(yīng)期望輸出41輸入層與隱含層之間的權(quán)值調(diào)整計(jì)算：BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第一BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第三步，計(jì)算隱含層及輸出層各神經(jīng)元的輸入和輸出42BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第三步，計(jì)算隱含層及輸出層各神經(jīng)元的輸BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。43BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計(jì)算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)。

44BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第五步，利用隱含層到輸出層的連接權(quán)值、BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法45BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法45BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。46BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第六步，利用輸出層各神經(jīng)元的BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。47BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第七步，利用隱含層各神經(jīng)元的BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計(jì)算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。48BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計(jì)算全局誤差48BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法解釋情況一直觀表達(dá)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whoe>0，此時Δwho<049BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法解釋whoe>0，此時Δwho<049BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法解釋情況二直觀表達(dá)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e<0,此時Δwho>0who50BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法解釋e<0,此時Δwho>0who5BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式提供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時輸入未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤時對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。

51BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力5152520＋0<或?yàn)檎龜?shù)，真值表的最后一行。人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。隨機(jī)設(shè)定網(wǎng)絡(luò)的連接權(quán)wij(0)及初始高溫。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法當(dāng)yj為1或0時，調(diào)節(jié)量都為0，不起校正作用。1)學(xué)習(xí)開始時，各隱含層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機(jī)數(shù)較為適宜；此不等式方程組無解，這就證明了感知器不能解決異或問題。計(jì)算并保存各權(quán)值修正量：1)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。只要能提供足夠多的樣本模式提供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；同時，如此大量的神經(jīng)元與外部之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。第二步,隨機(jī)選取第κ個輸入樣本及對應(yīng)期望輸出目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師來分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。3)初始權(quán)值的選取。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整(3)利用某一特征函數(shù)f進(jìn)行變換，得到輸出yo：(3)訓(xùn)練與測試輸入一組樣本和期望的輸出（亦稱之為教師信號）；53在使用BP算法時，應(yīng)注意的問題是：1)學(xué)習(xí)開始時，各隱含層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機(jī)數(shù)較為適宜；2)采用S型激發(fā)函數(shù)時，由于輸出層各神經(jīng)元的輸出只能趨于1或0，不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時，期望的輸出分量dk不能設(shè)置為1或0。5.2前向神經(jīng)網(wǎng)絡(luò)0＋0<或?yàn)檎龜?shù)，真值表的最后一行。53在在設(shè)計(jì)BP網(wǎng)絡(luò)時，應(yīng)考慮的問題是：1)網(wǎng)絡(luò)的層數(shù)。增加層數(shù)可降低誤差，但會使網(wǎng)絡(luò)復(fù)雜化，增加網(wǎng)絡(luò)的訓(xùn)練時間。一般采用增加隱層中神經(jīng)元數(shù)目的方法來提高精度，其訓(xùn)練效果也更容易觀察和調(diào)整。5.2前向神經(jīng)網(wǎng)絡(luò)54在設(shè)計(jì)BP網(wǎng)絡(luò)時，應(yīng)考慮的問題是：5.2前向神經(jīng)網(wǎng)絡(luò)542)隱層神經(jīng)元數(shù)。理論上沒有明確規(guī)定，通常是通過對不同節(jié)點(diǎn)數(shù)進(jìn)行訓(xùn)練對比，然后加上適當(dāng)余量。5.2前向神經(jīng)網(wǎng)絡(luò)3)初始權(quán)值的選取。一般取（-1，1）之間的隨機(jī)數(shù)。552)隱層神經(jīng)元數(shù)。理論上沒有明確規(guī)定，通常是通過對不同節(jié)點(diǎn)4)學(xué)習(xí)速率。為保證系統(tǒng)穩(wěn)定性，學(xué)習(xí)速率一般取0.01-0.8。5.2前向神經(jīng)網(wǎng)絡(luò)5)期望誤差。合適的期望誤差應(yīng)通過對比訓(xùn)練后確定。564)學(xué)習(xí)速率。為保證系統(tǒng)穩(wěn)定性，學(xué)習(xí)速率一般取0.01-0小結(jié)神經(jīng)網(wǎng)絡(luò)的用途57小結(jié)神經(jīng)網(wǎng)絡(luò)的用途57單個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)輸入神經(jīng)元輸出x11x1nx12X158單個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)輸入神經(jīng)元輸出x11x1nx12X158神經(jīng)網(wǎng)絡(luò)的工作原理

xi(i=1,2,…,n)是輸入，wi為該神經(jīng)元與各輸入間的連接權(quán)值，為閾值，yo為輸出(1)從各輸入端接收輸入信號xi(2)根據(jù)各連接權(quán)值wi求出所有輸入的加權(quán)和yi

：

yi

＝wi

xi－(3)利用某一特征函數(shù)f

進(jìn)行變換，得到輸出yo

：

yo=f(yi)＝f(

wi

xi

－)59神經(jīng)網(wǎng)絡(luò)的工作原理xi(i=1,2,…,n)是輸入，wi為神經(jīng)元間連接權(quán)值的含義連接權(quán)wij通常在[-1,1]之間取值：

wij>0，稱為正連接，表示神經(jīng)元j對i有激活作用

wij<0，稱為負(fù)連接，表示神經(jīng)元j對i有抑制作用神經(jīng)網(wǎng)絡(luò)的各種學(xué)習(xí)算法的不同特點(diǎn)反映在調(diào)整權(quán)值的原則、方法、步驟和迭代過程的參數(shù)選擇上。60神經(jīng)元間連接權(quán)值的含義連接權(quán)wij通常在[-1,1]之間取值感知器的局限只能解決線性可分問題61感知器的局限只能解決線性可分問題61重復(fù)上述步驟，直到pij-p’ij小于一定的容限。若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：神經(jīng)網(wǎng)絡(luò)中常用的幾種基本學(xué)習(xí)方法BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入樣本－－輸入層－－各隱層－－輸出層事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；4)采用動態(tài)步長；限制連接權(quán)的取值范圍，避免學(xué)習(xí)過程的振蕩；BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整每個單元節(jié)點(diǎn)只取1或0兩種狀態(tài)。函數(shù)一般具有非線性特性。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)wij>0，稱為正連接，表示神經(jīng)元j對i有激活作用在每一次對連接權(quán)及閾值進(jìn)行校正時，按一定比例加上前一次學(xué)習(xí)時的校正量，即慣性項(xiàng)：再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下考慮一感知器，其輸入為X1，X2；計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；一般采用增加隱層中神經(jīng)元數(shù)目的方法來提高精度，其訓(xùn)練效果也更容易觀察和調(diào)整。進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止邏輯異或問題—線性不可分

在二維空間中沒有可分離點(diǎn)集{(0，0)，（1，1）}和{(0，1)，（1，0）}的直線

62重復(fù)上述步驟，直到pij-p’ij小于一定的容限。邏輯異或問邏輯異或問題—線性不可分考慮一感知器，其輸入為X1，X2；權(quán)值為W1，W2；閾值是。為了學(xué)習(xí)這個函數(shù)，網(wǎng)絡(luò)必須找到這樣一組值，它滿足如下的不等式方程：

W1*1＋W2*1<，真值表的第一行；

W1*1＋0>，真值表的第二行；0＋W2*1>,真值表的第三行；0＋0<

或?yàn)檎龜?shù)，真值表的最后一行。此不等式方程組無解，這就證明了感知器不能解決異或問題。問題不是線性可分的，這是異或問題不能用感知器來解決的原因。

63邏輯異或問題—線性不可分考慮一感知器，其輸入為X1，X2；權(quán)BP網(wǎng)絡(luò)學(xué)習(xí)算法初始值選擇前向計(jì)算，求出所有神經(jīng)元的輸出對輸出層計(jì)算從后向前計(jì)算各隱層計(jì)算并保存各權(quán)值修正量：修正權(quán)值：判斷是否滿足結(jié)束條件，不滿足轉(zhuǎn)至2，否則算法結(jié)束64BP網(wǎng)絡(luò)學(xué)習(xí)算法初始值選擇64BP神經(jīng)網(wǎng)絡(luò)求解異或問題網(wǎng)絡(luò)結(jié)構(gòu)設(shè)初始權(quán)值全部為0.5，閾值為0，學(xué)習(xí)率為0.5，輸入層到隱含層，隱含層到輸出值的激活函數(shù)為單極SIGMOID函數(shù)，要求誤差e為0.1Node1Node2Node1Node2Node1X1X2w11w12w21w22w1yw2yyo65BP神經(jīng)網(wǎng)絡(luò)求解異或問題網(wǎng)絡(luò)結(jié)構(gòu)設(shè)初始權(quán)值全部為0.5，閾值BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整輸入樣本（1，1，0）時，求解各對應(yīng)參數(shù)：各神經(jīng)元的輸出66BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整輸入樣本（1，1，0）時，BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整反向傳播調(diào)整各權(quán)值隱含層與輸出層之間的權(quán)值調(diào)整計(jì)算：67BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整反向傳播調(diào)整各權(quán)值67BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整反向傳播調(diào)整各權(quán)值輸入層與隱含層之間的權(quán)值調(diào)整計(jì)算：68BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整反向傳播調(diào)整各權(quán)值68BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整反向傳播調(diào)整各權(quán)值輸入層與隱含層之間的權(quán)值調(diào)整計(jì)算：69BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整反向傳播調(diào)整各權(quán)值69BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整計(jì)算誤差：因?yàn)檎`差沒有達(dá)到預(yù)定要求，進(jìn)入下一輪權(quán)值調(diào)整循環(huán)70BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整計(jì)算誤差：7071BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)(1)多層前向BP網(wǎng)絡(luò)的優(yōu)點(diǎn)：1)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題；2)網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實(shí)例集自動提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力。71BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)(1)多層前向BP網(wǎng)絡(luò)的優(yōu)點(diǎn)：連接權(quán)wij通常在[-1,1]之間取值：(3)利用某一特征函數(shù)f進(jìn)行變換，得到輸出yo：Boltzmann機(jī)2．在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；3).4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。置k=k+1，返回到“2）”。xi(i=1,2,…,n)是輸入，wi為該神經(jīng)元與各輸入間的連接權(quán)值，為閾值，yo為輸出BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法慣性系數(shù)是變量，隨著校正的不斷進(jìn)行，慣性系數(shù)逐漸增大：計(jì)算并保存各權(quán)值修正量：根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)函數(shù)一般具有非線性特性。3).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；激發(fā)函數(shù)又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點(diǎn)）的輸出。4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。它所具有的主要特性為以下兩點(diǎn)：閾值型函數(shù)（見圖（a），（b））1)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有n個神經(jīng)元節(jié)點(diǎn)，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。72(2)多層前向BP網(wǎng)絡(luò)的主要問題：

1)

BP算法的學(xué)習(xí)速度很慢；

2)網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大；

3)難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾；

4)網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定；BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)連接權(quán)wij通常在[-1,1]之間取值：72(2)多層

5)新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個輸入樣本的特征的數(shù)目也必須相同；

6)網(wǎng)絡(luò)的預(yù)測能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)735)新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個輸74(3)BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)

1)增加慣性項(xiàng)；

BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)

在每一次對連接權(quán)及閾值進(jìn)行校正時，按一定比例加上前一次學(xué)習(xí)時的校正量，即慣性項(xiàng)：Δw（n+1）=d+ηΔw（n）η（0<η<1）：慣性系數(shù)，d：本次應(yīng)校正量，Δw（n）：前次校正量。74(3)BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)1)增加慣性項(xiàng)；當(dāng)前一次的校正量過調(diào)時，慣性項(xiàng)與d的符號相反，使本次實(shí)際校正量減??；當(dāng)前一次的校正量欠調(diào)時，慣性項(xiàng)與d的符號相同，使本次實(shí)際校正量增加。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)75當(dāng)前一次的校正量過調(diào)時，慣性項(xiàng)與d的符號相反，使本次BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)慣性系數(shù)是變量，隨著校正的不斷進(jìn)行，慣性系數(shù)逐漸增大：Δw（n+1）=d+η（n+1）Δw（n）η（n+1）=η（n）+Δη一般，取η小于0.9左右。這一改進(jìn)的目的是使被校正量隨著學(xué)習(xí)進(jìn)程的發(fā)展，逐漸沿前一次校正方向變化。也有采用慣性系數(shù)按指數(shù)形式增長的校正方法。改進(jìn)的慣性校正法：76BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)慣性系數(shù)是變量，隨著校正2）S函數(shù)輸出限幅算法連接權(quán)的校正量Δwkj、Δvkj，都與中間層的輸出yj有關(guān)，有yj（1-yj）這一項(xiàng)。當(dāng)yj為1或0時，調(diào)節(jié)量都為0，不起校正作用。在相當(dāng)次數(shù)的學(xué)習(xí)過程中，真正的校正量很小。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)772）S函數(shù)輸出限幅算法連接權(quán)的校正量Δwkj、Δvk為此，限制S函數(shù)的輸出，是加快網(wǎng)絡(luò)校正的有效方法。當(dāng)SBP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)78為此，限制S函數(shù)的輸出，是加快網(wǎng)絡(luò)校正的有效方法。當(dāng)3）累積誤差校正算法：一般的BP算法稱為標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴ǎ@種算法偏離了真正全局誤差意義上的梯度下降。真正的全局誤差意義上的梯度算法，稱為累積誤差校正算法。即分別計(jì)算出M個學(xué)習(xí)模式的一般化誤差，并將這M個誤差進(jìn)行累加，用累加后的誤差校正各層間的連接權(quán)值及各個閾值。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)793）累積誤差校正算法：一般的BP算法稱為標(biāo)準(zhǔn)誤差逆?zhèn)鰾P網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)與標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴ㄏ啾?，每個連接權(quán)與閾值的校正次數(shù)明顯減少（每一次學(xué)習(xí)減少M(fèi)-1次校正），學(xué)習(xí)時間也隨之縮短。問題：將各個學(xué)習(xí)模式的誤差平均化，某些情況下易引起網(wǎng)絡(luò)的振蕩。80BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)與標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴ㄏ啾?，?)采用動態(tài)步長；與其他全局搜索算法相結(jié)合；限制連接權(quán)的取值范圍，避免學(xué)習(xí)過程的振蕩；7)模擬退火算法等。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)814)采用動態(tài)步長；BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)8182

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在實(shí)際應(yīng)用中，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法，確定網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值參數(shù)，來描述給定的映射或逼近一個未知的映射，只能通過學(xué)習(xí)來得到滿足要求的網(wǎng)絡(luò)模型。82神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在實(shí)際應(yīng)用中，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造83神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下(1)獲取訓(xùn)練樣本集

獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是十分重要和關(guān)鍵的一步。它包括訓(xùn)練數(shù)據(jù)的收集、分析、選擇和預(yù)處理等。

(2)選擇網(wǎng)絡(luò)類型與結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。

(3)訓(xùn)練與測試?yán)毛@取的訓(xùn)練樣本對網(wǎng)絡(luò)進(jìn)行反復(fù)訓(xùn)練，直至得到合適的映射結(jié)果。83神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下(1)獲取訓(xùn)練樣本集4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。1代表接通或接受，0表示斷開或拒絕。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師來分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。在設(shè)置各訓(xùn)練樣本時，期望的輸出分量dk不能設(shè)置為1或0。BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。與標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴ㄏ啾?，每個連接權(quán)與閾值的校正次數(shù)明顯減少（每一次學(xué)習(xí)減少M(fèi)-1次校正），學(xué)習(xí)時間也隨之縮短。(3)利用某一特征函數(shù)f進(jìn)行變換，得到輸出yo：計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；一般采用增加隱層中神經(jīng)元數(shù)目的方法來提高精度，其訓(xùn)練效果也更容易觀察和調(diào)整。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整判斷是否滿足結(jié)束條件，不滿足轉(zhuǎn)至2，否則算法結(jié)束輸出層各神經(jīng)元的閾值:3）累積誤差校正算法：人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)845.3反饋神經(jīng)網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個網(wǎng)絡(luò)，儲存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個設(shè)計(jì)的平衡點(diǎn)上。反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合85

離散Hopfield網(wǎng)絡(luò)(1)網(wǎng)絡(luò)的結(jié)構(gòu)和工作方式離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有n個神經(jīng)元節(jié)點(diǎn)，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點(diǎn)沒有自反饋，每個節(jié)點(diǎn)都附有一個閾值。每個節(jié)點(diǎn)都可處于一種可能的狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受的刺激超過其閾值時，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如－1）。85離散Hopfield網(wǎng)絡(luò)(1)網(wǎng)絡(luò)的結(jié)構(gòu)和工作方式868687

連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)也是單層的反饋網(wǎng)絡(luò)。其實(shí)質(zhì)上是一個連續(xù)的非線性動力學(xué)系統(tǒng)，它可以用一組非線性微分方程來描述。當(dāng)給定初始狀態(tài)，通過求解非線性微分方程組即可求得網(wǎng)絡(luò)狀態(tài)的運(yùn)行軌跡。若系統(tǒng)是穩(wěn)定的，則它最終可收斂到一個穩(wěn)定狀態(tài)。87連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)也是88Boltzmann機(jī)(1)Boltzmann機(jī)網(wǎng)絡(luò)結(jié)構(gòu)和工作方式

Boltzmann機(jī)網(wǎng)絡(luò)是一個相互連接的神經(jīng)網(wǎng)絡(luò)模型，具有對稱的連接權(quán)系數(shù)，及wij＝wji且wii=0。網(wǎng)絡(luò)由可見單元和隱單元構(gòu)成?？梢妴卧奢斎?、輸出部分組成。每個單元節(jié)點(diǎn)只取1或0兩種狀態(tài)。1代表接通或接受，0表示斷開或拒絕。當(dāng)神經(jīng)元的輸入加權(quán)和發(fā)生變化時，神經(jīng)元的狀態(tài)隨之更新。各單元之間狀態(tài)的更新是異步的。88Boltzmann機(jī)(1)Boltzma89與Hopfield網(wǎng)絡(luò)相似，Boltzmann機(jī)的實(shí)際運(yùn)行也分為兩個階段：第一階段是學(xué)習(xí)和訓(xùn)練階段，即根據(jù)學(xué)習(xí)樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將知識分布地存儲于網(wǎng)絡(luò)的連接權(quán)中；第二階段是工作階段，即根據(jù)輸入運(yùn)行網(wǎng)絡(luò)得到合適的輸出，這一步實(shí)質(zhì)上是按照某種機(jī)制將知識提取出來。Boltzmann機(jī)89與Hopfield網(wǎng)絡(luò)相似，Boltzmann機(jī)的實(shí)際運(yùn)90(2)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練

網(wǎng)絡(luò)學(xué)習(xí)的目的是通過給出一組學(xué)習(xí)樣本，經(jīng)學(xué)習(xí)后得到Boltzmann機(jī)各種神經(jīng)元之間的連接權(quán)wij.Boltzmann機(jī)網(wǎng)絡(luò)學(xué)習(xí)的步驟可歸納如下：

1).隨機(jī)設(shè)定網(wǎng)絡(luò)的連接權(quán)wij(0)及初始高溫。

2).按照已知的概率p(xα)，依次給定學(xué)習(xí)樣本。在樣本的約束下，按照模擬退火程度運(yùn)行網(wǎng)絡(luò)，直至達(dá)到平衡狀態(tài)，統(tǒng)計(jì)出各pij。在無約束條件下，按同樣的步驟并同樣的次數(shù)運(yùn)行網(wǎng)絡(luò)，統(tǒng)計(jì)出各p’ij。

3).按下述公式修改權(quán)值

wij(k+1)=wij(k)+η(pij-p’ij),η>04).重復(fù)上述步驟，直到pij-p’ij小于一定的容限。90(2)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練915.4神經(jīng)網(wǎng)絡(luò)PID控制盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在的優(yōu)勢，但單純使用神經(jīng)網(wǎng)絡(luò)的控制方法的研究仍有待進(jìn)一步發(fā)展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的控制理論或智能技術(shù)綜合使用。神經(jīng)網(wǎng)絡(luò)在控制中的作用有以下幾種：1．在傳統(tǒng)的控制系統(tǒng)中用以動態(tài)系統(tǒng)建模，充當(dāng)對象模型；2．在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；3．在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計(jì)算作用；4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。915.4神經(jīng)網(wǎng)絡(luò)PID控制盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛92

基于BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制BP神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，而且結(jié)構(gòu)和學(xué)習(xí)算法簡單明確。通過神經(jīng)網(wǎng)絡(luò)自身的學(xué)習(xí)，可以找到某一最優(yōu)控制律下的P，I，D參數(shù)?；贐P神經(jīng)網(wǎng)絡(luò)的PID控制系統(tǒng)結(jié)構(gòu)如圖所示，控制器由兩個部分組成：①經(jīng)典的PID控制器：直接對被控對象進(jìn)行閉環(huán)控制，并且KP,KI,KD三個參數(shù)為在線整定；②神經(jīng)網(wǎng)絡(luò)NN：根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，調(diào)節(jié)PID控制器的參數(shù)，以期達(dá)到某種性能指標(biāo)的最優(yōu)化。即使輸出層神經(jīng)元的輸出狀態(tài)對應(yīng)于PID控制器的三個可調(diào)參數(shù)KP,KI,KD，通過神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定狀態(tài)對應(yīng)于某種最優(yōu)控制律下的PID控制器參數(shù)。92基于BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制939394

基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；

2).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；

3).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；

4).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；

5).計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；

6).計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；

7).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；

8).置k=k+1，返回到“2）”。94基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：95

改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。但實(shí)際上，系統(tǒng)的預(yù)測輸出值是不易直接測得的，通常的做法是建立被控對象的預(yù)測數(shù)學(xué)模型，用該模型所計(jì)算的預(yù)測輸出來取代預(yù)測處的實(shí)測值，以提高控制效果。95改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)用96(1)采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器

96(1)采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器97采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法如下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；

2).用線性系統(tǒng)辨識法估計(jì)出參數(shù)矢量θ(k)，從而形成一步預(yù)報模型式；

3).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；

4).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；

97采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算5).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；6).計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；7).計(jì)算和；8).計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；9).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；10).置k=k+1，返回到“2）”。98采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法如下：

5).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸99(2)采用非線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器99(2)采用非線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器100基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；

2).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；

3).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；

4).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；

5).計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；

6).前向計(jì)算NNM的各層神經(jīng)元的輸入和輸出，NNM的輸出為，計(jì)算修正隱含層和輸出層的權(quán)系數(shù)；

7).計(jì)算；

8).計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；

9).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；

10).置k=k+1，返回到“2）”。100基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：101生物神經(jīng)元模型

人腦大約包含1012個神經(jīng)元，分成約1000種類型，每個神經(jīng)元大約與102～104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時，如此大量的神經(jīng)元與外部之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。101生物神經(jīng)元模型人腦大約包含1012個神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制課件102103人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。103人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦

BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使輸出誤差信號最小。5.2前向神經(jīng)網(wǎng)絡(luò)104BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：輸入樣本－－輸入層－－各隱層－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止105BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：1054)采用動態(tài)步長；與其他全局搜索算法相結(jié)合；限制連接權(quán)的取值范圍，避免學(xué)習(xí)過程的振蕩；7)模擬退火算法等。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)1064)采用動態(tài)步長；BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)106107

改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。但實(shí)際上，系統(tǒng)的預(yù)測輸出值是不易直接測得的，通常的做法是建立被控對象的預(yù)測數(shù)學(xué)模型，用該模型所計(jì)算的預(yù)測輸出來取代預(yù)測處的實(shí)測值，以提高控制效果。107改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)5).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；6).計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；7).計(jì)算和；8).計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；9).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；10).置k=k+1，返回到“2）”。108采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法如下：

5).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸推薦課后閱讀資料SimonHaykin.神經(jīng)網(wǎng)絡(luò)的綜合基礎(chǔ)(第2版).清華大學(xué)出版社,2001

MartinT.Hagan.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì).機(jī)械工業(yè)出版社,2002

推薦課后閱讀資料SimonHaykin.神經(jīng)網(wǎng)絡(luò)的綜合基礎(chǔ)1091105.1概述生物神經(jīng)元模型

人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法25.1概述生物神經(jīng)元模型111生物神經(jīng)元模型

人腦大約包含1012個神經(jīng)元，分成約1000種類型，每個神經(jīng)元大約與102～104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時，如此大量的神經(jīng)元與外部之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。3生物神經(jīng)元模型人腦大約包含1012個神經(jīng)神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制課件1121135114

從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：時空整合功能興奮與抑制狀態(tài)脈沖與電位轉(zhuǎn)換神經(jīng)纖維傳導(dǎo)速度突觸延時和不應(yīng)期學(xué)習(xí)、遺忘和疲勞生物神經(jīng)元模型6從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制課件115否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法可見單元由輸入、輸出部分組成。根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。3）累積誤差校正算法：7)模擬退火算法等。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；5，輸入層到隱含層，隱含層到輸出值的激活函數(shù)為單極SIGMOID函數(shù)，要求誤差e為0.將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。1)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。重復(fù)上述步驟，直到pij-p’ij小于一定的容限。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法前向計(jì)算，求出所有神經(jīng)元的輸出116人工神經(jīng)元模型人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入、單輸出的非線性元件。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入1179118其輸入、輸出關(guān)系可描述為其中，是從其他神經(jīng)元傳來的輸入信號；表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；為閾值；稱為激發(fā)函數(shù)或作用函數(shù)。人工神經(jīng)元模型10其輸入、輸出關(guān)系可描述為人工神經(jīng)元模型W1*1＋W2*1<，真值表的第一行；感知器是一個具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單的前向網(wǎng)絡(luò)。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。輸入樣本－－輸入層－－各隱層－－輸出層對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。{(0，0)，（1，1）}和{(0，1)，（1，0）}的直線2）S函數(shù)輸出限幅算法離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有n個神經(jīng)元節(jié)點(diǎn)，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。慣性系數(shù)是變量，隨著校正的不斷進(jìn)行，慣性系數(shù)逐漸增大：它主要用于模式分類，單層的感知器網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達(dá)到穩(wěn)定。計(jì)算；7)模擬退火算法等。從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（BackPropagation），是一種單向傳播的多層前向網(wǎng)絡(luò)。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)高斯函數(shù)（見圖（f））大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；5，閾值為0，學(xué)習(xí)率為0.119

激發(fā)函數(shù)又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點(diǎn)）的輸出。該輸出取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特性。下圖表示了幾種常見的激發(fā)函數(shù)。

1.閾值型函數(shù)（見圖（a），（b））

2.飽和型函數(shù)（見圖（c））

3.雙曲函數(shù)（見圖（d））

4.S型函數(shù)（見（e））

5.高斯函數(shù)（見圖（f））人工神經(jīng)元模型W1*1＋W2*1<，真值表的第一行12012神經(jīng)元處理活性的理想模式神經(jīng)元處理活性的理想模式121122人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。14人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神123(1).前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（FeedforwardNN）。如圖所示，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。15(1).前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（F12416從學(xué)習(xí)的觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。(1).前饋型神經(jīng)網(wǎng)絡(luò)125從學(xué)習(xí)的觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)126(2).反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)（FeedbackNN）的結(jié)構(gòu)如圖所示。如果總節(jié)點(diǎn)（神經(jīng)元）數(shù)為N，那么每個節(jié)點(diǎn)有N個輸入和一個輸出，也就是說，所有節(jié)點(diǎn)都是一樣的，它們之間都可相互連接。18(2).反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)（Feedbac12719

反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶（Content一AddressibleMemory，CAM）的功能，同時Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。(2).反饋型神經(jīng)網(wǎng)絡(luò)

128反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段129神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主要標(biāo)志，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師來分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。21神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；BP神經(jīng)網(wǎng)絡(luò)求解異或問題的權(quán)值調(diào)整在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。Boltzmann機(jī)網(wǎng)絡(luò)是一個相互連接的神經(jīng)網(wǎng)絡(luò)模型，具有對稱的連接權(quán)系數(shù)，及wij＝wji且wii=0。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法這一改進(jìn)的目的是使被校正量隨著學(xué)習(xí)進(jìn)程的發(fā)展，逐漸沿前一次校正方向變化。采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；判斷是否滿足結(jié)束條件，不滿足轉(zhuǎn)至2，否則算法結(jié)束6)網(wǎng)絡(luò)的預(yù)測能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾。人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止將輸出誤差以某種形式通過隱層向輸入層逐層反傳Δw（n+1）=d+ηΔw（n）感知器是一個具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單的前向網(wǎng)絡(luò)。在模式識別、圖像處理