神經(jīng)網(wǎng)絡(luò)技術(shù)及其在故障診斷中的應(yīng)用

一、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的發(fā)展及特點(diǎn)神經(jīng)網(wǎng)絡(luò)就是用物理上可以實(shí)現(xiàn)的器件、系統(tǒng)或現(xiàn)有的計(jì)算機(jī)來(lái)模擬人腦的結(jié)構(gòu)和功能的人工系統(tǒng)。它由大量簡(jiǎn)單神經(jīng)元經(jīng)廣泛互聯(lián)構(gòu)成一種計(jì)算結(jié)構(gòu)，在某種程度上可以模擬人腦生物神經(jīng)系統(tǒng)的工作過(guò)程。當(dāng)前第1頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)1、神經(jīng)網(wǎng)絡(luò)的發(fā)展神經(jīng)網(wǎng)絡(luò)的發(fā)展可以追溯到一個(gè)世紀(jì)之前。一般將這一百多年的歷史分為三個(gè)階段。自1890年至1969年為初始發(fā)展期；1969年至1986年為發(fā)展的過(guò)渡時(shí)期；自1986年以來(lái)，步入了發(fā)展的高潮期。當(dāng)前第2頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)初始發(fā)展期1890年，美國(guó)生理學(xué)家W.James出版了《生理學(xué)》一書，首次闡明了人腦的結(jié)構(gòu)及其功能，以及一些學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)則。1943年，和W.Pitts根據(jù)已知的神經(jīng)細(xì)胞生物基礎(chǔ)，描述了一個(gè)簡(jiǎn)單的人工神經(jīng)元模型，即后來(lái)的“M－P模型”。當(dāng)前第3頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)1949年發(fā)表了論著《行為自組織》，提出了很多有價(jià)值的觀點(diǎn)。Hebb同時(shí)提出了網(wǎng)絡(luò)學(xué)習(xí)的規(guī)則，從而使神經(jīng)網(wǎng)絡(luò)具有了可塑性。1958年，F(xiàn).Rosenblatt提出了“感知器（perception）”模型，用于模擬一個(gè)生物視覺(jué)模型。這是第一個(gè)真正的神經(jīng)網(wǎng)絡(luò)。當(dāng)前第4頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)過(guò)渡時(shí)期1969年，M.Minsky和S.Paper經(jīng)過(guò)對(duì)“感知器”模型的深入研究，發(fā)表了論著《感知器》，分析了一些簡(jiǎn)單的單層感知器，說(shuō)明這些單層的感知器只能解決線性分類問(wèn)題，對(duì)于非線性或其他的分類則會(huì)遇到很大困難。這個(gè)觀點(diǎn)使得許多專家放棄了對(duì)神經(jīng)網(wǎng)絡(luò)的研究。但在這個(gè)階段，也還有一些研究人員在繼續(xù)進(jìn)行探索。當(dāng)前第5頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)1982年，物理學(xué)家提出了全連接神經(jīng)網(wǎng)絡(luò)，后來(lái)被稱為Hopfield神經(jīng)網(wǎng)絡(luò)，在網(wǎng)絡(luò)的理論分析和綜合上達(dá)到了相當(dāng)?shù)纳疃取ｋm然早期的Hopfield網(wǎng)絡(luò)存在一些問(wèn)題，如，網(wǎng)絡(luò)的權(quán)值固定、不能學(xué)習(xí)、大規(guī)模的網(wǎng)絡(luò)實(shí)現(xiàn)困難，而且無(wú)法克服局部極小點(diǎn)問(wèn)題等等，但Hopfield的研究為神經(jīng)網(wǎng)絡(luò)帶來(lái)了復(fù)興的希望，極大地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。當(dāng)前第6頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)這個(gè)時(shí)期，由等多人組成的并行分布處理研究小組提出了誤差反向傳播神經(jīng)網(wǎng)絡(luò)，即BP網(wǎng)絡(luò)。這是一種按照一定的輸入輸出關(guān)系進(jìn)行自組織的神經(jīng)網(wǎng)絡(luò)。同時(shí)他們還明確揭示了神經(jīng)網(wǎng)絡(luò)的三個(gè)主要屬性，即網(wǎng)絡(luò)模型的結(jié)構(gòu)、神經(jīng)元的輸入輸出變換函數(shù)及算法，對(duì)神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域的推廣應(yīng)用起了很大的作用。BP網(wǎng)絡(luò)目前已成為一種應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)。當(dāng)前第7頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)1987年，在美國(guó)圣地亞哥召開(kāi)了第一屆國(guó)際神經(jīng)網(wǎng)絡(luò)會(huì)議，此后國(guó)際神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)成立。從此，神經(jīng)網(wǎng)絡(luò)技術(shù)的研究呈現(xiàn)出蓬勃活躍的局面，理論研究不斷深入，各種類型的網(wǎng)絡(luò)模型和算法紛紛出現(xiàn)，應(yīng)用范圍不斷擴(kuò)大。發(fā)展高潮期當(dāng)前第8頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)1994年，在美國(guó)奧蘭多首次召開(kāi)IEEE全球計(jì)算智能大會(huì)，此次會(huì)議將模糊算法、神經(jīng)網(wǎng)絡(luò)和遺傳算法三個(gè)領(lǐng)域綜合起來(lái)，有力地促進(jìn)了不同研究領(lǐng)域之間的交叉滲透和共同發(fā)展。當(dāng)前第9頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)2、神經(jīng)網(wǎng)絡(luò)的特點(diǎn)神經(jīng)網(wǎng)絡(luò)具有以下四個(gè)基本特點(diǎn)：（1）廣泛連接的巨型系統(tǒng)。腦科學(xué)已經(jīng)證明人腦是由數(shù)量及其龐大的腦細(xì)胞組成的，每個(gè)細(xì)胞之間又有著及其廣泛復(fù)雜的相互連接。人工神經(jīng)網(wǎng)絡(luò)著眼于模擬人腦，雖然目前還無(wú)法實(shí)現(xiàn)和人腦一樣龐大的結(jié)構(gòu)體系，但從本質(zhì)上說(shuō)，它是一個(gè)廣泛連接的巨型系統(tǒng)。當(dāng)前第10頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（2）分布式存儲(chǔ)信息。神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，信息是以某種形式分布在廣大神經(jīng)元及其相互連接中的。（3）并行處理功能。研究表明，神經(jīng)元之間的信息傳遞是毫秒級(jí)的，比電子開(kāi)關(guān)的速度慢得多；而實(shí)際上人在瞬間就能完成一幅圖像的辨識(shí)。由此可以推斷，人腦對(duì)信息的處理是并行式的。當(dāng)前第11頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（4）自學(xué)習(xí)、自組織和自適應(yīng)功能。學(xué)習(xí)功能是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特征，正是因?yàn)樯窠?jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)能力，才使得它在應(yīng)用中表現(xiàn)出強(qiáng)大的自組織和自適應(yīng)能力。當(dāng)前第12頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)神經(jīng)網(wǎng)絡(luò)技術(shù)的出現(xiàn)，為故障診斷問(wèn)題提供了一種新的解決途徑。特別是對(duì)復(fù)雜系統(tǒng)，由于基于解析模型的故障診斷方法面臨難以建立系統(tǒng)模型的實(shí)際困難，基于知識(shí)的故障診斷方法成了重要的、也是實(shí)際可行的方法。當(dāng)前第13頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)1、神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的基本單元稱為“神經(jīng)元”，它是對(duì)生物神經(jīng)元的簡(jiǎn)化和模擬。當(dāng)前第14頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)生物神經(jīng)元由細(xì)胞體、樹(shù)突和軸突三部分組成。如下圖所示。樹(shù)突是細(xì)胞的輸入端，通過(guò)細(xì)胞體之間連接的節(jié)點(diǎn)“突觸”接受周圍細(xì)胞傳出的神經(jīng)沖動(dòng)；軸突相當(dāng)于細(xì)胞的輸出端，其端部的眾多神經(jīng)末梢為信號(hào)的輸出端子，用于傳出神經(jīng)沖動(dòng)。圖生物神經(jīng)元結(jié)構(gòu)示意圖當(dāng)前第15頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)生物神經(jīng)元具有兩種工作狀態(tài)：“興奮”和“抑制”。當(dāng)傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位升至高于其閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出；反之，若傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位下降至低于閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，就沒(méi)有神經(jīng)沖動(dòng)輸出。當(dāng)前第16頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)基于生物神經(jīng)元的結(jié)構(gòu)和工作特性，對(duì)生物神經(jīng)元進(jìn)行模擬，得到人工神經(jīng)元。如下圖所示。圖中，各變量的下標(biāo)i表示神經(jīng)網(wǎng)絡(luò)中的第i個(gè)神經(jīng)元。該神經(jīng)元是一個(gè)多輸入、單輸出的非線性元件。圖人工神經(jīng)元模型示意圖當(dāng)前第17頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)人工神經(jīng)元的輸入輸出關(guān)系可描述為：其中，xj（j=1～n）為來(lái)自其他神經(jīng)元的輸入信號(hào)；

θi為該神經(jīng)元的閾值；

ωij表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；si表示神經(jīng)元的狀態(tài)；f(·)為某種非線性函數(shù)，它將神經(jīng)元的狀態(tài)si變換成神經(jīng)元的輸出yi，所以稱為神經(jīng)元的輸出函數(shù)或者傳遞函數(shù)。當(dāng)前第18頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)為了便于統(tǒng)一處理，上式可表示為：式中：ωi0＝-θi；x0＝1。當(dāng)前第19頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)神經(jīng)元模型中的傳遞函數(shù)f(·)可以有多種形式。下面介紹幾種常用的形式。（1）閾值單元模型或其中，u(x)表示單位階躍函數(shù)。閾值單元模型的特點(diǎn)是其傳遞函數(shù)為二值函數(shù)，神經(jīng)元的輸出為0，1或者±1。感知器、M-P模型以及最初的Hopfield模型中都采用這種類型的傳遞函數(shù)。當(dāng)前第20頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（2）限幅線性函數(shù)其中，a>0。當(dāng)前第21頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（3）Sigmoid型函數(shù)常用的Sigmoid型函數(shù)有以下兩種：Sigmoid型函數(shù)因其連續(xù)、可微的性質(zhì)，得到了廣泛的應(yīng)用。在BP網(wǎng)絡(luò)中就采用了這種類型的傳遞函數(shù)。當(dāng)前第22頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（4）高斯型函數(shù)基本的高斯型函數(shù)如下：在RBF（徑向基函數(shù)）神經(jīng)網(wǎng)絡(luò)中采用了這種類型的傳遞函數(shù)。當(dāng)前第23頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)2、神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元相互連接而構(gòu)成的網(wǎng)絡(luò)。根據(jù)連接方式的不同，神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)通?？煞殖蓛纱箢悾簩訝罱Y(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)。層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)由若干層組成，其中一層為網(wǎng)絡(luò)的輸入層，另一層為網(wǎng)絡(luò)的輸出層，其余介于輸入層和輸出層之間的則為隱含層。每一層都包括一定數(shù)量的神經(jīng)元。在相鄰層中神經(jīng)元單向連接，而同一層內(nèi)的神經(jīng)元相互之間無(wú)連接關(guān)系。根據(jù)層與層之間有無(wú)反饋連接，層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)可進(jìn)一步分為“前饋網(wǎng)絡(luò)”與“反饋網(wǎng)絡(luò)”兩種類型。當(dāng)前第24頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)前饋網(wǎng)絡(luò)又稱為前向網(wǎng)絡(luò)，其特點(diǎn)是在前后相鄰的兩層之間神經(jīng)元相互連接，在各神經(jīng)元之間沒(méi)有反饋。每個(gè)神經(jīng)元可以從前一層接收多個(gè)輸入，并產(chǎn)生一個(gè)輸出傳遞給下一層的各個(gè)神經(jīng)元，信息只能從輸入層開(kāi)始逐層向前依次傳遞。前饋網(wǎng)絡(luò)可以包括許多層，但三層前饋網(wǎng)絡(luò)即可滿足實(shí)際應(yīng)用的要求。當(dāng)前第25頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)下圖為三層前饋網(wǎng)絡(luò)的結(jié)構(gòu)圖。它包括三個(gè)單層的輸入層、隱含層和輸出層。神經(jīng)網(wǎng)絡(luò)中有計(jì)算功能的節(jié)點(diǎn)稱為計(jì)算單元，因此，前饋網(wǎng)絡(luò)的隱含層和輸出層節(jié)點(diǎn)屬于計(jì)算單元。圖三層前饋網(wǎng)絡(luò)的結(jié)構(gòu)圖當(dāng)前第26頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)反饋網(wǎng)絡(luò)在輸出層和隱含層、或者隱含層和隱含層之間具有反饋連接，即相應(yīng)的節(jié)點(diǎn)同時(shí)接收來(lái)自前面一層單元的輸入和來(lái)自后面節(jié)點(diǎn)的反饋輸入。遞歸神經(jīng)網(wǎng)絡(luò)（recurrentneuralnetwork-RNN）是目前一種常用的反饋網(wǎng)絡(luò)。構(gòu)成遞歸神經(jīng)網(wǎng)絡(luò)模型總的思路是通過(guò)對(duì)前饋網(wǎng)絡(luò)中引入一些附加的內(nèi)部反饋通道來(lái)增強(qiáng)網(wǎng)絡(luò)的信息處理能力。當(dāng)前第27頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)根據(jù)狀態(tài)信息的反饋途徑，可以構(gòu)成兩種基本的遞歸結(jié)構(gòu)模型：Jordan型和Elman型，如下圖所示。（a）Jordan型（b）Elman型圖基本的RNN結(jié)構(gòu)模型當(dāng)前第28頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)又稱為互聯(lián)網(wǎng)絡(luò)，其特點(diǎn)是任何兩個(gè)神經(jīng)元之間都可能存在雙向的連接關(guān)系，所有的神經(jīng)元既作為輸入節(jié)點(diǎn)，同時(shí)又作為輸出節(jié)點(diǎn)。圖網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)輸入信號(hào)要在所有神經(jīng)元之間反復(fù)傳遞，從某一初始狀態(tài)開(kāi)始，經(jīng)過(guò)若干次變化，直到收斂于某一穩(wěn)定狀態(tài)或進(jìn)入周期振蕩等狀態(tài)為止。網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)如下圖所示。當(dāng)前第29頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)3、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)卓越的信息處理能力來(lái)自于網(wǎng)絡(luò)中各神經(jīng)元之間的連接權(quán)值。要模擬人腦的信息處理能力，必須使神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。學(xué)習(xí)的本質(zhì)是調(diào)整各神經(jīng)元之間的連接權(quán)值，而如何調(diào)整連接權(quán)值就構(gòu)成了不同的學(xué)習(xí)算法。當(dāng)前第30頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有兩大類：有導(dǎo)師學(xué)習(xí)和無(wú)導(dǎo)師學(xué)習(xí)。在無(wú)導(dǎo)師學(xué)習(xí)中，沒(méi)有直接的誤差信息，需要建立一個(gè)間接的評(píng)價(jià)函數(shù)，以對(duì)網(wǎng)絡(luò)的某種行為進(jìn)行評(píng)價(jià)。在有導(dǎo)師學(xué)習(xí)方法中，神經(jīng)網(wǎng)絡(luò)的輸出與期望的輸出（即教師值）相比較，然后根據(jù)兩者之間的誤差函數(shù)（又稱為目標(biāo)函數(shù)）來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使誤差函數(shù)達(dá)到最小值。當(dāng)前第31頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)下面介紹幾種常用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則。（1）Hebbian學(xué)習(xí)規(guī)則Hebbian學(xué)習(xí)規(guī)則來(lái)源于Hebb關(guān)于生物神經(jīng)元學(xué)習(xí)過(guò)程的假設(shè)：當(dāng)兩個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)時(shí)，它們之間的連接應(yīng)當(dāng)加強(qiáng)。當(dāng)前第32頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)令ωij表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值，則ωij按下式確定的變化量調(diào)整：此式為有導(dǎo)師的Hebbian學(xué)習(xí)規(guī)則。其中，自變量t表示當(dāng)前時(shí)間；ti(t)為教師信號(hào)；g(·，·)和h(·，·)為適當(dāng)?shù)姆蔷€性函數(shù)。當(dāng)前第33頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)當(dāng)沒(méi)有教師信號(hào)時(shí)，可以設(shè)g(·，·)的函數(shù)值為yi(t)，h(·，·)的函數(shù)值正比于yj(t)，因此，連接權(quán)值的變化量按下式調(diào)整：上式為無(wú)導(dǎo)師的Hebbian學(xué)習(xí)規(guī)則。其中，η>0表示學(xué)習(xí)速率的系數(shù)。當(dāng)前第34頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)在有導(dǎo)師的Hebbian學(xué)習(xí)規(guī)則中，如果g(·，·)的函數(shù)值正比于教師信號(hào)ti(t)與神經(jīng)元i的輸出yi(t)之間的差值，即并且，h(·，·)的函數(shù)值與神經(jīng)元j的輸出yj(t)成正比，即其中，η1>0為系數(shù)。其中，η2>0為系數(shù)。則由Hebbian學(xué)習(xí)規(guī)則可得：上式即為δ學(xué)習(xí)規(guī)則。式中，η>0表示學(xué)習(xí)速率的系數(shù)。（2）Delta（δ）學(xué)習(xí)規(guī)則當(dāng)前第35頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)在δ學(xué)習(xí)規(guī)則中，教師信號(hào)可看作為期望的輸出，式中的δ反映了神經(jīng)網(wǎng)絡(luò)期望輸出和實(shí)際輸出之間的差異。δ學(xué)習(xí)規(guī)則的實(shí)質(zhì)就是通過(guò)迭代計(jì)算逐步調(diào)整網(wǎng)絡(luò)權(quán)值ωij，直到使誤差δ達(dá)到最小。當(dāng)前第36頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則屬于無(wú)導(dǎo)師學(xué)習(xí)方式。它認(rèn)為，神經(jīng)網(wǎng)絡(luò)是由許多“區(qū)域”組成的，各個(gè)區(qū)域包含一定數(shù)量的神經(jīng)元，當(dāng)有外界刺激輸入時(shí)，在同一個(gè)區(qū)域里的各個(gè)神經(jīng)元發(fā)生競(jìng)爭(zhēng)性響應(yīng)，其結(jié)果是只有一個(gè)神經(jīng)元獲勝?gòu)亩_(dá)到興奮狀態(tài)，其余神經(jīng)元?jiǎng)t被抑制。（3）競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則當(dāng)前第37頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)“自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò)”是一種模擬某類生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和現(xiàn)象的人工神經(jīng)網(wǎng)絡(luò)模型。在該類生物神經(jīng)網(wǎng)絡(luò)中存在一種側(cè)抑制現(xiàn)象，即一個(gè)神經(jīng)細(xì)胞興奮后，通過(guò)它的分支會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制。這種側(cè)抑制使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng)，一個(gè)興奮最強(qiáng)的神經(jīng)細(xì)胞對(duì)周圍神經(jīng)細(xì)胞的抑制作用也最強(qiáng)。“競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則”是自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)中的一種基本學(xué)習(xí)規(guī)則。當(dāng)前第38頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)設(shè)j為三層前向網(wǎng)絡(luò)輸入層中某個(gè)神經(jīng)元（j=1~n），i為隱含層神經(jīng)元（i=1~h），且隱含層神經(jīng)元采用Sigmoid型傳遞函數(shù)。假設(shè)整個(gè)隱含層屬于同一個(gè)競(jìng)爭(zhēng)區(qū)域，則競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則如下：式中，表示隱含層神經(jīng)元i的狀態(tài)，表示該神經(jīng)元的輸出；表示輸入層神經(jīng)元j的狀態(tài)，表示該神經(jīng)元的輸出。當(dāng)前第39頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)如果在隱含層中競(jìng)爭(zhēng)的結(jié)果神經(jīng)元k獲勝，則其輸出達(dá)到最大根據(jù)式輸入層所有與該神經(jīng)元相連接的權(quán)值ωij都將發(fā)生變化，其結(jié)果將使ωkj≈yj(sj)，即≈0，從而使權(quán)值的調(diào)整達(dá)到穩(wěn)態(tài)。而此時(shí)其他競(jìng)爭(zhēng)失敗的神經(jīng)元受抑制，其輸出為最?。寒?dāng)前第40頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)二、典型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)反向傳播（BP）網(wǎng)絡(luò)BP（BackPropagation）網(wǎng)絡(luò)是一種最為常用的前饋網(wǎng)絡(luò)，其結(jié)構(gòu)如下圖所示。它有一個(gè)輸入層，一個(gè)輸出層，一個(gè)或多個(gè)隱含層。每一層上包含若干個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)代表一個(gè)神經(jīng)元。同一層上的各個(gè)節(jié)點(diǎn)之間無(wú)耦合連接關(guān)系，信息從輸入層開(kāi)始在各層之間單向傳播，依次經(jīng)過(guò)各隱含層節(jié)點(diǎn)，最后到達(dá)輸出層節(jié)點(diǎn)。圖BP網(wǎng)絡(luò)當(dāng)前第41頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)設(shè)BP網(wǎng)絡(luò)接受的輸入數(shù)據(jù)為n個(gè)，以向量x表示：網(wǎng)絡(luò)產(chǎn)生m個(gè)輸出數(shù)據(jù)，用向量y表示：則網(wǎng)絡(luò)將對(duì)應(yīng)地有n個(gè)輸入節(jié)點(diǎn)、m個(gè)輸出節(jié)點(diǎn)。BP網(wǎng)絡(luò)可視為從n維輸入空間到m維輸出空間地非線性映射，即當(dāng)前第42頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)定理1：給定任一連續(xù)函數(shù)：f：[0，1]n

→Rm，f可以精確地用一個(gè)三層BP網(wǎng)絡(luò)實(shí)現(xiàn)，該網(wǎng)絡(luò)的第一層即輸入層有n個(gè)神經(jīng)元，中間層有（2n＋1）個(gè)神經(jīng)元，第三層即輸出層有m個(gè)神經(jīng)元。該定理反映了映射網(wǎng)絡(luò)的存在性。定理2：給定任意ε>0，對(duì)于任意的L2型連續(xù)函數(shù)f：[0，1]n

→Rm，存在一個(gè)三層BP網(wǎng)絡(luò)，它在任意ε平方誤差精度內(nèi)逼近f。由上述兩個(gè)定理表明，只要用三層的BP網(wǎng)絡(luò)就可實(shí)現(xiàn)L2型連續(xù)函數(shù)?；谶@一結(jié)論，在實(shí)際應(yīng)用中三層BP網(wǎng)絡(luò)已成為最為廣泛應(yīng)用的BP網(wǎng)絡(luò)。當(dāng)前第43頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)在BP網(wǎng)絡(luò)的應(yīng)用中，如何選取BP網(wǎng)絡(luò)的隱含層數(shù)及其節(jié)點(diǎn)數(shù)，目前尚無(wú)準(zhǔn)確的理論和方法。以下是幾個(gè)確定三層BP網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)h的經(jīng)驗(yàn)參考公式：（1）其中，n為輸入神經(jīng)元數(shù)；m為輸出神經(jīng)元數(shù)；a為1～10之間的常數(shù)。（2）當(dāng)前第44頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)BP網(wǎng)絡(luò)的學(xué)習(xí)采用BP算法，即“誤差反向傳播算法”。在BP算法中要用到梯度下降法，下面先介紹梯度下降法，然后再介紹BP算法。梯度下降法梯度下降法源于最優(yōu)化計(jì)算方法，它是各類有導(dǎo)師學(xué)習(xí)算法中最為基本的一種方法。當(dāng)前第45頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)梯度下降法的基本思想是以神經(jīng)網(wǎng)絡(luò)期望的輸出和網(wǎng)絡(luò)實(shí)際輸出之間的誤差平方作為學(xué)習(xí)的目標(biāo)函數(shù)，根據(jù)使其最小化的原則來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)值。定義如下誤差函數(shù)：式中，k為網(wǎng)絡(luò)的離散時(shí)間變量；W為網(wǎng)絡(luò)所有權(quán)值組成的向量；Y（k）為期望的網(wǎng)絡(luò)輸出向量；為網(wǎng)絡(luò)的實(shí)際輸出向量；表示向量的歐幾里德范數(shù)。當(dāng)前第46頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)梯度下降法就是沿著E（W）的負(fù)梯度方向不斷修正W的值，直至使E（W）達(dá)到最小值。式中，η(k)是控制權(quán)值調(diào)整速度的變量，通常和計(jì)算的步長(zhǎng)有關(guān)。用數(shù)學(xué)公式表示為：當(dāng)前第47頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)BP算法設(shè)BP網(wǎng)絡(luò)共有M層（不包括輸入層），第l層的節(jié)點(diǎn)數(shù)為nl，yk(l）表示第l層節(jié)點(diǎn)k的輸出，則yk(l）由下兩式確定：式中，sk(l）為第l層神經(jīng)元k的狀態(tài)，神經(jīng)元的狀態(tài)按式表示，即，（θ為該神經(jīng)元的閾值。）當(dāng)前第48頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)上式采用了向量表示法，其中，Wk(l）為由網(wǎng)絡(luò)權(quán)值組成的系數(shù)行向量，y(l-1)為第l-1層的輸出列向量。輸入層作為第0層處理，因此，y(0)=x，x為網(wǎng)絡(luò)的輸入向量。當(dāng)前第49頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)給定樣本模式{X,Y}后，BP網(wǎng)絡(luò)的權(quán)值將被調(diào)整，使如下的誤差目標(biāo)函數(shù)達(dá)到最?。菏街?，為網(wǎng)絡(luò)的輸出；W表示BP網(wǎng)絡(luò)中所有的權(quán)值；nM為最后一層（輸出層）的節(jié)點(diǎn)數(shù)，因此nM＝m，且。當(dāng)前第50頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)根據(jù)梯度下降最優(yōu)化方法，可以通過(guò)E（W）的梯度來(lái)修正權(quán)值。連至第l層第i個(gè)神經(jīng)元的權(quán)值向量Wi(l)的修正量由下式確定：對(duì)于輸出層（第M層），上式中的為：對(duì)于隱含層為：當(dāng)前第51頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)以上即為BP算法。對(duì)于給定的輸入輸出樣本，按照上述過(guò)程反復(fù)調(diào)整權(quán)值，最終使網(wǎng)絡(luò)的輸出接近期望的輸出。由于權(quán)值的修正是在輸入所有樣本并計(jì)算總體誤差后進(jìn)行的，所以BP算法屬于批處理的方法。當(dāng)前第52頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)BP算法整個(gè)處理過(guò)程可以分為兩個(gè)階段：第二個(gè)階段：對(duì)權(quán)值的修正，從網(wǎng)絡(luò)的輸出層開(kāi)始逐層向后進(jìn)行計(jì)算和修正，這是反向傳播過(guò)程。第一個(gè)階段：從BP網(wǎng)絡(luò)的輸入層開(kāi)始逐層向前計(jì)算，根據(jù)輸入樣本計(jì)算出各層的輸出，最終求出網(wǎng)絡(luò)輸出層的輸出，這是前向傳播過(guò)程；這兩個(gè)過(guò)程反復(fù)交替，直到收斂為止。當(dāng)前第53頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)反向傳播的適用情況正向傳播用于進(jìn)行網(wǎng)絡(luò)計(jì)算，對(duì)其輸入求出它的輸出；反向傳播用于逐層傳遞誤差，修改連接權(quán)值，以使網(wǎng)絡(luò)能進(jìn)行正確的計(jì)算。

一旦網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練用于求解現(xiàn)實(shí)問(wèn)題，則就只需正向傳播，不需要再進(jìn)行反向傳播。

當(dāng)前第54頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)①網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題；②網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力；多層前向BP網(wǎng)絡(luò)的優(yōu)點(diǎn)：③網(wǎng)絡(luò)具有一定的推廣、概括能力。當(dāng)前第55頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)BP算法的實(shí)質(zhì)是梯度下降法，因而可能存在陷入局部極小以及收斂速度慢等問(wèn)題。為了解決這些問(wèn)題，通常采用全局最優(yōu)算法與BP算法相結(jié)合的方法，同時(shí)還可以采取以下措施：②給權(quán)值加以擾動(dòng)。在學(xué)習(xí)的過(guò)程中給權(quán)值加以擾動(dòng)，有可能使網(wǎng)絡(luò)脫離當(dāng)前局部最小點(diǎn)的陷阱；①選擇合適的初始權(quán)值；③在網(wǎng)絡(luò)的學(xué)習(xí)樣本中適當(dāng)加些噪聲，可避免網(wǎng)絡(luò)依靠死記的辦法來(lái)學(xué)習(xí)；多層前向BP網(wǎng)絡(luò)存在的問(wèn)題及采取的措施：當(dāng)前第56頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)④當(dāng)網(wǎng)絡(luò)的輸出與樣本之間的差小于給定的允許誤差范圍時(shí)，則對(duì)此樣本神經(jīng)網(wǎng)絡(luò)不再修正其權(quán)值，以此來(lái)加快網(wǎng)絡(luò)的學(xué)習(xí)速度；⑤適當(dāng)選擇網(wǎng)絡(luò)的大小，盡可能使用三層網(wǎng)絡(luò)，這樣可以避免因?qū)訑?shù)多、節(jié)點(diǎn)數(shù)多、計(jì)算復(fù)雜化而可能導(dǎo)致反向誤差發(fā)散的情況。當(dāng)前第57頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)徑向基函數(shù)（RBF）網(wǎng)絡(luò)徑向基函數(shù)（radialbasisfunction－RBF）網(wǎng)絡(luò)也是一種常用的前饋網(wǎng)絡(luò)，其結(jié)構(gòu)如下圖所示。圖RBF網(wǎng)絡(luò)當(dāng)前第58頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)從結(jié)構(gòu)上看，徑向基函數(shù)（RBF）網(wǎng)絡(luò)它屬于三層前饋網(wǎng)絡(luò)，包括一個(gè)輸入層、一個(gè)輸出層和一個(gè)隱含層。輸入層節(jié)點(diǎn)的作用是將輸入數(shù)據(jù)x1，x2，…，xn傳遞到隱含層節(jié)點(diǎn)；隱含層節(jié)點(diǎn)稱為RBF節(jié)點(diǎn)，由以高斯型傳遞函數(shù)為典型代表的輻射狀函數(shù)神經(jīng)元構(gòu)成；輸出層節(jié)點(diǎn)的傳遞函數(shù)通常為簡(jiǎn)單的線性函數(shù)。當(dāng)前第59頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)隱含層節(jié)點(diǎn)的高斯核函數(shù)對(duì)輸入數(shù)據(jù)將在局部產(chǎn)生響應(yīng)。即當(dāng)輸入數(shù)據(jù)靠近高斯核函數(shù)的中心時(shí)，隱含層節(jié)點(diǎn)將產(chǎn)生較大的輸出；反之則產(chǎn)生較小的輸出。高斯核函數(shù)的表達(dá)式為：式中：x=(x1，x2，…，xn)T是RBF網(wǎng)絡(luò)的輸入數(shù)據(jù)向量；uj是第j個(gè)隱含層節(jié)點(diǎn)的輸出，且uj∈[0，1]；Cj是高斯核函數(shù)的中心值；h為隱含層RBF節(jié)點(diǎn)數(shù)；σj為標(biāo)準(zhǔn)化常數(shù)。當(dāng)前第60頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)RBF網(wǎng)絡(luò)的輸出是隱含層節(jié)點(diǎn)輸出的線性組合，即式中：當(dāng)前第61頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)第一階段：根據(jù)所有輸入樣本決定隱含層各節(jié)點(diǎn)的高斯核函數(shù)的中心值Cj和標(biāo)準(zhǔn)化常數(shù)σj；第二階段：當(dāng)決定了隱含層的參數(shù)后，再根據(jù)樣本，利用最小二乘原則，求出輸出層的權(quán)值向量Wi。RBF網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程分為兩個(gè)階段：當(dāng)前第62頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)Hopfield網(wǎng)絡(luò)是典型的反饋型神經(jīng)網(wǎng)絡(luò)（feedbackneuralnetwork）。Hopfield網(wǎng)絡(luò)在反饋型神經(jīng)網(wǎng)絡(luò)中，輸入數(shù)據(jù)決定了反饋系統(tǒng)的初始狀態(tài)，經(jīng)過(guò)一系列狀態(tài)轉(zhuǎn)移后，系統(tǒng)逐漸收斂至平衡狀態(tài)。這個(gè)平衡狀態(tài)就是反饋型神經(jīng)網(wǎng)絡(luò)經(jīng)計(jì)算后的輸出結(jié)果。當(dāng)前第63頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)穩(wěn)定性是反饋型神經(jīng)網(wǎng)絡(luò)最重要的問(wèn)題之一。如果能找到網(wǎng)絡(luò)的李雅普若夫（Lyapunov）函數(shù)，則可以根據(jù)李雅普若夫穩(wěn)定性定理來(lái)分析、設(shè)計(jì)反饋型神經(jīng)網(wǎng)絡(luò)，進(jìn)而保證網(wǎng)絡(luò)對(duì)任意的初始狀態(tài)都具有穩(wěn)定收斂的性質(zhì)。當(dāng)前第64頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)Hopfield網(wǎng)絡(luò)分連續(xù)型和離散型兩種。連續(xù)型Hopfield網(wǎng)絡(luò)可用如下的非線性微分方程描述：當(dāng)前第65頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)連續(xù)型Hopfield網(wǎng)絡(luò)的非線性微分方程可由相應(yīng)的電路模擬，如下圖所示。圖中，電阻Ri和電容Ci并聯(lián)，以模擬生物神經(jīng)元輸出的時(shí)間常數(shù)；跨導(dǎo)tij模擬生物神經(jīng)元之間互連的突觸特性；運(yùn)算放大器Ai用來(lái)模擬生物神經(jīng)元的非線性特性yi=gi(si)；神經(jīng)元的狀態(tài)（si）和輸出（yi）取電壓量綱，而輸入（xi）取電流量綱。圖連續(xù)型Hopfield網(wǎng)絡(luò)的電路模擬當(dāng)前第66頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)對(duì)于離散型Hopfield神經(jīng)網(wǎng)絡(luò)，考慮由n個(gè)神經(jīng)元構(gòu)成的單層全反饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。其中，θi，si，yj分別表示神經(jīng)元i的閾值、狀態(tài)和輸出；xi為網(wǎng)絡(luò)的第i個(gè)輸入信號(hào)。圖離散的Hopfield神經(jīng)網(wǎng)絡(luò)（單層全反饋型）當(dāng)前第67頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)對(duì)于神經(jīng)元i，其模型方程如下：其中，sgn為符號(hào)函數(shù)。當(dāng)前第68頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)自組織特征映射網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)（self-organizingfeaturemap）是一種典型的自組織神經(jīng)網(wǎng)絡(luò)（self-organizingneuralnetwork）。自組織神經(jīng)網(wǎng)絡(luò)是一種無(wú)教師學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它能夠模擬人類應(yīng)用過(guò)去的經(jīng)驗(yàn)來(lái)自動(dòng)適應(yīng)無(wú)法預(yù)測(cè)的環(huán)境變化的能力。由于沒(méi)有教師信號(hào)，自組織神經(jīng)網(wǎng)絡(luò)通常利用競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則來(lái)進(jìn)行網(wǎng)絡(luò)的學(xué)習(xí)。當(dāng)前第69頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)遞歸神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)（RNN）有完全遞歸和部分遞歸兩種類型。完全遞歸網(wǎng)絡(luò)具有任意的前饋和反饋連接，其所有連接權(quán)值都可修正調(diào)整。部分遞歸網(wǎng)絡(luò)的主體結(jié)構(gòu)仍為前饋型，反饋連接則由一組結(jié)構(gòu)（Context）單元實(shí)現(xiàn)，其連接權(quán)值固定。當(dāng)前第70頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)圖遞歸神經(jīng)網(wǎng)絡(luò)（RNN）基于遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示。在該網(wǎng)絡(luò)中，輸入單元僅起輸入信號(hào)傳輸作用；輸出單元起線性加權(quán)求和作用；結(jié)構(gòu)單元?jiǎng)t記憶前一時(shí)刻的網(wǎng)絡(luò)輸出值，即起延時(shí)算子的作用。Wi，Wo，Wc分別表示輸入層至隱含層、隱含層至輸出層以及結(jié)構(gòu)單元至隱含層的權(quán)值矩陣。當(dāng)前第71頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)設(shè)遞歸神經(jīng)網(wǎng)絡(luò)的輸入向量為：網(wǎng)絡(luò)的輸出向量為：反饋向量為：隱含層節(jié)點(diǎn)的輸出向量為：當(dāng)前第72頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)則遞歸神經(jīng)網(wǎng)絡(luò)的模型可以用下述方程描述：上式中，k為離散時(shí)間變量；θo，θh分別為輸出層和隱含層神經(jīng)元的閾值向量；W為由（Wo，θo，Wi，Wc，θh）組成的整個(gè)網(wǎng)絡(luò)的參數(shù)矩陣。當(dāng)前第73頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)在上述模型方程中，不同的反饋規(guī)則將導(dǎo)致不同的遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：（1）若F(k)＝0，則遞歸神經(jīng)網(wǎng)絡(luò)將退化為普通的前饋網(wǎng)絡(luò)；由于在遞歸神經(jīng)網(wǎng)絡(luò)中引入了遞歸結(jié)構(gòu)，所以能夠?qū)崿F(xiàn)對(duì)先驗(yàn)輸入數(shù)據(jù)的記憶，即通過(guò)遞歸變量F，依據(jù)網(wǎng)絡(luò)輸出層和隱含層的狀態(tài)信息保留系統(tǒng)中過(guò)去的信息。輸出層到隱含層有反饋（3）若F(k)＝V(k-1)，則為Elman型遞歸網(wǎng)絡(luò)。（2）若F(k)＝Y(jié)(k-1)，則為Jordan型遞歸網(wǎng)絡(luò)；隱含層和隱含層之間有反饋當(dāng)前第74頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)三、改進(jìn)型BP算法及其在故障診斷中的應(yīng)用改進(jìn)型BP算法前面我們已經(jīng)介紹了BP網(wǎng)絡(luò)以及BP算法。BP網(wǎng)絡(luò)是一種基本的神經(jīng)網(wǎng)絡(luò)，它在故障診斷中得到了廣泛的應(yīng)用。BP算法具有較為簡(jiǎn)單、清晰、有效的優(yōu)點(diǎn)，但在實(shí)際應(yīng)用中，存在兩個(gè)主要問(wèn)題：一是其收斂速度較慢；二是容易陷入局部極小點(diǎn)。當(dāng)前第75頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)影響B(tài)P算法收斂速度和可能陷入局部極小點(diǎn)的因素很多，主要的影響因素有：隱節(jié)點(diǎn)的數(shù)目、學(xué)習(xí)步長(zhǎng)的選擇、樣本集的預(yù)處理、以及網(wǎng)絡(luò)初始權(quán)值的選擇等。針對(duì)BP算法存在的問(wèn)題，提出了不少改進(jìn)型BP算法，如“變步長(zhǎng)算法”和“引入動(dòng)量因子的改進(jìn)BP算法”等。當(dāng)前第76頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)變步長(zhǎng)算法基本的BP算法是定步長(zhǎng)的，這不利于計(jì)算的快速收斂。變步長(zhǎng)算法的基本思想是：其中，是與步長(zhǎng)有關(guān)的參數(shù)；為步長(zhǎng)的增大、縮小因子。當(dāng)前第77頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)引入動(dòng)量因子的改進(jìn)BP算法考慮一個(gè)三層BP網(wǎng)絡(luò)，設(shè)它有n個(gè)輸入節(jié)點(diǎn)、m個(gè)輸出節(jié)點(diǎn)、h個(gè)隱含層節(jié)點(diǎn)。網(wǎng)絡(luò)的輸入和輸出數(shù)據(jù)分別用向量X和Y來(lái)表示，即：當(dāng)前第78頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)給定樣本集BP網(wǎng)絡(luò)的權(quán)值將被調(diào)整，使如下的誤差目標(biāo)函數(shù)達(dá)到最?。荷鲜街?，為BP網(wǎng)絡(luò)的輸出向量，W∈Rt為BP網(wǎng)絡(luò)中所有權(quán)值組成的權(quán)向量。當(dāng)前第79頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)網(wǎng)絡(luò)的學(xué)習(xí)可歸結(jié)為如下的無(wú)約束最優(yōu)化問(wèn)題：基本的BP算法根據(jù)梯度法來(lái)解決這個(gè)問(wèn)題。權(quán)向量按照誤差函數(shù)E(W)的負(fù)梯度方向來(lái)修正，直到E(W)達(dá)到最小值。因此，權(quán)向量的迭代公式為：上式中，為常數(shù)，表示學(xué)習(xí)的步長(zhǎng)；G(k)為E(W)的負(fù)梯度，即（1）當(dāng)前第80頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)為了加快BP算法的收斂速度，引入動(dòng)量因子，從而將式（1）中的權(quán)向量迭代修正規(guī)則改進(jìn)成為：上式中：它記憶了上一時(shí)刻權(quán)向量的修改方向，從而使式（2）的形式類似于共軛梯度算法。動(dòng)量因子的取值范圍0<<1，它的選取對(duì)網(wǎng)絡(luò)學(xué)習(xí)的收斂速度有著重要的調(diào)節(jié)作用。（2）（1）當(dāng)前第81頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)改進(jìn)型BP算法在船舶主柴油機(jī)冷卻系統(tǒng)故障診斷中的應(yīng)用應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)解決故障診斷問(wèn)題的主要步驟包括：根據(jù)診斷問(wèn)題組織學(xué)習(xí)樣本；根據(jù)問(wèn)題和樣本構(gòu)造神經(jīng)網(wǎng)絡(luò)；選擇合適的學(xué)習(xí)算法和參數(shù)。當(dāng)前第82頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)下面針對(duì)船舶主柴油機(jī)冷卻系統(tǒng)的故障診斷問(wèn)題，介紹基于引入動(dòng)量因子的改進(jìn)型BP算法的應(yīng)用。冷卻系統(tǒng)是船舶主柴油機(jī)系統(tǒng)的一個(gè)子系統(tǒng)，其簡(jiǎn)化的流程如下圖所示。冷卻系統(tǒng)屬于船舶機(jī)艙高溫淡水冷卻回路，它用海水作為冷介質(zhì)，通過(guò)熱交換器去冷卻高溫淡水；經(jīng)冷卻后的高溫淡水再去冷卻主柴油機(jī)；高溫淡水循環(huán)使用，必要時(shí)可通過(guò)淡水柜補(bǔ)充系統(tǒng)中的淡水循環(huán)量。圖船舶主柴油機(jī)冷卻系統(tǒng)流程圖當(dāng)前第83頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)根據(jù)故障機(jī)理分析以及該領(lǐng)域的專家知識(shí)，可以得到冷卻系統(tǒng)的故障征兆集、故障原因集以及它們之間的關(guān)系。T1：淡水溫度（0C）；T2：海水溫度（0C）P1：淡水壓力（MPa）；P2：海水壓力（MPa）Q1：淡水流量（t/hr）；Q2：海水流量（t/hr）以上6個(gè)參數(shù)作為神經(jīng)網(wǎng)絡(luò)的輸入變量。該系統(tǒng)的故障征兆可由以下6個(gè)可測(cè)的工藝參數(shù)表征：當(dāng)前第84頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)該系統(tǒng)常見(jiàn)的故障原因如下：F0：系統(tǒng)正常；F1：氣缸超載F2：氣缸后燃；F3：淡水閥關(guān)閉或損壞F4：淡水泵壓力高；F5：淡水管系泄漏F6：淡水泵壓力高；F7：淡水旁通閥開(kāi)度小F8：淡水管系堵塞；F9：冷卻器管系堵塞F10：海域氣候；F11：海水泵壓力低F12：海水濾器堵塞；F13：海水泵壓力高F14：海水旁通閥開(kāi)度大；F15：海水閥堵塞以上16個(gè)參數(shù)作為神經(jīng)網(wǎng)絡(luò)的輸出變量。用一個(gè)BP網(wǎng)絡(luò)來(lái)處理該系統(tǒng)的故障診斷問(wèn)題，因此，網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)為6；輸出節(jié)點(diǎn)數(shù)為16。將故障征兆和故障原因之間的關(guān)系作為網(wǎng)絡(luò)的學(xué)習(xí)對(duì)象，故障樣本如下表所示。當(dāng)前第85頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)樣本序號(hào)輸入數(shù)據(jù)輸出數(shù)據(jù)故障類型T1P1Q1T2P2Q2Y0Y1Y2Y3Y4Y51NNNNNN100000F02HNNHLL011000F1F23HLNNNN000111F3F4F54LHNNNN000000F6F75HNLNNN000000F8F96LNHNNN000000F67LNNLNN000000F108HNNHNN000000F109HNNNLN000000F11F1210LNNNHN000000F1311HNNNNL000000F14F1512LNNNNH000000F13表中，N，H，L分別表示Normal，High，Low。當(dāng)前第86頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)樣本序號(hào)輸出數(shù)據(jù)故障類型Y6Y7Y8Y9Y10Y11Y12Y13Y14Y1510000000000F020000000000F1F230000000000F3F4F541100000000F6F750011000000F8F961000000000F670000100000F1080000100000F1090000011000F11F12100000000100F13110000000011F14F15120000000100F13當(dāng)前第87頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)為了確定BP網(wǎng)絡(luò)的結(jié)構(gòu)并取得優(yōu)良的故障診斷效果，在設(shè)定允許誤差限度的情況下，針對(duì)三層BP網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)樣本，采用引入動(dòng)量因子的改進(jìn)型BP算法，研究網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)和算法參數(shù)對(duì)學(xué)習(xí)速度的影響，尋求參數(shù)的優(yōu)化。作如下仿真實(shí)驗(yàn)：（1）固定網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)h和學(xué)習(xí)效率，分析動(dòng)量因子對(duì)算法的影響。結(jié)果表明，引入動(dòng)量因子有利于加速學(xué)習(xí)收斂，并且在一定范圍內(nèi)其收斂速度隨的增加而加快。優(yōu)化的動(dòng)量因子為＝0.9。當(dāng)前第88頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（2）固定學(xué)習(xí)效率和動(dòng)量因子，分析BP網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)h對(duì)算法的影響。結(jié)果表明，隱含層節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)學(xué)習(xí)的收斂性也有很大的影響。最佳的隱含層節(jié)點(diǎn)數(shù)為h＝7。（3）選擇優(yōu)化的動(dòng)量因子＝0.9和最佳的隱含層節(jié)點(diǎn)數(shù)h＝7，然后選用不同的學(xué)習(xí)率訓(xùn)練網(wǎng)絡(luò)。結(jié)果表明，當(dāng)較小時(shí)網(wǎng)絡(luò)收斂慢；而取得過(guò)大則又會(huì)出現(xiàn)振蕩而影響收斂。最終確定一個(gè)優(yōu)化的學(xué)習(xí)率＝0.7。當(dāng)前第89頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)以上的參數(shù)優(yōu)化顯著改善了BP網(wǎng)絡(luò)學(xué)習(xí)能力。通過(guò)學(xué)習(xí)訓(xùn)練，BP網(wǎng)絡(luò)獲得了柴油機(jī)冷卻系統(tǒng)故障診斷的知識(shí)，這些知識(shí)隱性地表達(dá)在神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、連接形式和權(quán)值分布之中。當(dāng)前第90頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)引入實(shí)際運(yùn)行中的數(shù)據(jù)對(duì)該神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證：實(shí)驗(yàn)結(jié)果表明：對(duì)于已學(xué)習(xí)過(guò)的樣本知識(shí)，網(wǎng)絡(luò)輸出與期望結(jié)果充分相符，表明該網(wǎng)絡(luò)能夠正確地實(shí)現(xiàn)故障診斷；當(dāng)輸入數(shù)據(jù)在一定范圍內(nèi)偏離樣本知識(shí)時(shí)，網(wǎng)絡(luò)的輸出具有接近樣本輸出的傾向，因而表明神經(jīng)網(wǎng)絡(luò)在故障診斷方面的實(shí)際可用性；對(duì)于遠(yuǎn)遠(yuǎn)偏離樣本的輸入數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)的診斷能力大大下降，甚至可能得出錯(cuò)誤結(jié)論。這表明，采用神經(jīng)網(wǎng)絡(luò)處理故障診斷問(wèn)題，故障診斷機(jī)理的必要知識(shí)起著重要的作用。當(dāng)前第91頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)內(nèi)容補(bǔ)充：基于神經(jīng)網(wǎng)絡(luò)技術(shù)的故障診斷在MATLAB中的實(shí)現(xiàn)一、MATLAB語(yǔ)言簡(jiǎn)介1、MATLAB概述MATLAB誕生于20世紀(jì)70年代，它的編寫者是CleveMoler博士和他的同事們。1984年，CleveMoler和JohnLittle成立了MathWorks公司，正式把MATLAB推向市場(chǎng)，并繼續(xù)進(jìn)行MATLAB開(kāi)發(fā)。當(dāng)前第92頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)1993年，MathWorks公司推出MATLAB4.0；1997年，推出MATLAB5.0；2002年8月，MathWorks公司發(fā)布MATLAB6.5；2004年9月，MathWorks公司發(fā)布MATLAB7；2006年9月，MathWorks公司發(fā)布MATLAB7.2。從06年開(kāi)始，MathWorks公司每年將進(jìn)行兩次產(chǎn)品發(fā)布，時(shí)間分別在每年的3月和9月，而且，每一次發(fā)布都會(huì)包含所有的產(chǎn)品模塊，如產(chǎn)品的newfeature、bugfixes和新產(chǎn)品模塊的推出。當(dāng)前第93頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)MATLAB長(zhǎng)于數(shù)值計(jì)算，能處理大量的數(shù)據(jù)，而且效率比較高。MathWorks公司在此基礎(chǔ)上，加強(qiáng)了MATLAB的符號(hào)計(jì)算、文字處理、可視化建模和實(shí)時(shí)控制能力，增強(qiáng)了MATLAB的市場(chǎng)競(jìng)爭(zhēng)力，使MATLAB成為了市場(chǎng)主流的數(shù)值計(jì)算軟件。當(dāng)前第94頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)2、MATLAB功能MATLAB的核心是一個(gè)基于矩陣運(yùn)算的快速解釋程序，它交互式地接收用戶輸入的各項(xiàng)命令，輸出計(jì)算結(jié)果。MATLAB提供了一個(gè)開(kāi)放式的集成環(huán)境，用戶可以運(yùn)行系統(tǒng)提供的大量命令，包括數(shù)值計(jì)算、圖形繪制和代碼編制等。具體來(lái)說(shuō)，MATLAB具有以下功能：數(shù)據(jù)可視化功能；矩陣運(yùn)算功能；大量的工具箱；繪圖功能；GUI設(shè)計(jì)；Simulink仿真。當(dāng)前第95頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)3、MATLAB語(yǔ)言特點(diǎn)MATLAB語(yǔ)言有不同于其他高級(jí)語(yǔ)言的特點(diǎn)，他被稱為第四代計(jì)算機(jī)語(yǔ)言。MATLAB語(yǔ)言最大的特點(diǎn)就是簡(jiǎn)單快捷。具體來(lái)說(shuō)，MATLAB主要有以下特點(diǎn)：編程效率高：MATLAB是一種面向科學(xué)與工程計(jì)算的高級(jí)語(yǔ)言，允許用數(shù)學(xué)形式的語(yǔ)言來(lái)編寫程序，比Basic、Fortran和C等語(yǔ)言更加接近我們書寫計(jì)算公式的思維方式。用MATLAB語(yǔ)言編寫程序猶如在演算紙上排列出公式與求解問(wèn)題一樣。因此，MATLAB語(yǔ)言也可以通俗地稱為“演算紙”式科學(xué)算法語(yǔ)言。正是由于它編寫簡(jiǎn)單，所以編程效率高，易學(xué)易懂。當(dāng)前第96頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)用戶使用方便：MATLAB語(yǔ)言是一種解釋執(zhí)行的語(yǔ)言，它靈活、方便，調(diào)試手段豐富，調(diào)試速度快。MATLAB語(yǔ)言與其他語(yǔ)言相比，把編輯、編譯、連接和執(zhí)行融為一體。具體地說(shuō)，在運(yùn)行MATLAB時(shí)，如果直接在命令行輸入MATLAB語(yǔ)句（命令），包括調(diào)用M文件的語(yǔ)句，每輸入一條語(yǔ)句，就會(huì)立即對(duì)其進(jìn)行處理，完成編譯、連接和運(yùn)行的全過(guò)程。當(dāng)前第97頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)擴(kuò)充能力強(qiáng)，交互性好：高版本的MATLAB語(yǔ)言擁有豐富的庫(kù)函數(shù)，在進(jìn)行復(fù)雜的數(shù)學(xué)運(yùn)算時(shí)可以直接調(diào)用，而且MATLAB的庫(kù)函數(shù)同用戶文件在形成方式上一樣，所以用戶文件也可以作為庫(kù)函數(shù)被調(diào)用。另外，在Fortran、C語(yǔ)言和MATLAB之間可以方便的調(diào)用，具有良好的交互性。移植性好，開(kāi)放性好：MATLAB是用C語(yǔ)言編寫的，而C語(yǔ)言的可移植性很好。除了內(nèi)部函數(shù)外，MATLAB所有的核心文件和工具箱文件都是公開(kāi)的，用戶可以通過(guò)對(duì)源文件的修改和自己編程構(gòu)成新的工具箱。當(dāng)前第98頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)語(yǔ)句簡(jiǎn)單，內(nèi)涵豐富高效方便的矩陣和數(shù)組運(yùn)算方便的繪圖功能：MATLAB的繪圖功能是十分方便的，它有一系列繪圖函數(shù)（命令），例如線性坐標(biāo)、對(duì)數(shù)坐標(biāo)、半對(duì)數(shù)坐標(biāo)及極坐標(biāo)。在調(diào)用函數(shù)時(shí)，可以通過(guò)調(diào)整自變量繪出不同顏色的點(diǎn)、線、復(fù)線或多重線。當(dāng)前第99頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)二、MATLAB快速入門MATLAB之所以易學(xué)易用，主要在于它向用戶提供了成系列的交互式工作界面。下面，專門介紹MATLAB主窗口中最常用的交互界面。1、命令行窗口（CommandWindow）可以在命令行窗口中輸入MATLAB命令，可以是一個(gè)單獨(dú)的MATLAB語(yǔ)句，也可以是一段利用MATLAB編程功能實(shí)現(xiàn)的代碼。當(dāng)前第100頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)例1：在命令行窗口創(chuàng)建一個(gè)BP神經(jīng)網(wǎng)絡(luò)。net=newff([010],[51],{‘tansig’‘purelin’});例2：輸入一個(gè)簡(jiǎn)單的矩陣。在創(chuàng)建神經(jīng)網(wǎng)絡(luò)時(shí)，經(jīng)常需要用到矩陣，在MATLAB命令行中，矩陣有兩種輸入方式。0102方法1：在命令行中輸入A＝[01;02]。方法2：在命令行中輸入A＝[0102]。當(dāng)前第101頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)函數(shù)plot在利用神經(jīng)網(wǎng)絡(luò)工具箱時(shí)會(huì)被經(jīng)常用到，它是最基本的二維繪圖函數(shù)。plot的基本調(diào)用格式有以下三種。（1）plot（x）（2）plot（x,y）（3）plot（x,y,s）s表示線條的顏色和類型，如‘r+’，表示各點(diǎn)是由紅色的‘+’號(hào)繪制的。如果沒(méi)有特別說(shuō)明，則默認(rèn)的類型為藍(lán)色的線條。當(dāng)前第102頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)例3：繪制三條正弦曲線，其中在第一張圖上繪制兩條，在第二張圖上繪制一條。除plot外，還要用到：holdon:用于保存繪制句柄；holdoff:用于釋放（停止）繪制句柄；figure:用于重開(kāi)一張圖進(jìn)行繪制。x=-5:0.1:5;y1=sin(x);y2=sin(2*x);y3=sin(1.5*x);plot(x,y1);holdonplot(x,y2,'r+');holdofffigureplot(x,y3,'bo')程序：當(dāng)前第103頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)2、命令行歷史窗口（CommandHistory窗口）該窗口中存儲(chǔ)了在命令行窗口中輸入的所有命令。如果想重新執(zhí)行已經(jīng)運(yùn)行過(guò)的命令，該窗口提供了一個(gè)很好的選擇。如果需要重新運(yùn)行該窗口的命令，只需在窗口中選中該命令，然后雙擊鼠標(biāo)即可。3、當(dāng)前路徑窗口（CurrentDirectory窗口）該窗口指定了當(dāng)前的路徑窗口。如果不加改動(dòng)的話，每次啟動(dòng)MATLAB，該窗口默認(rèn)的當(dāng)前為：X:/MATLAB7/work(X為MATLAB的安裝盤符)。當(dāng)前第104頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)4、工作空間瀏覽器（WorkspaceBrowser）工作空間瀏覽器存儲(chǔ)并顯示了當(dāng)前命令行窗口中所有的變量。這些變量是保存在內(nèi)存中的，在MATLAB進(jìn)程結(jié)束以前，一直是活動(dòng)的。在命令行窗口中輸入who和whos，可以查看當(dāng)前內(nèi)存中的所有變量，包括變量的名稱、大小和類型。例4：在命令行窗口輸入who和whos。當(dāng)前第105頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)5、MATLAB幫助系統(tǒng)MATLAB7提供了豐富的幫助資源，有PDF形式，也有網(wǎng)頁(yè)形式。所有的PDF幫助文檔都在安裝過(guò)程中默認(rèn)放置在X:/MATLAB7/help/pdf_doc文件夾，可根據(jù)需要選擇相應(yīng)的幫助文檔進(jìn)行查看。例5：在命令行窗口輸入help。（可顯示所有的幫助主題。）當(dāng)前第106頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)例6：如需要有關(guān)前向型網(wǎng)絡(luò)的創(chuàng)建函數(shù)newff的有關(guān)信息，可在命令行窗口中輸入如下命令：在命令行窗口輸入helpname。（如需要某個(gè)函數(shù)或工具箱的幫助信息，可在命令行輸入該命令。name為需要幫助的函數(shù)或工具箱的名稱。）helpnewff在結(jié)果中，提供了豐富的幫助信息，包括函數(shù)的功能、調(diào)用方法、各參數(shù)的意義、使用過(guò)程中的注意事項(xiàng)和示例，最后還給出了與該函數(shù)相關(guān)的其他函數(shù)的名稱。另外，在MATLAB主窗口中，在【help】菜單下選中【MATLABHelp】命令，即可啟動(dòng)集成式的幫助系統(tǒng)。當(dāng)前第107頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)三、神經(jīng)網(wǎng)絡(luò)工具箱最新版本的神經(jīng)網(wǎng)絡(luò)工具箱幾乎涵蓋了所有的神經(jīng)網(wǎng)絡(luò)的基本常用模型，如感知器、BP網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)等。對(duì)于各種不同的網(wǎng)絡(luò)類型，神經(jīng)網(wǎng)絡(luò)工具箱集成了多種學(xué)習(xí)算法，為用戶提供了極大的方便。另外，工具箱中還給出了大量的示例程序和幫助文檔，能夠快速地幫助用戶掌握工具箱的應(yīng)用方法。目前，神經(jīng)網(wǎng)絡(luò)工具箱中提供的神經(jīng)網(wǎng)絡(luò)模型主要應(yīng)用于：函數(shù)逼近和模型擬合；信息處理和預(yù)測(cè)；神經(jīng)網(wǎng)絡(luò)控制；故障診斷。當(dāng)前第108頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)確定信息表達(dá)方式在實(shí)際應(yīng)用中，面對(duì)一個(gè)具體問(wèn)題，首先需要分析利用神經(jīng)網(wǎng)絡(luò)求解問(wèn)題的性質(zhì)，然后依據(jù)問(wèn)題特點(diǎn)，確定網(wǎng)絡(luò)模型。最后通過(guò)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練、仿真等，檢驗(yàn)網(wǎng)絡(luò)是否滿足要求。具體過(guò)程概括為：將領(lǐng)域問(wèn)題及其相應(yīng)的領(lǐng)域知識(shí)轉(zhuǎn)化為網(wǎng)絡(luò)可以接受并處理的形式，即將領(lǐng)域問(wèn)題抽象為適合于網(wǎng)絡(luò)求解所能接受的某種數(shù)據(jù)形式。網(wǎng)絡(luò)模型的確定根據(jù)問(wèn)題的實(shí)際情況，選擇模型的類型、結(jié)構(gòu)等。當(dāng)前第109頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)網(wǎng)絡(luò)參數(shù)的選擇確定網(wǎng)絡(luò)的輸入輸出神經(jīng)元的數(shù)目，如果是多層網(wǎng)絡(luò)，還需要進(jìn)一步確定隱含層神經(jīng)元的個(gè)數(shù)。訓(xùn)練模式的確定包括選擇合理的訓(xùn)練算法，確定合適的訓(xùn)練步數(shù)，指定適當(dāng)?shù)挠?xùn)練目標(biāo)誤差，以獲得較好的網(wǎng)絡(luò)性能。網(wǎng)絡(luò)測(cè)試選擇合理的測(cè)試樣本，對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試，或者將網(wǎng)絡(luò)應(yīng)用于實(shí)際問(wèn)題，檢驗(yàn)網(wǎng)絡(luò)性能。當(dāng)前第110頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)1、神經(jīng)網(wǎng)絡(luò)工具箱中的通用函數(shù)（1）神經(jīng)網(wǎng)絡(luò)仿真函數(shù)sim該函數(shù)用于對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真，調(diào)用格式：[Y,Pf,Af,E,perf]=sim(net,P,Pi,Ai,T)式中，Y：函數(shù)返回值，網(wǎng)絡(luò)輸出；Pf：函數(shù)返回值，最終輸入延遲；Af：函數(shù)返回值，最終的層延遲；E：函數(shù)返回值，網(wǎng)絡(luò)誤差；perf：函數(shù)返回值，網(wǎng)絡(luò)性能；net：待仿真的神經(jīng)網(wǎng)絡(luò)；P：網(wǎng)絡(luò)輸入；Pi：初始輸入延遲，默認(rèn)為0；Ai：初始的層延遲，默認(rèn)為0；T：網(wǎng)絡(luò)目標(biāo)，默認(rèn)為0。當(dāng)前第111頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（2）神經(jīng)網(wǎng)絡(luò)訓(xùn)練及學(xué)習(xí)函數(shù)1）train該函數(shù)用于對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，調(diào)用格式：[net,tr,Y,E,Pf,Af]=train(NET,P,T,Pi,Ai)式中，NET：待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；P：網(wǎng)絡(luò)的輸入信號(hào)；T：網(wǎng)絡(luò)目標(biāo)，默認(rèn)為0；Pi：初始輸入延遲，默認(rèn)為0；Ai：初始的層延遲，默認(rèn)為0；net：函數(shù)返回值，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)；tr：函數(shù)返回值，訓(xùn)練記錄（包括步數(shù)和性能）；Y：函數(shù)返回值，神經(jīng)網(wǎng)絡(luò)輸出信號(hào)；E：函數(shù)返回值，神經(jīng)網(wǎng)絡(luò)誤差；Pf：函數(shù)返回值，最終輸入延遲；Af：函數(shù)返回值，最終的層延遲。當(dāng)前第112頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)2）trainb該函數(shù)用于對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的訓(xùn)練。它不能直接調(diào)用，而是通過(guò)函數(shù)train隱含調(diào)用。訓(xùn)練之前，需要設(shè)定以下參數(shù)。表：訓(xùn)練參數(shù)訓(xùn)練參數(shù)名稱默認(rèn)值屬性net.trainParam.epochs100最大訓(xùn)練步數(shù)net.trainParam.goal0性能參數(shù)net.trainParam.max_fail5確認(rèn)失敗的最大次數(shù)net.trainParam.show25兩次顯示之間的訓(xùn)練步數(shù)net.trainParam.timeinf最大訓(xùn)練時(shí)間（單位：秒）當(dāng)前第113頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)3）learnp該函數(shù)用于神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的學(xué)習(xí)。4）learnpn該函數(shù)也是一個(gè)神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的學(xué)習(xí)函數(shù)。但它在輸入向量的幅值變化非常大或者存在奇異值時(shí)，其學(xué)習(xí)速度比learnp要快得多。當(dāng)前第114頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)5）adapt該函數(shù)使得神經(jīng)網(wǎng)絡(luò)能夠自適應(yīng)，調(diào)用格式：[net,Y,E,Pf,Af,tr]=adapt(NET,P,T,Pi,Ai)式中，NET：未自適應(yīng)的神經(jīng)網(wǎng)絡(luò)；P：網(wǎng)絡(luò)輸入；T：網(wǎng)絡(luò)目標(biāo)，默認(rèn)為0；Pi：初始輸入延遲，默認(rèn)為0；Ai：初始的層延遲，默認(rèn)為0。net：自適應(yīng)后的神經(jīng)網(wǎng)絡(luò)；Y：網(wǎng)絡(luò)輸出；E：網(wǎng)絡(luò)誤差；Pf：最終輸入延遲；Af：最終的層延遲。tr：訓(xùn)練記錄（包括步數(shù)和性能）。通過(guò)設(shè)定自適應(yīng)的參數(shù)net.adaptParam和自適應(yīng)的函數(shù)net.adaptFunc可調(diào)用該函數(shù)，并返回如下參數(shù)：當(dāng)前第115頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（3）神經(jīng)網(wǎng)絡(luò)初始化函數(shù)1）init該函數(shù)用于對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，調(diào)用格式為：NET=init(net)式中，NET：返回參數(shù)，表示已經(jīng)初始化后的神經(jīng)網(wǎng)絡(luò)；net：待初始化的神經(jīng)網(wǎng)絡(luò)。2）initwb該函數(shù)用于對(duì)一個(gè)層進(jìn)行初始化，它按照設(shè)定的每層的初始化函數(shù)對(duì)每層的權(quán)值和閾值進(jìn)行初始化，調(diào)用格式為：NET=initwb(net,i)式中，net：待初始化的神經(jīng)網(wǎng)絡(luò)；i：層次索引；NET：返回參數(shù)，表示已經(jīng)初始化后的神經(jīng)網(wǎng)絡(luò)。當(dāng)前第116頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)例1：根據(jù)給定的輸入向量P和目標(biāo)向量T，創(chuàng)建一個(gè)感知器網(wǎng)絡(luò)，對(duì)其進(jìn)行訓(xùn)練并初始化。其中，P＝[0101;0011]，T＝[0001]。程序：net=newp([01;-22],1)；創(chuàng)建一個(gè)感知器網(wǎng)絡(luò)net.iw{1,1}；感知器的權(quán)值和閾值net.b{1}P=[0101;0011]T=[0001]net=train(net,P,T)；對(duì)感知器進(jìn)行訓(xùn)練net.iw{1,1}net.b{1}net=init(net)；對(duì)感知器進(jìn)行初始化net.iw{1,1}net.b{1}當(dāng)前第117頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（4）神經(jīng)網(wǎng)絡(luò)輸入函數(shù)1）netsum該函數(shù)是一個(gè)輸入求和函數(shù)，它通過(guò)將某一層的加權(quán)輸入和閾值相加作為該層的輸入。2）netprod該函數(shù)是一個(gè)輸入求積函數(shù)，它通過(guò)將某一層的權(quán)值和閾值相乘作為該層的輸入。3）concur該函數(shù)的作用在于使得本來(lái)不一致的權(quán)值向量和閾值向量的結(jié)構(gòu)一致，以便于進(jìn)行相加或相乘處理。當(dāng)前第118頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)例2：有兩個(gè)加權(quán)輸入向量，z1和z2，調(diào)用函數(shù)netsum將兩者相加，調(diào)用netprod將兩者相乘。程序：z1=[124;341];z2=[-122;-5-61];b=[0;-1];con1=concur(b,3);n1=netsum(z1,z2);n2=netprod(z1,z2);n3=netsum(z1,z2,con1);當(dāng)前第119頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（5）神經(jīng)網(wǎng)絡(luò)傳遞函數(shù)傳遞函數(shù)的作用是將神經(jīng)網(wǎng)絡(luò)的輸入轉(zhuǎn)換為輸出。1）hardlim該函數(shù)為硬限幅傳遞函數(shù)。該函數(shù)的原型函數(shù)為：hardlim（n）=10n≥0n<02）hardlims該函數(shù)為對(duì)稱的硬限幅傳遞函數(shù)。該函數(shù)的原型函數(shù)為：hardlims（n）=1-1n≥0n<0當(dāng)前第120頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)2、BP網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)（1）BP網(wǎng)絡(luò)創(chuàng)建函數(shù)1）newcf該函數(shù)用于創(chuàng)建級(jí)聯(lián)前向BP網(wǎng)絡(luò)。2）newfftd該函數(shù)用于創(chuàng)建一個(gè)存在輸入延遲的前向網(wǎng)絡(luò)。當(dāng)前第121頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)3）newff該函數(shù)用于創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。調(diào)用格式為：net=newff(PR,[S1S2…SN1],{TF1TF2…TFN1},BTF,BLF,PF)式中，net=newff：用于在對(duì)話框中創(chuàng)建一個(gè)BP網(wǎng)絡(luò)；PR：由每組輸入（共有R組輸入）元素的最大值和最小值組成的R×2維的矩陣；Si：第i層的長(zhǎng)度，共計(jì)N1層；TFi：第i層的傳遞函數(shù)，默認(rèn)為“tansig”；BTF：BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為“trainlm”；BLF：權(quán)值和閾值的BP學(xué)習(xí)算法，默認(rèn)為“l(fā)earngdm”；PF：網(wǎng)絡(luò)的性能函數(shù)，默認(rèn)為“mse”。當(dāng)前第122頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（2）神經(jīng)元上的傳遞函數(shù)傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分。傳遞函數(shù)又稱為激活函數(shù)，必須是連續(xù)可微的。BP網(wǎng)絡(luò)常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。1）logsig該傳遞函數(shù)為S型的對(duì)數(shù)函數(shù)。2）tansig該函數(shù)為雙曲正切S型的傳遞函數(shù)。3）purelin該函數(shù)為線性傳遞函數(shù)。當(dāng)前第123頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（3）BP網(wǎng)絡(luò)學(xué)習(xí)函數(shù)1）learngd該函數(shù)為梯度下降權(quán)值／閾值學(xué)習(xí)函數(shù)。它通過(guò)神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)速率，來(lái)計(jì)算權(quán)值或閾值的變化率。2）learngdm該函數(shù)為梯度下降動(dòng)量學(xué)習(xí)函數(shù)。它利用神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)速率和動(dòng)量常數(shù)，來(lái)計(jì)算權(quán)值或閾值的變化率。當(dāng)前第124頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（4）BP網(wǎng)絡(luò)訓(xùn)練函數(shù)1）traingd該函數(shù)為梯度下降BP算法函數(shù)。2）traingdm該函數(shù)為梯度下降動(dòng)量BP算法函數(shù)。此外，MATLAB7神經(jīng)網(wǎng)絡(luò)工具箱中還有一系列訓(xùn)練函數(shù)可用于BP網(wǎng)絡(luò)的訓(xùn)練，如：trainlm：Levenberg-MarquardtBP訓(xùn)練函數(shù)；traingda:自適應(yīng)lrBP的梯度遞減訓(xùn)練函數(shù)；trainoss:一步正切BP訓(xùn)練函數(shù)。當(dāng)前第125頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（5）性能函數(shù)1）mse該函數(shù)為均方誤差性能函數(shù)。2）msereg該函數(shù)也是性能函數(shù)，它通過(guò)兩個(gè)因子的加權(quán)和來(lái)評(píng)價(jià)網(wǎng)絡(luò)的性能。這兩個(gè)因子分別是均方誤差、均方權(quán)值和閾值。當(dāng)前第126頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)（6）顯示函數(shù)1）plotperf該函數(shù)用于繪制網(wǎng)絡(luò)的性能。2）plotes該函數(shù)用于繪制一個(gè)單獨(dú)神經(jīng)元的誤差曲面。3）plotep該函數(shù)用于繪制權(quán)值和閾值在誤差曲面上的位置。當(dāng)前第127頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)4）errsurf該函數(shù)用于計(jì)算單個(gè)神經(jīng)元的誤差曲面。調(diào)用格式為：E=errsurf(P,T,WV,BV,F)式中，P：輸入行向量；T：目標(biāo)行向量；WV：權(quán)值列向量；BV：閾值列向量；F：傳遞函數(shù)的名稱。當(dāng)前第128頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)例3：分析一個(gè)BP網(wǎng)絡(luò)中某個(gè)神經(jīng)元的誤差，并繪制出其誤差曲面與輪廓線。程序：P=[-6-6.1-4.1-444.166.1];T=[000.970.990.010.0311];wv=-1:0.1:1;bv=-2.5:0.25:2.5;es=errsurf(P,T,wv,bv,’logsig’);計(jì)算神經(jīng)元的誤差曲面plotes(wv,bv,es,[60,30]);繪制單個(gè)神經(jīng)元的誤差曲面當(dāng)前第129頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)例4：給出輸入向量P和目標(biāo)向量T，建立一個(gè)BP網(wǎng)絡(luò)，找出P和T之間的關(guān)系。（P=[012345678910];T=[01234321234]）BP網(wǎng)絡(luò)的一個(gè)重要功能是非線性映射的能力，這一功能非常適合函數(shù)逼近，即適合找出兩組數(shù)據(jù)之間的關(guān)系。程序：P=[012345678910];T=[01234321234];net=newff([010],[51],{‘tansig’‘purelin’});創(chuàng)建一個(gè)BP網(wǎng)絡(luò)，網(wǎng)絡(luò)的中間層有5個(gè)神經(jīng)元，傳遞函數(shù)為tansig，輸出層有1個(gè)神經(jīng)元，傳遞函數(shù)為purelin。Y=sim(net,P);訓(xùn)練前對(duì)網(wǎng)絡(luò)進(jìn)行仿真得到的輸出結(jié)果

plot(P,T,P,Y,’o’);繪制訓(xùn)練前網(wǎng)絡(luò)的輸出圖，直線表示輸入向量和目標(biāo)向量之間的函數(shù)關(guān)系，‘o’表示對(duì)訓(xùn)練前的網(wǎng)絡(luò)進(jìn)行仿真得到的輸出，從結(jié)果中可以看出，在訓(xùn)練以前，網(wǎng)絡(luò)的非線性映射性能很差。

當(dāng)前第130頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)=200;net=train(net,P,T);訓(xùn)練函數(shù)取默認(rèn)值trainlmfigure;Y=sim(net,P);plot(P,T,P,Y,’o’);網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后，繪制出訓(xùn)練后的網(wǎng)絡(luò)輸出。直線表示輸入向量和目標(biāo)向量之間的函數(shù)關(guān)系，‘o’表示對(duì)訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行仿真得到的輸出，從結(jié)果中可以看出，網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后，網(wǎng)絡(luò)對(duì)P和T之間的非線性映射關(guān)系的擬合是精確的。

當(dāng)前第131頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)上例中，創(chuàng)建的BP網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)、訓(xùn)練函數(shù)和性能函數(shù)都采用默認(rèn)值，分別為learngdm、trainlm和mse。下面，針對(duì)同一問(wèn)題，建立一個(gè)學(xué)習(xí)函數(shù)為learngd、訓(xùn)練函數(shù)為traingd和性能函數(shù)為msereg的BP網(wǎng)絡(luò)。程序：P=[012345678910];T=[01234321234];net=newff([010],[51],{‘tansig’‘purelin’},’traingd’,’learngd’,’msereg’);=200;net=train(net,P,T);figure;Y=sim(net,P);plot(P,T,P,Y,’o’);仿真結(jié)果：當(dāng)網(wǎng)絡(luò)經(jīng)過(guò)200次訓(xùn)練后，網(wǎng)絡(luò)的輸出誤差比較大，而且網(wǎng)絡(luò)誤差的收斂速度非常慢。這主要是因?yàn)橛?xùn)練函數(shù)traingd為單純的梯度下降訓(xùn)練函數(shù)，訓(xùn)練速度比較慢，而且容易陷入局部最小的情況。當(dāng)前第132頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)在這種情況下，將訓(xùn)練函數(shù)修改為traingdx，該函數(shù)也是梯度下降法訓(xùn)練函數(shù)，但是在訓(xùn)練過(guò)程中，它的學(xué)習(xí)速率是可變的。程序：P=[012345678910];T=[01234321234];net=newff([010],[51],{‘tansig’‘purelin’},’traingdx’,’learngd’,’msereg’);=200;net=train(net,P,T);figure;Y=sim(net,P);plot(P,T,P,Y,’o’);仿真結(jié)果：當(dāng)網(wǎng)絡(luò)經(jīng)過(guò)200次訓(xùn)練后，網(wǎng)絡(luò)的輸出誤差相比來(lái)說(shuō)不是很大，從這里可以看出，采用學(xué)習(xí)速率可變的訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練后網(wǎng)絡(luò)的性能應(yīng)該不錯(cuò)。當(dāng)前第133頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)四、基于神經(jīng)網(wǎng)絡(luò)的故障診斷應(yīng)用實(shí)例下面以某型號(hào)拖拉機(jī)的齒輪箱為工程背景，利用MATLAB的神經(jīng)網(wǎng)絡(luò)工具箱，基于BP網(wǎng)絡(luò)進(jìn)行齒輪箱故障診斷。1、工程描述拖拉機(jī)的很多故障出現(xiàn)于變速箱中齒輪即傳動(dòng)軸等機(jī)械系統(tǒng)中。傳統(tǒng)的齒輪箱故障診斷手段往往依賴于專家的經(jīng)驗(yàn)判斷。但是，由于齒輪箱是一個(gè)非常復(fù)雜的傳動(dòng)機(jī)構(gòu)，它的故障模式和特征向量之間是一種非常復(fù)雜的非線性關(guān)系，僅僅依靠專家經(jīng)驗(yàn)并不能解決所有的診斷問(wèn)題。（一）基于BP網(wǎng)絡(luò)的齒輪箱故障診斷當(dāng)前第134頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)而應(yīng)用神經(jīng)網(wǎng)絡(luò)可以解決這類問(wèn)題。神經(jīng)網(wǎng)絡(luò)的自適應(yīng)、自學(xué)習(xí)和對(duì)非線性系統(tǒng)超強(qiáng)的分析能力，使得它可以適用于齒輪箱的故障診斷。2、輸入和目標(biāo)向量設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)輸入的確定實(shí)際上就是特征向量的提取。對(duì)于特征向量的選取，主要考慮它是否與故障有比較確定的因果關(guān)系，如果輸入/輸出征兆參數(shù)和故障沒(méi)有任何關(guān)系，就不能建立它們之間的聯(lián)系。當(dāng)前第135頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)統(tǒng)計(jì)表明，齒輪箱故障中有60%左右都是由齒輪故障導(dǎo)致的，所以在這里只討論齒輪故障的診斷。對(duì)于齒輪的故障這里選取了頻域中的幾個(gè)特征量。頻域中齒輪故障比較明顯的是在嚙合頻率處的邊緣帶上。所以，在頻域特征信號(hào)的提取中選取了在2、4、6檔時(shí)，在1、2、3軸的邊頻帶族fs±nfz處的幅值A(chǔ)i,j1、Ai,j2和Ai,j3，其中fs表示齒輪的嚙合頻率，fz是軸的轉(zhuǎn)頻，n=1,2,3，i=2,4,6表示檔位，j=1,2,3表示軸的序號(hào)，由于在2軸和3軸上有兩對(duì)齒輪嚙合，所以用1、2分別表示兩個(gè)嚙合頻率。這樣，網(wǎng)絡(luò)的輸入就是一個(gè)15維的向量。當(dāng)前第136頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)由于這些數(shù)據(jù)具有不同的單位和量級(jí)，所以在輸入神經(jīng)網(wǎng)絡(luò)之前應(yīng)該首先進(jìn)行歸一化處理。下表給出了輸入向量的9組數(shù)據(jù)，它們都是已經(jīng)歸一化后的樣本數(shù)據(jù)。數(shù)據(jù)序號(hào)特征樣本齒輪狀態(tài)10.22860.12920.0720.15920.13350.07330.11590.0940.05220.13450.0090.1260.36190.0690.1828無(wú)故障20.2090.09470.13930.13870.25580.090.07710.08820.03930.1430.01260.1670.2450.05080.1328無(wú)故障30.04420.0880.11470.05630.33470.1150.14530.04290.18180.03780.00920.22510.15160.08580.067無(wú)故障40.26030.17150.07020.27110.14910.1330.09680.19110.25450.08710.0060.17930.10020.07890.0909齒根裂紋50.3690.22220.05620.51570.18720.16140.14250.15060.1310.050.00780.03480.04510.07070.088齒根裂紋60.03590.11490.1230.5460.19770.12480.06240.08320.1640.10020.00590.15030.18370.12950.07齒根裂紋表齒輪箱狀態(tài)樣本數(shù)據(jù)當(dāng)前第137頁(yè)\共有169頁(yè)\編于星期四\20點(diǎn)數(shù)據(jù)序號(hào)特征樣本齒輪狀態(tài)70.17590.23470.18290.18110.29220.06550.07740.22730.20560.09250.00780.18520.35010.1680.2668斷齒8