基于人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)探究文獻(xiàn)綜述

1、 基于人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)研究文獻(xiàn)綜述專業(yè)：電子信息工程班級(jí)：08級(jí)2班作者：劉銘指導(dǎo)老師：熊朝松引言隨著多媒體和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展及廣泛應(yīng)用，人工神經(jīng)網(wǎng)絡(luò)已被廣泛運(yùn)用于各種領(lǐng)域，而它的預(yù)測(cè)功能也在不斷被人挖掘著。人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)?，F(xiàn)代計(jì)算機(jī)構(gòu)成單元的速度是人腦中神經(jīng)元速度的幾百萬倍，對(duì)于那些特征明確，推理或運(yùn)算規(guī)則清楚地可編程問題，可以高速有效地求解，在數(shù)值運(yùn)算和邏輯運(yùn)算方面的精確與高速極大地拓展了人腦的能力，從而在信息處理和控制決策等方面為人們提供了實(shí)現(xiàn)智能化和自動(dòng)化的先進(jìn)手段。但由于現(xiàn)有計(jì)算機(jī)是按照馮諾依曼原理，基于程序存取進(jìn)行工作的，歷經(jīng)半個(gè)多世紀(jì)

2、的發(fā)展，其結(jié)構(gòu)模式與運(yùn)行機(jī)制仍然沒有跳出傳統(tǒng)的邏輯運(yùn)算規(guī)則，因而在很多方面的功能還遠(yuǎn)不能達(dá)到認(rèn)得智能水平。隨著現(xiàn)代信息科學(xué)與技術(shù)的飛速發(fā)展，這方面的問題日趨尖銳，促使科學(xué)和技術(shù)專家們尋找解決問題的新出路。當(dāng)人們的思想轉(zhuǎn)向研究大自然造就的精妙的人腦結(jié)構(gòu)模式和信息處理機(jī)制時(shí)，推動(dòng)了腦科學(xué)的深入發(fā)展以及人工神經(jīng)網(wǎng)絡(luò)和鬧模型的研究。隨著對(duì)生物鬧的深入了解，人工神經(jīng)網(wǎng)絡(luò)獲得長(zhǎng)足發(fā)展。在經(jīng)歷了漫長(zhǎng)的初創(chuàng)期和低潮期后，人工神經(jīng)網(wǎng)絡(luò)終于以其不容忽視的潛力與活力進(jìn)入了發(fā)展高潮。這么多年來，它的結(jié)構(gòu)與功能逐步改善，運(yùn)行機(jī)制漸趨成熟，應(yīng)用領(lǐng)域日益擴(kuò)大，在解決各行各業(yè)的難題中顯示出巨大的潛力，取得了豐碩的成果。通過運(yùn)

3、用人工神經(jīng)網(wǎng)絡(luò)建模，可以進(jìn)行預(yù)測(cè)事物的發(fā)展，節(jié)省了實(shí)際要求證結(jié)果所需的研究時(shí)間。正是由于人工神經(jīng)網(wǎng)絡(luò)是一門新興的學(xué)科，它在理論、模型、算法、應(yīng)用和時(shí)限等方面都還有很多空白點(diǎn)需要努力探索、研究、開拓和開發(fā)。因此，許多國(guó)家的政府和企業(yè)都投入了大量的資金，組織大量的科學(xué)和技術(shù)專家對(duì)人工神經(jīng)網(wǎng)絡(luò)的廣泛?jiǎn)栴}立項(xiàng)研究。從人工神經(jīng)網(wǎng)絡(luò)的模擬程序和專用芯片的不斷推出、論文的大量發(fā)表以及各種應(yīng)用的報(bào)道可以看到，在這個(gè)領(lǐng)域里一個(gè)百家爭(zhēng)鳴的局面已經(jīng)形成。為了能深入認(rèn)識(shí)人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)功能，大量收集和閱讀相關(guān)資料是非常必要的。搜集的資料范圍主要是大量介紹人工神經(jīng)網(wǎng)路，以及認(rèn)識(shí)和熟悉了其中重要的BP網(wǎng)絡(luò)。參考的著作有

4、：馬銳的人工神經(jīng)網(wǎng)絡(luò)原理，胡守仁、余少波的神經(jīng)網(wǎng)絡(luò)導(dǎo)論以及一些相關(guān)論文，董軍和胡上序的混沌神經(jīng)網(wǎng)絡(luò)研究進(jìn)展和展望，朱大奇的人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望和宋桂榮的改進(jìn)BP算法在故障診斷中的應(yīng)用，這些著作在后面的參考文獻(xiàn)中將一一列出。我國(guó)人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀隨著人工神經(jīng)網(wǎng)絡(luò)的20世紀(jì)80年代在世界范圍內(nèi)的復(fù)蘇，國(guó)內(nèi)也逐步掀起了研究熱潮，1989年10月和11月分別在北京和廣州召開了神經(jīng)網(wǎng)絡(luò)及其應(yīng)用討論會(huì)和第一屆全國(guó)型號(hào)處理神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議；1990年2月由國(guó)內(nèi)八個(gè)學(xué)會(huì)(中國(guó)電子學(xué)會(huì)、人工智能學(xué)會(huì)、自動(dòng)化學(xué)會(huì)、通信學(xué)會(huì)、物理學(xué)會(huì)、生物物理學(xué)會(huì)和心理學(xué)會(huì))聯(lián)合在北京召開“中國(guó)神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會(huì)議”，這

5、次大會(huì)以“八學(xué)會(huì)聯(lián)盟，探只能奧秘為主題，收到了300多篇學(xué)術(shù)論文”，開創(chuàng)了中國(guó)人工神經(jīng)網(wǎng)絡(luò)及神經(jīng)計(jì)算機(jī)方面科學(xué)研究的新紀(jì)元，經(jīng)過十幾年的發(fā)展，中國(guó)學(xué)術(shù)界和工程界在人工神經(jīng)網(wǎng)絡(luò)的理論研究和應(yīng)用方面取得了豐碩成果，學(xué)術(shù)論文、應(yīng)用成果和研究人員逐年增加。在國(guó)際上，1987年，在美國(guó)加洲召開第一屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)，此后每年召開兩次國(guó)際聯(lián)合神經(jīng)網(wǎng)絡(luò)大會(huì)(UCNN),不久，改學(xué)會(huì)創(chuàng)辦了刊物JournalNeuralNetworks，另有十幾種國(guó)際著名的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物相繼問世。至此，神經(jīng)網(wǎng)絡(luò)理論研究在國(guó)際學(xué)術(shù)領(lǐng)域獲得了其應(yīng)有的地位。經(jīng)過多年的發(fā)展，目前已有上百種的神經(jīng)網(wǎng)絡(luò)模型被提出。這么多年來，它的結(jié)構(gòu)與

6、功能逐步改善，運(yùn)行機(jī)制漸趨成熟，應(yīng)用領(lǐng)域日益擴(kuò)大，在解決各行各業(yè)的難題中顯示出巨大的潛力，取得了豐碩的成果1。正是由于人工神經(jīng)網(wǎng)絡(luò)是一門新興的學(xué)科，它在理論、模型、算法、應(yīng)用和時(shí)限等方面都還有很多空白點(diǎn)需要努力探索、研究、開拓和開發(fā)。因此，許多國(guó)家的政府和企業(yè)都投入了大量的資金，組織大量的科學(xué)和技術(shù)專家對(duì)人工神經(jīng)網(wǎng)絡(luò)的廣泛?jiǎn)栴}立項(xiàng)研究。從人工神經(jīng)網(wǎng)絡(luò)的模擬程序和專用芯片的不斷推出、論文的大量發(fā)表以及各種應(yīng)用的報(bào)道可以看到，在這個(gè)領(lǐng)域里一個(gè)百家爭(zhēng)鳴的局面已經(jīng)形成2。人工神經(jīng)網(wǎng)絡(luò)的基本原理人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)

7、或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)和之間相互聯(lián)接構(gòu)成。神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)多輸入/單輸出的非線性元件。由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)是對(duì)人類神經(jīng)系統(tǒng)的一種模擬。盡管人類神經(jīng)系統(tǒng)規(guī)模宏大、結(jié)構(gòu)復(fù)雜、功能神奇，但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實(shí)際上是通過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運(yùn)算來實(shí)現(xiàn)的。人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元就是模擬生物的神經(jīng)元，神經(jīng)元也和其他類型的細(xì)胞一樣，包括有細(xì)胞膜、細(xì)胞質(zhì)和細(xì)胞核

8、。但是神經(jīng)細(xì)胞的形態(tài)比較特殊，具有許多突起，因此又分為細(xì)胞體、軸突和樹突三部分。細(xì)胞體內(nèi)有細(xì)胞核突起的作用是傳遞信息。232741)2)3)4)圖1簡(jiǎn)單神經(jīng)元網(wǎng)絡(luò)圖細(xì)胞體樹突軸突突觸軸突是由細(xì)胞體向外延伸出的所有纖維中最長(zhǎng)的一條分枝，用來向外傳遞神經(jīng)元產(chǎn)生的輸出電信號(hào)。每個(gè)神經(jīng)元都有一條軸突，其最大長(zhǎng)度可達(dá)1m以上。在軸突的末端形成了許多很細(xì)的分枝，這些分支叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其它神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。所謂功能性接觸，是指非永久性的接觸，這正是神經(jīng)元之間傳遞信息的奧秘之處。樹突是指由細(xì)胞體向外延伸的除軸突以外的其它所有分支。樹突的長(zhǎng)度一般較短，但數(shù)量很多，它是神

9、經(jīng)元的輸入端，用于接受從其它神經(jīng)元的突觸傳來的信號(hào)。2人工神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)2.1BP網(wǎng)絡(luò)BP(BackPropagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)5，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個(gè)過程組成。BP神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)模型包括其輸入輸出模型、作用函數(shù)模型、誤差計(jì)算模型和自學(xué)習(xí)模型。BP算法因其簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)等優(yōu)點(diǎn),是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多也是最成熟的訓(xùn)練算法之一6。2.2RBF網(wǎng)

10、絡(luò)RBF神經(jīng)網(wǎng)絡(luò)是一種具有拓?fù)浣Y(jié)構(gòu)的前向神經(jīng)網(wǎng)絡(luò).由輸入層、隱含層、輸出層構(gòu)。RBF神經(jīng)網(wǎng)絡(luò)以徑向基函數(shù)作為隱層單元的基，構(gòu)成隱含層空間，隱含層對(duì)輸入矢量進(jìn)行變換將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi),使得在低維空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法，由兩部分組成；無導(dǎo)師學(xué)習(xí)、有導(dǎo)師學(xué)習(xí)?？照{(diào)故障空調(diào)系統(tǒng)故障模式及故障機(jī)制分析78，如下表所示:表1空調(diào)系統(tǒng)故障模式及故障機(jī)制分析表示符號(hào)故障模式表示符號(hào)故障原因x1房間溫度均偏咼yiy2y3y4y5y冷凍機(jī)產(chǎn)冷量不足噴水堵塞通過空氣處理設(shè)備的風(fēng)量過大，熱交換不良回風(fēng)量大于送風(fēng)量送風(fēng)量不足（可能空氣過濾氣堵塞）表冷器結(jié)霜，造

11、成堵塞X2相對(duì)濕度均偏低y77.室外空氣未經(jīng)加濕處理X3系統(tǒng)實(shí)測(cè)風(fēng)量大于設(shè)計(jì)風(fēng)量y8y9系統(tǒng)的實(shí)際阻力小于設(shè)計(jì)阻力設(shè)計(jì)時(shí)選用風(fēng)機(jī)容量偏大X4房間氣流速度超過允許流速yioyiiy送風(fēng)口速度過大總送風(fēng)量過大送風(fēng)口的型式不適合空調(diào)系統(tǒng)故障診斷的神經(jīng)網(wǎng)絡(luò)模型分為3層,分別為輸入層、隱含層和輸出層。輸入層節(jié)點(diǎn)個(gè)數(shù)為4,對(duì)應(yīng)于4個(gè)故障現(xiàn)象,輸出層節(jié)點(diǎn)個(gè)數(shù)為12,對(duì)應(yīng)于12個(gè)故障原因。輸出節(jié)點(diǎn)值的大小反映了故障出現(xiàn)的可能性。隱含層節(jié)點(diǎn)的個(gè)數(shù)可參照公式初步選取9：Af:M+N+Q,小結(jié)在理論上.RBF網(wǎng)絡(luò)和BP網(wǎng)絡(luò)一樣能以任意精度逼近任何非線性函數(shù)。但由于它們使用的激勵(lì)函數(shù)不同，其逼近性能也不相同。Pogg

12、io和Girosi已經(jīng)證明，RBF網(wǎng)絡(luò)是連續(xù)函數(shù)的最佳逼近，而BP網(wǎng)絡(luò)不是。BP網(wǎng)絡(luò)使用的Sigmoid函數(shù)具有全局特性，它在輸入值的很大范圍內(nèi)每個(gè)節(jié)點(diǎn)都對(duì)輸出值產(chǎn)生影響，并且激勵(lì)函數(shù)在輸入值的很大范圍內(nèi)相互重疊，因而相互影響，因此BP網(wǎng)絡(luò)訓(xùn)練過程很長(zhǎng)。此外，由于BP算法的固有特性，BP網(wǎng)絡(luò)容易陷入局部極小的問題不可能從根本上避免，并且BP網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)目的確定依賴于經(jīng)驗(yàn)和試湊，很難得到最優(yōu)網(wǎng)絡(luò)。采用局部激勵(lì)函數(shù)的RBF網(wǎng)絡(luò)在很大程度上克服了上述缺點(diǎn)，RBF不僅有良好的泛化能力，而且對(duì)于每個(gè)輸入值，只有很少幾個(gè)節(jié)點(diǎn)具有非零激勵(lì)值，因此只需很少部分節(jié)點(diǎn)及權(quán)值改變。學(xué)習(xí)速度可以比通常的BP算法提高

13、上千倍,容易適應(yīng)新數(shù)據(jù)，其隱層節(jié)點(diǎn)的數(shù)目也在訓(xùn)練過程中確定，并且其收斂性也較BP網(wǎng)絡(luò)易于保證，因此可以得到最優(yōu)解1011。從上面所示的結(jié)果來看，主要有一下幾方面的不同：由于學(xué)習(xí)速率是固定的，因此BP網(wǎng)絡(luò)的訓(xùn)練過程較長(zhǎng)，當(dāng)需要處理較復(fù)雜的問題時(shí)，需要的時(shí)間很長(zhǎng)。而RBF網(wǎng)絡(luò)的建網(wǎng)過程即是訓(xùn)練過程此外，訓(xùn)練時(shí)間較少.精度也比較高。在處理同一問題時(shí)，通常情況BP網(wǎng)絡(luò)所需的神經(jīng)元個(gè)數(shù)比RBF網(wǎng)絡(luò)要少。BP網(wǎng)絡(luò)的輸出和初始的權(quán)值有關(guān)，而RBF網(wǎng)絡(luò)的輸出與初始的權(quán)值無關(guān)。RBP網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇要憑借經(jīng)驗(yàn)反復(fù)驗(yàn)證，因此網(wǎng)絡(luò)的冗余性比較大。RBF隱層節(jié)點(diǎn)的數(shù)目也在訓(xùn)練過程中確定。但是要確定徑向基

14、函數(shù)的分布密度。人工神經(jīng)網(wǎng)絡(luò)近來越來越受到人們的關(guān)注，因?yàn)樗鼮榻鉀Q大復(fù)雜度問題提供了一種相對(duì)來說比較有效的簡(jiǎn)單方法?？梢酝ㄟ^神經(jīng)網(wǎng)絡(luò)對(duì)事物進(jìn)行預(yù)測(cè)從而用簡(jiǎn)單的方法完成復(fù)雜的問題。研究不足人工神經(jīng)網(wǎng)絡(luò)是一個(gè)新興學(xué)科，因此還存在許多問題。其主要表現(xiàn)有：受到腦科學(xué)研究的限制：由于生理實(shí)驗(yàn)的困難性，因此目前人類對(duì)思維和記憶機(jī)制的認(rèn)識(shí)還很膚淺，還有很多問題需要解決；還沒有完整成熟的理論體系；還帶有濃厚的策略和經(jīng)驗(yàn)色彩；與傳統(tǒng)技術(shù)的接口不成熟。上述問題的存在，制約了人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展。相信只要能客服這些局限性，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展將不可限量。參考文獻(xiàn)朱大奇.人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望N.江南大學(xué)學(xué)報(bào)，2004:103108.董軍，胡上序.混沌神經(jīng)網(wǎng)絡(luò)研究進(jìn)展和展望J.信息與控制，1997(5):360368.韓力群人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用M.北京:化學(xué)工業(yè)出版社,2002.馬銳.人工神經(jīng)網(wǎng)絡(luò)原理M.北京:機(jī)械工業(yè)出版社.2010.胡守仁，余少波，戴葵.神經(jīng)網(wǎng)絡(luò)導(dǎo)M.長(zhǎng)沙：國(guó)防科技大學(xué)出版社,1992.胡金濱，唐旭清.人工神經(jīng)網(wǎng)絡(luò)的BP算法及其應(yīng)用J.信息技術(shù),2004：14.余江海.一種制冷