人工神經(jīng)網(wǎng)絡(luò)綜述精編版

1、rN/rcQia口TTN/rvaN/rcwQCQ入/rcv口1人工神經(jīng)網(wǎng)絡(luò)綜述崔洋洋摘要：神經(jīng)網(wǎng)絡(luò)近幾十年的飛速發(fā)展，激起了不同學科與領(lǐng)域的科學家的濃厚興趣.它的產(chǎn)生與發(fā)展必將子科學和信息科學發(fā)生革命性的變化.從神經(jīng)網(wǎng)絡(luò)的定義、特點及發(fā)展意義等方面，對神經(jīng)網(wǎng)絡(luò)進行了綜關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；權(quán)值；輸入輸出；信息Abstract：neuralnetwork；weightvalue；inputandoutput；information1前言人工神經(jīng)網(wǎng)絡(luò)是模仿生理神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能而設(shè)計的一種信息處理系統(tǒng)。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)1。大量

2、的人工神經(jīng)元以一定的規(guī)則連接成神經(jīng)網(wǎng)絡(luò)，神經(jīng)元之間的連接及各連接權(quán)值的分布用來表示特定的信息。神經(jīng)網(wǎng)絡(luò)分布式存儲信息，具有很高的容錯性。每個神經(jīng)元都可獨立的運算和處理接收到的信息并輸出結(jié)果，網(wǎng)絡(luò)具有并行運算能力，實時性非常強。神經(jīng)網(wǎng)絡(luò)對信息的處理具有自組織、自學習的特點，便于聯(lián)想、綜合和推廣。神經(jīng)網(wǎng)絡(luò)以其優(yōu)越的性能應(yīng)用在人工智能、計算機科學、模式識別、控制工程、信號處理、聯(lián)想記憶等極其廣泛的領(lǐng)域2。2概述定義國際著名的神經(jīng)網(wǎng)絡(luò)專家、第一個計算機公司的創(chuàng)始人和神經(jīng)網(wǎng)絡(luò)實現(xiàn)技術(shù)的研究領(lǐng)導人Hecht-Nielson給神經(jīng)網(wǎng)絡(luò)的定義是：“神經(jīng)網(wǎng)絡(luò)是一個以有向圖為拓撲結(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)

3、式的輸入作狀態(tài)響應(yīng)而進行信息處理”3。神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的、同時也是很簡單的處理單元(或稱神經(jīng)元)，通過廣泛地互相連接而形成的復雜網(wǎng)絡(luò)系統(tǒng)。雖然每個神經(jīng)元的結(jié)構(gòu)和功能十分簡單，但由大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)的行為確是豐富多彩和十分復雜的。神經(jīng)網(wǎng)絡(luò)系統(tǒng)是一個高度復雜的非線性動力學系統(tǒng)，不但具有一般非線性系統(tǒng)的共性，更主要的是它還具有自己的特點，比如高維性、神經(jīng)元之間的廣泛互連性以及自適應(yīng)性或自組織性4。22基本原理人工神經(jīng)元模型神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，是生物神經(jīng)元的抽象、簡化和模擬。抽象是從數(shù)學角度而言，模擬是以神經(jīng)元的結(jié)構(gòu)和功能而言。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和工作機理基本上是以人腦

4、的組織結(jié)構(gòu)和活動律為背景的，它反映了腦的某些基本特征，但并不是要對人腦部分的真正實現(xiàn)，可以說它是某種抽象、簡化或模仿。如果將大量功能簡單的形式神經(jīng)元通過一定的拓撲結(jié)構(gòu)組織起來，構(gòu)成群體并行分布式處理的計算結(jié)構(gòu)，那么這種結(jié)構(gòu)就是人工神經(jīng)網(wǎng)絡(luò)，在不引起混淆的情況下，統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)5。2.3人工神經(jīng)網(wǎng)絡(luò)的基本屬性非線性：人腦的思維是非線性的，故人工神經(jīng)網(wǎng)絡(luò)模擬人的思維也應(yīng)是非線性的。非局域性：非局域性是人的神經(jīng)系統(tǒng)的一個特性，人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡(luò)以大量的神經(jīng)元連接模擬人腦的非局域性，它的分布存儲是非局域性的一種表現(xiàn)。(C)非定常性：神經(jīng)網(wǎng)絡(luò)是模擬人腦思維運動的動力學系統(tǒng)，它應(yīng)

5、按不同時刻的外界刺激對自己的功能進行修改，故而它是一個時變的系統(tǒng)。(d)非凸性：神經(jīng)網(wǎng)絡(luò)的非凸性即是指它有多個極值，也即系統(tǒng)具有不只一個的較穩(wěn)定的平衡狀態(tài)，這種屬性會使系統(tǒng)的演化多樣化。2.4人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元廣泛互連而成的系統(tǒng)，它的這一結(jié)構(gòu)特點決定著人工神經(jīng)網(wǎng)絡(luò)具有高速信息處理的能力。人腦有10101012個神經(jīng)元】7大腦皮層中一個神經(jīng)元可以和其他神經(jīng)元有1萬以上的聯(lián)系，腦中突觸的總數(shù)至少有10121014個。雖然每個神經(jīng)元的運算功能十分簡單，且信號傳輸速率也較低(大約100次/秒)，但由于各神經(jīng)元之間的極度并行互連功能，最終使得一個普通人的大腦在約1秒內(nèi)就能完成

6、現(xiàn)行計算機至少需要數(shù)10億次處理步驟才能完成的任務(wù)。人工神經(jīng)網(wǎng)絡(luò)的知識存儲容量很大。在神經(jīng)網(wǎng)絡(luò)中，知識與信息的存儲表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系。它分散地表示和存儲于整個網(wǎng)絡(luò)內(nèi)的各神經(jīng)元及其連線上。每個神經(jīng)元及其連線只表示一部分信息，而不是一個完整具體概念。只有通過各神經(jīng)元的分布式綜合效果才能表達出特定的概念和知識。由于人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個數(shù)眾多以及整個網(wǎng)絡(luò)存儲信息容量的巨大，使得它具有很強的不確定性信息處理能力。即使輸入信息不完全、不準確或模糊不清，神經(jīng)網(wǎng)絡(luò)仍然能夠聯(lián)想思維存在于記憶中的事物的完整圖象。只要輸入的模式接近于訓練樣本，系統(tǒng)就能給出正確的推理結(jié)論。正是因為人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特

7、點和其信息存儲的分布式特點，使得它相對于其它的判斷識別系統(tǒng)，如：專家系統(tǒng)等，具有另一個顯著的優(yōu)點：魯棒性。生物神經(jīng)網(wǎng)絡(luò)不會因為個別神經(jīng)元的損失而失去對原有模式的記憶。最有力的證明是，當一個人的大腦因意外事故受輕微損傷之后，并不會失去原有事物的全部記憶。10人工神經(jīng)網(wǎng)絡(luò)也有類似的情況。因某些原因，無論是網(wǎng)絡(luò)的硬件實現(xiàn)還是軟件實現(xiàn)中的某個或某些神經(jīng)元失效，整個網(wǎng)絡(luò)仍然能繼續(xù)工作。人工神經(jīng)網(wǎng)絡(luò)同現(xiàn)行的計算機不同，是一種非線性的處理單元。只有當神經(jīng)元對所有的輸入信號的綜合處理結(jié)果超過某一門限值后才輸出一個信號。因此神經(jīng)網(wǎng)絡(luò)是一種具有高度非線性的超大規(guī)模連續(xù)時間動力學系統(tǒng)。它突破了傳統(tǒng)的以線性處理為基礎(chǔ)

8、的數(shù)字電子計算機的局限，標志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。2.5神經(jīng)網(wǎng)絡(luò)主要模型BP網(wǎng)絡(luò)的數(shù)學模型BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡(luò)，是目前應(yīng)用最廣泛的之一】12。BP網(wǎng)絡(luò)能學習和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學。它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的最小。如BP網(wǎng)絡(luò)示意圖所示，BP神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)包括輸入(input)、隱層(hiddenlayer)和輸出(outp

9、utlayer)。BP網(wǎng)絡(luò)是有導師學習。在學習時，需要輸入一批學習樣本，根據(jù)輸入數(shù)據(jù)值和指定的算法，經(jīng)過中間層轉(zhuǎn)換函數(shù)的計算后，計算的結(jié)果與期望輸出值比較，若沒達到要求的精確度，則誤差反向傳播到各層神經(jīng)元，并在反向傳播過程中修正權(quán)值，再進行網(wǎng)絡(luò)訓練，直到達到要求的精確度為止。誤差反向傳播神經(jīng)網(wǎng)絡(luò)模型的輸出僅由當前輸入和權(quán)值決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無關(guān)。LALBLC圖簧郎網(wǎng)絡(luò)示意圖opfield網(wǎng)絡(luò)的數(shù)字模型f$98(年，美國加州工學院Hopfie夠教授發(fā)表了一篇對神經(jīng)網(wǎng)絡(luò)研究頗具影響的論文，提出了一種后來被人們稱之為Hopfield網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型。隱含輸岀Hopfield網(wǎng)絡(luò)是由相同的

10、神經(jīng)元構(gòu)成的單層，并且不具學習功能的自聯(lián)想網(wǎng)絡(luò)。級這一模型是一個由N個節(jié)點全部互聯(lián)網(wǎng)而構(gòu)成的一個反饋型動態(tài)網(wǎng)絡(luò)，由它可以實現(xiàn)聯(lián)想記憶，并能進行優(yōu)化問題求解，因而受到人們的高度重視。隨機型BM網(wǎng)絡(luò)BM網(wǎng)絡(luò)是一種具有對稱聯(lián)接權(quán)的隨機神經(jīng)網(wǎng)絡(luò)。從結(jié)構(gòu)上講，BM網(wǎng)絡(luò)可看成寫Hopfield網(wǎng)絡(luò)的推廣與變形。16自適應(yīng)共振神經(jīng)網(wǎng)絡(luò)模型(ART)自適應(yīng)共振神經(jīng)網(wǎng)絡(luò)(AdaptiveResonanceTheory)是1976年由和提出的，它是一種能對任意序列輸入模式產(chǎn)生的識別代碼進行自動化的神經(jīng)網(wǎng)絡(luò)機構(gòu)173神經(jīng)網(wǎng)絡(luò)研究意義神經(jīng)網(wǎng)絡(luò)是在許多學科的基礎(chǔ)上發(fā)展起來的，它的研究深入必然會帶動其它相關(guān)學科的發(fā)展。許

11、多現(xiàn)代科學理論的創(chuàng)導者對腦的功能和神經(jīng)網(wǎng)絡(luò)都有著強烈的興趣，并從中得到了不少啟示，創(chuàng)導或發(fā)展了許多新理論。馮諾伊曼曾發(fā)表多次講演，談到計算機和大腦在結(jié)構(gòu)和功能上的異同，對它們從元件特性到系統(tǒng)結(jié)構(gòu)進行了詳盡比較。Mc-culloch和Pitts提出的形式神經(jīng)元模型導致了有限自動機理論的發(fā)展，是最終促成第一臺馮諾伊曼電子計算機誕生的重要因素之一O19NorbertWiener的控制論一書就是專門討論動物和機器的控制和通信問題的。他本人對神經(jīng)系統(tǒng)中若干問題進行過探索，例如興奮波在可興奮組織中的傳導，神經(jīng)系統(tǒng)中的節(jié)律現(xiàn)象等。晚年他專心于神經(jīng)控制論研究，對感官代償?shù)葐栴}抱有強烈興趣。信息論的奠基人Cla

12、udeElwoodShannon也曾探索過人的智力放大問題。我國著名學者錢學森在他的工程控制論中，專辟章節(jié)論述生物體的調(diào)節(jié)控制和神經(jīng)網(wǎng)絡(luò)問題。因此，早在20世紀40、50年代，神經(jīng)系統(tǒng)的功能研究已經(jīng)引起這些現(xiàn)代科學理論開拓者的興趣，并對他們各自理論的產(chǎn)生創(chuàng)立理論基礎(chǔ)。21神經(jīng)生物學家也正在期待著另一次理論的飛躍，這將使他們能夠解釋已知的各種現(xiàn)象，并提出可由實驗室驗證的假說。雖然他們已積累了大量關(guān)于大腦組成、大腦外形以及大腦運轉(zhuǎn)基本要素等知識，但他們?nèi)匀唤獯鸩涣擞嘘P(guān)大腦信息處理的一些實質(zhì)性問題。而建立的對認知過程的一種定量描述，則為神經(jīng)科學家提出了一個獨一無二的機會來發(fā)展和驗證大腦的工作原理。2

13、2神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，推動了理論神經(jīng)科學的產(chǎn)生和發(fā)展，為計算神經(jīng)科學提供了必要的理論和模型。同時，也促進腦科學向定量、精確和理論化方向發(fā)展。以神經(jīng)網(wǎng)絡(luò)研究為開端，整個學術(shù)界對計算的概念和作用有了新的認識和提高。計算并不局限于數(shù)學中，并不僅僅采取邏輯的、離散的形式，而且大量的運算表現(xiàn)在對模糊的低精度的模擬量的并行計算。23對于后一類計算，傳統(tǒng)的計算機無法施展其威力。神經(jīng)網(wǎng)絡(luò)的數(shù)學理論本質(zhì)上是非線性的數(shù)學理論，因此，現(xiàn)代非線性科學方面的進展必將推動神經(jīng)網(wǎng)絡(luò)的研究，同時，神經(jīng)網(wǎng)絡(luò)理論也會對非線性科學提出新課題。神經(jīng)網(wǎng)絡(luò)研究的對象是神經(jīng)系統(tǒng)，這是高度進化的復雜系統(tǒng)，也是系統(tǒng)科學中一個重要的具體領(lǐng)域。2

14、4神經(jīng)網(wǎng)絡(luò)研究不僅重視系統(tǒng)的動態(tài)特性，而且強調(diào)事件和信息在系統(tǒng)內(nèi)部的表達和產(chǎn)生。25神經(jīng)網(wǎng)絡(luò)在國民經(jīng)濟和國防科技現(xiàn)代化建設(shè)中具有廣闊的應(yīng)用領(lǐng)域和應(yīng)用前景。主要應(yīng)用領(lǐng)域有：語音識別、圖像識別與理解、計算機視覺、智能機器人、故障機器人、故障檢測、實施語言翻譯、企業(yè)管理、市場分析、決策優(yōu)化、物資調(diào)運自適應(yīng)控制、專家系統(tǒng)、智能接口、神經(jīng)生理學、心理學和認知科學研究等等。隨著神經(jīng)網(wǎng)絡(luò)理論研究的深入以及網(wǎng)絡(luò)計算能力的不斷拓展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域?qū)粩嗤卣?，?yīng)用水平將會不斷提高，最終達到神經(jīng)網(wǎng)絡(luò)系統(tǒng)可用來幫人做事的目的，這也是神經(jīng)網(wǎng)絡(luò)研究的最終目標。26神經(jīng)網(wǎng)絡(luò)研究在近十幾年取得了引人注目的進展，從而激起

15、了不同學科與領(lǐng)域的科學家和企業(yè)家的巨大熱情和濃厚的興趣。我們相信，神經(jīng)網(wǎng)絡(luò)將使電子科學和信息科學產(chǎn)生革命性的變革。27自1982年Hopfield發(fā)表了關(guān)于自反饋神經(jīng)網(wǎng)絡(luò)的論文以及Rumelhar等人提出BP算法以來，在世界范圍內(nèi)再度掀起研究神經(jīng)網(wǎng)絡(luò)的熱潮。二十多年過去了，人們不但找到神經(jīng)網(wǎng)絡(luò)的極其廣泛的應(yīng)用，而且對神經(jīng)網(wǎng)絡(luò)本身的理論研究也取得很大的進展。28人工神經(jīng)網(wǎng)絡(luò)的發(fā)展展望人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳

16、統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展型。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應(yīng)用中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。結(jié)束語神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容相當廣泛，反映了多學科交叉技術(shù)領(lǐng)域的特點。迄今為止，在人工神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域中，有代表性的網(wǎng)絡(luò)模型已達數(shù)十種，而學習算法的類型更難以統(tǒng)計其數(shù)量。神經(jīng)網(wǎng)絡(luò)研究熱潮的興起是本世紀末人類科學技

17、術(shù)發(fā)展全面飛躍的一個組成部分。它與多種科學領(lǐng)域的發(fā)展密切相關(guān)，縱觀當代新興科學技術(shù)的發(fā)展歷史，人類在征服宇宙空間、基本粒子、生命起源等科學領(lǐng)域的進程之中歷經(jīng)了崎嶇不平之路。我們也會看到，探索人腦功能和神經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服而日新月異。參考文獻韓立群人工神經(jīng)網(wǎng)絡(luò)M.北京:北京郵電大學出版社,2012.侯瑞.人工神經(jīng)網(wǎng)絡(luò)BP算法簡介及應(yīng)用J.科技信息,2011,(3):75.朱軍勇,賀紅燕,張春生.粗糙集-神經(jīng)網(wǎng)絡(luò)在構(gòu)建企業(yè)供應(yīng)鏈合作伙J.科技情報開發(fā)與經(jīng)濟，2011,?12(16)黃笑鵑，余穎.神經(jīng)計算機綜述J.計算機與現(xiàn)代化,2013(9):17-18.C.8thInternat

18、ionalConferenceonDevelop-mentandapplicationSystems,2012,(5).沈榮.人工神經(jīng)網(wǎng)絡(luò)的基本模型J.信息科技,2012,8:110.SinghalD,J.ElectricalPowerandEnergySystems,2011(3):550-555.?徐麗娜神經(jīng)網(wǎng)絡(luò)控制M.北京：電子工業(yè)出版社,2013.?韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計及應(yīng)用M.北京:化學工業(yè)出版社，2014.XIAMin,TANGYang,J.Neurocomputing,2010(73):776-783張乃堯，閻平凡.神經(jīng)網(wǎng)絡(luò)與模糊控制M.北京：清華大學出版社，2012O

19、z,C,J.EngineeringApplicationsofArtificialIntelligence,2011(4):1204-1213.SinghalD,J.ElectricalPowerandEnergy,2013(4):124-132.王永驥，神經(jīng)元網(wǎng)絡(luò)控制M.北京：機械工業(yè)出版社，2013謝承泮，神經(jīng)網(wǎng)絡(luò)發(fā)展綜述J.科技情報開發(fā)與經(jīng)濟，2011,12(16)SundSuKim,ImplementationofRealTimeNeuralNetworkControllerwithaDSPandanFPGAC.IEEEInternationalConferenceonRoboticsandAutomation,2010,5(4):3161-3165周政.BP神經(jīng)網(wǎng)絡(luò)的發(fā)展現(xiàn)狀綜述J.山西電子技術(shù)，2010，SinghalD,SwarupKS。Electricitypriceforecastingusingartificialneuralnet-worksJ.ElectricalPowerandEnergySy