神經(jīng)網(wǎng)絡技術概述

人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個數(shù)學模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。一、人工神經(jīng)網(wǎng)絡概述

人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetworks，簡記作ANN）的主要哲學基礎就是它們具有通過范例進行學習的能力，或者更技術地來說，它們可以系統(tǒng)地改進輸入數(shù)據(jù)且能反映到輸出數(shù)據(jù)上。什么是人工神經(jīng)網(wǎng)絡？

T.Koholen的定義：“人工神經(jīng)網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應?！蹦X神經(jīng)信息活動的特征(1)巨量并行性。(2)信息處理和存儲單元結合在一起。

(3)自組織自學習功能。

神經(jīng)網(wǎng)絡研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國心理學家W.McCulloch和數(shù)學家W.Pitts在提出了一個簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮

1982年，美國物理學家J.J.Hopfield提出Hopfield模型，它是一個互聯(lián)的非線性動力學網(wǎng)絡他解決問題的方法是一種反復運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。1990年12月，北京召開首屆學術會議。神經(jīng)網(wǎng)絡基本模型1.1人工神經(jīng)元神經(jīng)元是構成神經(jīng)網(wǎng)絡的最基本單元（構件）。人工神經(jīng)元模型應該具有生物神經(jīng)元的六個基本特性。1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。另一種描述

神經(jīng)元是神經(jīng)網(wǎng)絡中基本的信息處理單元，他由下列部分組成:一組突觸和聯(lián)結，聯(lián)結具有權值

W1,W2,…,Wm通過加法器功能，將計算輸入的權值之和激勵函數(shù)限制神經(jīng)元輸出的幅度1.2激活函數(shù)

激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f(net)a、線性函數(shù)（LinerFunction）b、非線性斜面函數(shù)（RampFunction）

γ>0為一常數(shù)，稱為飽和值，為該神經(jīng)元的最大輸出。b、非線性斜面函數(shù)（RampFunction）c、閾值函數(shù)（ThresholdFunction）階躍函數(shù)c、閾值函數(shù)（ThresholdFunction）階躍函數(shù)d、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。

f(net)=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：

f(net)=1/(1+exp(-d*net))

函數(shù)的飽和值為0和1。

S形函數(shù)有較好的增益控制d、S形函數(shù)1.3人工神經(jīng)網(wǎng)絡的拓撲特性a、聯(lián)接模式

用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級”）的劃分，導致了神經(jīng)元之間的三種不同的互連模式：a、聯(lián)接模式1、層（級）內(nèi)聯(lián)接–層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側聯(lián)接（Lateral）。–用來加強和完成層內(nèi)神經(jīng)元之間的競爭2、循環(huán)聯(lián)接–反饋信號。a、聯(lián)接模式3、層（級）間聯(lián)接–層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實現(xiàn)層間的信號傳遞–前饋信號–反饋信號b、網(wǎng)絡的分層結構單級網(wǎng)–簡單單級網(wǎng)–W=（wij）–輸出層的第j個神經(jīng)元的網(wǎng)絡輸入記為netj：–netj=x1w1j+x2w2j+…+xnwnj–其中,1≤j≤m。取–NET=（net1，net2，…，netm）–NET=XW–O=F（NET）b、網(wǎng)絡的分層結構單級網(wǎng)–單級橫向反饋網(wǎng)V=（vij）NET=XW+OVO=F（NET）時間參數(shù)——神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化考慮X總加在網(wǎng)上的情況–NET（t+1）=X（t）W+O（t）V–O(t+1)=F(NET(t+1))O(0)=0考慮僅在t=0時加X的情況。穩(wěn)定性判定b、網(wǎng)絡的分層結構多級網(wǎng)層次劃分–信號只被允許從較低層流向較高層。–層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。–輸入層：被記作第0層。該層負責接收來自網(wǎng)絡外部的信息–第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。–輸出層：它是網(wǎng)絡的最后一層，具有該網(wǎng)絡的最大層號，負責輸出網(wǎng)絡的計算結果。–隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號約定:–輸出層的層號為該網(wǎng)絡的層數(shù)：n層網(wǎng)絡，或n級網(wǎng)絡。–第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一般我們用W（j）表示第j層矩陣。多級網(wǎng)非線性激活函數(shù)F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))b、網(wǎng)絡的分層結構循環(huán)網(wǎng)循環(huán)網(wǎng)如果將輸出信號反饋到輸入端,就可構成一個多層的循環(huán)網(wǎng)絡。輸入的原始信號被逐步地“加強”、被“修復”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號會引起網(wǎng)絡輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網(wǎng)絡達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡是不穩(wěn)定的。1.4存儲與映射在學習/訓練期間，人工神經(jīng)網(wǎng)絡以CAM方式工作；權矩陣又被稱為網(wǎng)絡的長期存儲(LongTermMemory，簡記為LTM)。CAM方式(ContentAddressableMemory)：內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。網(wǎng)絡在正常工作階段是以AM方式工作的；神經(jīng)元的狀態(tài)表示的模式為短期存儲(ShortTermMemory，簡記為STM).AM方式（AssociativeMemory）：相聯(lián)存儲方式是將數(shù)據(jù)映射到數(shù)據(jù)。自相聯(lián)（Auto-associative）映射：訓練網(wǎng)絡的樣本集為向量集合為{A1，A2，…，An}。在理想情況下，該網(wǎng)絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合。異相聯(lián)（Hetero-associative）映射：{（A1，B1），（A2，B2），…，（An，Bn）}該網(wǎng)絡在完成訓練后，其權矩陣存所給的向量集合所蘊含的對應關系。1.5人工神經(jīng)網(wǎng)絡的訓練人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡著名的學習定理：人工神經(jīng)網(wǎng)絡可以學會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡的表達能力大大地限制了它的學習能力。人工神經(jīng)網(wǎng)絡的學習過程就是對它的訓練過程無導師學習無導師學習(UnsupervisedLearning)與無導師訓練(UnsupervisedTraining)相對應抽取樣本集合中蘊含的統(tǒng)計特性，并以神經(jīng)元之間的聯(lián)接權的形式存于網(wǎng)絡中。有導師學習有導師學習(SupervisedLearning)與有導師訓練(SupervisedTraining)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。從樣本集合中取一個樣本(Ai，Bi)；計算出網(wǎng)絡的實際輸出O；求D=Bi-O；根據(jù)D調(diào)整權矩陣W；對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。訓練算法的主要步驟神經(jīng)網(wǎng)絡的應用

人工神經(jīng)網(wǎng)絡以其具有自學習、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領域?qū)W者的關注。在實際應用中，80%～90%的人工神經(jīng)網(wǎng)絡模型是采用誤差反傳算法或其變化形式的網(wǎng)絡模型（簡稱BP網(wǎng)絡），目前主要應用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。二、BP(Backpropagation)網(wǎng)絡2.1概述2.1.1BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2.1.2弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂。2.1.3優(yōu)點：廣泛的適應性和有效性2.2基本BP算法2.2.1網(wǎng)絡的構成神經(jīng)元的網(wǎng)絡輸入：neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：網(wǎng)絡的拓撲結構1).BP網(wǎng)的結構2).輸入向量、輸出向量的維數(shù)、網(wǎng)絡隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定3).實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元