神經網絡1參考模板

1/1814神經網絡系統及其應用14.1、基本概念14.1.1人類兩類思維模式人的思維有邏輯性和直觀性兩種不同的基本方式，邏輯性的思維是指根據邏輯規(guī)則進行推理的過程，它是將信息概念化，按串行的模式進行邏輯分析和推理。而直觀性的思維是將分布式存儲的信息并行協同處理的過程。譬如，我們常常無意識地將分布在人腦各部位的信息綜合起來，結果忽然間產生想法或解決問題的辦法，這種思維方式的根本在于以下兩點：（1）信息是通過神經元上的興奮模式分布存儲在網絡上；（2）信息處理是通過神經元之間同時相互作用的動態(tài)過程來完全的。14.1.2人工神經網絡（ArtificialNewralNetwork）人工神經網絡是模擬人的直觀性思維模式,在現代生物學研究人腦組織所取得的成果基礎上，用大量簡單的處理單元廣泛連結組成復雜網絡，用以模擬人類大腦神經網絡結構與行為。人工神經網絡是一個非線性系統，其特色在于信息的分布式存儲和并行協同處理。今天的人工神經網絡工具已有人腦功能的基本特征：學習、記憶和歸納。學習：人工神經網可以被訓練，通過訓練實件來決定自身行為。記憶（概括）：人工神經網絡對外界輸入信息的少量丟失或網絡組織的局部缺損不敏感，正如大腦每日有大量神經細胞正常死亡，但不影響大腦的功能。聯想（歸納）：例如，對一張人像的一系列不完整的照片識別訓練后，再任選一張缺損的照片讓神經網絡認別，網絡將會作出一個完整形式人像照片的響應。14.2、神經網絡模型14.2.1生物神經元模型圖14.1神經元結構14.2.2人工神經元模型人工神經元是對生物神經元的簡化和模擬，它是神經網絡的基本處理單元。圖14.2所示為一種簡化的神經元結構。這是一個多輸入，單輸出的非線性元件，其輸入輸出關系：(14.2-1)x0=1θx1ω1iyix2ω2iΣΣ:ωnixn圖14.2神經元結構模型:從其它細胞傳來的輸入信號:閾值。:從細胞j到細胞i的連接權值:傳遞函數。神經網絡模型神經網絡是由大量的神經元廣泛互連而成的網絡。人工神經網絡（模型）是根據人腦原理將大量人工神經元連結構成一個神經網絡去模擬人腦神經網絡的特性。網絡可分為若干層：輸入層、中間層（中間層可為若干層）、輸出層、如圖14.3所示：：....:：：::：:輸入層中間層輸出層圖14.3神經網絡如果每一層神經元只接受前一層神經元的輸出稱為前向網絡。如果網絡中任意兩個神經元都可能有聯接稱為互相連接型網絡。目前已有數十種神經網絡模型，可分為三大類：前向網絡（FeedforwardNNs）反饋網絡（FeedbackNNs）自組織網絡（Self-organizingNNs）有代表性的網絡模型有感知器、BP網絡、線性神經網絡、Hopfield網絡（FecdbackNNs）、自組織網絡等。以下分別介紹幾種有代表性的網絡。感知器（Perceptron）美心理學家Rosenbla等于1958年提出了一個最基本的但具有學習功能的層狀網絡，由三層組成，既S（Sensory）層，A（Association）層和R（Response）層。其中，S層與A層是之間的耦合是固定的，A層為R層之間的耦合程度（權值）可通過學習改變。見圖14.4SAR:::::圖14.4感知器感知器的R層的單元特性（傳遞函數）采用符號函數(見14.2-2)，當輸入的加權和大于或等于閥值時，感知器輸出為1，否則為O或為-1。1x≥of(x)=(14.4-2)0x<0顯然，這類神經網絡可方便地用于模式分類，但是，它也有嚴重的局限性。2線性神經網絡線性神經網絡也是一種簡單的神經元模型，可由一個或多個線性神經元構成，與感知器輸入的1或0不同。線性神經網絡中神經元的傳遞函數為線性函數f(x)=x。因此，線性神經網絡的輸入輸出之間是簡單的比例關系。BP網絡（BackpropagationNN）BP網絡是一單向性播的多層單向網絡，其結構如圖14.2。網絡除輸入輸出節(jié)點外，有一層或多層的隱層節(jié)點，同層節(jié)點中沒有任何耦合。輸入信號從輸入層節(jié)點，依次傳過各隱層節(jié)點，每一層節(jié)點的輸出只影響下一層節(jié)點的輸出。每個節(jié)點都是一個單元神經元結構，其單元特性（傳遞函數）通常采用Sigmoicl型。（14.2-3）或為雙曲正切函數 BP網絡采用的傳遞（變換）函數為可微的單調逆增函數，這對于網絡的學習訓練具有非常重要的意義。另外，可以證明，對于統一連續(xù)函數，都可用一個三層BP網絡以任意希望的絕對精度來實現。（當然，盡管如此，為了減少隱層節(jié)點總數，有時還是寧愿采用多層BP網絡）。因此，BP網絡是一個非常重要的神經網絡模型。4Hopfield網絡（反饋網絡）以上介紹的幾種都是單向網絡。網絡中的每一層神經元都只接受前一層神經元的輸出。而在反饋網絡中，輸入信號決定反饋系統的初始狀態(tài)，然后系統經過一系列狀態(tài)轉移后，逐漸收斂于平衡狀態(tài)。因此，反饋網絡是一種動態(tài)網絡，它需要工作一段時間才能穩(wěn)定。穩(wěn)定性是反饋網絡的最重要問題之一。J.Hopfield在1982年發(fā)表的論文宣告了神經網絡的第二次浪潮的到來，他表示，Hopfield模型可用作聯想存儲器。如果可把Lyapunov函數定義為最優(yōu)函數的話，Hopfield網絡還可用來解決快速最優(yōu)問題。Hopfield網絡的傳遞函數采用了對稱飽和線性函數f(x)(14.2-4)x圖14.5對稱飽和線性函數5自組織網絡人腦由巨量的神經細胞組成，但它們并非都起同樣的作用，處于空間不同區(qū)域的神經細胞分工有所不同。例如，在聽覺通道的層次上，其神經元與神經纖維在結構上的排列可能與頻率有密切的關系，對于某個頻率,相應的神經元可能具有更大更積極的響應。自組織神經網絡模型的建立正是基于這樣一種認識，它是一種無教師學習的神經網絡。對于輸入模式，神經網絡的不同區(qū)域具有不同的響應特征，通常只有一個神經元或局部區(qū)域的神經元對輸入模式有積極響應，同時，這一個過程是自動完成的。自組織神經網絡模型有自組織特征映射，網絡CPN模型等。自組織神經網絡應用廣泛，可用于語言識別，圖象壓縮，機器人控制，優(yōu)化問題等。最后，應當認識到，人類神經網絡不論結構還是功能都是經歷了漫長的歷程演變而成，而今天人工智能研究者提出的任何一個人工神經網絡都只能說是對大腦組織與功能的一種樸素的模仿。任何一個神經元的結構都忽略了一些生物原形的特性，如沒有考慮影響網絡動態(tài)特性的時間延遲，輸入立即產生輸出；更重要的是，它們不包括同步或異步的影響（而這個特性原本十分關鍵）。但既便如此，人工神經網絡這種樸素的模仿依然取得了很有影響的效果，顯示了比一般方法更具有人腦的特征。如：從經驗中學習的能力，在已有知識上進行概括的能力，完成抽取事物特征的能力等。14．3神經網絡的學習算法如前所述，人工神經網絡近似函數處理信息的能力完全取決于網絡中各神經元之間的耦合權值。對于較大規(guī)模的網絡，權值不可能一一設定。因此，網絡本身必須具有學習的功能，既能夠從系統模式的學習中逐漸調整權值，使網絡整體具有近似函數或處理信息的功能。網絡的這種學習過程亦被稱之為訓練。14.3.1學習方法按照學習方式，網絡學習可分為兩大類，有教師學習（Supervisedlearning）和無教師學習（unsupervisedlearning）。在有教師學習的方式中，網絡的輸出和希望的輸出（即教師信號）進行比較，如果存在差錯，則利用一些算法改變網絡權值使差錯減小。通常訓練一種網絡要求有許多這樣配對的訓練范例，通過使用訓練范例集的范例，逐漸調整權值，直至整個訓練范例集的差值達到可接受的程度。顯然，很難認為這種完全通過比較學習結果和實際所需結果的學習方式便是人類大腦的學習機制，因為如果這樣的話，又如何去解釋這個實際所需結果是從何而來？因此，有觀點認為無教師學習方式應更接近生物系統的學習機制。在無教師學習方式中，訓練范例集僅由輸入向量組成，學習算法修改網絡權值，使其生成的輸出向量是一致的，也就是說，若訓練范例集中有兩個充分類似的輸入向量，它們應生成兩個充分近似的輸出向量，在這樣一種統計分類的原則下，建立起輸入-輸出關系。14.3.2Hebb學習規(guī)則Hebb學習規(guī)則是一種無教師學習方法，其原理基于這樣一個生物學研究發(fā)現：當連接著的神經元對同時處于興奮狀態(tài)時它們之間的突觸是增加的，因此經常應用的路徑將逐步增強（這可用來解釋“習慣成自然”和“溫故而知新”）。根據這個認識而設立的Hebb學習規(guī)則為：根據一對連接著的神經元受刺激的程度增加連結弧的權值，用符號可表示為：（14.3-1）ωij(k)：調整前，神經元i到j的連接弧權值；ωij(k+1)：調整后，神經元i到j的連接弧權值；：神經元I，j的激活水平。當神經元由（14.2-1）描述時,即Hebb學習規(guī)則可寫成yi：神經元i的輸出值和神經元j的輸入值yj：神經元j的輸出值和神經元j的輸入值a——學習率常數14.4、神經網絡的應用14.4.1應用概況人工神經網絡由于具有大規(guī)模并行處理、自適應學習能力和分布式信息存儲等特點，已經得到較多的應用。在實際應用方面，其應用已涉及到經濟、化學工程、生物化學、自動控制、航空航天等許多領域，從控制理論和方法方面來說，其應用主要表現在以下方面。模式信息處理和模式識別最優(yōu)化系統辯識復雜控制尤其是對于非線性系統，因其復雜性，至今尚無完整的系統解析方法和系統控制設計方法。利用神經網絡來辯識和控制非線性系統，給這一領域帶來了良好的前景。14.4.2應用舉例（一）模式分類兩類模式的分類，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。感知器神經元神經網絡是由線性網絡函數組成，特別適用于簡單的模式分類。雖然用一個單感知器神經單元對一個簡單的異或（XOR）函數也無法表示其輸入輸出關系。但是，也可證明。如果兩類模式是線性可分的（存在一個超平面將它們分開），則算法一定收斂。以下是一個簡單的模式分類問題。例14.1采用單一感知器神經元解決一個簡單的分類問題:將二維平面上的四個輸入矢量分為兩類,其中兩個矢量對應的目標值為1,另兩個矢量對應的目標值為0,即輸入矢量：目標分類矢量：解：該例題為MATLAB/NNETTOOLBOX中的一個示范程序，以下為具體程序清單，其中對各條指令及程序段的功能給出了詳細說明：%Chp14_1Classificationwitha2-inputperceptron.echoonclc%=================================%INITP-Inititializesaperceptronlayer.%SIMUP-Simulatesaperceptronlayer.%TRAINP-Trainsaperceptronlayerwithperceptronrule.%=================================%CLASSIFICATIONWITHA2-INPUTPERCEPTRON:%Usingtheabovefunctionsa2-inputhardlimitneuronis%trainedtoclassify4inputvectorsintotwocategories.pause%Strikeanykeytocontinue...clc%DEFININGACLASSIFICATIONPROBLEM%=================================%ArowvectorPdefinesfour2-elementinputvectors:P=[-0.5-0.5+0.3+0.0;-0.5+0.5-0.5+1.0];%ArowvectorTdefinesthevector'stargetcategories.T=[1100];pause%Strikeanykeytoseeaplotofthesevectors...clc%PLOTTINGTHEVECTORSTOCLASSIFY%================================%WecanplotthesevectorswithPLOTPV:plotpv(P,T);%Theperceptronmustproperlyclassifythe4inputvectorsinP%intothetwocategoriesdefinedbyT.pause%Strikeanykeytodefininetheneuralnetwork...figureclc%DEFINETHEPERCEPTRON%=========================%PerceptronshaveHARDLIMneurons.Theseneuronsarecapable%ofseparatinganinputspacewithastraightlineintotwo%categories(0and1).%INITPgeneratesinitialweightsandbiasesforourneuron:[W,b]=initp(P,T)echooffk=pickic;ifk==2W=[-0.81610.3078];b=[-0.1680];endechoonclc%INITIALPERCEPTRONCLASSIFICATION%=================================%Theinputvectorscanbereplotted...plotpv(P,T)%...withtheneuron'sinitialattemptatclassification.plotpc(W,b)%Theneuronprobablydoesnotyetmakeagoodclassification!%Fearnot...wearegoingtotrainit.pause%Strikeanykeytotraintheperceptron...clc%TRAININGTHEPERCEPTRON%=======================%TRAINPtrainsperceptronstoclassifyinputvectors.%TRAINPreturnsnewweightsandbiasesthatwillforma%betterclassifier.Italsoreturnsthenumberofepochs%theperceptronwastrainedandtheperceptron'serrors%throughouttraining.%Trainingbegins...pleasewait...[W,b,epochs,errors]=trainp(W,b,P,T,-1);%...andfinishes.pause%Strikeanykeytoseeaplotoferrors...clc%PLOTTINGTHEERRORCURVE%========================%Heretheerrorsareplottedwithrespecttotrainingepochs:figureploterr(errors);pause%Strikeanykeytousetheclassifier...clc%USINGTHECLASSIFIER%====================%WecannowclassifyanyvectorwelikeusingSIMUP.%Letstryaninputvectorof[-0.5;0]:p=[-0.5;0];a=simup(p,W,b)pause%Strikeanykeytousetheclassifier...clc%Now,useSIMUPtotestwhether[0.3;-0.5]iscorrectly%classifiedas0.p=[0.3;-0.5];a=simup(p,W,b)echooffdisp('EndofNN_Class')程序運行后可得輸入矢量圖、網絡訓練后的分類結果及相應的誤差變化如圖14.6-14.8所示：圖14.6輸入矢量圖圖14.7分類結果圖14.8誤差變化曲線（二）系統辯識所謂系統辯識是指在輸入和輸出數據的基礎上，從一組給定的模型類中確定一個與所測系統等價的模型，在實際應用中，通常的做法是先確定一個可能合適的模型結構，然后在模型輸出和系統輸出的差的平方和最?。ㄗ钚《藴蕜t）的前提下求出模型的參數。利用神經網絡辯識非線性動態(tài)系統，是指構造一個神經網絡，然后根據系統輸出與網絡的輸出來調整和更新網絡的參數（權連結數值與閥值），使網絡的映射與系統輸入輸出關系相同。這種經過學習的神經網絡辯識模型，將對學習中未出現過的輸入信號仍能產生期望的輸出信號。以下是對一個線性系統進行辯識的例，由于是線性系統，所以選用線性網絡來建模。這樣，計算迅速，而且模型誤差極小。例14.2線性網絡在線性系統辯識中的應用。1問題描述對于有限沖擊響應線性系統，有輸入信號x，其周期為5秒，每25毫秒采樣一次，信號x為time=0:0.025:5;x=sin(sin(time).*time*10);假設系統的輸出測量值為t=filter（[10.5–1.5],1,x）;系統的輸入、輸出值如圖14.9所示.（a）信號x（b）系統輸出圖14.9系統的輸入、輸出值網絡設計此例中,應用一個線性網絡來進行系統辯識.該網絡設計為三個輸入和一個輸出,其輸入由信號x的當前值和前兩個時刻的值,可由函數delaysig生成p=delaysig(x,0,2)然后，可利用函數solvelin來設計一個線性網絡[w，b]=solvelin（p，w，b）網絡性能檢驗網絡的權值和閾值確定后，可進一步利用函數simulin對網絡性能進行檢驗并比較網絡輸出與系統實際輸出結果。以下是相應的MATLAB源程序%Linearsystemidentification.clcpause%Strikeanykeytocontinue...clcti