神經(jīng)網(wǎng)絡(含matlab程序和工具箱介紹)

1、NN）的皐本求和3”連接權示，權第十九章神經(jīng)網(wǎng)絡模型§1神經(jīng)網(wǎng)絡簡介人神經(jīng)網(wǎng)絡是在現(xiàn)代神經(jīng)科學的基礎上提出和發(fā)展起來的，旨在反映人腦結構及 功能的種抽彖數(shù)學模型。自1943年美國心理學家W. McCulloch和數(shù)學家W. Pitts提 出形式神經(jīng)尤的抽象數(shù)學模>M| BH以來，人I神經(jīng)網(wǎng)絡理論技術經(jīng)過f 50筋年 曲折的發(fā)展。特別是20世紀80年代，人工神經(jīng)網(wǎng)絡的研究取得了重大進展，有關的理 論和方法已經(jīng)發(fā)展成一門界物理學、數(shù)學、計算機科學和神經(jīng)牛物學Z間的交義學科。 它人模式識別，圖像處理，智能控制，組介優(yōu)化，金融預測與管理，,機器人以及 專家系統(tǒng)等領域得到廣泛的應用.提出

2、了 40多種神經(jīng)網(wǎng)絡模型其中比較著名的有感知機，Hopfield網(wǎng)縱 Boltzinan機，門適應共振理論及反向傳掩網(wǎng)絡（BP）等。在這 里我們僅討論最基本的網(wǎng)絡模型及其學習算法。1.1人工神經(jīng)元模型卜圖?< -為人匸神經(jīng)W9洛（artificial neural netwoifi單元的神經(jīng)元模型,它仃三個基本要索：（i） 一組連接（對應J；生物神經(jīng)元的突觸），值為正表示激活，為負表示抑制.（11） 一個求和單元，用J：求収各輸入信右的加權和（線性組介）。dll） 一個非線性激活函數(shù)，起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范 陽內(nèi)（般限制在（0）或（-IJ）Z間）。此外還仃一個閾值

3、q （或偏bk=-ok）o 以上作用可分別以數(shù)學式表達出來：域=E % ®，弘=叫一 0 =久坯）式中“,心,兀,為輸入信號，叫i，Wr,W切為神經(jīng)尤R之權值，勺為線性組介結 果，q為鋼值，0（）為激活函數(shù).片為神經(jīng)元R的輸出。若把輸入的維數(shù)增加一維，則可把閾值©包括進去。例如*勺，兒=0（你）此處增加了一個新的連接，英輸入為X0 = -l （或+ 1），權值為叫0 = 0 （或0）,如 卜圖所示.敵活畫效求和連接収輸A囚定*人幾（叮1比二一】固定入3"二6斗=+1(C ( 、輸出輸才2 0/ A r */人S激活西數(shù)輸岀兒激活因數(shù)處）可以冇以卜兒種:閾值函數(shù)1,

4、 v>00, v <0 即階梯函數(shù)。這時相應的輸出兒為1, v,>0°<0處）=兒=求和連樓權(1)H沖工敗/j-q ,常稱此種神經(jīng)兀為|«（11）分段線性函數(shù)V>1(PW =*(1+叭,0,v <-1(2)它類似一個放人系數(shù)為1的非線性放人器，當丁作J線性區(qū)時它是一個線性組介器, 放人系數(shù)趨r無窮人時變成一個閾值單元。（m）|sigmoid p貝數(shù)最常用的函數(shù)形式為處）=i（3）1 + exp（-av）參數(shù)a > 0町控制其斜率。另一種常用的是雙曲正切函數(shù)(p(v) = tanlil-exp(-v) l + exp(-v)(4)這

5、類兩數(shù)貝冇平淸和漸近件.并保持單調(diào)性。Matlab中的激活（傳遞）函數(shù)如卜表所示:函數(shù)名功能puielin線性傳遞旳數(shù)hardlun硬限幅傳遞曲數(shù)hardluiis對稱碾限幅傳遞函數(shù)satlm飽和線性傳遞函數(shù)satlms對稱飽和線性傳遞隨數(shù)logsig對數(shù)S形傳遞函數(shù)tansig正切S形傳遞頤數(shù)ladbas徑向基傳遞函數(shù)compet競爭層傳遞換數(shù)各個慚數(shù)的定義及使用方法，可以參看Matlab的幫助(如在Matlab命令窗I I運行2help taiisig,町以看到taiitig的使用方法，及tansig的定義為0(") = - 1 )。1 + e1.2網(wǎng)絡結構及工作方式除單元特性外

6、，網(wǎng)絡的拓撲結構也是NN的一個巫耍特性。從連接方式看NN主耍 有兩種*前饋型網(wǎng)絡各神經(jīng)尤接受前一層的輸入.并輸出給卜一層，沒有反饋.結點分為兩類，即輸入 單尤和計算單尤，每一計算單元町佝任意個輸入，但只有一個輸出(它可耦介到任意多 個實它結點作為瓦輸入)。通常前饋網(wǎng)絡可分為不同的層,第i層的輸入只與第i-l層 輸出相連，輸入和輸出結點與外界相連.而其它中間層則稱為隱層反饋型網(wǎng)絡冃所有結點都是計算單尤，同時也町接受輸入.并向外界輸出。白NN的丁作過程主耍分為兩個階段：第一個階段足學習期.此時以計算單元狀態(tài)不 各連線上的可通過學習來修改階段是作此時各連孩權固定,計算 單元狀態(tài)變化，以達到某種穩(wěn)定狀

7、態(tài)。從作用效果看，前饋網(wǎng)絡主耍是函數(shù)映射，町用模式識別和函數(shù)逼近。反饋網(wǎng)絡 按對能吊丁斤數(shù)的極小點的利用來分類有兩種：第一類是能帚函數(shù)的所冇極小心部起作 用，這一類主耍用作各種聯(lián)想存儲器：第二類只利用全局極小點，它主耍用J求解最優(yōu) 化問題。§2域蟲分類問題與多層前饋網(wǎng)絡分類問題類比對癌癥基因的分類問題2.1螳蟲分類問題竦蟲分類問題可概括敘述如卜：生物學家試圖對兩種竦蟲(Af與Apf)進行鑒別, 依據(jù)的資料是觸角和翅膀的長度，12經(jīng)測得了 9支Af和6支Apf的數(shù)據(jù)如卜：Af: (1.24,1.27), (1.36,1.74), (1.384.64), (1.38J.82), (1.3

8、8.1.90), (1.40,1.70), (1.48,1.82), (1.54J.82), (1.56,2.08).Apf: (1.14,1.82), (1.18,1 96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96).現(xiàn)在的問題是：(I) 根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類般蟲。(II) 對觸角和翼長分別為(124丄80). (1.28,1.84)與(1.40204)的3個標本，用所得 到的方法加以識別。(in)設Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應該修改分類方法。如上的問題是仃代衷性的，它的特點是要求依

9、據(jù)已知資料(9支Af的數(shù)據(jù)和6支 Apf的數(shù)據(jù))制定一種分類方法，類別是已經(jīng)給定的(Af或Apf).今后，我們將9支Af及6支Apf的數(shù)據(jù)集介稱Z為學習樣本。2.2多層前饋網(wǎng)絡為解決上述問題，考慮一個苴結構如卜圖所示的人工神經(jīng)網(wǎng)絡.激活函數(shù)由處）=；71 + exp（-ov）來決定。圖中垠卜-面單元，即山所示的一屋稱為輸入層.用以輸入己知測眩值。在 我們的例子中，它只需包括兩個單元，一個用以輸入觸角長度一個用以輸入翅勝長度。 中間一層稱為處理層或隱單元層，單元個數(shù)適當選取，対r它的選取方法，仃些文獻 進行了討論.但通過試驗來決定,或許是最好的途徑。在我們的例子中，取三個就足夠 To雖上面一層稱

10、為輸出層，在我們的例子屮只包含二個單啟 用以輸出與每組輸入 數(shù)據(jù)柑対W的分類信息.任何個屮間以甲兀接受所有輸入單元傳來的信號，并把處艸. 后的結果傳向每一個輸出單兀，供輸出層再次加同層的神 二彼此不相聯(lián)輸入 與輸出單元之間也沒冇育接聯(lián)接。這樣,除了神經(jīng)元的形式定義外,我們又給出了網(wǎng)絡 結構些文獻將這樣的網(wǎng)絡稱為兩空前傳網(wǎng)絡，稱為兩層的理由是，只有中間層及輸 出層的單元才對信號進行處理：輸入層的單尤對輸入數(shù)據(jù)沒冇任何加丁，故不計算在層 數(shù)Z內(nèi)。為了敘述上的方便，此處引人如卜記號上的約定：令$表示一個確定的已知樣品標 號，在嫁蟲問題屮，5 = 1,2,-,15,分別表示學習樣本屮的15個樣品；當將

11、第$個樣 品的原始數(shù)據(jù)輸入網(wǎng)絡時，相應的輸出單兀狀態(tài)記為O：（/ = l,2）, 單元狀態(tài)記為 H；（丿=123）,輸入單尤取值記為/；伙= 1,2）。請注意，此處卜標ijR依次對應J： 輸出層、中間層及輸入層。在這一約定卜，從中間層到輸出層的記為叫，從輸入層 到中間層的記為諄“。如果叫,，評朋均已給定，那么，對應J：任何一組確定的輸入 （/：,/；）,網(wǎng)絡中所仃單元的取值不難確定。事實上，對樣品s而言，隱單尤J的輸入 是E = £%；4=1相應的輸出狀態(tài)是巧=0（匸；）=颯£巧/；）（6）由此,輸出單尤i所接收到的迭加信號是-235-(7)h； = 1廬；=1聊(

12、3;珊；)網(wǎng)絡的最終輸出是O： = 0(吋)=0(f 叫H；) = 0(f 叫0(f 闿& )( 8)j=l；=14=1這里，沒仃考慮閾值，正如前而已經(jīng)說明的那樣，這-點是無關緊耍的。還應扌旨出的是, 對于任何一組確定的輸入，輸出是所有權的函數(shù)如果我們能夠選定一組適當?shù)臋嘀礝v.,ivzJ,使得對應學習樣本中任何一組Af 樣品的輸入(/；,/；),輸出(0：,0；) = (1,0)，對應于Apf的輸入數(shù)據(jù),輸出為(0,1), 那么螺蟲分類問曲實際上就解決了因為，対-任何一個未知類別的樣品，只要將直觸 角及翅膀長度輸入網(wǎng)絡，視其輸出模式靠近(1,0)亦或(0,1),就可能判斷其歸屬。當然

13、, 仃可能出現(xiàn)介中間無法判斷的情況現(xiàn)在的問題是，如何找到組適的權值，實現(xiàn) 上面所設想的網(wǎng)絡功能。2.3 向后傳播算法個釣仁如何求得一組恰當?shù)臋嘀?使網(wǎng)絡員仃特淀的功能心很長一段時間內(nèi)，曾經(jīng)是使研究工作者感到困難的 個問題，直到1985年，美國加州人學的 一個研究小纟I提出了所謂向后億播弼法(Back-Propagation).使問題冇了幣:人進展，這 一算法也是促成人工神經(jīng)網(wǎng)絡研究迅猛發(fā)展的個原因。下面就來介紹這一算法。如前所述，我們希型對應J：學習樣木中Af樣品的輸出是(1,0),對應于Apf的輸出 是(0,1),這樣的輸出稱Z為理想輸出實際上耍樁呦地作到這一心是不町能的，只能 希塑實際輸出

14、盡可能地接近理想輸出。為清處起見，把對應J：樣品$的理想輸出記為 7/，那么E(W)J工(770：尸(9)度杲了在一組給定的權卜，實際輸出與理想輸出的差異，rh此，尋找一組恰當?shù)臋嗟膯?題，口然地歸結為求適當W的值.使E(w)達到極小的問題。將式(8)代入(9),仃 132£(w)=-£tr - 0(5理(工町/；)( 10)Z syij-lJt=l易知，對每一個變童W"或嗎而言，這是一個連續(xù)可微的非線性函數(shù)，為了求得其極 小點與極小值，最為方便的就是使用駁速下降溺 最速卜曲広是種迭代算法為求出 E(W)的(局部)極小，它從 任取I點W。出！«,計算在W

15、。點的負梯度方向-VE(W°),這是慚數(shù)在該點卜降最快的方向：只要VE(W°)hO,就可沿該方向移動-小段茨離，達到一個新的點W嚴Wo-VE(W°), 是一個參數(shù)，只要足夠小, 定能保證E(WjvE(W°)。不斷負復這一過程，一定能達到£的一個(局部)極小點。 就本質(zhì)而言,這就是法的全部內(nèi)容，然而,對人工神經(jīng)網(wǎng)絡問題而言,這一算法 的JI體形式是非常重耍的，卜而我們就來給出這一形式表達。對隱單尤到輸出單尤的權w”而言,最速卜降法給出的每一步的修正杲是-#-(11)PFAw, =-7 = 工"-O； Wg）H；= 工広巧帥"

16、1s此處令(12)(13)(14)硏=0（可）77-0訂對輸入單元到隱單尤的權闿火/5F町=- h = 工"- O： 0“）叫00；）/；=工硏唧®；）/； =7工歹；/；S此處i從（11）和（13）式可以看出，所冇權的修正杲都冇如卜形式，即M宀5；巧指標卩対MU兩個單兀屮輸出信號的一端，g對應J：輸入信號的一端.v或者代表H或 者代表/。形式上看來,這一修正是“局部”的,可以看作是Hebb律的一種表現(xiàn)形式。 還應注意，硏由實際輸出與理想輸出的差及忙決定，而哥則需依賴/算出，因此， 這-算法才稱為向后傳播算法。稍加分析還可知道，利用由（11）（13）式所給岀的計算安排，較之

17、不考慮5；的向厲傳播直接計算所冇含0的原表達式.極人地降低了 計算工作駅。這組關系式稱作廣義5-法則，它們不難推廣到一般的多層網(wǎng)絡上去。利用這-迭代算法.最終生成在一定楕度內(nèi)滿足耍求的叫,町的過程，稱為工神經(jīng)網(wǎng)絡的學習過程叮以看出，這里所提供的學習機制是兀9元Z間權的不斷m 學習樣本中任何一個樣品所提供的佇息，最終將包含在網(wǎng)絡的每一個權之中。參數(shù)的 大小則反映了學習效率。為了更仃效地應用BP算法.我們做出如卜-些補充說明。（1）在式（11）與（13）中，Aw. Aiv.,表示為與所冇樣品s冇關的求和計算。實際上，我們還可以每次僅考慮輸入一個樣品所造成繼並 然厲，按照隨機選取的順 序.將所右樣胡

18、逐個輸入，不斷直復這一手續(xù)，苴至收斂到一個滿意的解為止。劣的標準，這并不是唯-的度彊方式，完全可以從其它的函數(shù)形式出發(fā)，例如從相對爛 出發(fā)，導出相應的算法。（in）在如上的討論中使用的是瑕速卜降法，顯然，這也不是唯一的選擇，其它的 非線性優(yōu)化方法，諸如共軌梯度法.擬牛頓法等，都可用計算。為了加速算法的收斂 速度，還可以考渥各種不同的修正方式。（iv） BP算法的出現(xiàn)，雖然對人匸神經(jīng)網(wǎng)絡的發(fā)展起了朿人推動作用，但是這一 算弘仍仃很多問題.對個人的網(wǎng)絡系統(tǒng) BP算法的匸作帚仍然是十分可觀的，這 主要在算法的收斂速度很慢。更為嚴幣:的是.此處所討論的是卄線性函數(shù)的優(yōu)化.那 么它就無法逃脫該類問題的共

19、同困難：BP算法所求得的解,只能保證是依賴于初值選 取的局部極小點。為克服這一缺陷，可以考慮改進方法.例如模擬退火算法，或從多個-237-#-隨機選定的初值點出發(fā)，進行多次計算.但這些方法都不可避免地加人了匸作帚。 2.4螳蟲分類問題的求解卜面利用上文所敘述的網(wǎng)絡結構及方法，対螳蟲分類問題求解。編寫Matlab程序 如F： clearpl-1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08;p2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2

20、.00 1.28/2.00;1.30/1.96;p=pl;p21;pr=minmax(p);取每一行的最大值與最小值構成2*N的矩陣 goal-ones(1,9),zeros(1,6);zeros(1,9),ones(1,6); plot(pl(:zl)/pl(:/2)zlhl/p2(:/l)/p2(:/2)zfol) net = train(net,p,goal); x=1.24 1.80;1.28 1.84;1.40 2.04 1; y0-sim(net z p) y=sim(net,x)net=newff(pr,3,2 nettrainParam.show net trainParam.

21、 1r = 0.05;學習(KjH寸間net. trainParam. goal = le-10 ; 目標 net. trainParam. epochs = 50000;學習的次數(shù)§3處理域蟲分類的另一種網(wǎng)絡方法3.1兒個有關概念在介紹木節(jié)主耍內(nèi)容Z前，首先說明幾個不同的概念。在上一節(jié)小，我們把利用BPina確定聯(lián)接強度，即權值的過程稱為“學習過程”，這種學習的特點是,對任何 個輸八衛(wèi)已知的,理想輸出也己事先規(guī)定，,認它所產(chǎn)工的實I；小他出與理想輸出的異同.我們淸楚地知道網(wǎng)絡判斷正砸與否，故此把這一類學習稱為在教 師監(jiān)替卜的學習；與它不同的足，仃些情況卜學習是無監(jiān)替的，例如，我們試

22、圖把一組然BP算法是不適用的。另一個仃關概念是所謂仃竟爭的學習。在上節(jié)所討論的嫌蟲分類網(wǎng)絡中，盡管我們 所希型的理想輸出是(1.0)或(0.1),但實際輸出并不如此 一般而言兩個輸出單尤均同時不為0。與此不同，我們完全町以設想另外一種輸出模式：對空企何一俎輸入，所 仃輸出單元中.只允許有一個IE：亦 即取值為匚其它輸出單元均被抑制 01-值為* 一種形象的說法是對應任何一組輸入，耍求所令的輸出單尤彼此競爭，唯一 的勝利者贏得-切，失敗者一無所獲，形成這樣一種輸出機制的網(wǎng)絡學習過程，稱為仃 競爭的學習。3.2最簡單的無監(jiān)督有競爭的學習本節(jié)敘述一種無監(jiān)骨冇競爭的網(wǎng)絡學習方法，由此產(chǎn)牛的網(wǎng)絡可用來將

23、一組輸入樣 品自動劃分類別,相似的禪品歸于同一類別，因而激發(fā)同一輸出單兀，這分類方式, 是網(wǎng)絡自身通過學習，從輸入數(shù)據(jù)的關系中得出的。嫌蟲分類問題對應仃教師的網(wǎng)絡學習過程，顯然不能山如上的方濃來解決。但在這 種無監(jiān)怦有競爭的學習闡明Z后，很容易從中導出一種適用有監(jiān)俘情況的網(wǎng)絡方法: 此外，本節(jié)所介紹的網(wǎng)絡，在數(shù)據(jù)壓縮等多種領域，都仃其巫耍應用。考慮 由與組成的網(wǎng)絡系統(tǒng)，輸入單元數(shù)忖與每一樣品的更進 數(shù)LI相等，輸出單尤數(shù)目適當選取。每一個輸入單兀與所仃輸出單元聯(lián)接，輸入 元到第i個輸出元的權記:斗 層沖尤間無橫向聯(lián)接。無妨假設所仃輸入數(shù)值均已 規(guī)化到-1,1之間，又因為是仃竟爭的學習，輸出卩元

24、只取o或1兩個值，11対應每 組輸入，只有一個輸出元取1取1的輸出尤記為廠，稱之為優(yōu)勝者.對J：任何一紐輸入s,規(guī)定優(yōu)勝者是有最人 凈輸入的輸出元，即對輸入/ = (/15,/)而言，九=工叫£三叱/(15)J収最人值的單元，其中叱是輸出尤i所有權系數(shù)組成的向最，也就是說W, / > / , (Vz)(16)如果權向鼠:是按照工此；=1的方式標準化的，(16)式等價于i|W,-/|<|-/|, (V/)(17)即優(yōu)勝苦是直標準化權向吊最徹近輸入向吊:的輸出尤.令O廠=1,直余的輸出 0, =0。這樣的輸出規(guī)定了輸入向吊的類別，但為了使這種分類方式冇意義，問題化 為如何將學

25、習樣本中的所有樣品，自然地劃分為聚類，并對每一聚類找出適為的權向靈。 為此，采用如卜的算法：隨機収定-組不人的初始權向磺，注盤不使它們仃任何對稱性。 然后，將已知樣品按照隨機順序輸入網(wǎng)絡。對輸入樣品S,按上文所述確定優(yōu)勝者廣， 對所有與廣有關的權作如下修正叫,=(/；一叫丿(18)所仃其它輸出單元的權保持不變。注意到O ,=1, O,=0(iH廣)，所仃權的修正公式 可統(tǒng)一表示為叫廠Q(/；-叫丿這-形式也可視為Hebb律的-種表現(xiàn)。(18)式的幾何意義是清楚的，每次修正將優(yōu) 勝者的權向帚向輸入向最移近一小段距離，這使得同一樣胡再次輸入時，r有更人的 獲勝可能?？梢院侠淼仡A期，反復重復以上步驟

26、，使得每個輸出單尤對應了輸入向彊的 一個聚類，相應的權向童落在了該聚類樣品的碇心附近。當然，這只是一個極不嚴密的 說明。特別應當指出，上述算法，對J：事先按照工匚=1標準化了的輸入數(shù)據(jù)更為適用, 整個過程不難由計算機模擬實現(xiàn)。為了更有效地使用如匕算法，卜面對實際計算時可能產(chǎn)牛的問題，作一些簡耍說明。 首先，如呆初始權選擇不當，那么可能出現(xiàn)這樣的輸出中兀，它的權遠離任何輸入 向帚，I対此,永遠不會成為優(yōu)勝若，相應的權也就永遠不會得到修正，這樣的單尤稱之 為託*flo為避免出現(xiàn)死單元，可以仃多種方法。-種辦法是初始權從學習樣本中抽樣 選取，這就保證了它們都落在正確范用內(nèi)：另一種辦法是修正上述的學習

27、算法，使得每 一步不僅調(diào)整優(yōu)勝者的權，同時也以一個小卻多的值，修正所何其它的權。這樣，對 總是欠敗的小兀，兀權逐漸地朝著平均輸入方向運動，最終也會在某一次競爭中取勝。 此外，還存在右鄉(xiāng)種處理死單尤的方法，感興趣的讀者可從文獻中找到更多的方法。另外一個問題是這一算法的收斂性 如果式（18）或（19）中反映學習效率的參數(shù) 取為一個固定常數(shù)，那么權向?qū)糜肋h不會其正在某-仃限點集上穩(wěn)定卜來。因此，應 當考慮在公式中引進隨學習時間而變化的收斂因子。例如，取 = （/） = 。/", 0<a<l.這一因了的適當選取是極為重耍的，卜降太慢，無疑增加了不必耍工作 錄，卜降太快，則會使學習

28、變得無效。3.3 LVQ 方法上述仃競爭學習的-個最重耍應用是#ae壓縮的佝子化方法 （Vector有監(jiān)督的學習Quantization）它的旱木想法是，把一個給定的輸入向靈集介廠分成M介類別.然后 用類別指標來代表所右屬I：該類的向瓦 向彊分彊通常取連續(xù)值，一口一組適當?shù)念悇e 確定之后，代替?zhèn)鬏斝┬洼斎胂虻跄旧伲梢灾粋鬏敾虼鎯λ念悇e指標。所冇的類 別由m個所謂欄mr來表示，我們可以利用一般的歐氏距離，對毎一個輸入向 量找到最筋近的原型向業(yè) 作為它的類別。顯然，這種分類方法可以通過仃竟爭的學習 肖接得到。一口學習過程結束，所有權向最的集合，便構成了一個二電碼木 一般而言，上述無監(jiān)替冇競爭的學）J,實際提供了 種聚類分析方汰.對如螳蟲分 方這種有監(jiān)督的問題并SS 1989年.Kohonen Xj向屋屆子化方法加以修改，提出 了一種適用JW監(jiān)骨情況的學習方法，稱為學習FL*畳王化（Leaining Vbcror Quantizati