MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座

MATLAB神經(jīng)網(wǎng)絡工具箱中神經(jīng)網(wǎng)絡模型MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第1頁神經(jīng)網(wǎng)絡工具箱介紹MATLAB7對應神經(jīng)網(wǎng)絡工具箱版本為Version4.0.3,它以神經(jīng)網(wǎng)絡理論為基礎,利用MATLAB腳本語言結(jié)構(gòu)出經(jīng)典神經(jīng)網(wǎng)絡激活函數(shù),如線性、競爭性和飽和線性等激活函數(shù)，使設計者對所選定網(wǎng)絡輸出計算變成對激活函數(shù)調(diào)用。還可依據(jù)各種經(jīng)典修正網(wǎng)絡權(quán)值規(guī)則，加上網(wǎng)絡訓練過程，利用MATLAB編寫出各種網(wǎng)絡設計和訓練子程序，用戶依據(jù)自己需要去調(diào)用。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第2頁神經(jīng)網(wǎng)絡工具箱主要應用函數(shù)迫近和模型擬合信息處理和預測神經(jīng)網(wǎng)絡控制故障診療MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第3頁應用神經(jīng)網(wǎng)絡工具箱求解問題普通過程確定信息表示方式數(shù)據(jù)樣本已知數(shù)據(jù)樣本之間相互關系不確定輸入/輸出模式為連續(xù)或者離散輸入數(shù)據(jù)按照模式進行分類，模式可能會含有平移、旋轉(zhuǎn)或伸縮等改變形式數(shù)據(jù)樣本預處理將數(shù)據(jù)樣本分為訓練樣本和測試樣本確定網(wǎng)絡模型選擇模型類型和結(jié)構(gòu)，也可對原網(wǎng)絡進行變形和擴充網(wǎng)絡參數(shù)選擇確定輸入輸出神經(jīng)元數(shù)目訓練模型確實定選擇合理訓練算法，確定適當訓練步數(shù)，指定適當訓練目標誤差網(wǎng)絡測試選擇適當測試樣本MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第4頁人工神經(jīng)元普通模型神經(jīng)元模型及其簡化模型如圖所表示，輸入向量、權(quán)值矩陣，與閾值加權(quán)和（內(nèi)積運算）送入累加器，形成凈輸入，即：MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第5頁人工神經(jīng)元模型圖中，xi(i＝1，2，…，n)為加于輸入端(突觸)上輸入信號；ωi為對應突觸連接權(quán)系數(shù)，它是模擬突觸傳遞強度—個百分比系數(shù),∑表示突觸后信號空間累加；θ表示神經(jīng)元閾值，σ表示神經(jīng)元響應函數(shù)。該模型數(shù)學表示式為：MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第6頁與生物神經(jīng)元區(qū)分:(1)生物神經(jīng)元傳遞信息是脈沖，而上述模型傳遞信息是模擬電壓。(2)因為在上述模型中用一個等效模擬電壓來模擬生物神經(jīng)元脈沖密度，所以在模型中只有空間累加而沒有時間累加(能夠認為時間累加已隱含在等效模擬電壓之中)。(3)上述模型未考慮時延、不應期和疲勞等。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第7頁響應函數(shù)基本作用：

1、控制輸入對輸出激活作用；2、對輸入、輸出進行函數(shù)轉(zhuǎn)換；3、將可能無限域輸入變換成指定有限范圍內(nèi)輸出。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第8頁依據(jù)響應函數(shù)不一樣，人工神經(jīng)元有以下幾個類型：MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第9頁閾值單元響應函數(shù)如圖a所表示,MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第10頁線性單元其響應函數(shù)如圖b所表示MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第11頁非線性單元慣用響應函數(shù)為S型(Sigmoid)函數(shù)，如圖c、d所表示MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第12頁Hardlimx>=0y=1;x<0y=0Hardlims:x>=0y=1;x<0y=-1Purelin:y=xSatlin:x<0y=0;x>1y=1;x>=0&&x<=1y=x;Logsig:y=MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第13頁人工神經(jīng)網(wǎng)絡組成單個神經(jīng)元功效是很有限，人工神經(jīng)網(wǎng)絡只有用許多神經(jīng)元按一定規(guī)則連接組成神經(jīng)網(wǎng)絡才含有強大功效。神經(jīng)元模型確定之后，一個神經(jīng)網(wǎng)絡特征及能力主要取決于網(wǎng)絡拓撲結(jié)構(gòu)及學習方法。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第14頁人工神經(jīng)網(wǎng)絡連接基本形式：1．前向網(wǎng)絡網(wǎng)絡結(jié)構(gòu)如圖所表示。網(wǎng)絡中神經(jīng)元是分層排列，每個神經(jīng)元只與前一層神經(jīng)元相連接。最右一層為輸出層，隱含層層數(shù)能夠是一層或多層。前向網(wǎng)絡在神經(jīng)網(wǎng)絡中應用很廣泛，比如，感知器就屬于這種類型。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第15頁2.反饋前向網(wǎng)絡網(wǎng)絡本身是前向型，與前一個不一樣是從輸出到輸入有反饋回路。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第16頁內(nèi)層互連前饋網(wǎng)絡經(jīng)過層內(nèi)神經(jīng)元之間相互連接，能夠?qū)崿F(xiàn)同一層神經(jīng)元之間橫向抑制或興奮機制，從而限制層內(nèi)能同時動作神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個整體來動作。一些自組織競爭型神經(jīng)網(wǎng)絡就屬于這種類型。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第17頁互連網(wǎng)絡互連網(wǎng)絡有局部互連和全互連兩種。全互連網(wǎng)絡中每個神經(jīng)元都與其它神經(jīng)元相連。局部互連是指互連只是局部，有些神經(jīng)元之間沒有連接關系。Hopfield網(wǎng)絡和Boltzmann機屬于互連網(wǎng)絡類型。MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第18頁神經(jīng)網(wǎng)絡學習方式有教師學習(監(jiān)督學習)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第19頁(1)均方誤差mse(meansquarederror)

誤差信號不一樣定義:MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第20頁(2)平均絕對誤差mae(meanabsoluteerror)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第21頁(3)誤差平方和sse(sumsquarederror)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第22頁無教師學習(無監(jiān)督學習)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第23頁MATLAB工具箱中神經(jīng)網(wǎng)絡結(jié)構(gòu)1.人工神經(jīng)元普通模型在中，令，,則MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第24頁人工神經(jīng)元普通模型由此組成人工神經(jīng)元普通模型，以下列圖所表示。上式可寫成矩陣向量形式：a=f(Wp+b)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第25頁由S個神經(jīng)元組成單層網(wǎng)絡MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第26頁MATLAB工具箱中神經(jīng)網(wǎng)絡結(jié)構(gòu)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第27頁多層網(wǎng)絡簡化表示:MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第28頁MATLAB神經(jīng)網(wǎng)絡工具箱中神經(jīng)網(wǎng)絡模型基本概念:標量:小寫字母,如a,b,c等;列向量:小寫黑體字母,如a,b,c等,意為一列數(shù);矩陣向量:大寫黑體字母,如A,B,C等MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第29頁權(quán)值矩陣向量W(t)

標量元素,i為行,j為列,t為時間或迭代函數(shù)列向量行向量MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第30頁閾值向量b(t)標量元素,i為行,t為時間或迭代函數(shù)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第31頁網(wǎng)絡層符號加權(quán)和:,m為第m個網(wǎng)絡層,為第個神經(jīng)元,n為加權(quán)和網(wǎng)絡層輸出:,m為第m個網(wǎng)絡層,為第個神經(jīng)元,a為輸出輸入層權(quán)值矩陣,網(wǎng)絡層權(quán)值矩陣,其中,上標k,l表示第l個網(wǎng)絡層到第k個網(wǎng)絡層連接權(quán)值矩陣向量MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第32頁

例:表示輸入向量第R個輸入元素到輸入層第個神經(jīng)元連接權(quán).

表示……表示…第i個網(wǎng)絡層第個神經(jīng)元閾值MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第33頁例:MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第34頁n1為第一層神經(jīng)元中間運算結(jié)果,即連接權(quán)向量與閾值向量加權(quán)和,大小為,即a1為第一層神經(jīng)元輸出向量,大小為,MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第35頁

神經(jīng)網(wǎng)絡層數(shù)為神經(jīng)元網(wǎng)絡層數(shù)目加1,即隱層數(shù)目加1.MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第36頁多層神經(jīng)網(wǎng)絡結(jié)構(gòu)MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第37頁多層網(wǎng)絡簡化形式圖中:MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第38頁說明:輸入層神經(jīng)元個數(shù)決定IW行數(shù),輸入向量元素個數(shù)決定IW列數(shù),即S1行R列.MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第39頁4.公式和圖形中變量符號在編程代碼中表示方法細胞矩陣:將多個矩陣向量作為細胞矩陣”細胞”(Cell),細胞矩陣各個元素值為對應細胞大小和數(shù)值類型,,MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第40頁訪問元素:m{1}=n{1,1}=MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第41頁m{2}=n{2,1}=n{2,1}(4)=5MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第42頁變量符號在MATLAB中表示(1)上標變量以細胞矩陣(Cellarray)即大括號表示p1={1}(2)下標變量以圓括號表示,p1=p(1),,MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第43頁例:=MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第44頁MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第45頁神經(jīng)網(wǎng)絡工具箱慣用函數(shù)列表主要感知器神經(jīng)網(wǎng)絡函數(shù)：初始化： initp訓練： trainp仿真： simup學習規(guī)則： learnpMATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第46頁線性神經(jīng)網(wǎng)絡函數(shù)初始化： initlin設計： solvelin仿真： simulin離線訓練： trainwh在線自適應訓練： adaptwh學習規(guī)則： learnwhMATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第47頁BP網(wǎng)絡函數(shù)：initff： 初始化不超出3層前向網(wǎng)絡；simuff：仿真不超出3層前向網(wǎng)絡；trainbp，trainbpx，trainlm：訓練BPtrainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多存放空間。learnbp：學習規(guī)則MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第48頁自組織網(wǎng)絡

初始化：initsm仿真：simuc訓練：trainc：利用競爭規(guī)則訓練 trainsm：利用Kohonen規(guī)則訓練MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型專家講座第49頁反饋網(wǎng)絡（Hopfield網(wǎng)絡）

仿真： simuhop設計： solvehopsolvehop 設計Hopfield網(wǎng)絡solvelin 設計線性網(wǎng)絡rands 產(chǎn)生對稱隨機數(shù)learnbp 反向傳輸學習規(guī)則learnh Hebb學習規(guī)則learnp 感知層學習規(guī)則learnwh Widrow－Hoff學習規(guī)則initlin 線性層初始化initp 感知層初始化initsm 自組織映射初始化plotsm 繪制自組織映射圖trainbp 利用反向傳輸訓練前向網(wǎng)絡trainp 利用感知規(guī)則訓練感知層trainwh 利用Widrow－Hoff規(guī)則訓練線性層trainsm 利用Kohonen規(guī)則訓練自組織映射MATLAB神經(jīng)網(wǎng)絡工具箱中