MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義課件

神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介MATLAB7對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱的版本為Version4.0.3,它以神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ),利用MATLAB腳本語言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù),如線性、競(jìng)爭(zhēng)性和飽和線性等激活函數(shù)，使設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的調(diào)用。還可根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值規(guī)則，加上網(wǎng)絡(luò)的訓(xùn)練過程，利用MATLAB編寫出各種網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的子程序，用戶根據(jù)自己的需要去調(diào)用。7/23/20231MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義神經(jīng)網(wǎng)絡(luò)工具箱的主要應(yīng)用函數(shù)逼近和模型擬合信息處理和預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)控制故障診斷7/23/20232MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱求解問題的一般過程確定信息表達(dá)方式數(shù)據(jù)樣本已知數(shù)據(jù)樣本之間相互關(guān)系不確定輸入/輸出模式為連續(xù)的或者離散的輸入數(shù)據(jù)按照模式進(jìn)行分類，模式可能會(huì)具有平移、旋轉(zhuǎn)或伸縮等變化形式數(shù)據(jù)樣本的預(yù)處理將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本確定網(wǎng)絡(luò)模型選擇模型的類型和結(jié)構(gòu)，也可對(duì)原網(wǎng)絡(luò)進(jìn)行變形和擴(kuò)充網(wǎng)絡(luò)參數(shù)的選擇確定輸入輸出神經(jīng)元數(shù)目訓(xùn)練模型的確定選擇合理的訓(xùn)練算法，確定合適的訓(xùn)練步數(shù)，指定適當(dāng)?shù)挠?xùn)練目標(biāo)誤差網(wǎng)絡(luò)測(cè)試選擇合適的測(cè)試樣本7/23/20233MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義人工神經(jīng)元的一般模型神經(jīng)元模型及其簡(jiǎn)化模型如圖所示，輸入向量、權(quán)值矩陣，與閾值的加權(quán)和（內(nèi)積運(yùn)算）送入累加器，形成凈輸入，即：7/23/20234MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義人工神經(jīng)元模型圖中，xi(i＝1，2，…，n)為加于輸入端(突觸)上的輸入信號(hào)；ωi為相應(yīng)的突觸連接權(quán)系數(shù)，它是模擬突觸傳遞強(qiáng)度的—個(gè)比例系數(shù),∑表示突觸后信號(hào)的空間累加；θ表示神經(jīng)元的閾值，σ表示神經(jīng)元的響應(yīng)函數(shù)。該模型的數(shù)學(xué)表達(dá)式為：7/23/20235MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義與生物神經(jīng)元的區(qū)別:(1)生物神經(jīng)元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個(gè)等效的模擬電壓來模擬生物神經(jīng)元的脈沖密度，所以在模型中只有空間累加而沒有時(shí)間累加(可以認(rèn)為時(shí)間累加已隱含在等效的模擬電壓之中)。(3)上述模型未考慮時(shí)延、不應(yīng)期和疲勞等。7/23/20236MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義響應(yīng)函數(shù)的基本作用：

1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。7/23/20237MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義根據(jù)響應(yīng)函數(shù)的不同，人工神經(jīng)元有以下幾種類型：7/23/20238MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義閾值單元響應(yīng)函數(shù)如圖a所示,7/23/20239MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義線性單元其響應(yīng)函數(shù)如圖b所示7/23/202310MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義非線性單元常用響應(yīng)函數(shù)為S型(Sigmoid)函數(shù)，如圖c、d所示7/23/202311MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義Hardlimx>=0y=1;x<0y=0Hardlims:x>=0y=1;x<0y=-1Purelin:y=xSatlin:x<0y=0;x>1y=1;x>=0&&x<=1y=x;Logsig:y=7/23/202312MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成單個(gè)神經(jīng)元的功能是很有限的，人工神經(jīng)網(wǎng)絡(luò)只有用許多神經(jīng)元按一定規(guī)則連接構(gòu)成的神經(jīng)網(wǎng)絡(luò)才具有強(qiáng)大的功能。神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。7/23/202313MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義人工神經(jīng)網(wǎng)絡(luò)連接的基本形式：1．前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。最右一層為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛，例如，感知器就屬于這種類型。7/23/202314MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義2.反饋前向網(wǎng)絡(luò)網(wǎng)絡(luò)的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。7/23/202315MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義內(nèi)層互連前饋網(wǎng)絡(luò)通過層內(nèi)神經(jīng)元之間的相互連接，可以實(shí)現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制，從而限制層內(nèi)能同時(shí)動(dòng)作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來動(dòng)作。一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類型。7/23/202316MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義互連網(wǎng)絡(luò)互連網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其他神經(jīng)元相連。局部互連是指互連只是局部的，有些神經(jīng)元之間沒有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)的類型。7/23/202317MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式有教師學(xué)習(xí)(監(jiān)督學(xué)習(xí))7/23/202318MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義(1)均方誤差mse(meansquarederror)

誤差信號(hào)的不同定義:7/23/202319MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義(2)平均絕對(duì)誤差mae(meanabsoluteerror)7/23/202320MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義(3)誤差平方和sse(sumsquarederror)7/23/202321MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義無教師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))7/23/202322MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1.人工神經(jīng)元的一般模型在中，令，,則7/23/202323MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義人工神經(jīng)元的一般模型由此構(gòu)成人工神經(jīng)元的一般模型，如下圖所示。上式可寫成矩陣向量形式：a=f(Wp+b)7/23/202324MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義由S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)7/23/202325MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)7/23/202326MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義多層網(wǎng)絡(luò)的簡(jiǎn)化表示:7/23/202327MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型基本概念:標(biāo)量:小寫字母,如a,b,c等;列向量:小寫黑體字母,如a,b,c等,意為一列數(shù);矩陣向量:大寫黑體字母,如A,B,C等7/23/202328MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義權(quán)值矩陣向量W(t)

標(biāo)量元素,i為行,j為列,t為時(shí)間或迭代函數(shù)列向量行向量7/23/202329MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義閾值向量b(t)標(biāo)量元素,i為行,t為時(shí)間或迭代函數(shù)7/23/202330MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義網(wǎng)絡(luò)層符號(hào)加權(quán)和:,m為第m個(gè)網(wǎng)絡(luò)層,為第個(gè)神經(jīng)元,n為加權(quán)和網(wǎng)絡(luò)層輸出:,m為第m個(gè)網(wǎng)絡(luò)層,為第個(gè)神經(jīng)元,a為輸出輸入層權(quán)值矩陣,網(wǎng)絡(luò)層權(quán)值矩陣,其中,上標(biāo)k,l表示第l個(gè)網(wǎng)絡(luò)層到第k個(gè)網(wǎng)絡(luò)層的連接權(quán)值矩陣向量7/23/202331MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義

例:表示輸入向量的第R個(gè)輸入元素到輸入層的第個(gè)神經(jīng)元的連接權(quán).

表示……表示…第i個(gè)網(wǎng)絡(luò)層的第個(gè)神經(jīng)元的閾值7/23/202332MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義例:7/23/202333MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義n1為第一層神經(jīng)元的中間運(yùn)算結(jié)果,即連接權(quán)向量與閾值向量的加權(quán)和,大小為,即a1為第一層神經(jīng)元的輸出向量,大小為,7/23/202334MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義

神經(jīng)網(wǎng)絡(luò)的層數(shù)為神經(jīng)元網(wǎng)絡(luò)層的數(shù)目加1,即隱層數(shù)目加1.7/23/202335MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)7/23/202336MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義多層網(wǎng)絡(luò)簡(jiǎn)化形式圖中:7/23/202337MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義說明:輸入層神經(jīng)元的個(gè)數(shù)決定IW的行數(shù),輸入向量元素的個(gè)數(shù)決定IW的列數(shù),即S1行R列.7/23/202338MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義4.公式和圖形中的變量符號(hào)在編程代碼中的表示方法細(xì)胞矩陣:將多個(gè)矩陣向量作為細(xì)胞矩陣的”細(xì)胞”(Cell),細(xì)胞矩陣的各個(gè)元素值為對(duì)應(yīng)細(xì)胞的大小和數(shù)值類型,,7/23/202339MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義訪問元素:m{1}=n{1,1}=7/23/202340MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義m{2}=n{2,1}=n{2,1}(4)=57/23/202341MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義變量符號(hào)在MATLAB中的表示(1)上標(biāo)變量以細(xì)胞矩陣(Cellarray)即大括號(hào)表示p1={1}(2)下標(biāo)變量以圓括號(hào)表示,p1=p(1),,7/23/202342MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義例:=7/23/202343MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義7/23/202344MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義神經(jīng)網(wǎng)絡(luò)工具箱常用函數(shù)列表重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù)：初始化： initp訓(xùn)練： trainp仿真： simup學(xué)習(xí)規(guī)則： learnp7/23/202345MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義線性神經(jīng)網(wǎng)絡(luò)函數(shù)初始化： initlin設(shè)計(jì)： solvelin仿真： simulin離線訓(xùn)練： trainwh在線自適應(yīng)訓(xùn)練： adaptwh學(xué)習(xí)規(guī)則： learnwh7/23/202346MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義BP網(wǎng)絡(luò)函數(shù)：initff： 初始化不超過3層的前向網(wǎng)絡(luò)；simuff：仿真不超過3層的前向網(wǎng)絡(luò)；trainbp，trainbpx，trainlm：訓(xùn)練BPtrainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存儲(chǔ)空間。learnbp：學(xué)習(xí)規(guī)則7/23/202347MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義自組織網(wǎng)絡(luò)

初始化：initsm仿真：simuc訓(xùn)練：trainc：利用競(jìng)爭(zhēng)規(guī)則訓(xùn)練 trainsm：利用Kohonen規(guī)則訓(xùn)練7/23/202348MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義反饋網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò)）

仿真： simuhop設(shè)計(jì)： solvehopsolvehop 設(shè)計(jì)Hopfield網(wǎng)絡(luò)solvelin 設(shè)計(jì)線性網(wǎng)絡(luò)rands 產(chǎn)生對(duì)稱隨機(jī)數(shù)learnbp 反向傳播學(xué)習(xí)規(guī)則learnh Hebb學(xué)習(xí)規(guī)則learnp 感知層學(xué)習(xí)規(guī)則learnwh Widrow－Hoff學(xué)習(xí)規(guī)則initlin 線性層初始化initp 感知層初始化initsm 自組織映射初始化plotsm 繪制自組織映射圖trainbp 利用反向傳播訓(xùn)練前向網(wǎng)絡(luò)trainp 利用感知規(guī)則訓(xùn)練感知層trainwh 利用Widrow－Hoff規(guī)則訓(xùn)練線性層trainsm 利用Kohonen規(guī)則訓(xùn)練自組織映射7/23/202349MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義神經(jīng)網(wǎng)絡(luò)例子

7/23/202350MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型講義創(chuàng)建線性神經(jīng)網(wǎng)絡(luò)層n