神經(jīng)網(wǎng)絡(luò)的matlab函數(shù)介紹

[分享]Matlb的神經(jīng)網(wǎng)絡(luò)工具箱實(shí)用指南第一章介紹．神經(jīng)網(wǎng)絡(luò)網(wǎng)決來(lái)功。的。典許/。、音。如今神經(jīng)網(wǎng)絡(luò)能夠用來(lái)解決常規(guī)計(jì)算腿四巖越餼齙奈侍狻Ｎ頤侵饕ü飧齬ぞ呦淅唇⑹痙兜納窬縵低常⒂玫焦こ獺⒔鶉諍推淥導(dǎo)氏钅恐腥ァ?BR> 普網(wǎng)絡(luò)。無(wú)監(jiān)督網(wǎng)絡(luò)可以被絡(luò)和Hopd計(jì)來(lái)設(shè)增。有0近5經(jīng)仍發(fā)理用絡(luò)正個(gè)的運(yùn)它并的范例和它們的應(yīng)用的理解是很重要的我淹所們的料請(qǐng)心有?？谶\(yùn)系機(jī)動(dòng)性本--神設(shè)當(dāng)?shù)腗LB和網(wǎng)的。工作章節(jié)基本如、init、adpt和trai向?yàn)閭骱统?。幫助和安裝神在nnet入hepnnt。給入helpnndemos找到。安裝份MATLAB文檔中：teIsaltinGideforMS-inowsandMacitosh或者theIsaltonGuieforUNIX。第章神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)．符號(hào)號(hào)：標(biāo)量--字....c量--字.a,b,c矩陣-大寫(xiě)加粗的非斜體字.A,B,C一字價(jià)今這些規(guī)則列出變?yōu)锽：變上標(biāo)為細(xì)胞數(shù)組標(biāo)號(hào)如號(hào)如 和號(hào)數(shù)號(hào)如為B運(yùn)數(shù)如型單神元下圖所。這個(gè)輸入標(biāo)標(biāo)量w的連結(jié)果權(quán)的輸入p僅數(shù)f量置果p數(shù)f左移了b個(gè)單位，偏置除了值1以外量n入wp和偏置b數(shù)f數(shù)f者數(shù)n給出輸出的w和b和我整練的。想。了它你在元中省偏置。量b是是是驅(qū)動(dòng)量1。數(shù)在這在rn們的了。于0為于0輸為它。數(shù)hardlim圖以碼n=:1;potnhadi(n)':;在5到5之間的階躍函數(shù)圖。所有在工具箱。線(xiàn)性示。于0到1。這種（，可。表替換網(wǎng)的f特。第13使第3序n21移。向入經(jīng)元有R素重得到是W陣W量p。這置b，它加在加權(quán)的輸入上得到網(wǎng)絡(luò)輸入值n是轉(zhuǎn)移函數(shù)f用B為：n=*p+b可是擬整網(wǎng)絡(luò)許組網(wǎng)多神將。量pp號(hào)p是Rx1。（注意我們用的是大寫(xiě)字母，正如在里R此p是一個(gè)有R個(gè)輸入元素上R列單行矩陣W量1作為一個(gè)輸入乘上偏置標(biāo)量是積Wp這個(gè)和數(shù)f出a，過(guò)元有量。的向量乘積Wp置b數(shù)f。輸量p中。顯我號(hào)絡(luò)的。轉(zhuǎn)張用轉(zhuǎn)用示的替?zhèn)€：序nn2有2個(gè)元素的神經(jīng)元。3．構(gòu)兩個(gè)或更多的上面所多我來(lái)經(jīng)。單層神絡(luò)有R和S個(gè)神經(jīng)所：在一量p陣W接第I出n(同的n(i)有S個(gè)元素的網(wǎng)絡(luò)量量a，我們?cè)趫D的底部了a的表達(dá)式。注數(shù)R和神經(jīng)元數(shù)S通常是不等的，我們也并不需要這兩者相等。你也可以建立一個(gè)簡(jiǎn)用轉(zhuǎn)都生。輸入陣W作。=陣W的行標(biāo)標(biāo)記權(quán)重的目的神經(jīng)元標(biāo)的，的信神是有S和R個(gè)輸入元能：這里p是一個(gè)有R的量W個(gè)R，a和b有S個(gè)元素量移數(shù)。入層們要弄清連接輸入的權(quán)重矩陣和連接層的權(quán)重矩陣之間的區(qū)別的。重進(jìn)（一個(gè)標(biāo)號(hào)）。作為示例了。你可量p陣(1,第個(gè)標(biāo)號(hào)1是個(gè)標(biāo)號(hào)1都有上標(biāo)1。在用LW表示層權(quán)重矩用IW表示輸入。你可絡(luò)net層轉(zhuǎn)示：IW11ne.IW{,}樣：n1}=etI{1,}*pnetb1}多層經(jīng)元網(wǎng)絡(luò)一陣量b量為了區(qū)這重輸陣等每變了能的式。有R1有1有2類(lèi)推。一般不同層有不同數(shù)量的神經(jīng)元。每一個(gè)量1。注意有S1個(gè)輸入S2個(gè)神經(jīng)元和S1xS2階權(quán)陣W2是a是a層矩看其處。的做作，。：多層網(wǎng)絡(luò)的功能非常強(qiáng)大舉個(gè)子層，第二層的轉(zhuǎn)移函數(shù)是線(xiàn)性函數(shù)種兩層網(wǎng)中于傳絡(luò)"。注意出a3標(biāo)為我。構(gòu)這一節(jié)將討論影響網(wǎng)絡(luò)仿真的輸入數(shù)據(jù)結(jié)構(gòu)的格式們靜在動(dòng)網(wǎng)。異們意。靜態(tài)網(wǎng)絡(luò)中的同步輸入仿真不為是更簡(jiǎn)入。：et=nei(-11-11]);：W，]，]：ntI{11}=[12];e.{}=0;假即Q=：：P=[1223;2131];：A=sm(etP)A=5485單果行都關(guān)輸?shù)牟?。?dòng)態(tài)網(wǎng)絡(luò)中的異步輸入仿真演種我個(gè)單。：nt=neln[11],,01);e.aCnet=0;：W，]命令：e.{,}=[12];：)],p(2)[,3)=[],p(4)[4]：P={1234};：A=sm(etP)A=[][][][0]產(chǎn)含細(xì)意異步輸入很這例中乘1個(gè)輸入乘2。如果我們改變輸入順序，那么輸出結(jié)果也回隨之改變。動(dòng)態(tài)網(wǎng)絡(luò)中的同步輸入仿真響絡(luò)時(shí)網(wǎng)一：,p[,p=,p=]：P=[1234];：A=si(ntP)A=1234。是0權(quán)是乘要在同絡(luò)說(shuō)要個(gè)列入絡(luò)：)],p(2)[,3)[3],p])],p(2)[,3)[2],p]入P。P={[14][23][32][41];：A=si(ntP);：A={[14][411][78][105]}的每陣第二第序出象在單個(gè)的并行網(wǎng)絡(luò)上的。下有Q個(gè)S數(shù)m入P。蓋向有都應(yīng)時(shí)胞。輸用網(wǎng)能應(yīng)網(wǎng)改絡(luò)出響這。5．訓(xùn)練方式，網(wǎng)絡(luò)權(quán)重新式絡(luò)權(quán)重和偏置才被更新。增加方式（應(yīng)用與自適應(yīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)）適都應(yīng)。范去。靜態(tài)網(wǎng)絡(luò)中的增加方式交一數(shù)adap和目序列：：t=2p2：：1[4,=[],=7],t=7]用0始重置顯加的習(xí)為。nt=newi(-11;11,100);e.{,}=[00];e.{}=0;為了用增加方：P={[1;][2;1][2;][3;1};T={4577};前面的討論中，不論輸用adapt如，權(quán)所的新（就是批處理方式）。：[eta,,f]=adpt(etPT);為0，網(wǎng)為0，等。a=[0][]0][0]e=[][5][7][]為0整。ntipuWegt{,1.lanarm.r01;ntbiss{,1.eanarm.l=.1;[eta,,f]=adpt(etPT);a=[][2][.][58]e=[4][3][.][.2]由于為0時(shí)一權(quán)重更新輸一果絡(luò)行并且學(xué)習(xí)速率設(shè)置得當(dāng)，于。動(dòng)態(tài)網(wǎng)絡(luò)中的增加方式實(shí)上讓用面用過(guò)的那個(gè)有輸入延遲的為為0.。nt=nwl([11]1,01]01);e.{,}=[00];e.aCnet=0;：Pi={1};P={234};T=35};們前用m狀用at練絡(luò)：[eta,,pf]=adaptnetPT,i);a=[][.][798]e=[3][2.][-.8]由于是個(gè)次。式新它用。討。靜態(tài)網(wǎng)絡(luò)中的批處理方式批用adapt或tin于了習(xí)，train用adapt現(xiàn)，in只。讓我們用前面為0.。nt=neln[11-11],,,.);e.{,}=[00];e.{}=0;用adapt：P=[1223;2131];T=[4577];用adapt發(fā)ab。lanh是缺省的權(quán)重和偏，Wdwof：[eta,,f]=adpt(etPT);a=0000e=4577注為0們：>>n.{1}ns=4.004.100>b}s=0用adapt一。用train于Wir-ff理過(guò)at和train特是LeebegMaqart算法），所只用train。網(wǎng)絡(luò)：nt=neln[11-11],,,.);e.{,}=[00];e.{}=0;數(shù)用train并且因?yàn)閠rain為MATB可。P=[1223;2131];T=[4577];次t線(xiàn)練是trn。lerh前整是ab。ntiutegt{,1.erPrm.r=0.;ntbiss1.lanarm.r=0.1;nttiPrm.pohs=1;nt=tanntPT;：>>n.{1}ns=4.004.100>b}s=0用adaptt據(jù)加步方式訓(xùn)練；如果數(shù)據(jù)方于train格它式。動(dòng)態(tài)網(wǎng)絡(luò)中的增加方式用tin訓(xùn)練網(wǎng)絡(luò)，即使輸入是胞用adap著絡(luò)理。在動(dòng)用train為了說(shuō)明清楚，讓我們重新考慮那個(gè)帶延遲的線(xiàn)為0.0（們?cè)鏊菰谥厍埃﹏t=neln[-11],,[01],.0);ntW1,}[00];ntisonet0;nttiPrm.pohs=1;Pi={1};P={234};T=35};我提重將用批處理方式更新。ntti(e,,,i;：>>n.{1}ns=0.000.620練在次。章反向（P）述在際用廣網(wǎng)絡(luò)（P紹下BP。P網(wǎng)用Wif的BP網(wǎng)絡(luò)是Widf算acrpaatn是非網(wǎng)的基法例度和牛算一討這這算優(yōu)。一個(gè)的P網(wǎng)絡(luò)能夠根據(jù)輸入給出合。這個(gè)特得P網(wǎng)絡(luò)很適合采用/目標(biāo)對(duì)進(jìn)行訓(xùn)練，而且并不需要/-早期一處以練。礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)型BP里細(xì)說(shuō)：．常的型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)gg數(shù)purelin。絡(luò)層線(xiàn)在內(nèi)如線(xiàn)數(shù)則是BP以。．在Pgg和pn有應(yīng)的導(dǎo)函數(shù)dtang、dlogg和dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導(dǎo)函數(shù)，你可以帶字符"deriv移：tns('rv)ns=dasg絡(luò)構(gòu)和始化訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對(duì)象數(shù)nf一前需要4個(gè)Rx2義R。個(gè)每稱(chēng)最的。,。一轉(zhuǎn)移函是tan-id是linear輸?shù)膫€(gè)范圍-1到2，輸入向量的第二個(gè)元素的范圍是0到5，是trgd。ntnw(-12;05][,],as'uen'ig';。初下。令init實(shí)是如初化：nt=iitnt;我數(shù)netinicn和net.lyr}.iicn這給定網(wǎng)絡(luò)ne.initFn用為initlay它一的。了net.initFcn，那數(shù)netlyriiiFn要用一始。b和initnwintwb函數(shù)根據(jù)每一層自己的初始化參數(shù)(net.inpueight}.init)初始化權(quán)重矩陣和偏置。前饋網(wǎng)絡(luò)的初始化權(quán)重通常設(shè)為rand在-1到1轉(zhuǎn)換函數(shù)是線(xiàn)性函數(shù)時(shí)。initnw通常用于轉(zhuǎn)換函數(shù)是曲線(xiàn)函數(shù)。它根據(jù)Nun和irwNWi]為分布在入間（1神因區(qū)2練個(gè)都的范。被nf用絡(luò)根自。it不需，我們用newff缺用iw來(lái)初始化第一層用rands初層，令：e.ar{}ntn='nw';tth,in='d;e.is{,}iicn='ns;e.is{,}iicn='ns;nt=iitnt;網(wǎng)絡(luò)模擬(SIM)數(shù)sim模擬一個(gè)。m接收網(wǎng)入p，絡(luò)對(duì)象net出a，這里是siuf用。p=[1;];a=si(ep)a=-0.1011。)用m入3向量網(wǎng)絡(luò)的輸出：p=[132;241];=in,)a=-.011-.3080.495網(wǎng)訓(xùn)練可練練數(shù)近性子--網(wǎng)絡(luò)輸入p和目標(biāo)輸出t。在訓(xùn)練期間網(wǎng)絡(luò)的加權(quán)和偏差不斷的把網(wǎng)絡(luò)性能函數(shù)ntpefrmFn減少到最差mse-出輸出t算數(shù)把它要通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)反向計(jì)算的著向收速。向播法播簡(jiǎn)應(yīng)用是沿著性能函數(shù)最速增加的方向--梯度的負(fù)方向更新權(quán)重和偏置。這種遞歸算法可以寫(xiě)成：1=-akgk里xkgk，ak法梯降加批在加式計(jì)次新在當(dāng)入網(wǎng)將加理。式（）數(shù)adapt網(wǎng)入目標(biāo)最。是neaapcn式為adapt個(gè)的學(xué)習(xí)函數(shù)由參數(shù)net.ise{ij.larFn、ntptehi}aFn、eyehi.rn和Gtt)來(lái)決定。對(duì)于基最降函和偏置的學(xué)習(xí)函數(shù)設(shè)定為"erg"前：ntbiss1,}.erFcn='ernd';ntbiss2,}.erFcn='ernd';eyeh,.rn=rd;eiteh11lnn='en';數(shù)learngd一--率l上速數(shù)學(xué)速大如果學(xué)習(xí)速率當(dāng)leann設(shè)為lead每一個(gè)權(quán)重和偏置設(shè)置了學(xué)習(xí)速率參數(shù)照為0.置單獨(dú)的設(shè)置學(xué)習(xí)速率。.=;是ns定練值重復(fù)的次數(shù)。這里設(shè)置重復(fù)次數(shù)為200dms=0;下：p=[-1-122;0505];t=[1-111;如變每輸。p=numcl(,);t=nu2cllt1;用adapt來(lái)實(shí)現(xiàn)增加方式了:nt,=dpn,,;。a=si(ep)a=[0995][1000][.001][1.00]帶動(dòng)力的度下降法(LEAR)除了d以外，還有一種增加方式算法常被用到，它能提供更快的收斂速度--learngdm,帶動(dòng)量的最速下降法。動(dòng)力允許網(wǎng)絡(luò)不但根據(jù)當(dāng)前梯度而且還能根據(jù)誤差曲面勢(shì)器絡(luò)的動(dòng)部夠通過(guò)把權(quán)重變得與上次權(quán)重變化的部分和由算法規(guī)則得到的新變化的和相同而加入到網(wǎng)絡(luò)學(xué)習(xí)中去。上一次權(quán)重變化對(duì)動(dòng)量的影響由一個(gè)動(dòng)量常數(shù)來(lái)決定，它能為0到1間的任意量為0時(shí)，權(quán)重變化之根據(jù)梯度得到。當(dāng)動(dòng)量常數(shù)為1新變化。rm函數(shù)有上面所示的leard非mc和lr。重學(xué)和參。用lem：nt.ise{,1}larFcn='langm';nt.ise{,1}larFcn='langm';eei2}rn=g';eptis1lnn=rd';nt,=dpn,,;處訓(xùn)方式訓(xùn)練數(shù)n練權(quán)例決定權(quán)重和偏置的變化。法()數(shù)learngd等價(jià)的函數(shù)是traingd速降習(xí)數(shù)和下的trainFcn為t用tn學(xué)要和定函。d練：esoial和這的學(xué)速和d隔show次顯練什么候束數(shù)超過(guò)epoh函于goal于md訓(xùn)練時(shí)過(guò)time。面代重我以網(wǎng)，用處最降訓(xùn)網(wǎng)（注意用批處為）ntnwf[12;05],31]{nsg'url''and;w=;.r=.;s=;i.l=e;p=[-1-122;0505;t=[1-111];t(,;RN,Ech/0,SE.43-,Gdnt77/e-0RID,pch00,MSE.038/e,Grit004522/e10RIG,Eoh10/0,MSE004397e0,Grit001122/e10RID,Ech100,MSE.86e5e5,Gdet0006958/e-0RID,Ech200,MSE.54e5e5,Gd