數(shù)學(xué)建模 神經(jīng)網(wǎng)絡(luò)建模

1、人工神經(jīng)網(wǎng)絡(luò)建模,數(shù)學(xué)與信息科學(xué)系,1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介,人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)的基礎(chǔ)上發(fā)展起來的，旨在模擬人腦結(jié)構(gòu)以及功能的一種抽象的數(shù)學(xué)模型,其中Hopfield神經(jīng)網(wǎng)絡(luò)、ART神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)是常用的網(wǎng)絡(luò)。 Hopfield神經(jīng)網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單元，是一類不具有學(xué)習(xí)能力的單層自聯(lián)想網(wǎng)絡(luò)，她的網(wǎng)絡(luò)模型由一組可使某一個(gè)能量函數(shù)最小的微分方程組成。 ART神經(jīng)網(wǎng)絡(luò)主要用于模式識(shí)別，她的不足之處在于對(duì)轉(zhuǎn)換、失真和規(guī)模變化較敏感 BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播的多層前向網(wǎng)絡(luò),其信息處理機(jī)制由神經(jīng)元激活特性和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)決定,神經(jīng)元的傳遞函數(shù)是非線性函數(shù),網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、隱含層、輸出

2、層組成,同層節(jié)點(diǎn)間無關(guān)聯(lián) ,異層節(jié)點(diǎn)前向連接。,1.1、人工神經(jīng)元模型,人工神經(jīng)網(wǎng)絡(luò)的基本單元的神經(jīng)元模型,人工神經(jīng)元的三個(gè)要素,1.2激活（傳遞）函數(shù)的取法,在Matlab工具箱里包括了許多激活（傳遞）函數(shù)。在“Transfer Function Graphs”中可以找到它們的完全列表 函數(shù)名 功 能 purelin 線性傳遞函數(shù) hardlim 硬限幅遞函數(shù) hardlims 對(duì)稱硬限幅遞函數(shù) satli 飽和線性傳遞函數(shù) satlins 對(duì)稱飽和線性傳遞函數(shù) logsig 對(duì)數(shù)S 形傳遞函數(shù) tansig 正切S 形傳遞函數(shù) radbas 徑向基傳遞函數(shù) compet 競(jìng)爭(zhēng)層傳遞函數(shù),1

3、.3、網(wǎng)絡(luò)結(jié)構(gòu)以及工作方式,從連接方式看NN主要有兩種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)： 前饋型網(wǎng)絡(luò)：結(jié)點(diǎn)分為輸入單元和計(jì)算單元 反饋型網(wǎng)絡(luò)：所有結(jié)點(diǎn)都是計(jì)算單元 NN的工作過程主要分為兩個(gè)階段： 第一階段：學(xué)習(xí)期，此時(shí)個(gè)計(jì)算單元狀態(tài)不變，各連線上的權(quán)值可通過學(xué)習(xí)來修改 第二階段：工作期，此時(shí)各連接權(quán)值固定，計(jì)算各單元狀態(tài)變化,網(wǎng)絡(luò)結(jié)構(gòu)：前饋型神經(jīng)網(wǎng)絡(luò),兩個(gè)或更多的上面所示的神經(jīng)元可以組合成一層，一個(gè)典型的網(wǎng)絡(luò)可包括一層或者多層。我們首先來研究神經(jīng)元層。 單層神經(jīng)元網(wǎng)絡(luò) 有R輸入元素和S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)如下圖所示,n1=net.IW1,1*p+net.b1,多層神經(jīng)元網(wǎng)絡(luò),上面所示的網(wǎng)絡(luò)有R1個(gè)輸入，第一層

4、有S1個(gè)神經(jīng)元，第二層 有S2個(gè)神經(jīng)元,中間層的輸出就是下一層的輸入。第二層可看作有S1個(gè)輸入，S2個(gè)神經(jīng)元和S1xS2 階權(quán)重矩陣W2 的單層網(wǎng)絡(luò)。第二層的輸入是a1，輸出是a2，現(xiàn)在我們已經(jīng)確定了第二層的所有向量和矩陣，我們就能把它看成一個(gè)單層網(wǎng)絡(luò)了。其他層也可以照此步驟處理。多層網(wǎng)絡(luò)的功能非常強(qiáng)大。例、一個(gè)兩層的網(wǎng)絡(luò)，第一層的轉(zhuǎn)移函數(shù)是曲線函數(shù)，第二層的轉(zhuǎn)移函數(shù)是線性函數(shù)，通過訓(xùn)練，它能夠很好的模擬任何有有限斷點(diǎn)的函數(shù)。這種兩層網(wǎng)絡(luò)集中應(yīng)用于“反向傳播網(wǎng)絡(luò)”。注意:我們把第三層的輸出a3標(biāo)記為y。我們將使用這種符號(hào)來定義這種網(wǎng)絡(luò)的輸出。,1.4創(chuàng)建網(wǎng)絡(luò),newp 創(chuàng)建感知器網(wǎng)絡(luò) newl

5、ind 設(shè)計(jì)一線性層 newlin 創(chuàng)建一線性層 newff 創(chuàng)建一前饋 BP 網(wǎng)絡(luò) newcf 創(chuàng)建一多層前饋 BP 網(wǎng)絡(luò) newfftd 創(chuàng)建一前饋輸入延遲 BP 網(wǎng)絡(luò) newrb 設(shè)計(jì)一徑向基網(wǎng)絡(luò) newrbe 設(shè)計(jì)一嚴(yán)格的徑向基網(wǎng)絡(luò) newgrnn 設(shè)計(jì)一廣義回歸神經(jīng)網(wǎng)絡(luò) newpnn 設(shè)計(jì)一概率神經(jīng)網(wǎng)絡(luò) newc 創(chuàng)建一競(jìng)爭(zhēng)層 newsom 創(chuàng)建一自組織特征映射 newhop 創(chuàng)建一 Hopfield 遞歸網(wǎng)絡(luò) newelm 創(chuàng)建一 Elman 遞歸網(wǎng)絡(luò),1.5數(shù)據(jù)結(jié)構(gòu):影響網(wǎng)絡(luò)仿真的輸入數(shù)據(jù)結(jié)構(gòu)的格式,靜態(tài)網(wǎng)絡(luò)中的同步輸入仿真：,例1,動(dòng)態(tài)網(wǎng)絡(luò)中的異步輸入仿真：當(dāng)網(wǎng)絡(luò)中存在延遲時(shí)，

6、順序發(fā)生的輸入向量就要按一定的序列輸入網(wǎng)絡(luò)。為了演示這種情況，我們以一個(gè)有延遲的簡(jiǎn)單網(wǎng)絡(luò)為例。,動(dòng)態(tài)網(wǎng)絡(luò)中的同步輸入仿真,如果我們?cè)谏侠邪演斎胱鳛橥蕉皇钱惒綉?yīng)用，我們就會(huì)得到完全不同的響應(yīng)。這就好象每一個(gè)輸入都同時(shí)加到一個(gè)單獨(dú)的并行網(wǎng)絡(luò)中。在前一個(gè)例子中，如果我們用一組同步輸入，我們有： p1=1, p2=2,p3=3, p4=4 這可用下列代碼創(chuàng)建： P =1 2 3 4; 模擬這個(gè)網(wǎng)絡(luò)，我們得到： A = sim(net,P) A = 1 2 3 4,在某些特定的情況下，我們可能想要在同一時(shí)間模擬一些不同序列的網(wǎng)絡(luò)響應(yīng)。這種情況我們就要給網(wǎng)絡(luò)輸入一組同步序列。比如說，我們要把下面兩個(gè)

7、序列輸入網(wǎng)絡(luò)： p(1)=1, p(2)=2,p(3)=3, p(4)=4 p(1)=4, p(2)=3,p(3)=2, p(4)=1 輸入 P應(yīng)該是一個(gè)細(xì)胞數(shù)組，每一個(gè)數(shù)組元素都包含了兩個(gè)同時(shí)發(fā)生 的序列的元素。 P = 1 4 2 3 3 2 4 1; 現(xiàn)在我們就可以模擬這個(gè)網(wǎng)絡(luò)了： A = sim(net,P); 網(wǎng)絡(luò)輸出結(jié)果將是： A = 1 4 4 11 7 8 10 5 可以看到，每個(gè)矩陣的第一列是由第一組輸入序列產(chǎn)生的輸出序列，每個(gè)矩陣的第二列是由第二組輸入序列產(chǎn)生的輸出序列。這兩組序列之間沒有關(guān)聯(lián)，好象他們是同時(shí)應(yīng)用在單個(gè)的并行網(wǎng)絡(luò)上的。,前面的討論中，不論是作為一個(gè)同步向量矩

8、陣輸 入還是作為一個(gè)異步向量細(xì)胞數(shù)組輸入，模擬的 輸出值是一樣的。 在訓(xùn)練網(wǎng)絡(luò)時(shí)，這是不對(duì)的。當(dāng)我們使用adapt函 數(shù)時(shí)，如果輸入是異步向量細(xì)胞數(shù)組，那么權(quán)重 將在每一組輸入提交的時(shí)候更新（就是增加方 式）；如果輸入是同步向量矩陣，那么權(quán)重將只 在所有輸入提交的時(shí)候更新（就是批處理方式）。,1.6訓(xùn)練方式,兩種不同的訓(xùn)練方式(1)增加方式：每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次;(2)在批處理方式中：僅僅當(dāng)所有的輸入數(shù)據(jù)都被提交以后，網(wǎng)絡(luò)權(quán)重和偏置才被更新. 增加方式（應(yīng)用于自適應(yīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)） 雖然增加方式更普遍的應(yīng)用于動(dòng)態(tài)網(wǎng)絡(luò)，比如自適應(yīng)濾波，但是在靜態(tài)和動(dòng)態(tài)網(wǎng)絡(luò)中都可以應(yīng)用它。

9、,靜態(tài)網(wǎng)絡(luò)中的增加方式,用增加方式來訓(xùn)練靜態(tài)同步仿真中的例1，這樣每提交一次輸 入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次。 在此我們用函數(shù)adapt，并給出輸入和目標(biāo)序列：假定我們要 訓(xùn)練網(wǎng)絡(luò)建立以下線性函數(shù)： t=2p1+p2 . 我們的輸入是： 目標(biāo)輸出是： t1=4,t2=5 ,t3=7 ,t4=7 首先用0初始化權(quán)重和偏置。為了顯示增加方式的效果，先把 學(xué)習(xí)速度也設(shè)為0。 net = newlin(-1 1;-1 1,1,0,0); net.IW1,1 = 0 0; net.b1 = 0; 為了用增加方式，我們把輸入和目標(biāo)輸出表示為以下序列： P = 1;2 2;1 2;3 3;1; T =

10、4 5 7 7;,用增加方式訓(xùn)練網(wǎng)絡(luò)： net = newlin(-1 1;-1 1,1,0,0); net.IW1,1 = 0 0; net.b1 = 0; P = 1;2 2;1 2;3 3;1; T = 4 5 7 7; net,a,e,pf = adapt(net,P,T); 由于學(xué)習(xí)速度為0，網(wǎng)絡(luò)輸出仍然為0，并且權(quán)重沒有 被更新。錯(cuò)誤和目標(biāo)輸出相等。 a = 0 0 0 0 e = 4 5 7 7 如果我們?cè)O(shè)置學(xué)習(xí)速度為0.1，我們就能夠看到當(dāng)每一 組輸入提交時(shí)，網(wǎng)絡(luò)是怎么調(diào)整的了。 net.inputWeights1,1.learnParam.lr=0.1; net.biases

11、1,1.learnParam.lr=0.1; net,a,e,pf = adapt(net,P,T); a = 0 2 6.0 5.8 e = 4 3 1.0 1.2,2、BP神經(jīng)網(wǎng)絡(luò),2.1、概述 BP網(wǎng)絡(luò)是采用Widrow-Hoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個(gè)典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是Widrow-Hoff算法所規(guī)定的。backpropagation就是指的為非線性多層網(wǎng)絡(luò)計(jì)算梯度的方法。現(xiàn)在有許多基本的優(yōu)化算法，例如變尺度算法和牛頓算法。神經(jīng)網(wǎng)絡(luò)工具箱提供了許多這樣的算法。 一個(gè)經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果，雖然這個(gè)輸入并沒有被訓(xùn)練過。這個(gè)

12、特性使得BP網(wǎng)絡(luò)很適合采用輸入/目標(biāo)對(duì)進(jìn)行訓(xùn)練，而且并不需要把所有可能的輸入/目標(biāo)對(duì)都訓(xùn)練過。為了提高網(wǎng)絡(luò)的適用性，神經(jīng)網(wǎng)絡(luò)工具箱提供了兩個(gè)特性-規(guī)則化和早期停止。,2.2、基礎(chǔ) 網(wǎng)絡(luò)結(jié)構(gòu) 1）常用的前饋型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)ogsig，tansig有時(shí)也會(huì)用到線性函數(shù)purelin。當(dāng)網(wǎng)絡(luò)的最后一層采用曲線函數(shù)時(shí)輸出被限制在一個(gè)很小的范圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。如果需要也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。 2）在BP網(wǎng)絡(luò)中，轉(zhuǎn)移函數(shù)可求導(dǎo)是非常重要的，tansig、logsig和purelin都有對(duì)應(yīng)的導(dǎo)函數(shù)dtansig、dlogsig和dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導(dǎo)

13、函數(shù),可以輸入tansig(deriv) ans = dtansig,網(wǎng)絡(luò)構(gòu)建和初始化,訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對(duì)象。 函數(shù)newff建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)。 net = newff(PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) 這里需要4個(gè)輸入?yún)?shù)。 第一個(gè)參數(shù)是一個(gè)RxS1的矩陣以定義R個(gè)輸入向量的最小值 和最大值。 第二個(gè)參數(shù)是一個(gè)每層神經(jīng)元個(gè)數(shù)的數(shù)組。 第三個(gè)參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細(xì)胞數(shù)組。 最后一個(gè)參數(shù)是用到的訓(xùn)練函數(shù)的名稱。,例、創(chuàng)建一個(gè)二層網(wǎng)絡(luò),它的輸入是兩個(gè)元素的向量，第一層有四個(gè)神經(jīng)元，第二層有三個(gè)神 經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是

14、tan-sigmoid，輸出層的轉(zhuǎn)移函數(shù)是linear。 輸入向量的第一個(gè)元素的范圍是-1到2，輸入向量的第二個(gè)元素的范 圍是0到5，訓(xùn)練函數(shù)是traingd。 net=newff(-1 2; 0 5,4,3,tansig,purelin,traingd); 這個(gè)命令建立了網(wǎng)絡(luò)對(duì)象并且初始化了網(wǎng)絡(luò)權(quán)重和偏置，因此網(wǎng)絡(luò)就可以進(jìn)行訓(xùn)練了。,在訓(xùn)練前饋網(wǎng)絡(luò)之前，權(quán)重和偏置必須被初始化。初始化權(quán)重和偏置的工作用命令init來實(shí)現(xiàn)。net = init(net); 對(duì)前饋網(wǎng)絡(luò)來說，有兩種不同的初始化方式經(jīng)常被用到：initwb和initnw。1）initwb函數(shù)根據(jù)每一層自己的初始化參數(shù)(net.inp

15、utWeightsi,j.initFcn)初始化權(quán)重矩陣和偏置。前饋網(wǎng)絡(luò)的初始化權(quán)重通常設(shè)為rands，它使權(quán)重在-1到1之間隨機(jī)取值值，這種方式經(jīng)常用在轉(zhuǎn)換函數(shù)是線性函數(shù)時(shí)。2）initnw通常用于轉(zhuǎn)換函數(shù)是曲線函數(shù)。它根據(jù)Nguyen和WidrowNgWi90為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng)元的活動(dòng)區(qū)域能大致平坦的分布在輸入空間。它比起單純的給權(quán)重和偏置隨機(jī)賦值有以下優(yōu)點(diǎn)：（1）減少神經(jīng)元的浪費(fèi)（因?yàn)樗猩窠?jīng)元的活動(dòng)區(qū)域都在輸入空間內(nèi)）。（2）有更快的訓(xùn)練速度（因?yàn)檩斎肟臻g的每個(gè)區(qū)域都在活動(dòng)的神經(jīng)元范圍中）。,初始化函數(shù)被newff所調(diào)用。因此當(dāng)網(wǎng)絡(luò)創(chuàng)建 時(shí)，它根據(jù)缺省的參數(shù)自動(dòng)初始

16、化。 init不需要單獨(dú)的調(diào)用?？墒俏覀兛赡芤匦鲁跏蓟瘷?quán)重和偏置或者進(jìn)行自定義的初始化。例如，我們用newff創(chuàng)建的網(wǎng)絡(luò)，它缺省用initnw來初始化第一層。如果我們想要用rands重新初始化第一層的權(quán)重和偏置，我們用以下命令： net.layers1.initFcn = initwb; net.inputWeights1,1.initFcn = rands; net.biases1,1.initFcn = rands; net.biases2,1.initFcn = rands; net = init(net);,網(wǎng)絡(luò)模擬(SIM),用函數(shù)sim 模擬一個(gè)網(wǎng)絡(luò)。 sim 接收網(wǎng)絡(luò)輸入p，網(wǎng)

17、絡(luò)對(duì)象net，返回網(wǎng)絡(luò)輸出a，這里是simuff用來模擬上面建立的帶一個(gè)輸入向量的網(wǎng)絡(luò)。 p = 1;2; a = sim(net,p) a = -0.1011 (用這段代碼得到的輸出是不一樣的，這是因?yàn)榫W(wǎng)絡(luò)初始化是隨機(jī)的。) 例、調(diào)用sim來計(jì)算一個(gè)同步輸入3向量網(wǎng)絡(luò)的輸出： p = 1 3 2;2 4 1; a=sim(net,p) a = -0.1011 -0.2308 0.4955,網(wǎng)絡(luò)訓(xùn)練,一旦網(wǎng)絡(luò)加權(quán)和偏差被初始化，網(wǎng)絡(luò)就可以開始訓(xùn)練了。我們能夠訓(xùn)練網(wǎng)絡(luò)來做函數(shù)近似（非線性后退），模式結(jié)合，或者模式分類。訓(xùn)練處理需要一套適當(dāng)?shù)木W(wǎng)絡(luò)操作的例子-網(wǎng)絡(luò)輸入p和目標(biāo)輸出t。在訓(xùn)練期間網(wǎng)絡(luò)的

18、加權(quán)和偏差不斷的把網(wǎng)絡(luò)性能函數(shù)net.performFcn減少到最小。 前饋網(wǎng)絡(luò)的缺省性能函數(shù)是均方誤差mse-網(wǎng)絡(luò)輸出和目標(biāo)輸出t之間的均方誤差。,反向傳播算法,反向傳播學(xué)習(xí)算法最簡(jiǎn)單的應(yīng)用是沿著性能函數(shù)最速增 加的方向-梯度的負(fù)方向更新權(quán)重和偏置。這種遞歸算 法可以寫成： xk+1 = xk- a k *g k 這里xk是當(dāng)前權(quán)重和偏置向量，g k是當(dāng)前梯度，a k是 學(xué)習(xí)速率。 有兩種不同的辦法實(shí)現(xiàn)梯度下降算法：增加模式和批處 理模式。在增加模式中，網(wǎng)絡(luò)輸入每提交一次，梯度計(jì) 算一次并更新權(quán)重。在批處理模式中，當(dāng)所有的輸入都 被提交后網(wǎng)絡(luò)才被更新。,增加模式訓(xùn)練法（ADAPT）,現(xiàn)在我們

19、就可以開始訓(xùn)練網(wǎng)絡(luò)了。當(dāng)然我們要指定輸入 值和目標(biāo)值如下所示： p = -1 -1 2 2;0 5 0 5; t = -1 -1 1 1; 如果我們要在每一次提交輸入后都更新權(quán)重，那么我們 需要將輸入矩陣和目標(biāo)矩陣轉(zhuǎn)變?yōu)榧?xì)胞數(shù)組。每一個(gè)細(xì) 胞都是一個(gè)輸入或者目標(biāo)向量。 p = num2cell(p,1); t = num2cell(t,1); 現(xiàn)在就可以用adapt來實(shí)現(xiàn)增加方式訓(xùn)練了: net,a,e=adapt(net,p,t); 訓(xùn)練結(jié)束以后，就可以模擬網(wǎng)絡(luò)輸出來檢驗(yàn)訓(xùn)練質(zhì)量了。 a = sim(net,p) a = -0.9995 -1.0000 1.0001 1.0000,帶動(dòng)力的梯

20、度下降(LEARDGDM) 批處理訓(xùn)練方式 批處理梯度下降法(TRAINGD) 帶動(dòng)量的批處理梯度下降法（ 批處理訓(xùn)練方式 TRAINGDM）,例1、蠓蟲分類問題,1、蠓蟲分類問題 生物學(xué)家試圖對(duì)兩種蠓蟲（Af與Apf）進(jìn)行鑒別，依據(jù)的 資料是觸角和翅膀的長(zhǎng)度，已經(jīng)測(cè)得了9支Af和6支Apf的數(shù) 據(jù)如下： Af: (1.24,1.27)，(1.36,1.74)， (1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)，(1.56,2.08)； Apf: (1.14,1.82)，(1.18,1.96)，(1.

21、20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96). （i）根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類蠓蟲。 （ii）對(duì)觸角和翼長(zhǎng)分別為(1.24,1.80)，(1.28,1.84)與(1.40,2.04)的3個(gè)標(biāo)本，用所得到的方法加以識(shí)別。 （iii）設(shè)Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應(yīng)該修改分類方法。,問題分析：要求依據(jù)已知資料（9支Af的數(shù)據(jù)和6支Apf的數(shù)據(jù)）制定一種分類方法，類別是已經(jīng)給定的（Af或Apf）。我們將9支Af及6支Apf的數(shù)據(jù)集合稱之為學(xué)習(xí)樣本。2 多層前饋網(wǎng)絡(luò)為解決此問題，考慮一個(gè)其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò)

22、,輸入層,輸出層,中間層 （隱層）,以s = 1,2,15，分別表示學(xué)習(xí)樣本中的15個(gè)樣品，對(duì)樣品s而言，對(duì)任何一組確定的輸入I_ks(k=1,2)隱單元j 的輸入是相應(yīng)的輸出狀態(tài)是網(wǎng)絡(luò)的最終輸出是,對(duì)于任何一組確定的輸入 ，輸出是所有權(quán)的函數(shù)。 如果我們能夠選定一組適當(dāng)?shù)臋?quán)值，使得對(duì)應(yīng)于學(xué)習(xí) 樣本中任何一組Af樣品的輸入，輸出為(1,0) ，對(duì)應(yīng)于 Apf的輸入數(shù)據(jù)，輸出為(0,1)，那么蠓蟲分類問題實(shí)際 上就解決了。因?yàn)?，?duì)于任何一個(gè)未知類別的樣品，只 要將其觸角及翅膀長(zhǎng)度輸入網(wǎng)絡(luò)，視其輸出模式靠近 (1,0)亦或(0,1)，就可能判斷其歸屬。當(dāng)然，有可能出現(xiàn) 介于中間無法判斷的情況。 現(xiàn)

23、在的問題是，如何找到一組適當(dāng)?shù)臋?quán)值，實(shí)現(xiàn)上面所 設(shè)想的網(wǎng)絡(luò)功能。,3 向后傳播算法在1985年，美國(guó)加州大學(xué)的一個(gè)研究小組提出了所謂向后傳播算法（Back-Propagation）。我們希望對(duì)應(yīng)于學(xué)習(xí)樣本中Af樣品的輸出是(1,0)，對(duì)應(yīng)于Apf的輸出是(0,1)，這樣的輸出稱之為理想輸出。實(shí)際上要精確地作到這一點(diǎn)是不可能的，只能希望實(shí)際輸出盡可能地接近理想輸出。為清楚起見，把對(duì)應(yīng)于樣品s的理想輸出記為 ，,度量了在一組給定的權(quán)下，實(shí)際輸出與理想輸出的差異，由此，尋找 一組恰當(dāng)?shù)臋?quán)的問題，自然地歸結(jié)為求適當(dāng)W 的值，使E(W)達(dá)到極小 的問題,最速下降法,對(duì)每一個(gè)變量w_ij 或w 而言，這是

24、一個(gè)連續(xù)可微的非線性函數(shù)，為了求得其極小點(diǎn)與極小值，最為方便的就是使用最速下降法。 最速下降法是一種迭代算法，為求出E(W)的（局部）極小，它從一個(gè)任取的初始點(diǎn)W_0 出發(fā)，計(jì)算在W_0點(diǎn)的負(fù)梯度方向 ， 這是函數(shù)在該點(diǎn)下降最快的方向；只要 ， 就可沿該方向移動(dòng)一小段距離，達(dá)到一個(gè)新的點(diǎn)。不斷重復(fù)這一過程，一定能達(dá)到E 的一個(gè)（局部）極小點(diǎn)。就本質(zhì)而言，這就是BP算法的全部?jī)?nèi)容。 然而，對(duì)人工神經(jīng)網(wǎng)絡(luò)問題而言，這一算法的具體形式是非常重要的，下面我們就來給出這一形式表達(dá)。,對(duì)于隱單元到輸出單元的權(quán)w_ ij而言，最速下降法給出的每一步的修正量是,可以看出，所有權(quán)的修正量都有如下形式,指標(biāo)p 對(duì)

25、應(yīng)于兩個(gè)單元中輸出信號(hào)的一端，q對(duì)應(yīng)于輸入信號(hào)的一端，v或者代表H或者代表I 。,由實(shí)際輸出與理想輸出的差及 決定，而 則需依賴 算出，因此，這一算法才稱為向后傳播算法。,利用這一迭代算法，最終生成在一定精度內(nèi)滿足要求的 的過程，稱為人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程?？梢钥闯觯@里所提供的學(xué)習(xí)機(jī)制是元與元之間權(quán)的不斷調(diào)整，學(xué)習(xí)樣本中任何一個(gè)樣品所提供的信息，最終將包含在網(wǎng)絡(luò)的每一個(gè)權(quán)之中。參數(shù)h 的大小則反映了學(xué)習(xí)效率。,4、蠓蟲分類問題求解,clear p1=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1

26、.54,1.82;1.56,2.08; p2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 1.28,2.00;1.30,1.96; p=p1;p2; pr=minmax(p); goal=ones(1,9),zeros(1,6);zeros(1,9),ones(1,6); subplot(1,2,1) plot(p1(:,1),p1(:,2),h,p2(:,1),p2(:,2),o) subplot(1,2,2) net=newff(pr,3,2,logsig,logsig); net.trainParam.show = 10; net.trainParam.lr = 0.05; net.trainParam.epochs = 3000; net.trainParam.goal = 1e-10; net = train(net,p,goal); x=1.24 1.80;1.28 1.84;1.40 2.04; y0=sim(net,p) y=sim(net,x),例2、人口預(yù)測(cè)以下是從北京統(tǒng)計(jì)年鑒中得到的 1980-2010