神經(jīng)網(wǎng)絡(luò)算法含感知器和

神經(jīng)網(wǎng)絡(luò)算法含感知器和第1頁(yè)/共38頁(yè)神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介

感知器感知器(perceptron)是由美國(guó)科學(xué)家F.Rosenblatt于1957年提出的，其目的是為了模擬人腦的感知和學(xué)習(xí)能力。感知器是最早提出的一種神經(jīng)網(wǎng)絡(luò)模型。它特別適合于簡(jiǎn)單的模式分類(lèi)問(wèn)題，如線(xiàn)性可分的形式。第2頁(yè)/共38頁(yè)神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介以?xún)蓚€(gè)輸入的單層感知器神經(jīng)元為例∑w(1,1)w(1,2)p(1)p(2)nabw——權(quán)重;b——閾值如果設(shè)w(1,1)=-1,w(1,2)=2,b=1L-b/w(1,2)-b/w(1,1)wp+b>0a=1wp+b<0a=0

單層感知器第3頁(yè)/共38頁(yè)

多層感知器w(1,1)w(1,2)p1p2na2∑b1∑b2n2a2n1a1∑b1w(2,1)w(2,2)第4頁(yè)/共38頁(yè)性能指標(biāo)：均方誤差達(dá)到最小涉及算法注意：?jiǎn)螌痈兄鞯木窒扌允牵簝H對(duì)線(xiàn)性可分問(wèn)題具有分類(lèi)能力。第5頁(yè)/共38頁(yè)分類(lèi)問(wèn)題的MATLAB軟件實(shí)現(xiàn)以蠓蟲(chóng)分類(lèi)問(wèn)題為例%輸入向量P=[1.24 1.361.381.381.381.41.481.541.561.141.181.21.261.281.3;1.721.741.641.821.91.71.821.822.081.781.961.862.02.01.96];%目標(biāo)向量T=[111111111000000];%繪制輸入向量plotpv(P,T);1）單層感知器∑w(1,1)w(1,2)p(1)p(2)nab第6頁(yè)/共38頁(yè)%建立一個(gè)感知器net=newp([03;03],1);%繪制輸入向量plotpv(P,T);%初始化感知器net=init(net);%畫(huà)出分類(lèi)線(xiàn)net.iw{1,1}net.b{1}linehandle=plotpc(net.iw{1,1},net.b{1});%作wx+b=0的分類(lèi)線(xiàn)分類(lèi)問(wèn)題的MATLAB軟件實(shí)現(xiàn)第7頁(yè)/共38頁(yè)分類(lèi)問(wèn)題的MATLAB軟件實(shí)現(xiàn)E=1;%修正感知器網(wǎng)絡(luò)while(sse(E))%sse返回誤差的平方

[net,Y,E]=adapt(net,P,T);%返回學(xué)習(xí)后的網(wǎng)絡(luò),Y是輸出，E是誤差

linehandle=plotpc(net.IW{1},net.b{1},linehandle);%分界線(xiàn)繪制函數(shù)

drawnow;%更新分界線(xiàn)end;第8頁(yè)/共38頁(yè)%利用訓(xùn)練好的感知器對(duì)未知類(lèi)別樣本進(jìn)行分類(lèi)p=[1.24,1.28,1.4;1.8,1.84,2.04];a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,'type','line');set(ThePoint,'Color','red');holdon;plotpv(P,T);plotpc(net.IW{1},net.b{1});holdoff;disp('Endofpercept')分類(lèi)問(wèn)題的MATLAB軟件實(shí)現(xiàn)分類(lèi)結(jié)果：AfApf第9頁(yè)/共38頁(yè)以上結(jié)果是圖形化的結(jié)果，如下給出數(shù)值化的結(jié)果：mcfl1.mP=[1.24 1.361.381.381.381.41.481.541.561.141.181.21.261.281.3;1.721.741.641.821.91.71.821.822.081.781.961.862.02.01.96];%目標(biāo)向量T=[111111111000000];%建立一個(gè)感知器net=newp([03;03],1);%網(wǎng)絡(luò)訓(xùn)練次數(shù)net.adaptParam.passes=100net=adapt(net,P,T);%返回自適應(yīng)的神經(jīng)網(wǎng)絡(luò)%輸出仿真結(jié)果Y=sim(net,P)%利用訓(xùn)練好的感知器進(jìn)行分類(lèi)p=[1.24,1.28,1.4;1.8,1.84,2.04];a=sim(net,p)第10頁(yè)/共38頁(yè)仿真結(jié)果：Y=Columns1through1111111111100Columns12through150000a=111準(zhǔn)確率達(dá)到100%。第11頁(yè)/共38頁(yè)BP網(wǎng)絡(luò)(Back-PropagationNetwork)

目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，決大部分的神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)和它的變化形式。BP網(wǎng)絡(luò)主要用于：

◆函數(shù)逼近

◆模式識(shí)別

◆

分類(lèi)

◆數(shù)據(jù)壓縮第12頁(yè)/共38頁(yè)

學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望輸出（教師信號(hào)）不符合時(shí)，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此信號(hào)作為修正各單元權(quán)值的依據(jù)。BP算法的基本思想：第13頁(yè)/共38頁(yè)x1x2xixn-1xn……y1y2yjym……W1WkWlo1okol……輸入層隱層輸出層隱層到輸出層之間的權(quán)值矩陣：W=[W1,W2,…,Wl]1、網(wǎng)絡(luò)結(jié)構(gòu)2、各層信號(hào)之間的數(shù)學(xué)關(guān)系輸出層ok=f(netk),netk=∑j=0:mwjkyj,k=1,2,…,l,對(duì)隱層yk=f(netj),netj=∑i=0:nvijxi,j=1,2,…,m,傳遞函數(shù)一般用：f(x)=1/(1+exp(-x))(s型函數(shù)）誤差函數(shù)：Eh=0.5*(∑j=0:l(thj-ohj)2),thj,ohj分別為期望輸出和網(wǎng)絡(luò)的實(shí)際輸出。第14頁(yè)/共38頁(yè)MATLAB中有關(guān)BP網(wǎng)絡(luò)的重要函數(shù)newff創(chuàng)建前向BP網(wǎng)絡(luò)格式：net=newff(PR,[S1S2...SNl],{TF1TF2...TFNl},BTF,BLF,PF)

其中：PR——R維輸入元素的R×2階最大最小值矩陣；

Si——

第i層神經(jīng)元的個(gè)數(shù)，共N1層；

TFi——

第i層的轉(zhuǎn)移函數(shù)，默認(rèn)‘tansig’；

BTF——BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)‘trainlm’;BLF——BP權(quán)值/偏差學(xué)習(xí)函數(shù)，默認(rèn)’learngdm’PF——

性能函數(shù)，默認(rèn)‘mse’；（誤差）第15頁(yè)/共38頁(yè)MATLAB中有關(guān)BP網(wǎng)絡(luò)的重要函數(shù)例如：net=newff([020;016;012;012;013],[51],{'logsig''purelin'},'traingdx');三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：中間層為5輸出層為1輸入層5維向量的取值范圍訓(xùn)練函數(shù)轉(zhuǎn)移函數(shù)第16頁(yè)/共38頁(yè)（1）purelin——

線(xiàn)性傳遞函數(shù)；（2）tansig——

雙曲正切S型（sigmoid）傳遞函數(shù)；（3）logsig——

對(duì)數(shù)S型（sigmoid）傳遞函數(shù)；1、轉(zhuǎn)移函數(shù)：（1）（2）（3）第17頁(yè)/共38頁(yè)2、訓(xùn)練函數(shù)：trainlm——Levenberg-Marquardt的BP算法訓(xùn)練函數(shù)；trainbfg——BFGS擬牛頓BP算法訓(xùn)練函數(shù)；trainrp

——

具有彈性的BP算法訓(xùn)練；traingd

——

梯度下降是BP算法訓(xùn)練;traingda

——

梯度下降自適應(yīng)lr的BP算法訓(xùn)練；traingdm——梯度下降動(dòng)量的BP算法訓(xùn)練；traingdx——梯度下降動(dòng)量和自適應(yīng)lr的BP算法訓(xùn)練；第18頁(yè)/共38頁(yè)

如果對(duì)神經(jīng)網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)進(jìn)行一定的預(yù)處理，可以加快網(wǎng)絡(luò)的訓(xùn)練速度。有三種方法：

1）歸一化將每組數(shù)據(jù)都變?yōu)?1至1之間的數(shù)，matlab中有函數(shù)：premnmx,postmnmx,tramnmx算法：

pn=2*(p-minp)/(maxp-minp)-1;2）標(biāo)準(zhǔn)化將每組數(shù)據(jù)變換為均值為0，方差為1的數(shù)，所涉及的函數(shù)有：prestd,posttd,trastd3)正交化主成分分析也可以將數(shù)據(jù)進(jìn)行正交處理，減少輸入數(shù)據(jù)的處理，函數(shù)有：prepca,trapca.注意：數(shù)據(jù)預(yù)處理第19頁(yè)/共38頁(yè)P(yáng)=[012345678910];%輸入向量T=[01234321234];%期望輸出例：%創(chuàng)建兩層的BP網(wǎng)絡(luò)：net=newff

(

[010],

[51],

{'tansig','purelin'}

);Y=sim(net,P);%輸出仿真結(jié)果plot(P,T,P,Y,‘o’)%作圖，未經(jīng)過(guò)訓(xùn)練的結(jié)果或net.trainParam.epochs=50;net=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,‘o’)%作圖訓(xùn)練后的結(jié)果第20頁(yè)/共38頁(yè)Y=-2.3431-2.7532-2.4510-1.2784-0.8590-0.29810.24950.48111.03751.22681.4232T=[01234321234];%期望輸出第一種情況的輸出結(jié)果：誤差很大！未訓(xùn)練，非線(xiàn)性映射能力差。第21頁(yè)/共38頁(yè)Y=-0.00191.00451.98963.01573.96373.10211.81751.20561.83223.11623.9551T=[01234321234];%期望輸出第二種情況的輸出結(jié)果：思考：究竟誤差有多大？第22頁(yè)/共38頁(yè)修改程序：P=[012345678910];T=[01234321234];net=newff([010],[51],{'tansig''purelin'});net.trainparam.show=50;%每次循環(huán)50次net.trainParam.epochs=500;%最大循環(huán)500次net.trainparam.goal=0.01;%期望目標(biāo)誤差最小值net=train(net,P,T);%對(duì)網(wǎng)絡(luò)進(jìn)行反復(fù)訓(xùn)練Y=sim(net,P)figure%打開(kāi)另外一個(gè)圖形窗口plot(P,T,P,Y,'o')第23頁(yè)/共38頁(yè)Y=0.00051.00261.99473.01343.9429

3.12111.84821.17551.85683.11503.9595第二種情況的輸出結(jié)果：第24頁(yè)/共38頁(yè)范例：DNA序列模式分類(lèi)問(wèn)題一、問(wèn)題

假定已知兩組人工已分類(lèi)的DNA序列（20個(gè)已知類(lèi)別的人工制造的序列），其中序列標(biāo)號(hào)1—10為A類(lèi)，11-20為B類(lèi)。要求我們從中提取已經(jīng)分類(lèi)了的DNA序列片段的特征和構(gòu)造分類(lèi)方法，并且還要衡量所用分類(lèi)方法的好壞，從而構(gòu)造或選擇一種較好的分類(lèi)方法。測(cè)試對(duì)象是20個(gè)未標(biāo)明類(lèi)別的人工序列（標(biāo)號(hào)21—40）和182個(gè)自然DNA序列。例如A類(lèi)：第25頁(yè)/共38頁(yè)a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';b1='gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt';……第26頁(yè)/共38頁(yè)二、特征提取

序列中含有四個(gè)堿基a、g、t、c，反映該序列特征的方面主要有兩個(gè)：1、堿基的含量，反映了該序列的內(nèi)容；

統(tǒng)計(jì)a、g、t、c序列中分別出現(xiàn)的頻率；2、堿基的排列情況，反映了該序列的形式；①?gòu)淖址霈F(xiàn)的周期性來(lái)反映。②統(tǒng)計(jì)三個(gè)字符出現(xiàn)的頻率；在遺傳學(xué)中每三個(gè)堿基的組合被稱(chēng)為一個(gè)密碼子，如agg，att，ggc,cgg等，共有43=64個(gè)，還可以由密碼子組成20個(gè)氨基酸。第27頁(yè)/共38頁(yè)三、神經(jīng)網(wǎng)絡(luò)對(duì)DNA序列分類(lèi)問(wèn)題的應(yīng)用

假定提取已知序列類(lèi)別的三字符串，如agg，att，ggc,cgg……，共有43=64個(gè)，將它簡(jiǎn)化成只有5個(gè)：ttt,tta,ggc,cgg,gga。統(tǒng)計(jì)出任意一個(gè)DNA序列片段的5維向量，即每個(gè)特征字符串在序列中出現(xiàn)的頻數(shù)作為分量。a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';編程統(tǒng)計(jì)出該片段的字符串（ttt,tta,ggc,cgg,gga）的頻數(shù)分別為：（0，1，5，7，10）第28頁(yè)/共38頁(yè)經(jīng)過(guò)統(tǒng)計(jì)計(jì)算，得到已知類(lèi)別的輸入向量：p=[01051322211918231743122171923;12041114011315131199214127;5580109571190010003100;71016211965860001003200;10111521112129562111011011];待判類(lèi)別的輸入向量：P=[9231331531032659222216218;744859612331247324410210;00415021702204213121;02801150701303311102;23912181502115413112];第29頁(yè)/共38頁(yè)由前20個(gè)已知類(lèi)別的DNA序列片段可以構(gòu)造出目標(biāo)向量：t=[11111111110000000000];1、應(yīng)用感知器對(duì)DNA序列進(jìn)行分類(lèi)：（DNAper1.m）net=newp([01;01;01;01;01],1);net.adaptParam.passes=110net=adapt(net,p,t);Y=sim(net,p)%回代檢驗(yàn)a=sim(net,P)%對(duì)待判類(lèi)別的序列進(jìn)行分類(lèi)A類(lèi)B類(lèi)第30頁(yè)/共38頁(yè)a=01100010100001101000回代檢驗(yàn)結(jié)果是100%的準(zhǔn)確。待判序列的分類(lèi)結(jié)果：A類(lèi)：22，23，27，29，34，35，37；B類(lèi)：21，24，25，26，28，30，31，32，

33，36，38，39，40；輸出結(jié)果：第31頁(yè)/共38頁(yè)a=01100010100001101000并附圖形：獲得數(shù)值分類(lèi)結(jié)果：（DNAper.m）net=newp([01;01;01;01;01],1);net.adaptParam.passes=110net=adapt(net,p,t);Y=sim(net,p)%回代檢驗(yàn)a=sim(net,P)%對(duì)待判類(lèi)別的序列進(jìn)行分類(lèi)輸出結(jié)果：第32頁(yè)/共38頁(yè)誤差曲線(xiàn)圖第33頁(yè)/共38頁(yè)2、應(yīng)用BP網(wǎng)絡(luò)對(duì)DNA序列進(jìn)行分類(lèi)：（DNAbp.m）net=newff([020;016;012;012;013],[31],{'logsig''purelin'},'t