神經(jīng)網(wǎng)絡(luò)模型及算法簡(jiǎn)介課件

神經(jīng)網(wǎng)絡(luò)算法

簡(jiǎn)介智能算法之一（1）具有高速信息處理的能力（2）知識(shí)存儲(chǔ)容量大（3）具有一定的不確定性信息處理能力（4）具有健壯性（5）善于處理非線(xiàn)性的系統(tǒng)的能力神經(jīng)網(wǎng)絡(luò)算法的特點(diǎn)（1）模式識(shí)別圖像識(shí)別、語(yǔ)音識(shí)別、手寫(xiě)體識(shí)別等。（2）信號(hào)處理特征提取、燥聲抑制、統(tǒng)計(jì)預(yù)測(cè)、數(shù)據(jù)壓縮、機(jī)器人視覺(jué)等。（3）判釋決策模糊評(píng)判、市場(chǎng)分析、系統(tǒng)辯識(shí)、系統(tǒng)診斷、預(yù)測(cè)估值等。（4）組合優(yōu)化旅行商問(wèn)題、任務(wù)分配、排序問(wèn)題、路由選擇等。（5）知識(shí)工程知識(shí)表示、專(zhuān)家系統(tǒng)、自然語(yǔ)言處理、實(shí)時(shí)翻譯系統(tǒng)等。神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域神經(jīng)網(wǎng)絡(luò)的基本思想對(duì)于第i個(gè)神經(jīng)元的輸入：與第i個(gè)神經(jīng)元連接的相應(yīng)權(quán)值為：神經(jīng)元本身的閥值為則輸出Y可表示為：即輸出與輸入有興奮與抑制兩種狀態(tài)，興奮時(shí)取值1，抑制時(shí)為0。神經(jīng)網(wǎng)絡(luò)的分類(lèi)主要從網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)方式兩方面分類(lèi)。1.按網(wǎng)絡(luò)結(jié)構(gòu)分為：前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。前饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的分類(lèi)2.學(xué)習(xí)方式：有導(dǎo)師學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值。

常用的學(xué)習(xí)規(guī)則有以下幾種：Hebb規(guī)則Delta規(guī)則(最小均方差規(guī)則

)反向傳播學(xué)習(xí)方法Kohonen學(xué)習(xí)規(guī)則(用于無(wú)指導(dǎo)訓(xùn)練網(wǎng)絡(luò))Grosberg學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron）（2）多層前饋（BP）網(wǎng)絡(luò)

（3）Hopfield網(wǎng)絡(luò)(優(yōu)化)（4）Boltzmann機(jī)（在BP中加入噪聲）（5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲(chǔ)）（6）盒腦態(tài)（單層自聯(lián)想，可用于數(shù)據(jù)庫(kù)提取知識(shí)）（7）自適應(yīng)共振網(wǎng)絡(luò)（可選參數(shù)，實(shí)現(xiàn)粗分類(lèi)）（8）對(duì)傳網(wǎng)絡(luò)（組合式，可用于圖像處理）……BP神經(jīng)網(wǎng)絡(luò)模型

BP(BackPropagation)網(wǎng)絡(luò)是一種按誤差反向傳播的多層前饋網(wǎng)絡(luò)。輸入層隱層輸出層基本思想:

學(xué)習(xí)過(guò)程分為兩個(gè)階段：第一階段(正向傳播過(guò)程)；給出輸入信息通過(guò)輸入層經(jīng)各隱層逐層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段(反向過(guò)程)：若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之間的差值(即誤差)，通過(guò)梯度下降法來(lái)修改權(quán)值，使得總誤差函數(shù)達(dá)到最小。BP神經(jīng)網(wǎng)絡(luò)模型

BP網(wǎng)絡(luò)算法思想

以三層BP網(wǎng)絡(luò)為例。假設(shè)網(wǎng)絡(luò)的輸入、隱層、輸出節(jié)點(diǎn)數(shù)分別為n,q,m個(gè)，P個(gè)樣本點(diǎn)。隱層第k個(gè)節(jié)點(diǎn)的輸出為：

輸出層第j個(gè)節(jié)點(diǎn)的輸出為：

其中函數(shù)f(.)為傳遞函數(shù)。又假設(shè)理想(目標(biāo))輸出為tpj。則定義全局誤差函數(shù)為BP網(wǎng)絡(luò)算法思想

一般的傳遞函數(shù)：1.極限函數(shù)(hardlim)2.對(duì)稱(chēng)函數(shù)(hardlims)3.對(duì)稱(chēng)飽和線(xiàn)性函數(shù)(satlins)6.競(jìng)爭(zhēng)函數(shù)(compet)4.S形函數(shù)(logsig)5.雙曲正切S形函數(shù)(tansig)BP網(wǎng)絡(luò)算法思想

權(quán)值調(diào)整公式(梯度下降法)：（1）輸出層權(quán)值的調(diào)整稱(chēng)為學(xué)習(xí)率，一般取值范圍為0.1~0.3。定義誤差信號(hào)（2）隱層權(quán)值的調(diào)整BP網(wǎng)絡(luò)算法思想

BP網(wǎng)絡(luò)的性能分析BP網(wǎng)絡(luò)的缺陷：收斂速度慢易陷入局部極小網(wǎng)絡(luò)結(jié)構(gòu)難以確定泛化能力差……BP算法的改進(jìn)主要分為六個(gè)方面：（1）學(xué)習(xí)率的改進(jìn)若學(xué)習(xí)率過(guò)大，可以提高收斂速度，但可能導(dǎo)致振蕩現(xiàn)象甚至發(fā)散；相反地，若學(xué)習(xí)率過(guò)小，可以保證訓(xùn)練能穩(wěn)定的收斂，但學(xué)習(xí)速度慢。退火算法：開(kāi)始時(shí)設(shè)置學(xué)習(xí)率高(0.7-0.9),隨學(xué)習(xí)次數(shù)增加而減少?；駼P算法的改進(jìn)（2）誤差函數(shù)的改進(jìn)一般情形隨著學(xué)習(xí)次數(shù)的增加，越來(lái)越小，會(huì)導(dǎo)致函數(shù)逼近速度減慢。BP算法的改進(jìn)（3）激勵(lì)函數(shù)的改進(jìn)導(dǎo)致誤差曲面出現(xiàn)“平臺(tái)”現(xiàn)象。或提出一些新型的激勵(lì)函數(shù)：1.高斯函數(shù)2.三角函數(shù)3.雙極性壓縮函數(shù)4.分段函數(shù)（4）網(wǎng)絡(luò)初始權(quán)值的選取BP算法的改進(jìn)初始權(quán)值對(duì)于權(quán)值學(xué)習(xí)是否達(dá)到最優(yōu)解和算法收斂快慢關(guān)系很大。一般是隨機(jī)產(chǎn)生。（1）使用Cauchy不等式和線(xiàn)性代數(shù)方法得到最優(yōu)初始權(quán)值；（2）利用獨(dú)立元分析（ICA）方法；（3）采用遺傳算法來(lái)初始化權(quán)值?！?）優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)BP算法的改進(jìn)關(guān)鍵是隱層的層數(shù)與隱節(jié)點(diǎn)的數(shù)目。隱節(jié)點(diǎn)過(guò)少，學(xué)習(xí)過(guò)程不可能收斂到全局最小點(diǎn)；隱節(jié)點(diǎn)過(guò)多，網(wǎng)絡(luò)性能下降，節(jié)點(diǎn)冗余。（6）改進(jìn)優(yōu)化算法主要有共軛梯度法、Newton法、Gauss－Newton法、Levenberg-Marquard法等2004級(jí)胡上蔚同學(xué)的工作：BP算法的改進(jìn)1.基于三項(xiàng)BP算法的最優(yōu)學(xué)習(xí)參數(shù)估計(jì)

分別為學(xué)習(xí)因子、動(dòng)量因子和比例因子。2.修改誤差函數(shù)新的BP學(xué)習(xí)算法

為標(biāo)準(zhǔn)誤差函數(shù)，為隱層飽和度，2004級(jí)胡上蔚同學(xué)的工作：BP算法的改進(jìn)3.放大誤差信號(hào)

在[0，0.5)上，理論上證明：算例效果圖：BP算法的改進(jìn)2006級(jí)孫娓娓的工作：BP算法的改進(jìn)1.放大誤差信號(hào)

2006級(jí)孫娓娓的工作：BP算法的改進(jìn)1.放大誤差信號(hào)

算例：函數(shù)逼近問(wèn)題標(biāo)準(zhǔn)BP算法改進(jìn)BP算法2006級(jí)孫娓娓的工作：BP算法的改進(jìn)2.BP網(wǎng)絡(luò)的聯(lián)合優(yōu)化

(1)自適應(yīng)調(diào)節(jié)學(xué)習(xí)率(2)動(dòng)態(tài)調(diào)整激勵(lì)函數(shù)的參數(shù)算

法迭代步數(shù)訓(xùn)練10000次的誤差測(cè)試樣本識(shí)別率標(biāo)準(zhǔn)BP算法20000次內(nèi)無(wú)法實(shí)現(xiàn)0.005256.67%加動(dòng)量項(xiàng)法78390.001389.7%自適應(yīng)學(xué)習(xí)率法3044.5951e-01193.33%改進(jìn)算法262.3271e-029100%乳腺癌數(shù)據(jù)分類(lèi)問(wèn)題的實(shí)驗(yàn)結(jié)果對(duì)照表2006級(jí)孫娓娓的工作：BP算法的改進(jìn)3.遺傳算法與BP網(wǎng)絡(luò)結(jié)合的模型

先用改進(jìn)的遺傳算法在整個(gè)權(quán)值空間和結(jié)構(gòu)空間中進(jìn)行粗略搜索，來(lái)代替一般初始權(quán)值的隨機(jī)選取和網(wǎng)絡(luò)結(jié)構(gòu)的經(jīng)驗(yàn)設(shè)定，然后采用BP算法進(jìn)行尋優(yōu)，最終得到問(wèn)題的精確或近似全局最優(yōu)解。實(shí)際應(yīng)用問(wèn)題1、蠓蟲(chóng)的分類(lèi)問(wèn)題2、DNA序列分類(lèi)問(wèn)題3、癌癥診斷問(wèn)題……P=[1.24 1.361.381.381.381.41.481.541.561.141.181.21.261.281.3;1.721.741.641.821.91.71.821.822.081.781.961.862.02.01.96];%目標(biāo)向量T=[111111111000000];%建立一個(gè)感知器net=newp([03;03],1);%網(wǎng)絡(luò)訓(xùn)練次數(shù)net.adaptParam.passes=100net=adapt(net,P,T);%輸出仿真結(jié)果Y=sim(net,P)%利用訓(xùn)練好的感知器進(jìn)行分類(lèi)p=[1.24,1.28,1.4;1.8,1.84,2.04];a=sim(net,p)a=111準(zhǔn)確率達(dá)到100%。ApfAfDNA序列模式分類(lèi)問(wèn)題一、問(wèn)題

已知序列標(biāo)號(hào)1—10為A類(lèi)，序列標(biāo)號(hào)11-20為B類(lèi)。待判斷的序列標(biāo)號(hào)21—40。例如A、B類(lèi)的片段：a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';b1='gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt';……二、特征提取序列特征主要有兩個(gè)：1、堿基的含量，反映了該序列的內(nèi)容；統(tǒng)計(jì)a、g、t、c序列中分別出現(xiàn)的頻率；2、堿基的排列情況，反映了該序列的形式；①?gòu)淖址霈F(xiàn)的周期性來(lái)反映。②統(tǒng)計(jì)三個(gè)字符出現(xiàn)的頻率；在遺傳學(xué)中每三個(gè)堿基的組合被稱(chēng)為一個(gè)密碼子，如agg，att，ggc,cgg等，共有43=64個(gè)，還可以由密碼子組成20個(gè)氨基酸。三、神經(jīng)網(wǎng)絡(luò)對(duì)DNA序列分類(lèi)問(wèn)題的應(yīng)用a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';編程統(tǒng)計(jì)出該片段的字符串（ttt,tta,ggc,cgg,gga）的頻數(shù)分別為：（0，1，5，7，10）經(jīng)過(guò)統(tǒng)計(jì)計(jì)算，得到已知類(lèi)別的輸入向量：p=[01051322211918231743122171923;12041114011315131199214127;5580109571190010003100;71016211965860001003200;10111521112129562111011011];待判類(lèi)別的輸入向量：P=[9231331531032659222216218;744859612331247324410210;00415021702204213121;02801150701303311102;23912181502115413112];由前20個(gè)已知類(lèi)別的DNA序列片段可以構(gòu)造出目標(biāo)向量：t=[11111111110000000000];1、應(yīng)用感知器對(duì)DNA序列進(jìn)行分類(lèi)：（DNAper1.m）net=newp([01;01;01;01;01],1);net.adaptParam.passes=110net=adapt(net,p,t);Y=sim(net,p)%回代檢驗(yàn)a=sim(net,P)%對(duì)待判類(lèi)別的序列進(jìn)行分類(lèi)A類(lèi)B類(lèi)a=01100010100001101000回代檢驗(yàn)結(jié)果是100%的準(zhǔn)確。待判序列的分類(lèi)結(jié)果：A類(lèi)：22，23，27，29，34，35，37；B類(lèi)：21，24，25，26，28，30，31，32，

33，36，38，39，40；輸出結(jié)果：誤差曲線(xiàn)圖2、應(yīng)用BP網(wǎng)絡(luò)對(duì)DNA序列進(jìn)行分類(lèi)：（DNAbp.m）net=newff([020;016;012;012;013],[51],{'logsig''purelin'},'traingdx');net.trainparam.show=100;net.trainparam.lr=0.5;net.trainparam.mc=0.8;n