人工神經(jīng)網(wǎng)絡(luò)算法

1、人工神經(jīng)網(wǎng)絡(luò)算法第1頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日 神經(jīng)網(wǎng)絡(luò)幾乎與AI同時(shí)起步，但30余年來卻并未取得人工智能那樣巨大的成功，中間經(jīng)歷了一段長時(shí)間的蕭條。直到80年代，獲得了關(guān)于人工神經(jīng)網(wǎng)絡(luò)切實(shí)可行的算法，以及以Von Neumann體系為依托的傳統(tǒng)算法在知識處理方面日益顯露出其力不從心后，人們才重新對人工神經(jīng)網(wǎng)絡(luò)發(fā)生了興趣，才是神經(jīng)網(wǎng)絡(luò)理論得到復(fù)興。第2頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日 到目前為止，已經(jīng)出現(xiàn)許多神經(jīng)網(wǎng)絡(luò)模型及相應(yīng)的學(xué)習(xí)算法。其中誤差逆?zhèn)鞑ィ‥rror Back-propagation）算法（簡稱BP算法）是一種較常用的算法。人

2、工神經(jīng)網(wǎng)絡(luò)可用于對物群的目標(biāo)擬合、模式分類和預(yù)測。第3頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和基本原理基本上是以人腦的組織結(jié)構(gòu)和活動規(guī)律為背景，它反映料人腦的某些基本特征，是人腦的某些抽象、簡化或模仿。神經(jīng)網(wǎng)絡(luò)有許多并行運(yùn)算的功能簡單的單元組成，每個(gè)神經(jīng)元有一個(gè)輸出，它可以連接到許多其它神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通路，每個(gè)連接通路對應(yīng)一個(gè)連接權(quán)系數(shù)。第4頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日第5頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日X1 X2 Xn y1y2ym輸入層節(jié)點(diǎn)隱層節(jié)點(diǎn)輸出層節(jié)點(diǎn) 第6頁

3、，共20頁，2022年，5月20日，11點(diǎn)6分，星期日 這個(gè)算法的學(xué)習(xí)過程，由正向傳播和反相傳播組成，在正向傳播過程中，輸入信息從輸入層經(jīng)隱單元層逐層處理，并傳向輸入層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望得輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號減小，然后再轉(zhuǎn)入正向傳播過程，反復(fù)迭代，直到誤差小于給定的值為止。第7頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日 BP網(wǎng)絡(luò)的學(xué)習(xí)過程主要由四部分組成：輸入模式順傳播、輸出誤差逆?zhèn)鞑ァ⒀h(huán)記憶訓(xùn)練、學(xué)習(xí)結(jié)果判別。第8頁，共20頁，2022年，5月20日，1

4、1點(diǎn)6分，星期日（1）輸入模式順傳播根據(jù)神經(jīng)元模型原理，計(jì)算中間層各神經(jīng)元的激活值：（j=1，2，p）式中：wij-輸入層至中間層連接權(quán)；-中間層單元閥值；P中間層單元數(shù)。第9頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日激活函數(shù)采用S型函數(shù)，即這里之所以選S型函數(shù)作為BP神經(jīng)元網(wǎng)絡(luò)的激活函數(shù)是因?yàn)樗沁B續(xù)可微分的，而且更接近于生物神經(jīng)元的信號輸入形式。第10頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日閥值在學(xué)習(xí)過程中和權(quán)值一樣也不斷的被修正。同理可求出輸出端的激活值和輸出值。設(shè)輸出層第t個(gè)單元的激活值為則設(shè)輸出層第t個(gè)單元的實(shí)際輸出值為則（t=1,2,q） 第11頁，共

5、20頁，2022年，5月20日，11點(diǎn)6分，星期日(2) 輸出誤差的逆?zhèn)鞑?在第一步的模式順傳播計(jì)算中我們得到了網(wǎng)絡(luò)的實(shí)際輸出值，當(dāng)這些實(shí)際輸出值與希望的輸出值不一樣時(shí)或其誤差大于所限定的數(shù)值時(shí)，就要對網(wǎng)絡(luò)進(jìn)行校正。這里的校正是從后向前進(jìn)行的，所以叫做誤差逆?zhèn)鞑ィ?jì)算時(shí)是從輸出層到中間層，再從中間層到輸入層。第12頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日（3）循環(huán)記憶訓(xùn)練為使網(wǎng)絡(luò)的輸出誤差趨于極小值。對于BP網(wǎng)輸入的每一組訓(xùn)練模式，一般要經(jīng)過數(shù)百次甚至上萬次的循環(huán)記憶訓(xùn)練，才能使網(wǎng)絡(luò)記住這一模式。這種循環(huán)記憶訓(xùn)練實(shí)際上就是反復(fù)重復(fù)上面介紹的輸入模式順傳播和輸出誤差逆?zhèn)鞑ミ^程，使

6、網(wǎng)絡(luò)記住訓(xùn)練過程中權(quán)值的變化。第13頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日（4）學(xué)習(xí)結(jié)果的判別 第14頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日開始連接權(quán)及閥值初始化學(xué)習(xí)模式對提供給網(wǎng)絡(luò)計(jì)算中間層各單元的輸入、輸出計(jì)算輸出層各單元的輸入、輸出計(jì)算輸出層各單元校正誤差計(jì)算中間層各單元的校正誤差調(diào)整中間層至輸出層之間的連接權(quán)及輸出層各單元的輸出閥值調(diào)整輸入層至中間層之間的連接權(quán)及中間層各單元的輸出閥值誤差n學(xué)習(xí)結(jié)束是否第15頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日BP算法存在的缺陷BP模型把一組樣本的I/O問題變?yōu)橐粋€(gè)非線性優(yōu)化問題，使用了優(yōu)化中最普

7、通的梯度下降法，用迭代運(yùn)算求解權(quán)相應(yīng)于學(xué)習(xí)記憶問題，加入隱節(jié)點(diǎn)使優(yōu)化問題的可調(diào)參數(shù)增加，從而可得到更精確的解。神經(jīng)網(wǎng)絡(luò)是一種映射表示方法，它是對簡單的非線性函數(shù)進(jìn)行復(fù)合，經(jīng)過少數(shù)復(fù)合后，則可實(shí)現(xiàn)復(fù)雜的函數(shù)，這對數(shù)學(xué)映射方法有著重要的啟事。但正因?yàn)樗捎玫牡氖欠蔷€性規(guī)劃中的最速下降法，按誤差的負(fù)梯度方向修改權(quán)值，因而通常存在著一些問題。第16頁，共20頁，2022年，5月20日，11點(diǎn)6分，星期日1由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度較慢，需要較長的收斂時(shí)間。這主要是由于學(xué)習(xí)速率太小造成的可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。2由于是一個(gè)非線性優(yōu)化問題，則不可避免地存在有局部極小的問題。通常，在BP算法中，隨機(jī)設(shè)置初始權(quán)值時(shí)，網(wǎng)絡(luò)的訓(xùn)練一般較難達(dá)到全局最優(yōu)。3網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗(yàn)或者是通過反復(fù)實(shí)驗(yàn)來確定。因此網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。4網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從頭開始重新訓(xùn)練，對于以前的權(quán)值和閾值是沒有記憶的。 第17頁