人工神經(jīng)網(wǎng)絡(luò)模型

1、 第六章 人工神經(jīng)網(wǎng)絡(luò)模型 我們不可能對生物學(xué)上的神經(jīng)網(wǎng)絡(luò)作完全的了解，只可能在某種成度上描述我們所了解的情況。同樣，人工神經(jīng)網(wǎng)絡(luò)也只可能是在某種程度上對真實的神經(jīng)網(wǎng)絡(luò)的一種模擬和逼近。 6.1神經(jīng)元模型n生物神經(jīng)元模型神經(jīng)元neuron,neural cell也就是神經(jīng)細(xì)胞。人腦就是由大量神經(jīng)元組合而成的。a) 神經(jīng)元由 細(xì)胞體、樹突和軸突組成。 中心 接受器 傳導(dǎo)信息n人工神經(jīng)元模型，如圖所示(threshold)神經(jīng)元另一個樹突細(xì)胞體軸突x1jijyjxnjnf某個神經(jīng)元 j 的輸入輸出關(guān)系為其中， 為閥值， 為連接權(quán)，f()為變換函數(shù)， 也稱活化函數(shù)(activation functi

2、on)。變換函數(shù)的種類有很多種，可參見p.126。其中用得最多的是比例函數(shù) y=f(x)=s 和 S-型函數(shù)，Sigmoidal functionSyjjf1,00jijniijixxjniijijxs1jji6.26.2 感知器 (perceptron) 感知器是一種非常特殊的神經(jīng)網(wǎng)絡(luò)，它在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史上有著非常重要的地位，盡管它的能力非常有限，只能用于線性分類。 我們以單層感知器來說明：兩個輸入 x1 和 x2 。一個閥值 兩個待調(diào)整的權(quán)值W1和W2決策函數(shù)為樣本集分別屬于2類。 xxXd2211yx112x2x Xd 1Xd 1Xd很顯然，正確分割這兩類樣本的直線 方程為d(z

3、)=0具體的算法如下，用于確定wi和隨機(jī)給定一組連接權(quán)i(k), i= 0，1，2。K=0，表示初始值。1)任取其中一個樣本 為期望的輸出值，或者是期望的函數(shù)決策值。dxpp,dpippiniixxs, 1,00設(shè)0,10,1)(sssfyp按下式調(diào)整連接權(quán)0為學(xué)習(xí)率在樣本集中另選一個樣本，并置k+1k，重復(fù)steps (2)-(4) until 為什么？表示此時的d(x)已能正確分類，無須修改。這里介紹的感知器，由于只有一層，故而其分類能力非常有限，不能處理XOR問題。所以在1969年，Minsky和Papert發(fā)表了名為Perceptron的專著, 書中指出,這樣的簡單的線性感知器的功能非

4、常有限，使得隨后的研究處于低潮。xydpippiikk)() 1(ni2,1,0)() 1(kkiini2,1,0 6.3 6.3 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 前面介紹的感知器已給了我們一個大概的認(rèn)識，即NN是怎么回事。它是一個并行和分布式的信息處理網(wǎng)絡(luò)。由許多神經(jīng)元組成，每個神經(jīng)元有單個的輸出，它可以連接到很多其他的神經(jīng)元。n每個結(jié)點（node)有一個狀態(tài)變量xjn結(jié)點i到j(luò) 的連接權(quán)為n每個結(jié)點有一個閥值1)每個結(jié)點有一個變換函數(shù)jij)(fjn比如說BP網(wǎng)，也稱MLP，即多層感知器，其網(wǎng)絡(luò)結(jié)構(gòu)為：這是一種前饋型網(wǎng)絡(luò)，CMAC也是一種前饋型網(wǎng)絡(luò)，但是有點特別。(feedforward net

5、work)layeroutputlayerinputLAYERHIDDEN另一種是反饋型網(wǎng)絡(luò)NN(neural network)的特點單個神經(jīng)元的處理速度，比計算機(jī)要慢很多。大量Neurons 并行處理容錯能力強(qiáng)，部分內(nèi)容損壞，仍可工作。BP網(wǎng)的算法見PP133-136請大家考慮一個問題，即除輸入層之外的其他層的每個節(jié)點的輸出=？誤差如何反向傳播?Hopfield 6.4 BP算法及推導(dǎo)nBP其實就是Error Back PropagationnBP算法實質(zhì)上是梯度法的一種應(yīng)用結(jié)果n梯度法 考慮無約束問題， 其中函數(shù)f(x)一階連續(xù)可導(dǎo)。梯度法就是在點x處以f(x)的負(fù)梯度方向進(jìn)行搜索的一種優(yōu)

6、化方法，其迭代公式，其中， 是從 出發(fā)的搜索方向，取最速下降方向nExxf),(min)()()1(kkkkdxx)(kd)(kx)()()(kkxfdk)(min)()()()()(kkkkkkdxfdxf 是步長,可按下式確定,但實際憑經(jīng)驗.n簡單的Delta規(guī)則 設(shè)有P個樣本對, 對于輸入 期望輸出是實際輸出是 ,所以，Delta規(guī)則其中， PpTIpp, 2 , 1),(TpmppiiI),(1TpnppttT),(1TpnppooO),(1pipjpipjpjjipiiotw)(pjpjpjotIpiiiooo1ppipm1ppjpnOpn訓(xùn)練用的性能指標(biāo)為jipjipwEw1:按梯

7、度法公式ppjpjpjpEEotE,)(212jipjpjpjipwooEwE:復(fù)合求導(dǎo)kpjpjpjpkpkpjpjpototooE)()(21,2其中baNetoiwNetpjpjipijipj,令kpipkjkjijipjjipjaiiwwawNetawo則pipjpipjjipiaaiwE因而pipjpipjjipjipiiawEw11)(),()(),(:tWtOhtttOgwjiijji一般公式)()() 1(twtwtwjijiji帶隱含層的BP網(wǎng)ppjpjpjpEEotE,)(212pipjjipow輸出層)()(pjjpjpjpjNetfot隱含層kkjpkpjjpjwNet

8、f)(n證明jipwEw,按梯度法jipjpjpjipwNetNetEwEipijipjowNetkpipkjkjijipjoowwwNetpjppjNetEpipjjipowEpipjjipowpjpjpjppjppjNetooENetE)()(pjjpjjpjpjpNetfNetfNetNeto)()()(pjpjpjpjpjpjpjpNetfototoE輸出層kkjpkkjkpkpipikikpjpkppjpkkpkpwwNetEowoNetEoNetNetE隱層n采用Sigmoid激發(fā)函數(shù)的BP算法)1 (11)exp(1/(1)(pjpjpjpjNetpjkjpijipjooNetoeoowNetxxfsigmoidpj)1 ()(pjpjpjpjpjooot輸出層kkjpkpjpjpjwoo)1 (隱含層1 置各權(quán)值和閾值的初值 為小的隨機(jī)數(shù)2 輸入學(xué)習(xí)樣本對 ，對各樣本進(jìn)行（3-5）3 計算網(wǎng)絡(luò)各層的輸出4 計算訓(xùn)練誤差5修正權(quán)值和閾值momentum term6 對所有樣本訓(xùn)練后，指標(biāo)是否滿足精度要求？ 滿足：結(jié)束訓(xùn)練。否則，轉(zhuǎn)到（2）繼續(xù)訓(xùn)練。)0()0(jjiwPpTIpp, 2 , 1),(ijpijijpjjpjowfNetfo)()()1()()() 1(twtwotwtwjijipijjij