第8章-BP神經(jīng)網(wǎng)絡(luò)

復(fù)習(xí)感知器與線性網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)策略應(yīng)用程序主要內(nèi)容8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題MFNNMultilayerFeedforwardNeuralNetwork1980年代中期，由Rumelhart等人提出。RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J].nature,1986,323(6088):533-536.Rumelhart,D.E.,Hinton,G.E.,&Williams,R.J.(1985).

Learninginternalrepresentationsbyerrorpropagation

(No.ICS-8506).CaliforniaUnivSanDiegoLaJollaInstforCognitiveScience.DavidEverettRumelhart

(1942-2011)8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)……輸入層隱含層輸出層…XYx1xny1ym全連接

n維輸入

m維輸出包含隱含層x28.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)……輸入層隱含層輸出層…XYSigmoid函數(shù)：x1xny1ym21lx2LearningAlgorithmForwardpropagationBackwardPropagation+8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程讓我們用一個例子來解釋一個示例前向計算(1)前向計算前向計算隱含層輸出輸出層輸出(1)前向計算誤差計算(2)損失計算(3)反向傳播(3)反向傳播(3)反向傳播廣義誤差反向傳播(3)反向傳播(3)反向傳播學(xué)習(xí)算法隨機(jī)初始化

W(0)根據(jù)給定的樣本數(shù)據(jù)計算網(wǎng)絡(luò)的輸出計算網(wǎng)絡(luò)的目標(biāo)函數(shù)E(t)t:迭代索引;j:

輸出層的第j個節(jié)點(diǎn)p:樣本索引；no:輸出層神經(jīng)元的數(shù)量N：樣本數(shù)量學(xué)習(xí)算法If，end，else：gotostep5

是最大誤差容忍度反向傳播步驟6.返回步驟2?學(xué)習(xí)算法If，end，else：gotostep5

是最大誤差容忍度反向傳播步驟6.返回步驟2?學(xué)習(xí)算法公式推導(dǎo)式中,r表示第r個隱含層.一個簡單的例子Matlab:simplefit_dataset單輸入,單輸出94個樣本點(diǎn)Matlab代碼loadsimplefit_datasetnet=feedforwardnet(20);net=train(net,simplefitInputs,simplefitTargets);simplefitOutputs=net(simplefitInputs);plot(simplefitInputs,simplefitTargets,'b*');holdon;plot(simplefitInputs,simplefitOutputs,'r');仿真結(jié)果8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)策略泛化能力網(wǎng)絡(luò)結(jié)構(gòu)選擇請使用BP神經(jīng)網(wǎng)絡(luò)來近似如下函數(shù)。1-3-1BP網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)的選擇1-S-1BP網(wǎng)絡(luò)一個隱含層采用sigmoid型神經(jīng)元，輸出層采用線性神經(jīng)元的1-S-1網(wǎng)絡(luò)，其響應(yīng)曲線由S個sigmoid函數(shù)疊加構(gòu)成。如果要逼近一個具有大量拐點(diǎn)的函數(shù)，就需要隱含層中有足夠的神經(jīng)元。學(xué)習(xí)算法的收斂性請使用BP神經(jīng)網(wǎng)絡(luò)來近似下面的函數(shù)。1-3-1BP網(wǎng)絡(luò)為什么？GeneralizationAbility一般來說，泛化能力是指模型對未知數(shù)據(jù)的預(yù)測能力給定11個樣本一個網(wǎng)絡(luò)的泛化能力強(qiáng)，它包含的參數(shù)個數(shù)應(yīng)該小于訓(xùn)練集中數(shù)據(jù)點(diǎn)的個數(shù)。因此，在實際建模問題中，我們需要選擇能充分表示訓(xùn)練集的最簡單的網(wǎng)絡(luò)，如果小規(guī)模的網(wǎng)絡(luò)能夠勝任就不需要用大規(guī)模的網(wǎng)絡(luò)。課堂練習(xí)對于給定的BP神經(jīng)網(wǎng)絡(luò)(如右所示)假設(shè)我們有如下樣本:(x1,x2)=(1,3)實際輸出(t1,t2)=(0.95,0.05)初始權(quán)重如右圖所示，激活函數(shù)為：x1x2-112-20-31o1o2y1y2-11021-2-3請計算權(quán)重的第一次迭代更新值。解：1)前饋傳遞輸出x1x2-112-20-31o1o2y1y2-11021-2-3上標(biāo):層索引下標(biāo):

第一個:目標(biāo)節(jié)點(diǎn)第二個:源節(jié)點(diǎn)x1x2-112-20-31o1o2y1y2-11021-2-3Sigmoid函數(shù)：Sigmoid函數(shù)的導(dǎo)函數(shù)：x1x2-112-20-31o1o2y1y2-11021-2-32)反向傳播一個了解人工神經(jīng)網(wǎng)絡(luò)的趣味網(wǎng)站::/neural-network論文:KMHornik,M.Stinchcomb,H.White.Multilayerfeedforwardnetworksareuniversalapproxim