BP神經(jīng)網(wǎng)絡的不足及改進后的應用課件

BP神經(jīng)網(wǎng)絡的不足及改進后的應用BP神經(jīng)網(wǎng)絡的不足及改進后的應用主要內容BP神經(jīng)網(wǎng)絡簡介BP學習算法的不足兩種BP學習算法的改進方法基于改進BP神經(jīng)網(wǎng)絡的應用主要內容BP神經(jīng)網(wǎng)絡簡介1BP神經(jīng)網(wǎng)絡簡介神經(jīng)網(wǎng)絡在實際應用中分為訓練階段和使用階段訓練階段，是使用適當?shù)膶W習算法調整某種結構的網(wǎng)絡的參數(shù)，使得被訓練的網(wǎng)絡能夠對樣本有很好的擬合作用。BP神經(jīng)網(wǎng)絡也包括了訓練和使用這兩個階段。它是前饋型神經(jīng)網(wǎng)絡，采用的是BP學習算法（后向傳播學習算法）。1BP神經(jīng)網(wǎng)絡簡介神經(jīng)網(wǎng)絡在實際應用中分為訓練階段和使用階1BP神經(jīng)網(wǎng)絡簡介BP神經(jīng)網(wǎng)絡（BackPropagationFeed-forwardNeuralNetwork），即后向傳播學習的前饋型神經(jīng)網(wǎng)絡前饋型網(wǎng)絡結構：在處理樣本的時候，前一層的輸出即為下一層的輸入反向傳播：通過比較輸出層的實際輸出和預期的結果得到誤差，然后通過相關的誤差方程式調整最后一個隱含層到輸出層之間的網(wǎng)絡權重，之后是隱含層之間權重的調整，直到輸入層與第一隱含層之間的網(wǎng)絡權重調整為止1BP神經(jīng)網(wǎng)絡簡介BP神經(jīng)網(wǎng)絡（BackPropagat1BP神經(jīng)網(wǎng)絡簡介BP神經(jīng)網(wǎng)絡的訓練過程（誤差后向傳播學習算法）1BP神經(jīng)網(wǎng)絡簡介BP神經(jīng)網(wǎng)絡的訓練過程2BP學習算法的不足理論上BP網(wǎng)絡能夠逼近任意非線性函數(shù)，但由于神經(jīng)網(wǎng)絡訓練學習中許多參數(shù)的選擇沒有理論依據(jù)，使得實際中神經(jīng)網(wǎng)絡的應用具有局限性2BP學習算法的不足理論上BP網(wǎng)絡能夠逼近任意非線性函數(shù)，2BP學習算法的不足BP算法存在局限性與缺點的主要原因是其本身存在很多不足之處，主要有：學習過程收斂速度慢所得到的網(wǎng)絡容錯能力差誤差和函數(shù)可能有局部極小值學習率不穩(wěn)定（BP算法學習速度慢、容錯能力差、算法不完備）2BP學習算法的不足BP算法存在局限性與缺點的主要原因是其2BP學習算法的不足學習過程收斂速度慢BP算法是采用對樣本集進行逐一學習的方法。設樣本集K={r1=(x1,y1),r2=(x2,y2)……rm=(xm,ym)}，BP算法是先對r1

進行學習，利用誤差反向傳播對網(wǎng)絡的權值和閾值進行調整，知道調整后的網(wǎng)絡對應關系（f(x)=y）滿足：f(x1)=y1

為止。利用新得的權值和閾值以及下一個樣本繼續(xù)調整網(wǎng)絡的權值和閾值。但由于所得新的權值和閾值并不能保證前一個f(xi)=yi

成立。為了克服著個缺點，BP算法采用不斷反復循環(huán)學習，希望求得正確的解。由于反復循環(huán)學習過程需要較長時間，這樣就導致了算法學習收斂速度慢。2BP學習算法的不足學習過程收斂速度慢2BP學習算法的不足誤差和函數(shù)可能有局部極小值BP算法本質上是以誤差平方和為目標函數(shù)，用梯度法求其最小值的算法。因此只有誤差平法和函數(shù)是正定的函數(shù)時，才能找到最小值，其他情況必然產(chǎn)生局部極小值2BP學習算法的不足誤差和函數(shù)可能有局部極小值3兩種BP學習算法的改進方法針對BP學習算法的不足，研究者提出了多種改進的算法，其中典型的方法有：引入動量項：在權值調節(jié)公式中加入一個動量項。加入的動量項相當與阻尼項，它減小了學習過程中的震蕩趨勢，改善了收斂性能p為輸入元素,k為訓練次數(shù)，mc為動量因子3兩種BP學習算法的改進方法針對BP學習算法的不足，研究者3兩種BP學習算法的改進方法變步長法：在BP學習算法中，學習率參數(shù)不易選擇，選擇太小，收斂太慢；選擇太大，容易引起震蕩甚至發(fā)散。為解決這個問題，可采用變步長方法，也可以稱為自適應學習速率。當一個較大的學習速率容能夠使網(wǎng)絡穩(wěn)定學習，使誤差持續(xù)下降，則增加學習速率，使其以更大的學習速率進行學習。一旦學習速率調得過大，而不能保證誤差繼續(xù)下降，則減少學習速率直到使其學習過程穩(wěn)定為止。3兩種BP學習算法的改進方法變步長法：在BP學習算法中，學4基于改進BP神經(jīng)網(wǎng)絡的應用神經(jīng)網(wǎng)絡在車牌字符識別中的應用一種基于改進BP神經(jīng)網(wǎng)絡的字符識別系統(tǒng)，克服傳統(tǒng)BP算法最終進化至最優(yōu)解較慢和神經(jīng)網(wǎng)絡易陷入局部極小值的權限通過采用改進的BP算法，大大提高了識別的速度和精確度4基于改進BP神經(jīng)網(wǎng)絡的應用神經(jīng)網(wǎng)絡在車牌字符識別中的應用4基于改進BP神經(jīng)網(wǎng)絡的應用此應用中采用的BP神經(jīng)網(wǎng)絡結構和設計車牌字符的特點：漢字（1），字母（2），字母或數(shù)字（3,4），數(shù)字（5-7）。根據(jù)此特點，構造4個含一個隱含層的三層BP神經(jīng)網(wǎng)絡，分別用來識別車牌的四部分漢字：13個輸入節(jié)點，6個輸出節(jié)點字母：13個輸入節(jié)點，10個輸出（實際收集的樣本較少）字母或數(shù)字：13個輸入節(jié)點，20個輸出節(jié)點（10個字母，10個數(shù)字）數(shù)字：13個輸入節(jié)點，10個輸入節(jié)點4基于改進BP神經(jīng)網(wǎng)絡的應用此應用中采用的BP神經(jīng)網(wǎng)絡結構4基于改進BP神經(jīng)網(wǎng)絡的應用采用13特征提取法來提取樣本的特征向量作為BP網(wǎng)絡的輸入，提取步驟：把字符平均分成8分，統(tǒng)計每一份中黑色像素點的個數(shù)作為8個特征統(tǒng)計水平方向中間兩列和豎直方向兩列的黑色像素點的個數(shù)作為4個特征統(tǒng)計所有黑的像素點的個數(shù)作為第13個特征4基于改進BP神經(jīng)網(wǎng)絡的應用采用13特征提取法來提取樣本的4基于改進BP神經(jīng)網(wǎng)絡的應用樣本的選擇與處理采集多個車牌圖片，選擇一部分作為訓練樣本，剩余部分作為測試樣本將所有圖片進行定位、預處理、分割以及歸一化等操作，使得各原始圖片變成大小都為16×16的字符圖像利用13特征法進行特征提取，將其作為網(wǎng)絡的輸入4基于改進BP神經(jīng)網(wǎng)絡的應用樣本的選擇與處理4基于改進BP神經(jīng)網(wǎng)絡的應用識別數(shù)字的BP神經(jīng)網(wǎng)絡網(wǎng)絡為三層：只包含一層隱含層隱含層的神經(jīng)元數(shù)目：三層BP神經(jīng)網(wǎng)絡隱含層節(jié)點數(shù)s的經(jīng)驗參考公式：

n,m分別為輸入輸出神經(jīng)元個數(shù)；a為1~10之間的數(shù)字4基于改進BP神經(jīng)網(wǎng)絡的應用識別數(shù)字的BP神經(jīng)網(wǎng)絡4基于改進BP神經(jīng)網(wǎng)絡的應用初始權值、傳遞函數(shù)以及參數(shù)的設定網(wǎng)絡的初始權值和閾值采用隨機選取的方式傳遞函數(shù)依次采用：transig、purelin采用附加動量項法和變長步法（自適應學習效率調整法）改進BP算法動量因子采用：mc=0.954基于改進BP神經(jīng)網(wǎng)絡的應用初始權值、傳遞函數(shù)以及參數(shù)的設4基于改進BP神經(jīng)網(wǎng)絡的應用網(wǎng)絡輸出網(wǎng)絡的設計是為了使其輸出矢量在正確的位置上輸出為1，而在其他位置上輸出為0。然而噪聲輸入矢量可能導致網(wǎng)絡的1或0輸出不正確，或出現(xiàn)其他輸出值。0~9對應的輸出表如下所示：4基于改進BP神經(jīng)網(wǎng)絡的應用網(wǎng)絡輸出BP神經(jīng)網(wǎng)絡的不足及改進后的應用ppt課件參考文獻BP神經(jīng)網(wǎng)絡局限性及其改進的研究神經(jīng)網(wǎng)絡在車牌字符識別中的應用計算智能清華大學出版社參考文獻BP神經(jīng)網(wǎng)絡局限性及其改進的研究學習動物精神11、機智應變的猴子：工作的流程有時往往是一成不變的，新人的優(yōu)勢在于不了解既有的做法，而能創(chuàng)造出新的創(chuàng)意與點子。一味地接受工作的交付，只能學到工作方法的皮毛，能思考應變的人，才會學到方法的