神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷

第3章神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第1頁(yè)3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)標(biāo)準(zhǔn)BP算法誤差空間是N維空間中一個(gè)形狀極為復(fù)雜曲面，該曲面上每個(gè)點(diǎn)“高度”對(duì)應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)坐標(biāo)向量對(duì)應(yīng)著N個(gè)權(quán)值單權(quán)值雙權(quán)值神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第2頁(yè)3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)BP網(wǎng)絡(luò)學(xué)習(xí)算法存在問(wèn)題存在平坦區(qū)域影響--------誤差下降遲緩，影響收斂速度。原因--------誤差對(duì)權(quán)值梯度改變?。拷诹阌筛鞴?jié)點(diǎn)凈輸入過(guò)大而引發(fā)。分析：激活函數(shù)為Sigmod函數(shù)神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第3頁(yè)3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)存在平坦區(qū)域原因分析權(quán)值修正量：輸出導(dǎo)數(shù)：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第4頁(yè)3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)存在平坦區(qū)域原因分析：第一個(gè)可能是充分靠近第二種可能是充分靠近0么三種可能是充分靠近1造成平坦區(qū)原因：

各節(jié)點(diǎn)凈輸入過(guò)大對(duì)應(yīng)著誤差某個(gè)谷點(diǎn)

對(duì)應(yīng)著誤差平坦區(qū)神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第5頁(yè)3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)存在多個(gè)極小點(diǎn)影響------易陷入局部最小點(diǎn)

原因：以誤差梯度下降為權(quán)值調(diào)整標(biāo)準(zhǔn)，誤差曲面上可能存在多個(gè)梯度為0點(diǎn)，多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一，使之無(wú)法區(qū)分極小點(diǎn)性質(zhì)造成結(jié)果：使得訓(xùn)練經(jīng)常陷入某個(gè)局部極小點(diǎn)而不能自拔，從而使訓(xùn)練無(wú)法收斂于給定誤差。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第6頁(yè)3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)

BP算法缺點(diǎn)小結(jié)⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點(diǎn)選取缺乏理論指導(dǎo)；⑷訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本趨勢(shì)。針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效改進(jìn)算法，下面將介紹其中幾個(gè)較慣用方法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第7頁(yè)3.1.1消除樣本輸入次序影響改進(jìn)算法

在線(xiàn)學(xué)習(xí)方式時(shí)，網(wǎng)絡(luò)受后面輸入樣本影響較大，嚴(yán)重時(shí)，會(huì)影響用戶(hù)要求訓(xùn)練精度。為了消除這種樣本次序?qū)Y(jié)果影響，能夠采取批處理學(xué)習(xí)方式，即使用一批學(xué)習(xí)樣本產(chǎn)生總誤差來(lái)調(diào)整權(quán)值，用公式表示以下：處理了因樣本輸入次序引發(fā)精度問(wèn)題和訓(xùn)練抖動(dòng)問(wèn)題。不過(guò)，該算法收斂速度相對(duì)來(lái)說(shuō)還是比較慢。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第8頁(yè)3.1.1消除樣本輸入次序影響改進(jìn)算法算法流程圖網(wǎng)絡(luò)初始化計(jì)算輸出層權(quán)值調(diào)值計(jì)算隱含層權(quán)值調(diào)值計(jì)算全局誤差是結(jié)束判斷是否結(jié)束？否更新權(quán)值神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第9頁(yè)3.1.2附加動(dòng)量改進(jìn)算法在反向傳輸法基礎(chǔ)上在每一個(gè)權(quán)值（或閾值）改變上加上一項(xiàng)正比于上一次權(quán)值（或閾值）改變量值，并依據(jù)反向傳輸法來(lái)產(chǎn)生新權(quán)值（或閾值）改變帶有附加動(dòng)量因子權(quán)值調(diào)整公式為:能夠預(yù)防出現(xiàn)即最終一次權(quán)值改變量為0，有利于使網(wǎng)絡(luò)從誤差曲面局部極小值中跳出。但對(duì)于大多數(shù)實(shí)際應(yīng)用問(wèn)題，該法訓(xùn)練速度依然很慢。MATLAB中工具函數(shù)traingdm()即對(duì)應(yīng)于附加動(dòng)量法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第10頁(yè)3.1.3采取自適應(yīng)調(diào)整參數(shù)改進(jìn)算法采取自適應(yīng)調(diào)整參數(shù)改進(jìn)算法基本構(gòu)想是學(xué)習(xí)率應(yīng)依據(jù)誤差改變而自適應(yīng)調(diào)整，以使權(quán)系數(shù)調(diào)整向誤差減小方向改變，其迭代過(guò)程可表示為：在很小情況下，采取自適應(yīng)調(diào)整參數(shù)改進(jìn)算法依然存在權(quán)值修正量很小問(wèn)題，致使學(xué)習(xí)率降低。MATLAB中工具函數(shù)traingda()即對(duì)應(yīng)于自適應(yīng)調(diào)整參數(shù)法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第11頁(yè)3.1.4使用彈性方法改進(jìn)算法BP網(wǎng)絡(luò)通常采取Sigmoid隱含層。當(dāng)輸入函數(shù)很大時(shí)，斜率靠近于零，這將造成算法中梯度幅值很小，可能使網(wǎng)絡(luò)權(quán)值修正過(guò)程幾乎停頓下來(lái)。彈性方法只取偏導(dǎo)數(shù)符號(hào)，而不考慮偏導(dǎo)數(shù)幅值。其權(quán)值修正迭代過(guò)程可表示為：在彈性BP算法中，當(dāng)訓(xùn)練發(fā)生振蕩時(shí)，權(quán)值改變量將減??；當(dāng)在幾次迭代過(guò)程中權(quán)值均朝一個(gè)方向改變時(shí)，權(quán)值改變量將增大。所以，使用彈性方法改進(jìn)算法，其收斂速度要比前幾個(gè)方法快得多神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第12頁(yè)3.1.5使用擬牛頓法改進(jìn)算法梯度法缺點(diǎn)是搜索過(guò)程收斂速度較慢，牛頓法在搜索方向上比梯度法有改進(jìn)，它不但利用了準(zhǔn)則函數(shù)在搜索點(diǎn)梯度，而且還利用了它二次導(dǎo)數(shù)，就是說(shuō)利用了搜索點(diǎn)所能提供更多信息，使搜索方向能更加好地指向最優(yōu)點(diǎn)。它迭代方程為：收斂速度比一階梯度快，但計(jì)算又較復(fù)雜，比較經(jīng)典有BFGS擬牛頓法和一步正切擬牛頓法。MATLAB中工具函數(shù)trainbfg()、trainoss()即對(duì)應(yīng)擬牛頓法中BFGS擬牛頓法和一步正切擬牛頓法。

神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第13頁(yè)3.1.6基于共軛梯度法改進(jìn)算法梯度下降法收斂速度較慢，而擬牛頓法計(jì)算又較復(fù)雜，共軛梯度法則力圖防止二者缺點(diǎn)。共軛梯度法也是一個(gè)改進(jìn)搜索方向方法，它是把前一點(diǎn)梯度乘以適當(dāng)系數(shù)，加到該點(diǎn)梯度上，得到新搜索方向。其迭代方程為：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第14頁(yè)3.1.6基于共軛梯度法改進(jìn)算法共軛梯度法比大多數(shù)常規(guī)梯度下降法收斂快，而且只需增加極少存放量和計(jì)算量。對(duì)于權(quán)值很多網(wǎng)絡(luò)，采取共軛梯度法不失為一個(gè)很好選擇。MATLAB中工具函數(shù)traincgb()、traincgf()、traincgp()即對(duì)應(yīng)于共軛梯度法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第15頁(yè)3.1.7基于Levenberg-Marquardt法改進(jìn)算法梯度下降法在最初幾步下降較快，但伴隨靠近最優(yōu)值，因?yàn)樘荻融呌诹悖率拐`差函數(shù)下降遲緩，而牛頓法則可在最優(yōu)值附近產(chǎn)生一個(gè)理想搜索方向。Levenberg-Marquardt法實(shí)際上是梯度下降法和牛頓法結(jié)合，它優(yōu)點(diǎn)在于網(wǎng)絡(luò)權(quán)值數(shù)目較少時(shí)收斂非?？焖佟?yīng)用Levenberg-Marquardt優(yōu)化算法比傳統(tǒng)BP及其它改進(jìn)算法（如共軛梯度法，附加動(dòng)量法、自適應(yīng)調(diào)整法及擬牛頓法等）迭代次數(shù)少，收斂速度快，準(zhǔn)確度高。MATLAB中工具函數(shù)trainlm()即對(duì)應(yīng)Levenberg-Marquardt法改進(jìn)算法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第16頁(yè)BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法對(duì)比示例神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第17頁(yè)課后練習(xí)：BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法對(duì)比建立一個(gè)BP網(wǎng)絡(luò)，使用各種優(yōu)化算法對(duì)應(yīng)學(xué)習(xí)函數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)對(duì)函數(shù)迫近，并計(jì)算出各種學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)時(shí)所使用時(shí)間神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷第18頁(yè)小結(jié)BP網(wǎng)絡(luò)學(xué)習(xí)算法存在問(wèn)題BP網(wǎng)絡(luò)學(xué)習(xí)算法更正算法消除樣本輸入次序影響改進(jìn)