BP神經(jīng)網(wǎng)絡(luò)的基本原理很清楚

1、5.4 BP 神經(jīng)網(wǎng)絡(luò)的基本原理BP( Back Propagation )網(wǎng)絡(luò)是 1986 年由 Rinehart 和 McClelland 為首的科學(xué)家小組提出， 是一種按誤差逆?zhèn)鞑ニ?法訓(xùn)練的多層前饋網(wǎng)絡(luò)， 是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型 之一。BP 網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入 - 輸出模式映射關(guān)系， 而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。 它的學(xué)習(xí)規(guī) 則是使用最速下降法， 通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值 和閾值，使網(wǎng)絡(luò)的誤差平方和最小。 BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層( input )、隱層 (hide layer) 和輸出層 (output layer) (如圖 5.2 所

2、示)5.4.1 BP 神經(jīng)元 圖 5.3 給出了第 j 個(gè)基本 BP神經(jīng)元(節(jié)點(diǎn))，它只模仿了生物神經(jīng)元所具有的三個(gè)最基本也是最 重要的功能： 加權(quán)、求和與轉(zhuǎn)移。 其中 x1、x2xixn分別代表來(lái)自神經(jīng)元 1、2i n的輸入；wj1、 wj2wji wjn 則分別表示神經(jīng)元 1、2i n與第 j 個(gè)神經(jīng)元的連接強(qiáng)度，即權(quán)值； bj 為閾值 ；f( ·) 為傳遞函數(shù)； yj 為第 j 個(gè)神經(jīng)元的輸出。5.12)第 j 個(gè)神經(jīng)元的凈輸入值 為：若視 ， ，即令 及 包括 及 ，則 于是節(jié)點(diǎn) j 的凈輸入 可表示為：5.14)凈輸入 通過(guò)傳遞函數(shù)( Transfer Function )

3、f ( · )后，便得到第 j 個(gè)神經(jīng)元的輸出 :5.14)式中 f( ·) 是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因?yàn)榧?xì)胞傳遞的信號(hào)不可能無(wú)限增加，必有一 最大值。5.4.2 BP 網(wǎng)絡(luò)BP算法由數(shù)據(jù)流的前向計(jì)算(正向傳播)和誤差信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成。正向傳播時(shí)，傳 播方向?yàn)檩斎雽与[層輸出層， 每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。 若在輸出層得不到期望 的輸出， 則轉(zhuǎn)向誤差信號(hào)的反向傳播流程 。通過(guò)這兩個(gè)過(guò)程的交替進(jìn)行， 在權(quán)向量空間執(zhí)行誤差函 數(shù)梯度下降策略 ，動(dòng)態(tài)迭代搜索一組權(quán)向量， 使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值， 從而完成信息提取和記 憶過(guò)程。設(shè) BP 網(wǎng)絡(luò)的輸入層

4、有 n 個(gè)節(jié)點(diǎn)，隱層有 q 個(gè)節(jié)點(diǎn)，輸出層有 m個(gè)節(jié)點(diǎn)，輸入層與隱層之間的權(quán)值為 ，隱層與輸出層之間的權(quán)值為 ，如圖 5.4 所示。隱層的傳遞函數(shù)為 f 1( · ) ，輸出層的傳遞 函數(shù)為 f 2( ·) ，則隱層節(jié)點(diǎn)的輸出為(將閾值寫入求和項(xiàng)中)：k=1,2,5.15)輸出層節(jié)點(diǎn)的輸出為：5.16)j=1,2, m至此 B-P網(wǎng)絡(luò)就完成了 n 維空間向量對(duì) m維空間的近似映射。1）定義誤差函數(shù)輸入 個(gè)學(xué)習(xí)樣本， 用 來(lái)表示。第 個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出（j=1,2, m）。采用平方型誤差函數(shù)，于是得到第 p 個(gè)樣本的誤差 Ep：（5.17 ）式中： 為期望輸出。對(duì)于

5、個(gè)樣本，全局誤差為：（5.18 ）2）輸出層權(quán)值的變化采用累計(jì)誤差 BP算法調(diào)整 ，使全局誤差 變小， 即5.19)式中： 學(xué)習(xí)率定義誤差信號(hào) 為：5.20)其中第一項(xiàng)：5.21)第二項(xiàng)：5.28)5.22)5.23)5.24)是輸出層傳遞函數(shù)的偏微分。于是：由鏈定理得：5.25)于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為：3）隱層權(quán)值的變化5.26)5.27)定義誤差信號(hào)為：其中第一項(xiàng)：依鏈定理有：5.29)第二項(xiàng)：5.30)是隱層傳遞函數(shù)的偏微分。5.31)于是：由鏈定理得：5.32)從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為：5.33)5.4.3 BP 算法的改進(jìn)BP算法理論具有依據(jù)可靠、推導(dǎo)過(guò)程嚴(yán)謹(jǐn)

6、、精度較高、通用性較好等優(yōu)點(diǎn)，但標(biāo)準(zhǔn) BP算法存在以下缺點(diǎn)：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。 在實(shí)際應(yīng)用中， BP算法很難勝任，因此出現(xiàn)了很多改進(jìn)算法。1) 利用動(dòng)量法改進(jìn) BP算法標(biāo)準(zhǔn) BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)方法， 在修正 W(K)時(shí)，只按照第 K 步的負(fù)梯度 方向進(jìn)行修正 ，而沒(méi)有考慮到以前積累的經(jīng)驗(yàn)， 即以前時(shí)刻的梯度方向， 從而常常使學(xué)習(xí)過(guò)程發(fā)生 振蕩，收斂緩慢。 動(dòng)量法權(quán)值調(diào)整算法的具體做法是： 將上一次權(quán)值調(diào)整量的一部分迭加到按本次 誤差計(jì)算所得的權(quán)值調(diào)整量上，作為本次的實(shí)際權(quán)值調(diào)整量，即：5.34)其中：為動(dòng)量系數(shù)，通常 0&l

7、t;< 0.9 ；學(xué)習(xí)率，范圍在 0.001 10 之間。這種方法所加的動(dòng)量因子實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過(guò)程中的振蕩趨勢(shì)，從而改善了收斂性。動(dòng)量法降低了網(wǎng)絡(luò)對(duì)于誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小2) 自適應(yīng)調(diào)整學(xué)習(xí)速率 標(biāo)準(zhǔn) BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂太慢；學(xué)習(xí) 率選得太大，則有可能修正過(guò)頭， 導(dǎo)致振蕩甚至發(fā)散。 可采用圖 5.5 所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。調(diào)整的基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大，以縮短學(xué)習(xí)時(shí)間；當(dāng)偏大致使不能收斂時(shí)，要及時(shí)減小，直到收斂為 止。3) 動(dòng)量 - 自適應(yīng)學(xué)習(xí)速率調(diào)整算法 采用

8、動(dòng)量法時(shí)， BP算法可以找到更優(yōu)的解； 采用自適應(yīng)學(xué)習(xí)速率法時(shí)， BP算法可以縮短訓(xùn)練時(shí)間 將以上兩種方法結(jié)合起來(lái)，就得到動(dòng)量 - 自適應(yīng)學(xué)習(xí)速率調(diào)整算法。4) L-M 學(xué)習(xí)規(guī)則L-M(Levenberg-Marquardt )算法比前述幾種使用梯度下降法的 BP算法要快得多，但對(duì)于復(fù)雜問(wèn)題，這種方法需要相當(dāng)大的存儲(chǔ)空間。 L-M(Levenberg-Marquardt) 優(yōu)化方法的權(quán)值調(diào)整率選為5.35)其中： e誤差向量； J網(wǎng)絡(luò)誤差對(duì)權(quán)值導(dǎo)數(shù)的雅可比( Jacobian )矩陣；標(biāo)量，當(dāng)很大時(shí) 上式接近于梯度法，當(dāng)很小時(shí)上式變成了 Gauss-Newton 法，在這種方法中，也是自適應(yīng)調(diào)

9、整 的。綜合考慮，擬采用 L-M 學(xué)習(xí)規(guī)則和動(dòng)量法分別作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)和學(xué)習(xí)函數(shù)5.5 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略及結(jié)果本文借助于 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱來(lái)實(shí)現(xiàn)多層前饋 BP網(wǎng)絡(luò)( Multi-layer feed-forward backpropagation network )的顏色空間轉(zhuǎn)換，免去了許多編寫計(jì)算機(jī)程序的煩惱。神經(jīng)網(wǎng)絡(luò)的實(shí) 際輸出值與輸入值以及各權(quán)值和閾值有關(guān)， 為了使實(shí)際輸出值與網(wǎng)絡(luò)期望輸出值相吻合， 可用含有 一定數(shù)量學(xué)習(xí)樣本的樣本集和相應(yīng)期望輸出值的集合來(lái)訓(xùn)練網(wǎng)絡(luò)。 訓(xùn)練時(shí)仍然使用本章 5.2 節(jié)中所 述的實(shí)測(cè)樣本數(shù)據(jù)。另外，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法。 確

10、定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)系數(shù)來(lái)描述給定的映射或逼近 一個(gè)未知的映射， 只能通過(guò)學(xué)習(xí)方式得到滿足要求的網(wǎng)絡(luò)模型。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可以理解為： 對(duì)確 定的網(wǎng)絡(luò)結(jié)構(gòu)，尋找一組滿足要求的權(quán)系數(shù)，使給定的誤差函數(shù)最小。設(shè)計(jì)多層前饋網(wǎng)絡(luò)時(shí)， 主要 側(cè)重試驗(yàn)、探討多種模型方案，在實(shí)驗(yàn)中改進(jìn)，直到選取一個(gè)滿意方案為止，可按下列步驟進(jìn)行： 對(duì)任何實(shí)際問(wèn)題先都只選用一個(gè)隱層； 使用很少的隱層節(jié)點(diǎn)數(shù)； 不斷增加隱層節(jié)點(diǎn)數(shù)， 直到獲得滿 意性能為止；否則再采用兩個(gè)隱層重復(fù)上述過(guò)程。訓(xùn)練過(guò)程實(shí)際上是根據(jù)目標(biāo)值與網(wǎng)絡(luò)輸出值之間誤差的大小反復(fù)調(diào)整權(quán)值和閾值， 直到此誤差達(dá)到 預(yù)定值為止。5.5.1 確定 BP網(wǎng)絡(luò)的結(jié)構(gòu)確定了網(wǎng)

11、絡(luò)層數(shù)、每層節(jié)點(diǎn)數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學(xué)習(xí)算法等也就確定了BP網(wǎng)絡(luò)。確定這些選項(xiàng)時(shí)有一定的指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。1) 隱層數(shù)的確定：1998年 Robert Hecht-Nielson 證明了對(duì)任何在閉區(qū)間內(nèi)的連續(xù)函數(shù)，都可以用一個(gè)隱層的BP網(wǎng)絡(luò)來(lái)逼近，因而一個(gè)三層的 BP網(wǎng)絡(luò)可以完成任意的 n 維到 m維的映照。因此我們從含有一個(gè)隱層 的網(wǎng)絡(luò)開(kāi)始進(jìn)行訓(xùn)練。2) BP 網(wǎng)絡(luò)常用傳遞函數(shù)BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。 Log-sigmoid 型函數(shù)的輸入值可取任意值，輸出值在 0和 1之間； tan-sigmod 型傳遞函數(shù) tansig 的輸入值可取任意值， 輸出值在 -1 到+1

12、之間；線性傳遞函數(shù) purelin 的輸入與輸出值可取任意值。 BP網(wǎng)絡(luò)通常有一個(gè)或多個(gè)隱層，該層中的神經(jīng)元均采用 sigmoid 型 傳遞函數(shù)， 輸出層的神經(jīng)元?jiǎng)t采用線性傳遞函數(shù)， 整個(gè)網(wǎng)絡(luò)的輸出可以取任意值。 各種傳遞函數(shù)如 圖 5.6 所示。只改變傳遞函數(shù)而其余參數(shù)均固定，用本章 5.2 節(jié)所述的樣本集訓(xùn)練 BP網(wǎng)絡(luò)時(shí)發(fā)現(xiàn)，傳遞函數(shù)使 用 tansig 函數(shù)時(shí)要比 logsig 函數(shù)的誤差小。于是在以后的訓(xùn)練中隱層傳遞函數(shù)改用 tansig 函數(shù)， 輸出層傳遞函數(shù)仍選用 purelin 函數(shù)。3) 每層節(jié)點(diǎn)數(shù)的確定：使用神經(jīng)網(wǎng)絡(luò)的目的是實(shí)現(xiàn)攝像機(jī)輸出 RGB顏色空間與 CIE-XYZ色空

13、間轉(zhuǎn)換，因此 BP網(wǎng)絡(luò)的輸入 層和輸出層的節(jié)點(diǎn)個(gè)數(shù)分別為 3。下面主要介紹隱層節(jié)點(diǎn)數(shù)量的確定。對(duì)于多層前饋網(wǎng)絡(luò)來(lái)說(shuō)， 隱層節(jié)點(diǎn)數(shù)的確定是成敗的關(guān)鍵。 若數(shù)量太少， 則網(wǎng)絡(luò)所能獲取的用以解 決問(wèn)題的信息太少； 若數(shù)量太多，不僅增加訓(xùn)練時(shí)間，更重要的是隱層節(jié)點(diǎn)過(guò)多還可能出現(xiàn)所謂 “過(guò) 渡吻合”( Overfitting )問(wèn)題，即測(cè)試誤差增大導(dǎo)致泛化能力下降，因此合理選擇隱層節(jié)點(diǎn)數(shù)非 常重要。關(guān)于隱層數(shù)及其節(jié)點(diǎn)數(shù)的選擇 比較復(fù)雜， 一般原則是：在能正確反映輸入輸出關(guān)系的基礎(chǔ) 上，應(yīng)選用較少的隱層節(jié)點(diǎn)數(shù)， 以使網(wǎng)絡(luò)結(jié)構(gòu)盡量簡(jiǎn)單。 本論文中采用網(wǎng)絡(luò)結(jié)構(gòu)增長(zhǎng)型方法， 即先 設(shè)置較少的節(jié)點(diǎn)數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)

14、練， 并測(cè)試學(xué)習(xí)誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到學(xué)習(xí)誤差不再 有明顯減少為止。5.5.2 誤差的選取在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中選擇均方誤差 MSE較為合理，原因如下： 標(biāo)準(zhǔn) BP 算法中，誤差定義為：(5.36 )每個(gè)樣本作用時(shí)， 都對(duì)權(quán)矩陣進(jìn)行了一次修改。 由于每次權(quán)矩陣的修改都沒(méi)有考慮權(quán)值修改后其它 樣本作用的輸出誤差是否也減小，因此將導(dǎo)致迭代次數(shù)增加。 累計(jì)誤差 BP 算法的全局誤差定義為：（5.37 ） 這種算法是為了減小整個(gè)訓(xùn)練集的全局誤差， 而不針對(duì)某一特定樣本， 因此如果作某種修改能使全 局誤差減小，并不等于說(shuō)每一個(gè)特定樣本的誤差也都能同時(shí)減小。 它不能用來(lái)比較 P和 m不同的網(wǎng) 絡(luò)性能

15、。因?yàn)閷?duì)于同一網(wǎng)絡(luò)來(lái)說(shuō)， P越大， E也越大； P 值相同， m越大 E也越大。 均方誤差 MSE：（5.38 ）其中 : 輸出節(jié)點(diǎn)的個(gè)數(shù)， 訓(xùn)練樣本數(shù)目， 網(wǎng)絡(luò)期望輸出值， 網(wǎng)絡(luò)實(shí)際輸出值。 均方誤差克服了上述兩種算法的缺點(diǎn)，所以選用均方誤差算法較合理。5.5.3 訓(xùn)練結(jié)果 訓(xùn)練一個(gè)單隱層的三層 BP網(wǎng)絡(luò)，根據(jù)如下經(jīng)驗(yàn)公式選擇隱層節(jié)點(diǎn)數(shù) 125 ：（5.39 ）式中： n為輸入節(jié)點(diǎn)個(gè)數(shù)， m為輸出節(jié)點(diǎn)個(gè)數(shù)， a為1到 10之間的常數(shù)。針對(duì)本論文 n1取值范圍為 313。訓(xùn)練結(jié)果如表 5.1 所示。表 5.1 隱層節(jié)點(diǎn)數(shù)與誤差的關(guān)系隱層神經(jīng)元個(gè)數(shù)訓(xùn)練誤差測(cè)試誤差31.256611.127540

16、.7977460.823250.6318490.727860.5702140.670770.5528730.689580.4451180.657590.3855780.6497100.2596240.4555110.1857490.6644120.1838780.48130.1685870.6671由上表可以看出： 增加隱層節(jié)點(diǎn)數(shù)可以減少訓(xùn)練誤差，但超過(guò) 10 以后測(cè)試誤差產(chǎn)生波動(dòng)，即泛 化能力發(fā)生變化。綜合比較隱層節(jié)點(diǎn)數(shù)為 10與 12的訓(xùn)練誤差和測(cè)試誤差，決定隱層節(jié)點(diǎn)數(shù)選用 12。 訓(xùn)練誤差和測(cè)試誤差都很大 , 而且收斂速度極慢（訓(xùn)練過(guò)程如圖 5.7 所示）， 這個(gè)問(wèn)題可以通過(guò)對(duì)輸出量進(jìn)行

17、歸一化來(lái)解決。根據(jù) Sigmoid 型傳遞函數(shù)輸入和輸出的范圍， 對(duì)輸入變量不進(jìn)行歸一化處理， 只對(duì)輸出變量進(jìn)行歸 一化，這是因?yàn)樵谳敵鰯?shù)據(jù)要求歸一化的同時(shí)， 對(duì)輸入數(shù)據(jù)也進(jìn)行歸一化的話， 權(quán)值的可解釋性就 更差了。目標(biāo)值按下式進(jìn)行變化：（ 5.40 ） 使目標(biāo)值落在 0.05 0.95 之間，這樣靠近數(shù)據(jù)變化區(qū)間端點(diǎn)的網(wǎng)絡(luò)輸出值就有一波動(dòng)范圍，網(wǎng)絡(luò) 的性能較好。用新生成的訓(xùn)練樣本與測(cè)試樣本對(duì)隱層節(jié)點(diǎn)數(shù)為 12 的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的訓(xùn)練誤 差為 9.89028 ×10-5 ，測(cè)試誤差為 1.9899 ×10-4，達(dá)到了預(yù)定的目標(biāo)（訓(xùn)練過(guò)程如圖 5.8 所示）。5.6 最終

18、訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用三層 BP網(wǎng)絡(luò)實(shí)現(xiàn)攝像機(jī)輸出 RGB顏色空間與 CIEXYZ色空間轉(zhuǎn)換，其中隱層含有 12 個(gè)節(jié)點(diǎn)， 傳遞函數(shù)采用 tansig 函數(shù)；輸出層傳遞函數(shù)選用 purelin 函數(shù)。經(jīng)過(guò)測(cè)試后結(jié)果滿意，可以認(rèn)為 該神經(jīng)網(wǎng)絡(luò)可以用來(lái)實(shí)現(xiàn)這個(gè)關(guān)系映射。網(wǎng)絡(luò)的結(jié)構(gòu)如圖 5.9 所示：得到的 BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值為：5.7 本章小結(jié)1） 定量地分析了用線性關(guān)系轉(zhuǎn)換攝像機(jī) RGB空間到 CIE-XYZ 空間數(shù)據(jù)后產(chǎn)生的均方誤差， 表明 CCD攝像機(jī)與標(biāo)準(zhǔn)觀察者之間有比較明顯的差別， 也就是說(shuō) RGB與 CIE-XYZ 間的轉(zhuǎn)換是非線性 的。2) 采用 MATLAB中 神經(jīng)網(wǎng)絡(luò)工具箱實(shí)現(xiàn)多層前