BP神經(jīng)網(wǎng)絡的發(fā)展現(xiàn)狀綜述

2008 年第 2 期綜 述B P 神經(jīng)網(wǎng)絡的發(fā)展現(xiàn)狀綜述周 政(太原市自來水公司技術處 ,山西 太原 030009)摘 要 :討論目前人工神經(jīng)網(wǎng)絡領域中 B P 神經(jīng)網(wǎng)絡的特點 、改進算法以及在實際中的應用 。主要包括模式識 別及分類 、故障智能診斷 、圖像處理 、函數(shù)擬合 、最優(yōu)預測等方面的應用 。最后對目前人工神經(jīng)網(wǎng)絡的存在問題和 發(fā)展前景做了初步探討 。關鍵詞 :神經(jīng)網(wǎng)絡 ;B P 網(wǎng)絡 ;應用 ;發(fā)展現(xiàn)狀中圖分類號 : TP183 文獻標識碼 :A0 引言人工神經(jīng)網(wǎng)絡 (簡稱神經(jīng)網(wǎng)絡) 具有復雜模式和進行聯(lián) 想 、推理記憶的功能 ,它是解決某些傳統(tǒng)方法所無法解決的 問題的有力工具 。目前 ,它日益受到重視 ,同時其他學科的 發(fā)展 ,為 其 提 供 了 更 大 的 機 會 。1986 年 , Ro mel hart 和 Mc2 clelland 提 出 了 誤 差 反 向 傳 播 算 法 ( Error Back Propagatio n Algorit hm ,簡稱 B P 算法) ,由于多層前饋網(wǎng)絡的訓練經(jīng)常采 用誤差反向傳播算法 ,人們也常把多層前饋網(wǎng)絡稱為 B P 網(wǎng) 絡 。由于具有結構簡單 、工作狀態(tài)穩(wěn)定 、易于硬件實現(xiàn)等優(yōu) 點 ,在眾多的神經(jīng)網(wǎng)絡模型中 , B P 網(wǎng)絡的應用最為廣泛 ,尤 其是在模式識別及分類 、系統(tǒng) 仿 真 、故 障 智 能 診 斷 、圖 像 處 理 、函數(shù)擬合 、最優(yōu)預測等方面 1 。1 B P 網(wǎng)絡的描述B P 算法的基本思想是 ,學習過程由信號的正向傳播與 誤差的反向傳播兩個過程組成 。正向傳播時 ,輸入樣本從輸圖 1 B P 網(wǎng)絡模型Ok = f ( netk ) k = 1 , 2 , , r (1)m入層傳入 ,經(jīng)各隱層逐層處理后 ,傳向輸出層 。若輸出層的實際輸出與期望的輸出 (教師信號) 不符 ,則轉(zhuǎn)入誤差的反向netk= 6j = 0w ik yj k = 1 , 2 , , r (2)傳播階段 。誤差反傳是將輸出誤差以某種形式通過隱層向 輸入層逐層反傳 ,并將誤差分攤給各層的所有單元 ,從而獲yj = f ( netj ) j = 1 , 2 , , m (3)n得各層單元的誤差信號 ,此誤差信號作為修正各單元權值的 依據(jù) 。這種信號正向傳播與誤差反向傳播的各層權值調(diào)整net j = 6i = 0其中轉(zhuǎn)移函數(shù) :vij x i j = 1 , 2 , , m (4)過程 ,是周而復始地進行的 。權值不斷調(diào)整的過程 ,也就是 網(wǎng)絡學習訓練過程 。此過程一直進行到網(wǎng)絡輸出的誤差減 少到可接 受 的 程 度 , 或 進 行 到 預 先 設 定 的 學 習 次 數(shù) 為 止 。 B P 網(wǎng)絡模型中如圖 1 所示的單隱層網(wǎng)絡 (三層前饋網(wǎng)) 的應f ( x ) = 1 1 + e - x以上算式 (1) (5) 為三層前饋網(wǎng)的數(shù)學模型 。B P 學習算法的權值調(diào)整計算公式為 :(5)用最為普遍 。主要包括輸入層 、隱層和輸出層 。w jk = 0 jkkkkj三層前饋 網(wǎng) 中 , 輸 入 向 量 為 X = ( x 1 , x 2 , , x i , ,k y = ( drv ij = ( 6 0 w- 0 ) o ( 1 - o ) y) y ( 1 - y ) x(6)(7)x n ) T , 如加入 x 0 = - 1 , 可為隱層神經(jīng)元引入閾值 ; 隱層輸出k = 0k jkjji向量為 Y = ( y1 , y2 , , yj , , y m ) T , 如加入 y0 = - 1 , 可為 輸出層神經(jīng)元引入閾值 ; 輸出層輸出向量為 O = ( o1 , o2 , ,ok , or ) T 。期望 輸 出 向 量 為 d = ( d1 , d2 , , dk , d r ) T 。 輸入層到隱層之間的權值矩陣用 V 表示 , V = ( V 1 , V 2 , ,V j , V m ) , 其中列向量 V j 為隱層第 j 個神經(jīng)元對應的權向量 ;隱 層 到 輸 出 層 之 間 的 權 值 矩 陣 用 W 表 示 , W = ( W 1 , W 2 , , W K , , W r ) , 其中列向量 W K 為輸出層第 k 個神經(jīng) 元對應的權向量 。它們之間的關系為 :其中 (0 ,1) ,表示學習率 。2 B P 網(wǎng)絡存在的問題將 B P 算法用于具有非線性轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)絡 , 可以以任意精度逼近任何非線性函數(shù) ,這一非凡優(yōu)勢使三層 前饋網(wǎng)絡得到越來越廣泛的應用 。然而標準的 B P 算法在 應用中暴露出不少內(nèi)在的缺陷 :1) 易形成局部極小而得不到全局最優(yōu) ;2) 訓練次數(shù)多使得學習效率低 ,收斂速度慢 ;收稿日期 :2007 - 11 - 22 作者 周政 男 40 歲 工程師第 2 期 周政 :B P 神經(jīng)網(wǎng)絡的發(fā)展現(xiàn)狀綜述913) 隱節(jié)點的選取缺乏理論指導 ;4) 訓練時學習新樣本有遺忘舊樣本的趨勢 。3 目前有效改進算法由于傳統(tǒng)的 B P 算法存在著以上問題 ,國內(nèi)外已提出不 少有效的改進算法 :3 . 1 增加動量項一些學者指出 ,標準 B P 算法在調(diào)整權值時 ,只按 t 時刻 誤差的梯度降方向調(diào)整 ,而沒有考慮 t 時刻前的梯度方向 , 從而常使訓練過程發(fā)生震蕩 ,收斂緩慢 。為了提高網(wǎng)絡的訓 練速度 ,可以在權值調(diào)整公式中增加一動量項 。3 . 2 自適應調(diào)節(jié)學習率學習率也稱為步長 ,在標準的 B P 算法定為常數(shù) , 然而 在實際應用中 , 很難確定一個從始至終都合 適 的 最 佳 學 習 率 。從誤差曲面可以看出 ,在平坦區(qū)域內(nèi)學習率太小會使訓 練次數(shù)增加 ,因而希望增大學習率 ; 而在誤差變化劇烈的區(qū) 域 ,學習率太大會因調(diào)整量過大而跨過較窄的“坑凹”處 ,使 訓練出現(xiàn)震蕩 ,反而使迭代次數(shù)增加 。為了加速收斂過程 , 一個較好的思想是自適應改變學習率 ,使其該大時增大 ,該 小時減小 。3 . 3 引入陡度因子誤差曲面上存在著平坦區(qū)域 。權值調(diào)整進入平坦區(qū)的 原因是神經(jīng)元輸出進入了轉(zhuǎn)移函數(shù)的飽和區(qū) 。如果在調(diào)整 進入平坦區(qū)域后 ,設法壓縮神經(jīng)元的凈輸入 ,使其輸出退出 轉(zhuǎn)移函數(shù)的飽和區(qū) ,就可以改變誤差函數(shù)的形狀 ,從而使調(diào) 整脫離平坦區(qū) 。實現(xiàn)這一思路的具體作法是在原轉(zhuǎn)移函數(shù) 中引入一個陡度因子 。4 B P 網(wǎng)絡的應用圖 2 用于圖像壓縮編碼的 B P 網(wǎng)將 B P 網(wǎng)絡用于人臉識別 , 建立了人臉識別模型 , 通過對輸 入圖像實行圖像壓縮 、圖像抽樣及輸入矢量標準化等圖像預 處理 ,將標準化矢量輸入 B P 神經(jīng)網(wǎng)絡進行訓練 。B P 網(wǎng)絡用 于人臉識別時 , 網(wǎng)絡的每一個輸入節(jié)點對應 樣 本 的 一 個 特 征 ,而輸出節(jié)點數(shù)等于類別數(shù) , 一 個 輸 出 節(jié) 點 對 應 一 個 類 。 在訓練階段 ,如果輸入訓練樣本的類別標點是 i ,則訓練時的 期望輸出假設第 i 個節(jié)點為 1 ,而其余輸出節(jié)點均為 0 。在識 別階段 ,當一個未知類別樣本作用到輸入端時 ,考察各輸出 節(jié)點對應的輸出 ,并將這個樣本類別判定為具有最大值的輸 出節(jié)點對應的類別 。如果有最大值的輸出節(jié)點與其它節(jié)點 之間的距離較小 (小于某個閾值) ,則作出拒絕判斷 。經(jīng)過競 爭選擇 ,獲得識別結果 。4 . 3 故障診斷對于故障診斷而言 ,其核心技術是故障模式識別 。而人 工神經(jīng)網(wǎng)絡由于其本身信息處理特點 ,如并行性 、自學習 、自 組織性 、聯(lián)想記憶等 ,使得能夠出色地解決那些傳統(tǒng)模式識 別難以圓滿解決的問題 ,所以故障診斷是人工神經(jīng)網(wǎng)絡的重 要應用領域之一 ,已有不少應用系統(tǒng)的報道 ?？偟恼f來 ,神 經(jīng)網(wǎng)絡在診斷領域的應用研究主要集中在兩個方面 :一是從 模式識別的角度應用作為分類器進行故障診斷 ,其基本思想 是 :以故障征兆作為人工神經(jīng)網(wǎng)絡的輸入 ,診斷結果作為輸 出 ;二是將神經(jīng)網(wǎng)絡與其他診斷方法相結合而形成的混合診3B P 網(wǎng)絡作為一種很重要的神經(jīng)網(wǎng)絡模型在許多領域都斷方法。對用解析方法難以建立系統(tǒng)模型的診斷對象 ,人得到了應用 。4 . 1 圖像壓縮編碼Ackley 和 Hinto n 等人提出了利用 B P 網(wǎng)絡實現(xiàn)數(shù)據(jù)編 碼的基本思想 。其原理是 ,把一組輸入模式通過少量的隱層 節(jié)點映射到一組輸出模式 ,并使輸出模式等同與輸入模式 。 當中間隱層的節(jié)點數(shù)比輸入模式維數(shù)少時 ,就意味著隱層能 更有效地表現(xiàn)輸入模式 ,并把這種表現(xiàn)傳給輸出層 。在這個 過程中 ,輸入層和隱層的變換可以看成是壓縮編碼的過程 ; 而隱層和輸出層的變換可以看成是解碼過程 。用多層前饋網(wǎng)實現(xiàn)圖象壓縮時 ,只需一個隱層 ,網(wǎng)絡結 果如圖 2 所示 。輸入層和輸出層均含有 n n 個神經(jīng)元 ,每 個神經(jīng)元對應于 n n 個圖像分塊中的一個像素 。隱層神經(jīng) 元的數(shù)量由圖像壓縮比決定 ,如 n = 16 時 ,取隱層神經(jīng)元數(shù) 為 m = 8 ,則可將 256 像素的圖像塊壓縮為 8 像素 。設用于 學習的圖像有 N N 個像素 ,訓練時從中隨機抽取 n n 圖 像塊作為訓練樣本 ,并使教師模式和輸入模式相等 。通過調(diào) 整權值使訓練集圖像的重建誤差達到最小 。訓練后的網(wǎng)絡 就可以用來執(zhí)行圖像的數(shù)據(jù)壓縮任務了 ,此時隱層輸出向量 便是數(shù)據(jù)壓縮結果 , 而輸出層的輸出向量便 是 圖 像 重 建 結 果 。4 . 2 人臉識別對人臉識別是人類最偉大的視覺功能之一 ,神經(jīng)網(wǎng)絡受 動物神經(jīng)系統(tǒng)啟發(fā) ,利用大量簡單處理單元互聯(lián)而構成的復 雜系統(tǒng) ,以解決復雜模式識別和行為控制問題 。文獻 2 中工神經(jīng)網(wǎng)絡有著很好的研究和應用前景 。4 . 4 最優(yōu)預測目前 ,前景預測已經(jīng) 成 為 許 多 行 業(yè) 不 可 避 免 的 一 個 難 題 。由于預測涉及的因素很多 ,往往很難建立一個合理的模 型 。人工神經(jīng)網(wǎng)絡模擬人的大腦活動 ,具有極強的非線性逼 近 、大規(guī)模并行處理 、自訓練學習 、容錯能力以及外部環(huán)境的 適應能力 。所以利用人工神經(jīng)網(wǎng)絡進行預測已經(jīng)成為許多 項目首選的方法 。目前利用 B P 網(wǎng)絡進行預測的應用已經(jīng) 很多 。例如 ,可以用來建立公共衛(wèi)生事件監(jiān)測與預警系統(tǒng) 、 旅游業(yè)趨勢預測系統(tǒng) 、物流預測系統(tǒng) 、資源調(diào)度系統(tǒng)等方面 。 設計涉及訓練樣本集設計 、網(wǎng)絡結構設計和訓練與測試三個 方面 。B P 網(wǎng)絡在應用于預測預報前 ,需要一個網(wǎng)絡學習過程 。 其學習過程包括信息正向傳播和誤差反向傳播兩個反復交 替的過程 。網(wǎng)絡根據(jù)輸入的訓練 (學習) 樣本進行自適應 、自 組織 ,確定各神經(jīng)元的連接權 W 和閾值 ,經(jīng)過多次訓練后 , 網(wǎng)絡就具有了對學習樣本的記憶和聯(lián)想的能力 。4 . 5 分類早在 20 世紀 50 年代 ,研究人員就開始模擬動物神經(jīng)系 統(tǒng)的某些功能 ,他們采用軟件或硬件的辦法 ,建立了許多以 大量處理單元為結點 ,處理單元間實現(xiàn) (加權值的) 互聯(lián)的拓 撲網(wǎng)絡 ,進行模擬 。稱之為人工神經(jīng)網(wǎng)絡 。這種方法可以看 作是對原始特征空間進行非線性變換 ,產(chǎn)生一個新的樣本空 間 ,使得變換后的特征線性可分 。同傳統(tǒng)統(tǒng)計方法相比 ,其 分類器是與概率分布無關的 。92山 西 電 子 技 術 2008 年4 . 6 函數(shù)擬合B P 網(wǎng)絡可以看成是輸入到輸出的高度非線性映射 ,即 G: Rn Rm ,g ( y) = x ,對于樣本集合 ,輸入 yi Rn 、輸出 xi Rm ,可以認為存在某一映射 h ,使 h ( yi) = xi ( I = 1 ,2 , , n) 。 現(xiàn)須求出映射 g ,通常在最小二 乘 意 義 下 , g 是 h 的 最 佳 逼 近 。神經(jīng)網(wǎng)絡通過對簡單的非線性函數(shù)進行數(shù)次復合 ,可近 似任意復雜的函數(shù)或映射 。5 展望近年來 ,人工神經(jīng)網(wǎng)絡無論在理論研究上 ,還是在實際 應用中 ,都取得了突飛猛進的發(fā)展 。但必須清醒地認識到 , 人工神經(jīng)網(wǎng)絡只是對人腦的簡單模擬 ,尚有許多問題有待解 決 。為了改善人工神經(jīng)網(wǎng)絡的應用 ,解決各學科中存在的大 量不確定性和模糊性問題 ,可以采取以下 3 條途徑 :1) 與專家系統(tǒng)相結合 ,實現(xiàn)符號處理與數(shù)值處理相結合 ,使知識的提取 、存儲 、推理和解釋更接近人腦 ;2) 把不 同 類 型 的 人 工 神 經(jīng) 模 型 以 不 同 形 式 組 合 在 一 起 ,構成一個新的綜合性人工神經(jīng)系統(tǒng) ;3) 將模糊數(shù)學 、數(shù)理邏輯 、拓撲數(shù)學等結合到人工神經(jīng) 網(wǎng)絡的學習規(guī)則中 ,使其具有求解不確定性 、模糊性和似然 性推理等問題的能力 。此外 ,研究人工神經(jīng)網(wǎng)絡硬件芯片以提高運行速度也是 有待解決的重要問題 。隨著大規(guī)模集成電路 、光學與分子器 件的發(fā)展 、人工神經(jīng)計算機的研制 ,人工神經(jīng)網(wǎng)絡必將會得 到越來越廣泛的應用和迅猛發(fā)展 。參考文獻1 韓力群 . 人工神經(jīng)網(wǎng)絡理論 、設計及應用 M . 北京 :化 學工業(yè)出版社 ,2004 .2 甘俊英 ,張有為 . 基于 B P 神經(jīng)網(wǎng)絡的人臉識別 J . 系統(tǒng)工程與電子技術 ,2003 ,25 (1) .3 林康紅 ,施惠昌 ,盧強 ,等 . 基于神經(jīng)網(wǎng)絡的傳感器非線 性誤差校正 J . 傳感器技術 ,2002 ,21 (1) .Survey of Current Progress in BP Neural Net workZhou Zheng( Tech nology Depa rt ment of T aiy u an T ap W ater Cor porat ion , T aiy u an S han x i 030009 , Chi n a)Abstract :This paper discusses t he feat ure of B P neural net wor k in artificial neural net wor k , and so me imp roved algorit hm and it s applicatio n in p hysical . The applicatio n includes in pat tern recognitio n , category , diagnosis in breakdown , image p rocessing , f unctio n matching and best forecast . Finally , t he p resent p roblem in artificial neural net wor k and developing foreground are discussed.Key words :artificial neural net wor k ; B P neural net wor k ; applicatio n(上接第 82 頁)與多排光纖耦合 ,再利用準直鏡陣列對出射光束進行準直 ,保證在規(guī)定距離的作面上形成激光束線陣 。2 . 1 高功率光纖激光器關鍵技術1) 包層泵浦技術 采用雙端非對稱泵浦作為大功率雙包層光纖激光器的泵浦方式5 。雙端非對稱泵浦存在最佳光纖長度使輸出功率最大 。當雙端泵浦功率分別為 60w 和 240w 時 ,光纖長度 為 16m 時光纖輸出功率最大 。另外 , 腔鏡對光纖輸出功率 也有一定的影響 , 前端鏡對激光信號應該具 有 很 高 的 反 射 率 ,而輸出鏡的反射率應越小越好 。2) 泵浦耦合技術 采用微型棱鏡耦合技術能有效地將半導體激光器泵浦光耦合進雙包層光纖 6 。理論計算 ,此種耦合方法的耦合效率可以達到 90 %以上 。微型棱鏡耦合法對光源的光束質(zhì)量 要求較低 ,一般的大功率半導體激光器陣列經(jīng)過光束整形都 能滿足要求 。另外 ,它對光纖本身幾乎沒有損耗 ,而且易于 加工 ,是比較理想的雙包層光纖耦合技術 。3) 透鏡準直陣列 由于準直鏡的剩余發(fā)散角與前焦距成反比 ,故透鏡的焦距越長 ,剩余發(fā)散角越小 。在保證光斑尺寸的情況下 ,可使工作距離增長 ,這有利于工件的預熱 。但焦距越長 ,準直透 鏡陣列的節(jié)距越寬 ,減小了光能量密度及加工精度 。3 結論1) 半導體激光器線陣特點 : 工作距離短 ,工件預熱困 難 ; 激光器線陣散熱設計困難 ; 激光器陣列加工及裝配 精度要求高 ; 陣列激光元的一致性好 ; 激光元間距 、發(fā)光 面位置精度高 。2) 光纖激 光 器 線 陣 特 點 : 工 作 距 離 長 , 工 件 預 熱 容 易 ; 多排光纖無需散熱 ; 多排光纖組裝相對容易 ; 光纖 耦合工藝復雜 ; 準直微透鏡光路調(diào)整困難 。參考文獻1 朱林泉 ,朱蘇磊 . 激光應用技術基礎 M . 北京 :國防工 業(yè)出版社 ,2004 :21 .2 朱林泉 ,朱江淼 . 高功率半導體激光器光纖耦合線陣技術 J . 兵工學報 ,2005 ,26 (2) :182 .3 Collimatio n Module for L aser BarsEB/ OL . Dort mund , Germany , ht tp : www . Limo . de , 2001204216/ 2002203216 .4 王高 ,周漢昌 ,朱林泉 ,等 . 快速成型機用能量源實現(xiàn)的 兩種新方案 J . 測試技術學報 ,2003 ,17 (1) :67 - 68 .5 梁蘭菊 ,鄭義 . L D 泵浦摻鐿的雙包層光纖激光器的研究 J . 激光雜志 ,2005 ,26 (5) :19 .6 王常安 ,向世清 ,陸雨田 . 利用微型棱鏡將激光二極管 抽運光 耦 合 進 雙 包 層 光 纖 的 新 技 術 J . 光 學 學 報 ,2002 ,22 (10) :1259 - 1262 .Research on the Ne w Energy Source Ut il ized in La ser Ra pid Prototyping SystemWang Xiao2ni Han Chao Zhu Lin2quan Ma Qiao2mei( Dept . of I nf or m at ion En gi neeri n g , N ort h U ni versi t y of Chi n a ,