小波神經網絡及其應用

小波神經網絡及其應用小波神經網絡及其應用 陸宇穎 摘 要 小波神經網絡是將小波理論和神經網絡理論結合起來的一種神經網絡 它避免了BP 神經網絡結構設計的盲目性和局部最優(yōu)等非線性優(yōu)化問題 大大簡化了訓練 具有較強的 函數學習能力和推廣能力及廣闊的應用前景 首先闡明了小波變換和多分辨分析理論 然 后介紹小波神經網絡數學模型和應用概況 1 研究背景與意義 人工神經網絡是基于生物神經系統研究而建立的模型 它具有大規(guī)模并行處理和分 布式存儲各類圖像信息的功能 有很強的容錯性 聯想和記憶能力 因而被廣泛地應用于 故障診斷 模式識別 聯想記憶 復雜優(yōu)化 圖像處理以及計算機領域 但是 人工神經 網絡模型建立的物理解釋 網絡激活函數采用的全局性函數 網絡收斂性的保證 網絡節(jié) 點數的經驗性確定等問題尚有待進一步探討和改善 小波理論自 Morlet 提出以來 由于小波函數具有良好的局部化性質 已經廣泛滲透 到各個領域 小波變換方法是一種窗口大小固定但其形狀可以改變 時間窗和頻率窗都可 以改變的時頻局部化分析方法 由于在低頻部分具有較高的頻率分辨率和較低的時間分辨 率 在高頻部分具有較高的時間分辨率和較低的頻率分辨率 所以被譽為數學顯微鏡 正 是這種特性 使小波變換具有對信號的自適應性 基于多分辨分析的小波變換由于具有時 頻局部化特性而成為了信號處理的有效工具 實際應用時常采用 快速算法 利用正交小波基將信號分解到不同尺度上 實現過程如同重復使用一組高通和低通濾波器 把信號分解到不同的頻帶上 高通濾波器產生信號的高頻細節(jié)分量 低通濾波器產生信號 的低頻近似分量 每分解一次信號的采樣頻率降低一倍 近似分量還可以通過高通濾波和 低通濾波進一步地分解 得到下一層次上的兩個分解分量 而小波神經網絡 Wavelet Neural Network WNN 正是在近年來小波分析研究獲得突 破的基礎上提出的一種人工神經網絡 它是基于小波分析理論以及小波變換所構造的一種 分層的 多分辨率的新型人工神經網絡模型 即用非線性小波基取代了通常的非線性 Sigmoid 函數 其信號表述是通過將所選取的小波基進行線性疊加來表現的 小波神經網絡這方面的早期工作大約開始于1992 年 主要研究者是Zhang Q Harold H S 和焦李成等 其中 焦李成在其代表作 神經網絡的應用與實現 中從理論上對小波神經 網絡進行了較為詳細的論述 近年來 人們在小波神經網絡的理論和應用方面都開展了不少 研究工作 小波神經網絡具有以下特點 首先 小波基元及整個網絡結構的確定有可靠的理論根 據 可避免BP 神經網絡等結構設計上的盲目性 其次 網絡權系數線性分布和學習目標函 數的凸性 使網絡訓練過程從根本上避免了局部最優(yōu)等非線性優(yōu)化問題 第三 有較強的 函數學習能力和推廣能力 2 數學模型與小波工具 2 1 小波變換及多分辨分析 在函數空間 或更廣泛的Hilbert 空間 中 選擇一個母小波函數 又稱為基本 2 L R 小波函數 使其滿足允許條件 x 2 1 w Cdw w 式中為的Fourier 變換 對作伸縮 平移變換得到小波基函數系 w x x a b x 2 1 2 a b xb xa bR aa 對任意 其連續(xù)小波變換定義為 2 f xL R 1 3 fa b R Wa bf xdx C 反演公式為 0 1 4 fa b f xWa bdadb C 在實際應用中 特別是計算機實現中 往往要把上述的連續(xù)小波及其變換離散化 通 常采用二進制離散 即令 則 2 2 mm abk 2 1 2 5 2 m m k m xxkm kZ 二進小波一定是一個允許小波 且是一個正交小波基 考慮一個連續(xù)的 平方可積的 函數在分辨率下的逼近 由多分辨分析理論可知 2 f xL R 2m m fx 6 mmkmk k fxax 是尺度函數 對其作伸縮 平移變換得到 x mk x 2 1 2 7 2 m mk m xxkm kZ 8 mkmk af xx dx Mallat同時證明了函數在和分辨率下的信息差別 即細節(jié) f x 2m 1 2m m D f x 可以通過將函數在一小波正交基上分解而獲得 從而定義了一種完全而且正交的多 f x 分辨率描述 即小波描述 9 mmkmk k D f xdx 10 mkmk df xx dx 就是式 5 定義的二進小波 則在分辨率下的逼近式為 mk x f x 1 2m 1 11 mmmkmk k fxfxdx Mallat并指出 對于任意一個函數可以在一組正交小波基上展開 2 f xL R 12 mkmk mk f xdx 式 11 是一個平方可積函數的小波分解 提供了小波神經網絡設計的理論框架 上述理論可推廣到多維情況 我們以二維為例 若定義二維尺度函數 則 12 xx 1212 13 x xxx 則有 12 121122 12 2 2 2 14 mmm mk mkmk x xxkxk xx 同理有 121122 2 2 2 1 2 3 15 lmlmm mk x xxkxk l 1 1212 2 1212 16 x xxx x xxx 3 1212 x xxx 2 2 小波神經網絡模型 小波神經網絡模型的典型結構如圖 1 所示 包括輸入層 輸出層和隱層 隱層包含兩 種節(jié)點 小波基節(jié)點 節(jié)點 和尺度函數節(jié)點 節(jié)點 2 2 1分層多分辨學習 網絡輸出 在 分辨率 最低的分辨率 上的逼近 f x 2L 1 17 L n LLkLk k f xfxax 在分辨率上的逼近 f x 1 2 L 11 18 LL nn LLkLkLkLk kk f xfxaxdx 式 18 中的第一項表示在分辨率上的逼近 在式 17 中 1 L n LkLk k ax f x 2L 已計算 即系數與式 17 中相同 式 18 中的第二項表示增加的細 Lk a 1 L n LkLk k dx 節(jié) 再考慮在 分辨率上的逼近 有 f x 2 2 L3 2 L 2 21 1 111 2 11 1 1 19 LLL L nnn LLkLkLkLkLkLk kkk n LLkLk k fxaxdxdx fxdx 4 322 2 1 L n LLLkLk k fxfxdx 1 2 011 1 1 2 111 L L L m LL n kk k nnL LkLkmkmk kmk fxf xdx axdx 上述方程式是小波神經網絡的學習算法 這種算法是Moody 在1989 年提出的 2 2 2網絡系數計算 對于式 19 可以改寫成下述形式 20 ii i f xc 是網絡權重系數 是激活函數 尺度函數或小波函數 設小波神經網絡有n 個 i c i 節(jié)點 m 個訓練數據 則有 1112111 2122222 123 n n mmmnm f xxxxc f xxxxc f xxxxc 即 21 fAc 式 20 的最小二乘解為 1 22 TT cA AAf Af 被稱為的偽逆矩陣 且 AA 2 1121 2 2122 2 12 23 iiiini iii iiiini T iii niiniini iii g xg x gxg x gx gx g xgxgx gx A A gx g xgx gxgx 如果樣本均勻分布 是正交基 i x 1 2 i in 則是一個單位矩陣 且 T A A nn 24 T cA f 2 2 3 小波神經網絡學習過程 選擇合適的小波函數和尺度函數后 在最粗的尺度L 上訓練節(jié)點 直到網絡達到收 斂 要使網絡達到收斂 需確定逼近誤差 在很多文獻中提出了誤差的計算方法 和增加 合適的節(jié)點以減少逼近誤差 最后是優(yōu)化網絡 使用新的樣本來檢驗網絡并移去權重小 的節(jié)點直到滿足性能準則 2 2 4 計算復雜性 小波神經網絡訓練的計算復雜性介于 O N 和O N2 之間 N 為學習樣本數 如果學習 樣本是均勻分布的 則計算復雜性為O N 如果學習樣本是非均勻分布的 則計算復雜性 為O N2 3 數學應用案例 小波神經網絡是基于小波分析而構成的神經網絡 它充分利用小波變換的良好局部化 性質并結合神經網絡的自學習功能 因而具有較強的逼近 容錯能力 其實現過程也比較 簡單 小波神經網絡在近十年來應用較廣泛 主要應用于以下幾個領域 3 1 非線性函數逼近 非線性函數逼近具有非常重要的意義 很多實際問題通過建模都可歸結于非線性函數逼近 問題 而小波神經網絡是通過對小波分解進行平移和伸縮變換之后得到的級數 具有小波 分解的函數逼近性質 由于它引入了伸縮和平移因子 又比一般的小波分解有更多的自由 度 而且還具有小波變換在高頻域的時間精度和低頻域的頻率精度 故能夠更加細致地描 述復雜函數的特性 Zhang 和Benveniste 首先將小波理論應用于神經網絡而提出了非正交小波神經網絡 9 并 首次將這種新理論應用于函數逼近 取得了很好的結果 他們分別對一維 二維非線性函 數進行擬合逼近的研究 采用高斯函數推導式 作為小波基函數 對小波神經網絡的逼 222 12 2 2 12 xxx xxeandxx x e 近模擬結果與BP 神經網絡和小波分解方法進行對比 結果顯示小波神經網絡對非線性函 數的擬合逼近明顯要優(yōu)于BP 神經網絡和小波分解方法 見圖2 實線是實際曲線 虛線是 逼近曲線 并吸收了兩者的許多優(yōu)點 摒棄了兩者的一些缺點 李銀國等則在前人的基礎上提出了小波神經網絡結構設計的時 空 域 分解 綜合 方法 18 并通過仿真實驗 非線性函數逼近 表明 此種方法較好地解決了小波神經網絡 中普遍存在的 維數災 問題 且函數逼近能力強 精度便于掌握 訓練過程方便 不存 在局部最優(yōu)問題 3 2 信號表示和分類 小波神經網絡用于信號表示已有很多范例 但用于信號分類的很少 Harold HS 等構造了 自適應小波神經網絡并將其應用于語音識別 他們首先提出了兩種不同的自適應小波神經 網絡結構 均采用高斯函數作為小波基函數 和能量函數分別用 2 2 cos 1 75 x xx e 于信號表示與分類 并引入了超小波 super wavelet 這一新術語 對于具體的問題 超 小波不僅自適應計算定型小波函數的參數 而且自適應計算小波形狀 他們將這些理論 先應用于一維信號的表示與分類 隨后又討論了其可能在語音識別中的應用 并展望這些 理論可能會廣泛應用于信號識別與分類和圖像識別與分類 3 3 材料損傷診斷 吳耀華等介紹了多變量輸入 輸出系統的B 樣條小波神經網絡和用于分類的自適應B 樣條 小波神經網絡 應用于智能復合材料應變損傷位置的診斷 他們在實際操作中采用了一些 技術處理以減少小波神經網絡結構的復雜性 從而加快了訓練的速度和提高了識別能力 并且在同樣條件下將這兩種小波網絡與BP 網絡相對比 結果表明B 樣條小波神經網絡的 建模精度和收斂速度明顯高于BP 神經網絡 圖3 3 4 錯誤診斷與分析 Zhao Jinsong 等提出了一種新穎的小波神經網絡 小波 Sigmoid 基函數神經網絡 wavelet sigmoid basic function neural network WSBFN 并將其應用于動態(tài)錯誤診斷中 他們?yōu)榱私鉀Q小波神經網絡的 瓶頸 效應 提出了一種多維非乘積小波函數 2 2 cos 1 75 x xx e 并將其和相應的尺度函數一起作為WSBFN 隱層的激勵函數 同時將sigmoid 基函數作 為WSBFN 輸出層的激勵函數 文獻中將WSBFN 應用于氫化裂解過程的錯誤診斷中 并 同前人提出的較好的錯誤診斷方法之 SBFN 網絡進行對比 結果顯示 WSBFN可以用 更簡單的網絡結構而得到更好的診斷效果 WSBFN 訓練錯誤遠低于SBFN 而且錯誤診斷 準確率達到100 也優(yōu)于SBFN Bakshi 和Stephanopoulos在多分辨率基礎上提出了正交小波神經網絡 并將其應用于靜態(tài) 錯誤 3 5 動態(tài)建模 現實中 許多問題可以通過動態(tài)建模來解決 雖然采用人工神經網絡進行非線性系統建模 的研究很多 但是采用小波神經網絡進行動態(tài)建模的則比較少 錢峻等應用小波神經網絡 實現非線性系統模型的在線建立及自校正算法 并將其應用于微生物生長過程的預測建模 他們在繼承前人對小波神經網絡的診斷與分析問題中 也取得了非常好的診斷效果 經網 絡的結構設計方法的基礎上 引入了限定記憶最小二乘法以替代普通的最小二乘法來實現 小波 神經網絡在線建模和校正算法 他們將其方法應用于微生物生長過程的預測建模 結果顯 示該小波神經網絡具有很好的預測功能和推廣性能 見圖4 實線是系統輸出 虛線是小波 神經網絡輸出 其訓練方法亦比用普通的最小二乘法快得多 采用小波神經網絡實現動態(tài)建模來解決自動控制中的一些實際問題也已有研究 Oussar等 首次將小波神經網絡應用于動態(tài)系統建模 他們采用高斯函數作為小波函數 提出了一種 訓練算法和用其構建了反饋小波神經網絡 并將其應用于動態(tài)非線性輸入輸出系統建模中 機器人手臂的液壓激勵器的建模 將其建模效果與其他的輸入輸出模型 鉸鏈超平面 模型和S 形人工神經網絡模型 進行比較 結果表明 在輸入輸出系統建模中采用小波神 經網絡可以取得與采用S 形神經網絡同樣良好的建模效果 Safavi 等采用小波神經網絡來 簡化分裂蒸餾塔模型 他們采用一種混合模型替代傳統的機械模型 混合模型是在傳統的 機械模型中加上了小波神經網絡模塊 用來控制蒸餾塔的輸入輸出模塊 同時 他們將其 與傳統模型進行比較 結果顯示 該模型大大簡化了分裂蒸餾塔模型且保持了原有機械模 型的精確性和內部數據變量的有效性 3 6 非平穩(wěn)時間序列預測與分析 由于小波神經網絡是用非線性小波基的線性疊加表示信號 故具有很好的特征提取和抑噪 能 力 特別適用于非平穩(wěn)時間序列預測與分析 Bakshi 和Stephanopoulos 則首次在多分辨率 基礎上提出正交小波神經網絡用于非平穩(wěn)時間序列預測與分析 楊宜康等則將小波神經網 絡應用于測量中的異常數據診斷和消除 他們首先借助時 頻譜圖識別時間序列中異常數據 的位置和性質 然后利用小波神經網絡作為擬合工具 同時引入加權誤差能量函數 通過 適當選擇網絡結構和參數優(yōu)化 實現了對受污染的時間序列的抗擾最佳逼近 實例表明 采用加權誤差能量函數的小波神經網絡除了具有逼近性能好 抑噪特性強和收 斂速度快的優(yōu)點外 還能有效地消除異常數據對擬合結果的影響 具有較強的魯棒性 4 小波神經網絡設計實例小波神經網絡設計實例 采用sinc函數來驗證小波神經網絡的擬合能力 Sinc函數定義為 sin sin xa yc xabb xa 自變量x的范圍取為 5 5 采樣間隔為0 1 共101個樣本點 其中前70個樣本點作為 訓練樣本 后31個樣本點作為檢驗樣本 a 1 b 1 因變量 sin 1 1 yc x 本例中采用緊致型小波神經網絡 將神經網絡隱含層中神經元的傳統激發(fā)函數用小波函 數來代替 采用通常用于信號分類的小波基函數Morlet小波函數 r通常取值為1 75 作為 網絡隱含層的激勵函數 2 cos 1 75 exp 2 h ttt 式中 t為函數的輸入 當函數的輸入為零時 其輸出為1 達到最大值 當輸入的絕 對值較大時 輸出很快衰減為0 MATLAB神經網絡工具箱中的傳遞函數沒有Morlet小波函數 所以將創(chuàng)建自定義的傳輸 函數 神經網絡工具箱中包含了一個自定義傳遞函數template transfer 輸入help template transfer就可以得到有關此函數的幫助信息 將template transfer函數作為一個模板 來生成自定義的傳遞函數 首先 在MATLAB安裝目錄下找到template transfer m文件 將原傳遞函數改為Morlet 小波函數表達式 cos 1 75 exp 2 2 ann 再將函數的導數改為 1 1 75 sin 1 75 exp 2 2 dadnnann 將輸入輸出范圍改為 infinf 在主程序中將傳遞函數設為 template transfer 本例中未改模板文件名稱 程序如 下 clc clear close all 產生訓練樣本與測試樣本 n1 5 0 1 4 95 x1 sinc n1 1 1 n2 4 95 0 1 5 x2 sinc n1 1 1 xn train n1 訓練樣本 每一列為一個樣本 dn train x1 xn test n2 dn test x2 設置神經網絡參數 NodeNum 20 TypeNum 1 p1 xn train 訓練輸入 t1 dn train 訓練輸出 Epochs 1000 訓練次數 P xn test 測試輸入 T dn test 測試輸出 真實值 設置網絡參數 TF1 template transfer TF2 purelin 設置傳遞參數 template transfer 為自 定義Morlet小波函數net newff minmax p1 NodeNum TypeNum TF1 TF2 trainlm 指定訓練參數 net trainParam epochs Epochs 最大訓練次數 net trainParam goal 1e 8 最小均方誤差 net trainParam min grad 1e 20 最小梯度 net trainParam show 200 訓練顯示間隔 net trainParam time inf 最大訓練時間 訓練與測試 net train net p1 t1 訓練 X sim net P 測試 輸出為預測值 結果作圖 plot 1 length n2 x2 r 1 length n2 X bo title 為真實值 o為預測值 5 結論與展望 小波神經網絡最初主要用于函數逼近 語音識別 隨著小波網絡的理論不斷發(fā)展 應 用領域也不斷拓寬 如非線性系統辨識 模式識別 信號分類 心電信號的識別與分類 數據與圖像壓縮 近年來 小波網絡在我國也引起了廣大學者的關注 總體而言 小波