（模式識別與智能系統(tǒng)專業(yè)論文）時間序列預測模型及其算法研究.pdf

摘要 時間序列預測模型及其算法研究 模式識別與智能系統(tǒng)專業(yè) 研究生 羅鳳曼導師 古鐘璧 在自然科學和社會科學各領(lǐng)域中 大量決策問題離不開預測 預測是決策 的基礎 解決預測問題的最有力的方法是發(fā)現(xiàn) 揭示給定動態(tài)過程或現(xiàn)象背后 的規(guī)律 實際中 有關(guān)事物的信息經(jīng)常是不完全的 有關(guān)的理論也是不完善的 人們對事物的了解僅限于觀測數(shù)據(jù) 即時間序列 因此只能利用現(xiàn)有的歷史數(shù) 據(jù)構(gòu)造模型 進而預測未來 本文首先介紹了時間序列預測目前采用的方法與各種預測模型 介紹了這 些方法與模型的性質(zhì)特征 總結(jié)出目前的方法與模型在處理非線性系統(tǒng)的預測 方面的特點與需要改進的一些方面 然后介紹了近些年興起的神經(jīng)網(wǎng)絡尤其是 前饋神經(jīng)網(wǎng)絡 b p 神經(jīng)網(wǎng)絡 在非線性預測模型方面的應用及表現(xiàn)出來的良好 的特性與優(yōu)勢 同時也指出b p 神經(jīng)網(wǎng)絡預測模型及其在訓練算法方面的一些 固有缺陷 b p 神經(jīng)網(wǎng)絡是一種靜態(tài)的網(wǎng)絡 沒有時間處理能力 所以不能進行 時間序列模式的識別 標準b p 算法收斂速度慢 易落入局部極小點 針對這些 缺陷 本文提出采用線性a r 預測模型良好的對時間序列的模式識剮能力束進行 識別 構(gòu)造出具有代表性的樣本訓練神經(jīng)網(wǎng)絡 同時在分析了標準遺傳算法的 主要缺點的基礎上 對標準遺傳算法 s g a 進行了改進沒計 然后用改進的遺 傳算法 i g a 來優(yōu)化網(wǎng)絡的初始權(quán)閾值 最后采用l m l e v e n b e r g m a r q u a r d t b p 算法來進行網(wǎng)絡的訓練與尋優(yōu) 這樣 既運用了a r 模型良好的模型辨識能 力 又發(fā)揮了神經(jīng)網(wǎng)絡良好的非線性映射能力 還綜合了遺傳算法的全局優(yōu)化 能力 從而使構(gòu)造的預測模型更加實用 特性更好 本文將所構(gòu)造的模型與所設計的算法應用到都江堰灌區(qū)渠首氓江上游來水 預測中 并通過大量的實驗與仿真 實驗結(jié)果表明 本文所設計的模型與算法 摘要 是可行的 且預測效果比傳統(tǒng)的線性預測模型以及未經(jīng)過算法改進的神經(jīng)網(wǎng)絡 預測漠型都好 從而驗證了本模型與算法的可行性 有效性和優(yōu)越性 此外 本模型及算法為時間序列的預測提供了一種預測的方法 具有較好的參考價值 關(guān)鍵詞 時間序列預測非線性自回歸神經(jīng)網(wǎng)絡l 船p 算法標準遺傳算法 s g a 改進遺傳算法 i g a i i a b s l i r a c i s t u d yo n t h em o d e la n da l g o r i t h mo ft i m es e r i e s p r e d i c t i o n p a h e r nr e c o g n i t i o na n di n t e l l i g e n ts y s t e m g r a d u a t e l u of e n g r n a nt u t o r g uz h o n g b i i ne a c hf i e l do fn a t u r a ls c i e n c ea n ds o c i a ls c i e n c e ng r e a td e a lo fd e c i s i o n p r o b l e m sc a nn o tg e ta w a yf r o mt h ep r e d i c t i o nw h i c hi st h ef o u n d a t i o no ft h e d e c i s i o n t h eb e s tm e t h o dt os e t t l ed o w np r e d i c t i o np r o b l e m si st od e t e c ta n df r e d o u tt h el a wi nt h ed y n a m i cs t a t ep r o c e s so rp h e n o m e n o n i nn a t u r a l t h en e e d e d i n f o r m a t i o ni s u s u a l l yi n s u f f i c i e n t a l s o t h er e l a t i v et h e o r i e s t h e p e o p l e s t m d e r s t a n d i n gt ot h et h i n gi sl i m i t e db yt h eo b s e r v e dd a t am a m e l yt i m es e r i e s s ow e c a l lm a k eu s eo f t h ee i s t i n gh i s t o r yd a t at oe s t a b l i s ham o d e lt op r e d i c tt h ef u t u r e f i r s t l y i nt h i sp a p e r i n t r o d u c e st h ec u r r e n tw a y sa n dm o d e l st h a tt h et i m e s e r i e sp r e d i c t i o na d o p ta n dt h ec h a r a c t e ra n ds u m m a r i z e st h ea s p e c t st h a tt h ec u r r e n t w a y sa n dm o d e la r en e e d e dt ob ei m p r o v e di nt h en o n l i n e a rs y s t e mp r e d i c t i o n s e c o n d l y i n t r o d u c e st h e9 0 0 dc h a r a c t e ra n da d v a n t a g e so ft h ea r t i f i c i a ln e u r a l n e t w o r k se s p e c i a l l yf e e df o r w a r dn e u r a ln e t w o r k b pn e u r a ln e t w o r k i nt h e a p p l i c a t i o no ft h en o n l i n e a rp r e d i c t i o nm o d e l s t h e n p o i n t so u tt h ew e a k n e s s e s w h i c he x i s t si nt h eb pn e u r a ln e t w o r kp r e d i c t i o nm o d e la n di t st r a i n i n ga l g o r i t h m t h eb pn e u r a ln e t w o r ki sak i n do fs t a t i cn e t w o r kt h a th a v en op r o c e s s i n ga b i l i t yo f t i m es ot h a ti tc a l l ti d e n t i f yt h et i m es e r i e sm o d e l t h es t a n d a r db pa l g o r i t h mi s s l o w l yc o n s t r i n g e n c ya n di se a s yf a l l i n gi n t ot h el o c a lm i n i m u mp o i n t s a i m i n ga t t h e s ew e a k n e s s e s t h ep a p e rp r e s e n t sag o o di d e n t i f ya b i l i t yo ft h ea r p r e d i c t i o n m o d e lw h i c hi su s e dt oi d e n t i f yt h et i m es e r i e sa n ds e tu pt h er e p r e s e n t a t i v et r a i n i n g s a m p l e si nt h eb pn e u r a ln e t w o r k m e a n w h i l e b a s e do nt h ea n a l y z m gt h em a i n n l a b s t r a c t d e f e c t so ft h es h f m d a r dg e n e t i ca l g o r i t h m s g a d e s i g n i n gi m p r o v e dg e n e t i c a l g o r i t h m i g a a n du s i n gi tt oo p t i m i z ei n i t i a lw e i g h t so fn e u r a ln e t w o r k a n da t l a s t a d o p t i n gl m l e v e n b e r g m a r q u a r d t b pa l g o r i t h m t ot r a i n i n gb pn e u r a l n e t w o r kt of i n dt h eb e s to p t i m i z e dp o i n t t h u s b yu s i n go fa rp r e d i c t i o nm o d e l s r e c o g n i t i o nc a p a b i l i t y b pn e u r a ln e t w o r kp r e d i c t i o nm o d e l sg o o dn o n l i n e a r r e n e c t i o na b i l i t ya n dg e n e t i ca l g o r i t h m so v e r a l lo p t i m i z ea b i l i t y t h em o d e lt h a tt h i s p a p e rc o n s t r u c t si sb e t t e rp r a c t i c a la n dh a sb e t i e rq u a l i t i e s a p p l y i n gt h ed e s i g n e dp r e d i c t i o nm o d e la n da l g o r i t h mt ot h ep r e d i c t i o no f t h e m i n g r i v e r si n c o m i n gw a t e r h e a do f d u j i a n g y a ni r r i g a t i o na r e a s a n da g r e a td e a lo f e x p e r i m e n t sa n ds i m u l a t i o n ss h o wt h a tt h em o d e la n di t sa l g o r i t h mi sf e a s i b l e t h e p r e d i c t i o nr e s u l ti sb e t t e rt h a nt h et r a d i t i o n a ll i n e a rp r e d i c t i o nw a y sa n dn e u r a l n e t w o r kp r e d i c t i o nw a y sw i t h o u ti m p r o v e da l g o r i t h m s o t h em o d e la n di t s a l g o r i t h m a r ef e a s i b l e u s e f u la n da s c e n d a n t i na d d i t i o n t h i sm o d e la n di t s a l g o r i t h mp r o v i d ea k i n do fm e t h o df o rt i m es e r i e sp r e d i c t i o na n dh a v et h eb e t t e r r e f e r e n c ev a l u e k o a v o r d s t i m es e r i e sp r e d i c t i o n n o n l i n e a ra u t o r e g r e s s i v en e u r a ln e t w o r k l e v e n b e r g m a r q u a r d tb a c k p r o p a g a t i o n l m b p a l g o r i t h m s t a n d a r dg e n e t i c a l g o r i t h m s g a i m p r o v e dg e n e t i ca l g o r i t h m i g a 1 緒論 1 1 課題提出及意義 1 2 1 0 1 1 4 1 5 6 對于預測對象的所有已知資料只有對象隨時問變化的歷史資料的場合 時 間序列分析預測法是系統(tǒng)預測的最基本的方法 近年來 時間序列建模及預測 一直是學術(shù)研究和實際應用領(lǐng)域的研究熱點 如自然領(lǐng)域的河水來水量預測 流域降水量預測 太陽黑子數(shù)預測等 社會領(lǐng)域中城市交通量預測 某一地區(qū) 人口增長量預測 醫(yī)院門診量預測等 經(jīng)濟領(lǐng)域中的股市價格預測 國民收入 預測 產(chǎn)品價格預測等 根據(jù)對許多有關(guān)時問序列預測方面的資料的分析和研 究 人們逐漸掌握了一些建模及預測的基本規(guī)律 有兩種建立時問序列預測模 型的方法 如果數(shù)據(jù)聞滿足線性關(guān)系 可以用傳統(tǒng)的建模及預測方法 如自回歸 c a r 滑動均值 m a 以及混合自回歸滑動均值 a r i m a 即假設一組時間序列的 未來值線性相關(guān)于其歷史值 反之 若數(shù)據(jù)關(guān)系是非線性的 針對某些特殊情 形 采用非線性建模的方法 但有時候仍舊用線性模型來近似擬合非線性時間 序列 但這種方法是比較粗糙的 由于線性模型易于建立和運行 也便于理解 和解釋 故人們通常也用線性預測方法來解決現(xiàn)實世界中的許多問題 對于線 性時間序列 傳統(tǒng)的時間序列預測方法是很有效的 然而 現(xiàn)實世界中也存在 許多非線性的問題 再用傳統(tǒng)的線性預測方法不能很好的處理復雜的數(shù)據(jù)關(guān)系 從而導致預測精度不高 為了改進對于非線性系統(tǒng)的預測 人們己經(jīng)提出許多 非線性時問序列建模的方法 比如 雙線性模型 閾自回歸模型 t a r 滑動變 換自回歸模型 s t a r 唧 等 這些時間序列模型在解決某些非線性問題時是有 用的 但這些非線性缺乏普遍性 2 0 世紀8 0 年代神經(jīng)網(wǎng)絡的崛起 為解決非 線性的問題提供了一條良好的途徑 因此 從9 0 年代開始 神經(jīng)網(wǎng)絡在非線性 領(lǐng)域的研究與應用非常廣泛 人工神經(jīng)網(wǎng)絡用于預測的最大優(yōu)點在于它不需要 設計任何數(shù)學模型 只要通過過去的經(jīng)驗對歷史數(shù)據(jù)的訓練和學習 網(wǎng)絡就能 夠 模擬 并 記憶 輸入變量和輸出變量之問的任何復雜的 函數(shù) 關(guān)系 處理各種模糊的 非線性的含存 噪聲 的數(shù)據(jù) 并通過 聯(lián)想 來實現(xiàn)預測 但是 神經(jīng)網(wǎng)絡算法易陷入局部最小點的固有缺陷 會導致預測結(jié)果的不穩(wěn)定 i 四j i i 上學顧十學位論文 與影響預測精度的提高 因此 對神經(jīng)網(wǎng)絡算法的研究也是目前的一個研究熱 點 隨著遺傳算法作為具有系統(tǒng)優(yōu)化 適應和學習的高性能計算和建模方法的 研究漸趨成熟 遺傳算法為解決全局優(yōu)化問題 提供了比較理想的方法 因此 將遺傳算法用來優(yōu)化神經(jīng)網(wǎng)絡也已成為目前研究的熱點 如何結(jié)合線性和非線 性時間序列預測模型的優(yōu)點 建立實用性和通用性更好的時間序列預測的方法 和模型 在理論上和實用上都具有1 常重要的意義 1 2 研究現(xiàn)狀 4 l 5 1 自從1 9 7 0 年b o x 和j e n k i n s 的著作 時間序列分析 預測和控制 問世以 來 逐漸形成了一整套時閫序列模擬 估計 建模 預測和控制的理論和方法 在動態(tài)數(shù)據(jù)的處理分析 復雜信息的加工提取 預測未來和在線控制等方面顯 示出傳統(tǒng)的數(shù)理統(tǒng)計靜態(tài)處理手段無可比擬的優(yōu)越性 這本著作奠定了時問序 列分析方法在科研 經(jīng)濟 社會等各領(lǐng)域中旺盛的生命力 按系統(tǒng)本身的性質(zhì)劃分 有線性系統(tǒng)和非線性系統(tǒng) 相應的有線性模型和 非線性模型 線性模型如自回歸模型 a r 滑動平均模型 m a 自回歸滑動 平均模型 a r i d a 等 線性模型概念清晰 發(fā)展已比較成熟 國內(nèi)外已有許多 用線性模型進行預測的實例 國內(nèi)應用方面 袁振洲p 1 1 在分析鐵路貨源貨流數(shù) 據(jù)的內(nèi)在規(guī)律及其時間序列特性的基礎上 提出應用自西1 歸積分移動平均 a r i m a p d q 模型預測其發(fā)展趨勢的理論依據(jù) 采用a r i m a 方法對1 9 8 9 1 9 9 4 年北京局鐵路的貨運總量煤炭進行了預測 通過對各種方法預測結(jié)果的綜 合比較和分析 a r i m a p d q 模型的預測效果令人滿意 徐峰 4 2 l 等提出采 用時間序列a r 模型進行震動趨勢預測 將現(xiàn)場測得的非平穩(wěn)振動序列通過 a r i m a 模型和標準化處理 轉(zhuǎn)化成標準正態(tài)平穩(wěn)時 日j 序列 模型參數(shù)估計使用 了方法簡單 參數(shù)估計無偏 精度離的最小二乘法 通過現(xiàn)場實測數(shù)據(jù)進行驗 證 計算結(jié)果表明a r 模型能夠很好地擬合振動信號時間序列并取得了一定的預 測精度 可以達到預測要求 然而 實際的系統(tǒng)線性是相對的 非線性是絕對 的 當非線性因索的影響較小 或在某一范圍內(nèi)影響較小時 可以用線性模型 來描述 但當這種描述或逼近得不到令人滿意的結(jié)果時 就要應用非線性時序 模型 或其它的任何非線性方法 非線性預測方法主要指兩個方面 一是對非 2 線性物理系統(tǒng)進行背景分析和研究 針對不同的非線性特征采用相應的非線性 模型 二是采用一些非線性的迭代 學習模型來擬合比較復雜的時間序列數(shù)據(jù) 顯然 非線性現(xiàn)象最好用非線性方法來描述 非線性模型與線性模型比較 其 使用范圍要廣泛的多 因此 目靜對預測的研究熱點就集中在非線性模型和方 法上面 隨著人工智能技術(shù)的發(fā)展 人工神經(jīng)網(wǎng)絡 a r t i f i c i a ln e u r a ln e t w o r k s a n n 已得到了日益廣泛的研究和應用 它的廣闊前景在于其良好的預測性和實 用性 其發(fā)展?jié)摿薮?基于神經(jīng)網(wǎng)絡的時間序列預測方法是神經(jīng)網(wǎng)絡近幾年 形成的一個分支 正得到快速發(fā)展 9 0 年代中期 美國f r o n t i e rf i n a n c i a l 公司利用神經(jīng)網(wǎng)絡來對股票市場進行預測 再由專家給出相應的建議等 國內(nèi) 也有神經(jīng)網(wǎng)絡在預測分析領(lǐng)域中實際應用的一些探討 楊紅衛(wèi)等 4 習建立了基于 神經(jīng)網(wǎng)絡的毫米波雨衰減預測模型 并將結(jié)果與c c i r 模型進行分析比較 說明 此模型能夠降低平均誤差和均方差 吳微和陳維強m i 將反向傳播神經(jīng)網(wǎng)絡 b p 應用于滬市綜合指數(shù)漲跌的預測 表明人工神經(jīng)網(wǎng)絡應用于股票市場的預測是 可行的 有著良好的前景 在神經(jīng)網(wǎng)絡趨勢預測的研究與應用方面 施式亮等 4 5 指出傳統(tǒng)的預測方法存在的缺陷 應用神經(jīng)網(wǎng)絡建立了時間序列的礦井安全 性預測模型 提高了安全預測的精度 神經(jīng)網(wǎng)絡模型的訓練問題實際上是一種優(yōu)化問題 即尋找最優(yōu)的連接權(quán)值 神經(jīng)網(wǎng)絡盡快收斂 而人工智能另一學科遺傳算法正是一種非常好的全局優(yōu)化 算法 因此 隨著遺傳算法的發(fā)展 它與神經(jīng)網(wǎng)絡結(jié)合用來優(yōu)化神經(jīng)網(wǎng)絡的收 斂速度和精度有著廣闊的應用前景 基于遺傳算法的神經(jīng)網(wǎng)絡時序預測模型也 在逐步的探索中 1 3 人工神經(jīng)網(wǎng)絡與遺傳算法發(fā)展概述 7 卜 1 3 本文采用線性理論中的a r 模型分析方法與非線性模型中的神經(jīng)網(wǎng)絡模型 相結(jié)合 并采用遺傳算法對模型的算法進行優(yōu)化來進行時間序列的建模與優(yōu)化 由于a i i 模型發(fā)展比較成熟 因此主要對神經(jīng)網(wǎng)絡和遺傳算法的發(fā)展進行概要介 紹 自從1 9 4 3 年心理學家w c c u l l o c h 和數(shù)學家p i t t s 提出m p 神經(jīng)元模型以來 3 四川大學碩 學垃論文 神經(jīng)網(wǎng)絡的研究已有6 0 多年的歷史 走過了一條曲折而不平衡的發(fā)展道路 幾 經(jīng)興衰 作為人工智能的神經(jīng)網(wǎng)絡系統(tǒng)的研究則是從2 0 世紀5 0 年代末6 0 年代 初開始的 1 9 5 7 年 r o s e n b a t t 提出了感知器 p e r c e p t r o n 模型 試圖模擬 動物和人腦的感知和學習能力 并提出了引入隱層處理元件的三層感知器的概 念 1 9 6 0 年 w i d r o w 和h o f f 引入了最小均方差 l e a s tm e a n s q u a r e l 烙 算法 并用他系統(tǒng)闡明了自適應線性元件 a d a l i n e 模型及提出了一種有效的 學習方法w i d r o w h o f f 學習規(guī)則 從而在6 0 年代 掀起了神經(jīng)網(wǎng)絡研究的第一 次熱潮 1 9 6 9 年i v l m i s k e y 和s p a p e r t 發(fā)表了名為 p e r c e p t i o n 的專著 他們在專著中指出 簡單的感知器的功能是有限的 它無法解決線性不可分的 兩類樣本的分類問題 它使整個7 0 年代神經(jīng)網(wǎng)絡的研究處于低潮 直到8 0 年 代初期 1 9 8 2 年和1 9 8 4 年美國物理學家j j h o p f i e l d 發(fā)表了兩篇神經(jīng)網(wǎng)絡的 文章 提出了h o p f i e l d 網(wǎng)絡 指出利用該網(wǎng)絡可以求解聯(lián)想記憶和優(yōu)化計算的 問題 1 9 8 6 年d e r u m e l l h a r t 和j l m c c l e l l a n d 等人提出了多層前饋網(wǎng)絡的 反向傳播算法 b a c kp r o p a g a t i o n 簡稱b p 網(wǎng)絡或b p 算法 該聳法解決了感 知器不能解決的問題 h o p f i e l d 網(wǎng)絡和b p 網(wǎng)絡及算法的提出 第二次掀起了 一股競相研究開發(fā)神經(jīng)網(wǎng)絡的熱潮 如今 神經(jīng)網(wǎng)絡的研究進入一個新的發(fā)展 時期 它的應用研究幾乎覆蓋了所有的領(lǐng)域 吸引了很多國家的科學家 研究 機構(gòu)及企業(yè)界人士等 大量的有關(guān)神經(jīng)網(wǎng)絡機理 模型 算法特性分析 以及 在各方面應用的學術(shù)論文象雨后春筍般在報刊雜志上和許多國際學術(shù)會議中涌 現(xiàn) 神經(jīng)網(wǎng)絡以及建立在神經(jīng)網(wǎng)絡原理基礎上的神經(jīng)計算機成為當代商科技領(lǐng) 域中方興未艾的競爭焦點 為了借鑒自然界生物進化中自然選擇和自然遺傳機制來達到自學習與優(yōu)化 的目的 遺傳算法最早是由美國h o l l a n d 教授于1 9 6 2 年提出 試圖從生物進化 機理中發(fā)展出適合于現(xiàn)實世界復雜優(yōu)化問題的模擬進化算法 s i m u l a t e d e v o l u t i o n a r yo p t i m i z a t i o n 隨后 h o l l a n d 在1 9 7 5 年出版了遺傳算法方面 的經(jīng)典著作 a d a p t a t i o ni nn a t u r a la n da r t i f i c i a ls y s t e m s 該書系統(tǒng)的 闡述了遺傳算法的基本理論 發(fā)展了一整套模擬生物自適應系統(tǒng)的理論 標志 著遺傳算法作為計算智能的一門分支科學的正式誕生 同年 d ej o n g 在他的 博士論文 a na n a l y s i so f t h eb e h a v i o ro fac l a s so fg e n e t i ca d a p t i v e s y s t e m s 中對h o l l a n d 的模式做了大量嚴格的計算實驗 得出了明確的結(jié)論 建立了著名的d ej o n e 五函數(shù)測試平臺 對遺傳算法的六種方案的性能進行了 詳細的實驗和分析 為后繼者提供了研究范例 并為以后的廣泛應用奠定了呸 實基礎 其成果成為可遺傳算法發(fā)展過程中的一個重要基程碑 從那以后 遺 傳算法逐漸發(fā)展成為一種通過模擬自然進化過程解決晟優(yōu)化問題的計算模型 適合用j 二解決科學研究和工程實際所遇到的各種搜索和優(yōu)化問題 近幾年來 遺傳算法已經(jīng)有了很大的發(fā)展 并不斷地向其他學科和領(lǐng)域滲透 有關(guān)遺傳算 法 神經(jīng)網(wǎng)絡的結(jié)合與應用研究已經(jīng)成為智能系統(tǒng)領(lǐng)域一個十分引人注目的研 究動向 從而構(gòu)成了一種新型的智能系統(tǒng)整體優(yōu)化的結(jié)構(gòu)形式 1 4 主要工作和內(nèi)容安排 如前面所述 時間序列分析方法很多 線性和非線性型模型都是可行的 理論上非線性模型的預測精度高于線性模型的預測精度 對于較為復雜的系統(tǒng) 由于其具有很強的非線性特性 常常會遇到預測精度不夠理想的情況 這也是 實際預測中的難題 提高時間序列的預測精度 也是國內(nèi)外從事此領(lǐng)域的科研 工作者不斷追求的 因此本文根據(jù)線性理論和非線性理論 采用線性自回歸模 型和b p b a c kp r o p a g a t i o u 簡稱b p 神經(jīng)網(wǎng)絡模型相結(jié)合構(gòu)建預測模型 然 后采用b p 訓練算法 遺傳算法 g e n e t i ca l g o r i t h m s 簡稱g a 相結(jié)合 提出 了一種混合訓練方法 對標準遺傳算法進行改進 提高遺傳算法的尋優(yōu)效率 對標準b p 算法加以改進 提高神經(jīng)網(wǎng)絡的訓練和收斂速度 然后用改進遺傳算 法優(yōu)化確定b p 神經(jīng)網(wǎng)絡的初始權(quán)閩值 確定一個較好的搜索空間 然后再由改 進b p 算法在這個解空間墾對網(wǎng)絡進行譏練學習至收斂 從而實現(xiàn)三者的優(yōu)勢互 補 發(fā)揮自回歸模型的辨識能力 自回歸神經(jīng)網(wǎng)絡的廣泛映射能力和遺傳算法 的全局搜索能力 并將基于改進遺傳算法和改進b p 算法的非線性自回歸b p 神 經(jīng)網(wǎng)絡預測模型應用于都江堰灌區(qū)渠首岷江上游來水預測中 并通過 i a t l a b 環(huán)境仿真來驗證該模型的可行性與實用性 本文研究工作的主要研究內(nèi)容包括 第一章介紹了課題背景和意義 闡述了該課題國內(nèi)外的發(fā)展和現(xiàn)狀 并綜 述了人工神經(jīng)網(wǎng)絡和遺傳算法的發(fā)展概況 在此基礎上 提出了本文所做的主 要工作 s 四川大學碩 學位論文 第二章本章系統(tǒng)學習和介紹了自回歸 a r 模型 人工神經(jīng)網(wǎng)絡和遺傳算 法的基礎理論 從而為時 日j 序列預測的模型建立及算法優(yōu)化提供了理論依據(jù) 第三章詳細介紹了時間序列的a r p 預測模型的辨識方法和b p 神經(jīng)網(wǎng)絡 預測模型的結(jié)構(gòu)確定方式選取 并基于a r 模型的辨識能力和b p 神經(jīng)網(wǎng)絡模型 的非線性映射能力 建立了時 日j 序列的非線性自酬歸b p 神經(jīng)網(wǎng)絡預測模型 n a r b p 預測模型 第四章分析了所建立的n a r b p 預測模型在算法方面需要研究的方面 從搜 尋到全局最優(yōu)點的角度 提出了采用遺傳算法和b p 算法的結(jié)合算法 并對標準 遺傳算法 s g a 算法 進行改進 設計了改進遺傳算法 i g a 算法 最后給出 了i g a 算法和l m b p 算法相結(jié)合的優(yōu)化算法對上章所構(gòu)建的預測模型進行算法優(yōu) 化的步驟 第五章結(jié)合本人在研究生期間所作課題 都江堰灌區(qū)閘口岷江上游來水預 測項目 介紹所構(gòu)建的 g a n a r l m b p 預測模型在河水來水預測中的應用 第六章對本文所做的工作做了總結(jié) 并指出進一步需要研究的方向與工作 1 6 本章小結(jié) 本章闡述了時間序列預測模型和方法在國內(nèi)外的發(fā)展和現(xiàn)狀 并綜述了人 工神經(jīng)網(wǎng)絡和遺傳算法的發(fā)展概況 在此基礎上 提出了本文所做的主要工作 6 理論基礎 2理論基礎 2 1 引言 傳統(tǒng)的時間序列分析與預測理論以線性自回歸 a r 模型和線性自回歸滑 動平均 a g i a 模型為基礎 對線性系統(tǒng)有較好的效果 但不適合于非線性系 統(tǒng)的時間序列建模與預測 而神經(jīng)網(wǎng)絡技術(shù)的出現(xiàn) 為非線性系統(tǒng)的時間序列 建模與預測提供了新的方法 而遺傳算法為神經(jīng)網(wǎng)絡的全局尋優(yōu)提供了良好的 途徑 本章介紹利用自回歸 a r 和神經(jīng)網(wǎng)絡進行非線性系統(tǒng)的時問序列建模 與利用遺傳算法進行模型算法優(yōu)化的基礎理論 2 2 線性a r m a 模型和最優(yōu)預測引2 1 3 時間序列的預測問題涉及到利用過去觀測到的觀測值預測當前與未來觀測 值的隨機模型構(gòu)造問題 在統(tǒng)計學中常常使用具有隨機輸入的線性隨機差分方 程來描述 目前最重要 也是最常用的是線性自回歸滑動平均 a r m a 法 a p m t a 法 是以美國統(tǒng)計學家g e o g r ee p b o x 和英國統(tǒng)計學家6 w i l y m m j e n k i n s 的名字命名的一種時間序列預測方法 其預測模型分為 自回歸模 型 簡稱a r 模型 滑動平均模型 簡稱m a 模型 和自回歸滑動平均混合模型 簡稱a e t n a 模型 它的基本思想是 將預測對象隨時間推移而形成的數(shù)據(jù)序 列視為一個隨機序列 即除去個別的因偶然原因引起的觀測值外 時間序列是 一組依賴于時問t 的隨機變量 這組隨機變量所具有的依存關(guān)系或自相關(guān)性表 征了預測對象發(fā)展的延續(xù)性 而這種自相關(guān)性一旦被相應的數(shù)學模型描述出來 就可以從時間序列的過去值及現(xiàn)在值來預測其未來值 2 2 1 線性a r m a p q 模型 用于預測的最 般模型是線性a r m a p q 模型 7 四川夫?qū)W碩 學位論文 p4 趾h 善鵂一萎鞏釓產(chǎn) 2 1 j l li z 1 其中 p g 為模型階次 紀為模型參數(shù) 設e q i r z 0 即 為0 均值 獨立且同分布 與過去的r 無關(guān)的隨機變量 在整個過程中b 有有限方 差o r 2 為截斷值 通常對一個零均值的隨機過程 截斷 為0 2 2 2 最優(yōu)預測器 預測理論的中心足最小均方誤差意義下的最優(yōu)預測 對于給定的無窮多個 過去觀測值 如果條件均值存在 最小均方誤差預測器就是條件均值 即 l e 霉ly t m 一2 2 2 在實際應用中 人們僅能得到有限的過去觀測值巧 r i k 此時 雖小 均方誤差預測器為 礦 耳x i 耳 i 2 3 2 2 3 最優(yōu)a r p 預測器 由于a r 建模比m a 和a r m a 建模在計算上要簡單 而且一個姒或a l e x i a 模型 可以用一個足夠高階的a r 模型來近似 因此 a r 模型是使用的最廣泛的線性 預測模型 t t r p 模型是a r 姒 p q 模型的特殊情況 e 中1 z i e d 2 r 一2 m p f 2 4 相應的最優(yōu)預測器為 霉 o l r 1 d 2 r 一2 巾p r p 2 5 理論基礎 2 3 人工神經(jīng)網(wǎng)絡 5 1 川 1 s 1 2 3 1 人工神經(jīng)網(wǎng)絡基本概念 人工神經(jīng)網(wǎng)絡 a r t i f i c i a ln e u r a ln e t w o r k s 縮寫a n n 是對人腦若干基本 特征通過數(shù)學方法進行的抽象和模擬 是一種模仿人腦結(jié)構(gòu)及其功能的非線性 信 息處理系統(tǒng)i l 人工神經(jīng)網(wǎng)絡具有高速的大規(guī)模并行處理特性 高維的非線 性動力特性 高度的容錯性和魯棒性 信息存儲的分布特性 自組織 自適應 自學習的非定常性 聯(lián)想記憶的非定常性等 隨著人工神經(jīng)網(wǎng)絡理論研究的不斷成熟 神經(jīng)網(wǎng)絡的發(fā)展進入了一個新時 期 應用研究也得到迅速發(fā)展 其應用領(lǐng)域包括 建模 時間序列分析 模式 識別和控制等 并在不斷的拓展 進入2 0 世紀9 0 年代以來 人工神經(jīng)網(wǎng)絡作 為新學科 新方法和新技術(shù) 在自然科學和社會科學各個領(lǐng)域得到了廣泛的應 用 取得了許多豐碩的成果 神經(jīng)網(wǎng)絡研究也隨之得到飛速發(fā)展 各種網(wǎng)絡結(jié) 構(gòu)和算法系統(tǒng)應運而生 逐漸形成了較為完善的人工神經(jīng)網(wǎng)絡理論體系 人工 神經(jīng)網(wǎng)絡作為一種數(shù)學算法體系 已經(jīng)解決了許多實際問題 它的生命力也恰 好在于其廣泛的應用價值 2 3 2 人工神經(jīng)網(wǎng)絡的模型 人工神經(jīng)網(wǎng)絡是由大量處理單元廣泛互連而成的網(wǎng)絡 是人腦的抽象 簡 化 模擬 反映人腦的基本特征 一般說來 作為神經(jīng)元模型應具備三個要素 1 具有一組突觸或連接 常用w 表示神經(jīng)元i 和神經(jīng)元j 之問的連接強度 或稱之為權(quán)值 與人腦神經(jīng)元不同 人工神經(jīng)元權(quán)值的取值可在負值與正值之 間 2 具有反映生物神經(jīng)元時空整合功能的輸入信號累加器 3 具有一個激勵函數(shù)用于限制神經(jīng)元輸出 激勵函數(shù)將輸出信號壓縮 限 制 在一個允許范圍內(nèi) 使其成為有限值 通常 神經(jīng)元輸出的擴充范圍在 0 1 或 i i 閉區(qū)間 9 網(wǎng)川大學碗t 學位論文 最早的神經(jīng)元模型是1 9 4 3 年由莢國心理學家m c c u l l o c h 和數(shù)學家p i t t s 提 出的帥模型 而現(xiàn)在最為常用的神經(jīng)元模型如圖2 1 所示 其中 x 2 矗為 從其它神經(jīng)元傳來的輸入信號 q 為神經(jīng)元的閩值 k 為神經(jīng)元f 到神經(jīng)元 的 連接權(quán)值 廠 為神經(jīng)元的傳遞函數(shù)或激勵函數(shù) 該神經(jīng)元模型的輸入輸出關(guān) 系為 j b 一一q x i x 0 q w j 一1 2 6 i 1 j o y 2 f s 2 7 圖2 1 人工神經(jīng)元模型 激勵函數(shù)是一個神經(jīng)元及網(wǎng)絡的核心 神經(jīng)網(wǎng)絡解決問題的能力與功效除 了與網(wǎng)絡結(jié)構(gòu)有關(guān) 在很大程度上取決于網(wǎng)絡所采用的激勵函數(shù) 激勵函數(shù)的 基本作用有 控制輸入對輸出的激活作用 對輸入 輸出進行函數(shù)轉(zhuǎn)換 將輸出幅度限制在一定范圍內(nèi) 如 o 1 或 一l 1 等 常用的基本激勵函數(shù)有 閾值函數(shù) 分段線性函數(shù)和s i g m o i d 函數(shù) 2 3 3 人工神經(jīng)網(wǎng)絡的分類 可以從不同的角度對人工神經(jīng)網(wǎng)絡進行分類 如 1 按拓撲結(jié)構(gòu)分類 前饋網(wǎng)絡 反饋網(wǎng)絡和混合網(wǎng)絡 2 按學習方式分類 有監(jiān)督學習和無監(jiān)督學習 3 按連接方式分類 線性關(guān)聯(lián)網(wǎng)絡和非線性關(guān)聯(lián)剛絡 4 按應用對象分類 模式識別 預測預報 方案優(yōu)化 智能控制和智能決 l o 理論基礎 策 5 按神經(jīng)網(wǎng)絡算法的不同分類 b a c kp r o p a g a t i o n b p 網(wǎng)絡 h o p f i e l d 網(wǎng)絡 g a u s s 機等 2 3 4 人工神經(jīng)網(wǎng)絡的運行過程 對于各種具有不同拓撲結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡而言 其運行過程大致上可以 分成兩個階段 第一 網(wǎng)絡的學習 或稱之為訓練 第二 網(wǎng)絡的聯(lián)想 1 學習過程 網(wǎng)絡的學習過程就是通過不斷地向網(wǎng)絡輸入一些樣本模式 網(wǎng)絡遵循一定 的學習規(guī)則 來不斷地調(diào)整網(wǎng)絡的各層權(quán)重 使網(wǎng)絡的輸入和輸出以一定精度 向給定的樣本模式逼近 學習的實質(zhì)就是網(wǎng)絡通過輸入和輸出信息識別存在于 樣本信息問的內(nèi)在規(guī)律 學習的方法可以分為兩種 一種為有監(jiān)督學習 s u p e r v i s e dl e a r n i n g 或稱 有教師學習 另一種為無監(jiān)督學習 u n s u p e r v i s e dl e a r n i n g 或稱無教師學習 1 有監(jiān)督學習 有監(jiān)督學習是給定一組輸入 輸出作為樣本模式 網(wǎng)絡根據(jù)學習規(guī)則不斷 地調(diào)整網(wǎng)絡的權(quán)重 使網(wǎng)絡的實際輸出與樣本的期望輸出之間的誤差降低到允 許的精度 有監(jiān)督學習常用來進行系統(tǒng)規(guī)律的映射 2 無監(jiān)督學習 無監(jiān)督學習的樣本模式中不包含期望輸出 網(wǎng)絡完全按照樣本所提供的某 些統(tǒng)計規(guī)律來調(diào)整網(wǎng)絡自身 以獲得輸入信息的某些固有特征 如聚類和統(tǒng)計 上的分布規(guī)律 無監(jiān)督學習常用于信息的分類 不同拓撲結(jié)構(gòu)的神經(jīng)網(wǎng)絡 甚至相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡 因其學習規(guī)則的不 同 神經(jīng)網(wǎng)絡的功能各異 2 學習規(guī)則 網(wǎng)絡中的每一個神經(jīng)元都是一個自適應單元 它的權(quán)霍是可以調(diào)整的 權(quán) 重調(diào)整方法的不同 便產(chǎn)生了各種各樣的學習規(guī)則 圖2 2 描述了網(wǎng)絡中神經(jīng)元節(jié)點j 的權(quán)重w j 的調(diào)整情況 四川大學碩 學位論文 x l x 2 圖2 2 神經(jīng)元節(jié)點權(quán)重的調(diào)整情況 學習信號r 定義為 貯r w j x 2 8 式中t j 代表示教信號 表示第j 個神經(jīng)元節(jié)點的權(quán)重增量 可定義為輸入向量x 學 2 1 信號r 以及學習率 三者之積的形式 w 邗r w j x t j x x 2 9 第j 個神經(jīng)元節(jié)點在下一迭代中對應的權(quán)重可表示為 w j t 1 2 w t w j t 2 1 0 3 網(wǎng)絡的聯(lián)想 完成訓練的神經(jīng)網(wǎng)絡己經(jīng)將學習樣本的信息存儲于網(wǎng)絡之中 這樣的網(wǎng)絡 已經(jīng)具有映射功能 通過某種方式 使已經(jīng)存儲在網(wǎng)絡中的有關(guān)信息從輸出層 復現(xiàn)出來的過程 稱為網(wǎng)絡的聯(lián)想 不同網(wǎng)絡的聯(lián)想方式也不同 前饋聯(lián)想 輸入的激勵模式只需一次性通過權(quán)重矩陣 就可以產(chǎn)生所需的響應 即輸出模 式 反饋聯(lián)想 輸入的激勵模式通過網(wǎng)絡產(chǎn)生的響應 作為下一次激勵再輸入 網(wǎng)絡 這樣依次循環(huán) 直到輸入 輸出均不再變化為止 2 3 7b p 神經(jīng)網(wǎng)絡及其學習算法 人工神經(jīng)網(wǎng)絡的模型眾多 從2 0 世紀4 0 年代開始 先后提出了數(shù)百種人 1 2 理論基礎 工神經(jīng)網(wǎng)絡模型 不同的模型有不同的學習算法 本文僅介紹前饋神經(jīng)網(wǎng)絡中 的b p 網(wǎng)絡 b a c kp r o p a g a t i o nn e t w o r k 及其b p 算法 b p 神經(jīng)網(wǎng)絡 b a c k p r o p a g a t i o nn e u t r a ln e t w o r k 通常是指基于誤差反 向傳播算法 b p 算法 的多層前向神經(jīng)網(wǎng)絡 采用有教師的訓練方式 它是 d e r u m e l h a r t 和j l m c c e l l a n d 及其研究小組在1 9 8 6 年研究并設計出來的 b p 網(wǎng)絡能學習和存貯大量的輸入一輸出模式映射關(guān)系 而無需事前揭示描述這 種映射關(guān)系的數(shù)學方程 由k o l m o g o r o v 定理f 1 9 給定任一連續(xù)函數(shù) 臚o y 廠 x 這里r 是閉區(qū)間 0 1 廠可以精確地用一個三層前向網(wǎng) 絡實現(xiàn)逼近 和b p 定理f l j l 給定任意g 和上2 在范數(shù)下 f 0 l r r 4 存在 一個三層b p 網(wǎng)絡 它可以在任意占平方誤差精度內(nèi)逼近f 知 三層的b p 網(wǎng)絡 可以以任意的精度逼近任意的非線性函數(shù) b p 網(wǎng)絡的學習規(guī)則是使用梯度下降 法 通過反向傳播來不斷調(diào)整網(wǎng)絡的權(quán)值和閱值 使網(wǎng)絡的誤差平方和最小 b p 神經(jīng)網(wǎng)絡模型拓撲結(jié)構(gòu)包括輸入層 i n p u t 隱層 h i d el a y e r 和輸出層 o u t p u tl a y e r b p 算法的學習過程 由正向傳播和反向傳播組成 在正向傳 播過程中 輸入信息先向前傳播到隱節(jié)點 經(jīng)過激勵函數(shù)后 再把隱節(jié)點的輸 出信息傳播到輸出節(jié)點 最后給出輸出結(jié)果 每一層神經(jīng)元的狀態(tài)只影響下一 層神經(jīng)元的狀態(tài) 如果在輸出層不能得到期望的輸出 則進入反向傳播 將誤 差信號沿原來的連接通路返回 通過修改各層神經(jīng)元的權(quán)值 使誤差信號最小 b p 算法主要是解決多層神經(jīng)網(wǎng)絡的網(wǎng)絡訓練問題 對于多層神經(jīng)網(wǎng)絡的輸出 層 很自然的可以用理想輸出和實際輸出之閫的差異來進行訓練 而對于隱含 層 只能知道隱含層的輸出 而無法知道隱含層的理想輸出 如果沒有合適的 方法 就無法進行監(jiān)督型學習 b p 算法的發(fā)明 很好的解決了這個問題 由 已知的輸出層理想輸出 推導出隱含層的學習法則 另外 b p 網(wǎng)絡之 日j 的關(guān)聯(lián) 信息分布式存儲于各個連接權(quán)中 由于神經(jīng)網(wǎng)絡中連接權(quán)的個數(shù)很多 個別神 經(jīng)元的損壞只對輸入輸出關(guān)系產(chǎn)生較小的影響 這樣 在缺失樣本與參數(shù)的情 況下也能保證較穩(wěn)定的輸出 因此 b p 網(wǎng)絡還顯示出了較好的容錯能力剛 設一個有四層的神經(jīng)網(wǎng)絡 其中輸入輸出各一層 兩層隱藏層 如圖2 3 四川大學頓 學位論文 a d j u s t i g h t 圖2 3 卯神經(jīng)網(wǎng)絡模型 由圖2 3 的網(wǎng)絡模型可見 設各層的激勵函數(shù)分別為工 正 w 為連接 權(quán)值符號 p 為閡值符號 則在正向傳播算法中 第一個隱層第j 個神經(jīng)元節(jié) 點的輸出為 也 z 五 p c o 2 1 1 i i 第二個隱層第m 個神經(jīng)元節(jié)點的輸出為 目l 瑚 姒 w j x c p 乜 2 1 2 j 輸出層第k 個神經(jīng)元節(jié)點的輸出為 n 2 瑞 i n x c p 3 2 1 a m 1 表示網(wǎng)絡的即時誤差的能量方程是 毛 三饑一礎 7 瑚 耋 一盤 窆弓 2 1 4 其中 表示對于第口個模式的磊絡理想輸出 瑤 l 網(wǎng)絡的實際輸出 在反向傳播算法中 網(wǎng)絡權(quán)值的學習規(guī)則是 叫 7 巍 2 1 5 s 2 1 2 3 4 代表相應的網(wǎng)絡層 r o 是學習效率參數(shù) 則對于輸出層 輸出層的神經(jīng)元j 釁 刮 器一礦器荔 鏈式法則 2 1 6 其中荔 壽駟器 哦 器 番咕喜 一p 修 j 2 乜叫壚 伸凈辭 表示妒的一階導數(shù) 礙 定義為第j 個神經(jīng)元的局部梯度 因此對于輸出 層的權(quán)值學習法則縣 哆 j i 1 蟛 t j 7 0 熘 對于隱藏層 神經(jīng)元k 屬于輸出層 神經(jīng)元j 屬于隱藏層1 吣 叫 囂刮卸參籌 其中 善 赤c 委啄 礎 礎 2 1 7 2 1 8 四 大學頑十學位論史 參 亳4 2 溉k o l 唱 一 眷 o t o j剛2 囈 產(chǎn)椰 南t 三2 批k f f i l 吲螄j f f i o 刪 勢 一 知一礎j 妒7 以 w 鏟 伊 2 一 矽蠟1 妒 t 2 1 一彰2 因此 對于隱藏層 我們有 a w 2 1 七十1 w 2 儼一2 礎j 2 1 9 總的來說 咄 i 1 嵋 t 口 彰 x s i 2 2 0 對于輸出層來說 一檻 哆 2 2 1 對隱藏層來說 l 掣 鹺 嵋 妒 2 2 2 t z l b p 算法的實現(xiàn)步驟日丁歸納如下 第一步 初始化權(quán)值和閩值 第二步 對樣本信息進行訓練 s t e p l 給出輸入信息向量x 和目標向量y j s t e p 2 對輸入x 進行標準化 s t e p 3 計算隱含層和輸出層的實際輸出 s t e p 4 求目標向量與實際輸出的偏差 s t e p 5 若誤差在要求內(nèi)到s t e p l o s t e p 6 計算隱含層單元誤差 s t e p 7 求誤差梯度 s t e p 8 對權(quán)值和閩值進行修改 將誤差信號沿原來的連接通路返回 通過 理論基礎 修改各層神經(jīng)元的權(quán)值 逐次地向輸入層傳播去進行計算 再經(jīng)過正向傳播過 程 這兩個過程反復進行使得誤差信號最小 s t e p 9 回到s t e p 3 s t e p l 0 計算全部誤差是否滿足要求 若滿足則學習結(jié)束 否則回到s t e p 6 第三步 輸入信息向量x 經(jīng)仿真計算預測輸出向量y 從以上的理論和分析中可以總結(jié)出 基于b p 算法的神經(jīng)網(wǎng)絡具有理論上 的完善性和廣泛的實用性 2 3 遺傳算法酬7 1 6 l 1 7 2 3 1 遺傳算法基本概念與特點 遺傳算法 2 1 n ic g e n e t i ca l g o r i t h m 簡稱g