基于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)模型的混沌時間序列預(yù)測

1、基于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)模型的混沌時間序列預(yù)測第27卷第1期2007年1月計算機應(yīng)用ComputerApplications文章編號:10019081(2oo7)O1一O04Oo4基于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)模型的混沌時間序列預(yù)測馬千里,鄭啟倫,彭宏I,鐘譚衛(wèi)(1.華南理工大學計算機科學與工程學院,廣東廣州510640;2.華南農(nóng)業(yè)大學理學院,廣東廣州510640)(mq1206tom )摘要:提出了一種動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)模型進行混沌時間序列預(yù)測,以最正確延遲時間為間隔的最小嵌入維數(shù)作為遞歸神經(jīng)網(wǎng)絡(luò)的輸入維數(shù),并按預(yù)測相點步進動態(tài)遞歸的生成訓練數(shù)據(jù),利用混沌特性處理樣本及優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),用遞歸神經(jīng)網(wǎng)絡(luò)映射混沌

2、相空間相點演化的非線性關(guān)系,提高了預(yù)測精度和穩(wěn)定性.將該模型應(yīng)用于Irenz系統(tǒng)數(shù)據(jù)仿真以及滬市股票綜合指數(shù)預(yù)測,其結(jié)果與已有網(wǎng)絡(luò)模型預(yù)測的結(jié)果相比較,精度有很大提高.因此,證明了該預(yù)測模型在實際混沌時間序列預(yù)測領(lǐng)域的有效性和實用性.關(guān)鍵詞:混沌時間序列;遞歸神經(jīng)網(wǎng)絡(luò);預(yù)測中圖分類號:TP393文獻標識碼:AChaotictimeseriesforecastingbasedondynamicrecurrentneuralnetworksmodelMAQianli,ZHENGQilun,PENGHong,ZHONGTan?weif1.SchoolofComputerScience&Eng

3、ineering,SouthChina婦ofTechnology,GnangzhouGuangdong510640,China;2.&nceCollege,SouthChinaAg礎(chǔ)University,GuangzhouGuangdong510640,China)Abstract:ARecurrentNeuralNetworks(DRNN)modelwaspresentedinthispapertoforecastchaotictimeseries.Theinputdimension0fDRNNwasdecidedbyminimalembeddingdimension,nletrai

4、ningsamplesweregeneratedbyII啪0fthesteppingIevephasepoints.Itcanimproveprecisionandstabilityofpredictiontousechaoticcharacteristictodealwid1mplesandmappinonlifultonbyDRNN.TheDRNNmodelwasappliedtosimulation0fIrenzsystemandshot-termforecasting0f娜haistockindex.C|舡withthetraditionalstandardBPneuralnetwor

5、k,thispl郇憾ednxlelshowslli盯precision.11le】,thisresearchprovesthedtectiveness0fthep10p0sedmodelinthepracticalprediction0ftimeseries.Keywords:chaotictimeseries;recurrentneuralnetwork;forecasting0引言近年來,隨著混沌理論研究的不斷深入及其在信號處理,自動控制和通信等領(lǐng)域中廣泛的應(yīng)用,根據(jù)混沌系統(tǒng)提取非線性時間序列對系統(tǒng)建模和預(yù)測已成為混沌信號處理研究領(lǐng)域的一個非常重要的研究方向.時間序列分析的傳統(tǒng)方法,比方A

6、RIMA(AutoregressiveIntegratedMovingAverage)模型等,都要求時間序列具有正態(tài)分布,全局平穩(wěn),殘差互不相關(guān)的特點,這使得傳統(tǒng)的統(tǒng)計學方法在混沌時間序列中很難準確地進行分析和預(yù)測.Takens【2的嵌入定理提供了預(yù)測混沌時間序列的理論依據(jù),但是如何根據(jù)相空間重構(gòu)理論構(gòu)造預(yù)測模型是混沌時間序列預(yù)測中的一個關(guān)鍵問題,為此人們提出了許多預(yù)測混沌時間序列的非線性預(yù)測方法,其中基于神經(jīng)網(wǎng)絡(luò)的預(yù)測法,由于其具有分布處理,自組織,自適應(yīng),自學習和容錯性的優(yōu)良特性,能較好地處理不確定,非線性的預(yù)測問題,在混沌時間序列預(yù)預(yù)測時間序列仍然存在一些有待解決的問題,如訓練樣本的選擇

7、,網(wǎng)絡(luò)結(jié)構(gòu)確實定,算法的改進,以及網(wǎng)絡(luò)推廣能力等方面,從而限制了其進一步的應(yīng)用.本文以相空間重構(gòu)理論確定最正確延遲時間和最小嵌入維數(shù),然后以最正確延遲時間為間隔的最小嵌入維數(shù)作為遞歸神經(jīng)網(wǎng)絡(luò)的輸入維數(shù),并按預(yù)測相點步進動態(tài)遞歸的生成訓練數(shù)據(jù),利用遞歸網(wǎng)絡(luò)比前饋型網(wǎng)絡(luò)具有更強的非線性功能的特點,映射混沌相空間相點演化的非線性關(guān)系,構(gòu)造一個動態(tài)該模型比已有的BP網(wǎng)絡(luò)模型更能有效,穩(wěn)定地提高預(yù)測精度,且有較強的適應(yīng)能力.1DRNN預(yù)測模型要確定網(wǎng)絡(luò)結(jié)構(gòu),就是要確定網(wǎng)絡(luò)輸入輸出層以及隱層經(jīng)驗公式,另一方面要通過訓練數(shù)據(jù)來不斷調(diào)整以到達優(yōu)化收稿日期:2006一o710;修訂日期:20061O一11基金工

8、程:國家自然科學基金資助工程(30230350);廣東省科技攻關(guān)資助工程(2005B10101033);廣州市科技攻關(guān)資助工程(2006Z3.D3051)作者簡介:馬千里(1980一),男,博士研究生,主要研究方向:智能計算技術(shù);鄭啟倫(1938一),男,教授,博士生導師,主要研究方向:智能計算技術(shù);彭宏(1956一),男,教授,博士生導師,主要研究方向:智能計算技術(shù),數(shù)據(jù)挖掘;鐘譚衛(wèi)(1962一),男,副教授,主要研究方向:時間序列.第1期馬千里等:基于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)模型的混沌時間序列預(yù)測4l是其中重要的兩個參數(shù).1)最正確延遲時間r確實定方法從理論上說,當數(shù)據(jù)點數(shù)無限時,嵌入的效果與r無

9、關(guān),Takens定理并無對r的要求,但實際重建時,r的影響極大.r太小,吸引子不能充分展開,冗余誤差大;r太大,那么不相關(guān)誤差大J.在實際應(yīng)用中主要有以下兩種方法選取最正確延遲時間次過0點的方法來確定最正確的r,事實證明這不適用于非線性系統(tǒng).而互信息法表達式如下:.,一,M(,)=piJ(r)ln(3)l4ri其中P為點在第個時間間隔中的概率,P(r)為點在t時刻落入第i個時間間隔和在t+r時刻落入第個時間間隔的聯(lián)合概率.為了簡化計算,隨著r的增加,互信息法將(3)7,由于互信息法考慮了非線性相關(guān),因此比線性自相關(guān)函數(shù)法效果好.本文便是采用互信息法確定最正確延遲時間r.2)最小嵌入維數(shù)m確實定

10、方法關(guān)于嵌入維數(shù)m的選取,文獻8提出的偽鄰近點方法(FalseNearestNeighborsmethod,FNN)是一種比較常用的方法.設(shè)d為吸引子的維數(shù),為剛好使吸引子完全翻開的最小嵌入維數(shù).當m<時吸引子在相空間中不能完全翻開,吸引子在嵌入空間就會產(chǎn)生一些投影點,投影點與相空間中的其他點形成最近鄰點.而在原系統(tǒng)中,這兩個點并非為真正的最近鄰點,因此稱為偽鄰近點.由此可推知,當吸引子中存在偽近鄰點時,就說明嵌入維數(shù)m不夠大.設(shè)相空間中的任一點X(t),其偽鄰近點的判據(jù):.土l+I(t)一(t)II(t+晰)一(t+M)_lD屑(t)D(t)(4)D(t)為嵌入維為m時相空間中任意一點

11、X(t)與其最評述:在m+I維重構(gòu)相空間中,X(t)與(t)之間的距離比X(t+I)與X(t)之間的距離大于某一值,那么認為m維重構(gòu)相空間中的(t)是偽鄰近點.所以p屑是閾值參數(shù).根據(jù)此判據(jù),計m由小變大時的偽最近鄰數(shù),再計算嵌入維數(shù)從m到m+I時線,當AN=0時,即在AN/N剛降為零(此時吸引子完全被翻開)時m的值m就是所求的最小嵌入維數(shù).根據(jù)相點與其后續(xù)時間序列的函數(shù)關(guān)系式Y(jié)(t+r)=(t),(tr),(t一2r),(t一(mI)r)遞歸網(wǎng)絡(luò)的輸入維數(shù)由(4)式中計算得出的最小嵌入維數(shù)m決定,每個輸入維之間延時r,即將(t),(tr),t一(m1)r作為神經(jīng)網(wǎng)絡(luò)的輸入.隱層節(jié)點數(shù)根據(jù)文獻

12、9中網(wǎng)絡(luò)模型的改進方法來確定.輸出層含一個節(jié)點,即為預(yù)測時間點的預(yù)測值.該模型的特點:神經(jīng)網(wǎng)絡(luò)輸入維數(shù)m按照相空間重構(gòu)理論的飽和嵌人維數(shù)確定;利用歐氏距離法選擇預(yù)測相點的個最近鄰相點構(gòu)成訓練樣本集;訓練樣本集是根據(jù)給定時間序列空間按預(yù)測相點依次步進生成,使神經(jīng)網(wǎng)絡(luò)具有遞歸性泛化推理能力,實現(xiàn)系統(tǒng)的總體尋優(yōu)性.模型具體結(jié)構(gòu)如圖I所示.(r+r)(r)(r-r)x(t-2r)x(t-(m-3)r)x(t-(m-2)r)x(t一(m-Dr)圖1DRNN預(yù)測模型結(jié)構(gòu)具體步驟如下:1)對觀測的混沌時間序列歷史數(shù)據(jù)進行預(yù)處理;2)根據(jù)相空間重構(gòu)理論計算最小嵌入維數(shù)m和最正確延遲時間r,重構(gòu)相空間:3)由2

13、)得到的m選擇神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點個數(shù),r決定節(jié)點之間的輸入數(shù)據(jù)的延時,構(gòu)造遞歸神經(jīng)網(wǎng)絡(luò)預(yù)測模型:4)從原始數(shù)據(jù)中選擇局部訓練數(shù)據(jù)輸入,進行網(wǎng)絡(luò)訓練,直到訓練到達要求為止,記錄此時的網(wǎng)絡(luò)參數(shù),假設(shè)不滿足訓練目標,那么返回3);5)選擇測試樣本輸入,得到第一個預(yù)測點值,并將第一次步進生成預(yù)測結(jié)果.2DRNN預(yù)測模型的實驗仿真結(jié)果和比照為了驗證DRNN預(yù)測模型的有效性,在計算機中進行仿真試驗,試驗數(shù)據(jù)采用Lorenz模型生成的混沌時間序列.Lorenz模型為:r(),一);=一砧+rxY(5)【=xybz其中:=10.r=28.b=8/3.RungeKutta算法求解獲得53000點數(shù)據(jù),取其后30

14、00點數(shù)據(jù)作為仿真數(shù)據(jù),取分量來進行預(yù)測,并對混沌時間序列進行歸一化處理:(,1)=max(z(n)一min(z(n)(6)式中,z(n)為原始混沌時間序列,(n)為歸一化后對誤差定義為:e(,1)=(n)一Y(n)(7)式中,(n)為實際值,Y(n)為預(yù)測值.由偽鄰近點法計算得到最小嵌入維數(shù)m為9,隱層節(jié)點42計算機應(yīng)用2007血取21,輸出節(jié)點為1,構(gòu)造DRNN模型,遞歸延遲為1,并且構(gòu)造同樣的921線比較接近,很難從曲線圖上分辨出來,故只分別給出DRNN模型與BP網(wǎng)絡(luò)預(yù)測絕對誤差e(n).如圖2,圖3所示.n圖2DRNN絕對誤差圖3BP網(wǎng)絡(luò)絕對誤差從圖中我們可以看到,BP網(wǎng)絡(luò)預(yù)測的誤差在

15、(一0.2,0.15)之間,而DRNN預(yù)測的誤差在(一0.02,0.01)之間,比是有效的.3股票指數(shù)預(yù)測實例研究股票指數(shù)序列已證明它存在混沌特性【l引,其實質(zhì)是確定1月5日到2000年l2月413期間700天的時間序列作為研究對象,選取前650天作為訓練數(shù)據(jù),后5O天作為預(yù)測數(shù)據(jù),根據(jù)本文提出的DRNN預(yù)測模型進行驗證,并與目前廣泛采用的基于BP算法的多層前饋網(wǎng)絡(luò)模型進行比較.1)由互信息法計算得到最正確延遲時間r為1(延遲時間1天),由偽鄰近點法計算得到最小嵌入維數(shù)m為5.2)構(gòu)造神經(jīng)網(wǎng)絡(luò),設(shè)輸出為y(t+1),那么輸入(t),(t一1),(t一2),(t一3),(t一4),神經(jīng)網(wǎng)絡(luò)輸入層

16、為五個節(jié)點,每個神經(jīng)元之間的時間間隔為1,由文獻10可知隱層節(jié)點設(shè)為輸入層的兩倍即lO個節(jié)點為宜,輸出層只有一個神經(jīng)元,即第二天的股票開盤指數(shù)預(yù)測值,遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為5101.3)Y(t+1)是關(guān)于點(t),(t一1),(t一2),(t一3),(t一4)的函數(shù):y(t+1)=,xCt),x(t一1),(t一2),(t一3),(t一4)在得到第一個預(yù)測點值后,將第一點的實際值參加原輸實現(xiàn)股票的短期預(yù)測.4)輸入650個訓練數(shù)據(jù),待訓練結(jié)束后,輸入5O個預(yù)測數(shù)據(jù),得到預(yù)測曲線與實際曲線比較如圖4所示,誤差如圖6所示.5)單獨構(gòu)造5101的BP神經(jīng)網(wǎng)絡(luò),預(yù)測結(jié)果與本文DRNN模型預(yù)測結(jié)果比較如表

17、1所示(在這里只選擇lO個點列出),且給出所有預(yù)測點的平均誤差,其預(yù)測曲線與實際曲線比較如圖5所示,誤差如圖7所示.時問,d圖4DRNN模型預(yù)測曲線與實際曲線比較時間,d圖5BP網(wǎng)絡(luò)模型預(yù)測曲線與實際曲線比較806o402OO-20-40-6O-80806o402OO-20-40-6O-80時問,d圖6DRNN模型預(yù)測誤差時問,d圖7BP網(wǎng)絡(luò)模型預(yù)測誤差表lDRNN模型預(yù)測結(jié)果與BP月絡(luò)模型預(yù)測結(jié)果比較從表1可以看出,本文的DRNN模型相對BP網(wǎng)絡(luò)模型預(yù)測精度有較大提高,并且從圖4,5可以看出,對真實指數(shù)曲a驛醬醬第1期馬千里等:基于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)模型的混沌時間序列預(yù)測43線的擬合程度也比B

18、P網(wǎng)絡(luò)模型的擬合程度好.從圖6看出,本文的遞歸模型的誤差集中在(一20,20)之間,誤差值較小,而從圖7看出,BP網(wǎng)絡(luò)模型誤差在(一80,40)之間,誤差值較大,并且某些點偏離真實值很大,這是由于前饋型網(wǎng)絡(luò)的過擬合程度較高造成的.4結(jié)語本文提出了一種新型動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)(DRNN)模型進行混沌時間序列預(yù)測,通過應(yīng)用于滬市綜合股指實例證明可有效提高預(yù)測精度.取得結(jié)論如下:1)在神經(jīng)網(wǎng)絡(luò)作為混沌時間序列建模的一種較為有效方法時,遞歸網(wǎng)絡(luò)以其對復(fù)雜系統(tǒng)很強的模擬和描述能力,能夠比前饋網(wǎng)絡(luò)更好地應(yīng)用于混沌時間序列的建模中;2)在混沌時間序列相空間,建立在混沌分析根底上的遞歸神經(jīng)網(wǎng)絡(luò),利用其混沌特征依次

19、步進來構(gòu)成樣本,用遞歸神經(jīng)網(wǎng)絡(luò)來逼近相點的非線性關(guān)系.使模型既具有遞歸性,又具有動態(tài)性,預(yù)測結(jié)果精度與BP網(wǎng)絡(luò)模型相比有了很大提高;3)該模型是研究混沌時間序列預(yù)測的一種嘗試,通過對Lorenz方程標準數(shù)據(jù)的仿真實驗以及滬市股票指數(shù)實例的短期預(yù)測,獲得滿意的預(yù)測結(jié)果,從而證實該方法無論在理論分析還是實際應(yīng)用中都具有實用性和有效性.參考文獻:1】BOXB,JENKINSGM.Timeseriesanalysis:forecastingandcontrelM1,SanFrancisco:HoldenDay,1990.【2】TAKENSF.DetectingStrangeAttractorsinTu

20、rbulence【J】.LectureNotesinMathematics.1981,898(1),366381.【3】陳可,張琴舜.BP神經(jīng)網(wǎng)絡(luò)在證券分析預(yù)測中應(yīng)用【J】.計算機工程.2001,27(11):959r7.【4】陳瑛,羅鵬飛.基于神經(jīng)網(wǎng)絡(luò)的混沌時間序列建模及預(yù)測【J】.計算機工程與應(yīng)用,2005,41(11):7779.attractorsbyneuralnetworks【J】.NeuralComputation,2000,12(10):23552383.6】ROSENSTEINMT,COLLINSJJ,DELUCACJ,Reconstructionexpansionasage

21、ometrybasedfrlllleworkforchoosingproperdelaytimes【J】.PhysicsD,1994,73(12):8298.AttractorsfromMutualInformation【J】.PhysicalReviewA(GeneralPhysics),1986,33(2):11341140.dingdimensionforphasestcereconstructionusingageometricalconstruction【J】.PhysicalReview,1992,45(6):34033411.【M】.Boston:PWSPublishing,19

22、96.【J】.系統(tǒng)工程理論方法應(yīng)用,2005,14(5):390394.(上接第14頁)證明根據(jù)上述引理,可得:(D)()=(2+)=2+-2當Dl/d為整數(shù)時,P=為整數(shù),等號成立.推論2鏈路能耗與無線通信路徑衰減參數(shù)n成線形關(guān)系.證明(7)式中,以t/,為自變量,對鏈路能耗函數(shù)(D)求導,結(jié)果為常數(shù).因此推論2成立.根據(jù)以上推論得出以下重要結(jié)論:?當節(jié)點與簇頭問的距離D是d一的整數(shù)倍時,鏈路是最小能量中繼鏈路,跳數(shù)是最優(yōu)跳數(shù);非整數(shù)倍的時候,1月f是最優(yōu)跳數(shù).大于或小于最優(yōu)跳數(shù),將導致鏈路的能耗將增加.?距離與鏈路能耗可以成線形關(guān)系.3結(jié)語利用分簇技術(shù)將網(wǎng)絡(luò)劃分為多個簇群,可極大地降低了時

23、,簇群內(nèi)的通信模式和拓撲結(jié)構(gòu)決定簇群的能量消耗速度.本文針對簇群成員節(jié)點采用Multihop模式與簇頭通信時,如最小能耗中繼鏈路,采用最優(yōu)中繼跳數(shù),可以實現(xiàn)簇群內(nèi)每個節(jié)點都以最小能量把數(shù)據(jù)傳輸?shù)酱仡^,降低整個簇群的能耗,從而實現(xiàn)整個網(wǎng)絡(luò)能耗的最小化.參考文獻:ges:sealablecoordinationinnsornetworks【A】.ProceedingsoftheFifthAnnualInternationalConferenceonMobileComputingand270.withWirelessSensorNetworks【A】.ICASSP2001【C】.2001.【3】HEINZELMANW,CHANDRAKASANA,BALAKBISHNANH.AnApplicationSpecificProtocolArchitectureforWirelessMi.cmsensorNetworks【J】.IEEETransactionsonWirelessCommuni.cations,2002,1(4):66O-670.