（運籌學(xué)與控制論專業(yè)論文）基于支持向量回歸機的匯率預(yù)測.pdf

7眥2 帆0 惦叭9 眥1眥y 華東師范大學(xué)學(xué)位論文原創(chuàng)性聲明 鄭重聲明 本人呈交的學(xué)位論文 基于支持向量回歸機的匯率預(yù)測 是在華東師 范大學(xué)攻讀硒壬 博士 請勾選 學(xué)位期間 在導(dǎo)師的指導(dǎo)下進行的研究工作及取得的研 究成果 除文中已經(jīng)注明引用的內(nèi)容外 本論文不包含其他個人已經(jīng)發(fā)表或撰寫過的研 究成果 對本文的研究做出重要貢獻的個人和集體 均已在文中作了明確說明并表示謝 意 作者簽名 i 至耋童 日期 z 礦 年歹月羅口日 華東師范大學(xué)學(xué)位論文著作權(quán)使用聲明 基于支持向量回歸機的匯率預(yù)測 系本人在華東師范大學(xué)攻讀學(xué)位期間在導(dǎo)師 指導(dǎo)下完成的再西孟 博士 請勾選 學(xué)位論文 本論文的研究成果歸華東師范大學(xué)所有 本 人同意華東師范大學(xué)根據(jù)相關(guān)規(guī)定保留和使用此學(xué)位論文 并向主管部f t a 相關(guān)機構(gòu) 如國家圖書館 中信所和 知網(wǎng) 送交學(xué)位論文的印刷版和電子版 允許學(xué)位論文進入 華東師范大學(xué)圖書館及數(shù)據(jù)庫被查閱 借閱 同意學(xué)校將學(xué)位論文加入全國博士 碩 士學(xué)位論文共建單位數(shù)據(jù)庫進行檢索 將學(xué)位論文的標題和摘要匯編出版 采用影印 縮印或者其它方式合理復(fù)制學(xué)位論文 本學(xué)位論文屬于 請勾選 1 經(jīng)華東師范大學(xué)相關(guān)部門審查核定的 內(nèi)部 或 涉密 學(xué)位論文 于 年 月 日解密 解密后適用上述授權(quán) 2 不保密 適用上述授權(quán) 導(dǎo)師簽名 本人簽名 啊磊本人簽名 i 壟竺 7 o 1 年 只 d e l 涉密 學(xué)位論文應(yīng)是已經(jīng)華東師范大學(xué)學(xué)位評定委員會辦公室或保密委員會審定過的學(xué)位 論文 需附獲批的 華東師范大學(xué)研究生申請學(xué)位論文 涉密 審批表 方為有效 未經(jīng)上述部門 審定的學(xué)位論文均為公開學(xué)位論文 此聲明欄不填寫的 默認為公開學(xué)位論文 均適用上述授權(quán) 碩士學(xué)位論文答辯委員會成員名單 姓名職稱單位備注 詹興致教授華東師范大學(xué)數(shù)學(xué)系主席 王新偉副教授華東師范大學(xué)計算機系 潘仁良副教授華東師范大學(xué)數(shù)學(xué)系 匯率是國際貿(mào)易中的重要的調(diào)節(jié)杠桿 其變動趨勢直接影響到國際金融市場和國 內(nèi)經(jīng)濟的發(fā)展 近年來 人民幣對美元匯率受金融危機影響變化較大 人們對匯率的波 動越來越敏感 做好匯率未來走勢的預(yù)測 對于國內(nèi)外經(jīng)濟 或是企業(yè) 個人投資理 財而言都起到重要作用 有著很大的現(xiàn)實意義 支持向量機 s v m 是二十世紀九十年代發(fā)展起來的統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容 其 中核函數(shù)是它重要組成部分 支持向量回歸機是將回歸問題轉(zhuǎn)換為分類問題的一種新 方法 本文首先闡述了時間序列分析方法 著重敘述了a r a u t or e g r e s s i v e 模型及 它的參數(shù)估計和檢驗標準 然后著重敘述了支持向量回歸機 s v r s u p p o r tv e c t o r r e g r e s s i o n 的來由 算法及核函數(shù) 最后結(jié)合a r 模型和支持向量回歸機的優(yōu) 勢 由a r 模型算出回歸階數(shù) 再構(gòu)建支持向量回歸模型 通過上面的a r 模型算法 與s v r 算法結(jié)合的組合算法 利用實際數(shù)據(jù)進行分析驗證 比較匯率預(yù)測結(jié)果與原始 數(shù)據(jù)的差距 另外 參考其他論文的方法作比較 體現(xiàn)此結(jié)合得到的組合方法的有效性 在實例驗證的過程中 重點探討支持向量回歸機中的各參數(shù)及核函數(shù)是如何選取 的 這也為大家提供了支持向量機的參數(shù)取值方法 最后 文章對此方法可以進一步改進的地方做了展望 關(guān)鍵詞 支持向量回歸機 自回歸模型 匯率預(yù)測 i 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 a b s t r a c t e x c h a n g er a t ei sa ni m p o r t a n ta d j u s t m e n tl e v e ri ni n t e r n a t i o n a lu a d e i t sc h a n g e si n t r e n d si m p a c to ni n t e r n a t i o n a lf i n a n c i a lm a r k e t sa n dd o m e s t i ce c o n o m i cd e v e l o p m e n td i r e c t l y i nr e c e n ty e a r s t h er m ba g a i n s tt h eu s d o l l a rc h a n g e dg r e a t l ya f f e c t e db yf i n a n c i a l c r i s i s m o r ea n dm o r ep e o p l ea r es e n s i t i v et oe x c h a n g er a t ef l u c t u a t i o n s f o r e c a s t i n gt h e f u t u r ee x c h a n g er a t eh a v ep l a y e da l li m p o r t a n tr o l eo i lt h ed o m e s t i ca n di n t e r n a t i o n a le c o n o m i c a n db u s i n e s so rp e r s o n a li n v e s t m e n t w h i c hh a sg r e a tp r a c t i c a ls i g n i f i c a n c e s u p p o r tv e c t o rm a c h i n e s v m h a sd e v e l o p i n gi nt h ed e c a d eo ft h e2 0 t hc e n t u r y o f w h i c ht h es t a t i s t i c a ll e a r n i n gt h e o r yi st h ec o r ec o n t e n t k e r n e lf u n c t i o ni sa ni m p o r t a n tp a r t o fi t s u p p o r tv e c t o rr e g r e s s i o ni san e wm e t h o dw h i c ht r a n s f o r m sa r e g r e s s i o np r o b l e mi n t o ac l a s s i f i c a t i o np r o b l e m f i r s t t h i sp a p e rd e s c r i b e st h et i m es e r i e sa n a l y s i sm e t h o d f o c u s e do na r a u t or e g r e s s i v e m o d e la n d i t sp a r a m e t e re s t i m a t i o na n d t e s t i n gs t a n d a r d s t h e nt h i sp a p e rd e s c r i b e st h e a l g o r i t h m sa n dn u c l e a rf u n c t i o no fs v r a tl a s t w i t ht h ea d v a n t a g e so fa r a n ds v r w e b u i l dac o m b i n a t i o nm o d e l c a l c u l a t et h eo r d e ro fr e g r e s s i o nm o d e lf i r s t t h e nb u i l ds v r m o d e l u s i n gt h er e a ld a t aa n a l y s i s w ec o m p a r e dt h ep r e d i c t e da n d t h eo r i g i n a ld a t a i na d d i t i o n w er e f e ro t h e rp a p e rt oc o m p a r e r e f l e c t e dt h ee f f e c t i v e n e s so ft h ec o m b i n a t i o nm e t h o d t h ea r t i c l ef o c u s e do nh o wt os e l e c tp a r a m e t e r so ft h ek e r n e lf u n c t i o ni ns u p p o r tv e c t o r r e g r e s s i o ni ne x a m p l es h o w s w h i c hp r o v i d e st h es e l e c t i v em e t h o do fp a r a m e t e rv a l u e si n s v m f i n a l l y t h ea r t i c l em a d eas u m m a r y a b o u ts o m ef u r t h e fi m p r o v e m e n to nt h i sn e wm e t h o d k e yw o r d s s u p p o av e c t o rr e g r e s s i o nm a c h i n e a u t or e g r e s s i o nm o d e l i n g e x c h a n g er a t ef o r e c a s t i n g 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 目錄 第一章引言 l 第二章自回歸a r 模型 3 2 1 時間序列相關(guān)定義 3 2 2 自回歸模型a r n 5 2 3a r n 模型的參數(shù)估計 5 2 4a r n 模型的檢驗標準 6 第三章支持向量回歸機 7 3 1分類問題與支持向量機 7 3 2 回歸問題 1 0 3 3 支持向量回歸機 1 l 3 4 幾種常用的核函數(shù)形式 1 2 第四章匯率預(yù)測模型建立與實證研究 1 3 4 1 匯率預(yù)測模型建立的基本思想 1 3 4 2 數(shù)據(jù)來源與處理 1 4 4 3a r 模型定自回歸階數(shù) 1 6 4 4s v r 模型對參數(shù)s c 及核函數(shù)的選取 1 7 4 5 實證研究真實值與預(yù)測值比較 2 4 4 6s v r 參數(shù)選取的改進 2 6 第五章總結(jié)與展望 3 0 參考文獻 3 1 碩士期間發(fā)表論文 3 4 致謝 3 5 m 第一章引言弟一早5ii 匯率又稱 外匯行市 或 匯價 是國際貿(mào)易中最重要的調(diào)節(jié)杠桿 一國貨幣兌換 另一國貨幣的比率 是以一種貨幣表示另一種貨幣的價格 由于世界各國貨幣的名稱 不同 幣值不一 所以一國貨幣對其他國家的貨幣要規(guī)定一個兌換率 即匯率 l 匯率對于國際經(jīng)濟和金融市場的影響巨大 基本表現(xiàn)為以下幾方面 1 匯率不穩(wěn) 可能加深國家爭奪銷售市場的斗爭 影響國際貿(mào)易的正常發(fā)展 2 匯率變動會影響某些儲備貨幣的地位和作用 促進國際儲備貨幣多元化的形 成 3 匯率的動蕩加劇了投機和國際金融市場的動蕩 同時又促進了國際金融業(yè)務(wù)的 不斷創(chuàng)新 4 一些主要國家匯率的變化直接影響國際外匯市場上其他貨幣匯率的變化 使國 際金融動蕩不安 5 由于匯率頻繁變動 外匯風(fēng)險增加 外匯投機活動加劇 這就更加劇了國際金融 市場的動蕩 6 匯率的大起大落 尤其是主要儲備貨幣的匯率變動 影響著國際金融市場上的 資本借貸活動 另外 匯率變動對于國內(nèi)經(jīng)濟的影響更是與我們每一個老百姓息息相關(guān) 1 匯率變動對國內(nèi)物價水平的影響 若本國貨幣貶值 一方面導(dǎo)致進口商品價格 的上漲 另一方面由于出口商品的需求增長 導(dǎo)致出口商品的價格上漲 因此 國內(nèi)物 價飛漲 影響人民日常生活水平 2 匯率變動對國民收入 就業(yè)和資源配置的影響 若本國貨幣貶值 則利于出 口限制進口 限制的生產(chǎn)資源轉(zhuǎn)向出口產(chǎn)業(yè) 進口替代產(chǎn)業(yè) 促使國民收入和就業(yè)增 加 由此改變國內(nèi)生產(chǎn)結(jié)構(gòu) 由此看來 不論是對國際金融市場還是國內(nèi)經(jīng)濟而言 對匯率未來走勢的預(yù)測都 起到一定重要作用 有著很大的現(xiàn)實意義 近年來 由于世界金融危機的影響 人們對匯率的波動越來越敏感 各方人士也在 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 積極地尋找各種好的匯率預(yù)測方法 在我國 判斷人民幣匯率走勢 金融業(yè)人士大多 是以考察影響人民幣匯率變動的各種因素的共同作用判斷 另一方面 一些工科背景 的人也逐漸將計量經(jīng)濟學(xué)方法 g a r c h 模型 a r i m a 模型 基于m a r k o v 鏈方法 灰色預(yù)測模型 神經(jīng)網(wǎng)絡(luò) 遺傳算法 小波分析等方法應(yīng)用其上來預(yù)測匯率 2 l o 鑒于支持向量機的提高效率優(yōu)勢及a r 模型很好的自回歸效果 本文將結(jié)合時間 序列中的a r 模型及數(shù)據(jù)挖掘中的支持向量回歸機的方法結(jié)合起來建立回歸模型 預(yù) 測未來匯率 本文首先敘述了時間序列分析方法 著重敘述了a r a u t or e g r e s s i v e 模 型及它的參數(shù)估計和檢驗標準 然后著重敘述了支持向量回歸機 s v r s u p p o r t v e c t o rr e g r e s s i o n 的來由 算法及核函數(shù) 最后結(jié)合a r 模型和支持向量回歸機的 優(yōu)勢 由a r 模型算出回歸階數(shù) 再構(gòu)建支持向量回歸模型 通過上面的a r 模型算法 與s v r 算法結(jié)合的組合算法 利用實際數(shù)據(jù)進行分析驗證 比較匯率預(yù)測結(jié)果與原始 數(shù)據(jù)的差距 在實例驗證的過程中 重點探討支持向量回歸機中的各參數(shù)及核函數(shù)是 如何選取的 這也為大家提供了支持向量機的參數(shù)取值方法 本文選用的人民幣對美元匯率數(shù)據(jù)來源于w i n d 資訊 時間區(qū)間為2 0 0 5 7 1 至j j 2 0 1 0 9 2 0 共1 2 8 0 個數(shù)據(jù) 由于數(shù)據(jù)量比較大 在做支持向量訓(xùn)練時會影響速度 從圖像及原 始數(shù)據(jù)中我們發(fā)現(xiàn) 圖像大致里兩種不同形態(tài) 前半部分呈遞減趨勢 后半部分呈較平 穩(wěn)狀態(tài) 另外 在2 0 0 5 年7 月2 2 日 2 0 0 8 年6 月1 2 日及2 0 1 0 年8 月底到9 月這三個時間點 匯率有突變現(xiàn)象 為了考查這些突變部分進行訓(xùn)練是否會對后面形態(tài)的預(yù)測有影響 因此將數(shù)據(jù)分為兩個部分 各6 4 0 個數(shù)據(jù) 來做 1 2 0 0 5 7 1 到2 0 0 8 2 1 3 2 2 0 0 8 2 1 4 至u 2 0 1 0 9 2 0 每段數(shù)據(jù)前半段訓(xùn)練部分都有一點突變 每個區(qū)間段分別由a r 模型確 定出的回歸階數(shù) 取前3 0 0 組數(shù)據(jù)作為訓(xùn)練集 用支持向量回歸機探討出參數(shù)及核函數(shù) 的選取 并對后組匯率數(shù)據(jù)進行預(yù)測 本文用m a t l a b 進行編程 畫圖 完成實例驗 證 得到匯率預(yù)測結(jié)果與真實值比較 預(yù)測效果令人滿意 在上面實證過程中 我們發(fā) 現(xiàn)對于不同形態(tài)的數(shù)據(jù)集支持向量機中采用的參數(shù)選擇不同 政府或企業(yè)可以采取此 方法進行匯率預(yù)測 提前采取相應(yīng)措施 維護廣大百姓利益或企業(yè)自身利益 2 經(jīng)驗越豐富 模型形式的選擇就越準確合理 2 1 時間序列相關(guān)定義 分 推 中 隨機過程 隨時間由隨機變量組成的一個有序序列稱為隨機過程 用 西 t t 表示 簡記 為 而 或而 時間序列 隨機過程的一次觀測結(jié)果稱為時間序列 時間序列中的元素稱為觀測值 時間序 列也用l x t t t 表示 簡記為 而l 或五 平穩(wěn)的時間序列 平穩(wěn)的時間序列有兩種定義 根據(jù)限制條件的嚴格程度可以分為 1 嚴平穩(wěn)時間序列 s t r i c t l ys t a t i o n a r y 指序列所有的統(tǒng)計性質(zhì)都不隨著時間的推移 而發(fā)生變化 2 寬平穩(wěn)時間序列 w e e ks t a t i o n a r y 指序列的統(tǒng)計性質(zhì)只要保證序列的二階矩平穩(wěn) 就能保證序列的主要性質(zhì)近似穩(wěn)定 協(xié)方差平穩(wěn)過程 c o v a r i a n c es t a t i o n a r yp r o c e s s 如果一個隨機過程x t 滿足下列性質(zhì) 1 均值 e 而 常數(shù) 3 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 2 方差 v a r x c r 2 常數(shù) 3 協(xié)方差 傾 e 似一p m i 一 正 協(xié)方差與時刻t 無關(guān) 只與時間差k 有 關(guān) 則j c f 是協(xié)方差平穩(wěn)過程 也稱寬平穩(wěn)或二階弱平穩(wěn)過程 白噪聲 w h i t en o i s e 過程 它是一種最基本的平穩(wěn)隨機過程 若隨機過程滿足下列條件則稱為白噪聲過程 1 均值為o e e 0 2 方差不變 v a r y c r 2 0 1 則最優(yōu)分類超平面為 曲 s g n w 曲 6 s g n e 咖f x i 曲 礦 上述分劃超平面僅僅依賴于那些相應(yīng)于口 不為0 的訓(xùn)練點 x i y i 因此稱相應(yīng) 于口 非零的訓(xùn)練點的輸入前稱為支持向量 2 近似線性可分問題 對于近似線性可分問題 不能要求所有的訓(xùn)練點都滿足約束條件y i w x i b 1 因此 需對第f 個訓(xùn)練點 而 y f 引入松弛變量芻 0 把約束條件放松 為 f w l 功 b 毒 1 毒 0 f 1 l 顯然向量f g l 豪 體現(xiàn)了允許訓(xùn)練集 被錯化的情況 可以采用 豪作為一種度量 描述訓(xùn)練集被錯化的程度 這樣 現(xiàn)在就 f l 有兩個目標 仍希望間隔志盡可能大 同時希望錯化程度 蚤盡可能小 為把這兩 w 一t 個目標綜合為一個目標 可以引進一個懲罰參數(shù)c 作為綜合這兩個目標的權(quán)重 即極 小化新的目標函數(shù)毒l l w l l 2 cy 翕 最大間隔分類問題歸結(jié)為如下二次規(guī)劃問題 8 回歸機的匯率預(yù)測 s t y i o z i 0 i l 0s 口jsc i 1 l 其中鉚是每個樣本對應(yīng)的l a g r a n g e 乘子 若口 嘶 是上述最優(yōu)化問題的 解 則決策函數(shù)為 八力 s g n w 神 b s g n r t y i x i 曲 b t 1 其中b y j 一圣y i o t v j 1 i 嘭 0 1 這樣 我們就求得了近似線性可分情況下的最 優(yōu)分類面 3 線性不可分問題 對于線性不可分問題 通常采用合適的核函數(shù)k 將高維空間不可分的樣本 集轉(zhuǎn)為另一個高維線性可分情況 算法如下 算法2d 5 支持向量分類機 s v m 1 設(shè)已知訓(xùn)練集t x l y 1 m c x 其中而 xc 殿 y f y i i l i i z 2 選擇核函數(shù)k 和懲罰參數(shù)c 構(gòu)造并求解最優(yōu)化問題 叩2 砷i f f i l j ly i y j 0 4 0 j k x i x j 薈叼 墨 t y i o l i2 0 0so i ci 1 得最優(yōu)解礦 沁 昕 7 3 選擇礦的一個小于c 的正分量哆 并據(jù)此計算礦 一淵y i a i v j i 哆 0 l 9 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 j 4 求得決策函數(shù) 曲 s g n 扭z l 口 y f 足 麓 曲 擴 3 2回歸問題 口 回歸問題 回歸問題與分類問題相似 它也是已知一個訓(xùn)練集 設(shè)此訓(xùn)練集為t x n y s 鋤 y 1 lc o 此處的輸出y i 并不限定取一1 或i 而是可取任意 實數(shù) 尋找彤上的一個實值函數(shù)似 以便用y 廠 勸來推斷任一模式x 所對應(yīng) 的y 值 1 線性回歸問題 考慮線性回歸問題 就是尋找一個線性函數(shù)y 曲 w 曲 b 它與訓(xùn)練點偏離 較小 為了將回歸問題轉(zhuǎn)化為分類問題 必須引用 帶和8 帶超平面的概念 定義1 超平面的s 帶 設(shè)s 0 一個超平面y 似 力 6 的g 一帶是指該超平面沿y 軸依次上下平移g 所 掃過的區(qū)域 定義2 硬8 帶超平面 設(shè)定訓(xùn)練集t 工i y 1 x l y lc x 其中x i x 科 y f y r f 1 厶并給定 0 稱一個超平面y w 曲 b 為對于訓(xùn)練集丁的硬s 帶超平 面 如果該超平面的 帶包含了訓(xùn)練集丁中所有的訓(xùn)練點 即超平面y w 工 b 滿 足一8 y t 一 w x a 4 功s 島f 1 z 在此基礎(chǔ)上 有這樣一種想法 對于某個訓(xùn)練集r 來說 如果存在硬s 帶超平 面 而且8 又比較小時 那么選擇硬s 帶超平面作為回歸問題的解 應(yīng)該是一個合理 的選擇 2 線性回歸問題轉(zhuǎn)化為分類問題 要將回歸問題轉(zhuǎn)化為分類問題 首先從給定的訓(xùn)練集丁出發(fā)構(gòu)造兩類點 具體做 法是將訓(xùn)練集r 的每一個訓(xùn)練點的y 值分別增加s 和減少s 得到正類點和負類點兩 個集合 分別記為d 和d 一 即 d y t 曲r f i 璣 d 一蘭 彳 y i 一功r f 1 饑 1 0 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 這樣就形成了一個對正負兩類點進行線性分類問題 因此 我們可以利用線性支持向 量分類機得到硬s 帶超平面實用回歸算法 3 近似線性回歸問題 對于由訓(xùn)練點集構(gòu)造出的正負類點集d 和d 一的凸殼相交情況 我們可以采用 同近似線性可分問題類似方法 選擇適當?shù)膽土P參數(shù)c 0 得到以下回歸算法 算法3 推廣的硬s 帶超平面實用回歸算法 1 設(shè)已知訓(xùn)練集t i 工l y 1 x t y 1 jc x y 其中而 xcf y i y r i 1 z 2 選擇適當?shù)膮?shù)c 0 構(gòu)造并求解最優(yōu)化問題 2 1 2 1 2 1 哩n 圭善善鈞 呀 y f z f 功r 巧 糾r 一善即 s t z i o f i2 0 0 口f gi 1 2 z 其中當i 1 l 時 z i l 當i z 1 2 1 時 z 1 得最優(yōu)解口 t r y r 3 計算當 w 礦 r 蘭z 夠 m z d r 選擇礦的一個小于c 的正分量嘭 并 據(jù)此計算擴 刁一莖乙a t x r y l z 聲 r 巧 勺功r 4 構(gòu)鎏分劃超平面 w x r l y b 0 并由此求得線性回歸函數(shù)y w 工 易 其 中w 一要 6 一簍 口 r l 礦 一 3 3 支持向量回歸機 對于非線性回歸問題 我們可以先轉(zhuǎn)化為分類問題 同不可分問題一樣 引入核函 數(shù)k x 把問題轉(zhuǎn)換為高維空間 h i l b e r t 空間 中的線性回歸問題 最終的 支持 向量回歸機算法如下 算法4 1 5 1 s 支持向量回歸機一s s v r 1 設(shè)已知訓(xùn)練集t 確 y i 抑 姐 c x 叫 其中而 xc 彤 y f yc r i i z 2 選擇適當?shù)恼龜?shù)s c 選擇適當?shù)暮撕瘮?shù)k x 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 3 構(gòu)造并求解最優(yōu)化問題 癟三薈 西一口f 哆一叼擻墨m s 善 醇 口f 善y 婀 口 s t f o t i 一口 0 0 口 sc f 1 l 得到最優(yōu)解廳 覷 黿 西 田 4 構(gòu)造決策函數(shù)八力 主 霹一a i k x f 力 占 其中占按下式計算 選擇位于開 區(qū)間 0 o 中的而或袁 若選到的是a j 則占 一窆 需一西 圖阮 刁 s 若選到的 是砬 則5 姒一 司一廳f 置 一s 口 關(guān)于s 支持向量回歸機中的稀疏性的證明在此就不過多討論 可見參考文獻 1 5 3 4 幾種常用的核函數(shù)形式 核函數(shù)必須滿足m e r c e r 條件 1 5 目前 比較常用的核函數(shù)有些列幾種c 2 3 2 6 1 1 線性核函數(shù) k u d 2 二次核函數(shù) k u d h v 1 3 多項式核函數(shù) k u v 4 c d 其中c 為常數(shù) d 為多項式階數(shù) 4 高斯徑向核函數(shù) 即r b f 核函數(shù) 地 v e x p f 一譬 其中i l u v l l 為兩個向量之間的距離 礦為常數(shù) 5 多層感知器核函數(shù) 1 1 1 s i g m o i d 核函數(shù) k u t a n h s c a l e 比 l 一o f f s e o 其中 s c a l e 和o f f s e t 是尺度和衰減參數(shù) 1 2 練集 訓(xùn)練部分 訓(xùn)練集輸入一訓(xùn)練集輸出 y l 7 2 h y 2 3 y n l y m l y m 棚一1 一 l k 2 蜘棚 測試部分 測試集輸入一預(yù)測值 l y m 2 y m n一如 m l y m 2 y m 3 棚 l一 棚 2 坩叫 期州 i y 一1 y s 4 利用一些評估標準確定s v r 模型中的參數(shù) c 及核函數(shù)類型 5 將訓(xùn)練集輸入和輸出部分代入支持向量回歸機訓(xùn)練 得到回歸函數(shù) 6 將測試集輸入部分代入回歸函數(shù) 得到預(yù)測值 7 將預(yù)測值與真實值進行比較 畫出圖像 2 評估標準 1 3 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 對于s v r 模型預(yù)測出來的結(jié)果要進行評估 看s v r 模型中的參數(shù)占和c 的取值 是否合理 根據(jù)統(tǒng)計中回歸評價知識 本文中選取最常見的幾種統(tǒng)計量 i 絕對偏差均值m a d m e a na b s o l u t ed e v i a t i o n 脅一兜i m a d 生 咒 2 均方誤差估計m se m e a ns q u a r ee r r o r f 一夕f 2 m s e l 三 l 3 回歸模型的決定系數(shù)r 2 舭一負 2 r 2 1 一掣 一 n o f 一刃2 其中 愀 為實際匯率一階對數(shù)差分序列 負 為預(yù)測的匯率一階對數(shù)差分序 列 夕為 y f 的均值 一為預(yù)測數(shù)據(jù)個數(shù) 以上三種變量 m a d m s e 越小 決定系 數(shù)肛越接近于0 說明模型預(yù)測的精確度越高 4 2 數(shù)據(jù)來源與處理 l 數(shù)據(jù)來源 本文選用的人民幣對美元匯率數(shù)據(jù)來源于w i n d 資訊 時間區(qū)間為2 0 0 5 7 1 至u 2 0 1 0 9 2 0 共1 2 8 0 個數(shù)據(jù) 由于數(shù)據(jù)量比較大 在做支持向量訓(xùn)練時會影響速度 從圖像 如 圖1 及原始數(shù)據(jù)中我們發(fā)現(xiàn) 圖像大致呈兩種不同形態(tài) 前半部分呈遞減趨勢 后半 部分呈較平穩(wěn)狀態(tài) 另外 在2 0 0 5 年7 月2 2 日 2 0 0 8 年6 月1 2 日及2 0 1 0 年8 月底至l j 9 a j 這 三個時間點匯率有突變現(xiàn)象 為了考查這些突變部分進行訓(xùn)練是否會對后面形態(tài)的 預(yù)測有影響 因此將數(shù)據(jù)分為兩個部分 各6 4 0 個數(shù)據(jù) 來做 1 2 0 0 5 7 一l 到2 0 0 8 2 1 3 2 2 0 0 8 2 1 4 至u 2 0 1 0 9 2 0 每段數(shù)據(jù)前半段訓(xùn)練部分都有一點突變 1 4 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 圖1 人民幣兌美元日匯率 2 數(shù)據(jù)處理 我們在此用通用的方法 對數(shù)差分處理 公式為 l g y l 1 0 9 y t l o g y t l l o g 1 普 普 設(shè) e 1 0 0 x 1 0 9 y 一l o g y t i 其中 協(xié) 為原始匯率序列 l 匕 為匯率自然對數(shù)一階差分序列 即匯率的日增長率序 列 采用百分比的形式 用支持向量回歸機做完預(yù)測后 再用下面的公式將預(yù)測的匯率 增長率轉(zhuǎn)換為匯率形式 y t e r 啪 y t l e x p y d l 0 0 y t 1 用上述方法將數(shù)據(jù)處理后 重新用m a t l a b 作圖 如圖2 從圖中也可以看出此序列 為平穩(wěn)序列 圖2 日匯率的對數(shù)差分序列 1 5 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 4 3 a r 模型定自回歸階數(shù) 利用m a t l a b 中的a r n 模型參數(shù)估計函數(shù)1 1 1 a r y n 和f p e 準則函數(shù)f p f p e m o d e l l m o d e l 2 m o d e l 3 列舉階數(shù) l 從l 至u 2 0 求出使得r 悒準則函數(shù)值最小的 最優(yōu)自回歸階數(shù)咒 如下表 a 2 0 0 5 7 1 2 0 0 8 2 13 b 2 0 0 8 2 13 2 0 10 9 2 0 nf p ef p e 1o 0 1 6 1 6 40 0 0 9 1 4 1 8 20 0 1 6 3 2 50 0 0 9 1 3 1 8 3 o 0 1 6 4 8 50 0 0 8 8 5 2 6 40 0 1 6 6 3 7 0 0 0 8 8 5 2 50 0 1 6 8 0 10 0 0 8 7 8 2 3 60 0 1 6 9 6 90 0 0 8 8 6 7 4 70 0 1 7 1 3 60 0 0 8 8 5 6 2 8o 0 1 7 3 0 40 0 0 8 6 7 8 6 90 0 1 7 4 6 50 0 0 8 7 6 4 3 1 00 0 1 7 6 4 30 0 0 8 4 6 8 3 1 1 0 0 17 8 0 10 0 0 8 3 2 5 3 1 20 0 1 7 9 810 0 0 8 2 8 0 8 1 30 0 1 8 1 6 20 0 0 8 11 3 1 1 40 0 18 3 2 40 0 0 81 6 0 7 1 50 0 0 2 7 0 6 60 0 0 8 1 8 7 5 1 60 0 0 2 7 2 4 50 0 0 8 2 2 71 1 70 0 0 2 7 4 50 0 0 8 2 7 5 3 1 80 0 0 2 7 7 1 50 0 0 8 3 2 2 9 1 90 0 0 2 7 9 8 80 0 0 8 2 6 0 9 2 00 0 0 2 7 8 5 7o 0 0 8 1 3 7 3 m i n f p e 0 0 0 2 7 0 6 60 0 0 8 11 3 1 萬 1 5 1 3 1 6 圖3 模型的極點i t 2 0 0 5 7 1 2 0 0 8 2 1 3 對于數(shù)據(jù)組 b 2 0 0 8 2 1 3 2 0 1 0 9 2 0 取前3 0 0 個數(shù)據(jù)作為訓(xùn)練集 算出結(jié)果n 1 3 如圖4 極點都在單位圓內(nèi) 說明此階數(shù)對應(yīng)的自回歸模型是穩(wěn)定的 圖4 模型的極點圖 2 0 0 8 2 1 3 2 0 1 0 9 2 0 4 4 s v r 模型對參數(shù)s c 及核函數(shù)的選取 1 s v r 模型對于參數(shù)s 的敏感性 在數(shù)據(jù)組 a 中 固定c 1 0 0 根據(jù)原數(shù)據(jù)函數(shù)圖像類似于線性回歸 在此取 定核函數(shù)為線性核函數(shù) 運用上面的a r 模型和s v r 模型建立預(yù)測模型 取s 1 7 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 o 0 0 0 1 2 1 中5 0 個數(shù)據(jù) 對不同的參數(shù)s 所產(chǎn)生的支持向量個數(shù)及上面評價標準作 圖比較 如圖5 圖6 圖7 圖8 可以看出 當8 0 1 時支持向量的個數(shù)比較理想 且 因此對于數(shù)據(jù) 華 函 測 面 數(shù) 組 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 線性回歸 在此取 預(yù)測模型 取c 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 0 0 0 1 1 0 0 0 0 中7 0 個數(shù)據(jù) 對不同的參數(shù)c 所產(chǎn)生的支持向量個數(shù)及上面評價標準作 圖比較 如圖1 3 圖1 4 圖1 5 圖1 6 可以看出 取c 0 0 0 1 1 0 0 0 0 0 7 0 個數(shù)據(jù) 此模 型對參數(shù)c 在區(qū)間 0 0 0 1 1 0 0 0 0 中選取基本無影響 因此對于數(shù)據(jù)組 a 我們最終 的匯率預(yù)測模型選取參數(shù)c 1 0 0 圖1 3 a 組支持向量個數(shù)與c 圖1 4 a 組m a d 與c 圖1 5 a 組m s e 與c 2 l 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 圖1 6 a 組尺2 與c 在數(shù)據(jù)組 b 中 固定s 0 2 根據(jù)原數(shù)據(jù)函數(shù)圖像類似于二次回歸或多項式函 數(shù)回歸 在此取定核函數(shù)為二次核函數(shù) 運用上面的a r 模型和s v r 模型建立預(yù)測模 型 取c 0 0 0 1 1 0 0 0 0 中7 0 個數(shù)據(jù) 對不同的參數(shù)c 所產(chǎn)生的支持向量個數(shù)及上面 評價標準作圖比較 如圖1 7 圖1 8 圖1 9 圖2 0 可以看出 取c 0 0 0 1 1 0 0 0 0 中7 0 個 數(shù)據(jù) 此模型對參數(shù)c 在區(qū)間 0 0 0 1 1 0 0 0 0 中選取基本無影響 因此對于數(shù)據(jù) 組 b 我們最終的匯率預(yù)測模型選取參數(shù)c 1 0 0 圖1 7 c o 組支持向量個數(shù)與c 圖1 8 c o 組m a d 與c 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 圖1 9 b 組m s e 與c 圖2 0 b 組r 2 與c 3 s v r 中核函數(shù)的選取 根據(jù)上面參數(shù)s 和參數(shù)c 對模型敏感度的分析 我們固定數(shù)據(jù)組 a 中s v r 模 型的s 0 1 c 1 0 0 固定數(shù)據(jù)組 b 中s v r 模型的8 0 2 c 1 0 0 分別采用線 性核函數(shù) l i n e a r 二次核函數(shù) q p o l y 多項式核函數(shù) p o l y 高斯徑向基核函 數(shù) r b f 多層感知器核函數(shù) s i g m o i d 對數(shù)據(jù)組 a b 的訓(xùn)練集分別進行建 模 統(tǒng)計它們的評價標準如下表 數(shù)據(jù)組指標核函數(shù) l i n e a r q p o l y p o l y r b f s i g m o i d m a d0 0 7 9 20 0 8 0 9 0 0 8 0 6 0 0 7 9 51 0 0 1 1 a m se 0 0 1 0 7o 0 1 1 2o 0 1 1 30 0 1 0 81 0 1 2 5 尺2 0 0 3 3 3 0 0 7 9 5 0 0 8 9 7 o 0 4 2 5 9 6 7 4 3 2 支持向量個數(shù) 6 86 56 37 17 4 2 2 7 2 1 7 2 1 o 2 3 7 2 4 7 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 m a d 0 0 3 6 1 0 0 2 3 5 0 0 2 5 60 0 2 8 35 6 2 2 8 b m se0 0 0 3 50 0 0 3 10 0 0 3 20 0 0 3 23 1 6 1 8 6 尺2 0 0 9 60 0 0 3 4 0 0 2 5 0 0 0 4 3 1 0 0 1 0 3 支持向量個數(shù) 6 2 5 54 85 76 1 2 0 7 1 8 3 1 6 o 1 9 o 2 0 3 從上表可看出 前四種核函數(shù)對s v r 的效果差距不是很大 但s i g m o i d 核函數(shù) 對此模型預(yù)測效果很差 可以看出在數(shù)據(jù)組 a 2 0 0 5 7 1 2 0 0 8 2 1 3 中 線性核函數(shù)似 乎最好 而在數(shù)據(jù)組 b 2 0 0 8 2 1 3 2 0 1 0 9 2 0 中 二次核函數(shù)效果最好 相對于數(shù)據(jù) 組 a 數(shù)據(jù)組 b 預(yù)測的效果更好 這與數(shù)據(jù)組 a b 本身的特性有一定的關(guān)系 數(shù) 據(jù)組 a 的原始圖像成逐漸下降趨勢 類似于線性回歸 而數(shù)據(jù)組 b 的原始圖像有些 震蕩 類似于二次核函數(shù)或多項式核函數(shù) 另外 我們從上表中看出 挑選出的支持向量只有原向量集的2 0 大大減少了計 算量 提高運行速度 這也正是支持向量機優(yōu)勢所在 4 5 實證研究真實值與預(yù)測值比較 根據(jù)以上對參數(shù)s c 敏感性分析及核函數(shù)選取的比較 我們將最終的預(yù)測模型參 數(shù)規(guī)定為 1 數(shù)據(jù)組 a 2 0 0 5 712 0 0 8 2 1 3 8 0 1 c 1 0 0 核函數(shù)為線性核函數(shù) l i n e a r 經(jīng)過a r 模型定自回歸階數(shù) s v r 模型訓(xùn)練測試后得到的預(yù)測值與真實值對比 圖如下 圖2 1 a 組預(yù)測值與真實值對比圖 2 4 2 數(shù)據(jù)組 b 2 0 0 8 2 1 4 2 0 1 0 9 2 0 s 0 2 c 1 0 0 核函數(shù)為二次核函數(shù) q p o l y 經(jīng) 過a r 模型定自回歸階數(shù) s v r 模型訓(xùn)練測試后得到的預(yù)測值與真實值對比圖如下 圖2 3 b 組預(yù)測值與真實值對比圖 計算出的m a d 0 0 2 3 4 5 8 m se 0 0 0 31 4 7 r 2 0 0 0 3 4 2 5 放大其中一段圖像 如圖2 4 可以看出預(yù)測值與真實值之間有一定的誤差 但誤差 不大 華東師范大學(xué)基于支持向量回歸機的匯率預(yù)測 圖2 4 綜合上述 從圖像預(yù)測結(jié)果對比來看 基于支持向量回歸機 s v r 的匯率預(yù)測模 型效果比較佳 預(yù)測值與真實值的擬和程度很好 我們也可以參照其他一些方法 小波分析法 b p 網(wǎng)絡(luò)法等 見參考文獻 3 1 0 1 比較其他方法與本文采用的a r s v r 方法所預(yù)測結(jié)果的統(tǒng)計量如下表 a r s v r小波分析法b p 網(wǎng)絡(luò)法a r m a d0 0 2 3 4 5 8o 3 1 2 8 m se0 0 0 3 1 4 7o 1 9 5 3 6 40 0 5 10 0 8 5 從上表比較中我們可以看出 本文中將自回歸模型與支持向量回歸機結(jié)合以 及s v r 參數(shù)選取方法都較有效 從上面建模的過程我們可以看出 對于同組數(shù)據(jù)不同時段 不同特性的數(shù) 據(jù) a r 模型選擇的自回歸階數(shù)可能不同 在s v r 模型中需要選取不同的核函數(shù) 不同 的參數(shù)8 和參數(shù)c 具體情況具體定 4 6s v r 參數(shù)選取的改進 以上模型中 s v r 中的參數(shù)8 c 及核函數(shù)的選取是逐步進行的 下面我們將這三個 參數(shù)控制在一定范圍內(nèi) 同步進行選取比較 根據(jù)經(jīng)驗數(shù)據(jù) 選取s 0 0 1 0 1 0 2 0 5 c 5 0 1 0 0 2 0 0 3 0 0 核函數(shù)取 l i n e a r q p o l y p o l y r b f s i g m o i d 用 a 組數(shù)據(jù)進 行預(yù)測 得下列表 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 k e r l i n e a r 0 0 1s 0 1s 0 2 0 5 c 5 0m a d0 0 7 9 6 0 0 7 9 20 0 7 7 40 2 6 0 7 m se0 0 1 0 8 0 2 0 0 1 0 7 0 40 0 1 0 3 8 50 0 7 7 7 6 4 r 2 o 0 4 2 8 5 7 0 0 3 3 31 7 0 0 0 2 5 3 8 3 6 5 0 7 3 c 1 0 0m a d0 0 7 9 6 0 0 7 9 20 0 7 7 4o 2 6 0 7 m se0 0 1 0 8 0 20 0 1 0 7 0 40 0 1 0 3 8 50 0 7 7 7 6 4 尺2 o 0 4 2 8 5 7 0 0 3 3 31 7 0 0 0 2 5 3 8 3 6 5 0 7 3 c 2 0 0m a d0 0 7 9 5 7 2 0 0 7 9 1 5 20 0 7 7 4 3 5 o 2 6 0 7 3 m se0 0 1 0 8 0 2 o 0 1 0 7 0 40 0 1 0 3 8 5o 0 7 7 7 6 4 尺2 o 0 4 2 8 5 7 0 0 3 3 31 7 0 0 0 2 5 3 8 3 6 5 0 7 3 c 3 0 0m a d0 0 7 9 5 7 2 0 0 7 9 1 5 20 0 7 7 4 3 5 0 2 6 0 7 3 m se0 0 1 0 8 0 2 o 0 1 0 7 0 40 0 1 0 3 8 50 0 7 7 7 6 4 尺2 o 0 4 2 8 5 7 0 0 3 3 31 7 0 0 0 2 5 3 8 3 6 5 0 7 3 k e r q p o l y s 0 0 1 0 1 s 0 2s 0 5 c 5 0m a do 0 81 0 8 6 0 0 81 0 8 60 0 81 0 8 60 0 8 1 0 8 6 m seo 0 1 1 2 2 7 o 0 11 2 2 7 o 0 11 2 2 7o 0 11 2 2 7 尺2 0 0 8 3 8 1 9 0 0 8 3 81 9 0 0 8 3 8 1 9 0 0 8 3 8 1 9 c 1 0 0m a d0 0 81 0 8 6 0 0 81 0 8 6 0 0 81 0 8 60 0 81 0 8 6 m seo 0 11 2 2 7 o 0 11 2 2 7 o 0 11 2 2 7o 0 11 2 2 7 r 2 0 0 8 3 8 1 9 0 0 8 3 81 9 0 0 8 3 8 1 9 0 0 8 3 8 1 9 c 2 0 0m a do 0 81 0 8 6 o 0 81 0 8 6 0 0 81 0 8 60 0 81 0 8 6 m seo 0 11 2 2 7 o 0 11 2 2 7o 0 11 2 2 70 0 11 2 2 7 尺2 0 0 8 3 81 9 0 0 8 3 8 1 9 0 0 8 3 8 1 9 0 0 8 3 81 9 c 3 0 0m a d0 0 81 0 8 6 0 0 81 0 8 6o 0 81 0 8 6 0 0 8 1 0 8 6 m seo 0 11 2 2 7 o 0 11 2 2 70 0 11 2 2 7 o 0 11 2 2 7 尺2 0 0 8 3 81 9 0 0 8 3 8 1 9 0 0 8 3 81 9 0 0 8 3 81 9 華東師范大學(xué) 基于支持向量回歸機的匯率預(yù)測 k e r p o l y e 0 0 1s 0 1 s 0 28 0 5 c 5 0m a d0 0 8 1 8 3 7o 0 8 1 8 3 7 o 0 8 1 8 3 7 o 0 8 1 8 3 7 m se0 0 11 4 2 2o 0 11 4 2 2o 0 11 4 2 2o 0 11 4 2 2 r 2 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 c 1 0 0m a d0 0 8 1 8 3 70 0 8 1 8 3 7 0 0 8 1 8 3 7 o 0 81 8 3 7 m seo 0 11 4 2 2o 0 11 4 2 2o 0 11 4 2 2o 0 11 4 2 2 r 2 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 c 2 0 0m a do 0 8 1 8 3 7 o 0 81 8 3 7o 0 81 8 3 70 0 8 1 8 3 7 m seo 0 11 4 2 2o 0 11 4 2 2o 0 11 4 2 2 o 0 11 4 2 2 尺2 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 c 3 0 0m a d0 0 8 1 8 3 70 0 8 1 8 3 7 0 0 8 1 8 3 7 0 0 8 1 8 3 7 m seo 0 11 4 2 20 0 11 4 2 20 0 11 4 2 2o 0 11 4 2 2 尺2 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 0 1 0 2 6 5 k e r r b f 0 0 1s 0 1 s 0 2s 0 5 c 5 0m a d0 0 8 5 9 6 4 0 0 8 5 9 6 40 0 8 5 9 6 40 0 8 5 9 6 4 m se0 0 1 2 5 3 70 0 1 2 5 3 70 0 1 2 5 3 7 0 0 12 5 3 7 r 2 0 2 1 0 3 6 0 2 1 0 3 6 0 2 1 0 3 6 0 2 1 0 3 6 c 1 0 0m a do 0 8 5 9 6 4 0