混沌時間序列預(yù)測模型參數(shù)優(yōu)化方法

混沌時間序列預(yù)測模型參數(shù)優(yōu)化方法

1svm參數(shù)選擇采用混合時間序列預(yù)測方法，發(fā)展了一套非線性預(yù)測方法，廣泛應(yīng)用于預(yù)測天然氣帶、電力負(fù)荷預(yù)測、股票預(yù)測等領(lǐng)域?；煦鐣r間序列預(yù)測模型的構(gòu)造包括兩個關(guān)鍵步驟:一是混沌時間序列的相空重構(gòu)中最佳時間延遲τ和嵌入維m的確定;二是預(yù)測模型及其參數(shù)選擇。許多研究表明,時間延遲τ和嵌入維m之間存在著較強的關(guān)聯(lián)性,目前有自相關(guān)聯(lián)函數(shù)法、時間窗重構(gòu)法和時間窗口法等選擇方法,這些方法性能的優(yōu)劣因數(shù)據(jù)不同而異,而且判斷標(biāo)準(zhǔn)具一定隨意性,所以,目前還缺乏一種通用性強的最佳τ和m確定方法。最佳時間延遲τ和嵌入維m確定后,接下來就是預(yù)測模型的選擇。支持向量機(supportvectormachine,SVM)是一種基于基于結(jié)構(gòu)風(fēng)險最小化原則新的機器學(xué)習(xí)方法,目前已經(jīng)廣泛運用于混沌時間序列分析與預(yù)測中。SVM在實際應(yīng)用過程中,其學(xué)習(xí)性能和泛化能力取決于其參數(shù)的合理選擇,目前SVM參數(shù)優(yōu)化方法主要有梯度下降算法、遺傳算法(geneticalgorithm,GA)和粒子群優(yōu)化(particleswarmoptimization,PSO)算法等,梯度下降算法搜索速度慢、運算量大、耗內(nèi)存多,搜索具有一定的盲目性,得到的參數(shù)并不一定最優(yōu);遺傳算法操作往往比較復(fù)雜,對不同的優(yōu)化問題需要設(shè)計不同的交叉或變異概率,得到結(jié)果一般都是次優(yōu)而不是最優(yōu);同時遺傳算法和粒子群優(yōu)化算法都易出現(xiàn)早熟現(xiàn)象,極易局陷入局部最優(yōu)。由于SVM參數(shù)選擇目前尚無統(tǒng)一的模型選取標(biāo)準(zhǔn)和理論指導(dǎo)及具體研究對象特性的差異,目前尚未有一種通用參數(shù)選擇法則可供參考,SVM參數(shù)的選擇是一個尚待解決的公開難題。針對混沌時間序列預(yù)測模型的參數(shù)尋優(yōu)難題,本文提出了一種基于遺傳算法計的支持向量機混沌時間序列預(yù)測模型參數(shù)聯(lián)合尋優(yōu)(geneticalgorithmsupportvectormachine,GASVM)的方法,并以經(jīng)典時間序列Mackey-Glass對GASVM方法進行驗證性分析,驗證該算法的有效性和優(yōu)越性。2相空間延遲的選取采用徑向基核函數(shù)的SVM的混沌時間序列預(yù)測建模過程需要優(yōu)化的參數(shù)有:懲罰參數(shù)C、徑向基核函數(shù)寬度σ、嵌入維數(shù)m、時間延遲τ和滾動時間窗長度windows。1)在對混沌時間序列進行建模預(yù)測時,最關(guān)鍵一步就是相空間重構(gòu)。因為其重構(gòu)的質(zhì)量會直接影響到模型的建立與預(yù)測,相空間重構(gòu)涉及到嵌入維m和時間延遲τ的選取,實驗研究表明,如果τ選取太小,相空間中的相鄰延遲坐標(biāo)元素差別太小,出現(xiàn)信息冗余;如果τ太大,相鄰延遲坐標(biāo)元素不相關(guān),則信息丟失,信號軌跡就會出現(xiàn)折疊現(xiàn)象。同時,如果m太小,不足以展示復(fù)雜行為的細(xì)致結(jié)構(gòu);而m太大,則會使計算工作大大復(fù)雜化,同時隨之而引起的噪聲影響,所以m與τ的正確選取對混沌時間序列分析有著十分重要的意義。2)懲罰參數(shù)C。懲罰參數(shù)C用于控制模型訓(xùn)練誤差和模型復(fù)雜度之間取一個折衷,即控制回歸模型的魯棒性。懲罰參數(shù)C的取值過小,易出現(xiàn)欠學(xué)習(xí)現(xiàn)象,取值過大,又會出現(xiàn)過學(xué)習(xí)現(xiàn)象,C取值范圍一般為。3)徑向基核數(shù)的寬度σ。徑向基核數(shù)的寬度σ精確定義了高維特征空間的結(jié)構(gòu),σ因而控制了最終解的復(fù)雜性。核參數(shù)σ的取值過小時,易出現(xiàn)過學(xué)習(xí)現(xiàn)象,而σ的值過大,又會出現(xiàn)欠學(xué)習(xí)現(xiàn)象,σ取值范圍一般為[0.1,10000]。3基于遺傳算法的尋優(yōu)在混沌時間序列預(yù)測過程中,支持向量機模型預(yù)測精度與C、σ、τ和m均存在一定的關(guān)系,為了獲取最佳預(yù)測性能的SVM模型,需要選擇最佳的C、σ、τ和m值,顯然這是一個組合優(yōu)化問題,如果采取窮舉的方式搜索最優(yōu)值,計算量將十分巨大以至于無法實現(xiàn)。遺傳算法(GeneticAlgorithm,GA)利用生物遺傳學(xué)的觀點,結(jié)合了適者生存和隨機信息交換的思想,通過自然選擇、交換、變異等作用機制,實現(xiàn)種群的進化。在尋優(yōu)過程中,GA在解空間隨機產(chǎn)生多個起始點并同時開始搜索,由適應(yīng)度函數(shù)來指導(dǎo)搜索方向。GA是一種能夠在復(fù)雜搜索空間快速尋求全局優(yōu)化解的搜索技術(shù),有隱含的并行性和強大全局搜索能力,可以在很短的時間內(nèi)搜索到全局最優(yōu)點。因此本文采用GA來對混沌時間序列預(yù)測模型參數(shù)進行聯(lián)合優(yōu)化。3.1染色體的功能染色體采用一個二進制編碼方式,由于本文選擇RBF核函數(shù)作為支持向量機的核函數(shù),所以粒子包括四部分:C、σ、τ和m,如圖1所示。染色體的前nτ位代表時間延遲τ,中間nm位表示嵌入維m,中間nc位代表參數(shù)C,最后nσ位代表參數(shù)σ。染色體中的各位串可以通過式(10)轉(zhuǎn)換為十進制表示的實際參數(shù)。其中,p表示參數(shù)的十進制值,minp表示參數(shù)的最小值,maxp表示參數(shù)的最大值,l表示參數(shù)的二進制位串長度,d表示參數(shù)的二進制位串的十進制值。3.2模型預(yù)測精度影響SVM預(yù)測精度在一定程度上反映預(yù)測模型的推廣能力和分類能力,如果一組參數(shù)能夠使預(yù)測模型產(chǎn)生的預(yù)測精度越高,誤差越小,它的適應(yīng)值就應(yīng)該越高。評價各粒子適應(yīng)度函數(shù)f(x),定義訓(xùn)練樣本的均方誤差為:從式(2)可知,適應(yīng)度函數(shù)f(x)越小,適應(yīng)能力越強,適應(yīng)度函數(shù)可定義為:3.3個體適應(yīng)度的計算采用基于適應(yīng)度比例選擇及最佳個體保持的選擇策略。假定個體xi的適應(yīng)度為f(xi),則其被選擇的概率pst為:其中,∑f(xj)為群體中的個體適應(yīng)度的總和。這里采用賭輪選擇方式按照概率psi選擇個體xi。2修正策略采用交叉概率Pc進行染色體交叉。交叉方法為部分匹配交叉策略的修正策略,即在染色體的4段上分別選擇4個交叉點,然后與另外一條染色體逐段采用部分匹配交叉策略,交叉完畢后,對生成的子代檢驗其是否在變量取值范圍內(nèi),如不滿足則重新進行交叉。3染色體上的變異采用pm的概率進行染色體變異。隨機選取染色體上的一位,將其按照0→1,1→0的規(guī)則進行變異。然后檢驗變異后染色體是否在變量取值范圍內(nèi),如不滿足則重新進行變異;3.4實時、穩(wěn)定的動態(tài)海蘭方法在我國的應(yīng)用首先,將GA產(chǎn)生初始種群作為預(yù)測模型的參數(shù),包括C、σ、τ和m,利用這些參數(shù)進行相空間重構(gòu)和SVM模型訓(xùn)練和測試,返回一系列測試誤差MSE,然后計算相應(yīng)的GA適應(yīng)度(這里適應(yīng)度函數(shù)直接取MSE值)。通過遺傳、交叉、變異等操作,產(chǎn)生下一代參數(shù)種群,再利用該子代種群進行上述操作,直到滿足GA停止的條件。并將得到的最優(yōu)參數(shù)進行建模預(yù)測。具體為:1)迭代次數(shù)t=0;2)初始化種群。采用均勻設(shè)計來產(chǎn)生初始種群,生成規(guī)模Npop的初始種群Rgen。3)根據(jù)染色體編碼方案將每個染色體的二進制表達式轉(zhuǎn)化為實際參數(shù),根據(jù)m、τ重構(gòu)時間序列數(shù)據(jù),然后LIBSVM根據(jù)參數(shù)C和γ算法進行學(xué)習(xí)和訓(xùn)練,測試并記錄預(yù)測精度,并計算每個個體的適應(yīng)度值;4)若種群中最優(yōu)個體所對應(yīng)的適應(yīng)度函數(shù)值滿足要求或達到設(shè)定的迭代次數(shù),則轉(zhuǎn)到步驟7);6)應(yīng)用選擇、交叉以及變異算子產(chǎn)生新的種群,之后轉(zhuǎn)到步驟3);7)返回當(dāng)前最優(yōu)m、τ、C、σ和預(yù)測精度,并用重構(gòu)訓(xùn)練數(shù)據(jù)集以獲得最佳回歸模型。具體流程如圖2所示。4模擬研究4.1混沌時間序列首先對經(jīng)典混沌時間序列Mackey-Glass進行仿真實例,以驗證本文提出方法的有效性。Mackey-Glass混沌時間序列定義如下:其中,Δ為時滯參數(shù),當(dāng)Δ≥17時呈現(xiàn)混沌性,且Δ值越高,混沌程度越高,并具分形維數(shù)近似為2.1的奇異吸引子。本文取Δ=30,應(yīng)用四階龍格-庫塔法尋找式(5)的數(shù)值解得到混沌時間序列,取x為觀測變量,去掉前2000個暫態(tài)點,生成1000個數(shù)據(jù)點,前800個作為訓(xùn)練集,后200個作為測試集,數(shù)據(jù)如圖3所示。4.2mackey-well旅游方程預(yù)測值預(yù)測值預(yù)測值比選所有實驗都在Matlab平臺上進行,采用一步預(yù)測方法,尋優(yōu)得到的參數(shù)為:τ=1,m=5,C=100,σ=0.625,利用最優(yōu)參數(shù)對后200個樣本進行預(yù)測,Mackey-Glass時間序列的預(yù)測值與實際輸出的比較如圖4所示,可見預(yù)測值與系統(tǒng)的實際值吻合得很好,說明此方法是有效的。5基于數(shù)據(jù)驅(qū)動、快速有效的非線性時間序列支持向量機建模方法在基于支持向量機的混沌時間序列預(yù)測過程中,面臨的一個主要問題是如何選擇模型的參數(shù)以得到更好的預(yù)測結(jié)果,本