ARMA算法整理

1、信息通信網(wǎng)絡(luò)時(shí)序指標(biāo)動(dòng)態(tài)閾值選取方法研究整篇文章分為三部分，第一部分是點(diǎn)預(yù)測(cè)，第二部分是閾值d的選取，第三部分是結(jié)合兩者進(jìn)行區(qū)間預(yù)測(cè)。其中第一部分是重點(diǎn)，分為兩個(gè)小部分，分別為前期預(yù)處理檢驗(yàn)和模型建立，模型建立部分又分別由6個(gè)小部分組成。一、建立模型進(jìn)行中心點(diǎn)預(yù)測(cè)思路：根據(jù)給出的數(shù)據(jù)序列，利用自相關(guān)系數(shù)，偏相關(guān)系數(shù)的性質(zhì)，選擇合適的模型進(jìn)行模擬，如AR模型(AR(p),MA模型(MA(q),ARMA模型(ARMA(p,q),并確定它們的階數(shù)。然后估計(jì)模型中未知參數(shù)的值，并利用AIC準(zhǔn)則來進(jìn)行模型優(yōu)化，從而可以對(duì)未來數(shù)據(jù)進(jìn)行預(yù)測(cè)。Xt=*0+iXtJ+Mt/+十pXy十5注：AR（p）定義：fp

2、02E（；t）=0,Var（；t）=；1E（個(gè)飛）=0,s=tE（Xs；t）=0,飛tXt='.；t-?1；t一.2；tW一一,q；t4MA（q）定義：4=0一，、一，、2一，、一E（；t）=0,Var（；t）=；,E（；t；s）=0,s=tARM（A,q）定義:Xt=%+®iXt+Rxt“+%匕+備e聲t"匕駕¥0,久¥02|E（；t）=0,Var（；t）=；,E（；t；s）=0,s=tE（Xs；t）=0st建模:1 .前提準(zhǔn)備得到數(shù)據(jù)之后(比如移動(dòng)公司一個(gè)月的通話時(shí)長(zhǎng)記錄)，我們要對(duì)數(shù)據(jù)進(jìn)行一個(gè)預(yù)處理，判定給出的數(shù)據(jù)滿足為平穩(wěn)非白噪聲序列,(

3、這是一個(gè)前提條件,才可以利用上述幾種模型對(duì)該數(shù)據(jù)序列進(jìn)行建模。所以，這就要求我們?cè)谶x取數(shù)據(jù)時(shí)要有意識(shí)的控制)(1)平穩(wěn)性檢驗(yàn)這里我們利用時(shí)序圖檢驗(yàn)的方法進(jìn)行平穩(wěn)性檢驗(yàn)。所謂時(shí)序圖，就是一個(gè)平面二維坐標(biāo)圖，通常橫軸表示時(shí)間，縱軸表示序列取值。平穩(wěn)序列的時(shí)序圖應(yīng)該顯示出該序列始終在一個(gè)常數(shù)值附近隨機(jī)波動(dòng)，而且波動(dòng)的范圍有界的特點(diǎn)。如果觀察序列的時(shí)序圖顯示出明顯的趨勢(shì)性或周期性，那它通常不是平穩(wěn)序列。這樣，我們根據(jù)時(shí)序圖就可以判斷是否是平穩(wěn)的。12000.0010000.006000,00-A6000.004000.002000.ao-0QJA-1221_LK>.19J心.17，.2一15-1

4、213-1H11-1.2.9A27-123，2_1KJ3(2)純隨機(jī)性檢驗(yàn)純隨機(jī)性序列：如果序列值彼此之間沒有任何相關(guān)性，那就意味著該序列是一個(gè)沒有記憶的序列，過去的行為對(duì)將來的發(fā)展沒有絲毫影響，這種序列稱之為純隨機(jī)序列。白噪聲序列是典型的純隨機(jī)序列。這里我們要驗(yàn)證我們所要研究的數(shù)據(jù)序列不是純隨機(jī)序列，即過去的值對(duì)現(xiàn)在有影響，才能建立ARMAI型，從而進(jìn)行預(yù)測(cè)。方法：利用LB統(tǒng)計(jì)量mo2LB=n(n+2)£(匚)，式中n為序列觀測(cè)期數(shù)，m為指定延遲期數(shù)，f?kk“n-k為自相關(guān)系數(shù)(當(dāng)前x與k期前x的相關(guān)系數(shù))。且mO2LB=n(n+2)£(旦廣72(m)。一般只要計(jì)算出來

5、延遲6期和延遲12期k4n-'k的LB及所對(duì)應(yīng)的P值就可以判斷序列的隨機(jī)性。如果計(jì)算結(jié)果P值很小，基本上以0.05為標(biāo)準(zhǔn)，只要小于0.05即可斷定該序列不是純隨機(jī)序列，屬于非白噪聲序列。其中P值計(jì)算方法：k自由度的*(k)函數(shù)的密度函數(shù)為1x22，x-0t八八、tf(x)421k/)，對(duì)f(x)進(jìn)行積分，代入之前計(jì)算的LB計(jì)0,其他LB算值，得至Up=1-0f(x)dx。2 .建模步驟假如我們的觀察值序列通過序列預(yù)處理，可以判定為平穩(wěn)非白噪聲序列，那么我們就可以利用模型對(duì)該序列建模。建模的基本步驟如圖所示：(1)求出該觀察值序列的樣本自相關(guān)系數(shù)(ACF和樣本偏自相關(guān)系數(shù)(PACF的值。

6、ARMA(p,q)模型進(jìn)行擬合，即確定p,q的值。(3)估計(jì)模型中未知參數(shù)的值。(4)檢驗(yàn)?zāi)Ｐ偷挠行?。如果擬合模型通不過檢驗(yàn)，專享步驟(2),重新選擇模型再擬合。(5)模型優(yōu)化。充分考慮各種可能，建立多個(gè)擬合模型，從所有通過檢驗(yàn)的擬合模型中選擇最優(yōu)模型。(6)利用擬合模型，預(yù)測(cè)序列的將來走勢(shì)。平穩(wěn)，非白噪聲序列計(jì)算樣本自相關(guān)系數(shù)(ACF3和偏自相關(guān)系數(shù)(PACFARMAI型識(shí)別估計(jì)模型中未知參數(shù)的值模型優(yōu)化預(yù)測(cè)序列將來的走勢(shì)2.1計(jì)算樣本自相關(guān)系數(shù)和偏自相關(guān)系數(shù)因?yàn)槲覀兪峭ㄟ^考察平穩(wěn)序列樣本自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)來選擇合適的模型擬合觀察值序列，所以模型擬合的第一步是要根據(jù)觀察值序列的

7、取值求出該序列的樣本自相關(guān)系數(shù)1,0ykyn和樣本偏自相關(guān)系數(shù)WkQvkVn的值樣本自相關(guān)系數(shù)可以根據(jù)以下公式求得:n_k工(Xt-X)(xtk-x)?k,-0knx(Xt-X)211樣本偏自相關(guān)系數(shù)可以利用樣本自相關(guān)系數(shù)的值，根據(jù)以下公式求得：？k=烏，-。knD1R4工?i？式中，d=!1?li其中，Dk是將甘的第k列變)2.2模型識(shí)別(計(jì)算p,q)計(jì)算出樣本自相關(guān)系數(shù)和表現(xiàn)出來的性質(zhì)，選擇適當(dāng)?shù)??1%?1伊r?_112Dk?仲，k4k?1、?2O帚自相關(guān)系數(shù)的值之后，就要根據(jù)他們ARMA模型擬合觀察值序列。這個(gè)過程實(shí)際上就是要根據(jù)樣本自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)估計(jì)自相關(guān)階數(shù)

8、9;和移動(dòng)平均階數(shù)b,因此，模型識(shí)別過程也稱為模型定階過程。理論依據(jù)：(ARMA模型定階的基本原則)0k%模型定階拖尾p階截尾AR(p)模型q階截尾拖尾MA(q)模型拖尾拖尾ARMA(p,q)模型方法：下面我們考慮，在實(shí)際操作中，怎樣判定是截尾或拖尾。即當(dāng)樣本自相關(guān)系數(shù)或偏自相關(guān)系數(shù)在延遲若干階之后衰減為小值波動(dòng)時(shí)，什么情況下該看做相關(guān)系數(shù)截尾，什么情況下該看做相關(guān)系數(shù)在延遲若干階之后正常衰減到零值附近做拖尾波動(dòng)。由于當(dāng)樣本容量n充分大時(shí)，樣本自相關(guān)系數(shù)近似服從正態(tài)分布：2kN(0,1)n樣本偏自相關(guān)系數(shù)也同樣近似服從這個(gè)正態(tài)分布：%kN(0,-)n根據(jù)正態(tài)分布的性質(zhì)，有Pr(-2三4三2)-

9、0.95n<n2c2Pr(-三%三)-0.95nn、2.2?：汪：Pr(-"?k-)=Pr(-1口.nx2、2dx=20.4773=0.95所以可以利用2倍標(biāo)準(zhǔn)差范圍(-2，二)輔助判斷。n.n如果樣本自相關(guān)系數(shù)或偏自相關(guān)系數(shù)在最初的d階明顯大于2倍標(biāo)準(zhǔn)差范圍，而后幾乎95%的自相關(guān)系數(shù)都落在2倍標(biāo)準(zhǔn)差的范圍以內(nèi)，而且由非零相關(guān)系數(shù)衰減為小值波動(dòng)的過程非常突然，這時(shí)通常視為相關(guān)系數(shù)截尾，且截尾階數(shù)為d。如果有超過5%的樣本自相關(guān)系數(shù)落入2倍標(biāo)準(zhǔn)差范圍之外，或者是由顯著非零的相關(guān)系數(shù)衰減為小值波動(dòng)的過程比較緩慢或者非常連續(xù)，這時(shí)通常視為相關(guān)系數(shù)不截尾，即拖尾。這樣，我們就可以根據(jù)

10、最初的理論依據(jù)和計(jì)算的比較結(jié)果來選擇合適的模型進(jìn)行模擬。(1)若觀察序列的自相關(guān)系數(shù)拖尾，偏自相關(guān)系數(shù)截尾，且截尾階數(shù)為p,則選AR(p)模型。(2)若觀察序列的自相關(guān)系數(shù)截尾，且截尾階數(shù)為q,偏自相關(guān)系數(shù)拖尾，則選MA(q)模型。(3)若觀察序列的自相關(guān)系數(shù)和偏自相關(guān)系數(shù)均拖尾，則選ARMA(p,q)模型。2.3參數(shù)估計(jì)選擇好擬合模型之后，下一步就是要利用序列的觀察值確定該模型的口徑，即估計(jì)模型中未知參數(shù)的值。比如：AR(2)模型為=2xy+%xt即中未知參數(shù)髭*2的估計(jì)為MA模型為=%一旦料工中未知參數(shù)N的估計(jì)為&=-114222：2ARMA(1,1)模型%=蟻+%日1金中未知參數(shù)

11、配色的估計(jì)為陷=當(dāng)，c+qc2-4c0-2,c-2c1一砰一271 一c-c2-4c一?一22,c-2當(dāng)然，這種低階的ARMA模型可以根據(jù)公式直接帶入求參數(shù)估計(jì)即可，但當(dāng)階數(shù)比較大時(shí)，參數(shù)估計(jì)值會(huì)非常復(fù)雜，這時(shí)候我們采用最大似然估計(jì)或最小二乘估計(jì)方法。極大似然估計(jì)：Xt=1XtJ.pXt_p；t-W；t一'q；t.qg=(4,*p41,8q)最終，求解似然方程組2 "、nS()八2l(P；x)=2-o4=02、2、r.)士A£S(j-l(1X)-2-二22廣一°式中，|(；汨=_nln(2n)_nln(屋)-1lnQ-工X夏飛2222%QO'Gi2

12、i-0CO:一GiGin4i-0oO、GGi.n4i=0cd'、G：i=0Gi為Green系數(shù).但是，由于S(力和lnC都不是的顯式表達(dá)式，因而上述似然方程組實(shí)際上是由P+q+1個(gè)超越方程構(gòu)成，通常需要經(jīng)過復(fù)雜的迭代算法才能求出未知參數(shù)的極大似然估計(jì)值。最小二乘估計(jì)：X=1為二pXt”；t-F；t一'q；tq記B=(©，*p,8i,8q)Ft(:)=，iXj-4；pXt”-1；t一為；tq殘差項(xiàng)為：；t=Xt-Ft()n殘差平方和為：Q(')=v；t2t4n='、.(Xt-iXtj-Xt_pUq；tJ"%；y)2t1使殘差平方和達(dá)到最小的那組

13、參數(shù)即為的最小二乘估計(jì)值。同極大似然估計(jì)一樣，由于Q(g)不是的顯性函數(shù)，未知參數(shù)的最小二乘估計(jì)值通常也得借助迭代法求出。網(wǎng)上有極大似然法和最小二乘法的程序代碼，有的是matlab的,2.4 模型檢驗(yàn)?zāi)Ｐ偷臋z驗(yàn)主要是檢驗(yàn)?zāi)Ｐ偷挠行?，一個(gè)好的擬合模型應(yīng)該能夠提取觀察值序列中幾乎所有的樣本相關(guān)信息。換言之，擬合殘差項(xiàng)(真實(shí)值與擬合值的差)中將不再蘊(yùn)含任何相關(guān)信息，即殘差序列應(yīng)該為白噪聲序列。這樣，我們就通過檢驗(yàn)殘差序列是否為白噪聲序列來說明所建模型是否通過檢驗(yàn)。方法與上面的序列隨機(jī)性檢驗(yàn)方法一樣，利用LB統(tǒng)計(jì)量，m?2LB=n(n+2)£(.k廣*(m),不過這里要驗(yàn)證是屬于白噪聲序列

14、，所kdn-k以最后計(jì)算結(jié)果P值要大于0.05才可斷定殘差序列是純隨機(jī)序列，進(jìn)而說明該擬合模型通過了檢驗(yàn)。2.5 模型優(yōu)化對(duì)于給定的觀察值序列，我們能夠建立多個(gè)擬合模型，模型優(yōu)化就是從所有通過檢驗(yàn)的擬合模型中選擇最優(yōu)模型。在這里，我們利用AIC準(zhǔn)則(最小信息量準(zhǔn)則)來選擇最優(yōu)模型。AIC準(zhǔn)則的思想是認(rèn)為一個(gè)擬合模型的好壞可以從兩方面去考察：一方面是用來衡量擬合程度的似然函數(shù)值；另一方面是模型中未知參數(shù)的個(gè)數(shù)。一個(gè)好的擬合模型應(yīng)該是一個(gè)擬合精度和未知參數(shù)個(gè)數(shù)的綜合最優(yōu)配置，使得AIC最小的ARMAI型為最優(yōu)模型。ARMA(p,q)模型的AIC函數(shù)為:n'(；i-丁)2AIC=nln(%+

15、2(p+q+2),其中4=va2.6 序列預(yù)測(cè)通過以上所有的步驟，我們得到了最優(yōu)的擬合模型，然后可以對(duì)未來的某一點(diǎn)進(jìn)行預(yù)測(cè)。二、閾值的選取第一部分的模型得到的預(yù)測(cè)結(jié)果是一個(gè)點(diǎn)值，然而在現(xiàn)實(shí)生活中，由于環(huán)境的復(fù)雜性和因素的不可控制性，預(yù)測(cè)結(jié)果應(yīng)該是一個(gè)以預(yù)測(cè)值為中心點(diǎn)上下浮動(dòng)的區(qū)間更為合適。這里，我們利用聚類分析的思想來確定區(qū)間的大小，即閾值的選取。方法：先利用K-均值聚類方法將同一時(shí)間點(diǎn)的不同y值分為合適的k類，然后再根據(jù)閾值=最大的類均值最小的類均值來確定閾值的大小。K-均值聚類步驟：（1）在n個(gè)樣品中隨機(jī)選擇k個(gè)樣品作為初始凝聚點(diǎn)，（或者將所有樣品分成k個(gè)初始類，然后將這k個(gè)類的均值作為初始凝聚點(diǎn)）。（2）對(duì)除凝聚點(diǎn)之外的所有樣品樣品逐個(gè)歸類，將每個(gè)樣品歸入離它最近的凝聚點(diǎn)所在的類（采用歐氏距離計(jì)算），然后將該類的凝聚點(diǎn)更新為這一類目前的均值。（3）重復(fù)步驟（2）,直到每個(gè)聚類不再發(fā)生變化或滿足某個(gè)終止條件為止。一般的迭代終止條件為誤差平方和最小或限定聚類次數(shù)。n誤差平方和為J=£|x-也，其中有n個(gè)數(shù)據(jù)，分為k類，