平穩(wěn)時間序列模型的建立

平穩(wěn)時間序列模型的建立第一頁，共七十六頁，2022年，8月28日通過整理可得：具體建模時，只需要在ARMA模型中加入一個截距項，和回歸模型是一樣的。如果事先未對序列進行零均值化，即使該截距項可能不顯著，也不要把它從模型中刪去。因為這個不顯著性可能和自回歸系數(shù)的取值有關(guān)。第二頁，共七十六頁，2022年，8月28日設(shè)平穩(wěn)過程{Xt}的均值為，給定序列X1,…,XN,要檢驗=0，就需要構(gòu)造檢驗統(tǒng)計量或求參數(shù)的置信區(qū)間?？梢詮目紤]樣本均值出發(fā)所以參數(shù)的置信度為1-的置信區(qū)間為若白噪聲序列服從正態(tài)分布，則有

樣本均值只是總體均值的一個估計，可能存在誤差，因此我們有必要利用樣本均值對總體均值是否為0進行檢驗-即零均值檢驗。（這個也稱為模型的預(yù)處理）2.序列減去樣本均值得到零均值的序列。第三頁，共七十六頁，2022年，8月28日而

實際問題中k未知，可用它的樣本自協(xié)方差函數(shù)來代替，從而可對=0進行檢驗。如果0，則通過減去樣本均值使其零均值化。MATLAB中可用ttest命令實現(xiàn)零均值的檢驗，SPSS中選擇均值的檢驗即可。第四頁，共七十六頁，2022年，8月28日模型AR(n)MA(m)ARMA(n,m)自相關(guān)函數(shù)拖尾截尾拖尾偏自相關(guān)函數(shù)截尾拖尾拖尾平穩(wěn)零均值序列的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)的統(tǒng)計特性可依據(jù)上述性質(zhì)初步確定模型的類型。第一節(jié)模型識別第五頁，共七十六頁，2022年，8月28日選擇模型的困難因為由于樣本的隨機性，樣本的相關(guān)系數(shù)不會呈現(xiàn)出理論截尾的完美情況，本應(yīng)截尾的或仍會呈現(xiàn)出小值振蕩的情況。當或在延遲若干階之后衰減為小值波動時，什么情況下該看作為相關(guān)系數(shù)截尾，什么情況下該看作為相關(guān)系數(shù)在延遲若干階之后正常衰減到零值附近作拖尾波動呢？第六頁，共七十六頁，2022年，8月28日若k序列在m步后截尾，即若k>m,應(yīng)有k=0，此時k的估計量漸近于正態(tài)分布。即：1.自相關(guān)函數(shù)截尾的判定第七頁，共七十六頁，2022年，8月28日因此，判斷一個序列的k序列是否在m步后截尾，具體做法如下：若某一個k比較大，而其后的k都很小且接近于0，則可以此k作為模型的階m，計算上面的置信區(qū)間。如果m之后的k落在該區(qū)間的頻率超過68.3%(或95.5%)，則認為序列適合用MA(m)或更低階的模型擬合。否則提高m繼續(xù)計算，一直到滿足條件為止。若m值比較大才滿足條件，可認為自相關(guān)函數(shù)拖尾，用AR模型或ARMA模型可能更好。第八頁，共七十六頁，2022年，8月28日若kk序列在n步后截尾，即若k>n,應(yīng)有kk

=0，此時kk的估計量漸近于正態(tài)分布。即：因此，判斷一個序列是否可用AR模型來擬合，具體做法如下：若某一個kk比較大，而其后的都很小且接近于0，則可以此時的k作為模型的階n，計算上面的置信區(qū)間。如果n之后的kk值落在該區(qū)間的頻率超過68.3%(或95.5%)，則認為序列適合用AR(n)或更低階的模型擬合。否則提高n繼續(xù)計算，一直到滿足條件為止。若n值比較大才滿足條件，可認為偏自相關(guān)函數(shù)拖尾，用MA模型或ARMA模型可能更好。2.偏自相關(guān)函數(shù)截尾的判定第九頁，共七十六頁，2022年，8月28日若序列的自相關(guān)和偏自相關(guān)函數(shù)都拖尾，則序列是ARMA模型。若序列自相關(guān)函數(shù)和偏自相關(guān)函數(shù)無以上特征，而是出現(xiàn)緩慢衰減或周期性衰減情況，則說明序列不是平穩(wěn)的。

第十頁，共七十六頁，2022年，8月28日Lag12345678910Acf0.6150.2380.042-0.051-0.0650.0310.0790.1060.058-0.081Pacf0.615-0.2250.002-0.0510.0080.126-0.0220.066-0.07-0.144Lag11121314151617181920Acf-0.137-0.136-0.093-0.0120.025-0.027-0.05-0.101-0.142-0.12Pacf0.033-0.0570.0260.032-0.045-0.0630.014-0.076-0.027-0.016例5.1下圖是一磨輪剖面資料的數(shù)據(jù)圖，共250個。試對該序列建立合適的時間序列模型。第十一頁，共七十六頁，2022年，8月28日觀察序列圖及樣本自相關(guān)函數(shù)和偏自相關(guān)函數(shù)圖，發(fā)現(xiàn)2階之后值都比較小，假設(shè)m=2，則有統(tǒng)計一下2階之后落在-0.0867*2到0.0867*2之間的自相關(guān)函數(shù)有幾個？適合用MA(2)模型擬合嗎？再觀察偏自相關(guān)函數(shù)，發(fā)現(xiàn)2階之后值都比較小，假設(shè)n=2，則有統(tǒng)計一下2階之后落在-0.0634*2到0.0634*2之間的偏自相關(guān)函數(shù)有幾個？適合用AR(2)模型擬合嗎？進一步適合用AR(1)模型擬合嗎？第十二頁，共七十六頁，2022年，8月28日第三節(jié)

參數(shù)估計

自回歸模型AR(n)的參數(shù)估計：采用Yule-Walker方程

一、矩估計

原則：以樣本數(shù)字特征作為總體相應(yīng)數(shù)字特征的估計，以樣本數(shù)字特征的函數(shù)作為總體相應(yīng)數(shù)字特征的相應(yīng)函數(shù)的估計或把其中的γ改為ρ亦可。第十三頁，共七十六頁，2022年，8月28日但是在上述方程組中，自協(xié)方差函數(shù)是未知的，因此需要用樣本自協(xié)方差函數(shù)來估計，所以可得到

和

求解上述的方程，即可得到參數(shù)和σa2的估計注.如果滿足一定的條件，上述的自協(xié)方差函數(shù)矩陣是可逆的。對于AR(1)模型，參數(shù)的矩估計為：第十四頁，共七十六頁，2022年，8月28日AR(2)模型：

所以

第十五頁，共七十六頁，2022年，8月28日移動平均模型MA(m)的參數(shù)估計

上述方程為非線性方程，通常要用特定的數(shù)值計算方法求解。下面我們只考慮MA(1)模型的直接解法。第十六頁，共七十六頁，2022年，8月28日1.直接解法變換得：

對于MA(2)模型及更高階的模型，參數(shù)的解析解更難表示出來。對于MA(1)模型，自協(xié)方差函數(shù)滿足：

第十七頁，共七十六頁，2022年，8月28日2.線性迭代法

經(jīng)過重排可得到

給定m+1個參數(shù)的一組初值，然后進行迭代，直到取到滿意的精度為止。該方法得到的參數(shù)擬合出的模型可以滿足可逆性條件。

如果MA(m)模型的階數(shù)已知，則可用下述方法來估計其中的參數(shù)。已知

第十八頁，共七十六頁，2022年，8月28日即利用

不斷進行迭代，最后當k→時，x(k)就是f(x)=0的解。對于此問題，具體做法是：將上式改寫為

令則上式變?yōu)?/p>

3.Newton-Raphson迭代算法第十九頁，共七十六頁，2022年，8月28日令記則

該方法的優(yōu)點：（1）收斂速度較快；（2）比線性迭代法精度要高一些。該方法的缺點：（1）估計出的參數(shù)擬合出來的模型不能保證具有可逆性；（2）該算法強烈依賴于初始值的選擇。最后用樣本自協(xié)方差函數(shù)代替總體自協(xié)方差函數(shù)即可得到參數(shù)的估計。第二十頁，共七十六頁，2022年，8月28日自回歸移動平均模型ARMA(n,m)的參數(shù)矩估計：

將模型分成兩個部分，先對AR部分應(yīng)用Yule-Walker方程，估計出AR部分的參數(shù)；然后把參數(shù)代入計算得到剩余序列，對剩余序列應(yīng)用MA模型的參數(shù)估計方法。具體如下:

第二十一頁，共七十六頁，2022年，8月28日(2).令則因此可用MA模型的參數(shù)估計方法估計出參數(shù)。(1).當k>m時，考慮Yule-Walker方程的解第二十二頁，共七十六頁，2022年，8月28日例:求ARMA(1,1)模型系數(shù)的矩估計ARMA(1,1)模型矩估計第二十三頁，共七十六頁，2022年，8月28日對矩估計的評價優(yōu)點估計思想簡單直觀不需要假設(shè)總體分布計算量?。ǖ碗A模型場合）缺點信息浪費嚴重只用到了n+m個樣本自相關(guān)系數(shù)信息，其他信息都被忽略估計精度差通常矩估計方法被用作極大似然估計和最小二乘估計迭代計算的初始值

第二十四頁，共七十六頁，2022年，8月28日原理使殘差平方和達到最小的那組參數(shù)值即為最小二乘估計值

下面只考慮AR(n)模型的參數(shù)的最小二乘估計。二、最小二乘估計（LS）第二十五頁，共七十六頁，2022年，8月28日觀測方程為：即：因此參數(shù)的最小二乘估計為：比較AR(n)模型參數(shù)的最小二乘估計和矩估計。第二十六頁，共七十六頁，2022年，8月28日對最小二乘估計的評價優(yōu)點最小二乘估計充分應(yīng)用了每一個觀察值所提供的信息，因而它的估計精度高缺點需要假定總體分布第二十七頁，共七十六頁，2022年，8月28日原理在極大似然準則下，認為樣本來自使該樣本出現(xiàn)概率最大的總體。因此未知參數(shù)的極大似然估計就是使得似然函數(shù)（即聯(lián)合密度函數(shù)）達到最大的參數(shù)值

三、極大似然估計（ML）

第二十八頁，共七十六頁，2022年，8月28日似然方程由于和都不是的顯式表達式。因而似然方程組實際上是由n+m+1個超越方程構(gòu)成，通常需要經(jīng)過復(fù)雜的迭代算法才能求出未知參數(shù)的極大似然估計值

第二十九頁，共七十六頁，2022年，8月28日對極大似然估計的評價優(yōu)點極大似然估計充分應(yīng)用了每一個觀察值所提供的信息，因而它的估計精度高同時還具有估計的一致性、漸近正態(tài)性和漸近有效性等許多優(yōu)良的統(tǒng)計性質(zhì)缺點需要假定總體分布第三十頁，共七十六頁，2022年，8月28日第二節(jié)模型的定階自相關(guān)函數(shù)和偏自相關(guān)函數(shù)定階法自相關(guān)函數(shù)和偏自相關(guān)函數(shù)不但可以用來進行模型的識別，同樣也可以用來進行AR模型和MA模型的定階。該方法對ARMA模型定階較為困難。同時，用該方法定的階數(shù)也只能作為初步參考值。第三十一頁，共七十六頁，2022年，8月28日殘差方差圖定階法殘差方差圖定階法借用了統(tǒng)計學(xué)中多元回歸的原理。假定模型是有限階的自回歸模型，如果選擇的階數(shù)小于真正的階數(shù)，則是一種不足擬合，因而剩余平方和必然偏大，殘差方差也將偏大；如果選擇的階數(shù)大于真正的階數(shù)，則是一種過度擬合，殘差方差并不因此而顯著減小。具體方法：以階數(shù)作為自變量，殘差方差作為因變量，繪制殘差方差圖，階數(shù)較低時殘差方差較大，隨著階數(shù)的增加，殘差方差趨于平穩(wěn)，此時可得到模型的階數(shù)。這種判別方法也適用于MA模型和ARMA模型。在ARMA模型中，殘差方差圖是一個曲面圖。第三十二頁，共七十六頁，2022年，8月28日AR、MA、ARMA三種模型的殘差方差估計式分別為：ARMA模型：MA模型：AR模型：關(guān)于殘差平方和的計算：估計出來參數(shù)后得到at，然后再計算其平方和。MA(1)模型中：a1=

x1，a2=x2+x1,a3=….。P138圖5.4第三十三頁，共七十六頁，2022年，8月28日F檢驗定階法基本思想：首先用ARMA(n,m)進行過度擬合，再令高階系數(shù)中某些取值為零，用F檢驗判定階數(shù)降低之后的模型與ARMA(n,m)之間是否存在顯著性差異。如果有顯著性差異，階數(shù)能夠升高；如果沒有差異，階數(shù)可以降低。第三十四頁，共七十六頁，2022年，8月28日基本過程：對N個獨立的觀察值，建立回歸模型：設(shè)為的最小二乘估計。則殘差平方和為：第三十五頁，共七十六頁，2022年，8月28日若舍棄后面s個因子，另建一個回歸模型：設(shè)為的最小二乘估計。則殘差平方和為：第三十六頁，共七十六頁，2022年，8月28日檢驗舍棄的回歸因子對Y的影響是否顯著，等價于檢驗原假設(shè)：是否成立。借助有關(guān)回歸理論：第三十七頁，共七十六頁，2022年，8月28日對于給定的顯著性水平，計算統(tǒng)計量若F>Fα(s,N-r)，則拒絕原假設(shè)，表示兩個模型存在顯著性差異。該方法對MA模型和ARMA模型也適用。第三十八頁，共七十六頁，2022年，8月28日若F>F0.05(1,246)=3.88,說明兩個模型存在顯著性差異，階數(shù)仍有上升可能。再擬合AR（3）模型，殘差平方和為1473.784，與AR（2）比較，有：F<Fα(1,244)=3.88，說明AR（2）與AR（3）模型無顯著性差異。對于書上的實例，首先擬合AR（1）和AR（2）模型，其殘差平方和分別為1619.236和1474.032，則第三十九頁，共七十六頁，2022年，8月28日最佳準則函數(shù)定階法

前面所提到的利用自相關(guān)函數(shù)和偏自相關(guān)系數(shù)以及殘差方差圖來確定ARMA模型的階是不太準確的，具有很大的主觀性。下面我們將討論1970年以來發(fā)展起來的一些在某種準則函數(shù)下的定階方法。

原理：構(gòu)造一個準則函數(shù)，該函數(shù)既要考慮用某一模型對原始數(shù)據(jù)擬合的接近程度（殘差的大?。?，同時又要考慮模型中所含待定參數(shù)的個數(shù)。建模時，根據(jù)函數(shù)的取值確定模型優(yōu)劣，使準則函數(shù)值達到最小的模型是最佳模型。此方法中最常用的FPE定階、AIC定階和BIC定階準則。第四十頁，共七十六頁，2022年，8月28日設(shè){x1,,xN}(N>n)是AR(n)過程的一個實現(xiàn)，如果是基于{x1,,xN}的系數(shù)的極大似然估計，則一步預(yù)報均方誤差為

FPE準則在1969年，日本學(xué)者赤池（Akaike）提出了一種最小化最終預(yù)報誤差準則（FPE），可以用于AR(n)模型的定階。

其中a2是模型白噪聲的方差。DN是未知的。第四十一頁，共七十六頁，2022年，8月28日而由可證明但DN未知，因此可以考慮它的無偏估計。如果用估計來替代a2，則得到均方預(yù)報誤差DN的一個無偏估計為

最終均方預(yù)報誤差準則即為：取FPE(k)的最小值點作為AR(n)模型階數(shù)n的估計。即

可知第四十二頁，共七十六頁，2022年，8月28日基本思想：建立模型時，根據(jù)準則函數(shù)取值來判斷模型的優(yōu)劣，使準則函數(shù)達到極小的是最佳模型，該準則是在模型極大似然估計的基礎(chǔ)上建立起來的?；纠碚摚鹤钚⌒畔蕜tAIC函數(shù)的一般形式：

AIC定階

該方法由日本人赤池提出,可用于AR模型或ARMA模型定階.式中“模型極大似然度”一般用似然函數(shù)表示。第四十三頁，共七十六頁，2022年，8月28日設(shè)樣本長度N充分大時，ARMA模型的近似極大似然估計的對數(shù)似然函數(shù)為：

于是得到采用ARMA（n,m）模型擬合的AIC準則函數(shù)：第四十四頁，共七十六頁，2022年，8月28日對于AR模型，AIC函數(shù)可?。簩κ孪冉o好最高階數(shù)M(N)，若則取n0為最佳模型階數(shù)。這里舍棄了常數(shù)2/N.第四十五頁，共七十六頁，2022年，8月28日對AR(n)模型，比較FPE準則和AIC準則的結(jié)果。對FPE準則兩端取對數(shù)有

由數(shù)學(xué)分析知，當時，

因此只要N充分大，k/N就很小，從而有

由于對數(shù)函數(shù)是嚴格單調(diào)上升的，O(N-3)是N的高階無窮小量，可忽略。故當N充分大時，F(xiàn)PE(k)和AIC(k)漸進地給出相同的結(jié)果。

第四十六頁，共七十六頁，2022年，8月28日BIC定階(SIC定階)

理論上AIC準則不能給出模型階數(shù)的相容估計，即當樣本趨于無窮大時，由AIC準則選擇的模型階數(shù)不能收斂到其真值（通常比真值高）。另一個定階選擇是BIC準則：

其中k是模型的自由參數(shù)個數(shù)，對于ARMA(n,m)模型，k=n+m+1。第四十七頁，共七十六頁，2022年，8月28日對于AR模型：若某一階數(shù)n0滿足則取n0為最佳階數(shù)。第四十八頁，共七十六頁，2022年，8月28日還可以定義其它類型的準則函數(shù)，如式中常數(shù)C用來在擬合殘差與參數(shù)個數(shù)之間權(quán)衡F檢驗定階法可和SIC定階法結(jié)合起來使用。第四十九頁，共七十六頁，2022年，8月28日第四節(jié)模型的適應(yīng)性檢驗?zāi)Ｐ偷娘@著性檢驗整個模型對信息的提取是否充分參數(shù)的顯著性檢驗?zāi)Ｐ徒Y(jié)構(gòu)是否最簡第五十頁，共七十六頁，2022年，8月28日模型的顯著性檢驗?zāi)康臋z驗?zāi)Ｐ偷挠行裕▽π畔⒌奶崛∈欠癯浞郑z驗對象殘差序列判定原則一個好的擬合模型應(yīng)該能夠提取觀察值序列中幾乎所有的樣本相關(guān)信息，即殘差序列應(yīng)該為白噪聲序列

反之，如果殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關(guān)信息未被提取，這就說明擬合模型不夠有效第五十一頁，共七十六頁，2022年，8月28日一、散點圖法由模型估計出殘差序列at；作at對at-j，at對Xt-j的散點圖由散點圖分析at的性質(zhì)---白噪聲性質(zhì)。第五十二頁，共七十六頁，2022年，8月28日二、殘差相關(guān)系數(shù)法由模型估計出殘差序列at；計算at和at-j，at和Xt-j的相關(guān)系數(shù)；由相關(guān)系數(shù)分析at的性質(zhì)---白噪聲性質(zhì)。以上兩種方法比較粗略，主要憑經(jīng)驗來判斷。第五十三頁，共七十六頁，2022年，8月28日三、χ2檢驗法設(shè)at的自相關(guān)函數(shù)為ρk(N,at)，則它的估計量為：當N很大時，

即這k個量近似服從相互獨立的正態(tài)分布。第五十四頁，共七十六頁，2022年，8月28日原假設(shè)：殘差序列為白噪聲序列，可轉(zhuǎn)化為：在原假設(shè)成立的條件下，有其中：上述建立的統(tǒng)計量稱為Q統(tǒng)計量（或Box-Pierce統(tǒng)計量）。

若Q<=2(L(N)-n-m)，則接受H0；若Q>2(L(N)-n-m)，則拒絕H0。第五十五頁，共七十六頁，2022年，8月28日

許多時候，Q統(tǒng)計量的值比卡方分布下所預(yù)期的值略偏小，因此需要對該統(tǒng)計量進行改進該統(tǒng)計量稱為L-B-P統(tǒng)計量，是軟件中常用的統(tǒng)計量。第五十六頁，共七十六頁，2022年，8月28日模型優(yōu)化問題提出當一個擬合模型通過了檢驗，說明在一定的置信水平下，該模型能有效地擬合觀察值序列的波動，但這種有效模型并不是唯一的。優(yōu)化的目的選擇相對最優(yōu)模型1～4節(jié)的建模方法稱為Box-Jenkins法，這是時間序列分析中最主要的建模方法。

第五十七頁，共七十六頁，2022年，8月28日第七章非平穩(wěn)時間序列分析前幾章討論的都是平穩(wěn)時間序列，然而在實際應(yīng)用中，特別是在經(jīng)濟和商業(yè)中出現(xiàn)的時間序列大多是非平穩(wěn)的，如非常數(shù)均值的時間序列，非常數(shù)方差的時間序列，或者二者皆有。第五十八頁，共七十六頁，2022年，8月28日第三節(jié)平穩(wěn)化方法

本節(jié)介紹三種常用的平穩(wěn)化方法：差分、季節(jié)差分以及對數(shù)變換與差分結(jié)合運用。第五十九頁，共七十六頁，2022年，8月28日普通差分

一般地二階差分一階差分第六十頁，共七十六頁，2022年，8月28日例：對溫度序列作一階差分。原序列圖第六十一頁，共七十六頁，2022年，8月28日一階差分序列圖第六十二頁，共七十六頁，2022年，8月28日過差分

足夠多次的差分運算可以充分地提取原序列中的非平穩(wěn)確定性信息但過度的差分會造成有用信息的浪費

第六十三頁，共七十六頁，2022年，8月28日例1假設(shè)序列如下

考察一階差分后序列和二階差分序列的平穩(wěn)性與方差，體會過差分所造成的浪費。第六十四頁，共七十六頁，2022年，8月28日比較一階差分平穩(wěn)方差小二階差分方差大（過差分）平穩(wěn)第六十五頁，共七十六頁，2022年，8月28日例2假設(shè)序列如下

過差分把原來的不相關(guān)序列轉(zhuǎn)換為MA(1)模型，產(chǎn)生了原本不存在的相依性。第六十六頁，共七十六頁，2022年，8月28日季節(jié)差分

Xt為一周期性波動的時序，周期為S。則

為各相