第章平穩(wěn)時間序列模型

1、第二章 平穩(wěn)時間序列模型本章將介紹box-jenkins方法，主要包括一元平穩(wěn)時間序列的識別、估計、診斷和預(yù)測方法。21 平穩(wěn)性 時間序列的均值和協(xié)方差 一個隨機過程的線性性質(zhì)可由均值和協(xié)方差來描述。如果這個過程是正態(tài)過程， 可以完全刻畫這個隨機過程的分布性質(zhì)。如果沒有正態(tài)性質(zhì)，但生成過程是線性的，則在它的均值和方差中可獲得關(guān)于這個過程的更多的重要特征。下面的問題是如何來估計，對于一些過程我們可以得到大量的實現(xiàn)（反復(fù)做觀測）那么，的估計是 但對大多數(shù)過程來說，得不到更多的實現(xiàn)。如，不可能把經(jīng)濟停下來，然后重新開始觀測。對一個實現(xiàn)，不可能估計出。 為了克服這個困難，時間序列分析要做如下的假設(shè)：均

2、值和方差不隨時間而改變。 如果對任何t, t-s, 都有 這里 都是常量，與時間無關(guān)，是依賴于的常量。這樣的隨機過程稱為協(xié)方差平穩(wěn)?？梢院唵蔚卣f，如果一個時間序列的均值和協(xié)方差不受時間變化影響，則稱這個時間序列是協(xié)方差平穩(wěn)。在一些文獻(xiàn)中，協(xié)方差平穩(wěn)的過程也稱為弱平穩(wěn)，二階矩平穩(wěn)或?qū)捚椒€(wěn)過程。（注意一個強平穩(wěn)過程不一定有有限的均值和方差）。一個更進(jìn)一步的假設(shè)是遍歷性（ergodic）。這是一個較難理解的一個概念。遍歷性是指，按時間平均 是總體均值的無偏、一致估計。即。同理，的估計也是一致的。 因此，如果有平穩(wěn)性和遍歷性的假設(shè)，利用關(guān)于時間的平均，就可以得到較好的估計。遍歷性的一個必要條件（但不充

3、分）是。對于一個協(xié)方差平穩(wěn)的序列，和之間的自相關(guān)系數(shù)可定義為 因此， 之間的自相關(guān)系數(shù)與之間的自相關(guān)系數(shù)相同，顯然。序列描述了這個過程的一個值與先前的值的相關(guān)程度，所以自相關(guān)系數(shù)可用來測量過程本身的記憶性的長度和強度，即在時刻t的值與時刻t-s 的值的相關(guān)程度。的圖形被稱為相關(guān)圖。用來刻畫這個過程生成機制的線性性質(zhì)。 2.2 自回歸模型如果一個時間序列可表示成是零均值白噪聲則稱為一階自回歸過程。記為。由yule (1927) 引入，起源于實踐。如，每月的失業(yè)人數(shù)可認(rèn)為是上月失業(yè)人數(shù)的一個固定比例，加上尋求職業(yè)的工人數(shù)。如果這些人數(shù)形成一個白噪聲序列，那么，失業(yè)序列就是一階自回歸。更一般的形式稱

4、為階自回歸過程。記為。如果=0的根在單位園外，則過程是平穩(wěn)的。用滯后算子表示為 ，它的一般解為 。如果平穩(wěn)性條件成立，則。這里，。特別地，如果那么，所以， (2.2.1)如果，則，由此可看出，如果，的解具有發(fā)散性質(zhì)。 2.3 運動平均模型一般的運動平均的模型是 按這樣方式構(gòu)成的序列被稱為階為q的運動平均，記為ma(q)。 運動平均過程由yule （1926）引出，wold （1938）進(jìn)行了詳細(xì)地研究。如果一個經(jīng)濟變量處在均衡中， 如果受到來自經(jīng)濟系統(tǒng)內(nèi)部（或外部）不可預(yù)期事件的沖擊而偏離原來狀態(tài)。如果本系統(tǒng)并不能立刻吸收這些沖擊效應(yīng)，那么，將出現(xiàn)一個運動平均模型。如，一個小型商品市場得到了一

5、系列關(guān)于農(nóng)產(chǎn)品狀況的信息， 一條特別新聞對價格有即時影響，也有不同程度的滯后影響，令表示價格在t 處的變化，假設(shè)這種沖擊影響價格變化，直到q 天,這種沖擊影響消失。 這時，較適當(dāng)?shù)哪Ｐ褪莔a(q)如果影響是逐漸消失），即天前的影響是，則 , 由（2.2.1），可表示成 這時，過程等價于過程。 由2.2節(jié)知道，平穩(wěn)的過程可以寫成，那么，如果的根在單位園外（可逆性性條件成立），則過程可以寫成過程。 2.4 arma 模型將自回歸模型和運動平均模型結(jié)合起來， （2.4.1）總可以將標(biāo)準(zhǔn)化成1，如果自回歸部分和運動平均部分的滯后階數(shù)分別為p,q，模型被稱為arma(p,q)。如果q=0，這過程被稱為自

6、回歸過程ar(p), 如果p=0, 這過程是運動平均過程ma(q)。在arma模型中，允許p,q是無限的。用滯后算子表示為 這里。這時容易知道：（1） 如果的根在單位園外，則過程是平穩(wěn)的。（2） 如果過程是平穩(wěn)的，則有一個等價的過程。（3） 如果的根在單位園外（通常稱為可逆性條件），則有一個等價的過程。 這說明，一個平穩(wěn)的arma過程可以逼近高階ma 過程。如果過程滿足可逆性條件， 這過程可以逼近高階ar 過程。 25 自相關(guān)函數(shù) box-jenkins(1976)在識別和估計時間序列時，給出了非常有用的工具是自協(xié)方差和自相關(guān)。如ar(1)模型 每個除，得到自相關(guān)。對于ar(1)過程，平穩(wěn)的必

7、要條件是。相對 s的圖形稱為自相關(guān)函數(shù)(acf)。因此，如果這個序列是平穩(wěn)的，這個自相關(guān)函數(shù)是幾何收斂到零。如果是正的，則這個自相關(guān)函數(shù)直接收斂到零。如果是負(fù)的，這個自相關(guān)函數(shù)按振蕩的方式收斂到零。ar(2)過程的自相關(guān)函數(shù) （2.5.1）這里省略了截距項，這是因為截距不影響acf。下面利用yule-walker方程的方法：用分別乘方程（2.5.1）兩邊，并取期望，可得由于 ，可得 （2.5.2） （2.5.3） （2.5.4）用除方程（2.5.3），（2.5.4）得 （2.5.5） （2.5.6）由，有，因此，利用方程（2.5.6）可求出所有。 對于二階過程的平穩(wěn)性限制條件是的根在單位圓外，

8、如果根是實的，自相關(guān)按指數(shù)衰減；如果根是復(fù)的，自相關(guān)按震蕩式衰減。ma(1)過程的自相關(guān)函數(shù)下面考慮ma(1)過程。用乘方程兩邊，并取期望，可得yule-walker方程并，用除可得acf：。下面求ma(q) 過程，的自相關(guān)函數(shù)。所以， 。因此，對充分大的。 下面求arma(1，1)過程的自相關(guān)函數(shù) 考慮arma(1，1)過程，可同樣求出yule-walker方程： 因此， 。因此，arma(1，1)的acf類似于ar(1)的acf。如果收斂是直接的，如果，收斂是振蕩的。 26 偏自相關(guān)函數(shù)為了說明偏自相關(guān)函數(shù)的作用，考慮自回歸過程ar(p)則有，兩端同除得 對任何隨機過程，偏自相關(guān)被定義為下

9、面方程的解： 因而，對任何階為p的自回歸過程，偏自相關(guān)，階數(shù)大于p的偏自相關(guān)為零。 之間的偏自相關(guān)不依賴于 之間的們的相關(guān)性。求偏自相關(guān)函數(shù)的直接方法是：首先從序列中減去序列的平均值，獲得一個新序列，然后構(gòu)造一階自回歸，這里是誤差項，可以不是白噪聲。這時，既是之間的自相關(guān)也是偏自相關(guān)。構(gòu)造二階自回歸是之間的偏自相關(guān)函數(shù)。即是之間除去的影響后的相關(guān)系數(shù)。 重復(fù)這個過程得到偏自相關(guān)函數(shù)(pacf)。大多數(shù)統(tǒng)計計算軟件包都有相應(yīng)的計算程序。 下面給出了各種arma過程的acf和pacf的性質(zhì)。表2.6.1 acf和pacf的性質(zhì)過程acfpacf白噪聲所有所有ar(1):,指數(shù)衰減：ar(1):,振

10、蕩衰減：ar(p)衰減（可以振蕩）到零在期前有峰值，但在期之后ma(1):在滯后1期處有正峰值，但振蕩衰減，ma(1):在滯后1期處有負(fù)峰值，但幾何衰減，arma(1，1) 在滯后1期處開始按幾何衰減 在滯后1期處振蕩衰減 arma(1，1) 在滯后1期處開始振蕩衰減 在滯后1期處按指數(shù)衰減arma(p,q)在滯后q期開始衰減（或直接或振蕩）在滯后p期開始衰減（或直接或振蕩） 2.7 平穩(wěn)序列的樣本自相關(guān) 在實際中,一個序列的理論均值、方差、自相關(guān)通常是未知的。如果這序列是平穩(wěn)的,我們可以用樣本均值,樣本方差,樣本自相關(guān)來估計它們。假設(shè)有t個觀測值,令是的估計量： 對每個可用樣本自相關(guān)函數(shù)ac

11、f和樣本偏相關(guān)函數(shù)pacf與理論值做比較來識別數(shù)據(jù)生成過程的性質(zhì)。box-jenkins(1976)在是平穩(wěn)具有正態(tài)誤差假設(shè)下，討論了樣本值的分布和的分布。在零假設(shè)下，漸近服從均值為零的正態(tài)分布，其中方差為 （2.7.1）在零假設(shè)下，漸近服從均值為零的正態(tài)分布，其中，的方差漸近于。 在實際檢驗中，我們可以使用這些樣本值來構(gòu)造樣本自相關(guān)和偏相關(guān)函數(shù)，利用（2.7.1）進(jìn)行顯著性檢驗。例如，如果我們使用95%置信區(qū)間（即，2個標(biāo)準(zhǔn)差），且計算出的值大于，則拒絕零假設(shè)-一階自相關(guān)在統(tǒng)計意義上不是顯著異于零。拒絕零假設(shè)意味著接受備擇假設(shè)。下面檢驗是否 這時，如果 則=0.015,標(biāo)準(zhǔn)差為0.123。如

12、果 超過，則拒絕假設(shè)。因此，拒絕零假設(shè)意味著接受備擇假設(shè)。重復(fù)上述過程，我們可確定這個過程的階數(shù)。q-統(tǒng)計量可用來檢驗自相關(guān)是否顯著不為零，box-pierce (1970) 利用樣本自相關(guān)構(gòu)造了統(tǒng)計量在下，q是漸近-分布，自由度為s，較高的樣本自相關(guān)可導(dǎo)致較大q的值。顯然，白噪聲過程（所有的自相關(guān)都為零）的q值為零。如果q的值超過表中的臨界值，我們可以拒絕零假設(shè)（ 各階自相關(guān)都為零），意味著接受備擇假設(shè)：至少有一個自相關(guān)不為零。 然而，即使在大樣本情況下，box-pierce的q統(tǒng)計量有偏差，ljung和box(1978)給出了修正的q-統(tǒng)計量如果這個q值超過表中的臨界值，那么至少有一個在給

13、定的顯著水平上顯著不為零。 box-pierce和ljung-box的q統(tǒng)計量也可用來檢驗來自于arma(p,q)模型的殘差是否為白噪聲。但是，如果對arma(p,q) 模型的殘差計算s個自相關(guān)，則q統(tǒng)計量的自由度就會由待估計的系數(shù)個數(shù)增加而減少。因此，如果檢驗arma(p,q)模型的殘差時，q統(tǒng)計量有自由度為s-p-q的分布，（如果包含常數(shù)的話，自由度就是s-p-q-1）。 2.8 選擇模型準(zhǔn)則一個自然的問題是：所選擇的模型擬合數(shù)據(jù)效果如何？增加滯后階數(shù)一定能減少殘差平方和。但是增加滯后階數(shù)需要估計更多的參數(shù)，使自由度減少。而且，系數(shù)個數(shù)的增加降低預(yù)測的精度。因而產(chǎn)生了各種選擇模型的準(zhǔn)則（能

14、降低殘差平方的更節(jié)儉的模型）。有兩個通常使用的準(zhǔn)則是akaike信息準(zhǔn)則(aic)和schwartz bayesian準(zhǔn)則(sbc). aic=t ln(殘差平方和)+2n sbc=t ln（殘差平方和）+n ln(t)這里n=估計的參數(shù)的個數(shù)（p+q+常數(shù)項個數(shù)），t=觀測值個數(shù)。當(dāng)使用滯后變量估計模型時，一些觀測值被損失。為了比較選擇的模型，t應(yīng)當(dāng)是固定的。當(dāng)然希望aic和sbc盡可能小（也可能是負(fù)的）,隨著模型擬合的改進(jìn)，aic和sbc將趨于。我們能利用這些準(zhǔn)則，選擇最適合的模型。如果模型a的aic（或sbc）小于模型b的aic（或sbc），我們就說模型a擬合的比b好。在使用這些準(zhǔn)則對不

15、同的模型進(jìn)行比較時，必須在相同的樣本期間內(nèi)進(jìn)行估計，以使它們可進(jìn)行比較。回歸變量個數(shù)n的增加，可以降低殘差平方和。因此，如果一個回歸變量沒有解釋能力，把它添加到模型中會引起aic和sbc增加。由于ln(t)大于2，所以，sbc總是比aic選擇更節(jié)儉的模型。 兩個準(zhǔn)則中，sbc有更好的大樣本性質(zhì)。令數(shù)據(jù)生成過程的真正階為，假設(shè)我們利用aic和sbc估計階為(p,q)的arma模型，這里 ，當(dāng)樣本個數(shù)趨于無窮時，aic和sbc都將選擇階數(shù)大于等于的模型。然而，aic 傾向于選擇參數(shù)過多的模型，而sbc卻是漸進(jìn)一致的。但在小樣本中，aic優(yōu)于 sbc。如果aic和sbc選擇了同一模型，對這個模型就應(yīng)

16、當(dāng)有較大的信心。如果兩個準(zhǔn)則選擇了不同的模型，這時就需要再進(jìn)一步的分析。由于sbc傾向于選擇更節(jié)儉的模型，所以一旦選擇了這個節(jié)儉模型，還需要檢驗殘差是否為白噪聲。因為aic能選擇參數(shù)過多的模型，所有系數(shù)的t-統(tǒng)計量都應(yīng)是顯著的（在適當(dāng)?shù)娘@著水平下）。以后我們還會介紹更多的診斷檢驗來檢驗?zāi)Ｐ偷某渥阈浴?2.9 ar(1)模型的估計 讓我們用一個例子說明利用樣本自相關(guān)、偏相關(guān)函數(shù)來識別arma模型。利用計算機生成100個正態(tài)分布的隨機數(shù)（方差為1），這些隨機變量稱為.由和初始條件生成上圖給出了樣本自相關(guān)和偏自相關(guān)函數(shù)的圖形。在實際中，我們不知道真實的數(shù)據(jù)生成過程。假設(shè)我們利用這100個數(shù)據(jù)（樣本值

17、）來找出真正過程。第一步，比較acf和pacf。acf的衰減和pacf在滯后一階處的截尾說明了ar(1)模型。前三個自相關(guān)（有時大于理論值）。在pacf中，滯后1階處有一個顯著的高峰值0.74，所有其它偏自相關(guān)（除在滯后12階處）都非常小。 在零假設(shè)下， 的標(biāo)準(zhǔn)差是，因為=0.74的樣本值大于7個標(biāo)準(zhǔn)差。我們可以拒絕=0的零假設(shè)。再計算方差 因為的標(biāo)準(zhǔn)差，的樣本值大于3倍（0.58/0.15）的標(biāo)準(zhǔn)差；在通常的顯著水平下，我們可以拒絕=0的零假設(shè)。我們可同樣檢驗其它自相關(guān)值的顯著性。除外，所有偏自相關(guān)函數(shù)（除滯后12階外），都小于。acf的衰減和pacf的一個高峰值建議了一階自回歸模型。然而，

18、如果我們不知道真正過程，而且使用了月度數(shù)據(jù)，這時需要關(guān)注偏自相關(guān)函數(shù)在滯后12階處的顯著性，需要關(guān)注和的直接關(guān)系。盡管我們這里知道這過程是由ar(1) 生成的，下面我們將兩個不同的模型作一比較。假設(shè)我們估計ar(1)模型，并試圖用ma系數(shù)捕捉的在滯后12階處峰值。因此，考慮兩個模型模型1：模型2：下表報告了兩個估計結(jié)果，模型1的系數(shù)滿足穩(wěn)定性條件且標(biāo)準(zhǔn)差較低（零假設(shè)的t-統(tǒng)計量值大于12）。作為診斷檢驗，也可以做出擬合模型的殘差的相關(guān)圖。這些殘差的q-統(tǒng)計量說明：每個自相關(guān)都小于2倍標(biāo)準(zhǔn)差。這些殘差的ljung-box的q統(tǒng)計量說明：q(8)、q(12)、q(24)都顯著為零（接受原假設(shè)）。這

19、強烈說明ar(1)模型擬合數(shù)據(jù)擬合的較好。如果殘差的自相關(guān)是顯著的，說明ar(1)模型沒能利用所有信息。 自由度9998殘差平方和85.2185.17的估計（標(biāo)準(zhǔn)差）0.7910(0.0622) 12.70.7953(0.0638) 12.5的估計 （標(biāo)準(zhǔn)差）-0.033(0.1134) -0.29aic, sbc441.9, 444.5443.9, 449.1殘差的ljung-box q統(tǒng)計量（括號內(nèi)的值為拒絕原假設(shè)的最小顯著水平-p值）q(8)=6.43(0.490)q(16)=15.86(0.391)q（24)=21.74(0.536)q(8)=6.48(0.485)q(16)=15.7

20、5(0.4)q(24)=21.56(0.547)考察模型2，注意兩個模型產(chǎn)生類似的一階自回歸系數(shù)和標(biāo)準(zhǔn)差。然而，系數(shù)的估計是不顯著的，應(yīng)該被去掉。通過比較兩個模型的aic和sbc，降低殘差平方和的益處會被估計更多參數(shù)帶來的不利影響所抵消。這些都說明應(yīng)該選擇模型1。210 arma(1.1) 模型的估計 構(gòu)造第二個序列，來說明arma(1.1)模型的估計。給定100個正態(tài)分布的序列按如下生成 這里都為零。 樣本acf和pacf的圖 如果數(shù)據(jù)生成過程是未知的，還要關(guān)注一些相近的情形。ar(2)模型也許能產(chǎn)生類似上圖的acf和pacf?？紤]三個模型模型1：模型2：模型3： 下表給出估計結(jié)果：arma(1.1) 模型的估計估計（括號內(nèi)為標(biāo)準(zhǔn)差）q統(tǒng)計量（括號內(nèi)為顯著水平）aic/sbc模型1-0.835(.053)0.835/0.053=16q(8)=26.19(.000)q(24)=41.10(.001)aic=496.5sbc=499.0模型2-0.679(.076)-0.676(.081)q(8)=3.86(.695)q(24)=14.23(.892)aic=471.0sbc=476.2模型3-1.16(.093)-0.378(.092)q(8)=11.44(.057)