第三章平穩(wěn)時間序列分析

1、第3章 平穩(wěn)時間序列分析一個序列經(jīng)過預(yù)處理被識別為平穩(wěn)非白噪聲序列，那就說明該序列是一個蘊含著相關(guān)信息的平穩(wěn)序列。3.1 方法性工具3.1.1 差分運算1、 p階差分 記為的1階差分：記為的2階差分：以此類推：記為的p階差分：2、 k步差分記為的k步差分：3.1.2 延遲算子1、 定義 延遲算子相當與一個時間指針，當前序列值乘以一個延遲算子，就相當于把當前序列值的時間向過去撥了一個時刻。記B為延遲算子，有 延遲算子的性質(zhì)： 1. 2.若c為任一常數(shù)，有 3.對任意倆個序列和，有 4. 5. 2、 用延遲算子表示差分運算1、p階差分 2、 k步差分 3.2 ARMA模型的性質(zhì)3.2.1 AR模型

2、定義 具有如下結(jié)構(gòu)的模型稱為p階自回歸模型，簡記為AR(p): (3.4)AR(p)模型有三個限制條件：條件一：。這個限制條件保證了模型的最高階數(shù)為p。條件二：。這個限制條件實際上是要求隨機干擾序列為零均值白噪聲序列。條件三：。這個限制條件說明當期的隨機干擾與過去的序列值無關(guān)。通常把AR(p)模型簡記為： (3.5) 當時，自回歸模型式(3.4)又稱為中心化AR(p)模型。非中心化AR(p)序列可以通過下面變化中心化AR(p)系列。令 則為的中心化序列。 AR(p)模型又可以記為： ，其中稱為p階自回歸系數(shù)多項式2、 AR模型平穩(wěn)性判斷P45【例3.1】 考察如下四個AR模型的平穩(wěn)性： 擬合這

3、四個序列的序列值，并會繪制時序圖，發(fā)現(xiàn)(1)(3)模型平穩(wěn)，(2)(4)模型非平穩(wěn)1、 特征根判別 任一個中心化AR(p)模型都可以視為一個非齊次線性差分方程。 則其齊次線性方程的特征方程為：設(shè)為齊次線性方程的p個特征根。所以 AR(p)模型平穩(wěn)的充要條件是它的p個特征根都在單位圓內(nèi)。同時等價于：AR模型的自回歸系數(shù)多項式的根，即的根，都在單位圓外。 證明：設(shè)為齊次線性方程的p個特征根，任取，帶入特征方程： 把帶入中，有 根據(jù)這個性質(zhì)，可以因子分解成：，于是可以得到非其次線性方程的一個特解： 2、 平穩(wěn)域判別 使得特征方程的所有特征根都在單位圓內(nèi)的系數(shù)集合 被稱為AR(p)模型的平穩(wěn)域。(1)

4、 AR(1)模型的平穩(wěn)域 AR(1)模型為：，其特征方程為：，特征根為：。則AR（1）模型平穩(wěn)的充要條件是,則AR(1)模型的平穩(wěn)域是(2) AR(2)模型的平穩(wěn)域 AR(2)模型為：。其特征方程為：，特征根為：。則AR（2）模型平穩(wěn)的充要條件是：，從而有： 因此可以導(dǎo)出： 所以 AR(2)模型的平穩(wěn)域： 【例3.1續(xù)】 分別用特征根判別法和平穩(wěn)域判別法檢驗如下四個AR模型的平穩(wěn)性： 其中模型特征根判別平穩(wěn)域判別結(jié)論1)平穩(wěn)2)非平穩(wěn)3)平穩(wěn)4)非平穩(wěn)3、 平穩(wěn)AR模型的統(tǒng)計性質(zhì)1、 均值 假如AR(p)滿足了平穩(wěn)性條件，于是 (3.12)由平穩(wěn)序列均值為常數(shù)的性質(zhì)得：，因為，所以 (3.12

5、)等價于 特別對于中心化AR(p)模型有。2、 方差(1) Green函數(shù)。設(shè)為平穩(wěn)AR(p)模型的特征根，則平穩(wěn)AR(p)模型可以寫成： (3.13)其中，系數(shù)稱為Green函數(shù)。 記，則(3.13)簡記為： (3.14)再將(3.14)帶入AR(p)模型中，得到 Green函數(shù)的遞推公式為： 其中(2)平穩(wěn)AR模型的方差。對平穩(wěn)AR模型兩邊就方差，有 由于，這說明平穩(wěn)序列方差有界，等于常數(shù)【例3.2】求平穩(wěn)AR(1)模型的方差。 AR(1)模型：Green函數(shù)為：，所以平穩(wěn)AR(1)模型的方差為： 3、 協(xié)方差函數(shù) 在平穩(wěn)模型等號兩邊同時乘，再求期望，得 又由，可以得到自協(xié)方差函數(shù)的遞推公

6、式： (3.17)【例3.3】求平穩(wěn)AR(1)模型的自協(xié)方差函數(shù)。 平穩(wěn)AR(1)模型的自協(xié)方差函數(shù)的遞推公式是：又由【例3.2】知，所以平穩(wěn)AR(1)模型的自協(xié)方差函數(shù)的遞推公式是：【例3.4】求平穩(wěn)AR(2)模型的自協(xié)方差函數(shù)。 求平穩(wěn)AR(2)模型的自協(xié)方差函數(shù)的遞推公式為：，特別地，當k=1時，有，即利用Green函數(shù)可以推出AR(2)模型的協(xié)方差： 所以平穩(wěn)AR(2)模型的協(xié)方差函數(shù)的推導(dǎo)公式為： 4、 自相關(guān)系數(shù)(1) 平穩(wěn)AR模型自相關(guān)系數(shù)的推導(dǎo)公式。由于，式 (3.17)兩邊同時除以，可以得到自相關(guān)系數(shù)的推導(dǎo)公式： 平穩(wěn)AR(1)模型的自相關(guān)系數(shù)推導(dǎo)公式： 平穩(wěn)AR(2)模型的

7、自相關(guān)系數(shù)推導(dǎo)公式： (2) 自相關(guān)系數(shù)的性質(zhì)。平穩(wěn)AR模型自相關(guān)系數(shù)有連個顯著的特性： 一、拖尾性 二、呈負指數(shù)衰減5、 偏自相關(guān)系數(shù)(1) 偏自相關(guān)系數(shù)的定義。定義 3.3 對于平穩(wěn)序列，所謂滯后k偏自相關(guān)系數(shù)就是指在給定中間k-1個隨機變量條件下，或者在剔除中間k-1個隨機變量的干擾后，的影響的相關(guān)度量。(2) 偏自相關(guān)系數(shù)的計算。 對于平穩(wěn)序列，用過去的k期序列值對作k階自回歸擬合，即 (3.12)式中，。在式(3.12)兩邊同時乘，并求期望，得，取前k個方程構(gòu)成的方程組：該方程組成為YuleWalker方程。用矩陣表達 (3.27)則，其中 D為式 (3.27)的行列式，為把D中第k

8、個列向量換成(3.27)等號右邊的自相關(guān)系數(shù)響亮后構(gòu)成的行列式。(3) 偏自相關(guān)系數(shù)的截尾性。 平穩(wěn)的AR(p)模型的偏自相關(guān)系數(shù)具有p步截尾性。指，只要當k>p時，。AR(1)模型的偏自相關(guān)系數(shù)為： AR(2)模型的偏自相關(guān)系數(shù)為： 3.2.2 MA模型1、 定義 定義 3.4 具有如下結(jié)構(gòu)的模型稱為q階移動平均(moving average)模型，簡記為MA(q): (3.32)使用MA(q)模型需要滿足兩個限制條件：條件一：，這個限制條件保證了模型的最高階數(shù)為q。條件二：，即隨機干擾項為零均值白噪聲序列通常把MA(q)模型簡記為： (3.33)當時，模型 (3.33)稱為中心化MA

9、(q)模型，而對非中心化模型只需做一個簡單的位移，就可以轉(zhuǎn)化證中心化MA(q)模型。使用延遲算子，中心化MA(q)模型又簡記為： ，式中，稱為q階移動平均系數(shù)多項式。2、 MA模型的統(tǒng)計性質(zhì)1、 常數(shù)均值 當時，MA(q)模型具有常數(shù)均值： 如果該模型為中心化MA(q)模型，則該模型均值為零。2、 常熟方差 3、 自協(xié)方差函數(shù)只與滯后階數(shù)相關(guān)，且q階截尾 = 4、 自相關(guān)系數(shù)q階截尾 MA(1)模型的自相關(guān)系數(shù)為 MA(2)模型的自相關(guān)系數(shù)為 5、 偏自相關(guān)系數(shù)拖尾(1)當時，MA(q)模型一定為平穩(wěn)模型。(2)MA(q)模型的偏自相關(guān)系數(shù)拖尾，自相關(guān)系數(shù)q階截尾。3、 MA模型的可逆性 為了

10、保證一個給定的自相關(guān)函數(shù)能夠?qū)?yīng)唯一的MA模型，我們就要給模型增加約束條件。這個約束條件稱為MA模型的可逆性條件。(1) 可逆的定義 MA(1)模型具有如下結(jié)構(gòu)式，他們的自相關(guān)系數(shù)正好相等： 模型1： 模型2：把這兩個MA(1)模型表示成兩個自相關(guān)模型形式： 模型1： 模型2： 顯然，時，模型1收斂，而模型2不收斂；時，模型1不收斂，而模型2收斂。若一個MA模型能夠表示成收斂的AR模型形式，那么該MA模型則稱為可逆模型。一個自相關(guān)系數(shù)唯一對應(yīng)一個可逆MA模型。(2) MA(q)模型的可逆性條件。 MA(q)模型可以表示為： (3.34)式中，稱為q階移動平均系數(shù)多項式。假定是該系數(shù)多項式的q個

11、根，則可以分解成： (3.35)把(3.35)式帶入(3.34)，得 (3.36)式(3.36)收斂的充要條件是：，等價于MA(q)模型的系數(shù)多項式的根都在單位圓外，。這個條件稱為MA(q)模型的可逆性條件。3、 逆函數(shù)的推導(dǎo)公式 如果一個MA(q)模型滿足可逆性條件，它就可以寫成如下兩種等價形式： 把(b)式帶入(a)式，得 ,由待定系數(shù)法可以得到逆函數(shù)的推導(dǎo)公式： 式中， ，P64【例3.6續(xù)】考慮【例3.6】中的四個MA模型的可逆性，并寫出可逆MA模型的逆轉(zhuǎn)形勢。4、 MA模型偏自相關(guān)系數(shù)拖尾MA(q)模型延遲k階偏自相關(guān)系數(shù)為： ，由于不會恒等于零，所以MA(q)模型偏自相關(guān)系數(shù)拖尾。

12、3.2.3 ARMA模型1、 定義定義3.5 把具有如下結(jié)構(gòu)的模型稱為自回歸移動平均模型，簡記為ARMA(p,q): (3.38) 若，該模型稱為中心化ARMA(p,q)模型。 中心化ARMA(p,q)模型可以簡記為： (3.10) 引入延遲算子后，中心化ARMA(p,q)模型又可以表示為：式中，顯然，當2、 平穩(wěn)條件與可逆條件 對于一個ARMA(p,q)模型，容易推導(dǎo)出ARMA(p,q)模型的平穩(wěn)條件是：的根都在單位圓外。ARMA(p,q)模型可逆的條件是：的根都在單位圓外。 即，當?shù)母荚趩挝粓A外是，稱ARMA(p,q)模型為平穩(wěn)可逆模型。3、 傳遞形式與逆轉(zhuǎn)形式 對于一個平穩(wěn)可逆ARMA

13、(p,q)模型，它的傳遞形式為： 式中，為Green函數(shù)?？梢缘玫紸RMA(p,q)模型下的Green函數(shù)的推導(dǎo)公式為： 可以得到ARMA(p,q)模型的逆轉(zhuǎn)形式為： 式中，為逆函數(shù)。可以得到ARMA(p,q)模型下的逆函數(shù)的推導(dǎo)公式為：其中，4、 ARMA(p,q)模型的統(tǒng)計性質(zhì)1、 均值對于一個非中心化平穩(wěn)可逆的ARMA(p,q)模型：兩邊同時求均值：2、 自協(xié)方差函數(shù)3、 自相關(guān)系數(shù)考察AR(p)、 MA(q) 、ARMA(p,q)模型的自相關(guān)系數(shù)和偏自相關(guān)系數(shù)，可以總結(jié)出模型自相關(guān)系數(shù)偏自相關(guān)系數(shù)AR(p)拖尾p階截尾MA(q) q階截尾拖尾ARMA(p,q)拖尾拖尾3.3 平穩(wěn)時間序

14、列3.3.1 時間序列建模的一般步驟Ø 怎樣判斷平穩(wěn)性？ü 什么是平穩(wěn)性？這里指寬平穩(wěn)。如果序列滿足下列條件，則稱為是平穩(wěn)的。性質(zhì)3的一個推論是，對，記為，稱為延遲為的自相關(guān)系數(shù)平穩(wěn)性的直觀含義是“序列的前二階矩不隨時間的推移而改變”，這使得我們可以把不同時間點的數(shù)據(jù)放在一起作統(tǒng)計推斷. ü 觀察時序圖 根據(jù)平穩(wěn)性的定義，平穩(wěn)序列具有常數(shù)均值和常數(shù)方差的性質(zhì)，因此其時序圖應(yīng)該在一個常數(shù)值附近波動，且波動的范圍有界； 具有明顯趨勢性和周期性的序列通常不是平穩(wěn)序列；例如： ü 自相關(guān)圖檢驗 平穩(wěn)序列通常只具有短期的自相關(guān)，即自相關(guān)函數(shù)(ACF) 往往很快的衰

15、減到零。因此衰減很慢的序列很可能是非平穩(wěn)的。 例如前面三個例子里面對應(yīng)的自相關(guān)圖分別如下： üØ 怎樣做白噪聲檢驗？ü 什么是白噪聲？如果序列滿足，則稱為白噪聲序列(White Noise),記為如果還服從正態(tài)分布，則稱為高斯白噪聲。ü 白噪聲是純隨機序列，它具有性質(zhì)， 因此我們可以通過檢驗下列假設(shè)來檢驗序列是否是白噪聲 檢驗統(tǒng)計量為LB(Ljung-Box)統(tǒng)計量在原假設(shè)成立的條件下，LB近似服從自由度為m的卡方分布時拒絕原假設(shè)。 注：為什么只需要檢驗前6期，12期或者前18期的自相關(guān)呢？這是因為一個平穩(wěn)序列通常只存在短期的自相關(guān)，如果短期之間都不存在

16、顯著的自相關(guān)，則更長期的延遲之間就更不會存在自相關(guān)了；相反的，如果存在顯著的短期自相關(guān)，則該序列必然不是白噪聲；Ø 怎樣計算自相關(guān)系數(shù)和偏自相關(guān)系數(shù)？ü 樣本自相關(guān)系數(shù)(SACF) ü 樣本偏自相關(guān)系數(shù)(SPACF) 其中，Ø 怎樣識別模型？ 所謂的模型識別就是選取是適當?shù)膒,q,也就是模型定階；ü ARMA模型的理論ACF和理論PACF理論上講，我們可以根據(jù)上述特點確定模型的階，但在實際操作中具有下列障礙a) SACF,SPACF不會出現(xiàn)理論上的完美截尾情況；本應(yīng)截尾的SACF和SPACF仍會出現(xiàn)小值震蕩的情況；b) 平穩(wěn)序列通常只具有短期相

17、關(guān)性，當k足夠大是，SACF和SPACF總會衰減到零值附近做小值震蕩。Ø 什么時候認為？由于近似服從標準正態(tài)分布，因此當時， 于是有 因此，當SACF落在2倍標準差的范圍內(nèi)是，我們認為；Ø 怎樣判斷截尾還是拖尾？如果有SACF在最初的d階明顯大于2倍標準差，而后幾乎95%的SACF都落在2倍標準差內(nèi)，且這種過程很突然，則可以視為是“截尾”；反之，如果超過5%的SACF都落在2倍標準差范圍之外，或者SACF衰減到零的過程比較緩慢連續(xù)，則通常不是截尾；例如：【例2.5】1950-1980年北京那個城鄉(xiāng)居民定期儲蓄的占比 定期儲蓄占比時序圖因此，我們可以考慮用如下的AR(1)模型

18、來擬合該數(shù)據(jù) 【例3.8】 對美國科羅拉多州某一加油站連續(xù)57天的OVERSHORT序列建模 因此，我們可以選取如下的MA(1)模型來對該數(shù)據(jù)建?！纠?.9】 對1880-1985年全球氣表平均溫度改變值差分序列(原數(shù)據(jù)不平穩(wěn)，已經(jīng)做過平穩(wěn)化處理了)原數(shù)據(jù)的時序圖差分后的時序圖上面的SACF和SPACF均沒有明顯的截尾性，因此我們可以考慮用ARMA模型來擬合，ARMA(1,1)模型：3.3.4 怎樣估計未知參數(shù)？ 主要有兩種方法：極大似然估計喝最小二乘估計。 對于下列一般的ARMA(p,q)模型， 其中， Ø 的估計由于是序列的均值，因此我們用樣本均值來估計它， 我們需要估計下列參數(shù)

19、共計未知參數(shù)；ü 極大似然估計似然原則：樣本來自使得該樣本出現(xiàn)概率最大的總體方法：找出樣本的聯(lián)合密度函數(shù)(即似然函數(shù))，找使得該函數(shù)達到最大的參數(shù)值記假設(shè)服從多元正態(tài)分布MVN(0,)，則似然函數(shù)為然后對上式求最大值得;ü 最小二乘估計最小化下面的準則 ü 條件最小二乘法實際中用得最多的是所謂的條件最小二乘法，它的想法如下：回顧ARMA模型的逆轉(zhuǎn)形式：，我們假設(shè)，則條件最小乘法最小化下列準則：在SAS軟件里，只需要在ARIMA過程里面添加如下語句即可自動得到未知參數(shù)的估計 Estimate p=*,q=*;【例2.5續(xù)】1950-1998年北京市城鄉(xiāng)居民定期儲蓄比

20、例 estimate p=1 method=ml; estimate p=1;極大似然估計的結(jié)果如下 條件最小二乘估計的結(jié)果如下因此估計的模型為 【例3.8續(xù)】美國科羅拉多州某加油站連續(xù)57天的OVERSHORT數(shù)據(jù) estimate q=1 method=ml; estimate q=1;極大似然估計的結(jié)果如下：條件最小二乘估計的結(jié)果如下：因此，估計得到的模型為 【例3.9續(xù)】1980-1985年全球氣表平均溫度改變差分值序列 estimate p=1 q=1; estimate p=1 q=1 method=ml;極大似然估計的結(jié)果如下：條件最下二乘估計的結(jié)果如下：因此，所得的模型為 &#

21、216; 模型的有效性檢驗 模型的有效性是看模型是否充分地從數(shù)據(jù)中提取了信息，因此在這里，一個有效的好的模型應(yīng)該幾乎提取了數(shù)據(jù)中所有的信息，使得剩下的殘差中不再蘊含任何相關(guān)信息，即殘差應(yīng)該是純隨機的序列，即白噪聲序列。這樣的模型才是顯著的有效的模型。 因此，在擬合模型之后我們要對殘差做白噪聲檢驗，如果檢驗結(jié)果顯示殘差非白噪聲，則說明模型不夠有效，還需要選擇其它的模型； 在SAS里面，estimate過程中會自動報告殘差的白噪聲檢驗結(jié)果；【例3.8續(xù)】美國科羅拉多州某加油站連續(xù)57天的OVERSHORT數(shù)據(jù) 結(jié)果說明MA(1)模型有效；【例3.9續(xù)】1980-1985年全球氣表平均溫度改變差分值

22、序列: 結(jié)果顯示ARMA(1,1)模型有效； 對該數(shù)據(jù)，觀察其ACF圖像，如果認為ACF1階截尾，我們擬合MA(1)模型，發(fā)現(xiàn)殘差檢驗結(jié)果如下：這表明用MA(1)模型來擬合該數(shù)據(jù)是不充分的，是非有效的。3.3.6 模型的優(yōu)化 當一個擬合的模型通過了殘差檢驗，說明了在一定的置信水平下，該模型是有效的，但是這種有效的模型并不一定唯一，因此我們需要通過模型優(yōu)化來從備選的有效模型里面選一個“最好”的模型；例如：【例3.13】取等時間間隔，讀取某次化學(xué)反應(yīng)的70個過程數(shù)據(jù)，構(gòu)成一個時間序列；現(xiàn)在要對該序列建模.SACF的圖像顯示2階截尾，因此我們可以嘗試擬合MA(2)模型結(jié)果如下：顯示MA(2)模型有效，且模