平穩(wěn)時間序列模型概述

1、第一章第一章 平穩(wěn)時間序列模型平穩(wěn)時間序列模型 組長：李國鳳組長：李國鳳 組員：李俐蕓組員：李俐蕓 孫孫 煒煒 指導教師：桂文林指導教師：桂文林2n方法 n平穩(wěn)序列建模n序列預測 neviews軟件演示本章結構3 方法 nAR模型（Auto Regression Model） nMA模型（Moving Average Model） nARMA模型（Auto Regression Moving Average model）4 時間序列的模型類型很多，我們這里只討論平穩(wěn)時間序列模型。這里講的平穩(wěn)是指寬平穩(wěn)，其特性是序列的統(tǒng)計特性不隨時間的平移而變化，即均值和協方差不隨時間的平移而變化。 n純隨機性

2、方差齊性n各序列值之間沒有任何相關關系，即為 “沒有記憶”的序列 n方差齊性 n根據馬爾可夫定理，只有方差齊性假定成立時，用最小二乘法得到的未知參數估計值才是準確的、有效的00k(k)， )0(2tDX白噪聲序列的性質數據的平穩(wěn)性n一.圖示判斷n1.平穩(wěn)時間序列在圖形上表現處圍繞其均值不斷波動的過程；2.根據相關圖，若一個隨機過程是平穩(wěn)的，其特征根應都在單位圓外，倒數都在單位圓內；3.在分析相關圖時，如果自相關函數衰減很慢，近似呈線性衰減，即可認為該序列是非平穩(wěn)的。自回歸AR模型n具有如下結構的模型稱為 階自回歸模型，簡記為n特別當 時，稱為中心化 模型tsExtsEVarExxxxtsstt

3、tptptpttt, 0, 0)(,)(0)(0222110，p)(pAR00)(pAR10第一節(jié)第一節(jié) 一階自回歸模型一階自回歸模型( (Autoregressive Model) )一、一階自回歸模型如果時間序列 ), 2 , 1(tXt后一時刻的行為主要與其前一時刻 的行為有關，而與其前一時刻以前的行為無直接關系，即一期記憶，也就是一階動態(tài)性。 描述這種關系的數學模型就是一階自回歸模型: ttiaXX11(2.1.1) 記作AR(1)。其中， tX為零均值(即中心化處理后的)平穩(wěn)序列. 1為 tX對 1tX的依賴程度， ta為隨機擾動。 111.一階自回歸模型的特點 AR(1)模型也把

4、tX分解為獨立的兩部分：一是依賴于 1tX的部分11tX；二是與 1tX不相關的部分 ta(獨立正態(tài)同分布序列 )122. AR(1)與普通一元線性回歸的區(qū)別: (1)普通線性回歸模型需要一組確定性變量值和相應的觀測值； AR(1)模型只需要一組隨機變量的觀測值。 (2)普通線性回歸表示一個隨機變量對另一個確定性變量的依存 關系；而AR(1)表示一個隨機變量對其自身過去值的依存關系。 (3)普通線性回歸是靜態(tài)模型；AR(1)是動態(tài)模型。(4)二者的假定不同。 (5)普通回歸模型實質上是一種條件回歸，AR(1)是無條件回歸。 133.相關序列的獨立化過程 (2.1.1)式的另一種形式為： 11t

5、ttXXa(2.1.3)上式揭示了AR(1)的一個實質性問題：AR(1)模型是一個使相關數據轉化為獨立數據的變化器。由于就AR(1)系統(tǒng)來說，僅有一階動態(tài)性，即在 1tX已知的條件下， tx主要表現為對 1tX的直接依賴性，顯然，只要把 tx中依賴于 1tX的部分 消除以后，剩下的部分 )(11ttXX自然就是獨立的了。 14二、 AR(1)模型的特例隨機游動 (Random walk1. 11時的AR(1)模型： 此時(2.1.1)式的具體形式為 aXXtt1也可以用差分表示aXtaXXtt1或所謂差分，就是 tX與其前一期值的差，從統(tǒng)計上講，差分結果所得到的序列就是逐期增長量。一般地k階差

6、分記作 tkX差分可以使非平穩(wěn)序列轉化為平穩(wěn)序列。Box-Jenkins(簡稱記為B-J)，就是利用類似于這種數學工具來處理非平穩(wěn)序列的。 。15n一階自回歸模型一階自回歸模型ARAR（1 1） 0102030405060708090100-2.5-2-1.5-1-0.500.511.52tttyy12 . 016n ARAR（1 1）模型的特例）模型的特例隨機游動隨機游動 tttyy12, 0WNt0102030405060708090100-12-10-8-6-4-2024172.特例形式的特性： (1)系統(tǒng)具有極強的一期記憶性，即慣性。也就是說，系統(tǒng)在t-1 和t時刻的響應，除隨機擾動外

7、，完全一致。差異完全是由擾動 引起的。 (2)在時刻t-1時，系統(tǒng)的一步超前預測就是系統(tǒng)在t-1時的響應 1tX，即 1)1(1ttXX(3)系統(tǒng)行為是一系列獨立隨機變量的和，即 0ttjjXa18 第二節(jié) 一般自回歸模型 對于自回歸系統(tǒng)來說，當 tX不僅與前期值 1tX有關，而且與 2tX相關時，顯然，AR(1)模型就不再是適應模型了。如果對這種情形擬合AR模型， ta不僅對 1tX,而且對 2tX呈現出一定的相關性， 因此，AR(1)模型就不適應了。 19一、 tata2tX的依賴性 對ta2tX當AR(1)模型中的與不獨立時,我們將 記為 ,于是tata可以分解為22tttaXa (2.

8、2.1)從而(2.2.1)式的形式變?yōu)?ttttaXXX2211(2.2.2)可見， tX與 1tX和 2tX有關，所以(2.2.2)式是一個AR(2)模型。 20二、 AR(2)模型的假設和結構 1.AR(2)模型的基本假設: tX1tX2tX(1)假設 與 和 有直接關系,而與 無關;)4 , 3(jXjt(2)ta是一個白噪聲序列。 這就是AR(2)模型的兩個基本假設。 2.AR(2)模型的結構: AR(2)模型是由三個部分組成的：第一部分是依賴于 的部 1tX分，用 表示; 11tX第二部分是依賴于 的部分;用 2tX21tX來表示.第三部分是獨立于前兩部分的白噪聲 . ta21三、

9、一般自回歸模型 當AR(2)模型的基本假設被違背以后， 我們可以類似從AR(1)到AR(2)模型的推廣方法,得到更為一般的自回歸模型AR(n)模型:tntntttaXXXX2211上式還可以表示為 ntnttttXXXXa2211可見，AR(n)系統(tǒng)的響應 tX具有 n階動態(tài)性。擬合AR(n)模 型的過程也就是使相關序列獨立化的過程。AR模型平穩(wěn)性判別方法模型平穩(wěn)性判別方法n特征根判別nAR(p)模型平穩(wěn)的充要條件是它的p個特征根都在單位圓內n根據特征根和自回歸系數多項式的根成倒數的性質，等價判別條件是該模型的自回歸系數多項式的根都在單位圓外。移動平均移動平均MA模型模型n具有如下結構的模型稱

10、為 階自回歸模型，簡記為n特別當 時，稱為中心化 模型q)(qMA0)(qMA112220( )0( ),()0,ttttqt qqtttsxEVarEst ，24 第三節(jié) 移動平均模型() AR系統(tǒng)的特征是系統(tǒng)在 t時刻的響應 tX僅與其以前時刻的響應ntttXXX,.21有關，而與之前時刻進入系統(tǒng)的擾動無關。 如果一個系統(tǒng)在 t時刻的響應 tX，與其以前時刻 , 2, 1 tt的響應 21.ttXX無關，而與其以前時刻 , 2, 1 tt進入系統(tǒng)的擾動,21ttaa存在著一定的相關關系，那么，這一類系統(tǒng)則為MA系統(tǒng)。25一、一階移動平均模型：MA(1) tX對于一個MA系統(tǒng)來說，如果系統(tǒng)的

11、響應 tX刻進入系統(tǒng)的擾動 僅與其前一時1ta 存在一定的相關關系，我們就得到模型:11tttXaa其中： ta為白噪聲。 MA(1)模型的基本假設為：系統(tǒng)的響應 僅與其前一時刻進入系統(tǒng)的擾動1ta有一定的依存關系；而且 ta為白噪聲。26二、一般移動平均模型類似與AR模型,當MA(1)的假設被違背時,我們把MA(1)模型推廣到MA(2),進而再對廣到更一般的MA(m)模型，即： mtmttttaaaaX2211tX僅與 這時12,ttt maaa有關，而與 (1,2,)tjajmm無關，且ta為白噪聲序列，這就是一般移動平均模型的基本假設。 MA模型的可逆性模型的可逆性n可逆MA模型定義 若

12、一個MA模型能夠表示稱為收斂的AR模型形式，那么該MA模型稱為可逆MA模型 一個自相關系數列唯一對應一個可逆MA模型。MA模型的可逆條件模型的可逆條件nMA(q)模型的可逆條件是：nMA(q)模型的特征根都在單位圓內n等價條件是移動平滑系數多項式的根都在單位圓外11i1iARMA模型模型的定義的定義n具有如下結構的模型稱為自回歸移動平均模型，簡記為n特別當 時，稱為中心化 模型),(qpARMAtsExtsEVarExxxtsstttqpqtqttptptt, 0, 0)(,)(0)(00211110，00),(qpARMA30第四節(jié) 自回歸移動平均模型nAutoregressive Movi

13、ng Average Model一個系統(tǒng)，如果它在時刻t的響應 tX，不僅與以前時刻的自身值有關，而且還與其以前時刻進入系統(tǒng)的擾動存在一定的依存關系，那么，這個系統(tǒng)就是自回歸移動平均系統(tǒng)，相應的模 型記作ARMA. 則對于這樣的系統(tǒng)要使響應 tX轉化為獨立序列 ta，不僅要消除 tX依賴于t時刻以前的自身部分，而且還必須消除tX依賴于t時刻以前進入系統(tǒng)的擾動的部分。 31一、ARMA(2，1)模型 ta1. ta對 2tX和 1ta的相關性 由于AR(1)模型： tttaXX11已不是適應模型，即 與 2tX1ta和不獨立，所以，這里的剩余 不是我們所假設的 tata，將其記作 ,將其分解為:

14、 tattttaaXa1122將上式代入AR(1)模型，得 112211tttttXXXaa這就是ARMA(2,1)模型。 322.ARMA(2,1)模型的基本假設 在ARMA模型中，若 tX中確實除了對 1,tX2tX和 1ta系外，在 和 已知的條件下對的依存關1tX2tX)4 , 3(jXjt和 )3 , 2(jajt不存在相關關系，那么 ta一定獨立于 )3 , 2(jajt當然也就獨立于 )4 , 3(jXjt,這就是ARMA(2,1)模型的基本假設。 333.ARMA(2,1)模型的結構從模型 112211tttttaaXXX中不難看出，ARMA(2,1)模型把 tX分解成了獨立的

15、四個部分， 所以，其結構是由一個AR(2)和一個MA(1)兩部分構成的， 具體地說， 是由上述四部分構成的。 344.相關序列的獨立化過程 將ARMA(2,1)模型如下變形： 112211tttttaXXXa可見，ARMA(2,1)是通過從 tX中消除 tX對 21,ttXX以及 1ta的依賴性之后，使得相關序列 tX轉化成為獨立序列 ta，即它是一個使相關序列轉化為獨立序列的變換器。 355.ARMA(2,1)與AR(1)的區(qū)別 從模型形式看，ARMA(2,1)比AR(1)的項數多； 從模型的動態(tài) 性看，ARMA(2,1)比AR(1)具有更長的記憶； 從計算 ta所需的資料看， ARMA(2

16、,1)需要用t 期以前的 ,21ttaa初期開始遞 ，這就需要從歸地計算出 來，通常t0 時的 tata取序列 的 ta均值零； 從參數估計來看，ARMA(2,1)比AR(1)困難得多。36二、ARMA(2，1)模型的非線性回歸為了計算 的值，必須知道 的值，然而在動態(tài)的條件tX1ta1ta下， 本身又取決于 和 ,則有 321,tttXXX2tattttttttaaXXXXXX)(213221111211tttttaaXXX2213212112111上式是非線性的，那么估計參數時，只能用非線性最小二乘法，其基本思想就是在曲面上搜索使得剩余平方和最小的參數值，有計算程序，多次迭代即可。 37三

17、、ARMA(2，1)模型的其他特殊情形 1.ARMA(1，1)當ARMA(2，1)中的系數 時，有 02ttttaaXX1121即為ARMA(1，1)模型。 2.MA(1) 當ARMA(2，1)中的系數 時，有 02111tttaaX即為MA(1)模型。 383.AR(1) 模型當ARMA(2，1)中的 時，有 012tttaXX11即為AR(1)模型。 因此，在建立模型時，首先擬合一個ARMA(2.1)模型，然后根據其參數值 和 是否顯著小這一信息，來尋找較合理21,1的模型，然后擬合出那個較合理的模型，并檢驗其適應性。 39四、ARMA(n,n-1)模型 tX如果一個ARMA(2，1)模型

18、是不適應的，則是違背了基本假設， 按照和推導ARMA(2,1)模型相同的思路，可以考慮 tX不僅依賴于 和21,ttXX1ta，可能比ARMA(2，1)的記憶長。按照這種思想，一直如此類推下去，便可得到ARMA(n,n-1)模型:111111ntnttntnttaaaXXX作如下變形 111111ntntntntttaaXXXaARMA(n,n-1)模型使相關序列 轉化為獨立序列 ta40五、 ARMA(n,n-1)與ARMA(n,m) 1.建模策略 利用上述ARMA模型的生成過程及其特性，我們可以得到對某一系統(tǒng)的一系列動態(tài)觀察數據擬合ARMA模型的基本策略。即通過逐漸增加ARMA(n,n-1

19、)模型的階數，使得越來越接近一組數據的依存關系，停止在不能使這種逼近更有效地得到改善的n的數值上。 2.ARMA(n,m)模型 ARMA(n,m)模型實際上是ARMA (n,n-1)模型的某些參數 或 ii為零的特殊情形，所以建模策略仍適應。 41六、六、 ARMA (n,n-1)模型的合理性模型的合理性 第二、理論依據：用Hilbert空間線性算子的基本理論可以證明，對于任何平穩(wěn)隨機系統(tǒng)，我們都可以用一個ARMA(n,n-1) 模型近似到我們想要達到的程度；用差分方程的理論也可以證明，對于n階自回歸，MA模型的階數應該是n-1。 第一、AR、MA、ARMA(n,m)模型都是ARMA(n,n-

20、1) 模型的特殊情形。 第三、從連續(xù)系統(tǒng)離散化過程來看，ARMA(n,n-1) 也是合理的。在一個n階自回歸線性微分方程和任意階的移動平均數的形式下，如果一個連續(xù)自回歸移動平均過程在一致區(qū)間上抽樣，那么，這個抽樣過程的結果是ARMA(n,n-1)。 平穩(wěn)條件與可逆條件平穩(wěn)條件與可逆條件nARMA(p,q)模型的平穩(wěn)條件nP階自回歸系數多項式 的根都在單位圓外n即ARMA(p,q)模型的平穩(wěn)性完全由其自回歸部分的平穩(wěn)性決定nARMA(p,q)模型的可逆條件nq階移動平均系數多項式 的根都在單位圓外n即ARMA(p,q)模型的可逆性完全由其移動平滑部分的可逆性決定0)( B0)( BARMA模型相

21、關性特征模型相關性特征平穩(wěn)時間序列建模與預測平穩(wěn)時間序列建模與預測n平穩(wěn)時間序列建模n平穩(wěn)時間序列預測第一節(jié)第一節(jié) 建模步驟建模步驟平穩(wěn)非白噪聲序列計算樣本相關系數模型識別參數估計模型檢驗模型優(yōu)化序列預測YN一、計算樣本相關系數一、計算樣本相關系數n樣本自相關系數樣本自相關系數n樣本偏自相關系數樣本偏自相關系數nttkntkttkxxxxxx121)()(DDkkk二、模型識別二、模型識別n基本原則基本原則kkk模型定階的困難模型定階的困難n因為由于樣本的隨機性，樣本的相關系數不會呈現出理論截因為由于樣本的隨機性，樣本的相關系數不會呈現出理論截尾的完美情況，本應截尾的尾的完美情況，本應截尾的

22、或或 仍會呈現出小值振蕩的仍會呈現出小值振蕩的情況。情況。n由于平穩(wěn)時間序列通常都具有短期相關性，隨著延遲階數增由于平穩(wěn)時間序列通常都具有短期相關性，隨著延遲階數增大，大， 與與 都會衰減至零值附近作小值波動？都會衰減至零值附近作小值波動？n當當 或或 在延遲若干階之后衰減為小值波動時，什么情況下在延遲若干階之后衰減為小值波動時，什么情況下該看作為相關系數截尾，什么情況下該看作為相關系數在延該看作為相關系數截尾，什么情況下該看作為相關系數在延遲若干階之后正常衰減到零值附近作拖尾波動呢？遲若干階之后正常衰減到零值附近作拖尾波動呢？ kkkkkkkkk模型定階經驗方法模型定階經驗方法n95的置信區(qū)

23、間的置信區(qū)間n模型定階的經驗方法模型定階的經驗方法n如果樣本如果樣本(偏偏)自相關系數在最初的自相關系數在最初的d階明顯大于兩倍標準階明顯大于兩倍標準差范圍，而后幾乎差范圍，而后幾乎95的自相關系數都落在的自相關系數都落在2倍標準差的倍標準差的范圍以內，而且通常由非零自相關系數衰減為小值波動的范圍以內，而且通常由非零自相關系數衰減為小值波動的過程非常突然。這時，通常視為過程非常突然。這時，通常視為(偏偏)自相關系數截尾。截自相關系數截尾。截尾階數為尾階數為d。22Pr0.9522Pr0.95kkknnnn三、參數估計三、參數估計n待估參數待估參數非中心化非中心化ARMA(P,q)模型有模型有

24、個未知參數個未知參數 n常用估計方法常用估計方法n矩估計矩估計n極大似然估計極大似然估計n最小二乘估計最小二乘估計2p q 211, ,pq 1.1.矩估計矩估計n原理原理n樣本自相關系數估計總體自相關系數樣本自相關系數估計總體自相關系數n樣本一階均值估計總體均值，樣本方差估計總體方差樣本一階均值估計總體均值，樣本方差估計總體方差111111( ,)( ,)pqp qpqp q 1niixxn2221221211xqp2.2.極大似然估計極大似然估計n原理原理n在極大似然準則下，認為樣本來自使該樣本出現概率最大在極大似然準則下，認為樣本來自使該樣本出現概率最大的總體。因此未知參數的極大似然估計

25、就是使得似然函數的總體。因此未知參數的極大似然估計就是使得似然函數（即聯合密度函數）達到最大的參數值（即聯合密度函數）達到最大的參數值 ,);(max),;,(21121kkxpxxL3.3.最小二乘估計最小二乘估計n原理原理n使殘差平方和達到最小的那組參數值即為最小二乘估計值使殘差平方和達到最小的那組參數值即為最小二乘估計值 211111)(min)(min)(ntqtqtptpttxxxQQ4.4.條件最小二乘估計條件最小二乘估計n實際中最常用的參數估計方法實際中最常用的參數估計方法n假設條件假設條件n殘差平方和方程殘差平方和方程n解法解法n迭代法迭代法0,0txtnitititnitxx

26、Q121112)(四、模型檢驗四、模型檢驗n模型的顯著性檢驗模型的顯著性檢驗n整個模型對信息的提取是否充分整個模型對信息的提取是否充分n參數的顯著性檢驗參數的顯著性檢驗n模型結構是否最簡模型結構是否最簡1.1.模型的顯著性檢驗模型的顯著性檢驗n目的目的n檢驗模型的有效性（對信息的提取是否充分）檢驗模型的有效性（對信息的提取是否充分）n檢驗對象檢驗對象n殘差序列殘差序列n判定原則判定原則n一個好的擬合模型應該能夠提取觀察值序列中幾乎一個好的擬合模型應該能夠提取觀察值序列中幾乎所有的樣本相關信息，即殘差序列應該為白噪聲序所有的樣本相關信息，即殘差序列應該為白噪聲序列列 n反之，如果殘差序列為非白噪

27、聲序列，那就意味著反之，如果殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關信息未被提取，這就說明殘差序列中還殘留著相關信息未被提取，這就說明擬合模型不夠有效擬合模型不夠有效假設條件假設條件n原假設：殘差序列為白噪聲序列原假設：殘差序列為白噪聲序列n備擇假設：殘差序列為非白噪聲序列備擇假設：殘差序列為非白噪聲序列0120,1mHm：mkmHk，：至少存在某個1, 012.參數顯著性檢驗參數顯著性檢驗n目的目的n檢驗每一個未知參數是否顯著非零。刪除不顯著參數使模檢驗每一個未知參數是否顯著非零。刪除不顯著參數使模型結構最精簡型結構最精簡 n假設條件假設條件n檢驗統(tǒng)計量檢驗統(tǒng)計量mjHHjj

28、10:0:10)()(mntQamnTjjjj五、模型優(yōu)化五、模型優(yōu)化n問題提出問題提出n當一個擬合模型通過了檢驗，說明在一定的置信水當一個擬合模型通過了檢驗，說明在一定的置信水平下，該模型能有效地擬合觀察值序列的波動，但平下，該模型能有效地擬合觀察值序列的波動，但這種有效模型并不是唯一的。這種有效模型并不是唯一的。n優(yōu)化的目的優(yōu)化的目的n選擇相對最優(yōu)模型選擇相對最優(yōu)模型 n問題問題 同一個序列可以構造兩個擬合模型，兩個模型都顯著有效，同一個序列可以構造兩個擬合模型，兩個模型都顯著有效，那么到底該選擇哪個模型用于統(tǒng)計推斷呢？那么到底該選擇哪個模型用于統(tǒng)計推斷呢？ n解決辦法解決辦法n確定適當的

29、比較準則，構造適當的統(tǒng)計量，確定相對最優(yōu)確定適當的比較準則，構造適當的統(tǒng)計量，確定相對最優(yōu)1.AIC1.AIC準則準則n最小信息量準則（最小信息量準則（An Information Criterion） n指導思想指導思想似然函數值越大越好似然函數值越大越好 ，未知參數的個數越少越好未知參數的個數越少越好 nAIC統(tǒng)計量統(tǒng)計量L為模型的極大似然值為模型的極大似然值)(2)ln(2未知參數個數nAIC未知參數個數）(2ln2LAIC估計是殘差方差的極大似然22.SBC2.SBC準則準則nAIC準則的缺陷準則的缺陷n在樣本容量趨于無窮大時，由在樣本容量趨于無窮大時，由AIC準則選擇的模型不收斂準則選擇的模型不收斂于真實模型，它通常比真實模型所含的未知參數個數要多于真實模型，它通常比真實模型所含的未知參數個數要多 nSBC統(tǒng)計量統(tǒng)計量)(ln()ln(2未知參數nnSBC第二節(jié)序列預測第二節(jié)序列預測n誤差分析誤差分析nAR（P）序列的預測）序列的預測nMA（q）序列的預測）序列的預測nARMA（p,q）的預測）的預測n修正預測修正預測序列預測序列預測n線性預測函數線性預測函數n預測方差最小原則預測方差最小原則10titiixC x ( )( )min( )t lxttVare lVar e l序列分解序列分解 111111( )( )t lt lt lltltlt