《時間序列分析-基于Python》 課件 ch3 平穩(wěn)時間序列分析

平穩(wěn)時間序列分析03Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04Wold分解定理Wold分解定理的產(chǎn)生背景1938年,H.Wold在他的博士論文“AStudyintheAnalysisofStationaryTimeSeries”中提出了著名的平穩(wěn)序列分解定理。這個定理是平穩(wěn)時間序列分析的理論基石。Wold分解定理的內(nèi)容對于任意一個離散平穩(wěn)時間序列,它都可以分解為兩個不相關的平穩(wěn)序列之和,其中一個為確定性的(deterministic),另一個為隨機性的(stochastic),不妨記作式中：為確定性平穩(wěn)序列，為隨機性平穩(wěn)序列Wold分解定理中確定性序列的性質確定性序列的真實生成機制可以是任意方式。換言之的真實波動可以是時間的任意函數(shù)（前提是保證序列的平穩(wěn)性）。Wold證明不管的生成機制是怎樣的，它都可以等價表達為歷史序列值的線性函數(shù)所以，Wold分解定理中確定性序列的性質是：序列的當期波動可以由其歷史序列值解讀的部分。Wold分解定理中隨機性序列的性質Wold分解定理中，隨機序列代表了不能由序列的歷史信息解讀的隨機波動部分Wold證明這部分信息可以等價表達為式中：稱為新息過程（innovationprocess），是每個時期加入的新的隨機信息。它們相互獨立，不可預測，通常假定，。且有所以，Wold分解定理中隨機性序列的性質是：序列的當期波動不可以由其歷史序列值解讀的部分。波動序列的方差對任意平穩(wěn)序列而言，令關于q期歷史序列值做線性回歸式中為回歸殘差序列，不妨記該序列的方差為。隨著的增大單調非增，且。的大小可以衡量歷史信息對現(xiàn)時值的預測精度。越小，說明基于q期歷史信息對未來的預測精度越高；越大，則說明序列隨機性很大，q期歷史信息對未來的預測精度很差。如果，說明序列的歷史信息幾乎可以完全預測未來的波動，這時稱為確定性序列。如果說明序列的歷史信息對預測未來波動完全沒有作用，這時稱為純隨機序列。絕大多數(shù)序列是介于確定性序列和純隨機序列中間，即，這時稱為隨機序列。Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04AR模型的定義具有如下結構的模型稱為p階自回歸模型，簡記為特別當時，稱為中心化模型令，稱是的中心化序列自回歸系數(shù)多項式引進延遲算子，中心化模型又可以簡記為

稱下式為p階自回歸系數(shù)多項式延遲算子延遲算子類似于一個時間指針，當前序列值乘以一個延遲算子，就相當于把當前序列值的時間向過去撥了一個時刻記B為延遲算子，有

所以模型的簡寫形式如下導出延遲算子的性質

，其中

例3-1考察如下四個模型的平穩(wěn)性例3-1時序圖平穩(wěn)特征非平穩(wěn)特征AR模型平穩(wěn)性判別

判別原因要擬合一個平穩(wěn)序列的發(fā)展,用來擬合的模型顯然也應該是平穩(wěn)的。AR模型是常用的平穩(wěn)序列的擬合模型之一,但并非所有的AR模型都是平穩(wěn)的。

判別方法特征根判別法平穩(wěn)域判別法特征根判別線性差分方程：稱具有如下形式的方程為序列的p階線性差分方程式中，；為實數(shù)；為t的某個已知函數(shù)。特別地，當時，如下差分方程稱為p階齊次線性差分方程根據(jù)Wold分解定理，任意一個平穩(wěn)序列，都可以視為一個線性差分方程齊次線性差分方程的通解判別原因要擬合一個平穩(wěn)序列的發(fā)展,用來擬合的模型顯然也應該是平穩(wěn)的。AR模型是常用的平穩(wěn)序列的擬合模型之一,但并非所有的AR模型都是平穩(wěn)的。

判別方法特征根判別法平穩(wěn)域判別法自回歸方程的解任一個中心化模型都可以視為一個非齊次線性差分方程，它的通解求法如下（1）求齊次線性差分方程的一個通解（2）求非齊次線性差分方程的一個特解（3）求非齊次線性差分方程的通解

齊次線性差分方程的通解齊次線性差分方程的求解要借助它的特征方程和特征根。p階齊次線性差分方程的特征方程為特征方程的非零根稱為特征根。p階齊次線性差分方程有p個特征根，不妨記作根據(jù)差分方程理論，p階齊次線性差分方程的通解為（假設由d個相同實根，m個共軛虛根）非齊次線性差分方程的解非齊次線性差分方程的解等于齊次線性差分方程的通解，再加上一個特解所謂特解就是使非齊次線性差分方程成立的任一值，即例3-2驗證一階齊次線性差分方程的通解為，為任意實數(shù)?！纠?-2解】該差分方程的特征方程為：特征根為：容易驗證是該差分方程的解：例3-2續(xù)求一階線性差分方程的解?！纠?-2續(xù)解】在例3-2中，我們求出該差分方程的通解為：特解可以用任意方式求出，本例嘗試求出該差分方程的一個常數(shù)特解則所以該差分方程的解為：例3-2驗證二階齊次線性差分方程的通解為，為任意實數(shù)。【例3-2】該差分方程的特征方程為：特征根為：容易驗證是該差分方程的解：例3-2續(xù)求二階線性差分方程的解?！纠?-2續(xù)解】在例3-2中，我們求出該差分方程的通解為：可以求出該差分方程的一個常數(shù)特解為：所以該差分方程的解為：平穩(wěn)序列的解根據(jù)Wold分解定理，任意平穩(wěn)序列都可以等價表達為p階線性差分方程它的特征方程為它的p個非零特征根為，假設為該序列的任意特解，則該平穩(wěn)序列的解為其中：為任意實數(shù)。平穩(wěn)序列特征根的性質平穩(wěn)序列必須滿足始終在均值附近波動，不能隨著時間的遞推而發(fā)散，即為了保證上式對于任意實數(shù)都成立，就必須要求每個特征根的冪函數(shù)都不能發(fā)散，即

進而推導出平穩(wěn)序列必須滿足每個特征根的絕對值都小于1這意味著，如果我們能把一個平穩(wěn)序列所有的特征根都求出來并且都標注在坐標軸上，那么該序列所有的特征根都應該在半徑為1的單位圓內(nèi)。如果序列有特征根在單位圓上或圓外，那么這個序列就是非平穩(wěn)的。所以這個判斷序列是否平穩(wěn)的性質也稱為平穩(wěn)序列的單位根屬性。特征根判別p階自回歸序列平穩(wěn)，要求p個非零特征根都在單位圓內(nèi)，即在引入延遲算子之后,我們還可以推導出跟特征根判別等價的性質:p階自回歸序列平穩(wěn)的條件是自回歸系數(shù)多項式的p個根都在單位圓外平穩(wěn)域判別對于一個模型而言，如果沒有平穩(wěn)性的要求，實際上也就意味著對參數(shù)向量沒有任何限制，它們可以取遍維歐氏空間的任意一點如果加上了平穩(wěn)性限制，參數(shù)向量就只能取維歐氏空間的一個子集，使得特征根都在單位圓內(nèi)的系數(shù)集合對于低階自回歸模型用平穩(wěn)域的方法判別模型的平穩(wěn)性通常更為簡便

AR(1)模型平穩(wěn)條件方程結構特征根平穩(wěn)域AR(2)模型的平穩(wěn)條件方程結構特征根平穩(wěn)域AR(2)的平穩(wěn)域例3-1續(xù)分別用特征根判別法和平穩(wěn)域判別法檢驗例3-1中四個AR模型的平穩(wěn)性例3.1平穩(wěn)性判別模型特征根判別平穩(wěn)域判別結論(1)平穩(wěn)(2)非平穩(wěn)(3)平穩(wěn)

(4)非平穩(wěn)平穩(wěn)AR模型的統(tǒng)計性質——均值

如果AR(p)模型滿足平穩(wěn)性條件，則有根據(jù)平穩(wěn)序列均值為常數(shù)，且為白噪聲序列，有推導出平穩(wěn)AR模型的統(tǒng)計性質——方差要得到平穩(wěn)AR(p)模型的方差,需要借助Green函數(shù)的幫助Green函數(shù)的定義假設為任意p階的平穩(wěn)AR模型,那么一定存在一個常數(shù)序列使得可以等價表達為純隨機序列的線性組合,即

這個常數(shù)序列就稱為Green函數(shù)

基于Green函數(shù)，可以求出AR(p)模型的方差為Green函數(shù)的遞推公式原理方法：待定系數(shù)法例3-3求平穩(wěn)AR(1)模型的Green函數(shù)的遞推公式,并基于Green函數(shù)求解AR(1)模型的方差。平穩(wěn)AR(1)模型的Green函數(shù)遞推公式為平穩(wěn)AR(1)模型的方差為平穩(wěn)AR模型的統(tǒng)計性質——協(xié)方差函數(shù)在平穩(wěn)AR(p)模型兩邊同乘，再求期望根據(jù)得協(xié)方差函數(shù)的遞推公式例3-4求平穩(wěn)AR(1)模型的協(xié)方差遞推公式因為平穩(wěn)AR(1)模型的方差為所以協(xié)方差函數(shù)的遞推公式為例3-5求平穩(wěn)AR(2)模型的協(xié)方差AR(2)模型協(xié)方差函數(shù)遞推公式特別地，當k=1時，例3-5平穩(wěn)AR(2)模型的方差求解（方法一：基于Green函數(shù)遞推）AR(2)模型的Green函數(shù)為記

，

，則上面Green函數(shù)等號兩邊求平方，累加得且例3-5平穩(wěn)AR(2)模型的方差求解（方法一）把

代入

，得整理得

所以平穩(wěn)AR(2)模型的方差為例3-5平穩(wěn)AR(2)模型的方差求解（方法二：基于方程組求解）基于AR(2)模型的協(xié)方差遞推方程，可以得到如下聯(lián)立方程用方程組表示即為例3-5平穩(wěn)AR(2)模型的方差求解（方法二）解方程得平穩(wěn)AR(2)模型的方差為例3-5所以平穩(wěn)AR(2)模型的協(xié)方差函數(shù)遞推公式為平穩(wěn)AR模型的統(tǒng)計性質——自相關系數(shù)自相關系數(shù)的定義平穩(wěn)AR(P)模型的自相關系數(shù)遞推公式常用AR模型自相關系數(shù)遞推公式AR(1)模型AR(2)模型AR模型自相關系數(shù)的性質AR模型的自相關系數(shù)的表達式實際上是一個齊次差分方程，它的通解形式為根據(jù)自相關系數(shù)的通解形式，可以判斷AR模型的自相關系數(shù)具有如下特征呈指數(shù)衰減拖尾性例3-6考察如下AR模型的自相關圖例3-6自相關圖例3-6圖示解釋從上圖中可以看到,這四個平穩(wěn)AR模型,不論它們是AR(1)模型還是AR(2)模型,不論它們的特征根是實根還是復根,是正根還是負根,它們的自相關系數(shù)都呈現(xiàn)出拖尾性和呈指數(shù)衰減到零值附近的性質。但由于特征根不同,它們的自相關系數(shù)衰減的方式也不一樣有的是按負指數(shù)單調衰減(如模型(1))有的是正負相間地衰減(如模型(2))有的呈現(xiàn)出類似于周期性的余弦衰減,即具有“偽周期”特征(如模型(3))有的是不規(guī)則衰減（如模型(4)）偏自相關系數(shù)偏自相關系數(shù)的定義對于平穩(wěn)序列，所謂滯后k偏自相關系數(shù)就是指在給定中間k-1個隨機變量的條件下，或者說，在剔除了中間k-1個隨機變量的干擾之后，對影響的相關度量。用數(shù)學語言描述就是偏自相關系數(shù)的計算基于Yule-Walker方程組計算偏自相關系數(shù)在方程等號兩邊同時乘以，等號兩邊求期望再除以方差，得取前k個方程構成的方程組即Yule-Walker方程組解Yule-Walker方程組可以得到參數(shù)的解，最后一個參數(shù)的解即為延遲K偏自相關系數(shù)AR(1)模型偏自相關系數(shù)的計算AR(1)模型Jule-Walker方程偏自相關系數(shù)的解AR(2)模型偏自相關系數(shù)的計算Yule-Walker方程求解基于矩陣結構計算偏自相關系數(shù)證明AR(p)模型偏自相關系數(shù)p階截尾所謂p階截尾,是指。要證明這一點,實際上只要能證明當時,即可。例3-6續(xù)求如下AR模型的偏自相關系數(shù)，并考察它們的偏自相關圖特征例3-6續(xù)求AR模型的偏自相關系數(shù)例3-6續(xù)考察AR序列的偏自相關圖Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04MA模型的定義具有如下結構的模型稱為階自回歸模型，簡記為特別當時，稱為中心化模型引進延遲算子，中心化模型又可以簡記為其中稱為q階移動平均系數(shù)多項式MA模型的統(tǒng)計性質常數(shù)均值常數(shù)方差自協(xié)方差函數(shù)與自相關系數(shù)q階截尾常用MA模型的自相關系數(shù)MA(1)模型MA(2)模型例3-7繪制下列MA模型的樣本自相關圖,直觀考察MA模型自相關系數(shù)截尾的特性。例3-7MA模型的自相關圖

MA(1)模型自相關圖特征解讀考察上面兩個MA(1)模型的自相關圖，排除樣本隨機性的影響,樣本自相關圖清晰顯示出MA(1)模型自相關系數(shù)一階截尾考察上面兩個MA(1)模型的自相關圖，可以發(fā)現(xiàn)這兩個不同的MA模型具有完全相同的自相關圖。容易驗證它們的理論自相關系數(shù)也正好相等MA(2)模型自相關圖特征解讀考察上面兩個MA(2)模型的自相關圖，排除樣本隨機性的影響,樣本自相關圖清晰顯示出MA(2)模型自相關系數(shù)二階截尾考察上面兩個MA(2)模型的自相關圖，可以發(fā)現(xiàn)這兩個不同的MA模型具有完全相同的自相關圖。容易驗證它們的理論自相關系數(shù)也正好相等MA模型的可逆性例3-7演示了不同的MA模型，可能具有完全相同的自相關系數(shù)的現(xiàn)象。產(chǎn)生這種現(xiàn)象的原因就是我們在第二章中提到的：自相關系數(shù)有可能不唯一。這種自相關系數(shù)的不唯一性，會給我們將來的工作增加麻煩。因為，將來我們都是通過樣本自相關系數(shù)顯示出來的特征選擇合適的模型擬合序列的發(fā)展，如果自相關系數(shù)和模型之間不是一一對應關系，就將導致擬合模型和隨機序列之間不會是一一對應關系。為了保證一個給定的自相關函數(shù)能夠對應唯一的模型，我們就要給模型增加約束條件。這個約束條件稱為模型的可逆性條件?？赡鍹A模型定義：若一個MA模型能夠表示成為收斂的AR模型形式，那么該MA模型稱為可逆MA模型可逆概念的重要性：一個自相關系數(shù)列唯一對應一個可逆MA模型。MA模型的可逆性可逆MA(1)模型MA(q)模型的可逆條件MA模型的可逆條件MA(q)模型的可逆概念和AR(p)模型的平穩(wěn)概念是對偶概念。MA(q)模型的可逆條件是該模型特征方程的q個非零特征根都在單位圓內(nèi)或移動平滑系數(shù)多項式的根都在單位圓外低階MA模型系數(shù)可逆域根據(jù)MA模型的結構，求出特征方程的特征根，根據(jù)特征根都在單位圓內(nèi)的約束條件，可以求出滿足可逆條件的系數(shù)取值空間，這就是MA模型的系數(shù)可逆域。MA模型的系數(shù)可逆域與AR模型的平穩(wěn)域具有對偶關系MA(1)模型的系數(shù)可逆域MA(2)模型的系數(shù)可逆域逆函數(shù)的遞推公式原理待定系數(shù)法遞推公式例3.7續(xù)考察如下MA模型的可逆性MA1)—(2)模型1

模型2模型2的逆函數(shù)模型2的逆轉形式兩個MA(1)模型可逆性判斷MA模型的可逆條件MA1)—(2)模型3

模型4模型3的逆函數(shù)模型3的逆轉形式兩個MA(2)模型可逆性判斷MA模型的可逆條件MA模型偏自相關系數(shù)拖尾對于一個可逆模型，可以等價寫成模型形式其中AR(p)模型偏自相關系數(shù)p階截尾，所以可逆MA(q)模型偏自相關系數(shù)階截尾，即具有偏自相關系數(shù)拖尾屬性。一個可逆MA(q)模型一定對應著一個與它具有相同自相關系數(shù)和偏自相關系數(shù)的不可逆MA(q)模型，這個不可逆MA(q)模型也同樣具有偏自相關系數(shù)拖尾特性。例3-8

求MA(1)模型偏自相關系數(shù)的表