時(shí)間序列分析-第二章自回歸模型

1、第二章 自回歸模型本章目錄本章目錄推移算子和常系數(shù)差分方程自回歸模型及其平穩(wěn)性 序列的譜密度和Yule-Walker方程平穩(wěn)序列的偏相關(guān)系數(shù)和Levinson遞推公式 序列舉例)(pAR)(pAR2.1推移算子和常系數(shù)差分方程一.推移算子 對(duì)任何時(shí)間序列 和無(wú)窮級(jí)數(shù) 只要級(jí)數(shù) 在某種意義下收斂，就定義并稱B是時(shí)間t的后向推移算子，簡(jiǎn)稱推移算子。 推移算子有稱為時(shí)滯算子或延遲算子，推移算子的性質(zhì)：（1）對(duì)和t無(wú)關(guān)的隨機(jī)變量Y有BY=Y，（2）（3） tX( )jjjzb zjtjjb X( )( )jjjjtjtjtjjjbXbXb X ()nnttt nBaXaB XaX()n mnmttt

2、n mBXBBXX （4）對(duì)多項(xiàng)式（5) 對(duì)多項(xiàng)式 的乘積 有(6) 對(duì)時(shí)間序列 ， ,多項(xiàng)式 和隨機(jī)變量U,V,W有 00( )( )ppjjtjtjjjzc zB Xc X有0( )pjjjjjzc zz和 (z)=d( )( )A zz(z)( )( )( )tttA B XBXB X(z)(B)tX tY0( )pjjjzc z( )()( )( )(1)ttttB UXVYWUB XVB YW二.常系數(shù)齊次線性差分方程 給定p個(gè)實(shí)數(shù) ,我們稱為p階齊次常系數(shù)線性差分方程，簡(jiǎn)稱齊次差分方程。 滿足上式方程的實(shí)數(shù)列稱為它的解， 滿足上式的實(shí)值（或復(fù)值）時(shí)間序列也成為它的解。上式的解可以由

3、p個(gè)初值逐次遞推得到若初值是隨機(jī)變量則遞推得到的是時(shí)間序列。 12,0ppa aa a 11220,tttptpXa Xa Xa XtZ1122112211,1,0tttptptptttptppXa Xa Xa XtpXXa Xa XaXtpa 用推移算子把差分方程寫成 稱為差分方程的特征多項(xiàng)式。解有線性性質(zhì)： 和Y t 是解，則 也是解。 差分方程的基礎(chǔ)解：設(shè)多項(xiàng)式A(z)是k個(gè)互不相同的零點(diǎn) ，其中z j是r(j)重零點(diǎn)?？梢宰C明對(duì)每個(gè)z j有 1( )0,( )10,1pjtjjA B XtZA za zz 其中( )A ztX+ttXY12,kz zz( )0,0,1,2,( )1tj

4、A B t zlr j證明:設(shè)A(z)有分解則有1( )11( )1( )(1)( )(1)kr jjjkr jjjA zz zA Bz B 齊次線性差分方程的通解 定理1.1 設(shè)A(z)是k個(gè)互不相同的零點(diǎn) 其中z j 是r(j)重零點(diǎn)。則 是（1.2）的p個(gè)解，而且（1.2)的任何解都可以寫成 這p個(gè)解的線性組合（1.7） 其中的隨機(jī)變量 可以由 的初值唯一決定，（1.7）稱為齊次線性差分方程（1.2）的通解。 12,kz zz,0,1,2,( )1,1,2,t ljz tlr jjk( ) 1,10,r jkttl jjjlXU t zt Z , l jUtX差分方程（1.2）的實(shí)值解可

5、以表示為 可以由初始值唯一決定。 通解的收斂性 如果差分方程的特征多項(xiàng)式A(Z)的根都在單位圓外：取于是方程的任意解滿足 稱Xt以負(fù)指數(shù)階收斂到0.( ) 1,10cos(),r jktl jjjjjlV ttt Z ,l jl jV1,1,2,( )0,1jzjkA zz 或1min:1,2,(/)()jllttjjzjkt ztzo則() . .,ttXoa s t 通解不收斂的情形 如果特征多項(xiàng)式有單位根，則方程有一個(gè)周期解 如果單位圓內(nèi)有根，則方程有一個(gè)爆炸解cos(),tjXt tZ 1()cos(),tjjXt tZ 非齊次線性差分方程及其通解設(shè)Yt為實(shí)值時(shí)間序列（1.10）滿足（

6、1.10）的時(shí)間序列稱為（1.10）的解。如果有（1.10）的某個(gè)解，則通解可以寫成( ),ttA B XY tZ( ) 1(0),10,r jktttl jjjlXXU t zt Z 2.2 自回歸模型及其平穩(wěn)性例子：?jiǎn)螖[的120個(gè)觀測(cè)值(a=-0.35)020406080100120-4-202468單擺的120個(gè)觀測(cè)值(a=-0.85)：020406080100120-8-6-4-202468單擺的10000個(gè)觀測(cè)值(a=1)：010002000300040005000600070008000900010000-80-60-40-20020406080100單擺的120個(gè)觀測(cè)值(a=-1

7、.25)：020406080100120-4-3-2-10123x 1012 模型 定義2.1（ 模型） 如果 是白噪聲WN(0， ),實(shí)數(shù) 使得多項(xiàng)式A(z)的零點(diǎn)都在單位圓外 則稱P階差分方程是一個(gè)p階自回歸模型，簡(jiǎn)稱為 模型 )(pAR)(pAR t212,0ppa aa a 1( )10,1pjjjA za zz 1,ptjtjtjXa XtZ)(pAR 滿足 模型(2.5)的平穩(wěn)時(shí)間序列稱為（2.5）的平穩(wěn)解或序列 稱 為 模型的自回歸系數(shù)。 稱條件（2.4）是穩(wěn)定性條件或最小相位條件。 A（z）稱為模型（2.5）的特征多項(xiàng)式。 的平穩(wěn)解 設(shè)多項(xiàng)式A(Z)的互異根是 取 從而有泰勒級(jí)

8、數(shù))(pAR)(pAR12( ,)Tpaa aa)(pAR)(pAR210t0, WN(0,xx生成）1minjz10tjtjjXA t（B)令如果Xt是（2.6）的平穩(wěn)解，則由此可見(jiàn)平穩(wěn)解如果存在必然為稱為平穩(wěn)序列的Wold系數(shù)。10)jjjAB（B11( ) ( )( )tttXAB A B XAB10( )ttjtjjXAB Wold系數(shù)的推導(dǎo)0( )jjjA za z 0記a =-1則100( )( )()pmjmjmjA z Azaz 1=1=,1,2.0pmmjjam于是，m01=,1,2.pmmjjam于是AR(p)的平穩(wěn)解及通解定理 定理2.1 （1） 由（2.9）定義的時(shí)間序

9、列是AR(p)模型 （2.5）的唯一平穩(wěn)解。 （2）AR(p)的模型的通解有如下的形式(-1,010,r jkttjtjl jjjjlYU t ztZ ）引理2 設(shè)實(shí)系數(shù)多項(xiàng)式 且滿足最想相位條件則存在0使得1( )10,1pjjjA zzz 101,1( )jjjAzzA z （z)定理2.1的證明通解與平穩(wěn)解的關(guān)系A(chǔ)R()的通解Yt與平穩(wěn)解有如下關(guān)系可以用此事實(shí)作為模擬產(chǎn)生AR()序列的理論基礎(chǔ)。 (-1,10(), . .1minr jkttttl jjjljYXU t zoa stz ）其中AR序列的模擬取迭代得到取n0取50即可，但特征根接近單位圓是要取大的n0210t0, WN(0

10、,xx生成）,1,2,tn0tt+ny =xAR(p)模擬(AR(4)01020304050607080-6-4-2024601020304050607080-3-2-1012342.3 AR()序列的譜密度和Yule-Walker方程 AR()序列的譜密度 由線性平穩(wěn)列的譜密度公式得到平穩(wěn)解的譜密度 如果A(Z)有靠近單位圓的根 則 會(huì)接近于零，造成譜密度在 處有一個(gè)峰值。 22022( )21( )2()ijjjifefA ejije()jiA ej22001011min ,()()jjkjj kjljjl kkl kl kzocc設(shè)則）有即 為復(fù)指數(shù)衰減。Xt序列前后的相關(guān)減少很快，稱為

11、時(shí)間序列的短記憶性。k自協(xié)方差函數(shù) 因?yàn)锳R()的平穩(wěn)解為 由線性平穩(wěn)性質(zhì)知道Xt為零均值，自協(xié)方差函數(shù)為10tjtjjXA t（B)20(),0,1,2.kt ktjj kjE XXk 譜密度的自協(xié)方差函數(shù) 譜函數(shù)的定義是滿足 是非負(fù)可積函數(shù)。利用公式計(jì)算-=e( )dikkfk-2l(l-j)-j=002l(l-j-k)j=0020=e( )ded2ed2ikkjlljlljj kjf 定理3.1 如果平穩(wěn)序列Xt的自協(xié)方差函數(shù)k絕對(duì)可和：則 Xt有譜函數(shù)（3.4） 由于譜函數(shù)是實(shí)值函數(shù)，所以（3.4）還可以寫成 k 1( )2ikkjfe0111( )cos()2cos()22kkkkf

12、kk推論3.2 AR(）的平穩(wěn)解序列Xt有譜密度Yule-Walker方程 對(duì)np,把 的遞推時(shí)寫成矩陣形式的 2211( )22()jikkikfeA e11,ttt nXXX 12111112311,1,2,12(,.)( ,.,0,.0)tttt ntttttntnt nt nt ntt nTTnnnn npXXXXXXXXaXXXXaaaaa aa 其中定義Xt的自協(xié)方差矩陣 在上式中兩邊同時(shí)乘上Xt-1后取得數(shù)學(xué)期望，利用Xt與未來(lái)輸入的不相關(guān)性有01111022120=nnnnnnn 和n1122=a ,.,1( )0,1nnkkkpkpknpaaakA Bk22012122()(

13、)ptjtjtjpjtjtjTnnnTnnEXEa XEa XEaaa對(duì) 有于是可以寫成AR(）序列的自協(xié)方差函數(shù)Y Yule-Walker 方程定理3.3（ Y Yule-Walker方程） AR(）序列的自協(xié)方差函數(shù)滿足 02n0=a ,=,Tnnnnanp自協(xié)方差函數(shù)的周期性 對(duì)k0,定義 推論3.4 AR(）序列的自協(xié)方差函數(shù) 滿足和AR(）模型 相應(yīng)的差分方程證明： 0kk( )ttA B X2011221 1.),nnnnkYaaYa YaYkZ 1122t-k020(.)()()kkkpkpt ktjtjt kjtjkkaaaE XXa XE XE ptjj=1時(shí)即定理結(jié)論。k0

14、,例子：AR(4）模型1 周期為2/(/3)=6和2/(2/3)=3 AR(4）模型2 AR(4）模型3 /32/31234,1.09,1.098iiz zez ze/32/31234,1.26,1.273iiz zez ze/32/31234,1.635,1.647iiz zez zeAR(4)模型1的譜密度00.511.522.533.500.511.522.5lamda=1.1lamda=2.070510152025-1.5-1-0.500.511.522.53AR(4)模型1、2、3的譜密度00.511.522.533.500.511.522.50510152025-1.5-1-0.5

15、00.511.522.53自協(xié)方差函數(shù)的正定性 AR(）平穩(wěn)解唯一故自協(xié)方差函數(shù)自回歸系數(shù)和白噪聲唯一決定。 反之，若 正定，則根據(jù)Yule-Walker方程可以從 解出AR(）模型的自回歸系數(shù)和白噪聲的方差 其中 許多自協(xié)方差矩陣是正定的，特別AR(）序列的自協(xié)方差矩陣總是正定的。 p12,p212,p 1210,pppppp 定理3.5 設(shè) 是平穩(wěn)序列Xt的n階自協(xié)方差矩陣， 。 （1）如果Xt的譜密度 存在，則對(duì) 正定； (2) 如果 ，則對(duì) 正定。證明：（1）對(duì) 至多有n-1個(gè)零點(diǎn)。 ，于是 n00f（ ）1,nn 1,nn lim0kn1121( ,) ,nTjnjjbb bbb z

16、0( )0fd1( )0nTijnjjbbb efd 推論3.6 線性平穩(wěn)序列的自協(xié)方差矩陣總是正定的。 定理3.7 設(shè)離散譜序列Xt在第一章的定義，如果它的譜函數(shù) 恰有n個(gè)跳躍點(diǎn)，則 正定， 退化。如果 有無(wú)窮 個(gè)跳躍點(diǎn)，則對(duì)任何 正定。 n1n1,nn ( )F時(shí)間序列的可完全預(yù)測(cè)性 對(duì)于方差有限的隨機(jī)變量 ，如果有不全為零的常數(shù) ,使得則稱隨機(jī)變量 是線性相關(guān)的，否則是線性無(wú)關(guān)的。線性相關(guān)時(shí)，存在常數(shù)b0使得 成立。Yn可由 線性表示稱Yn可以由 完全線性預(yù)測(cè)。12,nXXX Y12,nY YY12,nb bb2010njjjEb Yb01, . .njjjb Yb a s121,nY

17、YY011221 1.nnnnYaaYa YaY121,nY YYnkn tX 定義4.1 設(shè) 和 分別是平穩(wěn)序列 的自協(xié)方差函數(shù)和n階自協(xié)方矩陣， 由（3.8）定義，方程組稱為 的n階Yule-Walker方程，其中的 稱為 的n階Yule-Walker系數(shù)。 下面的定理說(shuō)明對(duì)于一般的平穩(wěn)序列，p階Yule-Walker系數(shù)是否滿足最小相位條件。 nnna,1,2,(,.)Tnnnn naaaakk2.4 平穩(wěn)序列的偏相關(guān)系數(shù)和Levinson遞推公式定理4.1 如果實(shí)數(shù) 使得正定，則有定義4.1定定義的Yule-Walker系數(shù)滿足最小相位條件 ,0,1,2,kkn0111021120nn

18、nnn,110njn jjaz 最優(yōu)線性預(yù)測(cè) 設(shè) 是隨機(jī)變量。考慮估計(jì)問(wèn)題稱 為Y關(guān)于 的最優(yōu)線性估計(jì)。 是Y關(guān)于 上的投影。 12,nXXX Y212(|,)argmin()nL Y XXXE YY12(|,)nL Y XXX12,nXXX12(|,)nL Y XXX12(1,)nLXXX為了更快的計(jì)算Yule-Walker系數(shù)，通常采用下面的遞推公式。定理4.2（Levinson遞推公式）如果 正定，對(duì) 有 1n1kn2001,1102221,1,11,2,1,101,12,2,1,1,1/(1)kkk kkkkkkkk kkkkkkk kkjk jkkaaaaaaaaaaaaa偏相關(guān)系數(shù)定義4.1 如果 正定，稱 為 或 的n接偏相關(guān)系數(shù)。設(shè)Xt是AR(）序列。其自協(xié)方差函數(shù)正定。由Yule-Walker方程知其n階Y-W系數(shù)為其偏相關(guān)系數(shù)滿足稱為偏相關(guān)系數(shù)P步截尾。n tXk,n na,1,2,12(,.)( ,.,0,.0) ,TTnnnn npaaaaa aanp,0,0,pn nanpanp 反之，如果一個(gè)零均值平均列偏相關(guān)系數(shù)p步截尾，則它必是AR(）序列。 偏相關(guān)截尾隱含要求自協(xié)方差列正定。 下面一個(gè)定理告訴我們這個(gè)平穩(wěn)序列一定是AR(）序列。定理4.3 零均值平穩(wěn)序列Xt是AR(）序列的充分必要條件是， 它的偏相關(guān)系數(shù) p步截尾。 證明只要證明充分