時(shí)間序列分析方法第04章預(yù)測(cè)

1、第四章預(yù)測(cè)在本章當(dāng)中我們討論預(yù)測(cè)的一般概念和方法， 然后分析利用ARMAq）模型進(jìn)行預(yù)測(cè)的問(wèn)題。4.1預(yù)期原理利用各種條件對(duì)某個(gè)變量下一個(gè)時(shí)點(diǎn)或者時(shí)間階段內(nèi)取值的判斷是預(yù)測(cè)的重要情形。 為此， 需 要了解如何確定預(yù)測(cè)值和度量預(yù)測(cè)的精度。4.1.1基于條件預(yù)期的預(yù)測(cè)假設(shè)我們可以觀察到一組隨機(jī)變量 X,的樣本值，然后利用這些數(shù)據(jù)預(yù)測(cè)隨機(jī)變量的值。特 別地，一個(gè)最為簡(jiǎn)單的情形就是利用匕的前川個(gè)樣本值預(yù)測(cè)丫屮，此時(shí)乙可以描述為：假設(shè) X； 川表示根據(jù) X,對(duì)于 做出的預(yù)測(cè)。 那么如何度量預(yù)測(cè)效果呢？通常情況下， 我們利用 損失函數(shù)來(lái)度量預(yù)測(cè)效果的優(yōu)劣。假設(shè)預(yù)測(cè)值與真實(shí)值之間的偏離作為損失，則簡(jiǎn)單的二次

2、損失函 數(shù)可以表示為（該度量也稱為預(yù)測(cè)的均方誤差）：定理定理4 1使得預(yù)測(cè)均方誤差達(dá)到最小的預(yù)測(cè)是給定 X,時(shí)，對(duì)的條件數(shù)學(xué)期望，即：證明：假設(shè)基于&對(duì)滄的任意預(yù)測(cè)值為：f則此預(yù)測(cè)的均方誤差為： 對(duì)上式均方誤差進(jìn)行分解，可以得到： 其中交叉項(xiàng)的數(shù)學(xué)期望為（利用數(shù)學(xué)期望的疊代法則）： 因此均方誤差為：q為了使得均方誤差達(dá)到最小，則有： 此時(shí)最優(yōu)預(yù)測(cè)的均方誤差為：/MSE（Yt） =EYl+l- E（Y| X, ） End 我們以后經(jīng)常使用條件數(shù)學(xué)期望作為隨機(jī)變量的預(yù)測(cè)值。4.1.2基于線性投影的預(yù)測(cè)由于上述條件數(shù)學(xué)期望比較難以確定， 因此將預(yù)測(cè)函數(shù)的范圍限制在線性函數(shù)當(dāng)中， 我們考慮 下

3、述線性預(yù)測(cè)：V如此預(yù)測(cè)的選取是所有預(yù)測(cè)變量的線性組合，預(yù)測(cè)的優(yōu)劣則體現(xiàn)在系數(shù)向量的選擇上。定義定義4.1如果我們可以求出一個(gè)系數(shù)向量值使得預(yù)測(cè)誤差（匕+】-”乙）與 X,不相關(guān)： 則稱預(yù)測(cè) NX,為滄基于出的線性投影。定理定理4.2在所有線性預(yù)測(cè)當(dāng)中，線性投影預(yù)測(cè)具有最小的均方誤差。證明：假設(shè) gX,是任意一個(gè)線性預(yù)測(cè)，則對(duì)應(yīng)的均方誤差可以分解為：由于刃匕是線性投影，則有：因此均方誤差為：為了使得均方誤差達(dá)到最小，線性預(yù)測(cè)滿足：這是一個(gè)線性投影。End我們將線性投影預(yù)測(cè)表示為：或者簡(jiǎn)化為：顯然線性投影的預(yù)測(cè)誤差仍然不小于條件期望預(yù)測(cè)，因此有：當(dāng)條件中包含常數(shù)的時(shí)候， 此時(shí)線性投影當(dāng)中就含有常數(shù)

4、， 為此使用個(gè)表示含有常數(shù)項(xiàng)的線性 投影預(yù)測(cè)，即：僅供個(gè)人學(xué)習(xí)參考4.1.3線性投影的性質(zhì)根據(jù)線性投影的定義，我們可以求出投影的系數(shù)向量：如果 E（X,X；）是可逆的，則有：命題命題4.1 線性預(yù)測(cè)滿足下述性質(zhì)：最優(yōu)線性預(yù)測(cè)的均方誤差為：線性投影滿足線性平移性質(zhì)：證明：根據(jù)投影向量的表達(dá)式，可以得到：化簡(jiǎn)就可以得到命題表達(dá)式。需要證明aP（Yl+lX,）+b是+b 的線性投影。顯然，它是線性函數(shù)，其次，可以證明它 滿足正交性質(zhì)。End4.1.4線性投影和普通最小二乘回歸線性投影與最小二乘估計(jì)緊密相關(guān)， 這兩種概念之間存在聯(lián)系。 例如， 將 y 屮基于“建立線性 回歸方程，得到：對(duì)于給定畑和旺的

5、T個(gè)樣本，樣本殘差平方和定義為：使得殘差平方和達(dá)到最小的系數(shù)最小二乘估計(jì)為：如果過(guò)程是協(xié)方差平穩(wěn)過(guò)程且關(guān)于二階矩是遍歷的，則有：因此上述 OLS 估計(jì)按概率收斂到線性投影系數(shù)：4.1.5向量預(yù)測(cè)上述結(jié)果可以推廣到利用以 1 維向量 X,預(yù)測(cè)“維向量；十】，記為： 其中刃為投影系數(shù)的一個(gè)5 階矩陣，滿足正交條件： 上式說(shuō)明預(yù)測(cè)誤差（Yl+l-Yl+ll）的每一個(gè)分量與條件變量 X,的每一個(gè)分量都無(wú)關(guān)。命題命題4.2 假設(shè) K/+1|/是 S 的最小均方誤差線性預(yù)測(cè)，則對(duì)任意滄的線性組合如=hfYl+i,它的 最小均方誤差線性預(yù)測(cè)為:J證明：只需證明是線性投影即可，這時(shí)需要驗(yàn)證相應(yīng)的正交性。End

6、類似地，投影矩陣為:與此對(duì)應(yīng)的均方誤差矩陣為： 4.2基于無(wú)限個(gè)觀測(cè)值的預(yù)測(cè)無(wú)論是條件期望預(yù)測(cè)還是正交線性預(yù)測(cè)， 都是基于有限個(gè)條件變量的， 下面我們分析基于無(wú)限 個(gè)觀測(cè)值情形下的預(yù)測(cè)。4.2.1基于滯后誤差的預(yù)測(cè)考察一個(gè)無(wú)限階移動(dòng)平均過(guò)程曲 3）:匕=+ 0（厶）, 0（厶） = 0o+旳厶+肖三公+，|7=0假設(shè)巳經(jīng)知道過(guò)去所有時(shí)間階段的殘差觀測(cè)值佃,】,喬 2,，也知道模型中各種參數(shù)的值?，F(xiàn)在我們要預(yù)測(cè)$個(gè)階段以后的 X+$,根據(jù)模型它應(yīng)該是：對(duì)此最優(yōu)線性預(yù)測(cè)形式為：這個(gè)預(yù)測(cè)值的對(duì)應(yīng)誤差為：這個(gè)預(yù)測(cè)值的均方誤差為：僅供個(gè)人學(xué)習(xí)參考例例4.1 試求伽(q)過(guò)程的最優(yōu)線性預(yù)測(cè)。解：M4(q)

7、過(guò)程為： 乙=“+。(厶)爲(wèi)，&(D = q+q 厶+qz?+qc則它的最優(yōu)線性預(yù)測(cè)為：對(duì)應(yīng)的均方誤差為：上述預(yù)測(cè)具有清楚的含義， 在時(shí)間間隔彳以后， 使用過(guò)程的均值進(jìn)行預(yù)測(cè)， 而方差是過(guò)程的無(wú)條件 方差。4.2.2 基于滯后 Y 的預(yù)測(cè)一般情況下，我們僅僅可以觀察到 Y 的值，為此假設(shè)移動(dòng)平均過(guò)程具有可逆表示:-HX(D = o+i厶+/+ ,“0=1, ZI7； |；=0假設(shè)上述 S7?過(guò)程與MA過(guò)程之間滯后算子多項(xiàng)式的關(guān)系：1協(xié)方差平穩(wěn)的乂 ()過(guò)程為：表示成為算子多項(xiàng)式形式：滿足：爪 L)=處厶)，以厶)=0(乙)2.個(gè) M4(q)過(guò)程可以表示成為：也可以表示成為算子多項(xiàng)式形式

8、： 在可逆性假設(shè)條件下，則有： 肖(D = &(D,“(D = &(厶)如果給出了觀測(cè)值 厶人, ,可以在模型當(dāng)中構(gòu)造出殘差序列佝占十 ， 例如在朋過(guò)程 當(dāng)中：對(duì)于給定系數(shù)和也比十,由上式可以計(jì)算出：在可逆的曲過(guò)程當(dāng)中，可以得到：最后，可以得到給定冷丫-,條件下的預(yù)測(cè)公式為：或者：1砒 J 匕兒,=“+讐命& - “)上述公式也被稱為 Wiener-Kolmogorov 預(yù)測(cè)公式。上述公式當(dāng)中的算子是截?cái)嘈问降乃阕颖?達(dá)式，算子表達(dá)式中將滯后算子的負(fù)指數(shù)頊?zhǔn)÷浴?.2.3 預(yù)測(cè)一個(gè)如?過(guò)程對(duì)于一個(gè)平穩(wěn)的如?過(guò)程，可以將算子多項(xiàng)式表示成為：利用上述公式，可以得到 S階段后

9、的最優(yōu)線性預(yù)測(cè)為：上述預(yù)測(cè)公式說(shuō)明，隨著預(yù)測(cè)階段的增加，預(yù)測(cè)值將趨于長(zhǎng)期均值。對(duì)應(yīng)的預(yù)測(cè)誤差為: 隨著預(yù)測(cè)階段的增加，預(yù)測(cè)誤差也趨于無(wú)條件方差，/(1-滬)。4.2.4 預(yù)測(cè)一個(gè)如?()過(guò)程對(duì)于一個(gè)平穩(wěn)的脈()過(guò)程，可以利用 Wiener-Kolmogorov 預(yù)測(cè)公式進(jìn)行預(yù)測(cè)。該公式的主 要特點(diǎn)在于：它可以利用過(guò)去的過(guò)程觀測(cè)值和未來(lái)的殘差值表示預(yù)測(cè)值，然后未來(lái)的殘差值利用期 望去掉。其中:僅供個(gè)人學(xué)習(xí)參考僅供個(gè)人學(xué)習(xí)參考其中表示矩陣 Q 中第 i行、第丿列元素，矩陣尸為：這時(shí)$階段的最優(yōu)預(yù)測(cè)為：顯然上述預(yù)測(cè)是均值基礎(chǔ)上加上觀測(cè)值的一個(gè)線性組合，是觀測(cè)值的線性函數(shù)。相應(yīng)的預(yù)測(cè)誤差為：下面我們給

10、出具體的預(yù)測(cè)推導(dǎo)過(guò)程：進(jìn)行 1 個(gè)時(shí)期的預(yù)測(cè)，它滿足：將時(shí)間開始階段換為/ + 1,得到：根據(jù)多重投影定理斷言， 如果丫出的“1期預(yù)測(cè)是 f期信息的投影， 則該預(yù)測(cè)也是 f期進(jìn)行的最 優(yōu)線性預(yù)測(cè)，則有： 將 1期預(yù)測(cè)代入得到：(3)AR(p)過(guò)程的前 5 期預(yù)測(cè)根據(jù)疊代可以得到：Z+川一“=始(+尸屮 _“)+02(+尸 2“+0p(Z+r，其中：P 叩*, rr4.2.5 預(yù)測(cè)一個(gè)伽過(guò)程繼續(xù)考寮一個(gè)必過(guò)程，可以利用滯后算子表示為： ；-“ =(1 + &厶)習(xí)，|&|q)比較簡(jiǎn)單：4.2.7 預(yù)測(cè)一個(gè) 1)過(guò)程ARMA(1,1)過(guò)程可以表示為：假設(shè)該過(guò)程是平穩(wěn)的(|訓(xùn) 1 )

11、和可逆的(|創(chuàng)1,預(yù)測(cè)值滿足遞推公式：這意味著預(yù)測(cè)值按照幾何方式以速度 0 收斂到無(wú)條件均值。前 1 期預(yù)測(cè)由下式給出: 上式可以等價(jià)地表示為：其中：或者：4.2.8預(yù)測(cè)一個(gè)ARMA(p,q)過(guò)程綜合上述各種預(yù)測(cè)情形，我們可以得到預(yù)測(cè)平穩(wěn)過(guò)程的方法。過(guò)程可以 表示為：僅供個(gè)人學(xué)習(xí)參考最優(yōu)線性預(yù)測(cè)方程可以表示為：其中玄可以利用下述遞推表示：前 s期預(yù)測(cè)為：其中：|1 =片，T-f 4.2基于無(wú)限個(gè)觀測(cè)值的預(yù)測(cè)下面我們假設(shè)巳知模型的參數(shù)， 但是只獲得了有限樣本億十 _,申 情形下的預(yù)測(cè)問(wèn)題。 4.3.1最優(yōu)預(yù)測(cè)的近似基于有限個(gè)觀察值的預(yù)測(cè)方法是假設(shè)樣本之前的殘差&都為零，這是因?yàn)橛邢旅娴慕?/p>

12、似公式存在：4.3.2有限樣本情形下的精確預(yù)測(cè)利用線性投影可以得到有限樣本情形下的精確預(yù)測(cè)： 4.7A/?AM過(guò)程之和*下面我們考慮兩個(gè)ARMA過(guò)程相加所得到的時(shí)間序列性質(zhì)。4.7.1MA過(guò)程與白噪聲之和假設(shè)-個(gè)序列是零均值的過(guò)程f 其中山是白噪聲序列，滿足：此時(shí) X,過(guò)程自協(xié)方差函數(shù)為：假設(shè)隨機(jī)過(guò)程兒是另外一個(gè)白噪聲過(guò)程，滿足：假設(shè)兩個(gè)白噪聲序列之間在任何時(shí)點(diǎn)都是不相關(guān)的，也即有：E(U,VS) = 09VS,/這是也有：E(X,叫)=,Ps,t目前的間題是， 如何觀測(cè)到一個(gè)序列匕是上述移動(dòng)平均過(guò)程和白噪聲過(guò)程的和， 那么這個(gè)和過(guò) 程的性質(zhì)如何？顯然，上述過(guò)程仍然具有零均值，它的自協(xié)方差函數(shù)

13、可以表示為：由此可見(jiàn)，隨機(jī)過(guò)程拆也是平穩(wěn)過(guò)程，它的自協(xié)方差函數(shù)與曲過(guò)程是類似的。此時(shí)，我們 設(shè)想是否有一個(gè) M4過(guò)程：其中白噪聲滿足：它具有與和過(guò)程一致的自協(xié)方差函數(shù)？如何是這樣，則要求白噪聲的方差滿足：對(duì)于給定的參數(shù)：耳死，開，滿足上述要求的&值為：在特殊情形下，如果兀=0,則上式變?yōu)椋簩?duì)于其他情形，可以分析具有相同自協(xié)方差函數(shù)的自回歸系數(shù)的要求。4.7.2兩個(gè)移動(dòng)平均過(guò)程之和假設(shè) X,是過(guò)程，人是曲（弘）過(guò)程，并且兩個(gè)過(guò)程的殘差在任何時(shí)點(diǎn)都不相關(guān)，則可以 證明，他們的和過(guò)程滿足過(guò)程伽（max（,g）。4.7.2兩個(gè)自回歸過(guò)程之和僅供個(gè)人學(xué)習(xí)參考假設(shè)隨機(jī)過(guò)程 X,和叱是兩個(gè)朋（1）過(guò)

14、程，滿足：其中，和兒是兩個(gè)在任何時(shí)點(diǎn)上都不相關(guān)的白噪聲序列。假設(shè)我們可以觀察到 并且想利用&, s幻來(lái)對(duì) r,+1進(jìn)行預(yù)測(cè)。為此，我們需要分析時(shí)間序列的結(jié)構(gòu)。在特殊情形下，如果一旦自回歸系數(shù)相同，或 則直接得到 X = X, +叱的自回歸表示：如果兀工,則有：可以等價(jià)地表示為：對(duì)應(yīng)的要求為：因此可以知道：更為一般地，對(duì)于兩個(gè)殘差序列不相關(guān)的自回歸過(guò)程而言：它們相加可以得到一個(gè)ARMA（pL+ “2，皿門，宀）過(guò)程：0（厶）=兀（Do（D，如肉=。（如 + 兀 S * 4.8Wold 分解和 Box-Jenldns 建模思想平穩(wěn)時(shí)間序列具有類似的性質(zhì)， 那么如果表示平穩(wěn)時(shí)間序列的一般結(jié)構(gòu)

15、呢？ Wold分解定理給 出了-般的結(jié)論。JT24.8.1 Wold 分解定理定理4.3（Wold分解定理）任何零均值協(xié)方差平穩(wěn)過(guò)程齊可以表示成為如下形式：其中：肖 0=1,巧是利用（乙_加1）預(yù)測(cè)乙時(shí)產(chǎn)生的誤差：對(duì)于任意八 心與不相關(guān)，并且匕也可以利用利用（r,_7.,ji）進(jìn)行預(yù)測(cè)：心稱為過(guò)程齊的線性確定性成分，而匕稱為過(guò)程齊的線性非確定性成分。如果心=0,j=0則稱該過(guò)程是純線性不確定性的。4.8.2Box-Jenkins 建模思想任何時(shí)間序列數(shù)據(jù)都有自己的生成機(jī)制，但是如何揭示和描述時(shí)間序列的數(shù)據(jù)生成機(jī)制呢？這需要利用時(shí)間序列模型對(duì)數(shù)據(jù)生成機(jī)制進(jìn)行逼近或者近似，這就需要尋求建立時(shí)間序列

16、模型的基本過(guò)程。（1）建立模型一個(gè)基本出發(fā)點(diǎn)是，所采用的模型越節(jié)儉越好，所要估計(jì)的參數(shù)越多，模型出現(xiàn) 錯(cuò)誤的可能性就越大。（2）即使一個(gè)復(fù)雜的模型描述和模擬歷史數(shù)據(jù)的能力很好，但是有時(shí)進(jìn)行預(yù)測(cè)時(shí)的誤差卻很大。 以前大型經(jīng)濟(jì)計(jì)量模型的失敗則說(shuō)明了這一點(diǎn)。Box-Jenldns 提出并倡導(dǎo)的預(yù)測(cè)方法主要步驟為：（1）如果有必要，可以對(duì)數(shù)據(jù)進(jìn)行變化，使得數(shù)據(jù)的協(xié)方差平穩(wěn)性變得更為合理。（2）對(duì)于描述平穩(wěn)性數(shù)據(jù)的ARMAq）模型的階數(shù)做出一個(gè)初始的數(shù)值比較小的猜測(cè)。(3) 估計(jì)自回歸和移動(dòng)平均算子多頊?zhǔn)街械南禂?shù)。(4) 對(duì)模型進(jìn)行診斷分析以確定所得到的模型確實(shí)與觀測(cè)到的數(shù)據(jù)具有類似的特征。其中數(shù)據(jù)變化主要根據(jù)經(jīng)濟(jì)時(shí)間序列的特征， 對(duì)數(shù)序列的差分是非常常用的變換方法。 時(shí)間序 列模型的估計(jì)與診斷是后面討論的主要內(nèi)容。僅供個(gè)人學(xué)習(xí)參考4.8.3樣本自相關(guān)函數(shù)為了確定模型的階數(shù)， 我們首先討論自相關(guān)函數(shù)的估計(jì)問(wèn)題。 一般情況下可以利用樣本的矩估 計(jì)進(jìn)行：a1T1T九=2(” 一亍)(兒-丿一刃，丿=0 丄 2,T l,y = -Xyt1/=j+i1/=i根據(jù) M4(q)和惑)過(guò)程的性質(zhì)，我們可以根據(jù)上述樣