平穩(wěn)時(shí)間序列模型ppt課件

1、第一章 平穩(wěn)時(shí)間序列模型 組長(zhǎng)：李國(guó)鳳 組員：李俐蕓 孫 煒 指點(diǎn)教師：桂文林2方法 平穩(wěn)序列建模序列預(yù)測(cè) eviews軟件演示本章構(gòu)造3 方法 AR模型Auto Regression Model MA模型Moving Average Model ARMA模型Auto Regression Moving Average model4 時(shí)間序列的模型類型很多，我們這里只討論平穩(wěn)時(shí)間序列模型。這里講的平穩(wěn)是指寬平穩(wěn)，其特性是序列的統(tǒng)計(jì)特性不隨時(shí)間的平移而變化，即均值和協(xié)方差不隨時(shí)間的平移而變化。 純隨機(jī)性方差齊性各序列值之間沒(méi)有任何相關(guān)關(guān)系，即為 “沒(méi)有記憶的序列 方差齊性 根據(jù)馬爾可夫定理，只需

2、方差齊性假定成立時(shí)，用最小二乘法得到的未知參數(shù)估計(jì)值才是準(zhǔn)確的、有效的前往本節(jié)首頁(yè)白噪聲序列的性質(zhì)數(shù)據(jù)的平穩(wěn)性一.圖示判別1.平穩(wěn)時(shí)間序列在圖形上表現(xiàn)處圍繞其均值不斷動(dòng)搖的過(guò)程；2.根據(jù)相關(guān)圖，假設(shè)一個(gè)隨機(jī)過(guò)程是平穩(wěn)的，其特征根應(yīng)都在單位圓外，倒數(shù)都在單位圓內(nèi)；3.在分析相關(guān)圖時(shí)，假設(shè)自相關(guān)函數(shù)衰減很慢，近似呈線性衰減，即可以為該序列是非平穩(wěn)的。自回歸AR模型具有如下構(gòu)造的模型稱為 階自回歸模型，簡(jiǎn)記為特別當(dāng) 時(shí)，稱為中心化 模型10第一節(jié) 一階自回歸模型(Autoregressive Model)一、一階自回歸模型假設(shè)時(shí)間序列 后一時(shí)辰的行為主要與其前一時(shí)辰 的行為有關(guān)，而與其前一時(shí)辰以前的

3、行為無(wú)直接關(guān)系，即一期記憶，也就是一階動(dòng)態(tài)性。 描畫這種關(guān)系的數(shù)學(xué)模型就是一階自回歸模型: (2.1.1) 記作AR(1)。其中， 為零均值(即中心化處置后的)平穩(wěn)序列. 為 對(duì) 的依賴程度， 為隨機(jī)擾動(dòng)。 111.一階自回歸模型的特點(diǎn) AR(1)模型也把 分解為獨(dú)立的兩部分：一是依賴于 的部分；二是與 不相關(guān)的部分 (獨(dú)立正態(tài)同分布序列 )122. AR(1)與普通一元線性回歸的區(qū)別: (1)普通線性回歸模型需求一組確定性變量值和相應(yīng)的觀測(cè)值； AR(1)模型只需求一組隨機(jī)變量的觀測(cè)值。 (2)普通線性回歸表示一個(gè)隨機(jī)變量對(duì)另一個(gè)確定性變量的依存 關(guān)系；而AR(1)表示一個(gè)隨機(jī)變量對(duì)其本身過(guò)

4、去值的依存關(guān)系。 (3)普通線性回歸是靜態(tài)模型；AR(1)是動(dòng)態(tài)模型。(4)二者的假定不同。 (5)普通回歸模型本質(zhì)上是一種條件回歸，AR(1)是無(wú)條件回歸。 133.相關(guān)序列的獨(dú)立化過(guò)程 (2.1.1)式的另一種方式為： (2.1.3)上式提示了AR(1)的一個(gè)本質(zhì)性問(wèn)題：AR(1)模型是一個(gè)使相關(guān)數(shù)據(jù)轉(zhuǎn)化為獨(dú)立數(shù)據(jù)的變化器。由于就AR(1)系統(tǒng)來(lái)說(shuō)，僅有一階動(dòng)態(tài)性，即在 知的條件下， 主要表現(xiàn)為對(duì) 的直接依賴性，顯然，只需把 中依賴于 的部分 消除以后，剩下的部分 自然就是獨(dú)立的了。 14二、 AR(1)模型的特例隨機(jī)游動(dòng) (Random walk)1. 時(shí)的AR(1)模型： 此時(shí)(2.1

5、.1)式的詳細(xì)方式為 也可以用差分表示或所謂差分，就是 與其前一期值的差，從統(tǒng)計(jì)上講，差分結(jié)果所得到的序列就是逐期增長(zhǎng)量。普通地k階差分記作 差分可以使非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列。Box-Jenkins(簡(jiǎn)稱記為B-J)，就是利用類似于這種數(shù)學(xué)工具來(lái)處置非平穩(wěn)序列的。 。15一階自回歸模型AR1 16 AR1模型的特例隨機(jī)游動(dòng) 172.特例方式的特性： (1)系統(tǒng)具有極強(qiáng)的一期記憶性，即慣性。也就是說(shuō)，系統(tǒng)在t-1 和t時(shí)辰的呼應(yīng)，除隨機(jī)擾動(dòng)外，完全一致。差別完全是由擾動(dòng) 引起的。 (2)在時(shí)辰t-1時(shí)，系統(tǒng)的一步超前預(yù)測(cè)就是系統(tǒng)在t-1時(shí)的呼應(yīng) ，即 (3)系統(tǒng)行為是一系列獨(dú)立隨機(jī)變量的和，即

6、 18 第二節(jié) 普通自回歸模型 對(duì)于自回歸系統(tǒng)來(lái)說(shuō)，當(dāng) 不僅與前期值 有關(guān)，而且與 相關(guān)時(shí)，顯然，AR(1)模型就不再是順應(yīng)模型了。假設(shè)對(duì)這種情形擬合AR模型， 不僅對(duì) ,而且對(duì) 呈現(xiàn)出一定的相關(guān)性， 因此，AR(1)模型就不順應(yīng)了。 19一、 的依賴性 對(duì)當(dāng)AR(1)模型中的與不獨(dú)立時(shí),我們將 記為 ,于是可以分解為(2.2.1)從而(2.2.1)式的方式變?yōu)?(2.2.2)可見(jiàn)， 與 和 有關(guān)，所以(2.2.2)式是一個(gè)AR(2)模型。 20二、 AR(2)模型的假設(shè)和構(gòu)造 1.AR(2)模型的根本假設(shè): (1)假設(shè) 與 和 有直接關(guān)系,而與 無(wú)關(guān);(2)是一個(gè)白噪聲序列。 這就是AR(2

7、)模型的兩個(gè)根本假設(shè)。 2.AR(2)模型的構(gòu)造: AR(2)模型是由三個(gè)部分組成的：第一部分是依賴于 的部 分，用 表示; 第二部分是依賴于 的部分;用 來(lái)表示.第三部分是獨(dú)立于前兩部分的白噪聲 . 21三、 普通自回歸模型 當(dāng)AR(2)模型的根本假設(shè)被違背以后， 我們可以類似從AR(1)到AR(2)模型的推行方法,得到更為普通的自回歸模型AR(n)模型:上式還可以表示為 可見(jiàn)，AR(n)系統(tǒng)的呼應(yīng) 具有 階動(dòng)態(tài)性。擬合AR(n)模 型的過(guò)程也就是使相關(guān)序列獨(dú)立化的過(guò)程。AR模型平穩(wěn)性判別方法特征根判別AR(p)模型平穩(wěn)的充要條件是它的p個(gè)特征根都在單位圓內(nèi)根據(jù)特征根和自回歸系數(shù)多項(xiàng)式的根成

8、倒數(shù)的性質(zhì)，等價(jià)判別條件是該模型的自回歸系數(shù)多項(xiàng)式的根都在單位圓外。挪動(dòng)平均MA模型具有如下構(gòu)造的模型稱為 階自回歸模型，簡(jiǎn)記為特別當(dāng) 時(shí)，稱為中心化 模型24 第三節(jié) 挪動(dòng)平均模型(Moving Average Model ) AR系統(tǒng)的特征是系統(tǒng)在 時(shí)辰的呼應(yīng) 僅與其以前時(shí)辰的呼應(yīng)有關(guān)，而與之前時(shí)辰進(jìn)入系統(tǒng)的擾動(dòng)無(wú)關(guān)。 假設(shè)一個(gè)系統(tǒng)在 時(shí)辰的呼應(yīng) ，與其以前時(shí)辰 的呼應(yīng) 無(wú)關(guān)，而與其以前時(shí)辰 進(jìn)入系統(tǒng)的擾動(dòng)存在著一定的相關(guān)關(guān)系，那么，這一類系統(tǒng)那么為MA系統(tǒng)。25一、一階挪動(dòng)平均模型：MA(1) 對(duì)于一個(gè)MA系統(tǒng)來(lái)說(shuō)，假設(shè)系統(tǒng)的呼應(yīng) 刻進(jìn)入系統(tǒng)的擾動(dòng) 僅與其前一時(shí) 存在一定的相關(guān)關(guān)系，我們

9、就得到模型:其中： 為白噪聲。 MA(1)模型的根本假設(shè)為：系統(tǒng)的呼應(yīng) 僅與其前一時(shí)辰進(jìn)入系統(tǒng)的擾動(dòng)有一定的依存關(guān)系；而且 為白噪聲。26二、普通挪動(dòng)平均模型類似與AR模型,當(dāng)MA(1)的假設(shè)被違背時(shí),我們把MA(1)模型推行到MA(2),進(jìn)而再對(duì)廣到更普通的MA(m)模型，即： 僅與 這時(shí)有關(guān)，而與 無(wú)關(guān)，且為白噪聲序列，這就是普通挪動(dòng)平均模型的根本假設(shè)。 MA模型的可逆性可逆MA模型定義 假設(shè)一個(gè)MA模型可以表示稱為收斂的AR模型方式，那么該MA模型稱為可逆MA模型 一個(gè)自相關(guān)系數(shù)列獨(dú)一對(duì)應(yīng)一個(gè)可逆MA模型。MA模型的可逆條件MA(q)模型的可逆條件是：MA(q)模型的特征根都在單位圓內(nèi)等

10、價(jià)條件是挪動(dòng)平滑系數(shù)多項(xiàng)式的根都在單位圓外ARMA模型的定義具有如下構(gòu)造的模型稱為自回歸挪動(dòng)平均模型，簡(jiǎn)記為特別當(dāng) 時(shí)，稱為中心化 模型30第四節(jié) 自回歸挪動(dòng)平均模型Autoregressive Moving Average Model一個(gè)系統(tǒng)，假設(shè)它在時(shí)辰t的呼應(yīng) ，不僅與以前時(shí)辰的自身值有關(guān)，而且還與其以前時(shí)辰進(jìn)入系統(tǒng)的擾動(dòng)存在一定的依存關(guān)系，那么，這個(gè)系統(tǒng)就是自回歸挪動(dòng)平均系統(tǒng)，相應(yīng)的模 型記作ARMA. 那么對(duì)于這樣的系統(tǒng)要使呼應(yīng) 轉(zhuǎn)化為獨(dú)立序列 ，不僅要消除 依賴于t時(shí)辰以前的本身部分，而且還必需消除依賴于t時(shí)辰以前進(jìn)入系統(tǒng)的擾動(dòng)的部分。 31一、ARMA(2，1)模型 1. 對(duì) 和

11、 的相關(guān)性 由于AR(1)模型： 已不是順應(yīng)模型，即 與 和不獨(dú)立，所以，這里的剩余 不是我們所假設(shè)的 ，將其記作 ,將其分解為: 將上式代入AR(1)模型，得 這就是ARMA(2,1)模型。 322.ARMA(2,1)模型的根本假設(shè) 在ARMA模型中，假設(shè) 中確實(shí)除了對(duì) 和 系外，在 和 知的條件下對(duì)的依存關(guān)和 不存在相關(guān)關(guān)系，那么 一定獨(dú)立于 當(dāng)然也就獨(dú)立于 ,這就是ARMA(2,1)模型的根本假設(shè)。 333.ARMA(2,1)模型的構(gòu)造從模型 中不難看出，ARMA(2,1)模型把 分解成了獨(dú)立的四個(gè)部分， 所以，其構(gòu)造是由一個(gè)AR(2)和一個(gè)MA(1)兩部分構(gòu)成的， 詳細(xì)地說(shuō)，是由上述四

12、部分構(gòu)成的。 344.相關(guān)序列的獨(dú)立化過(guò)程 將ARMA(2,1)模型如下變形： 可見(jiàn)，ARMA(2,1)是經(jīng)過(guò)從 中消除 對(duì) 以及 的依賴性之后，使得相關(guān)序列 轉(zhuǎn)化成為獨(dú)立序列 ，即它是一個(gè)使相關(guān)序列轉(zhuǎn)化為獨(dú)立序列的變換器。 355.ARMA(2,1)與AR(1)的區(qū)別 從模型方式看，ARMA(2,1)比AR(1)的項(xiàng)數(shù)多； 從模型的動(dòng)態(tài) 性看，ARMA(2,1)比AR(1)具有更長(zhǎng)的記憶； 從計(jì)算 所需的資料看，ARMA(2,1)需求用t 期以前的 初期開(kāi)場(chǎng)遞 ，這就需求從歸地計(jì)算出 來(lái)，通常t0 時(shí)的 取序列 的 均值零； 從參數(shù)估計(jì)來(lái)看，ARMA(2,1)比AR(1)困難得多。36二、A

13、RMA(2，1)模型的非線性回歸為了計(jì)算 的值，必需知道 的值，然而在動(dòng)態(tài)的條件下， 本身又取決于 和 ,那么有 上式是非線性的，那么估計(jì)參數(shù)時(shí)，只能用非線性最小二乘法，其根本思想就是在曲面上搜索使得剩余平方和最小的參數(shù)值，有計(jì)算程序，多次迭代即可。 37三、ARMA(2，1)模型的其他特殊情形 1.ARMA(1，1)當(dāng)ARMA(2，1)中的系數(shù) 時(shí)，有 即為ARMA(1，1)模型。 2.MA(1) 當(dāng)ARMA(2，1)中的系數(shù) 時(shí)，有 即為MA(1)模型。 383.AR(1) 模型當(dāng)ARMA(2，1)中的 時(shí)，有 即為AR(1)模型。 因此，在建立模型時(shí)，首先擬合一個(gè)ARMA(2.1)模型，

14、然后根據(jù)其參數(shù)值 和 能否顯著小這一信息，來(lái)尋覓較合理的模型，然后擬合出那個(gè)較合理的模型，并檢驗(yàn)其順應(yīng)性。 39四、ARMA(n,n-1)模型 假設(shè)一個(gè)ARMA(2，1)模型是不順應(yīng)的，那么是違背了根本假設(shè)， 按照和推導(dǎo)ARMA(2,1)模型一樣的思緒，可以思索 不僅依賴于 和，能夠比ARMA(2，1)的記憶長(zhǎng)。按照這種思想，不斷如此類推下去，便可得到ARMA(n,n-1)模型:作如下變形 ARMA(n,n-1)模型使相關(guān)序列 轉(zhuǎn)化為獨(dú)立序列 40五、 ARMA(n,n-1)與ARMA(n,m) 1.建模戰(zhàn)略 利用上述ARMA模型的生成過(guò)程及其特性，我們可以得到對(duì)某一系統(tǒng)的一系列動(dòng)態(tài)察看數(shù)據(jù)擬

15、合ARMA模型的根本戰(zhàn)略。即經(jīng)過(guò)逐漸添加ARMA(n,n-1)模型的階數(shù)，使得越來(lái)越接近一組數(shù)據(jù)的依存關(guān)系，停頓在不能使這種逼近更有效地得到改善的n的數(shù)值上。 2.ARMA(n,m)模型 ARMA(n,m)模型實(shí)踐上是ARMA (n,n-1)模型的某些參數(shù) 或 為零的特殊情形，所以建模戰(zhàn)略仍順應(yīng)。 41六、 ARMA (n,n-1)模型的合理性 第二、實(shí)際根據(jù)：用Hilbert空間線性算子的根本實(shí)際可以證明，對(duì)于任何平穩(wěn)隨機(jī)系統(tǒng)，我們都可以用一個(gè)ARMA(n,n-1) 模型近似到我們想要到達(dá)的程度；用差分方程的實(shí)際也可以證明，對(duì)于n階自回歸，MA模型的階數(shù)應(yīng)該是n-1。 第一、AR、MA、AR

16、MA(n,m)模型都是ARMA(n,n-1) 模型的特殊情形。 第三、從延續(xù)系統(tǒng)離散化過(guò)程來(lái)看，ARMA(n,n-1) 也是合理的。在一個(gè)n階自回歸線性微分方程和恣意階的挪動(dòng)平均數(shù)的方式下，假設(shè)一個(gè)延續(xù)自回歸挪動(dòng)平均過(guò)程在一致區(qū)間上抽樣，那么，這個(gè)抽樣過(guò)程的結(jié)果是ARMA(n,n-1)。 平穩(wěn)條件與可逆條件ARMA(p,q)模型的平穩(wěn)條件P階自回歸系數(shù)多項(xiàng)式 的根都在單位圓外即ARMA(p,q)模型的平穩(wěn)性完全由其自回歸部分的平穩(wěn)性決議ARMA(p,q)模型的可逆條件q階挪動(dòng)平均系數(shù)多項(xiàng)式 的根都在單位圓外即ARMA(p,q)模型的可逆性完全由其挪動(dòng)平滑部分的可逆性決議ARMA模型相關(guān)性特征模

17、型自相關(guān)系數(shù)偏自相關(guān)系數(shù)AR(P)拖尾P階截尾MA(q)q階截尾拖尾ARMA(p,q)拖尾拖尾平穩(wěn)時(shí)間序列建模與預(yù)測(cè)平穩(wěn)時(shí)間序列建模平穩(wěn)時(shí)間序列預(yù)測(cè)第一節(jié) 建模步驟平穩(wěn)非白噪聲序列計(jì)算樣本相關(guān)系數(shù)模型識(shí)別參數(shù)估計(jì)模型檢驗(yàn)?zāi)Ｐ蛢?yōu)化序列預(yù)測(cè)YN一、計(jì)算樣本相關(guān)系數(shù)樣本自相關(guān)系數(shù)樣本偏自相關(guān)系數(shù)前往本節(jié)首頁(yè)二、模型識(shí)別根本原那么選擇模型拖尾P階截尾AR(P)q階截尾拖尾MA(q)拖尾拖尾ARMA(p,q)模型定階的困難由于由于樣本的隨機(jī)性，樣本的相關(guān)系數(shù)不會(huì)呈現(xiàn)出實(shí)際截尾的完美情況，本應(yīng)截尾的 或 仍會(huì)呈現(xiàn)出小值振蕩的情況。由于平穩(wěn)時(shí)間序列通常都具有短期相關(guān)性，隨著延遲階數(shù)增大， 與 都會(huì)衰減至零值

18、附近作小值動(dòng)搖？當(dāng) 或 在延遲假設(shè)干階之后衰減為小值動(dòng)搖時(shí)，什么情況下該看作為相關(guān)系數(shù)截尾，什么情況下該看作為相關(guān)系數(shù)在延遲假設(shè)干階之后正常衰減到零值附近作拖尾動(dòng)搖呢？ 模型定階閱歷方法95的置信區(qū)間模型定階的閱歷方法假設(shè)樣本(偏)自相關(guān)系數(shù)在最初的d階明顯大于兩倍規(guī)范差范圍，而后幾乎95的自相關(guān)系數(shù)都落在2倍規(guī)范差的范圍以內(nèi)，而且通常由非零自相關(guān)系數(shù)衰減為小值動(dòng)搖的過(guò)程非常忽然。這時(shí)，通常視為(偏)自相關(guān)系數(shù)截尾。截尾階數(shù)為d。三、參數(shù)估計(jì)待估參數(shù)非中心化ARMA(P,q)模型有 個(gè)未知參數(shù) 常用估計(jì)方法矩估計(jì)極大似然估計(jì)最小二乘估計(jì)前往本節(jié)首頁(yè)1.矩估計(jì)原理樣本自相關(guān)系數(shù)估計(jì)總體自相關(guān)系數(shù)

19、樣本一階均值估計(jì)總體均值，樣本方差估計(jì)總體方差2.極大似然估計(jì)原理在極大似然準(zhǔn)那么下，以為樣本來(lái)自使該樣本出現(xiàn)概率最大的總體。因此未知參數(shù)的極大似然估計(jì)就是使得似然函數(shù)即結(jié)合密度函數(shù)到達(dá)最大的參數(shù)值 3.最小二乘估計(jì)原理使殘差平方和到達(dá)最小的那組參數(shù)值即為最小二乘估計(jì)值 4.條件最小二乘估計(jì)實(shí)踐中最常用的參數(shù)估計(jì)方法假設(shè)條件殘差平方和方程解法迭代法四、模型檢驗(yàn)?zāi)Ｐ偷娘@著性檢驗(yàn)整個(gè)模型對(duì)信息的提取能否充分參數(shù)的顯著性檢驗(yàn)?zāi)Ｐ蜆?gòu)造能否最簡(jiǎn)前往本節(jié)首頁(yè)1.模型的顯著性檢驗(yàn)?zāi)康臋z驗(yàn)?zāi)Ｐ偷挠行詫?duì)信息的提取能否充分檢驗(yàn)對(duì)象殘差序列斷定原那么一個(gè)好的擬合模型應(yīng)該可以提取察看值序列中幾乎一切的樣本相關(guān)信息，即殘差序列應(yīng)該為白噪聲序列 反之，假設(shè)殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關(guān)信息未被提取，這就闡明擬合模型不夠有效假設(shè)條件原假設(shè)：殘差序列為白噪聲序列備擇假設(shè)：殘差序列為非白噪聲序列2.參數(shù)顯著性檢驗(yàn)?zāi)康臋z驗(yàn)每一個(gè)未知參數(shù)能否顯著非零。刪除不顯著參數(shù)使模型構(gòu)造最精簡(jiǎn) 假設(shè)條件檢驗(yàn)統(tǒng)計(jì)量五、模型優(yōu)化問(wèn)題提出當(dāng)一個(gè)擬合模型經(jīng)過(guò)了檢驗(yàn)，闡明在一定的置信程度下，該模型能有效地?cái)M合察看值序列的動(dòng)搖，但這種有效模型并不是獨(dú)一的。優(yōu)化的目的