過(guò)程建模3-時(shí)間序列模型

上篇線性系統(tǒng)建模3.1問(wèn)題的提出3時(shí)間序列模型在實(shí)際建模應(yīng)用中，有一類(lèi)系統(tǒng)不能完全用前面章節(jié)所介紹的輸入/輸出關(guān)系模型來(lái)描述，如生物系統(tǒng)中的生物電信號(hào)（心電、腦電…),經(jīng)濟(jì)系統(tǒng)中的市場(chǎng)價(jià)格，機(jī)械系統(tǒng)中的機(jī)械振動(dòng)，社會(huì)上的某種疾病的發(fā)病率等。這些系統(tǒng)變量的特征：一是系統(tǒng)不存在明確的因果關(guān)系，或者說(shuō)“因”不清楚，能觀測(cè)到的只是“果”；二是這些量隨時(shí)間推移而變化的觀測(cè)值相關(guān)的；三是觀測(cè)值受隨機(jī)干擾影響，具有隨機(jī)性，屬于隨機(jī)過(guò)程。我們將這種隨時(shí)間順序排列的一個(gè)觀測(cè)序列稱(chēng)為時(shí)間序列或隨機(jī)時(shí)間序列。3.1問(wèn)題的提出3時(shí)間序列模型時(shí)間序列自身所具有的相關(guān)性，即任何時(shí)刻的觀測(cè)值都受過(guò)去觀測(cè)值的影響，是對(duì)其進(jìn)行研究的基礎(chǔ)。

我們可以：通過(guò)時(shí)間序列的歷史數(shù)據(jù),得出關(guān)于其過(guò)去行為的有關(guān)結(jié)論，進(jìn)而對(duì)時(shí)間序列未來(lái)行為進(jìn)行推斷。

建立隨機(jī)時(shí)間序列模型的目的，就是要通過(guò)序列過(guò)去的變化特征來(lái)預(yù)測(cè)未來(lái)的變化趨勢(shì)。3.1問(wèn)題的提出3時(shí)間序列模型根據(jù)不同的研究對(duì)象所表現(xiàn)的時(shí)間統(tǒng)計(jì)特性，隨機(jī)時(shí)間序列可以分為兩類(lèi)：平穩(wěn)時(shí)間序列：平穩(wěn)時(shí)間序列是平穩(wěn)序列，它滿足期望為零，且任意兩個(gè)時(shí)刻的相關(guān)函數(shù)與時(shí)間t無(wú)關(guān)，僅與兩個(gè)時(shí)刻的時(shí)間差相關(guān)。非平穩(wěn)時(shí)間序列：不滿足平穩(wěn)隨機(jī)過(guò)程的統(tǒng)計(jì)特征，序列的相關(guān)函數(shù)與時(shí)間起源點(diǎn)有關(guān)。有季節(jié)性周期時(shí)間序列、線性趨勢(shì)時(shí)間序列、指數(shù)趨勢(shì)時(shí)間序列及不規(guī)則時(shí)間序列等不同的時(shí)間序列，其建模過(guò)程有所不同。3.1問(wèn)題的提出3時(shí)間序列模型

隨機(jī)時(shí)間序列模型（TimeSeriesModeling）一般形式為

yt=F(yt-1,yt-2,…,t)

建立具體的時(shí)間序列模型的三個(gè)問(wèn)題：

(1)模型的具體形式（線性/非線性？定常/時(shí)變？）

(2)時(shí)序變量的滯后期

(3)隨機(jī)擾動(dòng)項(xiàng)的結(jié)構(gòu)3.1問(wèn)題的提出3時(shí)間序列模型

例如，取線性方程、一階滯后以及白噪聲隨機(jī)擾動(dòng)項(xiàng)（t=vt），模型將是一個(gè)1階自回歸過(guò)程AR(1)：

yt=yt-1+vt

(vt特指白噪聲)一般的p階自回歸過(guò)程AR(p)是：

yt=1yt-1+2yt-2+…+pyt-p+t(*)

(1)如果隨機(jī)擾動(dòng)項(xiàng)是一個(gè)白噪聲(t=vt)，則稱(chēng)(*)式為一純AR(p)過(guò)程(pureAR(p)process)，記為

yt=1yt-1+2yt-2+…+pyt-p+vt3.1問(wèn)題的提出3時(shí)間序列模型

(2)如果t不是一個(gè)白噪聲，通常認(rèn)為它是一個(gè)q階的滑動(dòng)平均(movingaverage)過(guò)程MA(q)：

t=vt

?

1vt-1?

2vt-2??

qvt-q

該式給出了一個(gè)純MA(q)過(guò)程(pureMA(q)process)。

將純AR(p)與純MA(q)結(jié)合，得到一個(gè)一般的自回歸滑動(dòng)平均(autoregressivemovingaverage)過(guò)程ARMA(p,q)：

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-q3.1問(wèn)題的提出3時(shí)間序列模型

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-qARMA(p,q)：該式表明：（1）一個(gè)隨機(jī)時(shí)間序列可以通過(guò)一個(gè)自回歸滑動(dòng)平均過(guò)程生成，即該序列可以由其自身的過(guò)去以及隨機(jī)擾動(dòng)項(xiàng)來(lái)解釋。（2）如果該序列是平穩(wěn)的，即它的行為并不會(huì)隨著時(shí)間的推移而變化，那么我們就可以通過(guò)該序列過(guò)去的行為來(lái)預(yù)測(cè)未來(lái)。平穩(wěn)時(shí)間序列的建模就是指用動(dòng)態(tài)數(shù)據(jù)來(lái)擬合ARMA模型。3時(shí)間序列模型結(jié)構(gòu)階數(shù)序列樣本確定估計(jì)參數(shù)預(yù)測(cè)未來(lái)行為時(shí)間序列分析的過(guò)程：時(shí)間序列建模3.1問(wèn)題的提出檢驗(yàn)3.2ARMA模型建立

線性時(shí)不變隨機(jī)時(shí)間序列模型包括AR、MA和ARMA模型。模型的建立，就是對(duì)于一個(gè)平穩(wěn)的隨機(jī)時(shí)間序列，找出生成它的合適的隨機(jī)過(guò)程或模型，即判斷該時(shí)間序列是遵循一純AR過(guò)程、還是遵循一純MA過(guò)程或ARMA過(guò)程，并估計(jì)過(guò)程的參數(shù)。具體包括：3.2.1ARMA模型結(jié)構(gòu)識(shí)別3.2.2ARMA模型參數(shù)估計(jì)所使用的工具主要是時(shí)間序列的自相關(guān)函數(shù)（ACF）、偏自相關(guān)函數(shù)（PACF）及最小二乘估計(jì)（LS）。3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別ARMA模型結(jié)構(gòu)識(shí)別即是初步確定適合于給定樣本的ARMA模型形式，即確定p,q的取值。常用的結(jié)構(gòu)識(shí)別方法有：損失函數(shù)檢驗(yàn)法F檢驗(yàn)法AIC準(zhǔn)則自相關(guān)圖和偏自相關(guān)圖法

見(jiàn)第4章“模型階的辨識(shí)”3時(shí)間序列模型3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別AR(p)模型的識(shí)別原則：若yt的偏自相關(guān)函數(shù)k*在p以后截尾,即k>p時(shí)，k*=0，而它的自相關(guān)函數(shù)k是拖尾的，則此序列是自回歸AR(p)序列。MA(q)模型的識(shí)別規(guī)則：

若yt的自相關(guān)函數(shù)k在q以后截尾,即k>q時(shí)，k=0，而它的偏自相關(guān)函數(shù)k*是拖尾的,則此序列是滑動(dòng)平均MA(q)序列。3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別

從識(shí)別上看，通常：

ARMA(p,q)過(guò)程的偏自相關(guān)函數(shù)(PACF)可能在p階滯后前有幾項(xiàng)明顯的尖柱，但從p階滯后項(xiàng)開(kāi)始逐漸趨向于零；而它的自相關(guān)函數(shù)(ACF)則是在q階滯后前有幾項(xiàng)明顯的尖柱,從q階滯后項(xiàng)開(kāi)始逐漸趨向于零。ARMA(p,q)的自相關(guān)函數(shù)，可以看作MA(q)的自相關(guān)函數(shù)和AR(p)的自相關(guān)函數(shù)的混合。3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別ARMA(p,q)模型的ACF與PACF理論模式模型ACFPACF白噪聲kk*AR(p)衰減趨于零(幾何型或震蕩型)p階后截尾：k*=0，k>pMA(q)q階后截尾：k=0，k>p衰減趨于零(幾何型或震蕩型)ARMA(p,q)q階后衰減趨于零(幾何型或震蕩型)p階后衰減趨于零(幾何型或震蕩型)3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別3時(shí)間序列模型3.2.1

ARMA模型結(jié)構(gòu)識(shí)別3時(shí)間序列模型3.2.2

ARMA模型參數(shù)估計(jì)ARMA模型參數(shù)估計(jì)，是在模型結(jié)構(gòu)確定后，估計(jì)模型的參數(shù)，即確定常用的參數(shù)估計(jì)方法有：矩估計(jì)最小二乘估計(jì)極大似然估計(jì)

…….

1，2，…

，p和1，2，，q3時(shí)間序列模型3.2.2

ARMA模型參數(shù)估計(jì)矩估計(jì)，也叫YuleWalker方程估計(jì)。它只需要樣本的自相關(guān)函數(shù)的估計(jì)值，求解YuleWalker線性方程組獲得參數(shù)估計(jì)值，簡(jiǎn)單方便。但矩估計(jì)的精度較低，一般用來(lái)獲得最小二乘估計(jì)的初始值。最小二乘估計(jì)。對(duì)于AR模型，用普通最小二乘法。對(duì)于MA和ARMA模型，需要用增廣最小二乘法。（參見(jiàn)第1章）3.3非平穩(wěn)時(shí)間序列模型

當(dāng)隨機(jī)時(shí)間序列模型

yt=F(yt-1,yt-2,…,t)函數(shù)F中包含時(shí)間的確定性趨勢(shì)項(xiàng)時(shí)，該模型所確定的隨機(jī)序列不再是平穩(wěn)序列。這時(shí)，序列的統(tǒng)計(jì)特性與時(shí)間原點(diǎn)有關(guān)。3時(shí)間序列模型3.3非平穩(wěn)時(shí)間序列模型若F為線性函數(shù)，則表現(xiàn)為ARMA模型的一些參數(shù)為時(shí)變參數(shù)。此時(shí)，模型參數(shù)估計(jì)可采用：限定記憶或漸消記憶最小二乘法卡爾曼濾波逼近法若F為非線性函數(shù)，可嘗試用非線性最小二乘法估計(jì)模型參數(shù)或用動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)建模。（參見(jiàn)第9章）3時(shí)間序列模型3.3非平穩(wěn)時(shí)間序列模型用卡爾曼濾波估計(jì)時(shí)變ARMA模型參數(shù)：Kalman濾波器時(shí)變ARMA模型其中，w(k)表示人為設(shè)定的時(shí)變參數(shù)的“假”噪聲，假設(shè)它是零均值、正態(tài)白噪聲，且與v(k)獨(dú)立。w(k)的方差為可調(diào)參數(shù)，根據(jù)待估計(jì)參數(shù)隨時(shí)間變化的快慢取值。由于時(shí)變參數(shù)的動(dòng)態(tài)變化規(guī)律未知，將其假設(shè)為不相關(guān)的隨機(jī)漂移向量3時(shí)間序列模型3.3非平穩(wěn)時(shí)間序列模型用逼近法估計(jì)時(shí)變ARMA模型參數(shù)：3時(shí)間序列模型將模型中隨時(shí)間變化的參數(shù)表示成一個(gè)時(shí)間的函數(shù)，該函數(shù)能逼近原參數(shù)的時(shí)間動(dòng)態(tài)性能，如用時(shí)間t的n次多項(xiàng)式逼近：其中為未知參數(shù)，需要估計(jì)。時(shí)變參數(shù)逼近式原模型方程重構(gòu)時(shí)變參數(shù)LS舉例時(shí)不變參數(shù)估計(jì)3.3非平穩(wěn)時(shí)間序列模型逼近法中，關(guān)鍵是根據(jù)時(shí)變參數(shù)的特性選擇合適的逼近函數(shù)，除了多項(xiàng)式逼近，還有小波函數(shù)逼近、傅立葉級(jí)數(shù)逼近等。有時(shí)也將逼近函數(shù)稱(chēng)為時(shí)變參數(shù)展開(kāi)的基函數(shù)，基函數(shù)的選擇目前沒(méi)有形成統(tǒng)一的理論框架。3時(shí)間序列模型平穩(wěn)時(shí)間序列建模過(guò)程1、檢驗(yàn)時(shí)間序列的平穩(wěn)性2、零均值化3、模型的初步識(shí)別4、模型的定階5、模型的參數(shù)估計(jì)6、模型的適應(yīng)性檢驗(yàn)

3.4應(yīng)用實(shí)例3時(shí)間序列模型化學(xué)反應(yīng)產(chǎn)出量

(每次觀測(cè)間隔兩小時(shí))

476423713864554159487135574058448055377451575060455750452559507156745058455436544855455750624464435238595541534934355445

68385060395940575423

共70個(gè)數(shù)據(jù)3.4應(yīng)用實(shí)例3時(shí)間序列模型時(shí)序數(shù)據(jù)文件建立和數(shù)據(jù)的觀察一、工作文件的建立化學(xué)反應(yīng)產(chǎn)出量時(shí)序是每隔兩小時(shí)采集的數(shù)據(jù)，可把此數(shù)據(jù)看作無(wú)規(guī)則的數(shù)據(jù)，而且，共有70個(gè)數(shù)據(jù)，建立工作文件應(yīng)選擇

3.4應(yīng)用實(shí)例3時(shí)間序列模型二、建立數(shù)據(jù)對(duì)象三、輸入數(shù)據(jù)四、對(duì)數(shù)據(jù)進(jìn)行瀏覽觀察

1、觀察其數(shù)據(jù)圖，看序列是否具有趨勢(shì)性、周期性、季節(jié)性，以判斷序列是否平穩(wěn)序列？本序列的數(shù)據(jù)圖如下：3.4應(yīng)用實(shí)例3時(shí)間序列模型本圖展示了連續(xù)觀測(cè)一項(xiàng)化學(xué)反應(yīng)的70筆產(chǎn)量的觀測(cè)值，這70筆的數(shù)列數(shù)據(jù)的明顯特征就是大約在一固定的水準(zhǔn)為50測(cè)量單位左右，并且都在20到80的測(cè)量單位固定范圍內(nèi)變動(dòng)，整體來(lái)說(shuō)此數(shù)列不論何時(shí)皆具有大致相同的統(tǒng)計(jì)特征，此序列是一個(gè)平穩(wěn)序列。在此例中，所預(yù)測(cè)的產(chǎn)量的平均水準(zhǔn)應(yīng)為50，且都在20到80之間。若再仔細(xì)觀察數(shù)列的行為可發(fā)現(xiàn)一趨勢(shì)：若觀測(cè)值大于平均數(shù)，則下一個(gè)觀測(cè)值即小于平均數(shù)，反之亦然，于是兩兩鄰近的觀測(cè)呈現(xiàn)負(fù)相關(guān)，如能適當(dāng)利用此相關(guān)性可使我們的預(yù)測(cè)更精確。3.4應(yīng)用實(shí)例3時(shí)間序列模型五、看數(shù)據(jù)的統(tǒng)計(jì)特性，觀察此序列是否正態(tài)序列：從其統(tǒng)計(jì)特征可以看出該序列均值為51.12857,Jarque-Bera為0.065419，Probalility為0.967819，說(shuō)明此序列為正態(tài)序列。3時(shí)間序列模型六、看序列的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)從序列的相關(guān)圖可以看出ACF具有拖尾性，而PACF具有截尾性。說(shuō)明此序列也是平穩(wěn)序列。3.4應(yīng)用實(shí)例3時(shí)間序列模型時(shí)序模型的初步識(shí)別一、數(shù)據(jù)的零均化

二、觀察序列的相關(guān)函數(shù)圖，以判斷此序列初步判別序列是何種模型。通過(guò)相關(guān)圖觀察，我們發(fā)現(xiàn)自相關(guān)函數(shù)具有拖尾性，而偏自相關(guān)函數(shù)具有截尾性，可初步判定一步截尾，即AR(1)。另外考慮ARMA模型，從相關(guān)圖上可看出為ARMA(1,2)

3.4應(yīng)用實(shí)例3時(shí)間序列模型時(shí)序模型定階和參數(shù)估計(jì)我們依據(jù)初步識(shí)別的結(jié)果，利用第4章介紹的模型階估計(jì)法對(duì)模型進(jìn)行進(jìn)一步分析定階。首先對(duì)本數(shù)據(jù)分別用最小二乘法擬合AR(1),AR(2),AR(3),AR(4)模型,其結(jié)果如下：3.4應(yīng)用實(shí)例3時(shí)間序列模型3.4應(yīng)用實(shí)例3時(shí)間序列模型3.4應(yīng)用實(shí)例3時(shí)間序列模型接下來(lái)針對(duì)