時間序列分析方法之卡爾曼濾波

1、第十三章 卡爾爾曼濾波波在本章中，我們介紹紹一種被被稱為卡卡爾曼濾濾波的十十分有用用的工具具?？枲柭鼮V波波的基本本思想是是將動態(tài)態(tài)系統(tǒng)表表示成為為一種稱稱為狀態(tài)態(tài)空間表表示的特特殊情形形?？枲柭鼮V波波是對系系統(tǒng)線性性投影進進行序列列更新的的算法。除除了一般般的優(yōu)點點以外，這這種算法法對計算算確切的的有限樣樣本預(yù)測測、計算算Gauuss ARRMA模模型的確確切似然然函數(shù)、估估計具有有時變參參數(shù)的自自回歸模模型等，都都提供了了重要方方法。13.11 動動態(tài)系統(tǒng)統(tǒng)的狀態(tài)態(tài)空間表表示我們已經(jīng)介介紹過一一些隨機機過程的的動態(tài)表表示方法法，下面面我們在在以前的的假設(shè)基基礎(chǔ)上，繼繼續(xù)分析析動態(tài)系系統(tǒng)的

2、表表示方法法。13.1.1 繼繼續(xù)使用用的假設(shè)設(shè)假設(shè)表示時時刻觀測測到的nn維隨機機向量，一一類非常常豐富的的描述動動態(tài)性的的模型可可以利用用一些可可能無法法觀測的的被稱為為狀態(tài)向向量(sstatte vvecttor)的r維向量量表示，因因此表示示動態(tài)性性的狀態(tài)態(tài)空間表表示(sstatte-sspacce rreprreseentaatioon)由由下列方方程系統(tǒng)統(tǒng)給出：狀態(tài)方程(staate moddel) (133.1)量測方程(obsservvatiion moddel) (133.2)這里，和分分別是階階數(shù)為，和的參數(shù)數(shù)矩陣，是的外生或者前定變量。方程(13.1)被稱為狀態(tài)方程(st

3、ate model)，方程(13.2)被稱為量測方程(observation model)，維向量和維向量都是向量白噪聲，滿足： (113.33) (113.44)這里和是和和階矩陣陣。假設(shè)設(shè)擾動項項和對于所所有階滯滯后都是是不相關(guān)關(guān)的，即即對所有有和，有：(13.55)是外生或者者前定變變量的假假定意味味著，在在除了包包含在內(nèi)內(nèi)的信息息以外，沒有為和()提供任何新的信息。例如，可以包括的滯后值，也可以包括與和(任意)不相關(guān)的變量。方程系統(tǒng)中中方程(13.1)至至方程(13.5)可可以表示示有限觀觀測值的的序列，這這時需要要狀態(tài)向向量初始始值。假假設(shè)與和的任何何實現(xiàn)都都不相關(guān)關(guān)：，對任意 (1

4、3.6)，對任意 (113.77)狀態(tài)方程(13.1)表表明，可以表表示成為為的線性性函數(shù)：， (13.8)因此，方程程(133.6)和方程程(133.3)意味著著與所有有的滯后后值都是是不相關(guān)關(guān)的：， (133.9)類似地，可可以得到到：，(13.10)， (13.11)， (13.12)上述系統(tǒng)是是相當靈靈活的，它它的一些些結(jié)論也也可以推推廣到與與相關(guān)的的系統(tǒng)中中，而且且系數(shù)矩矩陣也可可以是時時間的函函數(shù)。如果我我們僅僅僅關(guān)注到到上述系系統(tǒng)的基基本形式式，則下下面的論論述將是是十分清清晰的。13.1.2狀態(tài)空空間表示示的例子子考慮一元過過程：這個過程可可以表示示成為下下面的狀狀態(tài)空間間模型

5、形形式：狀態(tài)方程() (133.133)量測方程： (133.144)對應(yīng)地，我我們指定定：，這里變量和和參數(shù)矩矩陣對應(yīng)應(yīng)為：，注意到這里里的狀態(tài)態(tài)方程只只是一個個一階向向量自回回歸方程程，量測測方程只只是一個個簡單的的等式。因因此，我我們已經(jīng)經(jīng)看到，狀狀態(tài)空間間表示只只是總結(jié)結(jié)過程的的另外一一種方式式。將過程程表示成為為這種方方式的原原因在于于，這樣樣可以獲獲得歸納納過程動動態(tài)性的的合適方方式，這這是我們們對任何何系統(tǒng)狀狀態(tài)空間間表示感感興趣的的基本原原因。另外一個例例子是，我我們考慮慮一元過過程：對應(yīng)地，它它可以表表示成為為狀態(tài)空空間模型型形式為為：狀態(tài)方程()：量測方程()：這里：，將給

6、定系統(tǒng)統(tǒng)表示成成為狀態(tài)態(tài)方程的的方式有有多種。例例如，可可以將過過程表示示成為下下面類型型的狀態(tài)態(tài)空間模模型：狀態(tài)方程()：量測方程()：顯然上面的的過程、兩兩種狀態(tài)態(tài)空間模模型表示示都是具具有相同同特征的的過程表表示，這這三種表表示都具具有相同同的預(yù)測測和相同同的似然然函數(shù)值值，也就就無須討討論哪一一種方式式更為合合適。更一般地，一一元模型型可以通通過定義義進行狀狀態(tài)空間間模型表表示： (113.115)這里的參數(shù)數(shù)約束是是：當時時，；當當時，?？紤]下列狀狀態(tài)空間間模型表表示為：狀態(tài)方程()： (113.116)量測方程()： (13.15)為了驗證方方程(113.116)和方方程(113.

7、117)表示示了系統(tǒng)統(tǒng)與方程程(133.15)一致致，假設(shè)設(shè)表示向向量的第第j個元素素，因此此狀態(tài)方方程的第第2行表表示：第3行表明明：更一般地，第j行表示：因此狀態(tài)方方程的第第1行意意味著：或者： (113.118)量測方程表表明： (133.199)在方程(113.119)兩端端乘以算算子多項項式，并并利用方方程(113.118)，可可以得到到：這就是原來來的模型型，即方方程(133.155)。狀態(tài)空間形形式是描描述隨機機過程的的和，或或者測量量誤差結(jié)結(jié)果的模模型的非非常合適適的方式式。例如如，F(xiàn)aama和Gibbbonns (19882)開開始著手手研究事事前實際際利率(ex antte

8、 rreall innterrestt raate )行為為 (事事前實際際利率是是名義利利率減去去預(yù)期通通貨膨脹脹率)。由由于經(jīng)濟濟計量學學家通過過證券市市場推斷斷的預(yù)期期通貨膨膨脹率的的數(shù)據(jù)，因因此這個個變量不不是可以以觀測的的。因此此在這種種應(yīng)用中中狀態(tài)變變量是一一個標量量，即：，這里里表示平平均事前前實際利利率。FFamaa和Gibbbonns (19882)假假設(shè)事前前實際利利率服從從過程： (13.20)經(jīng)濟計量學學家可以以觀測到到事后實實際利率率(名義義利率減減去真實實通貨膨膨脹率)，這可可以表示示為： (13.21)這里是人們們預(yù)測通通貨膨脹脹率時的的誤差。如果人們以最優(yōu)的方式

9、形成通貨膨脹率預(yù)測，則與自身的滯后值和事前實際利率是無關(guān)的。因此方程(13.20)和方程(13.21)是狀態(tài)空間模型，這里，。狀態(tài)空間模模型框架架的另外外一個有有趣例子子是Sttockk和Waastoon (19991)的的研究，他他們假設(shè)設(shè)存在表表示經(jīng)濟濟周期狀狀態(tài)的不不可觀測測變量。假假設(shè)是個可以以觀測的的宏觀經(jīng)經(jīng)濟變量量，每個個都受到到經(jīng)濟周周期的影影響，并并且具有有與中移移動不相相關(guān)的奇奇異成分分(表示示為)。如如果經(jīng)濟濟周期和和每個奇奇異成分分可以利利用一元元過程描描述，則則維狀態(tài)態(tài)向量是是： (113.222)該狀態(tài)變量量具有的的狀態(tài)方方程為： (13.23)量測方程為為： (11

10、3.224)因此，參數(shù)數(shù)描述第第i個序列列對經(jīng)濟濟周期反反應(yīng)的敏敏感性。為為了出現(xiàn)現(xiàn)和描述述p階動態(tài)態(tài)性，SStocck和WWastton (19991)將方程程(133.222)中的的和替換為為階向量量和，這時時是維向量量。這時時方程(13.23)中的的標量需需要利用用階矩陣替替換，該該矩陣結(jié)結(jié)構(gòu)與方方程(113.113)類類似。還還需要在在量測方方程(113.224)中中的列中中加入階階數(shù)為的的零子塊塊。13.22 卡卡爾曼濾波的的推導(dǎo)卡爾曼濾波波是估計計狀態(tài)空空間模型型的重要要方法，也也是應(yīng)用用廣泛的的參數(shù)估估計方法法。下面面我們介紹紹卡爾曼曼濾波的的有關(guān)公公式。13.2.1卡爾爾曼濾波

11、波的回顧顧 Ovvervvieww off thhe KKalmman Fillterr考慮上述討討論的狀狀態(tài)空間間模型的的一般形形式，為為了方便便，我們們將使用用的一些些關(guān)鍵方方程在這這里重復(fù)復(fù)表示如如下：，假設(shè)我們已已經(jīng)得到到了觀測測值，；一個個最終目目標是基基于這些些觀測值值估計系系統(tǒng)的所所有未知知參數(shù)。但但是，目目前我們們暫時假假設(shè)參數(shù)數(shù)矩陣的的特定數(shù)數(shù)值都是是確定性性已知的的。如何何估計這這些參數(shù)數(shù)在后面面的內(nèi)容容中討論論?？柭鼮V波波具有多多種應(yīng)用用。它的的基本動動因是作作為一種種計算狀狀態(tài)向量量基于時時刻t觀測到到的數(shù)據(jù)據(jù)進行最最小二乘乘預(yù)測的的算法。 (113.225)這里：這

12、里表示基基于和常常數(shù)的線線性投影影?？枲柭鼮V波波是采用用疊代算算法計算算這些預(yù)預(yù)測的，按按順序分分別產(chǎn)生生，。與這這些預(yù)測測有關(guān)的的是均方方誤差矩矩陣，可可以由一一個階矩矩陣表示示： (13.26)13.2.2疊代的的開始疊代首先從從開始，表表示在沒沒有和觀測值值的基礎(chǔ)礎(chǔ)上對的的預(yù)測。這這就是的的無條件件均值：與此相關(guān)的的MSEE為：例如，對系系統(tǒng)的狀狀態(tài)空間間表示，狀狀態(tài)向量量為：這時有：，更一般地，如如果矩陣陣的特征征根都落落在單位位圓內(nèi)，則則狀態(tài)方方程表示示的過程程是協(xié)方方差平穩(wěn)穩(wěn)的。因因此，對對狀態(tài)方方程兩端端取無條條件數(shù)學學期望，可可以得到到：由于過程是是協(xié)方差差平穩(wěn)的的，則有有：

13、由于矩陣沒沒有單位位根，因因此矩陣陣是非奇奇異的，因因此這個個方程存存在唯一一零解，也也就是有有：。則則的無條條件方差差也可以以類似地地得到，取取矩陣的的轉(zhuǎn)置并并取數(shù)學學期望，可可以得到到(由于于存在正正交性，下下面的交交叉項的的數(shù)學期期望為零零)：假設(shè)矩陣表表示的協(xié)協(xié)方差矩矩陣，則則有：這個方程的的解可以以表示為為：因此，一般般情況下下，如果果矩陣的的特征根根都落在在單位圓圓內(nèi)，因因此卡爾爾曼濾波波的疊代代可以從從和開始，這這里的表表示成為為列向量量可以從從下式得得到：如果矩陣的的部分特特征根落落在單位位圓上或或者單位位圓外，或或者無法法從狀態(tài)態(tài)方程中中獲得，這這時可以以利用分分析者對對初始

14、的的最優(yōu)猜猜測來替替代，而而是歸納納這種預(yù)預(yù)測置信信區(qū)間的的正定矩矩陣。中中對角線線上比較較大的數(shù)數(shù)值對應(yīng)應(yīng)著對真真實取值值較高的的非確定定性。13.2.3預(yù)測給定開始的的初值和和，下一一步是計計算下一一個時期期類似的的數(shù)量和和。由于于計算對對都具有有相同的的形式，因因此我們們討論在在時刻tt的一般般形式。給給定和，目的的是計算算和。首先，我們們需要注注意到，我我們假設(shè)設(shè)除了包包含在內(nèi)內(nèi)的信息息以外，不再包含關(guān)于的信息，因此有：下面我們考考慮對的的預(yù)測：注意到根據(jù)據(jù)狀態(tài)方方程，可可以得到到：因此，根據(jù)據(jù)投影的的疊代定定律，有有：這個預(yù)測的的誤差為為：因此預(yù)測的的MSEE為：由于，因此此上式中中

15、交叉項項為零。這個正交條件需要根據(jù)假設(shè)和投影性質(zhì)加以驗證。這時可以將MSE表示為：13.2.4關(guān)于推斷斷的更新新給定開始的的初值和和，下一一步是計計算下一一個時期期類似的的數(shù)量和和。由于于計算對對13.2.5產(chǎn)生的預(yù)預(yù)測給定開始的的初值和，下一一步是計計算下一一個時期期類似的的數(shù)量和和。由于于計算對對13.2.6歸納和和注釋給定開始的的初值和和，下一一步是計計算下一一個時期期類似的的數(shù)量和和。由于于計算對對13.33基于狀狀態(tài)空間間表示的的預(yù)測 Fooreccastts BBaseed oon tthe Staate-Spaace Reppressenttatiion13.44參數(shù)的的極大似似然估計計 MMaxiimumm Liikellihoood Esttimaatioon oof PParaametterss13.55穩(wěn)態(tài)卡卡爾曼濾濾波 Thee Stteaddy-SStatte KKalmman Fillterr13.5.1卡爾曼曼濾波的的