時(shí)間序列分析第一章時(shí)間序列詳解

時(shí)間序列分析第一章時(shí)間序列詳解演示文稿當(dāng)前第1頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)優(yōu)選時(shí)間序列分析第一章時(shí)間序列當(dāng)前第2頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)

二.時(shí)間序列的分解趨勢(shì)項(xiàng)，季節(jié)項(xiàng)，隨機(jī)項(xiàng)注：1.單周期季節(jié)項(xiàng)：只需要

且可設(shè)

2.隨機(jī)項(xiàng)：可設(shè)3.當(dāng)前第3頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)例：某城市居民季度用煤消耗量

分解方法:1.趨勢(shì)項(xiàng)估計(jì)（1）分段趨勢(shì)(年平均)（2）線性回歸擬合直線（3）二次曲線回歸（4）滑動(dòng)平均估計(jì)當(dāng)前第4頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)2.估計(jì)趨勢(shì)項(xiàng)后,所得數(shù)據(jù)由季節(jié)項(xiàng)和隨機(jī)項(xiàng)組成,季節(jié)項(xiàng)估計(jì)可由該數(shù)據(jù)的每個(gè)季節(jié)平均而得.3.隨機(jī)項(xiàng)估計(jì)即為方法一：分段趨勢(shì)法1趨勢(shì)項(xiàng)（年平均）當(dāng)前第5頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)減去趨勢(shì)項(xiàng)后,所得數(shù)據(jù)當(dāng)前第6頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)2、季節(jié)項(xiàng)當(dāng)前第7頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)3.隨機(jī)項(xiàng)的估計(jì)

當(dāng)前第8頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)方法二：回歸直線法一、趨勢(shì)項(xiàng)估計(jì)一元線性回歸模型

最小二乘估計(jì)為可得到

當(dāng)前第9頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)1.直線趨勢(shì)項(xiàng)當(dāng)前第10頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)消去趨勢(shì)項(xiàng)后,所得數(shù)據(jù)當(dāng)前第11頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)2、季節(jié)項(xiàng)估為當(dāng)前第12頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)3.隨機(jī)項(xiàng)估計(jì)為當(dāng)前第13頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)方法三：二次曲線法當(dāng)前第14頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)1.二次項(xiàng)估計(jì)（趨勢(shì)項(xiàng)）數(shù)據(jù)和二次趨勢(shì)項(xiàng)估計(jì)當(dāng)前第15頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)2.季節(jié)項(xiàng)、隨機(jī)項(xiàng)

當(dāng)前第16頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)例二、美國(guó)罷工數(shù)（51-80年)（滑動(dòng)平均法）當(dāng)前第17頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)1.趨勢(shì)項(xiàng)（5項(xiàng)平均）當(dāng)前第18頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)2.季節(jié)項(xiàng)和隨機(jī)項(xiàng)當(dāng)前第19頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)例三、化學(xué)溶液濃度變化數(shù)據(jù)當(dāng)前第20頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)一階差分當(dāng)前第21頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)三時(shí)間序列和隨機(jī)過(guò)程

設(shè)是實(shí)數(shù)的子集，如果對(duì)每個(gè)t屬于T，都有一個(gè)隨機(jī)變量與之對(duì)應(yīng)，就稱隨機(jī)變量的集合是一個(gè)隨機(jī)過(guò)程。

當(dāng)T是全體整數(shù)或全體非負(fù)整數(shù)時(shí)，稱相應(yīng)的隨機(jī)過(guò)程為隨機(jī)序列。

把隨機(jī)序列的指標(biāo)集合T看成時(shí)間指標(biāo)時(shí)，這個(gè)隨機(jī)過(guò)程就是時(shí)間序列。

當(dāng)T是全體實(shí)數(shù)或全體非負(fù)實(shí)數(shù)時(shí)，相應(yīng)的隨機(jī)過(guò)程稱為連續(xù)時(shí)隨機(jī)過(guò)程。

如果把T認(rèn)為時(shí)間指標(biāo)，連續(xù)是的隨機(jī)過(guò)程就是連續(xù)的時(shí)間序列。

當(dāng)前第22頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)§1.2平穩(wěn)序列一·平穩(wěn)序列

定義如果時(shí)間序列滿足

（1）對(duì)任何的

（2）對(duì)任何的

（3）對(duì)任何的

就稱是平穩(wěn)時(shí)間序列，簡(jiǎn)稱時(shí)間序列。稱實(shí)數(shù)為的自協(xié)方差函數(shù)。

平穩(wěn)序列中隨機(jī)變量的均值為，方差為都是和t無(wú)關(guān)的常數(shù)。

協(xié)方差結(jié)構(gòu)的平移不變性是平穩(wěn)序列的特性，所以平穩(wěn)序列是二階矩平穩(wěn)序列。當(dāng)前第23頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)自協(xié)方差函數(shù)滿足以下三條性質(zhì)：

（1）對(duì)稱性：

對(duì)所有的K成立。（2）非負(fù)定性：對(duì)任何的，n階自協(xié)方差矩陣

是非負(fù)定的矩陣。（3）有界性：對(duì)所有的k成立。

滿足上述性質(zhì)的實(shí)數(shù)列都稱為非負(fù)定序列。當(dāng)前第24頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)

下面證明這些性質(zhì)，對(duì)稱性由定義直接得到。

為證明非負(fù)性，任取一個(gè)

維實(shí)向量

當(dāng)前第25頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)為證明有界性，我們先介紹一個(gè)常用的不等式.

引理(Schwarz不等式）對(duì)任何方差有限的隨機(jī)變量X和Y,有證明不妨設(shè),關(guān)于a的一元

于是，判別式

取

時(shí)，有界性有Schwarz不等式得到：

當(dāng)前第26頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)線性相關(guān)性定義：自協(xié)方差矩陣退化的充分必要條件是存在非零的n維實(shí)向量

使得

這時(shí)我們稱隨機(jī)變量是線性相關(guān)的。

自相關(guān)系數(shù)

定義：設(shè)平穩(wěn)序列是標(biāo)準(zhǔn)化的序列，的自協(xié)方差函數(shù)稱為平穩(wěn)序列的自相關(guān)系數(shù)。

當(dāng)前第27頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)二.白噪聲最簡(jiǎn)單的平穩(wěn)序列是白噪聲，它在時(shí)間序列分析中有特殊的重要地位。定義（白噪聲）設(shè)是一個(gè)平穩(wěn)序列，如果對(duì)任意的稱是一個(gè)白噪聲，記做

當(dāng)是獨(dú)立序列時(shí)，稱是獨(dú)立白噪聲；

當(dāng)時(shí)，稱為零均值白噪聲；

當(dāng)稱為標(biāo)準(zhǔn)白噪聲。

當(dāng)前第28頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)例2.3Poisson過(guò)程和Poisson白噪聲如果連續(xù)時(shí)的隨機(jī)過(guò)程滿足（1），且對(duì)任何的t>s≧0和非負(fù)整數(shù)k，（2）{N(t)}有獨(dú)立增量性：對(duì)任何n>1和

隨機(jī)變量

相互獨(dú)立，則稱{N(t)}是一個(gè)強(qiáng)度為λ的Poisson過(guò)程。

數(shù)學(xué)期望和方差分別為

當(dāng)前第29頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)Poisson白噪聲定義：滿足上面三個(gè)條件稱為Poisson白噪聲。ave表示的樣本均值，std表示樣本的標(biāo)準(zhǔn)差。下面的例子是Poisson白噪聲的60個(gè)樣本。

當(dāng)前第30頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)Poisson白噪聲的60樣本的產(chǎn)生1.隨機(jī)產(chǎn)生服從(0,1)上均勻的200個(gè)樣本:2.給出服從參數(shù)為1的指數(shù)分布的200個(gè)獨(dú)立樣本;3.給出參數(shù)為1的Poisson過(guò)程一條樣本軌道在i=1,…,61上的取值；當(dāng)前第31頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)參數(shù)為1的Poisson白噪聲的60個(gè)樣本I當(dāng)前第32頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)樣本II當(dāng)前第33頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)標(biāo)準(zhǔn)正態(tài)白噪聲的60個(gè)樣本:A=randn(1,60)；plot(A)當(dāng)前第34頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)三.正交平穩(wěn)序列設(shè)X和Y是方差有限的隨機(jī)變量，如果E(XY)=0，就稱X和Y是正交的，如果cov(X,Y）=0，就稱X和Y是不相關(guān)的。

定義對(duì)于平穩(wěn)序列和，

（1）如果對(duì)任何的s,t∈Z,，則稱和

是正交的；

（2）如果對(duì)任何的s,t∈Z，，則稱和

是不相關(guān)的。定理2.2設(shè)

和分別是平穩(wěn)序列和的自協(xié)方差函數(shù)，

記定義

當(dāng)前第35頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)（1）如果和正交，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

（2）如果和不相關(guān)，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

證明：（1）當(dāng)和正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到

（2）由上面的推導(dǎo)得到。

當(dāng)前第36頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)§1.3線性平穩(wěn)序列和線性濾波一.有限運(yùn)動(dòng)平均

定義：設(shè)是WN(O,)，對(duì)于非負(fù)整數(shù)q和常數(shù)a0,a1,…aq,我們稱

是白噪聲的（有限）運(yùn)動(dòng)平均，簡(jiǎn)稱為MA，運(yùn)動(dòng)平均又稱

滑動(dòng)平均。MA的平穩(wěn)性

當(dāng)前第37頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)例：當(dāng)前第38頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)概率極限定理：

定理（單調(diào)收斂定理）如果非負(fù)隨機(jī)變量序列單調(diào)不減：

則當(dāng)時(shí)，有對(duì)于任何時(shí)間序列，利用單調(diào)收斂定理得到定理（控制收斂定理）如果隨機(jī)變量序列滿足和時(shí)，則當(dāng)時(shí)，并且當(dāng)前第39頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)二.線性平穩(wěn)序列定義：如果實(shí)數(shù)列滿足則稱是絕對(duì)可和的。對(duì)于絕對(duì)可和的實(shí)數(shù)列，定義零均值白噪聲的無(wú)窮滑動(dòng)和如下

，則是平穩(wěn)序列。下面說(shuō)明是平穩(wěn)序列。

由Schwarz不等式得到于是Xt右邊的無(wú)窮級(jí)數(shù)是a.s.絕對(duì)收斂的，從而是a.s.收斂的。

由于所以用控制收斂定理得到

現(xiàn)對(duì)t,s∈Z，定義

當(dāng)前第40頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)利用公式可以知道

所以由控制收斂定理得到這就說(shuō)明了是平穩(wěn)序列

當(dāng)前第41頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)證明：當(dāng)時(shí)定理：設(shè)是WN(0，),實(shí)數(shù)列平方可和，線性平穩(wěn)序列由上述

定義，則自協(xié)方差函數(shù)當(dāng)前第42頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)三.時(shí)間序列的線性濾波對(duì)序列進(jìn)行滑動(dòng)求和：稱為對(duì)進(jìn)行線性濾波。其中決定可和的稱為一個(gè)保時(shí)線性濾波器。

如果輸入信號(hào)是平穩(wěn)列則輸出也是平穩(wěn)列。期望協(xié)方差函數(shù)當(dāng)前第43頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)例3.1余弦波信號(hào)的濾波信號(hào){St}方差，噪聲方差，信噪比當(dāng)前第44頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)注：當(dāng)前第45頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)當(dāng)前第46頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)§1.4正態(tài)時(shí)間序列和隨機(jī)變量的收斂性隨機(jī)向量的數(shù)學(xué)期望和方差

矩陣隨機(jī)向量期望

隨機(jī)向量，則X的協(xié)方差矩陣

協(xié)方差矩陣的計(jì)算公式隨機(jī)向量線性變換

當(dāng)前第47頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)如果存在m維常數(shù)列向量μ，m×n常數(shù)矩陣B和iid的標(biāo)準(zhǔn)正態(tài)隨機(jī)變量使得Y=μ+BX,則稱隨機(jī)變量服從m維正態(tài)分布。這時(shí)EY=μ,∑=Var(Y)=Y的特征函數(shù)為

這是多維正態(tài)分布的等價(jià)定義。記Y~N(μ,∑)

當(dāng)前第48頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)多維正態(tài)分布的充要條件定理4.1的充要條件是對(duì)任何

二.正條平穩(wěn)序列

定義：對(duì)于時(shí)間序列，如果對(duì)任何n≥1和有

服從多元正態(tài)分布，則稱為正態(tài)時(shí)間序列

特別當(dāng)還是平穩(wěn)序列時(shí)，又稱為正態(tài)平穩(wěn)序列。當(dāng)前第49頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)正態(tài)序列收斂定理定理4.3

如果正態(tài)序列,依分布收斂到隨機(jī)變量ξ則定理4.4

如果服從WN(0，)，實(shí)數(shù)列絕對(duì)可和，則有定義的平穩(wěn)序列時(shí)零均值正態(tài)序列，自協(xié)方差函數(shù)(3.5)給出。

證明：下證為正態(tài)序列，先證對(duì)任何,有其中

當(dāng)前第50頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)對(duì)任何,定義則有當(dāng)時(shí),有當(dāng)前第51頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)由定理4.2,得到依分布收斂到，則從而由和定理4.1得到(4.9).用同樣方法可以證明:對(duì)任何有其中.定理4.4成立.當(dāng)前第52頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)§1.5嚴(yán)平穩(wěn)序列及其遍歷性

定義：設(shè)是時(shí)間序列。如果對(duì)任意正整數(shù)n和k，隨機(jī)變量同分布，就稱是嚴(yán)平穩(wěn)序列。特征是分布平移不變性：對(duì)任何固定的k，時(shí)間序列和

同分布。嚴(yán)平穩(wěn)和寬平穩(wěn)的關(guān)系：1.二階矩有限的嚴(yán)平穩(wěn)為寬平穩(wěn)。2.寬平穩(wěn)一般不是嚴(yán)平穩(wěn)。3.正態(tài)平穩(wěn)列既是寬平穩(wěn)也是嚴(yán)平穩(wěn)。4.平穩(wěn)序列到寬平穩(wěn)序列到弱平穩(wěn)序列。5.嚴(yán)平穩(wěn)序列到強(qiáng)平穩(wěn)序列。

當(dāng)前第53頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)遍歷性：1.時(shí)間序列一般只是一條軌道。2.要用時(shí)間序列的一次實(shí)現(xiàn)推斷的統(tǒng)計(jì)性質(zhì)。遍歷性可以保證從一條軌道可以推斷整體的統(tǒng)計(jì)性質(zhì)。如果嚴(yán)平穩(wěn)序列是遍歷的，從他的一次實(shí)現(xiàn)就可以推斷出這個(gè)嚴(yán)平穩(wěn)的所有有限維分布:有遍歷的嚴(yán)平穩(wěn)序列被稱為嚴(yán)平穩(wěn)遍歷序列。當(dāng)前第54頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)嚴(yán)平穩(wěn)序列定理定理5.1如果是嚴(yán)平穩(wěn)遍歷序列，則有如下的結(jié)果：

（1）強(qiáng)大數(shù)律：如果則

（2）對(duì)任何多元函數(shù)是嚴(yán)平穩(wěn)遍歷序列.

下面的定理在判斷線性平穩(wěn)序列的遍歷性時(shí)時(shí)十分有用的。定理5.2如果是獨(dú)立同分布的WN(0,)實(shí)數(shù)列平方可和,

則線性平穩(wěn)序列

是嚴(yán)平穩(wěn)序列的。當(dāng)前第55頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)§1.6Hilbert空間中的平穩(wěn)序列Hilbert空間

設(shè)是平穩(wěn)序列，令所以是一個(gè)線性空間。

當(dāng)前第56頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)在線性空間上定義內(nèi)積，則有所以是內(nèi)積空間，在任何內(nèi)積空間中都有Schwarz不等式令距離則有

當(dāng)前第57頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)三角不等式：這樣又稱為距離空間，不難看出在任意的內(nèi)積空間上都可以定義距離，是它自然成為距離空間。如果也是內(nèi)積空間和距離空間，是的子空間。

定義6.1對(duì)：

(1)如果,則稱在中收斂到

（2)如果當(dāng)

時(shí)，則稱是中的基本列或Cauchy列。

當(dāng)前第58頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)完備的內(nèi)積空間：每個(gè)基本列都是極限在空間內(nèi)的內(nèi)積空間。又稱Hilbert空間。

是Hilbert空間。用表示中包含的最小閉子空間則是Hilbert空間，稱為由平穩(wěn)序列生成的Hilbert空間。二.內(nèi)積的連續(xù)性

定理（內(nèi)積的連續(xù)性）在內(nèi)積空間中，如果證明(1)由三角不等式得到。

當(dāng)前第59頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)（2）有Schwarz不等式得到例：n維Hilbert空間

是線性空間，定義內(nèi)積，則為內(nèi)積空間。

是完備的內(nèi)積空間。

為歐氏模

當(dāng)前第60頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)例2設(shè)是零均值的平穩(wěn)列，，則它的線性組合全

體構(gòu)成的內(nèi)積空間

是Hilbert空間稱為有X生成的Hilbert空間。實(shí)際上，是線性空

間和內(nèi)積空間下面我們來(lái)證明的完備性。

證明：先設(shè)是標(biāo)準(zhǔn)的白噪聲WN(0，1),對(duì)任何的線性組合

只要

由例1知道有使得

當(dāng)取時(shí)

于是是完備的當(dāng)前第61頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)對(duì)一般的零均值的平穩(wěn)序列，可以設(shè)協(xié)方差陣的秩是m,m≤n有非退化矩陣B使得Y=BX有協(xié)方差矩陣于是且為WN(0，1)的一段，由知道為線性組合，從而是完備的。三.復(fù)值時(shí)間序列

復(fù)隨機(jī)變量：如果X和Y是隨機(jī)變量，稱Z=X+iY是復(fù)隨機(jī)變量。

如果EX和EY都存在，稱Z=X+iY的數(shù)學(xué)期存在,并且EZ=EX+iEY

二階矩有限的復(fù)隨機(jī)變量：如果就稱為Z的二階矩有限

隨機(jī)變量。

當(dāng)前第62頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)按時(shí)間次序排列的復(fù)值隨機(jī)變量的序列稱為復(fù)時(shí)間序列。如果復(fù)時(shí)間序列滿足就稱是一個(gè)復(fù)值平穩(wěn)序列，稱是的自協(xié)方差函數(shù)。

當(dāng)

，稱是一個(gè)復(fù)值零均值白噪聲。當(dāng)前第63頁(yè)\共有70頁(yè)\編于星期四\1點(diǎn)§1.7平穩(wěn)序列的譜函數(shù)1.時(shí)域和頻域

遍歷的時(shí)間序列可以從延的時(shí)間分布進(jìn)行統(tǒng)計(jì)分析，稱為時(shí)域分析。

平穩(wěn)時(shí)間序列的二階性質(zhì)也可以從其頻率分解來(lái)研究，