第5章非平穩(wěn)隨機(jī)過程

1、第5章非平穩(wěn)隨機(jī)過程5.1引言5.2平穩(wěn)余差過程5.3*隨機(jī)過程的線性變換5.4*隨機(jī)過程的Fourier變換5.5小結(jié)5.1引言現(xiàn)實(shí)世界中很多研究對象不僅表現(xiàn)出一定的隨機(jī)性，而且隨時(shí)間的推移還會(huì)呈現(xiàn)出上升或下降的趨勢，當(dāng)這種趨勢用時(shí)間的非線性函數(shù)表達(dá)的時(shí)候，基于弱平穩(wěn)隨機(jī)過程理論的建模方法就不適用了。這樣的對象應(yīng)該用非平穩(wěn)隨機(jī)過程的理論來支持模型的建立。此外，在很多情況下要求對象的協(xié)方差函數(shù)只與時(shí)間差有關(guān)也不一定合理。如果不能確認(rèn)對象是平穩(wěn)過程，那么就不能套用第4章討論的方法來建立模型。研究對象的非平穩(wěn)特性要求繼續(xù)研究新的建模理論和方法，然而目前數(shù)學(xué)理論對于非平穩(wěn)過程的研究還沒有多少成果能夠

2、幫助解決建模過程中碰到的種種難題，只是由于實(shí)際需要在工程領(lǐng)域出現(xiàn)了一些關(guān)于處理非平穩(wěn)過程的方法，本章將主要圍繞這些實(shí)用的數(shù)據(jù)處理方法來探討其數(shù)學(xué)原理?，F(xiàn)有處理非平穩(wěn)過程的方法主要是把某些非平穩(wěn)過程經(jīng)過數(shù)據(jù)處理后變?yōu)槠椒€(wěn)過程，然后再用平穩(wěn)過程的建模方法對它們建模。這種處理問題的方法盡管只能處理一些比較簡單的非平穩(wěn)過程，或者在某些特殊的條件下建立非平穩(wěn)對象的模型，但是這些處理問題的方法具有較強(qiáng)的工程性，能夠解決實(shí)際問題，彌補(bǔ)平穩(wěn)過程建模方法的不足。 在一些情況下，對象的非平穩(wěn)性是和對象的時(shí)變性聯(lián)系在一起的。這一類系統(tǒng)往往不能用一個(gè)恒定不變的模型來描述，要求所建立的模型具有較好的跟蹤能力，例如用新息

3、來修改模型，不僅修改模型的參數(shù)，有時(shí)也要求修改模型結(jié)構(gòu)。應(yīng)該說，這種建模思想更符合客觀實(shí)際情況，但是無論在理論上還是在實(shí)際建模過程中，仍然存在一些技術(shù)難點(diǎn)。本書第57章將介紹與非平穩(wěn)過程有關(guān)的一些理論和方法。5.2平穩(wěn)余差過程5.2.1平穩(wěn)余差過程的基礎(chǔ)5.2.2ARIMA模型5.2.3季節(jié)性模型5.2.4函數(shù)生成理論5.2.1平穩(wěn)余差過程的基礎(chǔ)1.模型描述2.參數(shù)估計(jì)的統(tǒng)計(jì)分析1.模型描述應(yīng)用的觀點(diǎn)出發(fā)對非平穩(wěn)過程最簡單的理解是認(rèn)為它的均值函數(shù)呈現(xiàn)某種規(guī)律性，而協(xié)方差只與時(shí)間差有關(guān)。這一類過程又稱為具有平穩(wěn)余差的非平穩(wěn)過程，或簡稱為平穩(wěn)余差過程。2.參數(shù)估計(jì)的統(tǒng)計(jì)分析當(dāng)式(5-2)中回歸變量

4、k(t)不含未知參數(shù)，這時(shí)依據(jù)序列y(t)估計(jì)回歸系數(shù)(或模型參數(shù))在前面幾章已經(jīng)進(jìn)行了比較詳細(xì)的討論，其中重點(diǎn)討論了最小二乘法?？梢园亚懊娴姆椒ㄓ脕砬蠼馄椒€(wěn)余差過程模型。為此，定義向量和矩陣Yy(1),y(2),y(n)，Xx(1),x(2),x(n)1,2,m1(1)m(1)1(n)m(n)則，得到矩陣方程Y=+(5-3)可以利用最小二乘法的批處理公式求解式(5-3)表達(dá)的模型。把用最小二乘法求解的參數(shù)估計(jì)值記為LS，那么LS(T)-1TY(5-4)定理5-1LS是的線性無偏估計(jì)。5.2.2ARIMA模型20世紀(jì)70年代Box和Jenkins提出一種研究平穩(wěn)余差序列的方法，建立了積分自回歸

5、滑動(dòng)平均模型，記為ARIMA。差分法是這種方法的基礎(chǔ)，通過差分消除序列中的趨勢成分和周期成分而得到一個(gè)弱平穩(wěn)序列。盡管新的弱平穩(wěn)序列與原來的余差序列并不等價(jià)，但是它們之間有密切的關(guān)系，從新序列的統(tǒng)計(jì)特性可以推測原來的余差序列的統(tǒng)計(jì)特性。當(dāng)序列的均值函數(shù)m(t)為多項(xiàng)式時(shí)，用簡單的差分方法就可以把趨勢成分消除，使序列變成一個(gè)弱平穩(wěn)序列。5.2.3季節(jié)性模型利用差分方法也可以消除均值函數(shù)中的周期分量或季節(jié)性分量，使平穩(wěn)余差序列變成弱平穩(wěn)序列，稱這一類模型為季節(jié)性模型。季節(jié)性模型可以用于描述有周期性變化的對象，如電力負(fù)荷、水文氣象、保溫或降溫的消費(fèi)品需求等。 季節(jié)性模型首先應(yīng)該把握變化周期，根據(jù)變化

6、周期建模。周期性變化可能是季節(jié)、月、天。不同的周期還有可能疊加在一起。比較簡單的季節(jié)模型是只包含季節(jié)分量或者只包含月度分量的模型。5.2.4函數(shù)生成理論通過差分可以把一個(gè)平穩(wěn)余差過程轉(zhuǎn)化為弱平穩(wěn)過程，那么反過來能否用累加的辦法把一個(gè)弱平穩(wěn)過程變?yōu)槠椒€(wěn)余差過程呢？灰色系統(tǒng)理論研究了這一問題，提出了函數(shù)生成的概念和函數(shù)生成的規(guī)律。 灰色系統(tǒng)理論認(rèn)為由于環(huán)境中存在干擾，而使研究對象的觀測數(shù)據(jù)出現(xiàn)比較大的離散情況，不能直接從散點(diǎn)圖中發(fā)現(xiàn)模型的線索。但是，只要用適當(dāng)?shù)姆绞教幚碓紨?shù)據(jù)，就可以削弱其中的隨機(jī)成分并強(qiáng)化其規(guī)律性，得到一個(gè)較為規(guī)則的時(shí)間序列。灰色系統(tǒng)理論稱它為灰色過程的生成，簡稱為生成。 生成

7、有兩種操作方式，一種是累加生成，記為AGO；另一種是累減生成，記為IAGO。實(shí)際上累減生成(IAGO)就是前面討論的差分概念的推廣。下面簡單介紹累加生成。5.3*隨機(jī)過程的線性變換5.3.1基本概念5.3.2第一類線性變換5.3.3第二類線性變換5.3.1基本概念把隨機(jī)過程xt()，tN視為一個(gè)二元泛函。一方面它可以看成定義于N而取值于概率空間(,F,P)的抽象函數(shù)；另一方面它可以看成定義于概率空間(,F,P)，取值于廣義函數(shù)空間D的廣義函數(shù)。因此研究xt()的線性變換應(yīng)該從兩方面考慮：一種變換與參數(shù)t有關(guān)，研究對于函數(shù)xt的線性變換；另一種變換以x為基本元，研究對x的線性變換。當(dāng)以t為參考變

8、量時(shí)，對xt施以線性變換，有y=L(xt)(5-26)顯然，若xt是以t為參數(shù)的隨機(jī)過程，那么y則應(yīng)該是以為參數(shù)的隨機(jī)過程，這類變換稱為隨機(jī)過程的第一類線性變換。當(dāng)以x為變換的基本元時(shí)，為了不引起誤解，記t=xt()，于是就變成以t為基本元，研究t=A(t)(5-27)式中，t為定義于N取值于概率空間(,F,P)的隨機(jī)過程。這就是說，變換A把概率空間(,F,P)變成它自身。稱式(5-27)為隨機(jī)過程的第二類線性變換。5.3.2第一類線性變換Fourier變換屬于第一類線性變換，然而在一般函數(shù)意義下，不能對隨機(jī)過程進(jìn)行Fourier變換，如果把隨機(jī)過程同廣義函數(shù)聯(lián)系起來，利用廣義函數(shù)的Fouri

9、er變換，可以發(fā)現(xiàn)若干比譜分解定理更有實(shí)用價(jià)值的結(jié)論。隨機(jī)過程的第一類線性變換改變參數(shù)空間的屬性。例如，對時(shí)間序列進(jìn)行Fourier變換，可以認(rèn)為參數(shù)由時(shí)間域映射到復(fù)頻域，稱時(shí)間序列經(jīng)Fourier變換后所得到函數(shù)為譜函數(shù)。當(dāng)時(shí)間序列是一個(gè)隨機(jī)過程時(shí)，它所對應(yīng)的譜函數(shù)是隨機(jī)譜函數(shù)?，F(xiàn)有的平穩(wěn)隨機(jī)過程理論把研究的視野局限在H空間，因此無法定義隨機(jī)過程的Fourier變換。為了克服研究中的困難，在譜分解定理中引出正交增量過程來與弱平穩(wěn)過程對應(yīng)。如果把研究的視野由H空間擴(kuò)大到D空間，那么可能解決的問題會(huì)更多一些，例如可以直接證明弱平穩(wěn)過程譜函數(shù)的正交性，還可以找到分離平穩(wěn)余差過程均值函數(shù)的方法。5.

10、3.3第二類線性變換 第二類線性變換是建立動(dòng)態(tài)回歸方程或時(shí)變參數(shù)回歸方程的基礎(chǔ)。前面曾談到這樣一個(gè)觀點(diǎn)：現(xiàn)實(shí)世界中的大部分對象都會(huì)隨時(shí)間的變化而改變?？赡艽嬖趦煞N情況，一種情況是對象因?yàn)榉钠溥\(yùn)動(dòng)規(guī)律而發(fā)生的變化，而運(yùn)動(dòng)規(guī)律本身并不改變；另一種情況是運(yùn)動(dòng)規(guī)律也發(fā)生了變化，這樣根據(jù)歷史樣本建立的模型就會(huì)失去作用。如果對象運(yùn)動(dòng)規(guī)律改變的速度比較慢，那么依靠歷史數(shù)據(jù)建立的模型還可以表達(dá)對象近期的運(yùn)動(dòng)規(guī)律，如果對象運(yùn)動(dòng)規(guī)律改變的速度比較快，那么依靠歷史數(shù)據(jù)建立的模型就不一定能表達(dá)對象未來的運(yùn)動(dòng)規(guī)律。本書研究對模型參數(shù)建模，希望通過參數(shù)的改變來表達(dá)對象運(yùn)動(dòng)規(guī)律的變化。此外，本書前面還談到可以用時(shí)變參數(shù)的

11、線性模型來描述復(fù)雜的非線性模型。5.4*隨機(jī)過程的Fourier變換5.4.1均值函數(shù)的Fourier變換5.4.2零均值隨機(jī)過程的Fourier變換5.4.3離散Fourier變換5.4.4噪聲分離技術(shù)5.4.5方差濾波5.4.1均值函數(shù)的Fourier變換研究對象往往在存在增長或下降的趨勢同時(shí)具有隨機(jī)特征。當(dāng)去掉趨勢成分后余下的隨機(jī)過程可以認(rèn)為是零均值隨機(jī)過程，在很多情況下它是系統(tǒng)受到的多種干擾的綜合結(jié)果，通常希望選擇好的參數(shù)估計(jì)方法盡量減少它們對模型的影響。即使系統(tǒng)本身就是隨機(jī)的，也可以按照前面介紹的時(shí)間序列分析的方法建立模型。如果能夠在參數(shù)估計(jì)之前分離系統(tǒng)觀測值中的趨勢成分和隨機(jī)成分，

12、那么可以降低對于參數(shù)估計(jì)方法的要求。5.4.2零均值隨機(jī)過程的Fourier變換假定過程xt是零均值、方差有界，而且是各態(tài)歷經(jīng)的，那么它的Fourier變換為X=1TT0eitxtdt(5-46)考慮當(dāng)=時(shí)，有X0=1TT0 xtdt(5-47)按照各態(tài)歷經(jīng)的概念，式(5-47)計(jì)算的應(yīng)該是隨機(jī)過程xt的均值，所以0為0，也就是說，零均值弱平穩(wěn)隨機(jī)過程的譜函數(shù)在零譜點(diǎn)上取值為0。把這個(gè)結(jié)論和上面提到的均值函數(shù)的譜完全集中在零譜點(diǎn)上合在一起考慮，可以看出在頻率域內(nèi)，可以很容易地把增長趨勢的均值函數(shù)同零均值的隨機(jī)噪聲分離開。當(dāng)采用數(shù)值計(jì)算方法分離噪聲時(shí)，要引入離散Fourier變換(DFT)，其計(jì)

13、算方法比上面提到的結(jié)論略微復(fù)雜一點(diǎn)，但是沒有本質(zhì)的區(qū)別，都是利用在頻率域內(nèi)均值函數(shù)和隨機(jī)干擾在不同譜點(diǎn)上信息的不同分配來分離它們。5.4.3離散Fourier變換設(shè)有時(shí)間序列x0,x1,xN-1，其中N為序列長度，把它的離散Fourier變換記為Xk=DFTxr(5-48)其反變換記為xr=IDFTXk(5-49)若用wN=exp-2iN(5-50)表示DFT運(yùn)算符，那么正變換定義為Xk=1NN-1k=0 xrwrkN(5-51)反變換定義為xr=1NXkwrkN(5-52)離散Fourier變換具有線性分配性，因此對式(5-38)的離散Fourier變換可以寫成DFTytDFTmt+DFTx

14、t(5-53)5.4.4噪聲分離技術(shù)1.噪聲分離的原理2.計(jì)算方法3.仿真計(jì)算例子1.噪聲分離的原理圖5-1用時(shí)間窗截取時(shí)間序列1.噪聲分離的原理圖5-2時(shí)間窗的譜函數(shù)2.計(jì)算方法1)設(shè)時(shí)間序列為y(n),n=0,1,2,N-1，對它進(jìn)行離散Fourier變換運(yùn)算2)利用式(5-64)計(jì)算(0)3)計(jì)算矩型窗口的離散Fourier變換4)利用式(5-61)和式(5-62)計(jì)算噪聲的譜函數(shù)5)利用離散Fourier反變換計(jì)算原時(shí)間序列中的噪聲分量6)分離原時(shí)間序列中的均值分量3.仿真計(jì)算例子設(shè)仿真模型為yt=mt+xt式中，mt為均值函數(shù)，由線性方程mt=26.15+2.017t(5-65)產(chǎn)生

15、。隨機(jī)分量xt由計(jì)算機(jī)產(chǎn)生，取均值為0，方差為20，正態(tài)分布。把mt和xt相加就得到用于試驗(yàn)的觀測數(shù)據(jù)yt，共取得20個(gè)數(shù)據(jù)，列于表5-1。根據(jù)表5-1提供的數(shù)據(jù)，直接用最小二乘法建立線性模型，得到t33.17+1.34t(5-66)其相關(guān)系數(shù)為r=0.33，從統(tǒng)計(jì)學(xué)原理看，不能用這個(gè)模型。直接比較式(5-65)和式(5-66)也可以看出，參數(shù)差別比較大。用噪聲分離技術(shù)對表5-1所示的數(shù)據(jù)進(jìn)行處理。處理后的數(shù)據(jù)列于表5-2。根據(jù)表5-2所示的數(shù)據(jù)利用最小二乘法求解出模型t26.04+2.028t(5-67)其相關(guān)系數(shù)達(dá)到r=0.989，其他統(tǒng)計(jì)指標(biāo)也通過。比較式(5-67)與式(5-65)，發(fā)

16、現(xiàn)估計(jì)的精度相當(dāng)高。由此可見，F(xiàn)ourier變換的濾波方法能充分地分離噪聲，以建立較準(zhǔn)確的趨勢模型。3.仿真計(jì)算例子表5-1仿真數(shù)據(jù)tyty1254671139867255480128586936624813322394267701454394547238155775863518166141474461217672378924718933579451231911519105544820617823.仿真計(jì)算例子表5-2噪聲分離后的數(shù)據(jù)tyty13149911474782333391249793333344135162343371514538225346361556636635660165951

17、2738323176263884020818651449428771963733104562720671405.4.5方差濾波1.方差濾波的基本原理2.方差濾波的統(tǒng)計(jì)檢驗(yàn)3.方差濾波的工作步驟1.方差濾波的基本原理設(shè)有時(shí)間序列x1,x2,xN，把N分成n組，每組k個(gè)數(shù)據(jù)，顯然N=nk。分組后對數(shù)據(jù)重新編號(hào)，第一組數(shù)據(jù)記為x11,x12,x1k，第二組數(shù)據(jù)記為x21,x22,x2k,。對于任意的新編號(hào)數(shù)據(jù)xij，i表示分組的編號(hào)，j表示數(shù)據(jù)在i組內(nèi)的序號(hào)。為了考察小組內(nèi)數(shù)據(jù)容量是否恰好反映原始序列數(shù)據(jù)周期的長度，可以對不同組別但組內(nèi)序號(hào)相同的數(shù)據(jù)進(jìn)行平均運(yùn)算，并計(jì)算離差。設(shè)組內(nèi)序號(hào)為j的數(shù)據(jù)平均

18、值為Xj=1nni=1xij(5-68)那么組內(nèi)數(shù)據(jù)離差平方和為Se=kj=1ni=1(xij-Xj)(5-69)為了分析方便，先假定序列中沒有趨勢分量和隨機(jī)分量，也就是說認(rèn)為時(shí)間序列是純周期性的。在這樣的情況下，如果小組的數(shù)據(jù)容量等于周期長度，那么不同小組內(nèi)序號(hào)相同的數(shù)據(jù)應(yīng)該相等，即x1j=x2j=xnj=Xj由式(5-69)不難看出，此時(shí)Se=0。如果分組時(shí)小組內(nèi)的樣本容量不等于周期長度，一般來講，由式(5-69)計(jì)算的Se應(yīng)該大于0。2.方差濾波的統(tǒng)計(jì)檢驗(yàn)設(shè)時(shí)間序列的總平均值為X=1NNr=1xr1nkkj=1ni=1xij(5-70)相對于X時(shí)間序列的總離差平方和為ST=kj=1ni=1(xij-X)(5-71)如果時(shí)間序列中的隨機(jī)變量為獨(dú)立正態(tài)分布時(shí)，ST為具有自由度fT=N-1的2分布，式(5-69)計(jì)算的Se為具有自由度fe=N-k的分布。為了消除統(tǒng)計(jì)量ST和Se的相關(guān)關(guān)系，定義新的統(tǒng)計(jì)量SaSa=ST-Se=nkj=