平穩(wěn)過程的線性模型

平穩(wěn)過程的線性模型第一頁，共二十九頁，2022年，8月28日隨機(jī)信號(hào)的模型“模型”一詞常用表示一些假設(shè)，這些假設(shè)可用于解釋或描述組織或約束物理數(shù)據(jù)產(chǎn)生的內(nèi)在規(guī)律。隨機(jī)過程用模型表示可回溯到Y(jié)ule(1972)的一種思想，這種思想就是強(qiáng)相關(guān)時(shí)間序列u(n)可用獨(dú)立的隨機(jī)序列作用于一個(gè)線性濾波器產(chǎn)生。通常假設(shè)激勵(lì)是零均值，方差為常數(shù)的高斯分布的隨機(jī)序列。這樣的隨機(jī)序列構(gòu)成一個(gè)純隨機(jī)過程，通常指高斯白噪聲

第二頁，共二十九頁，2022年，8月28日一般地，隨機(jī)過程模型時(shí)域的關(guān)系可描述如下：第三頁，共二十九頁，2022年，8月28日3.1有理分式模型有里分式模型是應(yīng)用最為普遍的線性模型，該模型的系統(tǒng)函數(shù)為有理式根據(jù)分子分母的具體情況，有理分式模型可以分為：AR模型——自回歸模型MA模型——滑動(dòng)平均模型ARMA模型——自回歸滑動(dòng)平均模型第四頁，共二十九頁，2022年，8月28日3.1.1ARMA模型（autoregressivemovingaverage）一類很重要的隨機(jī)過程可以用有理傳遞函數(shù)建模。這類隨機(jī)信號(hào)在實(shí)踐中經(jīng)常會(huì)出現(xiàn)。有理傳遞函數(shù)模型也通常用于其它類型的隨機(jī)過程的近似表示。用有理傳遞函數(shù)表示的隨機(jī)過程可以通過白噪聲驅(qū)動(dòng)具有有理傳遞函數(shù)的系統(tǒng)產(chǎn)生。第五頁，共二十九頁，2022年，8月28日ARMA(p,q)的系統(tǒng)函數(shù)H(z)為：可以看出，ARMA模型的系統(tǒng)函數(shù)H(z)既有極點(diǎn)，又有零點(diǎn)，故，ARMA模型又稱為零-極點(diǎn)模型此為ARMA模型的差分方程第六頁，共二十九頁，2022年，8月28日這里是零均值，功率為的白噪聲。這樣的隨機(jī)過程叫做自回歸滑動(dòng)平均（autoregressivemovingaverage--ARMA）。就是自回歸參數(shù)，叫做動(dòng)平均參數(shù)。為了明確地指出分子分母的階數(shù)，我們叫這樣的隨機(jī)過程為ARMA(p,q)。有趣的是，如果ARMA過程x(n)作為濾波器的輸入，我們就可將驅(qū)動(dòng)噪聲恢復(fù)出來。這個(gè)逆濾波器是ARMA的“分析濾波器”。第七頁，共二十九頁，2022年，8月28日下圖表明ARMA過程是如何通過一個(gè)白噪聲的輸入產(chǎn)生的。

圖ARMA(p,q)隨機(jī)過程模型（這里p=q）習(xí)慣上將用于產(chǎn)生ARMA過程的系統(tǒng)H(z)叫做ARMA的“綜合濾波器”。

第八頁，共二十九頁，2022年，8月28日3.1.2MA模型（movingaverage）如果去掉濾波器的自回歸部分，即除外，其它所有的都等于0，并且假設(shè)，則輸入和輸出的關(guān)系為記作MA(q)，則產(chǎn)生MA(q)過程的系統(tǒng)的傳遞函數(shù)為則功率譜密度為這意味著功率譜可簡記為第九頁，共二十九頁，2022年，8月28日傳遞函數(shù)B(z)稱為MA過程的“綜合濾波器”。它是一個(gè)q階全零點(diǎn)濾波器。下圖繪出了MA過程的模型。驅(qū)動(dòng)噪聲可以用時(shí)間序列x(k)作用于全零點(diǎn)濾波器，即分析濾波器恢復(fù)出來。

圖MA(q)隨機(jī)過程模型第十頁，共二十九頁，2022年，8月28日3.1.2AR模型（autoregressive）最后，如果去掉ARMA模型的滑動(dòng)平均部分,即除外，所有的全為零，剩余部分叫做自回歸模型，記為AR(p)。對(duì)于AR(p)過程有產(chǎn)生AR(p)過程的系統(tǒng)傳遞函數(shù)為則功率譜密度為這意味著功率譜可簡記為第十一頁，共二十九頁，2022年，8月28日傳遞函數(shù)A(z)即為AR過程的綜合濾波器，可以看出它是一個(gè)P階的全極點(diǎn)濾波器。下圖描述AR過程模型。則可以利用時(shí)間序列x(n)作用于濾波器來恢復(fù)驅(qū)動(dòng)噪聲，這個(gè)濾波器被稱為分析濾波器。

圖AR(p)隨機(jī)過程模型第十二頁，共二十九頁，2022年，8月28日3.1.4三種模型系數(shù)間關(guān)系實(shí)際中，我們常常會(huì)關(guān)心譜的估計(jì)。這將在本書以后章節(jié)中介紹。功率譜估計(jì)問題是從隨機(jī)過程單個(gè)樣本的有限測(cè)量集來估計(jì)隨機(jī)過程的功率譜。有兩類重要譜估計(jì)方法：非參數(shù)法和參數(shù)法。非參數(shù)法不作有關(guān)過程的假設(shè)。而僅是建立在測(cè)量的基礎(chǔ)上。這種方法同模型法比性能較差。參數(shù)法假設(shè)隨機(jī)過程的模型（MA、AR、ARMA），譜估計(jì)以模型參數(shù)的推導(dǎo)為基礎(chǔ)，這其中一個(gè)基本問題是：哪一個(gè)模型更合適，是MA、AR還是ARMA？第十三頁，共二十九頁，2022年，8月28日

Wold分解定理和Kolmogorov-Szego定理都給我們提供了隨機(jī)過程不同有理傳遞函數(shù)模型間的重要關(guān)系。由Wold分解定理可知，AR模型或ARMA模型可用一個(gè)可能是無窮階MA模型表示。Kolmogorov-Szego定理暗示MA模型或ARMA模型可用一個(gè)可能是無窮階AR模型表示。這些結(jié)果是很重要的，因?yàn)槿绻Ｐ瓦x錯(cuò)，我們也可獲得一個(gè)很好的近似。例如，如果我們正企圖用AR模型建立一個(gè)ARMA(p,q)模型，只要你選擇足夠大的AR模型的階數(shù)，那么結(jié)果仍然是可以接受的。第十四頁，共二十九頁，2022年，8月28日3.2平穩(wěn)隨機(jī)信號(hào)通過線性系統(tǒng)從前面的研究可以看出，三個(gè)模型都可以看作是白噪聲通過一個(gè)線性系統(tǒng)的輸出3.2.1平穩(wěn)隨機(jī)信號(hào)通過線性系統(tǒng)的定理設(shè)：x(n)通過一線性移不變系統(tǒng)h(n)后輸出為y(n)則有：如果x(n)是確定性信號(hào)，則：如果x(n)是一平穩(wěn)隨機(jī)信號(hào)，則y(n)也是平穩(wěn)隨機(jī)信號(hào)。由于隨機(jī)信號(hào)不存在傅立葉變換，所以需要從相關(guān)函數(shù)和功率譜的角度來研究隨機(jī)信號(hào)通過線性系統(tǒng)的行為第十五頁，共二十九頁，2022年，8月28日1.相關(guān)卷積定理若則：也就是說，卷積的相關(guān)等于相關(guān)的卷積

兩邊求傅立葉變換：根據(jù)維納—辛欽定理和相關(guān)定理（式），由上式得即輸出自功率譜等于輸入自功率譜與系統(tǒng)能量譜的乘積第十六頁，共二十九頁，2022年，8月28日2.輸入輸出互相關(guān)定理輸入、輸出序列的互相關(guān)等于輸入自相關(guān)與系統(tǒng)單位抽樣響應(yīng)的卷積即輸入輸出序列互功率譜等于輸入序列自功率譜與系統(tǒng)頻率響應(yīng)的乘積對(duì)實(shí)信號(hào)：（）（）第十七頁，共二十九頁，2022年，8月28日由式（）或（）可得系統(tǒng)幅度譜：或?qū)⑹剑ǎ┏裕ǎ┛傻孟辔蛔V：這里系統(tǒng)頻率響應(yīng)為互相關(guān)和功率譜反映了隨機(jī)序列通過線性系統(tǒng)前、后的關(guān)系。這種關(guān)系與系統(tǒng)有關(guān)，因而可以直接用來測(cè)量系統(tǒng)的特性。例如：測(cè)定系統(tǒng)頻率響應(yīng)和單位抽樣響應(yīng)。第十八頁，共二十九頁，2022年，8月28日3.均值定理輸出隨機(jī)序列的均值等于輸入隨機(jī)序列的均值與系統(tǒng)零頻率（直流）響應(yīng)的乘積，即證明（略）第十九頁，共二十九頁，2022年，8月28日白噪聲激勵(lì)線性模型根據(jù)譜分解定理，任何平穩(wěn)隨機(jī)信號(hào)x(n)都可以看成是白噪聲w(n)激勵(lì)一個(gè)因果穩(wěn)定的可逆系統(tǒng)H(z)產(chǎn)生的輸出，如圖3.1所示：w(n)x(n)圖3.1平穩(wěn)隨機(jī)信號(hào)模型第二十頁，共二十九頁，2022年，8月28日3.3AR模型的正則方程與參數(shù)計(jì)算什么是正則方程（normalequation)：就是在均方誤差（MSE）最小準(zhǔn)則下建立的模型參數(shù)與相關(guān)函數(shù)的關(guān)系。AR模型應(yīng)用最為廣泛：1）AR模型可借助線性方程獲得2）三種模型在一定條件下可以互相轉(zhuǎn)換3）實(shí)際可直接或經(jīng)變換后采用AR模型第二十一頁，共二十九頁，2022年，8月28日尤勒-沃克(Yule-Walker)方程如前所敘述的那樣,p階AR模型的系統(tǒng)函數(shù)為而系統(tǒng)的輸出可表示為:第二十二頁，共二十九頁，2022年，8月28日根據(jù)上式,可以得到均方誤差與系統(tǒng)增益G以及AR系數(shù)的關(guān)系.由:,有:分別把各項(xiàng)代如上式.可得:第二十三頁，共二十九頁，2022年，8月28日在最小均方誤差(MMSE)準(zhǔn)則下,要使得預(yù)測(cè)值最佳地逼近x(n),參數(shù)ai的選擇應(yīng)使由式(3.3.8)可得:聯(lián)立上面三式.可得即:第二十四頁，共二十九頁，2022年，8月28日可得AR模型的正則方程即尤勒-沃克(Yule-Walker)方程第二十五頁，共二十九頁，2022年，8月28日AR模型與線性預(yù)測(cè)討論假定AR模型的系統(tǒng)增益G=1,激勵(lì)白噪聲的方差為待求量,則AR模型的系統(tǒng)函數(shù)為:第二十六頁，共二十九頁，2022年，8月28日(1)AR模型的逆濾波器是預(yù)測(cè)誤差濾波器

第二十七頁，共二十九頁，2022年，8月2