平穩(wěn)隨機(jī)過程估計(jì)理論

平穩(wěn)隨機(jī)過程估計(jì)理論1第1頁，課件共36頁，創(chuàng)作于2023年2月信號(hào)處理的根本任務(wù)是要提取有用的信息，有用信息是通過檢測、估計(jì)的方法對(duì)信號(hào)進(jìn)行處理后提取出來的，所以、檢測、估計(jì)的信號(hào)處理方法是信號(hào)處理技術(shù)的理論基礎(chǔ)，它的應(yīng)用領(lǐng)域十分廣泛。2第2頁，課件共36頁，創(chuàng)作于2023年2月3第3頁，課件共36頁，創(chuàng)作于2023年2月聲納系統(tǒng)----利用聲波信號(hào)確定船只的位置圖象處理----使用紅外檢測是否有飛機(jī)出現(xiàn)圖象分析----根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置和方向，用機(jī)器人抓目標(biāo)時(shí)是必須的生物醫(yī)學(xué)----估計(jì)胎兒的心率控制----估計(jì)汽艇的位置，以便采用正確的導(dǎo)航行為，如Loran系統(tǒng)地震學(xué)----檢測地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來估計(jì)油田的地下距離。4第4頁，課件共36頁，創(chuàng)作于2023年2月所有這些問題都有一個(gè)共同的特點(diǎn)，那就是從含有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，這些有用信息可能是“目標(biāo)出現(xiàn)與否”、“數(shù)字源發(fā)射的是0還是1”或者“目標(biāo)的距離”、“目標(biāo)的方位”，或”目標(biāo)的速度”等，由于噪聲固有的隨機(jī)性，因此，有用信息的提取必須采用統(tǒng)計(jì)的方法，這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測理論與估計(jì)理論，就是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。5第5頁，課件共36頁，創(chuàng)作于2023年2月§5.信號(hào)的估計(jì)問題5.1估計(jì)的基本概念5.2確定性信號(hào)處理的最小平方問題5.3隨機(jī)信號(hào)參數(shù)的最小均方估計(jì)5.4最小二乘估計(jì)：觀測與估計(jì)偏差的平方和最小5.5波形估計(jì)6第6頁，課件共36頁，創(chuàng)作于2023年2月估計(jì)問題通常是以下三種情況：根據(jù)觀測樣本直接對(duì)觀測樣本的各類統(tǒng)計(jì)特性作出估計(jì)；根據(jù)觀測樣本，對(duì)觀測樣本中的信號(hào)中的未知的待定參量作出估計(jì)，稱為信號(hào)的參量估計(jì)問題，又分為點(diǎn)估計(jì)和區(qū)間估計(jì)；根據(jù)觀測樣本對(duì)隨時(shí)間變化的信號(hào)作出波形估計(jì)，又稱為過程估計(jì)。5.1估計(jì)的基本概念7第7頁，課件共36頁，創(chuàng)作于2023年2月信源s(

)P(

)混合P(n)n估計(jì)規(guī)則估計(jì)(

)z觀測空間信號(hào)參量估計(jì)的統(tǒng)計(jì)推斷模型5.1估計(jì)的基本概念8第8頁，課件共36頁，創(chuàng)作于2023年2月估計(jì)問題基本要素5.1估計(jì)的基本概念概率傳遞機(jī)制估計(jì)準(zhǔn)則9第9頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號(hào)最小平方估計(jì)例1實(shí)數(shù)二次型10第10頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號(hào)最小平方估計(jì)11第11頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號(hào)最小平方估計(jì)例2多項(xiàng)式由信號(hào)估計(jì)尋求12第12頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號(hào)最小平方估計(jì)由可得使E為最小的向量估計(jì)的最小平方誤差為13第13頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號(hào)最小平方估計(jì)14第14頁，課件共36頁，創(chuàng)作于2023年2月1、線性最小均方估計(jì)(linearminimummeansquareerrorestimation)設(shè)隨機(jī)參量與觀測數(shù)據(jù)z有關(guān)，且在觀測過程中不變，根據(jù)N個(gè)觀測數(shù)據(jù)｛z:z1,z2,…,zN｝,對(duì)參量作線性最小均方估計(jì)。規(guī)定估計(jì)量具有線性函數(shù)形式：選擇適當(dāng)?shù)南禂?shù)hk及b，使估計(jì)均方誤差最小。5.3隨機(jī)信號(hào)的線性最小均方估計(jì)15第15頁，課件共36頁，創(chuàng)作于2023年2月由上兩式即可求得b及系數(shù)hk。實(shí)現(xiàn)線性最小均方估計(jì)條件：通常稱為正交條件，即估計(jì)誤差與各個(gè)觀測數(shù)據(jù)乘積的統(tǒng)計(jì)均值等于零。5.3隨機(jī)信號(hào)的線性最小均方估計(jì)16第16頁，課件共36頁，創(chuàng)作于2023年2月性能分析：

線性最小均方估計(jì)為無偏估計(jì)，即有：線性最小均方估計(jì)的均方誤差等于誤差與被估計(jì)量乘積的統(tǒng)計(jì)均值，即：其中：5.3隨機(jī)信號(hào)的線性最小均方估計(jì)17第17頁，課件共36頁，創(chuàng)作于2023年2月例1、在平穩(wěn)白噪聲背景中，對(duì)參量作線性最小均方估計(jì)。1)觀測數(shù)據(jù)為：其中a為信號(hào)幅值，E[a2]=A，E[a]=0；nk為均值為零、方差為的白噪聲，且信號(hào)幅值與噪聲不相關(guān)，求a的最佳線性估計(jì)。2)若觀測數(shù)據(jù)為：設(shè)E[s2]=S，E[s]=0；其余條件同(1)，試根據(jù)二個(gè)觀測數(shù)據(jù)求s的最佳線性估計(jì)。5.3隨機(jī)信號(hào)的線性最小均方估計(jì)18第18頁，課件共36頁，創(chuàng)作于2023年2月1、估計(jì)量的性能標(biāo)準(zhǔn)無偏性如果估計(jì)量的均值等于非隨機(jī)參量或等于隨機(jī)參量的均值，則稱估計(jì)量具有無偏性。即滿足：對(duì)于確定量，有：對(duì)于隨機(jī)量，有：5.4估計(jì)量的性能19第19頁，課件共36頁，創(chuàng)作于2023年2月有效性

對(duì)于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。5.4估計(jì)量的性能20第20頁，課件共36頁，創(chuàng)作于2023年2月

對(duì)于有偏估計(jì)，盡管估計(jì)的方差很小，但估計(jì)的誤差可能仍然很大。5.4估計(jì)量的性能21第21頁，課件共36頁，創(chuàng)作于2023年2月有效性

對(duì)于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能，所以我們可以用均方誤差作為評(píng)價(jià)估計(jì)量性能的一個(gè)指標(biāo)。5.4估計(jì)量的性能22第22頁，課件共36頁，創(chuàng)作于2023年2月

一致性即對(duì)于任意小數(shù)，若有：則估計(jì)量為一致估計(jì)量。若滿足則稱為均方一致估計(jì)量。5.4估計(jì)量的性能23第23頁，課件共36頁，創(chuàng)作于2023年2月例1、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)。設(shè)有N次獨(dú)立觀測zi=A+vi，i=1,2,….N，其中vi~N(0,2)，2已知。5.4估計(jì)量的性能24第24頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計(jì)量的估計(jì)方差的最小值

非隨機(jī)參量任何無偏估計(jì)量的方差滿足等號(hào)成立的條件：克拉美-羅限5.4估計(jì)量的性能25第25頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-Raobound)如果一個(gè)無偏估計(jì)，它的方差達(dá)到CRLB，那么，這個(gè)估計(jì)必定是最大似然估計(jì)。這時(shí)最大似然估計(jì)是最好的。但如果不存在達(dá)到CRLB的估計(jì)，最大似然估計(jì)就不一定是最好的估計(jì)。5.4估計(jì)量的性能26第26頁，課件共36頁，創(chuàng)作于2023年2月例2、高斯白噪聲中的DC電平。DC電平的最大似然估計(jì)的方差是否達(dá)到CRLB？它的估計(jì)方差是多少？

5.4估計(jì)量的性能27第27頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計(jì)量的估計(jì)方差的最小值

隨機(jī)參量任何無偏估計(jì)量的均方誤差滿足等號(hào)成立的條件：克拉美-羅限5.4估計(jì)量的性能28第28頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計(jì)量的估計(jì)方差的最小值

隨機(jī)參量如果有某個(gè)無偏估計(jì)達(dá)到CRLB,那么該估計(jì)必定是最大后驗(yàn)概率估計(jì).而最小均方估計(jì)的均方誤差也是最小的,所以這時(shí)最小均方估計(jì)與最大后驗(yàn)概率估計(jì)等價(jià).5.4估計(jì)量的性能29第29頁，課件共36頁，創(chuàng)作于2023年2月例2高斯白噪聲中的直流電平估計(jì)-高斯先驗(yàn)分布。設(shè)有N次獨(dú)立觀測zi=A+vi,i=1,2,….N，其中v~N(0,)，A~，求A的估計(jì)的CRLB。5.4估計(jì)量的性能30第30頁，課件共36頁，創(chuàng)作于2023年2月1、波形估計(jì)參量估計(jì)適用于非時(shí)變參量，無法解決時(shí)變參量估計(jì)問題。關(guān)于時(shí)變參量甚至?xí)r變信號(hào)本身的估計(jì)稱為時(shí)變信號(hào)估計(jì)或波形估計(jì)，因此波形估計(jì)又稱過程估計(jì)。波形估計(jì)其實(shí)質(zhì)就是給定有用信號(hào)和加性噪聲的混合波形，尋求一種線性運(yùn)算作用于此混合波形，使信號(hào)與噪聲實(shí)現(xiàn)最佳分離，最佳的含義是使估計(jì)的均方誤差最小，故又稱為最佳線性濾波理論。5.5波形估計(jì)31第31頁，課件共36頁，創(chuàng)作于2023年2月波形估計(jì)通常分為濾波、平滑、預(yù)測三種基本估計(jì)。

濾波：根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,n}對(duì)信號(hào)s(n)進(jìn)行估計(jì)(Filtering)；

預(yù)測:根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,nf}對(duì)未來時(shí)刻n(n>nf)的信號(hào)s(n)進(jìn)行估計(jì)，預(yù)測也稱為外推；(Prediction)

根據(jù)某一區(qū)間的觀測數(shù)據(jù){z(k),k=n0,n0+1,...,nf}對(duì)區(qū)間內(nèi)的某一個(gè)時(shí)刻n(n0<n<nf)的信號(hào)進(jìn)行估計(jì)，內(nèi)插也稱為平滑。(Smoothing)。5.5波形估計(jì)32第32頁，課件共36頁，創(chuàng)作于2023年2月2、維納濾波線性最小均方估計(jì)是觀測的線性函數(shù)，它可以看作為觀測序列通過離散時(shí)間線性系統(tǒng)，即Wiener-Hopf方程

濾波器系數(shù)的選擇：正交原理5.5波形估計(jì)33第33頁，課件共36頁，創(chuàng)作于2023年2月假定信號(hào)和觀測過程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨機(jī)序列，系統(tǒng)為因果的線性時(shí)不變離散時(shí)間線性系統(tǒng)5.5波形估計(jì)34第34頁，課件共36頁，創(chuàng)作于2023年2月維納濾波器信號(hào)s(n)與觀測噪聲統(tǒng)計(jì)獨(dú)立時(shí)，維納濾波器為：觀測為白噪聲時(shí)，維納濾波器為：5.5波形估計(jì)35第35頁，課件共36頁，創(chuàng)作于2023年2月 維納濾波和卡爾曼濾波是實(shí)現(xiàn)從噪聲中提取信號(hào)，完成信號(hào)波形估計(jì)的兩種線性最佳估計(jì)方法。 維納濾波需要設(shè)計(jì)維納濾波器，它的求解要求知道隨機(jī)信號(hào)的統(tǒng)計(jì)特性，即相關(guān)函數(shù)或功率譜密度。當(dāng)信號(hào)的功率譜為有理譜時(shí)，采用譜分解的方