第二章經(jīng)典估計理論(MVU和BLUE)

1、信號檢測與估計信號檢測與估計Signal Detection and Estimation經(jīng)典估計理論MVU和BLUE羅義軍QQ:896442923群號：97508035經(jīng)典估計理論內(nèi)容安排主要內(nèi)容主要內(nèi)容引言引言最小方差無偏估計（最小方差無偏估計（MVU）Cramer-Rao下限下限線性模型線性模型最佳線性無偏估計（最佳線性無偏估計（BLUE）參數(shù)估計引言：DSB接收00( )( ;,)( )x tS t fw t目標：已知 ，尋求某種意義上的最佳估計最佳估計 估計的數(shù)學問題011Xxxx N12p已知觀測數(shù)據(jù)未知參量如何得到估計問題的統(tǒng)計信息？需要數(shù)據(jù)的N維pdf，與有關有關()( 0,

2、1, 21)g Xg xxxx NL看作確定參數(shù)看作隨機參數(shù)經(jīng)典估計，不提供的全部先驗信息貝葉斯估計，要利用的先驗pdf求估計量性能評估l估計量是否接近參數(shù)的真實值？估計量是否接近參數(shù)的真實值？l是否還有更好的估計是否還有更好的估計? ?l通?？刹捎霉烙嬃康耐ǔ？刹捎霉烙嬃康木岛头讲罹岛头讲顏砗饬縼砗饬?mE期望：22 EE 盡可能小估計量無偏最小方差準則l均方誤差準則（mean square error，MSE）一個很自然的準則 222mse( ) ( )( ) ( )( )EEEEVarb令修正估計量101 NnAax nN(則2222mse( )(1)aAaAN(22mse( )22

3、(1)0dAaaAdaN(222/optAaAN不可實現(xiàn)令與A有關因此，增加因此，增加約束條件：約束條件：偏差為偏差為0經(jīng)典估計理論內(nèi)容安排主要內(nèi)容主要內(nèi)容引言引言最小方差無偏估計（最小方差無偏估計（MVU）Cramer-Rao下限下限線性模型線性模型最佳線性無偏估計（最佳線性無偏估計（BLUE）最小方差無偏估計101 NnAx nN第一次觀測：第一次觀測：38.0第二次觀測：第二次觀測：37.9第三次觀測：第三次觀測：38.1第四次觀測：第四次觀測：38.1第五次觀測：第五次觀測：37.9前后觀測五次前后觀測五次溫度值如下：溫度值如下：取個平均！38攝氏度攝氏度101 NnAx nN高斯白噪

4、聲，0均值，方差為2為無偏估計為無偏估計 E AA方差為方差為2var( )An最小方差無偏估計的存在性l如果僅有三個無偏估計量l有時無法獲得MVUE沒有無偏估計量不存在一致方差最小的無偏估計量找不到MVUE求最小方差無偏估計量 幾種可能的求解方法：l確定確定CRLBCRLB并檢查是否有估計量滿足該條件（并檢查是否有估計量滿足該條件（3 3、4 4章）。章）。l限定估計量為線性的，然后尋找最小方差無偏估計（限定估計量為線性的，然后尋找最小方差無偏估計（6 6章）。章）。 經(jīng)典估計理論內(nèi)容安排主要內(nèi)容主要內(nèi)容引言引言最小方差無偏估計（最小方差無偏估計（MVU）Cramer-Rao下限下限線性模型

5、線性模型最佳線性無偏估計（最佳線性無偏估計（BLUE）例：均勻噪聲的均值2var( )var( )12x nNN101 Nnx nN均勻噪聲，估計量估計量方差為方差為 0,1,1x nw nnN例例5.8 觀測數(shù)據(jù)觀測數(shù)據(jù) 0,0u均值均值2估計量估計量1max 2Nx nN2var( )4(2)N N方差為方差為顯然為無偏估計顯然為無偏估計22124 (1)NN NlCramer-RaoCramer-Rao（CRLBCRLB）下限是任何無偏估計量方差的下限若 是參數(shù)的無偏估計量，則l對任何無偏估計量的方差確定一個下限，這在實際中證明是極為有用的。最好的情況下，允許確定估計量是MVU估計量最壞

6、的情況下，為比較無偏估計量的性能提供了一個標準。也提醒我們不可能求得方差小于下限的無偏估計量Cramer-Rao下限定理定理3.13.1（CRLBCRLB標量參數(shù)標量參數(shù) ） 假設假設pdf pdf 滿足正則條件滿足正則條件 其中數(shù)學期望是對其中數(shù)學期望是對 求取的。那么，任何無偏估計量的方求取的。那么，任何無偏估計量的方 差必定滿足差必定滿足 ( ; )p xln( ; )0p xE對于所有的221var( )ln( ; )p xE( ; )p x21var( )ln( ; )p xE或或（參見附錄（參見附錄3A）克拉美克拉美- -羅限（羅限（CRLBCRLB）(4.4.9)(4.4.11)

7、(4.4.12)l對于某個函數(shù)對于某個函數(shù) ，當且僅當下式成立時，可以求得對，當且僅當下式成立時，可以求得對所有所有達到下限的無偏估計量。達到下限的無偏估計量。,g Iln( ; )( )( ( )p xIg x( )g x1/ ( )I該估計量是該估計量是 ，它是，它是MVUMVU估計量，最小方估計量，最小方差是差是Cramer-Rao定理舉例l例例3.1的的CRLB2var( )AA， 所有由定理由定理3.12ln( 0; )1( 0)p xAxAA21( )00AIg xx而而l例3.3 高斯白噪聲中的固定參數(shù)估計此時，采樣平均此時，采樣平均即為即為MVUE！有效估計l定義 若估計量：無

8、偏；且達到Cramer-Rao下限。則稱為有效估計有效估計l必須指出：不是所有估計都是有效的甚至并非所有的MVUE都是的相位估計的CRLBl例3.4 則則信號功率信號功率 ，22AS 噪聲功率噪聲功率 2Nln( ; )( )( ( )p xIg x有效估計當且僅當有效估計當且僅當 不存在有效估計不存在有效估計CRLB-Fisher信息lFisher Fisher 信息信息：CRLB的分母。 l基本性質(zhì)基本性質(zhì)非負的非負的對獨立觀測的可加性對獨立觀測的可加性 高斯白噪聲中信號的CRLB則則 信號對參數(shù)變化越敏感，信號對參數(shù)變化越敏感，CRLB越小，越可越小，越可能獲得更準確的估計能獲得更準確的

9、估計 參數(shù)的變換l若希望估計則則 越大，則 的小誤差將會造成的更大誤差 從而增大CRLB，惡化估計的準確度即即 222gvar( )ln(; )p XEg經(jīng)典估計理論內(nèi)容安排主要內(nèi)容主要內(nèi)容引言引言最小方差無偏估計（最小方差無偏估計（MVU）Cramer-Rao下限下限線性模型線性模型最佳線性無偏估計（最佳線性無偏估計（BLUE）一般線性模型白高斯噪聲中的信號N1已知觀測矩陣（NP）P1已知偏移（N1）數(shù)據(jù)矢量已知且滿秩待估參數(shù)已知(0,)NC矢量形式為考慮特例：線性觀測一般線性模型：觀測矩陣需要滿秩l必須假定H為滿秩矩陣l否則，估計問題成為病態(tài)問題l對于給定矢量S，將會有多個不同的矢量可以獲

10、得l即對于任意 ， 使得因此，無法根據(jù)觀測量對參數(shù)進行估計線性模型的重要性 以下幾個原因：l某些應用確定為該模型l非線性模型有時候可以線性化l尋找最佳估計相對簡單一般線性模型的MVUEl若則證明：首先假定b=0，這很容易推廣到一般情況由CRLB定理，得出MVU估計，并達到CRLB下限 ln( ; )( )( ( )p xIg x線性模型的MVUEl定理4.1 若觀測數(shù)據(jù)可表示為2(0,)NI則MVU估計量協(xié)方差矩陣MVU估計量達到了CRLB線性模型的例子l例4.1 曲線擬合l注意： “線性”的含義模型對于橫坐標n為二次函數(shù)而對于參數(shù)則是線性的觀測數(shù)據(jù)則MVU估計傅里葉分析l例4.2數(shù)據(jù)模型：

11、待估參數(shù)待估參數(shù)： （傅里葉系數(shù)） 0,1,1nN其中觀測矩陣： 0,1,1nNlMVU估計量為利用三角函數(shù)的正交特性可見，白高斯噪聲中信號的傅里葉系數(shù)，是無噪聲信號傅里葉系數(shù)的MVU估計！ 系統(tǒng)辨識l一些應用領域：無線通信（識別和均衡多徑）地球物理探測（石油勘探）喇叭擴音器（回波抵消）l在很多應用中，假定系統(tǒng)為FIR濾波器（長度為p）目標：確定系統(tǒng)模型 10 0,1,1pkx nh k u nkw nnN則 經(jīng)典估計理論內(nèi)容安排主要內(nèi)容主要內(nèi)容引言引言最小方差無偏估計（最小方差無偏估計（MVU）Cramer-Rao下限下限線性模型線性模型最佳線性無偏估計（最佳線性無偏估計（BLUE）BLUE

12、的目的l除線性模型外，最佳MVU估計也許并不存在或很難找到l因此，往往要求助于次優(yōu)估計量lBLUE的思路：估計量是線性的，相對于數(shù)據(jù)X估計量無偏尋求最優(yōu)估計（即最小方差）lBLUE的優(yōu)點：只需pdf的均值和方差l缺點：通常是次優(yōu)的；有時是不合適的BLUE的定義（標量）l觀測數(shù)據(jù)：lPDF： 與未知參數(shù) 有關lBLUE限定估計量與數(shù)據(jù)呈線性的，即l選擇a a，所，所得無偏且方差最小的估計量即為BLUE。1max 2MUENx nNBLUExMVUBLUEx求BLUEl估計量線性：l估計量無偏：l考慮標量參數(shù)的線性觀測：l由無偏可得lBLUE要在上述給定約束條件下，使得方差最小l令C C為X X的

13、協(xié)方差矩陣，則l目標：使 最??； 約束條件： 帶約束條件的求最佳問題 （附錄6A）：利用拉格朗日乘子BLUE的應用l推導BLUE只需滿足：觀測量線性；不知道噪聲的pdf，但知道其均值和方差。l這意味著： BLUE可用于線性觀測噪聲不必為高斯分布只需知道pdf的前二階矩1擴展到矢量參數(shù)l定理6.1（高斯-馬爾可夫定理） 若數(shù)據(jù)具有線性模型形式已知矩陣已知均值和方差則BLUE是協(xié)方差矩陣為注：若噪聲為高斯分布，則BLUE為MVUE信號處理的例子l例6.3 源定位,()ssx y假定第i個天線可測量到達時間(TOA)：從而得到相應的到達時間差TDOA根據(jù)TDOA估計坐標位置itl假定N個天線測量的TOA為含測量誤差TOA測量模型：信號發(fā)射時刻到天線的距離測量誤差：0均值，方差為2而距離：可得l將模型線性化以便應用BLUE假定初步估計為采用一階泰勒級數(shù)展開代入得變換為TDOA模型需估計的三個未知