信號(hào)處理理論與技術(shù)：第三章 估計(jì)理論

信號(hào)處理的根本任務(wù)是要提取有用的信息，有用信息是通過(guò)檢測(cè)、估計(jì)的方法對(duì)信號(hào)進(jìn)行處理后提取出來(lái)的，所以、檢測(cè)、估計(jì)的信號(hào)處理方法是信號(hào)處理技術(shù)的理論基礎(chǔ)，它的應(yīng)用領(lǐng)域十分廣泛。

12

聲納系統(tǒng)----利用聲波信號(hào)確定船只的位置

圖象處理----使用紅外檢測(cè)是否有飛機(jī)出現(xiàn)

圖象分析----根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置和方向，用機(jī)器人抓目標(biāo)時(shí)是必須的

生物醫(yī)學(xué)----估計(jì)胎兒的心率

控制----估計(jì)汽艇的位置，以便采用正確的導(dǎo)航行為，如Loran系統(tǒng)

地震學(xué)----檢測(cè)地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來(lái)估計(jì)油田的地下距離。3所有這些問(wèn)題都有一個(gè)共同的特點(diǎn)，那就是從含有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，這些有用信息可能是“目標(biāo)出現(xiàn)與否”、“數(shù)字源發(fā)射的是0還是1”或者“目標(biāo)的距離”、“目標(biāo)的方位”，或”目標(biāo)的速度”等，由于噪聲固有的隨機(jī)性，因此，有用信息的提取必須采用統(tǒng)計(jì)的方法，這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測(cè)理論與估計(jì)理論。43.估計(jì)理論3.1估計(jì)的基本概念3.2性能指標(biāo)3.3Cramer-RaoBound：估計(jì)性能界3.4最大似然估計(jì)

使似然函數(shù)最大，適用于常量估計(jì)3.5貝葉斯估計(jì)：已知代價(jià)函數(shù)及先驗(yàn)概率，使估計(jì)付出的平均代價(jià)最小3.6線性最小均方誤差估計(jì)：已知估計(jì)量的一、二階矩,使均方

誤差最小的

3.3最小二乘估計(jì)：觀測(cè)與估計(jì)偏差的平方和最小5估計(jì)問(wèn)題通常是以下三種情況：

根據(jù)觀測(cè)樣本直接對(duì)觀測(cè)樣本的各類統(tǒng)計(jì)特性作出估計(jì)；

根據(jù)觀測(cè)樣本，對(duì)觀測(cè)樣本中的信號(hào)中的未知的待定參量作出估計(jì)，稱為信號(hào)的參量估計(jì)問(wèn)題，又分為點(diǎn)估計(jì)和區(qū)間估計(jì)；

根據(jù)觀測(cè)樣本對(duì)隨時(shí)間變化的信號(hào)作出波形估計(jì)，又稱為過(guò)程估計(jì)。3.1估計(jì)的基本概念6信源s()P()混合P(n)n估計(jì)規(guī)則估計(jì)()z觀測(cè)空間信號(hào)參量估計(jì)的統(tǒng)計(jì)推斷模型3.1估計(jì)的基本概念7例3.1估計(jì)的基本概念83.1估計(jì)的基本概念一般情況下，可以認(rèn)為估計(jì)結(jié)果與觀測(cè)數(shù)據(jù)由一個(gè)映射關(guān)系確定

91、估計(jì)量的性能標(biāo)準(zhǔn)無(wú)偏性

如果估計(jì)量的均值等于非隨機(jī)參量或等于隨機(jī)參量的均值，則稱估計(jì)量具有無(wú)偏性。即滿足：對(duì)于確定量，有：對(duì)于隨機(jī)量，有：3.2性能指標(biāo)10有效性

對(duì)于無(wú)偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。3.2性能指標(biāo)11對(duì)于有偏估計(jì)，盡管估計(jì)的方差很小，但估計(jì)的誤差可能仍然很大。3.2性能指標(biāo)12有效性

對(duì)于無(wú)偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能，所以我們可以用均方誤差作為評(píng)價(jià)估計(jì)量性能的一個(gè)指標(biāo)。3.2性能指標(biāo)13一致性

即對(duì)于任意小數(shù)，若有：

則估計(jì)量

為一致估計(jì)量。若滿足則稱為均方一致估計(jì)量。3.2性能指標(biāo)143.2性能指標(biāo)153.2性能指標(biāo)163.2性能指標(biāo)173.2性能指標(biāo)183.3Cramer-RaoBound193.3Cramer-RaoBound203.3Cramer-RaoBound213.3Cramer-RaoBound22Fisher信息量3.3Cramer-RaoBound233.3Cramer-RaoBound243.3Cramer-RaoBound25263.3Cramer-RaoBoundCRLB的其他拓展應(yīng)用隨機(jī)參量估計(jì)的CRLB

參量函數(shù)的CRLB：估計(jì)目標(biāo)為

標(biāo)量函數(shù)關(guān)系

矢量函數(shù)關(guān)系

273.3Cramer-RaoBound應(yīng)用舉例283.3Cramer-RaoBound應(yīng)用舉例信息矩陣最終結(jié)果

2930復(fù)參數(shù)估計(jì)的CRB31321、最大似然估計(jì)3.4最大似然估計(jì)(MaximumLikelihoodEstimate)似然函數(shù)

333.4最大似然估計(jì)

最大似然估計(jì)的性質(zhì)：最大似然估計(jì)一般不是無(wú)偏的，但其偏差可以通過(guò)對(duì)估計(jì)值某個(gè)合適的常數(shù)加以消除；最大似然估計(jì)是一致估計(jì)；最大似然估計(jì)給出優(yōu)效估計(jì)，如果它存在的話；對(duì)于大的N，最大似然估計(jì)

為高斯分布，并且其均值為θ，方差為343.4最大似然估計(jì)

最大似然估計(jì)的性能分析Cramer-Rao不等式取等于號(hào)的條件為35例1、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)。設(shè)有N次獨(dú)立觀測(cè)zi=A+vi

，i=1,2,….N，其中vi~N(0,2)，A為未知參數(shù)，2已知，求A的最大似然估計(jì)。

3.4最大似然估計(jì)363.4最大似然估計(jì)373.4最大似然估計(jì)可求得最大似然估計(jì)為383.4最大似然估計(jì)參數(shù)變換的最大似然估計(jì)393.4最大似然估計(jì)40例3、實(shí)際問(wèn)題：信道干擾和噪聲的聯(lián)合估計(jì)，模型3.4最大似然估計(jì)A:信道增益S(n):發(fā)送信號(hào)，

假設(shè)為PAM調(diào)制I:確定性干擾v(n):高斯噪聲求信干噪比：41似然函數(shù)：3.4最大似然估計(jì)對(duì)數(shù)似然函數(shù)：42令導(dǎo)數(shù)為03.4最大似然估計(jì)=043迭代求解-----初始化3.4最大似然估計(jì)44CRLB3.4最大似然估計(jì)其中453.4最大似然估計(jì)仿真結(jié)果463.4最大似然估計(jì)仿真結(jié)果473.4最大似然估計(jì)仿真結(jié)果48（Bayes，Thomas）(1302─1361)

貝葉斯是英國(guó)數(shù)學(xué)家.1302年生于倫敦；1361年4月13日卒于坦布里奇韋爾斯.

貝葉斯是一位自學(xué)成才的數(shù)學(xué)家.曾助理宗教事務(wù)，后來(lái)長(zhǎng)期擔(dān)任坦布里奇韋爾斯地方教堂的牧師.1342年，貝葉斯被選為英國(guó)皇家學(xué)會(huì)會(huì)員.

如今在概率、數(shù)理統(tǒng)計(jì)學(xué)中以貝葉斯姓氏命名的有貝葉斯公式、貝葉斯風(fēng)險(xiǎn)、貝葉斯決策函數(shù)、貝葉斯決策規(guī)則、貝葉斯估計(jì)量、貝葉斯方法、貝葉斯統(tǒng)計(jì)等等.

3.5貝葉斯估計(jì)49

貝葉斯方法是基于貝葉斯定理而發(fā)展起來(lái)用于系統(tǒng)地闡述和解決統(tǒng)計(jì)問(wèn)題的方法(SamuelKotz和吳喜之,2000)。貝葉斯推斷的基本方法是將關(guān)于未知參數(shù)的先驗(yàn)信息與樣本信息綜合，再根據(jù)貝葉斯定理，得出后驗(yàn)信息，然后根據(jù)后驗(yàn)信息去推斷未知參數(shù)(茆詩(shī)松和王靜龍等,1998年)。

“貝葉斯提出了一種歸納推理的理論(貝葉斯定理)，以后被一些統(tǒng)計(jì)學(xué)者發(fā)展為一種系統(tǒng)的統(tǒng)計(jì)推斷方法，稱為貝葉斯方法.”──摘自《中國(guó)大百科全書(shū)》（數(shù)學(xué)卷）3.5貝葉斯估計(jì)50

統(tǒng)計(jì)學(xué)有兩個(gè)主要學(xué)派:頻率學(xué)派與貝葉斯學(xué)派.它們之間有異同,貝葉斯統(tǒng)計(jì)是在與經(jīng)典統(tǒng)計(jì)的爭(zhēng)論中發(fā)展起來(lái),主要的爭(zhēng)論有:1.未知參數(shù)可否作為隨機(jī)變量?2.事件的概率是否一定的頻率解釋?3.概率是否可用經(jīng)驗(yàn)來(lái)確定?……….三種信息的概念經(jīng)典統(tǒng)計(jì)學(xué)派規(guī)定統(tǒng)計(jì)推斷使用兩種信息:

總體信息

樣本信息

而貝葉斯學(xué)派認(rèn)為是三種信息:

總體信息

樣本信息

先驗(yàn)信息先驗(yàn)分布與后驗(yàn)分布3.5貝葉斯估計(jì)51-基本原理

3.5貝葉斯估計(jì)52

-基本原理3.5貝葉斯估計(jì)53-基本原理3.5貝葉斯估計(jì)54-基本原理3.5貝葉斯估計(jì)后驗(yàn)概率55-基本原理3.5貝葉斯估計(jì)561、貝葉斯估計(jì)

在已知代價(jià)函數(shù)及先驗(yàn)概率基礎(chǔ)上，使估計(jì)付出的平均代價(jià)最小。設(shè)觀測(cè)值為z，待估參量為。估計(jì)誤差：設(shè)代價(jià)函數(shù)：貝葉斯估計(jì)準(zhǔn)則：3.5貝葉斯估計(jì)57條件平均代價(jià)統(tǒng)計(jì)平均代價(jià)：等價(jià)于使下式最?。?.5貝葉斯估計(jì)582、典型代價(jià)函數(shù)及貝葉斯估計(jì)3.5貝葉斯估計(jì)平方代價(jià)：絕對(duì)值代價(jià)：均勻代價(jià)：59最小均方估計(jì)(MinimalSquare)對(duì)

求導(dǎo)數(shù)，并使其等于零：得：即

，也稱為條件均值估計(jì)。3.5貝葉斯估計(jì)平方代價(jià)：60條件中位數(shù)估計(jì)(Median)對(duì)

求導(dǎo)數(shù)，并使其等于零，得：可見(jiàn)，估計(jì)為條件概率密度

的中位數(shù)。3.5貝葉斯估計(jì)絕對(duì)值代價(jià)：61最大后驗(yàn)概率估計(jì)(maximalposteriorprobability)應(yīng)當(dāng)選擇

，使它處在后驗(yàn)概率

的最大處。最大后驗(yàn)概率方程：

或3.5貝葉斯估計(jì)均勻代價(jià)：62由關(guān)系式：兩邊取對(duì)數(shù)并對(duì)求導(dǎo)，得最大后驗(yàn)概率方程的另一形式：3.5貝葉斯估計(jì)63例1設(shè)觀測(cè)為

，其中被估計(jì)量A在[-A0,A0]上均勻分布,測(cè)量噪聲v~N(0,)，求A的最大后驗(yàn)概率估計(jì)和最小均方估計(jì)。

3.5貝葉斯估計(jì)64例2高斯白噪聲中的直流電平估計(jì)-高斯先驗(yàn)分布。設(shè)有N次獨(dú)立觀測(cè)zi=A+vi,i=1,2,….N，其中v~N(0,)，A~，求A的估計(jì)。

3.5貝葉斯估計(jì)651、線性最小均方估計(jì)(linearminimummeansquareerrorestimation)

前提：不知道

，

知道

的一、二階矩特性

準(zhǔn)則：使均方誤差最小的線性估計(jì)

實(shí)現(xiàn)：

選擇適當(dāng)?shù)南禂?shù)ai及b，使估計(jì)均方誤差最小。3.6線性最小均方估計(jì)663.6線性最小均方估計(jì)67正交條件正交條件是信號(hào)最佳線性濾波和估計(jì)算法的基礎(chǔ)，在隨機(jī)信號(hào)處理中占有十分重要的地位。3.6線性最小均方估計(jì)正交性原理:誤差與數(shù)據(jù)正交68性能分析：線性最小均方估計(jì)為無(wú)偏估計(jì)3.6線性最小均方估計(jì)69估計(jì)的均方誤差=03.6線性最小均方估計(jì)702.矢量形式的最小均方估計(jì)3.6線性最小均方估計(jì)71矢量函數(shù)的求導(dǎo)常用求導(dǎo)公式3.6線性最小均方估計(jì)723.6線性最小均方估計(jì)733.6線性最小均方估計(jì)743.6線性最小均方估計(jì)75b=0的特殊情況3.6線性最小均方估計(jì)76例：

高斯白噪聲中具有高斯概率密度的恒定電平估計(jì)773.6線性最小均方估計(jì)783.6線性最小均方估計(jì)79標(biāo)量形式：由無(wú)偏性可確定系數(shù)b由正交原理可確定系數(shù)ai矢量形式：3.6線性最小均方估計(jì)80例子：信道均衡器設(shè)計(jì)通過(guò)對(duì)接收信號(hào)的線性組合，從x恢復(fù)出y更一般化的信號(hào)估計(jì)問(wèn)題：基于接收信號(hào)，構(gòu)造一定結(jié)構(gòu)的估計(jì)器，從中恢復(fù)出期望的信號(hào)（又稱信號(hào)估計(jì)問(wèn)題）。3.6線性最小均方估計(jì)81例子：信道均衡器設(shè)計(jì)輸入H(z)輸出噪聲通過(guò)對(duì)接收信號(hào)不同時(shí)刻的線性組合，從x恢復(fù)出y信道模型：3.6線性最小均方估計(jì)82期望信號(hào)估計(jì)信號(hào)實(shí)現(xiàn)最佳濾波的常用準(zhǔn)則：最小均方誤差線性估計(jì)：導(dǎo)致簡(jiǎn)單的濾波器求解算法易于進(jìn)行性能分析3.6線性最小均方估計(jì)83期望信號(hào)平均功率觀測(cè)信號(hào)和期望信號(hào)的互相關(guān)觀測(cè)信號(hào)的相關(guān)矩陣3.6線性最小均方估計(jì)841、最小二乘估計(jì)（Leastsquareestimation）

前提：適用于線性觀測(cè)模型；

不規(guī)定估計(jì)的概率或統(tǒng)計(jì)描述；

需要關(guān)于被估計(jì)量的觀測(cè)信號(hào)模型;準(zhǔn)則：使觀測(cè)與估計(jì)偏差的平方和最小。

3.3最小二乘估計(jì)85假設(shè)觀測(cè)數(shù)據(jù)與未知參數(shù)之間的矩陣方程為其中：X是一組觀測(cè)值，A是N×p（p≤N)維系數(shù)矩陣，為已知；是一個(gè)N維“擬合誤差”向量，未知。，為已知；θ是一個(gè)p維的未知數(shù)向量，3.3最小二乘估計(jì)86最小二乘法估計(jì)準(zhǔn)則：使誤差平方和最小，既有

由此得到的的估值記為為了描述方便，令，展開(kāi)為

令偏導(dǎo)得零

，叫做最小二乘估計(jì)。3.3最小二乘估計(jì)87以上方程有兩類不同的解，分析過(guò)程如下。非奇異，稱可以唯一確定，有

2)Rank(A)<p奇異，稱更一般地說(shuō)，如果參數(shù)在不同值給出的抽樣空間上的有相同分布，則稱這一參數(shù)是不可以辯識(shí)的。是可識(shí)別的，是不可識(shí)別。1)Rank(A)=p此時(shí)也就是說(shuō)未知參數(shù)此時(shí)3.3最小二乘估計(jì)883.3最小二乘估計(jì)89例：根據(jù)以下對(duì)二維矢量θ的兩次觀測(cè)：求出θ的線性最小二乘估計(jì)矢量。

解：由兩次觀測(cè)方程，可得矩陣形式觀測(cè)方程為：3.3最小二乘估計(jì)90利用線性最小二乘矢量的構(gòu)造公式，得：3.3最小二乘估計(jì)91加權(quán)最小二乘估計(jì)

我們考慮更一般的情況，即考慮由下面公式給出的加權(quán)誤差函數(shù)，

其中W為加權(quán)系數(shù)矩陣。的估計(jì)使最小化，既有令偏導(dǎo)得零現(xiàn)在我們來(lái)求3.3最小二乘估計(jì)92

當(dāng)誤差向量的各分量不僅具有相同的方差，而且還不相關(guān)時(shí)，最小二乘估計(jì)具有在最小方差的意義上是最佳的但是如果誤差分量具有不相同的方差，或者分量之間是相關(guān)的，此時(shí)很明顯，最小二乘估計(jì)不是最佳的，通過(guò)加權(quán)可獲得更小誤差，可以