信號檢測與估計

Chapter6ParameterEstimation成員：董春波馬和峰李聘婷目前一頁\總數三十五頁\編于十七點目錄6.1最大似然估計6.2廣義似然比檢驗6.3優(yōu)良估計評價標準6.4貝葉斯估計6.5Cramer-Rao不等式6.6多參數估計6.7最佳線性無偏估計6.8最小二乘估計6.9遞歸最小二乘估計目前二頁\總數三十五頁\編于十七點序言在第5章中，我們學習了關于檢測理論的問題，主要是解決在M個可能的假設中來確定哪個假設是正確。本章主要介紹假設接受的信號是正確的，但是有些相關聯的參數是未知的，主要的目的就是利用有限的樣本參數用最佳的方式估計這些參數。令Y1，Y2，...，YK為K個獨立同分布的隨機變量Y的樣本，其密度函數取決于未知參數θ。y1，y2，...，yK為樣本Y1，Y2，...，YK所對應的值，函數g（Y1，Y2，...，YK）用來估計參數θ。表示為稱為參數θ的估計。通常，估計的參數可以是隨機的或非隨機的。隨機參數的估計被稱為貝葉斯估計，而非隨機參數的估計被稱為最大似然估計（MLE）。目前三頁\總數三十五頁\編于十七點6.1最大似然估計如在前面的函數中所提到的，通常用最大似然（ML）估計來估計非隨機參數。令Y1，Y2，...，YK具有樣本值y1，y2，...，yK的隨機變量Y的K個觀測值，并且這些隨機變量是獨立同分布的。令表示隨機變量Y的條件密度函數。Y的密度函數取決于需要估計的參數θ，記最大似然函數為L(θ)，式

(6.1.1)似然函數最大的值稱為θ的最大似然估計量。為求最大似然估計量，我們利用數學中所學的微積分。為了計算簡單，利用對數函數，由于對數函數lnx是關于變量x的遞增函數，由第五章可知最大化L(θ)與ln(L(θ))等價?？梢杂米畲笏迫缓瘮档膶岛瘮凳角蠼?，對參數θ求導數可以求的最大似然估計量。如式

(6.1.2)不變性：令L(θ)是θ的似然函數,并且g(θ)是參數θ一一對應的函數，即g(θ1)=g(θ2)θ1=θ2如果是參數θ的最大似然估計量，則是g(θ)最大似然估計量。目前四頁\總數三十五頁\編于十七點6.1最大似然估計Examle6.1thereceivedsignalunderhypothesesH1andH0was(a)Assumingtheconstantmisnotknown,obtaintheMLestimateofthemean.(b)Supposenowthatthemeanmisknown,butthevarianceσ2isunknown.ObtaintheMLEofθ=σ2.在第五章中，是確定假設中的那個假設是真的。而在本章中，假設H1是真的，參數是未知的需要用最大似然估計來估計。(a)在例題中需要確定的參數對應為，m∈M,由于樣本參數是獨立同分布的，由式得似然函數：目前五頁\總數三十五頁\編于十七點6.1最大似然估計等式兩邊同取對數得利用式6.1.2解似然方程得到似然估計得得到。Thus,theMLestimatoris目前六頁\總數三十五頁\編于十七點6.1最大似然估計(b)最大似然估計式為方程兩邊取對數得其中對lnL(σ2)最大化等價于對σ2最小化由似然函數的不變性得目前七頁\總數三十五頁\編于十七點6.1最大似然估計因此，σ2的最大似然估計為目前八頁\總數三十五頁\編于十七點6.2廣義似然比檢驗在例5.9中，我們解決了復合假設檢驗問題。參數m在假設H1下雖然已知m是正或負，但是值是未知。當m僅為正值（僅為負值）時，在UMP測試，判決規(guī)則為m>0時m<0時由于設置參數m的正負致使實驗結果不同，因此，對所有的參數m，UMP測試是不行的。因此運用了上節(jié)所講的最大似然估計。也就是說，假設H1是真，要用已有的樣本來估計θ。如果假設是正確的，我們可以用最大似然比檢驗。目前九頁\總數三十五頁\編于十七點6.2廣義似然比檢驗如果所使用的估計是最大似然估計，則稱為廣義似然比檢驗，并且由下式給出

(6.2.1)θ0和θ1是在假設H0和H1估計的未知參數。Example6.2ConsidertheproblemofExample5.9,wheremisanunknownparameter.ObtainthegeneralizedlikelihoodratiotestandcompareittotheoptimumNeyman-Pearsontest.目前十頁\總數三十五頁\編于十七點6.2廣義似然比檢驗Example5.9ConsiderthesituationwheretheobservationsundereachhypothesisaregivenbywhereNdenotesawhiteGaussiannoiseofzeromeanandvarianceσ2,andmisunknown.Then,wesaythatH0isasimplehypothesis,andH1acompositehypothesis.由于K個觀測值是獨立的，所以在假設H1和H0下的條件密度函數是目前十一頁\總數三十五頁\編于十七點6.2廣義似然比檢驗其中m是未知參數。由于假設H0不包含m，所以估計過程僅適用于假設H1。根據（6.1.2）給出的似然方程，假設H1下的m的似然估計由下式給出代入式得或者則似然比檢驗為目前十二頁\總數三十五頁\編于十七點6.2廣義似然比檢驗

代入在上述表達式中獲得的的值，并在取對數之后進行簡化得由于是非負的，如果η小于等于1（lnη負），則判定H1總是真的。因此，η可以設置為大于等于1的數。因此，不等式變換得目前十三頁\總數三十五頁\編于十七點6.2廣義似然比檢驗其中γ1>0。因此，上式等價于下式判決門限圖如圖Figure6.2.1Decisionregionsofthegeneralizedlikelihoodratiotest設定期望的失警概率，可以確定γ1的值。在得到失警概率PF的表達式之前，我們需要確定Z的密度函數。目前十四頁\總數三十五頁\編于十七點6.2廣義似然比檢測在假設H0下Y的均值為零和方差σ2，所有的觀察數據都是統計獨立的高斯過程。因此，的密度函數均是均值為零和方差Kσ2的高斯過程。因此，Z也是具有均值為零和方差σ2的高斯過程。失警的概率為，如圖所示Figure6.2.2DensityfunctionofZunderH0.目前十五頁\總數三十五頁\編于十七點6.2廣義似然比檢驗

從上面可以在沒有m的失警概率中確定γ1的值。然而，檢測的概率不能在沒有m的情況下確定，但可以對m做參數估計。在假設H1下，是具有均值為Km和方差Kσ2的高斯過程。因此，Z的密度函數是具有均√Km和方差σ2。給定m的檢測概率為，概率密度圖如圖所示目前十六頁\總數三十五頁\編于十七點6.2廣義似然比檢驗通過比較，廣義似然比檢驗和奈曼-皮爾遜檢驗效果一樣好。Figure6.2.3DensityfunctionofZunderH1.目前十七頁\總數三十五頁\編于十七點6.3優(yōu)良估計評價標準由于估計參量是隨機變量，所對應的值不止一個。因此需要確定最優(yōu)估計。無偏估計：是無偏估計，滿足式（）有偏估計：如式（）1.如果b(θ)不依賴于θ(b(θ)=b)，就認為估計量具有已知的偏差，也就是說(-b)是無偏估計。2.當b(θ)≠b，由于θ是未知的，所以不能獲得無偏估計。在這種情況下，就認為估計量具有未知的偏差。當參數θ既滿足式（）并且不是隨機的（沒有θ的先驗概率分布），這有時稱為絕對無偏估計。目前十八頁\總數三十五頁\編于十七點6.3優(yōu)良估計評價標準如果估計是無偏的，其意味著估計值與真實值接近，但是不一定是最優(yōu)估計?？梢酝ㄟ^圖6.3.1中所示的估計的條件密度函數容易地看出。從圖中觀察到，即使是無偏估計，因估計的方差很大也可能發(fā)生相當大的誤差。然而如果方差小，估計量和期望值的相差也很小。因此，可以認為估計的優(yōu)良性可以有方差大小判斷。Figure6.3.1Densityfunctionoftheunbiasedestimatorθ?.目前十九頁\總數三十五頁\編于十七點6.3優(yōu)良估計評價標準無偏最小方差：是θ的最小方差和無偏估計，對所有的參數θ'都有E(θ')=θ,則對所有var()≤var(θ')

也就是說，對于所有θ無偏估計，具有最小的方差。一致估計：是基于K個觀察樣本的參數θ的一致估計，如果滿足式(6.3.3)P(.)代表概率。應用上述定義并不能驗證估計的一致性?？梢杂靡韵露ɡ矶ɡ恚菏腔贙個觀察樣本的參數θ的無偏估計，如果滿足式（）（）

是參數θ的一致估計量。如果滿足式目前二十頁\總數三十五頁\編于十七點6.3優(yōu)良估計評價標準

Example6.3(a)VerifyiftheestimatorofExample6.1isanunbiasedestimateofm.(b)Istheestimatorunbiased?Solution(a)

TheestimatorisunbiasedifE[]=m.Aftersubstitution,weobtainHence,isunbiased.(b)

TheestimatorisunbiasedifE[]=σ2.Thatis,Hence,isunbiased.目前二十一頁\總數三十五頁\編于十七點6.4貝葉斯估計在貝葉斯估計中，引入了代價(損失)函數，對所有的定義為。代價函數是兩個隨機變量θ和的非負實函數。在貝葉斯檢測中，代價函數的平均代價定義為風險函數，如式。（）

貝葉斯估計就是尋找使得風險函數（即平均代價）達到最小的判決準則。一般情況是估計單變量，所以利用估計誤差來進行估計。估計誤差如式（）下面有三種常用的代價函數，其圖形如圖所示。1.平方代價函數2.絕對值代價函數（）（）目前二十二頁\總數三十五頁\編于十七點6.4貝葉斯估計3.均勻代價函數（）△表示一個很小的量，可見所謂的均勻代價函數是指當誤差超過某一門限值時，代價是相同的，而當誤差小于該門限值時，代價為零。Figure6.4.1Costfunctions:(a)squarederror,(b)absolutevalueoferror,and(c)uniform.目前二十三頁\總數三十五頁\編于十七點6.4貝葉斯估計未知參數假定為密度函數為的連續(xù)隨機變量，風險函數可以用是表示。（）可以取所有θ和Y的平均代價，Y可以由向量[Y1

,Y2,...,YK]T表示。6.4.1最小均方誤差估計

式（6.4.2）中給出的代價函數使風險函數最小的估計稱為最小均方估計（MMSE）。相應的風險函數用?ms表示。得式（）由式1.91，風險函數可以化為式（）目前二十四頁\總數三十五頁\編于十七點6.4貝葉斯估計由于密度函數fY(y)是非負的，最小化?ms就等價于最小化括號中的方程。因此對括號中的方程對參數求導，得式(6.4.9)用式（1.38）給出的萊布尼茨準則，得式（）目前二十五頁\總數三十五頁\編于十七點6.4貝葉斯估計也就是說，的最小均方估計是在Y的條件下參數θ的均值（θ的后驗均值）?？梢缘贸?，關于的二階導數是正定的，所以是對應于?ms唯一的最小值，并且由式給出（）

給定Y的條件下θ的方差為式（）因此，?ms是給定所有可能Y的值條件下θ的方差。平方誤差準則的該估計過程有時稱為誤差估計的最小方差（MV）。目前二十六頁\總數三十五頁\編于十七點6.4貝葉斯估計6.4.2條件中位數估計這種情況下，把式代入風險函數得式（）使用與上節(jié)相同的方法，可以通過最小化括號中的積分來最小化風險函數，括號中的方程由式給出（）相對于式6.4.14的微分，并且設結果等于零，得式（）目前二十七頁\總數三十五頁\編于十七點6.4貝葉斯估計也就是說，估計是密度函數條件的中值，該估計稱為誤差的最小平均絕對值（MAVE）估計，因此。6.4.3最大后驗概率對于式給出的代價函數，貝葉斯風險函數變?yōu)槭剑ǎ┠壳岸隧揬總數三十五頁\編于十七點6.4貝葉斯估計然而（）P(.)表示概率。因此，通過最大化式（6.4.17）對?unf最小化。的后驗密度函數為，尋求的使其滿足條件最大，則稱的最大后驗估計量。定義為式（）對式兩邊取對數得式（）目前二十九頁\總數三十五頁\編于十七點6.4貝葉斯估計方程（6.4.19）稱為MAP方程。但是要注意這是必要不充分條件，因為可以具有幾個局部最大值。由貝葉斯準則得式（）兩邊取對數變換得式（）由最大后驗估計準則得式（）總是假設Δ足夠小，使得估計由最大后驗概率方程給出。也就是說，圖6.