演示文稿最小方差無偏估計

演示文稿最小方差無偏估計當前第1頁\共有21頁\編于星期五\4點（優(yōu)選）最小方差無偏估計當前第2頁\共有21頁\編于星期五\4點優(yōu)良的無偏估計都是充分統(tǒng)計量的函數(shù).將之應(yīng)用在參數(shù)估計中可得:其中等號成立的充要條件為X與

(Y)幾乎處處相等.定理1:設(shè)X和Y是兩個r.v.,EX=μ,VarX>0,令則有是樣本,是θ的充分統(tǒng)計量,定理2:

設(shè)總體的概率函數(shù)為p(x;θ),對θ的任一無偏估計

一、Rao-Blackwell定理當前第3頁\共有21頁\編于星期五\4點注:定理2表明:若無偏估計不是充分統(tǒng)計量的函數(shù),則將之對充分統(tǒng)計量求條件期望可得一個新的無偏估計,且它為充分統(tǒng)計量的函數(shù)且方差會減小.

即,考慮點估計只需在充分統(tǒng)計量的函數(shù)中進行,這就是—

充分性原則.令θ=p2,則為θ的無偏估計.因為是充分統(tǒng)計量,由定理2,

從而可令可得故為θ的無偏估計.且例1.設(shè)為來自b(1,p)的樣本,

求p2的U.E為p的充分統(tǒng)計量解：前已求過:進一步改進：當前第4頁\共有21頁\編于星期五\4點二、最小方差無偏估計定義:注：

一致最小方差無偏估計是一種最優(yōu)估計.由定理2,只要它存在.它一定是充分統(tǒng)計量的函數(shù).一般地,若依賴于充分統(tǒng)計量的無偏估計只有一個,它一定是UMVUE.Problem：

無偏估計的方差是否可以任意小?如果不能任意小,那么它的下界是什么?當前第5頁\共有21頁\編于星期五\4點是總體X的樣本,定理3:(UMVUE準則)設(shè)如果對任一個滿足是θ的任一無偏估計,例2:

設(shè)為來自Exp(1/θ)的樣本,則為θ

的充分統(tǒng)計量,證明:為θ的UMVUE.反之亦成立.當前第6頁\共有21頁\編于星期五\4點1、Fisher信息量的定義.三、羅-克拉美（Cramer–Rao）不等式(1)是實數(shù)軸上的一個開區(qū)間;

設(shè)總體X的概率函數(shù)為p(x;),,且滿足條件:正則條件當前第7頁\共有21頁\編于星期五\4點(1)I(θ)越大,總體分布中包含未知參數(shù)的信息越多。

例3:設(shè)總體為Poisson分布，即注：

例4:

設(shè)總體為指數(shù)分布Exp(1/θ)，即(2)I()的另一表達式為當前第8頁\共有21頁\編于星期五\4點注：常見分布的信息量I()公式

兩點分布X~b(1,p)泊松分布

指數(shù)分布正態(tài)分布當前第9頁\共有21頁\編于星期五\4點

設(shè)總體X的概率函數(shù)為p(x;),,滿足上面定義中的條件；x1,….,xn是來自總體X的一個樣本,T(x1,….,xn

)是g()的一個無偏估計.2、定理4(Cramer-Rao不等式):的微分可在積分號下進行，即則有特別地對θ的無偏估計有上述不等式的右端稱為C-R下界,I()為Fisher信息量.當前第10頁\共有21頁\編于星期五\4點注:(1)定理對離散型總體也適用.只需改積分號為求和號。(2)

在定理4條件下,若g()

的無偏估計量T的方差VarT達到下界,則T必為g()的最小方差無偏估計.但是它不一定存在,也就是說,C-R不等式有時給出的下界過小.(3)當?shù)忍柍闪r,T

為達到方差下界的無偏估計,此時稱T

為g(θ)的有效估計。

有效估計一定是UMVUE.（反之不真）當前第11頁\共有21頁\編于星期五\4點3.有效估計定義:定義:注:當前第12頁\共有21頁\編于星期五\4點綜上,

求證T是g()的有效估計的步驟為:當前第13頁\共有21頁\編于星期五\4點例5.

設(shè)總體X~Exp(1/θ),密度函數(shù)為為X

的一個樣本值.求的最大似然估計量,并判斷它是否為達到方差下界的無偏估計,即有效估計.為參數(shù)解:

由似然函數(shù)當前第14頁\共有21頁\編于星期五\4點經(jīng)檢驗知的最大似然估計為所以它是的無偏估計量,且而故是達到方差下界的無偏估計.當前第15頁\共有21頁\編于星期五\4點當前第16頁\共有21頁\編于星期五\4點所以C-R下界為當前第17頁\共有21頁\編于星期五\4點當前第18頁\共有21頁\編于星期五\4點例8.

設(shè)x1,….xn

為取自總體為正態(tài)分布N(μ,σ2)的樣本,驗證因此,

是μ的有效估計.解：已證過為U.E,下求μ的C-R下界,由于而μ的C-R下界為是μ的有效估計因此當前第19頁\共有21頁\編于星期五\4點

因此:解:

由于

所以σ2的C-R下界為:例9.(接前例)設(shè)x1,….xn

取自正態(tài)分布總體N(μ,σ2),若μ未知，討論σ2的無偏估計是否為有效估計.當前第20頁\共有21頁\編于星期五\4點由于

其期望為n-1,方差為2(n-1）所以即不是σ2的有效估計，但為σ2的漸近有效估計.,而σ2的C-R下界為注1