最小方差無偏估計

最小方差無偏估計第1頁，共18頁，2023年，2月20日，星期五以下定理說明：好的無偏估計都是充分統(tǒng)計量的函數(shù)。

定理6.3.2

設(shè)總體概率函數(shù)是

p(x,)，x1,x2

,

…,xn

是其樣本，T=T(x1,x2

,

…,xn)是的充分統(tǒng)計量，則對的任一無偏估計，令，則也是的無偏估計，且

第2頁，共18頁，2023年，2月20日，星期五

定理6.3.2說明：如果無偏估計不是充分統(tǒng)計量的函數(shù)，則將之對充分統(tǒng)計量求條件期望可以得到一個新的無偏估計，該估計的方差比原來的估計的方差要小，從而降低了無偏估計的方差。換言之，考慮的估計問題只需要在基于充分統(tǒng)計量的函數(shù)中進行即可，該說法對所有的統(tǒng)計推斷問題都是正確的，這便是所謂的充分性原則。

第3頁，共18頁，2023年，2月20日，星期五例6.3.1

設(shè)x1,x2

,

…,xn是來自b(1,p)的樣本，則是p的充分統(tǒng)計量。為估計

=p2，可令由于，所以是的無偏估計。這個只使用了兩個觀測值的估計并不好.下面我們用Rao-Blackwell定理對之加以改進：求關(guān)于充分統(tǒng)計量的條件期望，得第4頁，共18頁，2023年，2月20日，星期五6.3.2

最小方差無偏估計

定義6.3.1

對參數(shù)估計問題，設(shè)是的一個無偏估計，如果對另外任意一個的無偏估計，在參數(shù)空間Θ上都有

則稱是的一致最小方差無偏估計，簡記為

UMVUE。如果UMVUE存在，則它一定是充分統(tǒng)計量的函數(shù)。第5頁，共18頁，2023年，2月20日，星期五

定理6.3.3

設(shè)x=(x1,x2

,

…,xn)是來自某總體的一個樣本，是的一個無偏估計，如果對任意一個滿足E((x))=0的(x)，都有則是的UMVUE。關(guān)于UMVUE，有如下一個判斷準則。第6頁，共18頁，2023年，2月20日，星期五

例6.3.2

設(shè)x1,x2

,…,xn是來自指數(shù)分布Exp(1/)的樣本，則T=x1+…+xn是的充分統(tǒng)計量，而是的無偏估計。設(shè)=(x1,x2,

…,xn)是0的任一無偏估計，則

兩端對求導(dǎo)得這說明，從而由定理6.3.3，它是的UMVUE。第7頁，共18頁，2023年，2月20日，星期五6.3.3Cramer-Rao不等式

定義6.3.2

設(shè)總體的概率函數(shù)P(x,),

∈Θ滿足下列條件：

(1)參數(shù)空間Θ是直線上的一個開區(qū)間；

(2)支撐

S={x:P(x,)>0}與無關(guān)；

(3)

導(dǎo)數(shù)對一切∈Θ都存在；

(4)對P(x,

)，積分與微分運算可交換次序；

(5)期望存在；則稱

為總體分布的費希爾(Fisher)

信息量。

第8頁，共18頁，2023年，2月20日，星期五

費希爾信息量是數(shù)理統(tǒng)計學(xué)中一個基本概念，很多的統(tǒng)計結(jié)果都與費希爾信息量有關(guān)。如極大似然估計的漸近方差，無偏估計的方差的下界等都與費希爾信息量I()有關(guān)。I()的種種性質(zhì)顯示，“I()越大”可被解釋為總體分布中包含未知參數(shù)的信息越多。第9頁，共18頁，2023年，2月20日，星期五例6.3.3

設(shè)總體為泊松分布P()分布，則于是第10頁，共18頁，2023年，2月20日，星期五例6.3.4

設(shè)總體為指數(shù)分布，其密度函數(shù)為

可以驗證定義6.3.2的條件滿足，且于是第11頁，共18頁，2023年，2月20日，星期五定理6.3.4（Cramer-Rao不等式）

設(shè)定義6.3.2的條件滿足，x1,x2

,

…,xn是來自該總體的樣本，T=T(x1,x2

,

…,xn)是g()的任一個無偏估計，存在，且對一切∈Θ

，微分可在積分號下進行，則有第12頁，共18頁，2023年，2月20日，星期五

上式稱為克拉美-羅（C-R）不等式;

[g’(θ)]2/(nI())稱為g()的無偏估計的方差

的C-R下界，簡稱g()的C-R下界。特別，對的無偏估計,有;如果等號成立，則稱T=T(x1,

…,xn)是

g()的有效估計，有效估計一定是UMVUE。第13頁，共18頁，2023年，2月20日，星期五例6.3.5

設(shè)總體分布列為p(x,

)=

x(1-

)1-x,x=0,1，它滿足定義6.3.2的所有條件，可以算得該分布的費希爾信息量為，若x1,x2,

…,xn是該總體的樣本，則

的C-R下界為(nI(

))-1=

(1-

)/n。因為是

的無偏估計，且其方差等于(1-)/n，達到C-R下界，所以是

的有效估計，它也是的UMVUE。第14頁，共18頁，2023年，2月20日，星期五例6.3.6

設(shè)總體為指數(shù)分布Exp(1/)，它滿足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費希爾信息量為I(

)=-2，若x1,x2,

…,xn是樣本，則

的C-R下界為(nI(

))-1=

2/n。而是的無偏估計，且其方差等于2/n，達到了C-R下界，所以，是

的有效估計，它也是的UMVUE。第15頁，共18頁，2023年，2月20日，星期五能達到C-R下界的無偏估計不多:例6.3.7

設(shè)總體為N(0,2)，滿足定義6.3.2的條件，且費希爾信息量為，令,

則的C-R下界為,

而的UMVUE為其方差大于C-R下界。這表明所有的無偏估計的方差都大于其C-R下界。第16頁，共18頁，2023年，2月20日，星期五費希爾信息量的主要作用體現(xiàn)在極大似然估計。

定理6.3.5

設(shè)總體X有密度函數(shù)p(x;)，∈Θ，

Θ為非退化區(qū)間，假定

(1)對任意的x，偏導(dǎo)數(shù)，和對所有∈Θ都存在；

(2)?∈Θ,有，其中函數(shù)F1(x),F2(x),F3(x)可積.第17頁，共18頁，2023年，2月20日，星期五(3)