最小方差無偏估計(jì)UMVUE

第六章第三節(jié)最小方差無偏估計(jì)一、Rao-Blackwell定理二、最小方差無偏估計(jì)三、Cramer-Rao不等式1編輯ppt優(yōu)良的無偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù).將之應(yīng)用在參數(shù)估計(jì)中可得:其中等號成立的充要條件為X與

(Y)幾乎處處相等.定理1:設(shè)X和Y是兩個(gè)r.v.,EX=μ,VarX>0,令則有是樣本,是θ的充分統(tǒng)計(jì)量,定理2:設(shè)總體的概率函數(shù)為p(x;θ),對θ的任一無偏估計(jì)

一、Rao-Blackwell定理2編輯ppt注:定理2表明:若無偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù),則將之對充分統(tǒng)計(jì)量求條件期望可得一個(gè)新的無偏估計(jì),且它為充分統(tǒng)計(jì)量的函數(shù)且方差會(huì)減小.

即,考慮點(diǎn)估計(jì)只需在充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行,這就是—

充分性原則.令θ=p2,則為θ的無偏估計(jì).因?yàn)槭浅浞纸y(tǒng)計(jì)量,由定理2,

從而可令可得故為θ的無偏估計(jì).且例1.設(shè)為來自b(1,p)的樣本,求p2的U.E為p的充分統(tǒng)計(jì)量解：前已求過:進(jìn)一步改進(jìn)：3編輯ppt二、最小方差無偏估計(jì)定義:注：

一致最小方差無偏估計(jì)是一種最優(yōu)估計(jì).由定理2,只要它存在.它一定是充分統(tǒng)計(jì)量的函數(shù).一般地,若依賴于充分統(tǒng)計(jì)量的無偏估計(jì)只有一個(gè),它一定是UMVUE.Problem：無偏估計(jì)的方差是否可以任意小?如果不能任意小,那么它的下界是什么?4編輯ppt是總體X的樣本,定理3:(UMVUE準(zhǔn)則)設(shè)如果對任一個(gè)滿足是θ的任一無偏估計(jì),例2:

設(shè)為來自Exp(1/θ)的樣本,則為θ的充分統(tǒng)計(jì)量,證明:為θ的UMVUE.反之亦成立.5編輯ppt1、Fisher信息量的定義.三、羅-克拉美（Cramer–Rao）不等式(1)是實(shí)數(shù)軸上的一個(gè)開區(qū)間;設(shè)總體X的概率函數(shù)為p(x;),,且滿足條件:正則條件6編輯ppt(1)I(θ)越大,總體分布中包含未知參數(shù)的信息越多。

例3:設(shè)總體為Poisson分布，即注：

例4:設(shè)總體為指數(shù)分布Exp(1/θ)，即(2)I()的另一表達(dá)式為7編輯ppt注：常見分布的信息量I()公式

兩點(diǎn)分布X~b(1,p)泊松分布

指數(shù)分布正態(tài)分布8編輯ppt設(shè)總體X的概率函數(shù)為p(x;),,滿足上面定義中的條件；x1,….,xn是來自總體X的一個(gè)樣本,T(x1,….,xn

)是g()的一個(gè)無偏估計(jì).2、定理4(Cramer-Rao不等式):的微分可在積分號下進(jìn)行，即則有特別地對θ的無偏估計(jì)有上述不等式的右端稱為C-R下界,I()為Fisher信息量.9編輯ppt注:(1)定理對離散型總體也適用.只需改積分號為求和號。(2)在定理4條件下,若g()

的無偏估計(jì)量T的方差VarT達(dá)到下界,則T必為g()的最小方差無偏估計(jì).但是它不一定存在,也就是說,C-R不等式有時(shí)給出的下界過小.(3)當(dāng)?shù)忍柍闪r(shí),T為達(dá)到方差下界的無偏估計(jì),此時(shí)稱T為g(θ)的有效估計(jì)。

有效估計(jì)一定是UMVUE.（反之不真）10編輯ppt3.有效估計(jì)定義:定義:注:11編輯ppt綜上,

求證T是g()的有效估計(jì)的步驟為:12編輯ppt例5.設(shè)總體X~Exp(1/θ),密度函數(shù)為為X

的一個(gè)樣本值.求的最大似然估計(jì)量,并判斷它是否為達(dá)到方差下界的無偏估計(jì),即有效估計(jì).為參數(shù)解:

由似然函數(shù)13編輯ppt經(jīng)檢驗(yàn)知的最大似然估計(jì)為所以它是的無偏估計(jì)量,且而故是達(dá)到方差下界的無偏估計(jì).14編輯ppt15編輯ppt所以C-R下界為16編輯ppt17編輯ppt例8.設(shè)x1,….xn為取自總體為正態(tài)分布N(μ,σ2)的樣本,驗(yàn)證因此,是μ的有效估計(jì).解：已證過為U.E,下求μ的C-R下界,由于而μ的C-R下界為是μ的有效估計(jì)因此18編輯ppt

因此:解:由于

所以σ2的C-R下界為:例9.(接前例)設(shè)x1,….xn取自正態(tài)分布總體N(μ,σ2),若μ未知，討論σ2的無偏估計(jì)是否為有效估計(jì).19編輯ppt由于其期望為n-1,方差為2(n-1）所以即不是σ2的有效估計(jì)，但為σ2的漸近有效估計(jì).,而σ2的C-R下界為注1:由P308第四題知其方差大于C-R下界,即有時(shí)C-R下界過小.是σ2的UMVUE.2:若μ已知,此時(shí)為σ2的有效估計(jì).20編輯ppt注3對于的C-R下界為:當(dāng)已知μ=0時(shí),易證σ的無偏估計(jì)為可證,這是σ的UMVUE,其方差大于C-R下界.因此所有σ的無偏估計(jì)的方差都大于其C-R下界,即C-R下界過小.(P307)21編輯ppt4.最大似然估計(jì)的漸近正態(tài)性定理(略)在總體的分布滿足一定條件(P307)的情況下,存在具有相合性和漸近正態(tài)性的最大似然估計(jì),且即,最大似然估計(jì)通常是漸近正態(tài)的,且其漸近方差有一個(gè)統(tǒng)一的形式并主要依賴于Fis