第四講估計(jì)量?jī)?yōu)良性準(zhǔn)則

1、第四講估計(jì)量?jī)?yōu)良性準(zhǔn)則一、均方誤差準(zhǔn)則一、均方誤差準(zhǔn)則的的估估計(jì)計(jì)量量，評(píng)評(píng)價(jià)價(jià)估估作作為為參參數(shù)數(shù)假假設(shè)設(shè)用用)()( qxT計(jì)優(yōu)劣的一個(gè)自然準(zhǔn)則可定義如下：計(jì)優(yōu)劣的一個(gè)自然準(zhǔn)則可定義如下：2)()( qxTE),()(TRTMSE 稱(chēng)上式為均方誤差，稱(chēng)上式為均方誤差，(Mean Squared Error)MSE。的的均均值值和和方方差差由由，則則如如果果TTRMSE),( 確定，即確定，即),()(),(2TbxTVarTR 其中其中),()(),( qxTETb產(chǎn)產(chǎn)生生的的估估計(jì)計(jì)為為用用稱(chēng)稱(chēng))()(),( qxTTb偏差。偏差。（bias）例例4.1的的和和方方差差均均值值求求正正態(tài)

2、態(tài)總總體體22),( NMLE的均方誤差。的均方誤差。, 0)(),( XEXb,)(),(2nXVarXR ,)(),(2222nEb .)12(),()(),(242222nnbVarR 的兩個(gè)估計(jì)，如的兩個(gè)估計(jì)，如是參數(shù)是參數(shù)和和設(shè)設(shè))()()( qxTxS果對(duì)所有果對(duì)所有 不等式不等式 ),(),(SRTR 成立，成立，嚴(yán)嚴(yán)格格不不等等式式成成立立，且且對(duì)對(duì)某某些些 則稱(chēng)則稱(chēng)T比比S好，好，也說(shuō)也說(shuō)S是非容許的。是非容許的。(Inadmissible)從均方誤差可知，我們自然希望估計(jì)的從均方誤差可知，我們自然希望估計(jì)的MSE越小越好。越小越好。，如果，如果所有可能估計(jì)組成的類(lèi)所有可能估

3、計(jì)組成的類(lèi)表示表示用用)( qGq，有有使使得得對(duì)對(duì)任任一一中中存存在在一一個(gè)個(gè)元元在在qqGTTG),(),(TRTR 對(duì)所有的對(duì)所有的 成立，成立， 的的最最好好應(yīng)應(yīng)是是則則)()( qxT估計(jì)。估計(jì)。并不存在。并不存在。遺憾的是，這樣的估計(jì)遺憾的是，這樣的估計(jì)T因?yàn)橐驗(yàn)樘热暨@樣的估計(jì)倘若這樣的估計(jì) 存在，存在，)(xT，那么對(duì)任一那么對(duì)任一 0 ),()(0 qxS令令，這樣，這樣則則0),(0SR , 0),()()(),(02000SRqxTETR ).()(0 qxT即即)(0 xT的的任任意意性性，因因此此這這樣樣由由 不存在。不存在。平凡估計(jì)平凡估計(jì)(Trivial Estim

4、ate)由此可見(jiàn)，均方誤差一致達(dá)到最小的由此可見(jiàn)，均方誤差一致達(dá)到最小的最優(yōu)估計(jì)并不存在，那么應(yīng)如何評(píng)判和尋找最優(yōu)估計(jì)并不存在，那么應(yīng)如何評(píng)判和尋找優(yōu)良的估計(jì)呢？方法之一是對(duì)估計(jì)提出一些優(yōu)良的估計(jì)呢？方法之一是對(duì)估計(jì)提出一些合理性的要求，將那些諸如不合理的平凡估合理性的要求，將那些諸如不合理的平凡估計(jì)排除在外，然后在滿(mǎn)足合理性要求的估計(jì)計(jì)排除在外，然后在滿(mǎn)足合理性要求的估計(jì)類(lèi)中尋找優(yōu)良的估計(jì)。無(wú)偏性便是一種常用類(lèi)中尋找優(yōu)良的估計(jì)。無(wú)偏性便是一種常用的合理性要求。的合理性要求。定義定義4.1未知未知，設(shè)統(tǒng)計(jì)模型為設(shè)統(tǒng)計(jì)模型為)(, qP TXXXn是是來(lái)來(lái)自自總總體體的的樣樣本本，參參數(shù)數(shù)，,2

5、1有有所所有有的的是是一一個(gè)個(gè)統(tǒng)統(tǒng)計(jì)計(jì)量量，如如果果對(duì)對(duì) )()( qXTE, 0),(Tb 成成立立，即即的的是是參參數(shù)數(shù)則則稱(chēng)稱(chēng))()( qXT無(wú)偏估計(jì)量無(wú)偏估計(jì)量(Unbiased Estimate)。例例4.2 ，服服從從正正態(tài)態(tài)分分布布設(shè)設(shè)總總體體),(2 NX估估計(jì)計(jì)為為的的和和方方差差其其均均值值MLE2 ,11niiXnX.)(1122niiXXn 試討論它們的無(wú)偏性。試討論它們的無(wú)偏性。解解容易驗(yàn)證容易驗(yàn)證 是無(wú)偏的。是無(wú)偏的。X因?yàn)橐驗(yàn)?2 n)1(2n ，所以，所以且且1)(22 nnE .1)(22 nnE有偏估計(jì)。有偏估計(jì)。是是故故22 這樣這樣 的無(wú)偏估計(jì)為的無(wú)偏估

6、計(jì)為2 .)1(22 nnE然而然而.)(11122niiXXnS)()( qq的的無(wú)無(wú)偏偏估估計(jì)計(jì)存存在在，則則稱(chēng)稱(chēng)如如果果參參數(shù)數(shù)是可估的。是可估的。注意：注意：（1）無(wú)偏估計(jì)可能不存在。無(wú)偏估計(jì)可能不存在。（2）若無(wú)特別聲明，均認(rèn)為若無(wú)特別聲明，均認(rèn)為 是可估參數(shù)。是可估參數(shù)。)( q對(duì)可估參數(shù)對(duì)可估參數(shù) ，無(wú)偏估計(jì)一般是不唯，無(wú)偏估計(jì)一般是不唯)( q一的。一的。（3）無(wú)偏估計(jì)不一定是好的估計(jì)，即它可能無(wú)偏估計(jì)不一定是好的估計(jì)，即它可能是非容許的。是非容許的。.)(類(lèi)類(lèi)的所有無(wú)偏估計(jì)組成的的所有無(wú)偏估計(jì)組成的表示參數(shù)表示參數(shù)即即 qUq,)(),()(:)( allxTVarqxTEx

7、TUq（4）在函數(shù)變換下，無(wú)偏性可能消失，即在函數(shù)變換下，無(wú)偏性可能消失，即)()( qq可可能能是是是是無(wú)無(wú)偏偏的的，但但而而言言，對(duì)對(duì)的有偏估計(jì)。的有偏估計(jì)。令令設(shè)設(shè) 是可估參數(shù)，是可估參數(shù)，)( q方差，即方差，即).(),(XTVarTR 由定義由定義4.1可知無(wú)偏估計(jì)的均方誤差就是它可知無(wú)偏估計(jì)的均方誤差就是它在均方誤差準(zhǔn)則下，既然最好的估計(jì)不存在均方誤差準(zhǔn)則下，既然最好的估計(jì)不存的無(wú)偏估計(jì)（一致最小方差無(wú)偏估計(jì)）是否的無(wú)偏估計(jì)（一致最小方差無(wú)偏估計(jì)）是否那么現(xiàn)在的問(wèn)題是對(duì)無(wú)偏估計(jì)類(lèi)那么現(xiàn)在的問(wèn)題是對(duì)無(wú)偏估計(jì)類(lèi) 而而qU在，在，若存在，它是否是唯一的？若存在，它是否是唯一的？言，同樣

8、在均方誤差（方差）準(zhǔn)則下，最好言，同樣在均方誤差（方差）準(zhǔn)則下，最好存在？存在？如何求？如何求？這些就是我們下面需要討論的主題。這些就是我們下面需要討論的主題。二、一致最小方差無(wú)偏估計(jì)二、一致最小方差無(wú)偏估計(jì)定義定義4.2的無(wú)偏估計(jì)類(lèi)，的無(wú)偏估計(jì)類(lèi)，是是)( qUq是可估是可估，設(shè)統(tǒng)計(jì)模型為設(shè)統(tǒng)計(jì)模型為)(, qP 參數(shù)，參數(shù)，的一致的一致)( q最小方差無(wú)偏估計(jì)定義如下。最小方差無(wú)偏估計(jì)定義如下。，使使得得如如果果存存在在無(wú)無(wú)偏偏估估計(jì)計(jì)qUxT)(，有有對(duì)對(duì)任任意意的的qUxS)()()(xSVarxTVar 都成立，都成立，對(duì)所有的對(duì)所有的 的的為為則則稱(chēng)稱(chēng))()( qxT一致最小方差無(wú)

9、偏估計(jì)，一致最小方差無(wú)偏估計(jì)，(Uniformly Minimum Variance Unbiased Estimate)簡(jiǎn)稱(chēng)為簡(jiǎn)稱(chēng)為UMVUE。定理定理4.1（存在性）（存在性）,)(, 0)(:)(0000 allxTVarxTExTU設(shè)參數(shù)設(shè)參數(shù) 是可估的，是可估的，)( q是是 一致最小方差無(wú)偏估計(jì)的充分一致最小方差無(wú)偏估計(jì)的充分qUxT )()( q必要條件是對(duì)任意的必要條件是對(duì)任意的 ，00)(UxT 等式等式0)()(0 xTxTE 對(duì)所有的對(duì)所有的 都成立。都成立。 則則定理定理4.2（唯一性）（唯一性） 設(shè)參數(shù)設(shè)參數(shù) 是可估的，是可估的，)( q則對(duì)所有的則對(duì)所有的 ， 且且

10、推論推論設(shè)設(shè) 和和 分別是可估函數(shù)分別是可估函數(shù) 和和)(1xT)(2xT)(1 q的一致最小方差無(wú)偏估計(jì)，的一致最小方差無(wú)偏估計(jì)，)(2 q則對(duì)任意常則對(duì)任意常1)()( xSxTP 數(shù)數(shù) 和和 ，ab是是 的一的一)()(21xbTxaT )()(21 bqaq 致最小方差無(wú)偏估計(jì)。致最小方差無(wú)偏估計(jì)。和和 都是都是 的一致最小方差無(wú)偏估計(jì)，的一致最小方差無(wú)偏估計(jì)，)(xT)(xS)( q有有即在概率即在概率1下一致最小方差無(wú)偏估計(jì)是唯一。下一致最小方差無(wú)偏估計(jì)是唯一。定理定理4.3是是其其充充，設(shè)設(shè)統(tǒng)統(tǒng)計(jì)計(jì)模模型型為為)(,xSP 分統(tǒng)計(jì)量，分統(tǒng)計(jì)量，的無(wú)偏估計(jì)量，的無(wú)偏估計(jì)量，是是)(

11、)( qx令令),(| )()(xSxExT 的無(wú)偏估計(jì)量，的無(wú)偏估計(jì)量，也是也是則則)()( qxT且對(duì)所有的且對(duì)所有的).()(xVarxTVar , 有有證明：證明：由條件期望的性質(zhì)，有由條件期望的性質(zhì)，有),()()(| )()( qxExSxEExTE的無(wú)偏估計(jì)。的無(wú)偏估計(jì)。也是也是所以所以)()(xqxT2)()()( qxExVar2)()()()( qxTxTxE22)()()()( qxTExTxE)()()()(2 qxTxTxE但但)()()()( qxTxTxE)(|)()()()(xSqxTxTxEE )(|)()()()(xSxTxEqxTE 0)(|)()(xSx

12、TxE )(| )()(| )(xSxTExSxE 這是因?yàn)檫@是因?yàn)?)()(xTxT這樣這樣2)()()( qxExVar22)()()()( qxTExTxE2)()( qxTE)(xTVar 由此定理可知，利用充分統(tǒng)計(jì)量可以降低由此定理可知，利用充分統(tǒng)計(jì)量可以降低無(wú)偏估計(jì)量的方差。無(wú)偏估計(jì)量的方差?？梢酝ㄟ^(guò)取充分統(tǒng)計(jì)量的條件期望（它是充分可以通過(guò)取充分統(tǒng)計(jì)量的條件期望（它是充分統(tǒng)計(jì)量的函數(shù)且是無(wú)偏的）來(lái)縮小無(wú)偏估計(jì)類(lèi)。統(tǒng)計(jì)量的函數(shù)且是無(wú)偏的）來(lái)縮小無(wú)偏估計(jì)類(lèi)。因此，為了尋找因此，為了尋找UMVUE，)(:)(| )(qTqUxallxTxEU qU.TqU應(yīng)應(yīng)屬屬于于則則UMVUE若令若

13、令,)(qUxTh若若?？煽芍猅qUxTh)()()(|)(xThxTxThE這是因?yàn)檫@是因?yàn)橹兄袑?shí)際上是由實(shí)際上是由而而qTqUU充分統(tǒng)計(jì)量的所有函數(shù)組成的類(lèi)，充分統(tǒng)計(jì)量的所有函數(shù)組成的類(lèi)，則由則由這樣可以在充分統(tǒng)計(jì)量這樣可以在充分統(tǒng)計(jì)量的函數(shù)類(lèi)的函數(shù)類(lèi) 中尋找中尋找UMVUE。TqU但可能不但可能不（若存在）（若存在）唯一。唯一。為了在概率意義下確定唯一性，還需為了在概率意義下確定唯一性，還需這便是統(tǒng)計(jì)量的這便是統(tǒng)計(jì)量的對(duì)統(tǒng)計(jì)量提出合理的要求，對(duì)統(tǒng)計(jì)量提出合理的要求，完全性。完全性。定義定義4.3的的值值域域上上是是定定義義在在統(tǒng)統(tǒng)計(jì)計(jì)量量設(shè)設(shè))()(xTtg的任一實(shí)值函數(shù)，的任一實(shí)值函

14、數(shù)，0)(TgE ，成立時(shí)，必成立成立時(shí)，必成立0)(Tg是是統(tǒng)計(jì)量統(tǒng)計(jì)量)(xT完全的完全的(Complete) 。，如如果果對(duì)對(duì)所所有有的的 則稱(chēng)則稱(chēng)例例4.3 的的是是來(lái)來(lái)自自?xún)蓛牲c(diǎn)點(diǎn)分分布布設(shè)設(shè)), 1(,21 bxxxn是完全統(tǒng)計(jì)量。是完全統(tǒng)計(jì)量。證明證明x證明證明，所所以以服服從從因因?yàn)闉?,( nbxknnkkknnkgxgE)1()(0 樣本樣本 ，)10( nkknknnkg01)1( ，有，有令令0)(xgE . 010nkkknnkg 的多項(xiàng)式，因此對(duì)的多項(xiàng)式，因此對(duì)因?yàn)樯鲜降淖筮吺且驗(yàn)樯鲜降淖筮吺?1),1 , 0( 所有的所有的欲使上式恒成立，欲使上式恒成立，只有左只

15、有左邊多項(xiàng)式的系數(shù)為零，邊多項(xiàng)式的系數(shù)為零，., 1 , 0, 0nknkg即即是是完完全全統(tǒng)統(tǒng)計(jì)計(jì)量量。而而言言，故故對(duì)對(duì)分分布布族族xb), 1( 定理定理4.4,),(21 Pxxxxn是是來(lái)來(lái)自自總總體體設(shè)設(shè)一個(gè)樣本，一個(gè)樣本，其密度函數(shù)（分布率）可表示為其密度函數(shù)（分布率）可表示為,)(exp)()(),(1mkkkxTwxhwcxp 其中其中,)(,),()(1mmRwwww 是是有有內(nèi)內(nèi)點(diǎn)點(diǎn)，則則統(tǒng)統(tǒng)計(jì)計(jì)量量如如果果)(,),(1xTxTm 完全充分的。完全充分的。.)(, )()(,),(1111niimniimxTxTxTxT（這個(gè)定理的詳細(xì)證明可參見(jiàn)陳希孺著（這個(gè)定理的詳細(xì)

16、證明可參見(jiàn)陳希孺著數(shù)理統(tǒng)計(jì)引論數(shù)理統(tǒng)計(jì)引論）例例4.4),(2 LNX服服從從對(duì)對(duì)數(shù)數(shù)正正態(tài)態(tài)分分布布設(shè)設(shè)總總體體計(jì)量。計(jì)量。是簡(jiǎn)單樣本，求完全統(tǒng)是簡(jiǎn)單樣本，求完全統(tǒng)nxxx,21解解 對(duì)數(shù)分布密度函數(shù)為對(duì)數(shù)分布密度函數(shù)為222)(lnexp21);( xxxp,1)(ln21lnexp21222222xxxe . 0), 0(), 0(),(2x 其其中中因此樣本的聯(lián)合密度為因此樣本的聯(lián)合密度為,)(ln21lnexp12212niiniixx );,(1 nxxpniinnxe1212122 這樣這樣,)(ln,ln)(),(12121niiniixxxTxT),0 ,(), 0(21,)(22 ww).0 ,(), 0(), 0(), 0