C-R不等式和貝葉斯估計(jì)(數(shù)理統(tǒng)計(jì)必考)

1、第六章 參數(shù)估計(jì)6.2 點(diǎn)估計(jì)的評價(jià)標(biāo)準(zhǔn)6.3 最小方差無偏估計(jì)6.4 貝葉斯估計(jì)一般常用 表示參數(shù)，參數(shù) 所有可能取值組成的集合稱為參數(shù)空間，常用表示。參數(shù)估計(jì)問題就是根據(jù)樣本對上述各種未知參數(shù)作出估計(jì)。參數(shù)估計(jì)的形式有兩種：點(diǎn)估計(jì)與區(qū)間估計(jì)。設(shè) x1, x2, xn 是來自總體 X 的一個(gè)樣本，我們用一個(gè)統(tǒng)計(jì)量 的取值作為 的估計(jì)值， 稱為 的點(diǎn)估計(jì)（量），簡稱估計(jì)。在這里如何構(gòu)造統(tǒng)計(jì)量 并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個(gè)問題：1(,)nxx 其一 是如何給出估計(jì)，即估計(jì)的方法問題； 其二 是如何對不同的估計(jì)進(jìn)行評價(jià)，即估 計(jì)的好壞判斷標(biāo)準(zhǔn)。6.2.1 相合性 我

2、們知道，點(diǎn)估計(jì)是一個(gè)統(tǒng)計(jì)量，因此它是一個(gè)隨機(jī)變量，在樣本量一定的條件下，我們不可能要求它完全等同于參數(shù)的真實(shí)取值。但如果我們有足夠的觀測值，根據(jù)格里紋科定理，隨著樣本量的不斷增大，經(jīng)驗(yàn)分布函數(shù)逼近真實(shí)分布函數(shù)，因此完全可以要求估計(jì)量隨著樣本量的不斷增大而逼近參數(shù)真值，這就是相合性，嚴(yán)格定義如下。 定義6.2.1 設(shè) 為未知參數(shù)， 是 的一個(gè)估計(jì)量，n 是樣本容量，若對任何一個(gè)0，有 (6.2.1) 則稱 為 參數(shù)的相合估計(jì)。 1( ,)nnnxxlim(|)0nnPn 相合性被認(rèn)為是對估計(jì)的一個(gè)最基本要求, 如果一個(gè)估計(jì)量, 在樣本量不斷增大時(shí)，它都不能把被估參數(shù)估計(jì)到任意指定的精度, 那么這

3、個(gè)估計(jì)是很值得懷疑的。 通常, 不滿足相合性要求的估計(jì)一般不予考慮。證明估計(jì)的相合性一般可應(yīng)用大數(shù)定律或直接由定義來證. 若把依賴于樣本量n的估計(jì)量 看作一個(gè)隨機(jī)變量序列,相合性就是 依概率收斂于 ,所以證明估計(jì)的相合性可應(yīng)用依概率收斂的性質(zhì)及各種大數(shù)定律。nn在判斷估計(jì)的相合性時(shí)下述兩個(gè)定理是很有用的。定理6.2.1 設(shè) 是 的一個(gè)估計(jì)量，若 則 是 的相合估計(jì)，1(,)nnnxxlim(),lim()0nnnnEVarn1,nnk1(,)nnnkg定理6.2.2 若 分別是1, , k 的相合估 計(jì)， =g(1 , , k) 是1, , k 的連續(xù)函數(shù)，則 是 的相合估計(jì)。例6.2.2 設(shè)

4、 x1, x2 , , xn 是來自均勻總體U(0, )的樣本，證明 的極大似然估計(jì)是相合估計(jì)。證明：在例6.1.7中我們已經(jīng)給出 的極大似然估計(jì)是 x(n)。由次序統(tǒng)計(jì)量的分布，我們知道 x(n) 的分布密度函數(shù)為 p(y)=nyn-1/ n, y 1， 比 有效。這表明用全部數(shù)據(jù)的平均估計(jì)總體均值要比只使用部分?jǐn)?shù)據(jù)更有效。 11x2x2212Var(),Var()/n21例6.2.7 均勻總體U(0, )中 的極大似然估計(jì)是x(n)，由于 ，所以x(n)不是 的無偏估計(jì)，而是的漸近無偏估計(jì)。經(jīng)過修偏后可以得到 的一個(gè)無偏估計(jì)： 。且 另一方面，由矩法我們可以得到 的另一個(gè)無偏估計(jì) ，且 由

5、此，當(dāng)n1時(shí)， 比 有效。( )1nnExn1( )1nnxn22221( )211Var( )Var()(1) (2)(2)nnnnxnnnnn n22x22244Var()4Var( )Var()123xXnnn12 無偏估計(jì)不一定比有偏估計(jì)更優(yōu)。 評價(jià)一個(gè)點(diǎn)估計(jì)的好壞一般可以用：點(diǎn)估計(jì)值 與參數(shù)真值 的距離平方的期望，這就是下式給出的均方誤差 均方誤差是評價(jià)點(diǎn)估計(jì)的最一般的標(biāo)準(zhǔn)。我們希望估計(jì)的均方誤差越小越好。 2()()MSEE 注意到 ，因此 (1) 若 是 的無偏估計(jì)，則 ， 這說明用方差考察無偏估計(jì)有效性是合理的。 (2) 當(dāng) 不是 的無偏估計(jì)時(shí)，就要看其均方 誤差 。 下面的例

6、子說明：在均方誤差的含義下有些有偏 估計(jì)優(yōu)于無偏估計(jì)。 2( )Var( )()MSEE( )MSE( )Var( )MSE例6.2.8 對均勻總體U(0, )，由 的極大似然估計(jì)得到的無偏估計(jì)是 ，它的均方誤差 現(xiàn)我們考慮的形如 的估計(jì)，其均方差為 用求導(dǎo)的方法不難求出當(dāng) 時(shí)上述均方誤差達(dá)到最小，且其均方誤差 所以在均方誤差的標(biāo)準(zhǔn)下，有偏估計(jì) 優(yōu)于無偏估計(jì) 。 ( )(1)/nnxn2( )Var( )(2)MSEn n( )nx22222()1(1) (2)1nnMSEnnn0(2)/(1)nn2202()( )(1)(2)MSEMSEnn n06.3 最小方差無偏估計(jì)6.3.1 Rao-

7、Blackwell定理 以下定理說明：好的無偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù)。 定理6.3.2 設(shè)總體概率函數(shù)是 p(x, )， x1, x2 , , xn 是其樣本，T=T(x1, x2 , , xn )是 的充分統(tǒng)計(jì)量，則 對 的任一無偏估計(jì) ，令 ， 則 也是 的無偏估計(jì)，且 1( ,)nxx( | )ETVar( )Var( ) 定理6.3.2說明：如果無偏估計(jì)不是充分統(tǒng)計(jì) 量的函數(shù)，則將之對充分統(tǒng)計(jì)量求條件期 望可以得到一個(gè)新的無偏估計(jì)，該估計(jì)的 方差比原來的估計(jì)的方差要小，從而降低 了無偏估計(jì)的方差。換言之，考慮 的估 計(jì)問題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中 進(jìn)行即可，該說法對所有的統(tǒng)計(jì)推

8、斷問題 都是正確的，這便是所謂的充分性原則。 例6.3.1 設(shè) x1, x2 , , xn 是來自b(1, p)的樣本，則 是p 的充分統(tǒng)計(jì)量。為估計(jì) =p2，可令 由于 ，所以 是 的無偏估計(jì)。這個(gè)只使用了兩個(gè)觀測值的估計(jì)并不好.下面我們用Rao-Blackwell定理對之加以改進(jìn)：求 關(guān)于充分統(tǒng)計(jì)量 的條件期望，得Tnx12111,10 xx， 其它112( )(1,1)EP xxp p 111niiTx12(1)(|)/2(1)nnt tETtttn n 定義6.3.1 對參數(shù)估計(jì)問題，設(shè) 是 的一個(gè)無 偏估計(jì)，如果對另外任意一個(gè) 的無偏估計(jì) ， 在參數(shù)空間上都有 則稱 是 的一致最小方

9、差無偏估計(jì)，簡記為 UMVUE。如果UMVUE存在，則它一定是充分 統(tǒng)計(jì)量的函數(shù)。Var ( )Var ( ) 定理6.3.3 設(shè) x=(x1, x2 , , xn) 是來自某總體的一個(gè)樣本， 是 的一個(gè)無偏估計(jì)， 如果對任意一個(gè)滿足E(x)=0的(x)，都有 則 是 的UMVUE。()xVar( ). Cov ( , )0, 關(guān)于UMVUE，有如下一個(gè)判斷準(zhǔn)則。 例6.3.2 設(shè) x1,x2 ,xn 是來自指數(shù)分布Exp(1/ )的樣本，則T = x1+xn 是 的充分統(tǒng)計(jì)量，而 是 的無偏估計(jì)。設(shè) =(x1 , x2 , , xn)是0的任一無偏估計(jì)，則 兩端對 求導(dǎo)得 這說明 ，從而 ，

10、由定理6.3.3，它是 的UMVUE。 /xT n()/1100( ,)dd0inxxnnxxexx ()/11200( ,)dd0inxxnnnxxxexx ()0E xCov( , )()( )( )0 xE xE xE定義6.3.2 設(shè)總體的概率函數(shù) P(x, ), 滿足下列條件： (1) 參數(shù)空間是直線上的一個(gè)開區(qū)間； (2) 支撐 S=x: P(x, )0與 無關(guān)； (3) 導(dǎo)數(shù) 對一切 都存在； (4) 對P(x, )，積分與微分運(yùn)算可交換次序； (5) 期望 存在；則稱 為總體分布的費(fèi)希爾(Fisher) 信息量。 ( ; )p x2ln( ; )Ep x2( )ln ( ; )

11、IEp x 費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，很多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極大似然估計(jì)的漸近方差，無偏估計(jì)的方差的下界等都與費(fèi)希爾信息量I( )有關(guān)。I( )的種種性質(zhì)顯示，“I( )越大”可被解釋為總體分布中包含未知參數(shù) 的信息越多。例6.3.3 設(shè)總體為泊松分布P()分布，則 于是ln( ; )lnln( !)p xxxln( ; )1xp x21( )XIE例6.3.4 設(shè)總體為指數(shù)分布，其密度函數(shù)為 可以驗(yàn)證定義6.3.2的條件滿足，且 于是1( ; )exp,0, 0 xp xx221ln( ; )xxp x 2242Var( )1( )xxIE定理6.3.4（Cra

12、mer-Rao不等式） 設(shè)定義6.3.2的條件滿足，x1, x2 , , xn 是來自該總體的樣本，T=T(x1, x2 , , xn )是g( )的任 一個(gè)無偏估計(jì)， 存在，且對 中一切 ，微分可在積分號(hào)下進(jìn)行，則有 ()()gg2Var( ) ( )( )TgnI 上式稱為克拉美-羅（C-R）不等式; g()2/(nI( )稱為g( )的無偏估計(jì)的方差 的C-R下界，簡稱g( )的C-R下界。 特別，對 的無偏估計(jì) ,有 ;1Var( )( ( )nI 如果等號(hào)成立，則稱 T=T(x1, , xn) 是 g( )的有效估計(jì)，有效估計(jì)一定是UMVUE。例6.3.5 設(shè)總體分布列為p(x, )

13、= x(1- )1-x, x=0,1，它滿足定義6.3.2的所有條件，可以算得該分布的費(fèi)希爾信息量為 ，若 x1, x2, , xn 是該總體的樣本，則 的C-R下界為(nI( )-1= (1- )/n。因?yàn)?是 的無偏估計(jì)，且其方差等于 (1- )/n，達(dá)到C-R 下界，所以 是 的有效估計(jì)，它也是 的UMVUE。 1()(1)Ixx例6.3.6 設(shè)總體為指數(shù)分布Exp(1/ )，它滿足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費(fèi)希爾信息量為I( ) = -2，若x1, x2, , xn 是樣本，則 的C-R下界為(nI( )-1=2/n。而 是 的無偏估計(jì)，且其方差等于2/n

14、，達(dá)到了C-R下界，所以， 是 的有效估計(jì)，它也是的UMVUE。xx能達(dá)到C-R下界的無偏估計(jì)不多:例6.3.7 設(shè)總體為N(0, 2 )，滿足定義6.3.2的條件，且費(fèi)希爾信息量為 ，令 , 則 的C-R下界為 , 而 的UMVUE為 其方差大于C-R下界。這表明所有 的無偏估計(jì)的方差都大于其C-R下界。 241()2I22()g2222()()2gnIn21( /2)12(1)/2)niinnxnn定理6.3.5 設(shè)總體X有密度函數(shù) p(x; )， ， 為非退化區(qū)間，假定 (1) 對任意的x，偏導(dǎo)數(shù) ， 和 對所有 都存在； (2) , 有 ， 其中函數(shù)F1(x) , F2(x), F3(

15、x)可積.ln p22ln p33ln p2312323ln( ),( ),( )pppF xF xF x (3) , 若 x1, x2 , , xn 是來自該總體的樣本，則存在未知參數(shù) 的極大似然估計(jì) ，且 具有相合性和漸近正態(tài)性: 1,( )nNnI2ln0( )( ; )dpIp xx1(,)nnnxxn6.4.1 統(tǒng)計(jì)推斷的基礎(chǔ) 經(jīng)典學(xué)派的觀點(diǎn)：統(tǒng)計(jì)推斷是根據(jù)樣本信息對總體分布或總體的特征數(shù)進(jìn)行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學(xué)派的觀點(diǎn)：除了上述兩種信息以外，統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息：先驗(yàn)信息。 （1）總體信息:總體分布提供的信息。（2）樣本信息:抽取樣本所得觀測

16、值提供的信息。（3）先驗(yàn)信息:人們在試驗(yàn)之前對要做的問題在經(jīng) 驗(yàn)上和資料上總是有所了解的，這些信息對 統(tǒng)計(jì)推斷是有益的。先驗(yàn)信息即是抽樣（試 驗(yàn)）之前有關(guān)統(tǒng)計(jì)問題的一些信息。一般說 來，先驗(yàn)信息來源于經(jīng)驗(yàn)和歷史資料。先驗(yàn) 信息在日常生活和工作中是很重要的。 基于上述三種信息進(jìn)行統(tǒng)計(jì)推斷的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的差別就在于是否利用先驗(yàn)信息。貝葉斯統(tǒng)計(jì)在重視使用總體信息和樣本信息的同時(shí)，還注意先驗(yàn)信息的收集、挖掘和加工，使它數(shù)量化，形成先驗(yàn)分布，參加到統(tǒng)計(jì)推斷中來，以提高統(tǒng)計(jì)推斷的質(zhì)量。忽視先驗(yàn)信息的利用，有時(shí)是一種浪費(fèi)，有時(shí)還會(huì)導(dǎo)出不合理的結(jié)論。 貝葉斯學(xué)派的基本觀點(diǎn)：任一未知量

17、 都可看作隨機(jī)變量，可用一個(gè)概率分布去描述，這個(gè)分布稱為先驗(yàn)分布；在獲得樣本之后，總體分布、樣本與先驗(yàn)分布通過貝葉斯公式結(jié)合起來得到一個(gè)關(guān)于未知量 新的分布后驗(yàn)分布；任何關(guān)于 的統(tǒng)計(jì)推斷都應(yīng)該基于 的后驗(yàn)分布進(jìn)行。 總體依賴于參數(shù) 的概率函數(shù)在貝葉斯統(tǒng)計(jì)中記為P (x | )，它表示在隨機(jī)變量取某個(gè)給定值時(shí)總體的條件概率函數(shù)； 根據(jù)參數(shù) 的先驗(yàn)信息可確定先驗(yàn)分布( )； 從貝葉斯觀點(diǎn)看，樣本 x1, x2 , , xn 的產(chǎn)生分兩步進(jìn)行:首先從先驗(yàn)分布( )產(chǎn)生一個(gè)樣本0，然后從P (x |0)中產(chǎn)生一組樣本。這時(shí)樣本的聯(lián)合條件概率函數(shù)為 ，這個(gè)分布綜合了總體信息和樣本信息； 1001(,|)

18、(|)nniip xxp x0 是未知的，它是按先驗(yàn)分布()產(chǎn)生的。為把先驗(yàn)信息綜合進(jìn)去，不能只考慮0，對的其它值發(fā)生的可能性也要加以考慮，故要用( )進(jìn)行綜合。這樣一來，樣本x1 , , xn和參數(shù) 的聯(lián)合分布為: h(x1, x2 , , xn, ) = p(x1, x2 , , xn )( )， 這個(gè)聯(lián)合分布把總體信息、樣本信息和先驗(yàn)信息三種可用信息都綜合進(jìn)去了；在沒有樣本信息時(shí)，人們只能依據(jù)先驗(yàn)分布對 作出推斷。在有了樣本觀察值 x1, x2 , , xn 之后，則應(yīng)依據(jù) h(x1, x2 , , xn , )對 作出推斷。由于 h(x1,x2 ,xn , ) =( x1,x2 ,xn

19、 )m(x1,x2 ,xn)， 其中 是x1, x2 , , xn 的邊際概率函數(shù)，它與 無關(guān)，不含 的任何信息。因此能用來對 作出推斷的僅是條件分布( x1, x2 , , xn)，它的計(jì)算公式是 111(,)(, )(,| ) ( )nnnm xxh xxdp xxd 11111( , )( ,| ) ( )( |,)( ,)( ,| ) ( )nnnnnh xxp xxxxm xxp xxd 這個(gè)條件分布稱為 的后驗(yàn)分布后驗(yàn)分布，它集中了總體、樣本和先驗(yàn)中有關(guān) 的一切信息。 后驗(yàn)分布( x1, x2 , , xn )的計(jì)算公式就是用密度函數(shù)表示的貝葉斯公式。它是用總體和樣本對先驗(yàn)分布()

20、作調(diào)整的結(jié)果，貝葉斯統(tǒng)計(jì)的一切推斷都基于后驗(yàn)分布進(jìn)行。 6.4.3 貝葉斯估計(jì) 基于后驗(yàn)分布( x1, x2 , , xn )對 所作的貝葉斯估計(jì)有多種，常用有如下三種：使用后驗(yàn)分布的密度函數(shù)最大值作為 的點(diǎn)估計(jì)，稱為最大后驗(yàn)估計(jì)；使用后驗(yàn)分布的中位數(shù)作為 的點(diǎn)估計(jì)，稱為后驗(yàn)中位數(shù)估計(jì)；使用后驗(yàn)分布的均值作為 的點(diǎn)估計(jì)，稱為后驗(yàn)期望估計(jì)。 用得最多的是后驗(yàn)期望估計(jì)，它一般也簡稱為貝葉斯估計(jì)，記為 。 B例6.4.2 設(shè)某事件A在一次試驗(yàn)中發(fā)生的概率為，為估計(jì)，對試驗(yàn)進(jìn)行了n次獨(dú)立觀測，其中事件A發(fā)生了X次，顯然 X b(n, )，即 假若我們在試驗(yàn)前對事件A沒有什么了解，從而對其發(fā)生的概率 也

21、沒有任何信息。在這種場合，貝葉斯本人建議采用“同等無知”的原則使用區(qū)間（0,1）上的均勻分布U(0,1)作為 的先驗(yàn)分布，因?yàn)樗。?,1）上的每一點(diǎn)的機(jī)會(huì)均等。貝葉斯的這個(gè)建議被后人稱為貝葉斯假設(shè)。 (| )(1),0,1,xn xnP Xxxnx 由此即可利用貝葉斯公式求出 的后驗(yàn)分布。具體如下：先寫出X和 的聯(lián)合分布 然后求X的邊際分布 最后求出 的后驗(yàn)分布 最后的結(jié)果說明X Be(x+1,n-x+1)，其后驗(yàn)期望估計(jì)為 (6.4.4)( , )(1),0,1, ,01xn xnh xxnx(1) (1)(1)(2)xnxnxnxdxn (1) 1(1) 1( , )(2)( | )(1),01( )(1) (1)xn xh xnxm xxn x 1( | )2BxExn某些場合，貝葉斯估計(jì)要比極大似然估計(jì)更合理一點(diǎn)。比如: “抽檢3個(gè)全是合格品”與“抽檢10個(gè)全是合格品”，后者的質(zhì)量比前者更信得過。這種差別在不合格品率的極大似然估計(jì)中反映不出來（兩者都為0），而用貝葉斯估計(jì)兩者分別是 0.2 和 0.83。由此可以看到，在這些極端情況下，貝葉斯估計(jì)比極大似然估計(jì)更符合人們的理念。例6