山東大學(xué)概率論與數(shù)理統(tǒng)計課件06參數(shù)估計

1、 引言 我們已介紹了總體、樣本、簡單隨機樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理. 它們是進一步學(xué)習(xí)統(tǒng)計推斷的基礎(chǔ). 現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題 參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù). 參數(shù)估計估計廢品率估計新生兒的平均體重估計湖中魚數(shù) 估計平均降雨量 在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).這類問題稱為參數(shù)估計.參數(shù)估計問題的一般提法X1,X2,Xn要依據(jù)該樣本對參數(shù)作出估計，或估計的某個已知函數(shù) .現(xiàn)從該總體抽樣，得樣本設(shè)有一個統(tǒng)計總體，總體的分布函數(shù)向量) . 為

2、F(x, )，其中 為未知參數(shù) ( 可以是參數(shù)估計點估計區(qū)間估計（假定身高服從正態(tài)分布 ） 設(shè)這5個數(shù)是:1.65 1.67 1.68 1.78 1.69估計 為1.68，這是點估計.這是區(qū)間估計.估計在區(qū)間1.57, 1.84內(nèi)，假如我們要估計某隊男生的平均身高. 現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值 的估計. 而全部信息就由這5個數(shù)組成 .一、點估計概念及討論的問題例1 已知某地區(qū)新生嬰兒的體重X隨機抽查100個嬰兒得100個體重數(shù)據(jù)10,7,6,6.5,5,5.2, 呢?據(jù)此,我們應(yīng)如何估計和而全部信息就由這100個數(shù)組成. 為估計 ,我們需要

3、構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)T(X1,X2,Xn)，每當(dāng)有了樣本，就代入該函數(shù)中算出一個值，用來作為 的估計值 .把樣本值代入T(X1,X2,Xn) 中，得到的一個點估計值 .T(X1,X2,Xn)稱為參數(shù)的點估計量， 請注意，被估計的參數(shù) 是一個未知常數(shù)，而估計量 T(X1,X2,Xn)是一個隨機變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個已知的數(shù)值,這個數(shù)常稱為 的估計值 .使用什么樣的統(tǒng)計量去估計 ？可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計量 .問題是: 我們知道,服從正態(tài)分布由大數(shù)定律, 自然想到把樣本體重的平均值作為總體平均體重的一個估計.類似地，用樣本體重的方差 .用樣本體重的均

4、值樣本體重的平均值樣本均值是否是 的一個好的估計量？(2) 怎樣決定一個估計量是否比另一個估計 量“好”？樣本方差是否是 的一個好的估計量？這就需要討論以下幾個問題:(1) 我們希望一個“好的”估計量具有什么 特性？(3) 如何求得合理的估計量？那么要問: 二、估計量的優(yōu)良性準(zhǔn)則 在介紹估計量優(yōu)良性的準(zhǔn)則之前，我們必須強調(diào)指出： 評價一個估計量的好壞，不能僅僅依據(jù)一次試驗的結(jié)果，而必須由多次試驗結(jié)果來衡量 . 這是因為估計量是樣本的函數(shù)，是隨機變量 . 因此，由不同的觀測結(jié)果，就會求得不同的參數(shù)估計值. 因此一個好的估計，應(yīng)在多次試驗中體現(xiàn)出優(yōu)良性 . 常用的幾條標(biāo)準(zhǔn)是：1無偏性2有效性3相合

5、性這里我們重點介紹前面兩個標(biāo)準(zhǔn) . 估計量是隨機變量，對于不同的樣本值會得到不同的估計值 . 我們希望估計值在未知參數(shù)真值附近擺動，而它的期望值等于未知參數(shù)的真值. 這就導(dǎo)致無偏性這個標(biāo)準(zhǔn) . 1無偏性則稱 為 的無偏估計 .設(shè)是未知參數(shù) 的估計量，若.真值 例如，用樣本均值作為總體均值的估計時，雖無法說明一次估計所產(chǎn)生的偏差，但這種偏差隨機地在0的周圍波動，對同一統(tǒng)計問題大量重復(fù)使用不會產(chǎn)生系統(tǒng)偏差 .無偏性是對估計量的一個常見而重要的要求 .無偏性的實際意義是指沒有系統(tǒng)性的偏差 .所以無偏估計以方差小者為好, 這就引進了有效性這一概念 .的大小來決定二者和一個參數(shù)往往有不止一個無偏估計,

6、若 和都是參數(shù) 的無偏估計量，比較我們可以誰更優(yōu) .由于2有效性D( )0,求 的矩估計.具有均值為 的指數(shù)分布故 E(X- )= D(X- )=即 E(X)= D(X)=解得令用樣本矩估計總體矩即 E(X)= D(X)= 矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布 . 缺點是，當(dāng)總體類型已知時，沒有 充分利用分布提供的信息 . 一般場合下,矩估計量不具有唯一性 . 其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性 . 2. 極大似然法 是在總體類型已知條件下使用的一種參數(shù)估計方法 . 它首先是由德國數(shù)學(xué)家高斯在1821年提出的 , GaussFisher

7、然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇 . 費歇在1922年重新發(fā)現(xiàn)了 這一方法，并首先研究了這 種方法的一些性質(zhì) . 極大似然法的基本思想 先看一個簡單例子：一只野兔從前方竄過 .是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵 .如果要你推測，你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下 . 下面我們再看一個例子,進一步體會極大似然法的基本思想 . 你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來這一槍是獵人射中的 . 這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 . 例4 設(shè)XB(1,p), p未知.設(shè)想我們事先知道p只有兩種可能:問:應(yīng)如何估計p?p=0.7 或

8、p=0.3如今重復(fù)試驗3次,得結(jié)果: 0 , 0, 0由概率論的知識, 3次試驗中出現(xiàn)“1”的次數(shù)k=0,1,2,3 將計算結(jié)果列表如下：應(yīng)如何估計p?p=0.7 或 p=0.3k=0,1,2,3p值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出現(xiàn)估計出現(xiàn)出現(xiàn)出現(xiàn)估計估計估計0.3430.4410.4410.343如果有p1,p2,pm可供選擇, 又如何合理地選p呢?從中選取使Qi 最大的pi 作為p的估計.i=1,2,m則估計參數(shù)p為時Qi 最大,比方說, 當(dāng) 若重復(fù)進行試

9、驗n次,結(jié)果“1”出現(xiàn)k次(0 k n), 我們計算一切可能的 P(Y=k; pi )=Qi ， i=1,2,m 如果只知道0p1, 并且實測記錄是 Y=k (0 k n), 又應(yīng)如何估計p呢?注意到是p的函數(shù),可用求導(dǎo)的方法找到使f (p)達到極大值的p .但因f (p)與lnf (p)達到極大值的自變量相同,故問題可轉(zhuǎn)化為求lnf (p)的極大值點 .=f (p)將ln f (p)對p求導(dǎo)并令其為0,這時, 對一切0p1,均有從中解得=0便得 p(n-k)=k(1-p) 以上這種選擇一個參數(shù)使得實驗結(jié)果具有最大概率的思想就是極大似然法的基本思想 .這時,對一切0p0,求導(dǎo)并令其為0=0從中

10、解得即為 的MLE .對數(shù)似然函數(shù)為解：似然函數(shù)為 例7 設(shè)X1,X2,Xn是取自總體X的一個樣本其中 0,求 的極大似然估計.i=1,2,n對數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,n=0 (2)由(1)得=0 (1)對 分別求偏導(dǎo)并令其為0,對數(shù)似然函數(shù)為用求導(dǎo)方法無法最終確定用極大似然原則來求 .是對故使 達到最大的 即 的MLE， 于是 取其它值時，即 為 的MLE .且是 的增函數(shù)由于極大似然估計的一個性質(zhì)可證明極大似然估計具有下述性質(zhì)： 設(shè) 的函數(shù)g=g( )是 上的實值函數(shù),且有唯一反函數(shù) . 如果 是 的MLE，則g( )也是g( )的極大似然估計. 例8 一罐中裝有白球和黑球，

11、有放回地抽取一個容量為n的樣本，其中有 k 個白球，求罐中黑球與白球之比 R 的極大似然估計.解: 設(shè)X1,X2,Xn為所取樣本，則X1,X2,Xn是取自B(1,p)的樣本，p是每次抽取時取到白球的概率，p未知 .先求p的MLE：p的MLE為 在前面例4中,我們已求得由前述極大似然估計的性質(zhì)不難求得的MLE是第二次捕出的有記號的魚數(shù)X是r.v, X具有超幾何分布：為了估計湖中的魚數(shù)N，第一次捕上r條魚，做上記號后放回. 隔一段時間后, 再捕出S條魚, 結(jié)果發(fā)現(xiàn)這S條魚中有k條標(biāo)有記號.根據(jù)這個信息，如何估計湖中的魚數(shù)呢？最后，我們用極大似然法估計湖中的魚數(shù)應(yīng)取使L(N;k)達到最大的N，作為N的極大似然估計. 但用對N求導(dǎo)的方法相當(dāng)困難, 我們考慮比值：把上式右端看作N的函數(shù)，記作L(N;k) .經(jīng)過簡單的計算知，這個比值大于或小于1，或而定 .由經(jīng)過簡單的計算知，這個比值大于或小于1，或而