極大似然估計

1、概率論與數(shù)理統(tǒng)計典型教案教學(xué)內(nèi)容：極大似然估計法 教學(xué)目的：通過本節(jié)內(nèi)容的教學(xué)，使學(xué)生：1、明確極大似然估計法是在總體分布類型已知的情況下的一種常用的參數(shù) 估計方法；2、理解極大似然思想；3、掌握求極大似然估計值的一般步驟，會求常見分布參數(shù)的極大似然估計 值.教學(xué)重點：1、對極大似然思想闡述；2、極大似然估計值的求解.教學(xué)難點：對不能通過求導(dǎo)方法獲得極大似然估計的值的確定.教學(xué)時數(shù)：2學(xué)時.教學(xué)過程：引例：某位同學(xué)與一位獵人一起外出打獵，一只野兔從前方竄過.只聽一聲 槍響，野兔應(yīng)聲到下，如果要你推測，這一發(fā)命中的子彈是誰打的？你就會想， 只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同學(xué)命中的

2、概率，看來這一 槍是獵人射中的.這個例子所作的推斷就體現(xiàn)了極大似然法的基本思想.一、極大似然思想一般地說，事件 與參數(shù) 有關(guān)，取值不同，則也不同.若 發(fā)生了，則認(rèn)為此時的 值就是 的估計值.這就是極大似然思想.看一例子：例1、設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1,試設(shè)計一種方法， 估計任取一球為黑球的概率.分析：易知 的值無非是1/4或3/4.為估計 的值，現(xiàn)從袋中有放回地任 取3只球，用 表示其中的黑球數(shù)，則.按極大似然估計思想，對的取值進(jìn)行估計.解：對的不同取值，取的概率可列表如下：0123故根據(jù)極大似然思想即知:在上面的例子中， 是分布中的參數(shù)，它只能取兩個值：1/4或3/

3、4,需要 通過抽樣來決定分布中參數(shù)究竟是1/4還是3/4.在給定了樣本觀測值后去計算 該樣本出現(xiàn)的概率，這一概率依賴于的值，為此需要用1/4、3/4分別去計算 此概率，在相對比較之下，哪個概率大，則 就最象那個.二、似然函數(shù)與極大似然估計1、離散分布場合：設(shè)總體 是離散型隨機變量，其概率函數(shù)為，其中 是未知參數(shù).設(shè)為取自總體 的樣本.的聯(lián)合概率函數(shù)為，這里， 是常量，是變量.若我們已知樣本取的值是，則事件發(fā)生的概率為.這一概率隨的值而變化.從直觀上來看，既然樣本值出現(xiàn)了，它們出現(xiàn)的概率相對來說應(yīng)比較大，應(yīng)使取比較大的值.換句話說，應(yīng)使樣本值的出現(xiàn)具有最大的概率.將上式看作的函數(shù)，并用 表示，就

4、有：（1）稱為似然函數(shù).極大似然估計法就是在參數(shù) 的可能取值范圍 內(nèi)，選取使達(dá)到最大的參數(shù)值，作為參數(shù)的估計值.即取，使（2）因此，求總體參數(shù)的極大似然估計值的問題就是求似然函數(shù)的最大值問題.這可通過解下面的方程（3）來解決.因為 是 的增函數(shù)，所以與在 的同一值處取得最大值.我們稱為對數(shù)似然函數(shù).因此，常將方程（3）寫成：（4）方程（4）稱為似然方程.解方程（3）或（4）得到的就是參數(shù)的極大似 然估計值.如果方程（4）有唯一解，又能驗證它是一個極大值點，則它必是所求的極 大似然估計值.有時，直接用（4）式行不通，這時必須回到原始定義（2）進(jìn) 行求解.2、連續(xù)分布場合：設(shè)總體是連續(xù)離散型隨機變

5、量，其概率密度函數(shù)為，若取得樣本觀察值為，則因為隨機點取值為時聯(lián)合密度函數(shù)值為.所以，按極大似然法，應(yīng)選擇的值使此概率達(dá)到最大.我們?nèi)∷迫缓瘮?shù)為，再按前述方法求參數(shù)的極大似然估計值.三、求極大似然估計的方法1、可通過求導(dǎo)獲得極大似然估計：當(dāng)函數(shù)關(guān)于參數(shù)可導(dǎo)時，常可通過求導(dǎo)方法來獲得似然函數(shù)極大值對應(yīng)的參 數(shù)值.例2、設(shè)某工序生產(chǎn)的產(chǎn)品的不合格率為，抽 個產(chǎn)品作檢驗，發(fā)現(xiàn)有 個不合格，試求的極大似然估計.分析：設(shè) 是抽查一個產(chǎn)品時的不合格品個數(shù)，則 服從參數(shù)為 的二點 分布 .抽查個產(chǎn)品，則得樣本，其觀察值為，假如樣本有個不合格，即表示中有個取值為1，個取值為0.按離散分布場合方法，求的極大似然

6、估計.解：(1)寫出似然函數(shù)：對取對數(shù)，得對數(shù)似然函數(shù)：由于 對 的導(dǎo)數(shù)存在，故將 對 求導(dǎo)，令其為0,得似然方 程：解似然方程得:經(jīng)驗證，在 時，這表明可使似然函數(shù)達(dá)到最大上述過程對任一樣本觀測值都成立，故用樣本代替觀察值便得 的極大似然估計為：將觀察值代入，可得 的極大似然估計值為：，其中 .若總體的分布中含有多個未知參數(shù)時，似然函數(shù)是這些參數(shù)的多元函數(shù).代替方程(3),我們有方程組由這個方程組解得分別是參數(shù)的極大似然估計值.例3、設(shè)某機床加工的軸的直徑與圖紙規(guī)定的中心尺寸的偏差服從，其中未知.為估計，從中隨機抽取根軸，測得其偏差為.試求的極大似然估計.分析:顯然，該問題是求解含有多個(兩

7、個)未知參數(shù)的極大似然估計問題.通 過建立關(guān)于未知參數(shù)的似然方程組，從而進(jìn)行求解.解：(1)寫出似然函數(shù)：寫出對數(shù)似然函數(shù)：將 分別對求偏導(dǎo)，并令它們都為0,得似然方程組為:解似然方程組得：，經(jīng)驗證 使 達(dá)到極大，上述過程對一切樣本觀察值成立，故用樣本代替觀察值，便得的極大似然估計分別為：，.2、不可通過求導(dǎo)方法獲得極大似然估計：當(dāng)似然函數(shù)的非零區(qū)域與未知參數(shù)有關(guān)時，通常無法通過解似然方程來獲得 參數(shù)的極大似然估計，這時可從定義(2)出發(fā)直接求的極大值點.例4、設(shè)總體服從均勻分布 ，從中獲得容量為的樣本 ，其觀測值為，試求 的極大似然估計.分析：當(dāng)寫出其似然函數(shù)時，我們會發(fā)現(xiàn) 的非零區(qū)域與有關(guān)

8、，因而無法用求導(dǎo)方法來獲得 的極大似然估計，從而轉(zhuǎn)向定義(2)直接求 的極大值.解：寫出似然函數(shù)：為使達(dá)到極大，就必須使 盡可能小，但是 不能小于 ，因而 取時使達(dá)到極大，故的極大似然估計為：.進(jìn)一步，可討論估計的無偏性：由于總體，其密度函數(shù)與分布函數(shù)分別為：，從而的概率密度函數(shù)為:這說明 的極大似然估計不是 的無偏估計，但對作一修正可得 的無偏估計為：通過修正獲得未知參數(shù)的無偏估計，這是一種常用的方法.在二次世界大戰(zhàn) 中，從戰(zhàn)場上繳獲的納粹德國的槍支上都有一個編號，對最大編號作一修正便獲 得了德國生產(chǎn)能力的無偏估計.綜上，可得求極大似然估計值的一般步驟.四、求極大似然估計的一般步驟1、由總體

9、分布導(dǎo)出樣本的聯(lián)合概率函數(shù)（或聯(lián)合密度）；2、把樣本聯(lián)合概率函數(shù)（或聯(lián)合密度）中自變量看成已知常數(shù)，而把參數(shù)看作自變量，得到似然函數(shù)；3、 求似然函數(shù)的最大值點（常轉(zhuǎn)化為求對數(shù)似然函數(shù)的最大值點）；4、在最大值點的表達(dá)式中，用樣本值代入就得參數(shù)的極大似然估計值.五、極大似然估計的不變性求未知參數(shù)的某種函數(shù)的極大似然估計可用極大似然估計的不變原則，證明從略.定理（不變原則）設(shè)是的極大似然估計，是的連續(xù)函數(shù)，則的極大似然估計為.例5、設(shè)某元件失效時間服從參數(shù)為的指數(shù)分布，其密度函數(shù)為未知.現(xiàn)從中抽取了個元件測得其失效時間為，試求及平均壽命的極大似然估計.分析：可先求 的極大似然估計，由于元件的平均壽命即為 的期望值，在指數(shù)分布場合，有，它是 的函數(shù)，故可用極大似然估計的不變原則，求其極大似然估計.解：(1)寫出似然函數(shù):取對數(shù)得對數(shù)似然函數(shù):將 對 求導(dǎo)得似然方程為:解似然方程得：經(jīng)驗證， 能使 達(dá)到最大，由于上述過程對一切樣本觀察值成立，故的極大似然估計為：；根據(jù)極大似然估計的不變原則，元件的平均壽命的極大似然估計為:五、小結(jié)1、極大似然估計的思想；2、求解未知參數(shù)極大似然估計的一般步驟；3、極大似然估計的不變原則.五、作業(yè)見參考文獻(xiàn)1的第278頁第