極大似然估計(jì)法

極大似然估計(jì)法PAGEPAGE6《概率論與數(shù)理統(tǒng)計(jì)》極大似然思想一般地說(shuō)，事件與參數(shù)有關(guān)，取值不同，則也不同．若發(fā)生了，則認(rèn)為此時(shí)的值就是的估計(jì)值．這就是極大似然思想．看一例子：例１、設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1，試設(shè)計(jì)一種方法，估計(jì)任取一球?yàn)楹谇虻母怕剩治觯阂字闹禑o(wú)非是1/4或3/4．為估計(jì)的值，現(xiàn)從袋中有放回地任取3只球，用表示其中的黑球數(shù)，則．按極大似然估計(jì)思想，對(duì)的取值進(jìn)行估計(jì)．解：對(duì)的不同取值，取的概率可列表如下:０１２３故根據(jù)極大似然思想即知：．在上面的例子中，是分布中的參數(shù)，它只能取兩個(gè)值：1/4或3/4，需要通過(guò)抽樣來(lái)決定分布中參數(shù)究竟是1/4還是3/4．在給定了樣本觀測(cè)值后去計(jì)算該樣本出現(xiàn)的概率，這一概率依賴于的值，為此需要用1/4、3/4分別去計(jì)算此概率，在相對(duì)比較之下，哪個(gè)概率大，則就最象那個(gè)．二、似然函數(shù)與極大似然估計(jì)1、離散分布場(chǎng)合：設(shè)總體是離散型隨機(jī)變量，其概率函數(shù)為，其中是未知參數(shù)．設(shè)為取自總體的樣本．的聯(lián)合概率函數(shù)為，這里，是常量，是變量．若我們已知樣本取的值是，則事件發(fā)生的概率為．這一概率隨的值而變化．從直觀上來(lái)看，既然樣本值出現(xiàn)了，它們出現(xiàn)的概率相對(duì)來(lái)說(shuō)應(yīng)比較大，應(yīng)使取比較大的值．換句話說(shuō)，應(yīng)使樣本值的出現(xiàn)具有最大的概率．將上式看作的函數(shù)，并用表示，就有：（１）稱為似然函數(shù)．極大似然估計(jì)法就是在參數(shù)的可能取值范圍內(nèi)，選取使達(dá)到最大的參數(shù)值，作為參數(shù)的估計(jì)值．即取，使（２）因此，求總體參數(shù)的極大似然估計(jì)值的問(wèn)題就是求似然函數(shù)的最大值問(wèn)題．這可通過(guò)解下面的方程（３）來(lái)解決．因?yàn)槭堑脑龊瘮?shù)，所以與在的同一值處取得最大值．我們稱為對(duì)數(shù)似然函數(shù)．因此，常將方程（３）寫成：（４）方程（４）稱為似然方程．解方程（３）或（４）得到的就是參數(shù)的極大似然估計(jì)值．，其觀測(cè)值為，試求的極大似然估計(jì)．分析：當(dāng)寫出其似然函數(shù)時(shí)，我們會(huì)發(fā)現(xiàn)的非零區(qū)域與有關(guān)，因而無(wú)法用求導(dǎo)方法來(lái)獲得的極大似然估計(jì)，從而轉(zhuǎn)向定義（２）直接求的極大值．解：寫出似然函數(shù)：為使達(dá)到極大，就必須使盡可能小，但是不能小于，因而取時(shí)使達(dá)到極大，故的極大似然估計(jì)為：．進(jìn)一步，可討論估計(jì)的無(wú)偏性：由于總體，其密度函數(shù)與分布函數(shù)分別為：，，從而的概率密度函數(shù)為：這說(shuō)明的極大似然估計(jì)不是的無(wú)偏估計(jì)，但對(duì)作一修正可得的無(wú)偏估計(jì)為：．通過(guò)修正獲得未知參數(shù)的無(wú)偏估計(jì)，這是一種常用的方法．在二次世界大戰(zhàn)中，從戰(zhàn)場(chǎng)上繳獲的納粹德國(guó)的槍支上都有一個(gè)編號(hào)，對(duì)最大編號(hào)作一修正便獲得了德國(guó)生產(chǎn)能力的無(wú)偏估計(jì)．綜上，可得求極大似然估計(jì)值的一般步驟．四、求極大似然估計(jì)的一般步驟1、由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)（或聯(lián)合密度）；2、把樣本聯(lián)合概率函數(shù)（或聯(lián)合密度）中自變量看成已知常數(shù)，而把參數(shù)看作自變量，得到似然函數(shù)；3、求似然函數(shù)的最大值點(diǎn)（常轉(zhuǎn)化為求對(duì)數(shù)似然函數(shù)的最大值點(diǎn)）；4、在最大值點(diǎn)的表達(dá)式中，用樣本值代入就得參數(shù)的極大似然估計(jì)值．五、極大似然估計(jì)的不變性求未知參數(shù)的某種函數(shù)的極大似然估計(jì)可用極大似然估計(jì)的不變?cè)瓌t，證明從略．定理（不變?cè)瓌t）設(shè)是的極大似然估計(jì)，是的連續(xù)函數(shù)，則的極大似然估計(jì)為．例5、設(shè)某元件失效時(shí)間服從參數(shù)為的指數(shù)分布，其密度函數(shù)為，未知．現(xiàn)從中抽取了個(gè)元件測(cè)得其失效時(shí)間為，試求及平均壽命的極大似然估計(jì)．分析：可先求的極大似然估計(jì)，由于元件的平均壽命即為的期望值，在指數(shù)分布場(chǎng)合，有，它是的函數(shù)，故可用極大似然估計(jì)的不變?cè)瓌t，求其極大似然估計(jì)．解：（１）寫出似然函數(shù)：（２）取對(duì)數(shù)得對(duì)數(shù)似然函數(shù)：（３）將對(duì)求導(dǎo)得似然方程為：（４）解似然方程得：經(jīng)驗(yàn)證，能使達(dá)到最大，由于上述過(guò)程對(duì)一切樣本觀察值成立，故的極大似然