極大似然估計(jì)

§6.2

極大似然估計(jì)

極大似然估計(jì)是在母體類(lèi)型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).簡(jiǎn)單的例子某位同學(xué)與NBA球員一起投籃.三分線外兩步遠(yuǎn)，手起球落，唰的一聲籃球空心入網(wǎng)。如果要你推測(cè)，球是誰(shuí)投中的？

一般我們會(huì)想，這么遠(yuǎn)抬手就能投中,職業(yè)球員命中的概率一般大于這位同學(xué)命中的概率.這一球應(yīng)是球員射中的.這個(gè)例子所作的推斷體現(xiàn)了極大似然法的基本思想.

極大似然估計(jì)原理：

當(dāng)給定子樣觀測(cè)值x1,x2,…,xn時(shí),定義似然函數(shù)（likelihoodfunction）為：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個(gè)子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)

極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的去估計(jì)θ，即

L(θ)看作參數(shù)θ的函數(shù)，它可作為θ將以多大可能產(chǎn)生子樣觀測(cè)值x1,x2,…,xn的一種度量.則稱(chēng)為θ的極大似然估計(jì)（MLE）.§6.2

極大似然估計(jì)極大似然估計(jì)原理：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個(gè)子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)

極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的去估計(jì)θ，即

則稱(chēng)為θ的極大似然估計(jì)（MLE）.定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)求極大似然估計(jì)(MLE)的一般步驟:(1)由母體分布寫(xiě)出子樣的聯(lián)合分布列(或聯(lián)合密度);(2)把子樣聯(lián)合分布列(或聯(lián)合密度)中的自變量看成已知常數(shù),而把參數(shù)θ看作自變量,得到似然函數(shù)L(θ);(3)求似然函數(shù)L(θ)的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL(θ)的最大值點(diǎn))，即θ的MLE2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然估計(jì)原理來(lái)求.說(shuō)明：例1設(shè)ξ1,ξ2,…,ξn是取自母體ξ~b(1,p)的一個(gè)子樣，求參數(shù)p的極大似然估計(jì).注最大次序統(tǒng)計(jì)量注矩估計(jì)量注Ц例3一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的子樣，其中有k個(gè)白球，求罐中黑球與白球之比R

的極大似然估計(jì)值.解:設(shè)罐中有白球x個(gè)，則有黑球Rx個(gè)，從而