最大似然估計(jì)法

1、.最大似然估計(jì)法的基本思想最大似然估計(jì)法的思想很簡(jiǎn)單：在已經(jīng)得到試驗(yàn)結(jié)果的情況下，我們應(yīng)該尋找使這個(gè)結(jié)果出現(xiàn) 的可能性最大的那個(gè)作為真的估計(jì)。我們分兩種情進(jìn)行分析：1離散型總體設(shè)為離散型隨機(jī)變量，其概率分布的形式為，則樣本的概率分布為，在固定時(shí)，上式表示取值的概率；當(dāng)固定時(shí)，它是的函數(shù)，我們把它記為并稱為似然函數(shù)。似然函數(shù)的值的大小意味著該樣本值出現(xiàn)的可能性的大小。既然已經(jīng)得到了樣本值，那它出現(xiàn)的可能性應(yīng)該是大的，即似然函數(shù)的值應(yīng)該是大的。因而我們選擇使達(dá)到最大值的那個(gè)作為真的估計(jì)。2連續(xù)型總體設(shè)為連續(xù)型隨機(jī)變量，其概率密度函數(shù)為則為從該總體抽出的樣本。因?yàn)橄嗷オ?dú)立且同分布，于是，樣本的聯(lián)合概

2、率密度函數(shù)為，在是固定時(shí)，它是在處的 密度，它的大小與落在附近的概率的大小成正比，而當(dāng)樣本值固定時(shí)，它是的函數(shù)。我們?nèi)园阉洖椴⒎Q為似然函數(shù)。類似于剛才的討論，我們選擇使最大的那個(gè)作為真的估計(jì)?？傊?，在有了試驗(yàn)結(jié)果即樣本值時(shí)，似然函數(shù)反映了的各個(gè)不同值導(dǎo)出這個(gè)結(jié)果的可能性的大小。 我們選擇使達(dá)到最大值的那個(gè)作為真的估計(jì)。這種求點(diǎn)估計(jì)的方法就叫作最大似然法。 7.2.2最大似然估計(jì)的求法假定現(xiàn)在我們已經(jīng)觀測(cè)到一組樣本要去估計(jì)未知參數(shù)。一種直觀的想法是，哪一組能數(shù)值使現(xiàn)在的樣本出現(xiàn)的可能性最大，哪一組參數(shù)可能就是真正的參數(shù)，我們就要用它作為參數(shù)的估計(jì)值。這 里，假定我們有一組樣本.如果對(duì)參數(shù)的兩組

3、不同的值和，似然函數(shù)有如下關(guān)系,那么，從又是概率密度函數(shù)的角度來看，上式的意義就是參數(shù)使出現(xiàn)的可能性比參數(shù)使出現(xiàn)的可能性大，當(dāng)然參數(shù)比更像是真正的參數(shù).這樣的分析就導(dǎo)致了參數(shù)估計(jì)的一種方法，即用使似然函數(shù) 達(dá)到最大值的點(diǎn),作為未知參數(shù)的估計(jì)，這就是所謂的最大似然估計(jì)。 現(xiàn)在我們討論求最大似然估計(jì)的具體方法.為簡(jiǎn)單起見，以下記,求的極大似然估計(jì)就歸結(jié)為求的最大值點(diǎn).由于對(duì)數(shù)函數(shù)是單調(diào)增函數(shù)，所以 (7.2.1)與有相同的最大值點(diǎn)。而在許多情況下，求的最大值點(diǎn)比較簡(jiǎn)單，于是，我們就將求的最大值點(diǎn)改為求的最大值點(diǎn).對(duì)關(guān)于求導(dǎo)數(shù)，并命其等于零，得到方程組, (7.2.2)稱為似然方程組。解這個(gè)方程組，

4、又能驗(yàn)證它是一個(gè)極大值點(diǎn)，則它必是，也就是的最大值點(diǎn)，即為所求的最大似然估計(jì)。大多常用的重要例子多屬于這種情況。然而在一些情 況下，問題比較復(fù)雜，似然方程組的解可能不唯一，這時(shí)就需要進(jìn)一步判定哪一個(gè)是最大值點(diǎn)。還需要指出，若函數(shù)關(guān)于的導(dǎo)數(shù)不存在時(shí)，我們就無法得到似然方程組 (7.2.2)，這時(shí)就必須根據(jù)最大似然估計(jì)的定義直接去的最大值點(diǎn)。在一些情況下，我們需要估計(jì)。如果分別是的最大似然估計(jì)，則稱為的最大似然估計(jì)。下面我們舉一些例子來說明求最大似然估計(jì)的方法。例7.2.1設(shè) 從正態(tài)總體抽出樣本，這里未知參數(shù)為mm和（注意我們把看作一個(gè)參數(shù)）。似然函數(shù)為 =它的對(duì)數(shù)為，似然方程組為由第一式解得，(

5、7.2.3) 代入第二式得. (7.2.4)似然方程組有唯一解(，)，而且它一定是最大值點(diǎn)，這是因?yàn)楫?dāng)或或時(shí)，非負(fù)函數(shù)。于是和的最大似然估計(jì)為，. (7.2.5)這里，我們用大寫字母表示所有涉及的樣本，因?yàn)樽畲笏迫还烙?jì)和都是統(tǒng)計(jì)量，離開了具體的一次試驗(yàn)或觀測(cè)，它們都是隨機(jī)的。例7.2.2設(shè)總體服從參數(shù)為的泊松分布，它的分布律為，有了樣本之后，參數(shù)的似然函數(shù)為，似然方程為，解得.因?yàn)榈亩A導(dǎo)數(shù)總是負(fù)值，可見，似然函數(shù)在處達(dá)到最大值。所以，是的最大似然估計(jì)。例7.2.3設(shè)總體為上的均勻分布，求的最大似然估計(jì)。的概率密度函數(shù)為對(duì)樣本，很顯然，L(a，b)作為a和b的 二元函數(shù)是不連續(xù)的。這時(shí)我們不能用似然方程組(7.2.2)來求最大似然估計(jì)，而必須從最大似然估計(jì)的定義出發(fā)，求L(a，b)的 最大值。為使L(a，b)達(dá)到最大，ba應(yīng) 該盡量地小，但b又不能小于，否則，L(a，b)=0。類似地，a不能大過。因此，a和b的最 大似然估計(jì)為，.現(xiàn)在為止，我們以正態(tài)分布，泊松分布，均勻分布的參數(shù)以及事件發(fā)生的概率的估計(jì)為例子討論了矩估計(jì)和最大似然估計(jì)。在我們所舉的例子中，除了均勻分布 外，兩種估計(jì)都是一致的。矩估計(jì)的優(yōu)點(diǎn)是簡(jiǎn)