西安交大西工大 考研備考期末復(fù)習(xí) 概率論與數(shù)理統(tǒng)計(jì) 極大似然估計(jì)

1、v 本節(jié)課的地位和作用本節(jié)課的地位和作用統(tǒng)計(jì)推斷問題統(tǒng)計(jì)推斷問題參數(shù)估計(jì)參數(shù)估計(jì)點(diǎn)點(diǎn)估估計(jì)計(jì)區(qū)間區(qū)間估計(jì)估計(jì) 假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)參數(shù)參數(shù)假設(shè)假設(shè)檢驗(yàn)檢驗(yàn)非參數(shù)非參數(shù)假設(shè)假設(shè)檢驗(yàn)檢驗(yàn)v 教學(xué)目標(biāo)教學(xué)目標(biāo) 1 1、了解參數(shù)點(diǎn)估計(jì)問題及其一般提法；、了解參數(shù)點(diǎn)估計(jì)問題及其一般提法； 2 2、理解極大似然法的思想；、理解極大似然法的思想； 3 3、掌握極大似然法的步驟，能熟練求解、掌握極大似然法的步驟，能熟練求解 常見分布的參數(shù)點(diǎn)估計(jì)問題；常見分布的參數(shù)點(diǎn)估計(jì)問題； 4 4、初步掌握運(yùn)用參數(shù)點(diǎn)估計(jì)解決實(shí)際問、初步掌握運(yùn)用參數(shù)點(diǎn)估計(jì)解決實(shí)際問 題的數(shù)學(xué)建模思路和方法題的數(shù)學(xué)建模思路和方法思維訓(xùn)練思維訓(xùn)練基

2、本知識(shí)能力基本知識(shí)能力綜合應(yīng)用能力綜合應(yīng)用能力v 具體設(shè)計(jì)實(shí)現(xiàn)具體設(shè)計(jì)實(shí)現(xiàn)1 1、授課內(nèi)容編排、授課內(nèi)容編排簡單簡單建模建模典型典型舉例舉例極大似極大似然估計(jì)然估計(jì)參數(shù)點(diǎn)估參數(shù)點(diǎn)估計(jì)問題計(jì)問題引例引例抽象抽象求解求解應(yīng)用應(yīng)用提高提高解決解決問題問題2 2、重點(diǎn)和難點(diǎn)、重點(diǎn)和難點(diǎn)重點(diǎn)：參數(shù)點(diǎn)估計(jì)問題；重點(diǎn)：參數(shù)點(diǎn)估計(jì)問題； 極大似然法的思想；極大似然法的思想； 極大似然法的應(yīng)用極大似然法的應(yīng)用 難點(diǎn)：理解極大似然法思想難點(diǎn)：理解極大似然法思想 靈活運(yùn)用極大似然法靈活運(yùn)用極大似然法 3 3、數(shù)學(xué)建模思想方法的融入、數(shù)學(xué)建模思想方法的融入 現(xiàn)代工程數(shù)學(xué)教學(xué)的改革思路之一就現(xiàn)代工程數(shù)學(xué)教學(xué)的改革思路之

3、一就是將數(shù)學(xué)建模的思想和方法融入課堂教是將數(shù)學(xué)建模的思想和方法融入課堂教學(xué)。以達(dá)到使學(xué)生更完整的認(rèn)識(shí)和把握學(xué)。以達(dá)到使學(xué)生更完整的認(rèn)識(shí)和把握工程數(shù)學(xué)的應(yīng)用性特點(diǎn)，這有利于學(xué)員工程數(shù)學(xué)的應(yīng)用性特點(diǎn)，這有利于學(xué)員綜合素質(zhì)的培養(yǎng)。綜合素質(zhì)的培養(yǎng)。 在本節(jié)課中，結(jié)合在本節(jié)課中，結(jié)合“捕魚中的魚群捕魚中的魚群總數(shù)估計(jì)總數(shù)估計(jì)”問題，設(shè)計(jì)了建模環(huán)節(jié)，恰問題，設(shè)計(jì)了建模環(huán)節(jié)，恰如其分的教學(xué)生如何創(chuàng)造性的運(yùn)用所學(xué)如其分的教學(xué)生如何創(chuàng)造性的運(yùn)用所學(xué)知識(shí)解決實(shí)際問題。知識(shí)解決實(shí)際問題。一、參數(shù)點(diǎn)估計(jì)問題 設(shè)總體設(shè)總體 X 的分布函數(shù)形式已知的分布函數(shù)形式已知, 但它的一個(gè)但它的一個(gè)或多個(gè)參數(shù)為未知或多個(gè)參數(shù)為未知

4、, 借助于總體借助于總體 X 的一個(gè)樣本來的一個(gè)樣本來估計(jì)總體未知參數(shù)的值的問題稱為估計(jì)總體未知參數(shù)的值的問題稱為點(diǎn)估計(jì)問題點(diǎn)估計(jì)問題.引例引例1 1 元件無故障的工件時(shí)間 具有負(fù)指數(shù)分布 ，取1000個(gè)元件工作時(shí)間的記錄數(shù)據(jù)，經(jīng)分組后，得到它的頻數(shù)分布為X0,)(xexfx組中值15152535455565頻數(shù)365245150100704525如果各組數(shù)據(jù)都取為組中值，試對(duì) 的值進(jìn)行估計(jì)。 未知?，F(xiàn)在進(jìn)行五次測量，測量值為引例引例2 2用一臺(tái)儀器測量某物體的長度，假定測量得到的長度服從正態(tài)分布，其中X),(2 N2 ，試估計(jì)參數(shù)。2 ，53.252.9 53.3 52.8 52.5（單位：

5、mm）點(diǎn)估計(jì)問題的一般提法點(diǎn)估計(jì)問題的一般提法.,.,);(2121為相應(yīng)的一個(gè)樣本值為相應(yīng)的一個(gè)樣本值本本的一個(gè)樣的一個(gè)樣是是是待估參數(shù)是待估參數(shù)知知的形式為已的形式為已的分布函數(shù)的分布函數(shù)設(shè)總體設(shè)總體nnxxxXXXXxFX .),(),(2121 來估計(jì)未知參數(shù)來估計(jì)未知參數(shù)用它的觀察值用它的觀察值一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量點(diǎn)估計(jì)問題就是要構(gòu)造點(diǎn)估計(jì)問題就是要構(gòu)造nnxxxXXX.),(21的估計(jì)量的估計(jì)量稱為稱為 nXXX.),(21的估計(jì)值的估計(jì)值稱為稱為 nxxx 極大似然法的基本思想極大似然法的基本思想在沒有其它信息的情況下，我們只能認(rèn)為在沒有其它信息的情況下，我們只能認(rèn)為

6、在一次實(shí)驗(yàn)中發(fā)生的事件具有最大的概率。反在一次實(shí)驗(yàn)中發(fā)生的事件具有最大的概率。反過來，如果能夠使事件發(fā)生的概率最大化，該過來，如果能夠使事件發(fā)生的概率最大化，該事件也就最有可能發(fā)生。事件也就最有可能發(fā)生。 二、二、極大似然估計(jì)法極大似然估計(jì)法( (MLE) )例例3設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1，試設(shè)計(jì)一種方法，估計(jì)任取一球?yàn)楹谇虻母怕?。p31iiXY1231,;4L x x x642764276496411233,;4L x x x64164964276427根據(jù)樣本值的具體取值情況來選擇未知參數(shù)，根據(jù)樣本值的具體取值情況來選擇未知參數(shù)，使得樣本取到該樣本值發(fā)生的概率最大

7、！使得樣本取到該樣本值發(fā)生的概率最大！ 引例引例1 1 元件無故障的工件時(shí)間 具有負(fù)指數(shù)分布 ，取1000個(gè)元件工作時(shí)間的記錄數(shù)據(jù)，經(jīng)分組后，得到它的頻數(shù)分布為X0,)(xexfx組中值15152535455565頻數(shù)365245150100704525如果各組數(shù)據(jù)都取為組中值，試對(duì) 的值進(jìn)行估計(jì)。 屬離散型屬離散型設(shè)總體設(shè)總體 X)1(,),;( 為待估參數(shù)為待估參數(shù)設(shè)分布律設(shè)分布律xpkXP,21的樣本的樣本是來自總體是來自總體XXXXn. );(,121 niinxpXXX 的聯(lián)合分布律為的聯(lián)合分布律為則則似然函數(shù)的定義似然函數(shù)的定義)(可能的取值范圍可能的取值范圍是是其中其中 極大似然

8、法的基本概念極大似然法的基本概念屬離散型屬離散型設(shè)總體設(shè)總體 X)1(,),;( 為待估參數(shù)為待估參數(shù)設(shè)分布律設(shè)分布律xpkXP niinnxpxXxXxXP12211);(, 極大似然法的基本概念極大似然法的基本概念,),;();,()(121 niinxpxxxLL.)(稱為樣本似然函數(shù)稱為樣本似然函數(shù) L)(,21 Lxxxn選取使似然函數(shù)選取使似然函數(shù)時(shí)時(shí)得到樣本值得到樣本值,的估計(jì)值的估計(jì)值作為未知參數(shù)作為未知參數(shù)取得最大值的取得最大值的 ).;,(max);,(2121 nnxxxLxxxL 即即)(可能的取值范圍可能的取值范圍是是其中其中 ),(21nXXX . 的最大似然估計(jì)量

9、的最大似然估計(jì)量參數(shù)參數(shù) , 的最大似然估計(jì)值的最大似然估計(jì)值參數(shù)參數(shù) ),(21nxxx ,xxx 21n記為記為有關(guān)有關(guān)與樣本值與樣本值這樣得到的這樣得到的 極大似然法的基本概念極大似然法的基本概念屬連續(xù)型屬連續(xù)型設(shè)總體設(shè)總體 X)2(,),;( 為待估參數(shù)為待估參數(shù)設(shè)概率密度為設(shè)概率密度為xf似然函數(shù)的定義似然函數(shù)的定義)(可能的取值范圍可能的取值范圍是是其中其中 iniinnxxfxxxXXXd );(),(),(12121 概率近似地為概率近似地為處發(fā)生的處發(fā)生的的的在點(diǎn)在點(diǎn)則隨機(jī)點(diǎn)則隨機(jī)點(diǎn)),;();,()(121 niinxfxxxLL未知?，F(xiàn)在進(jìn)行五次測量，測量值為引例引例2

10、2用一臺(tái)儀器測量某物體的長度，假定測量得到的長度服從正態(tài)分布，其中X),(2 N2 ，試估計(jì)參數(shù)。2 ，53.252.9 53.3 52.8 52.5（單位：mm）解的概率密度為的概率密度為X,21),;(222)(2 xexp似然函數(shù)為,21),(222)(12 ixnieL,)(21ln2)2ln(2),(ln12222 niixnnL 0),(ln0),(ln222 LL令令,0112 niinx ,0)()(21212222 niixn 解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 為為的最大似然估

11、計(jì)量分別的最大似然估計(jì)量分別和和故故2 ,X .)(1212XXnnii 求求極極大似然估計(jì)量的步驟大似然估計(jì)量的步驟:; );();,()();();,()( )(121121 niinniinxfxxxLLxpxxxLL或或?qū)懗鏊迫缓瘮?shù)寫出似然函數(shù)一一費(fèi)舍爾費(fèi)舍爾極大似然估計(jì)法是由費(fèi)舍爾引進(jìn)的極大似然估計(jì)法是由費(fèi)舍爾引進(jìn)的.).;,(max);,(2121 nnxxxLxxxL （二）求解（二）求解., 0d)(lnd,d)(lnd )2( 的最大似然估計(jì)值的最大似然估計(jì)值解方程即得未知參數(shù)解方程即得未知參數(shù)并令并令求導(dǎo)求導(dǎo)對(duì)對(duì) LL., 2 , 1, 0lnkiLi .), 2 , 1(

12、 ,iikik 的最大似然估計(jì)值的最大似然估計(jì)值數(shù)數(shù)即可得各未知參即可得各未知參個(gè)方程組成的方程組個(gè)方程組成的方程組解出由解出由 ; );(ln)(ln);(ln)(ln )1(11 niiniixfLxpL或或取對(duì)數(shù)取對(duì)數(shù)的極大似然估計(jì)量。的極大似然估計(jì)量。求求的一個(gè)樣本值的一個(gè)樣本值是來自總體是來自總體上服從均勻分布上服從均勻分布在在設(shè)總體設(shè)總體 , 021XxxxXn解解的概率密度為的概率密度為X ., 0,0,1);(其他其他 xxf例例4似然函數(shù)似然函數(shù) 其他其他, 0, 2 , 1,0,1)(nixLin 三、三、應(yīng)用舉例應(yīng)用舉例- -簡單數(shù)學(xué)建模簡單數(shù)學(xué)建模例例5 5( (捕魚問

13、題中的魚群總量估計(jì)捕魚問題中的魚群總量估計(jì)) ) 條魚，捕 條，作上記號(hào)后的值。條標(biāo)有記號(hào)。試根Nr)(rsstN設(shè)湖中現(xiàn)有放回湖中，一段時(shí)間后湖中的魚混合均勻，再條，其中據(jù)這些信息估計(jì)湖中魚數(shù)從中捕出假設(shè)：假設(shè)：問題分析：問題分析：1、對(duì)實(shí)驗(yàn)背景的分析：在該實(shí)驗(yàn)中，我們結(jié)合 之前學(xué)習(xí)過的知識(shí)應(yīng)能看出，再次捕到的魚 中有記號(hào)的個(gè)體數(shù)目服從超幾何分布；2、在該分布中，待估魚群總數(shù)是分布的一個(gè)參 數(shù)，所以可以考慮用參數(shù)點(diǎn)估計(jì)辦法解決1、再次捕撈前，有記號(hào)的魚已充分混合均勻；2、捕魚是完全隨機(jī)的，每條被捕到機(jī)會(huì)相等.概率的道理，便有：條中有記號(hào)的的魚為模型模型1 1：頻率穩(wěn)定性模型：頻率穩(wěn)定性模型N

14、rstst根據(jù)概率的統(tǒng)計(jì)定義，湖中有記號(hào)魚的概率，而在捕出的條，有記號(hào)的魚比例是每條魚被捕到的機(jī)會(huì)相同，于是利用頻率 應(yīng)為(頻率)。由假設(shè)，stNrtrsN trsN ，從而故因?yàn)榇烙?jì)量是整數(shù)，所以上式取最接近的整數(shù).來近似模型模型2 2：參數(shù)點(diǎn)估計(jì)模型：參數(shù)點(diǎn)估計(jì)模型s),min(,rsll210設(shè)捕出的 條魚中帶有標(biāo)記的個(gè)數(shù)為隨機(jī)變量，則 服從超幾何分布， 取值分布律 sNisrNirCCCiP )(),min(,rslli210sNtsrNtrCCCtPNL)()( (極大似然法求解極大似然法求解) )構(gòu)造似然函數(shù)，即)(NLtsrNsNsNtsrNtsrNtrsNsNtsrNtrCC

15、CCCCCCCCNLNL11111)()()!()!()!()!( !)!( !)!()!()!()!(1111tsrNtsNsNsNsNsNtsrNtsrNNtNsNrNrsNsNrN22下面討論的極值問題，由NtrsN )()(1NLNL)(NLNtrsN )(NLtrsN 時(shí)，是單調(diào)遞減的；而當(dāng)rsNt trsN )()(1NLNL)(NL當(dāng)即，此時(shí)關(guān)時(shí)，此時(shí)關(guān)于是單調(diào)遞增的。于是在時(shí)，取最大值，故于因?yàn)榇烙?jì)量是整數(shù)，所以上式取最接近的整數(shù).1、建模理論依據(jù)：超幾何分布的概率計(jì)算，極 大似然估計(jì)。應(yīng)用參數(shù)估計(jì)的思想和方法分 析、處理問題。 模型評(píng)析模型評(píng)析2、應(yīng)用與推廣：本例可推廣到一定區(qū)域范圍內(nèi) 的生物總數(shù)估計(jì)等問題。例如，估計(jì)一個(gè)城 市的人口總數(shù)，也可以用同樣的方法考