極大似然估計(jì)

極大似然估計(jì)(maximumlikelihoodestimination)極大似然估計(jì)法是求點(diǎn)估計(jì)的一種方法，最早由高斯提出，后來(lái)費(fèi)歇爾(Fisher)在1912年重新提出。它屬于數(shù)理統(tǒng)計(jì)的范疇。大學(xué)期間我們都學(xué)過(guò)概率論和數(shù)理統(tǒng)計(jì)這門課程。概率論和數(shù)理統(tǒng)計(jì)是互逆的過(guò)程。概率論可以看成是由因推果，數(shù)理統(tǒng)計(jì)則是由果溯因。用兩個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明它們之間的區(qū)別。由因推果(概率論)例1：設(shè)有一枚骰子，2面標(biāo)記的是“正”，4面標(biāo)記的是“反”。共投擲10次，問(wèn)：5次“正”面朝上的概率？解：記“正面”朝上為事件A，正面朝上的次數(shù)為X。有題意可知:PA=131 1=。50(3)5*(1-3)10-5更一般的有：例2:設(shè)有一枚骰子，其中“正面”所占的比例為3。共投擲門次，問(wèn)：k次“正”面朝上的概率？解：記“正面”朝上為事件A，正面朝上的次數(shù)為X。有題意可知:PA=3。PX=k=c§(3)k*(1—3)n-k例3：設(shè)有一枚骰子，做了n次實(shí)驗(yàn)，其中k次“正面”朝上。問(wèn)：這枚骰子中，“正面”所占的比例3是多少？在例2中，因?yàn)槲覀儗?duì)骰子模型了解的很透徹，即知道這類實(shí)驗(yàn)中3的具體數(shù)值。因此可以預(yù)測(cè)某一事件發(fā)生的概率。在例3中，我們并不能完全了解模型精確參數(shù)。我們需要通過(guò)實(shí)驗(yàn)結(jié)果來(lái)估計(jì)模型參數(shù)。也就是由果溯因。總結(jié)來(lái)看如下：例2已知3求事件發(fā)生的k次的概率。例3已知事件發(fā)生了k次估計(jì)3。由于事件發(fā)生的概率越大，就越容易發(fā)生。所以例3可理解為：3是多大時(shí)，k次“正面”朝上發(fā)生的概率最大？計(jì)算的時(shí)候，對(duì)表達(dá)式求最大值，得到參數(shù)值估計(jì)值。這就是極大似然估計(jì)方法的原理：用使概率達(dá)到最大的那個(gè)3來(lái)估計(jì)未知參數(shù)3。這也把一個(gè)參數(shù)估計(jì)問(wèn)題轉(zhuǎn)化為一個(gè)最優(yōu)化問(wèn)題。此外，我們甚至不知道一個(gè)系統(tǒng)的模型是什么。因此在參數(shù)估計(jì)前，先按照一定的原則選擇系統(tǒng)模型，再估計(jì)模型中的參數(shù)。本文為了簡(jiǎn)單，模型設(shè)定為伯努利模型。以上是對(duì)極大似然估計(jì)方法理論上的介紹，接下來(lái)介紹計(jì)算方法。為了表述規(guī)范，引入概率密度函數(shù)：fkn,3=Px=k通過(guò)調(diào)換“實(shí)驗(yàn)結(jié)果k”與“模型參數(shù)3”的位置有似然函數(shù)：L3n,k=fkn,3通過(guò)例4介紹概率密度函數(shù)與似然函數(shù)之間的區(qū)別：例4.1設(shè)有一枚骰子，1面標(biāo)記的是“正”，4面標(biāo)記的是“反”。共投擲10次，設(shè)“正面”的次數(shù)為k，求k的概率密度函數(shù)。解：fkn=10,3=0.2=Cfo(0.2)k*0.810-幻k=0,1…10概率分布圖如下： 10從圖中可以看出，“正面”次數(shù)為2的概率最大。它是關(guān)于k的函數(shù)。例4.2設(shè)有一枚骰子。共投擲10次，“正面”的次數(shù)為2,求“正面”所占的比例，即3的值。L3n=10,k=2=f2n=10,3=%(3)2*1-38似然函數(shù)：因此概率密度函數(shù)是指在參數(shù)已知的情況下，隨機(jī)變量的概率分布情況。似然函數(shù)是指在隨機(jī)變量已知的情況下，參數(shù)取值的概率分布情況。例5：設(shè)有一枚骰子，做了10次實(shí)驗(yàn)，其中3次“正面”朝上。問(wèn)：這枚骰子中，“正面”所占的比例是多少？解：L310,3=f310,3=C；0（3）3*（1-3）7 （1）我們根據(jù)極大似然估計(jì)方法的原理：用使概率達(dá)到最大的那個(gè)3來(lái)估計(jì)未知參數(shù)3對(duì)于簡(jiǎn)單的連續(xù)函數(shù)，求最大值的方法為：函數(shù)表達(dá)式一階導(dǎo)數(shù)等于0，二階導(dǎo)數(shù)小于0。為了計(jì)算簡(jiǎn)單，對(duì)上式兩邊取對(duì)數(shù)：Ln（L）=Ln（G130）+3Ln（3）+7Ln（1—3） （2）一階條件：將（2）式對(duì)3求偏導(dǎo)數(shù)（導(dǎo)數(shù)）：aLn（L）=3+7=3—10g（3）dsg1—g g（1—g）令（3）式為0，解得g=0.3二階條件：02Ln（L）| =―3―_7_| <0如2 3=0.3 ^2 （1—3）23=0.3因此G=0.3時(shí)，（1）式取得最大值。根據(jù)極大似然估計(jì)理論，“正面”所占的比例為0.3例6：設(shè)有一枚神奇的骰子，“正面”所占的比例為PA=31e-^21。t代表實(shí)驗(yàn)時(shí)間點(diǎn)。已知：在t.=1,3,6,9,12,18共6個(gè)時(shí)刻做實(shí)驗(yàn)，每個(gè)時(shí)刻做n=100次實(shí)驗(yàn)?！罢妗背系拇螖?shù)分別為：Xj=94,77,40,26,24,16.求：參數(shù)G=31，32>0的估計(jì)值，。解：求出“正面”朝上的概率密度函數(shù)：fx.n,3=Cxi（31e—^21）氣*（1—31e—^21）n—%.似然函數(shù)：LnL3n,x=Lnfxn,3=Lnfx1n,3+Lnfx2n,3+…Lnfx6n,36=((%.*Ln31e-^2弓+n—x.*Ln1—31e-^2&+Ln(C；i)i=1對(duì)于這樣一個(gè)復(fù)雜的非線性約束優(yōu)化問(wèn)題，利用求導(dǎo)的方式不再可行?？山柚鷐atlab進(jìn)行計(jì)算。代碼如下：Objfun.m:functionf=objfun(x)f=-(94*log(x(1)*exp(-x(2)*1))+6*log(1-(x(1)*exp(-x(2)*1)))+...77*log(x(1)*exp(-x(2)*3))+23*log(1-(x(1)*exp(-x(2)*3)))+...40*log(x(1)*exp(-x(2)*6))+60*log(1-(x(1)*exp(-x(2)*6)))+...26*log(x(1)*exp(-x(2)*9))+74*log(1-(x(1)*exp(-x(2)*9)))+...24*log(x(1)*exp(-x(2)*12))+76*log(1-(x(1)*exp(-x(2)*12)))+...16*log(x(1)*exp(-x(2)*18))+84*log(1-(x(1)*exp(-x(2)*18))));endsample5.mx0= [0.1,0.1]; 黯定初值lb= [0,0]; %