最大似然估計(jì)學(xué)習(xí)總結(jié)(概率論大作業(yè))

1、最大似然估計(jì)學(xué)習(xí)總結(jié)航天學(xué)院 探測(cè)制導(dǎo)與控制技術(shù) 楊若眉 1110420123摘要：最大似然估計(jì)是一種統(tǒng)計(jì)方法，它用來(lái)求一個(gè)樣本集的相關(guān)概率密度函數(shù)的參數(shù)。最大似然法明確地使用概率模型，其目標(biāo)是尋找能夠以較高概率產(chǎn)生觀察數(shù)據(jù)的系統(tǒng)發(fā)生樹(shù)。最大似然法是一類(lèi)完全基于統(tǒng)計(jì) 的系統(tǒng)發(fā)生樹(shù)重建方法的代表。關(guān)鍵詞：最大似然估計(jì)；離散；連續(xù)；概率密度最大似然估計(jì) 是一種統(tǒng)計(jì)方法 ，它用來(lái)求一個(gè)樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個(gè)方法最早是遺傳學(xué)家以及統(tǒng)計(jì)學(xué)家羅納德·費(fèi)雪 爵士在1912年至1922年間開(kāi)始使用的。 “似然”是對(duì)likelihood 的一種較為貼近文言文的翻譯，“似然”用現(xiàn)代的中文來(lái)

2、說(shuō)即“可能性”。故而，若稱(chēng)之為“最大可能性估計(jì)”則更加通俗易懂。 最大似然法明確地使用概率模型，其目標(biāo)是尋找能夠以較高概率產(chǎn)生觀察數(shù)據(jù)的系統(tǒng)發(fā)生樹(shù)。最大似然法是一類(lèi)完全基于統(tǒng)計(jì) 的系統(tǒng)發(fā)生樹(shù)重建方法的代表。該方法在每組序列比對(duì)中考慮了每個(gè)核苷酸替換的概率。 最大似然法是要解決這樣一個(gè)問(wèn)題：給定一組數(shù)據(jù)和一個(gè)參數(shù)待定的模型，如何確定模型的參數(shù)，使得這個(gè)確定參數(shù)后的模型在所有模型中產(chǎn)生已知數(shù)據(jù)的概率最大。通俗一點(diǎn)講，就是在什么情況下最有可能發(fā)生已知的事件。舉個(gè)例子，假如有一個(gè)罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿

3、出來(lái)數(shù)?，F(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個(gè)球出來(lái)，記錄球的顏色，然后把拿出來(lái)的球再放回罐中。這個(gè)過(guò)程可以重復(fù)，我們可以用記錄的球的顏色來(lái)估計(jì)罐中黑白球的比例。假如在前面的一百次重復(fù)記錄中，有七十次是白球，請(qǐng)問(wèn)罐中白球所占的比例最有可能是多少？ 我想很多人立馬有答案：70%。這個(gè)答案是正確的?？墒菫槭裁茨?？（常識(shí)嘛！這還要問(wèn)？?。┢鋵?shí)，在很多常識(shí)的背后，都有相應(yīng)的理論支持。在上面的問(wèn)題中，就有最大似然法的支持例如，轉(zhuǎn)換出現(xiàn)的概率大約是顛換的三倍。在一個(gè)三條序列的比對(duì)中，如果發(fā)現(xiàn)其中有一列為一個(gè)C，一個(gè)T和一個(gè)G，我們有理由認(rèn)為，C和 T所在的序列之間的關(guān)系很有可能更接近。由于被研究序列的

4、共同祖先序列是未知的，概率的計(jì)算變得復(fù)雜；又由于可能在一個(gè)位點(diǎn)或多個(gè)位點(diǎn)發(fā)生多次替換，并且不是所有的位點(diǎn)都是相互獨(dú)立，概率計(jì)算的復(fù)雜度進(jìn)一步加大。盡管如此，還是能用客觀標(biāo)準(zhǔn)來(lái)計(jì)算每個(gè)位點(diǎn)的概率，計(jì)算表示序列關(guān)系的每棵可能的樹(shù)的概率。然后，根據(jù)定義，概率總和最大的那棵樹(shù)最有可能是反映真實(shí)情況的系統(tǒng)發(fā)生樹(shù)。最大似然估計(jì)的原理給定一個(gè)概率分布D ，假定其概率密度函數(shù)（連續(xù)分布）或概率聚集函數(shù)（離散分布）為f D ，以及一個(gè)分布參數(shù) ，我們可以從這個(gè)分布中抽出一個(gè)具有n 個(gè)值的采樣 ，通過(guò)利用f D ，我們就能計(jì)算出其概率： 但是，我們可能不知道 的值，盡管我們知道這些采樣數(shù)據(jù)來(lái)自于分布D 。那么我們

5、如何才能估計(jì)出 呢？一個(gè)自然的想法是從這個(gè)分布中抽出一個(gè)具有n 個(gè)值的采樣X(jué) 1 ,X 2 ,.,X n ，然后用這些采樣數(shù)據(jù)來(lái)估計(jì) . 一旦我們獲得 ，我們就能從中找到一個(gè)關(guān)于 的估計(jì)。最大似然估計(jì)會(huì)尋找關(guān)于 的最可能的值（即，在所有可能的 取值中，尋找一個(gè)值使這個(gè)采樣的“可能性”最大化）。這種方法正好同一些其他的估計(jì)方法不同，如 的非偏估計(jì)，非偏估計(jì)未必會(huì)輸出一個(gè)最可能的值，而是會(huì)輸出一個(gè)既不高估也不低估 的 值。 要在數(shù)學(xué)上實(shí)現(xiàn)最大似然估計(jì)法 ，我們首先要定義可能性 : 并且在 的所有取值上，使這個(gè)函數(shù)最大化。這個(gè)使可能性最大的值即被稱(chēng)為 的最大似然估計(jì) 。 注意這里的可能性是指不變時(shí)，

6、關(guān)于 的一個(gè)函數(shù)。 最大似然估計(jì)函數(shù)不一定是惟一的，甚至不一定存在。1. 作用在已知試驗(yàn)結(jié)果（即是樣本）的情況下，用來(lái)估計(jì)滿(mǎn)足這些樣本分布的參數(shù)，把可能性最大的那個(gè)參數(shù)作為真實(shí)的參數(shù)估計(jì)。2. 離散型設(shè)為離散型隨機(jī)變量，為多維參數(shù)向量，如果隨機(jī)變量相互獨(dú)立且概率計(jì)算式為P，則可得概率函數(shù)為P=，在固定時(shí)，上式表示的概率；當(dāng)已知的時(shí)候，它又變成的函數(shù)，可以把它記為，稱(chēng)此函數(shù)為似然函數(shù)。似然函數(shù)值的大小意味著該樣本值出現(xiàn)的可能性的大小，既然已經(jīng)得到了樣本值，那么它出現(xiàn)的可能性應(yīng)該是較大的，即似然函數(shù)的值也應(yīng)該是比較大的，因而最大似然估計(jì)就是選擇使達(dá)到最大值的那個(gè)作為真實(shí)的估計(jì)。3. 連續(xù)型設(shè)為連續(xù)

7、型隨機(jī)變量，其概率密度函數(shù)為，為從該總體中抽出的樣本，同樣的如果相互獨(dú)立且同分布，于是樣本的聯(lián)合概率密度為。大致過(guò)程同離散型一樣。4. 關(guān)于概率密度(PDF)我們來(lái)考慮個(gè)簡(jiǎn)單的情況(m=k=1)，即是參數(shù)和樣本都為1的情況。假設(shè)進(jìn)行一個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)次數(shù)定為10次，每次實(shí)驗(yàn)成功率為0.2，那么不成功的概率為0.8，用y來(lái)表示成功的次數(shù)。由于前后的實(shí)驗(yàn)是相互獨(dú)立的，所以可以計(jì)算得到成功的次數(shù)的概率密度為：= 其中y由于y的取值范圍已定，而且也為已知，所以圖1顯示了y取不同值時(shí)的概率分布情況，而圖2顯示了當(dāng)時(shí)的y值概率情況。圖1 時(shí)概率分布圖圖2 時(shí)概率分布圖那么在0,1之間變化而形成的概率密度函數(shù)的

8、集合就形成了一個(gè)模型。5. 最大似然估計(jì)的求法由上面的介紹可以知道，對(duì)于圖1這種情況y=2是最有可能發(fā)生的事件。但是在現(xiàn)實(shí)中我們還會(huì)面臨另外一種情況：我們已經(jīng)知道了一系列的觀察值和一個(gè)感興趣的模型，現(xiàn)在需要找出是哪個(gè)PDF（具體來(lái)說(shuō)參數(shù)為多少時(shí)）產(chǎn)生出來(lái)的這些觀察值。要解決這個(gè)問(wèn)題，就需要用到參數(shù)估計(jì)的方法，在最大似然估計(jì)法中，我們對(duì)調(diào)PDF中數(shù)據(jù)向量和參數(shù)向量的角色，于是可以得到似然函數(shù)的定義為：該函數(shù)可以理解為，在給定了樣本值的情況下，關(guān)于參數(shù)向量取值情況的函數(shù)。還是以上面的簡(jiǎn)單實(shí)驗(yàn)情況為例，若此時(shí)給定y為7，那么可以得到關(guān)于的似然函數(shù)為：繼續(xù)回顧前面所講，圖1,2是在給定的情況下，樣本向

9、量y取值概率的分布情況；而圖3是圖1,2橫縱坐標(biāo)軸相交換而成，它所描述的似然函數(shù)圖則指出在給定樣本向量y的情況下，符合該取值樣本分布的各種參數(shù)向量的可能性。若相比于，使得y=7出現(xiàn)的可能性要高，那么理所當(dāng)然的要比更加接近于真正的估計(jì)參數(shù)。所以求的極大似然估計(jì)就歸結(jié)為求似然函數(shù)的最大值點(diǎn)。那么取何值時(shí)似然函數(shù)最大，這就需要用到高等數(shù)學(xué)中求導(dǎo)的概念，如果是多維參數(shù)向量那么就是求偏導(dǎo)。圖3 的似然函數(shù)分布圖主要注意的是多數(shù)情況下，直接對(duì)變量進(jìn)行求導(dǎo)反而會(huì)使得計(jì)算式子更加的復(fù)雜，此時(shí)可以借用對(duì)數(shù)函數(shù)。由于對(duì)數(shù)函數(shù)是單調(diào)增函數(shù)，所以與具有相同的最大值點(diǎn)，而在許多情況下，求的最大值點(diǎn)比較簡(jiǎn)單。于是，我們將

10、求的最大值點(diǎn)改為求的最大值點(diǎn)。若該似然函數(shù)的導(dǎo)數(shù)存在，那么對(duì)關(guān)于參數(shù)向量的各個(gè)參數(shù)求導(dǎo)數(shù)（當(dāng)前情況向量維數(shù)為1），并命其等于零，得到方程組：可以求得時(shí)似然函數(shù)有極值，為了進(jìn)一步判斷該點(diǎn)位最大值而不是最小值，可以繼續(xù)求二階導(dǎo)來(lái)判斷函數(shù)的凹凸性，如果的二階導(dǎo)為負(fù)數(shù)那么即是最大值，這里再不細(xì)說(shuō)。還要指出，若函數(shù)關(guān)于的導(dǎo)數(shù)不存在，我們就無(wú)法得到似然方程組，這時(shí)就必須用其它的方法來(lái)求最大似然估計(jì)值，例如用有界函數(shù)的增減性去求的最大值點(diǎn)6. 總結(jié)最大似然估計(jì)，只是一種概率論在統(tǒng)計(jì)學(xué)的應(yīng)用，它是參數(shù)估計(jì)的方法之一。說(shuō)的是已知某個(gè)隨機(jī)樣本滿(mǎn)足某種概率分布，但是其中具體的參數(shù)不清楚，參數(shù)估計(jì)就是通過(guò)若干次試驗(yàn)，觀察其結(jié)果，利用結(jié)果推出參數(shù)的大概值。最大似然估計(jì)是建立在這樣的思想上：已知某個(gè)參數(shù)能使這個(gè)樣本出現(xiàn)的概率最大，我們當(dāng)然不會(huì)再