2023年最大似然估計學習總結(jié)概率論大作業(yè)

最大似然估計學習總結(jié)航天學院探測制導與控制技術(shù)楊若眉摘要：最大似然估計是一種記錄方法，它用來求一個樣本集的相關(guān)概?率密度函數(shù)的參數(shù)。最大似然法明確地使用概率模型，其目的是尋找可以以較高概率產(chǎn)生觀測數(shù)據(jù)的系統(tǒng)發(fā)生樹。最大似然法是一類完全基于記錄的系統(tǒng)發(fā)生樹重建方法的代表。關(guān)鍵詞：最大似然估計；離散：連續(xù)；概率密度最大似然估計是一種記錄方法，它用來求一個樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個方法最早是遺傳學家以及記錄學家羅納德?費雪爵士在192023至192023間開始使用的?！八迫弧笔菍ikelihood的一種較為貼近文言文的翻譯，“似然”用現(xiàn)代的中文來說即“也許性”。故而，若稱之為“最大也許性估計”則更加通俗易懂。最大似然法明確地使用概率模型，其目的是尋找可以以較高概率產(chǎn)生觀測數(shù)據(jù)的系統(tǒng)發(fā)生樹。最大似然法是一類完全基于記錄的系統(tǒng)發(fā)生樹重建方法的代表。該方法在每組序列比對中考慮了每個核甘酸替換的概率。最大似然法是要解決這樣一個問題：給定一組數(shù)據(jù)和一個參數(shù)待定的模型,如何擬定模型的參數(shù)，使得這個擬定參數(shù)后的模型在所有模型中產(chǎn)生一知數(shù)據(jù)的概率最大。通俗一點講，就是在什么情況下最有也許發(fā)生已知的事件。舉個例子，假如有一個罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例，但我們不能把罐中的球所有拿出來數(shù)?，F(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個球出來,記錄球的顏色，然后把拿出來的球再放回罐中。這個過程可以反復，我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次反復記錄中，有七十次是白球，請問罐中白球所占的比例最有也許是多少？我想很多人立馬有答案：70%。這個答案是對的的?？墒菫槭裁茨?（常識嘛!這還要問？!）其實，在很多常識的背后，都有相應的理論支持。在上面的問題中，就有最大似然法的支持例如，轉(zhuǎn)換出現(xiàn)的概率大約是顛換的三倍。在一個三條序列的比對中，假如發(fā)現(xiàn)其中有一列為一個C,一個T和一個G,我們有理由認為，C和T所在的序列之間的關(guān)系很有也許更接近。由于被研究序列的共同祖先序列是未知的，概率的計算變得復雜;又由于也許在?個位點或多個位點發(fā)生多次替換,并且不是所有的位點都是互相獨立，概率計算的復雜度進一步加大。盡管如此，還是能用客觀標準來計算每個位點的概率，計算表達序列關(guān)系的每棵也許的樹的概率。然后，根據(jù)定義，概率總和最大的那棵樹最有也許是反映真實情況的系統(tǒng)發(fā)生樹。最大似然估計的原理給定一個概率分布D,假定其概率密度函數(shù)(連續(xù)分布)或概率聚集函數(shù)(離散分布)為fD，以及一個分布參數(shù)0，我們可以從這個分布中抽出一個具有n個值的采樣，通過運用fD,我們就能計算出其概率：P(Xl,X2,...,Xn)=/D(Xb...,Xn|6)但是，我們也許不知道。的值，盡管我們知道這些采樣數(shù)據(jù)來自于分布D。那么我們?nèi)绾尾鸥晒烙嫵?呢？一個自然的想法是從這個分布中抽出一個具有n個值的采樣X1,X2,,Xn,然后用這些采樣數(shù)據(jù)來估計0.一旦我們獲得，我們就能從中找到一個關(guān)于0的估計。最大似然估計會尋找關(guān)于0的最也許的值(即,在所有也許的0取值中，尋找一個值使這個采樣的“也許性”最大化)。這種方法正好同一些其他的估計方法不同，如0的非偏估計，非偏估計未必會輸出一個最也許的值，而是會輸出一個既不高估也不低估的。值。要在數(shù)學上實現(xiàn)最大似然估計法，我們一方面要定義也許性：lik(O)=/D(rrb...|0)并且在0的所有取值上，使這個［［函數(shù)最大化。這個使也許性最大的?值即被稱為0的最大似然估計。注意這里的也許性是指21,22,???,工〃不變時，關(guān)于o的一個函數(shù)。最大似然估計函數(shù)不一定是惟一的，甚至不一定存在。.作用在已知實驗結(jié)果(即是樣本)的情況下，用來估計滿足這些樣本分布的參數(shù)，把也許性最大的

那個參數(shù)8作為真實夕的參數(shù)估計。.離散型設%為離散型隨機變量,6=（/，%，…，6Q為多維參數(shù)向量，假如隨機變量％1，…，互相獨立且概率計算式為P{Xi=/}=P（/；/…，%），則可得概率函數(shù)為〃{%I=%…，Xn=爸i}=/=1口（即61，???，久）,在8=（81，%，…，6。固定期，上式表達乂=xlt...,Xn=外的概率；當…，%n=/已知的時候，它乂變成8=（“，魚，…，久）的函數(shù)，可以把它記為乙⑻，%，…，%）=理=4（的；”…,久；,稱此函數(shù)為似然函數(shù)。似然函數(shù)值的大小意味著該樣本值出現(xiàn)的也許性的大小，既然已經(jīng)得到了樣本值X]=%，???，Xn=4風那么它出現(xiàn)的也許性應當是較大的，即似然函數(shù)的值也應當是比較大的，因而最大似然估計就是選擇使-%也，…,%）達成最大值的那個夕作為真實小的估計。.連續(xù)型設％為連續(xù)型隨機變量，其概率密度函數(shù)為八/；％，…,%）,%]，…,為從該總體中抽出的樣本同樣的假如Lb—T互相獨立且同分布,于是樣本的聯(lián)合概率密度為L（%，8z，…,11之"（的；8]…,8。。大體過程同離散型同樣。.關(guān)于概率密度（PDF）我們來考慮個簡樸的情況（〃0七1）,即是參數(shù)和樣本都為1的情況。假設進行?個實驗，實驗次數(shù)定為10次，每次實驗成功率為0.2,那么不成功的概率為0.8,用y來表達成功的次數(shù)。由于前后的實驗是互相獨立的，所以可以計算得到成功的次數(shù)的概率密度為：go.-S(g'其中產(chǎn)[0,10]由于），的取值范圍已定，并且3也為已知,所以圖1顯示了1ygo.-S(g'其中產(chǎn)[0,10]圖2顯示了當LE_I時的y值概率情況。圖2回運hm率分布圖那么3在［0.1］之間變化而形成的概率密度函數(shù)的集合就形成了一個模型。.最大似然估計的求法由上面的介紹可以知道,對于圖1這種情況），=2是最有也許發(fā)生的事件。但是在現(xiàn)實中我們還會面臨此外一種情況：我們已經(jīng)知道了一系列的觀測值和一個感愛好的模型，現(xiàn)在需要找出是哪個PDF（具體來說參數(shù)旬為多少時）產(chǎn)生出來的這些觀測值。要解決這個問題，就需要用到參數(shù)估計的方法,在最大似然估計法中，我們對調(diào)PDF中數(shù)據(jù)向量和參數(shù)向量的角色,于是可以得到似然函數(shù)的定義為：L3ly）=f（yIM該函數(shù)可以理解為,在給定了樣本值的情況下，關(guān)于參數(shù)向量但取值情況的函數(shù)。還是以上面的簡樸實驗情況為例，若此時給定），為7,那么可以得到關(guān)于3的似然函數(shù)為：10!—=A=，G=小*=―,一2十（a產(chǎn)IMI］繼續(xù)回顧前面所講，圖1,2是在給定3的情況下，樣本向量），取值概率的分布情況;而圖3是圖1,2橫縱坐標軸相互換而成，它所描述的似然函數(shù)圖則指出在給定樣本向量y的情況卜,符合該取值樣本分布的各種參數(shù)向量曲也許性。若相比于32,使得），=7出現(xiàn)的也許性要高，那么理所當然的31要比32更加接近了真正的估計參數(shù)。所以求3的極大似然估計就歸結(jié)為求似然函數(shù)乙的最大值點。那么切取何值時似然函數(shù)=力最大，這就需要用到高等數(shù)學中求導的概念，假如是多維參數(shù)向量那么就是求偏導。圖3圖3乙（3愕二7）的似然函數(shù)分布圖重要注意的是多數(shù)情況下，直接對變量進行求導反而會使得計算式子更加的復雜，此時可以借用對數(shù)函數(shù)。由于對數(shù)函數(shù)是單調(diào)增函數(shù)，所以，…，與43）具有相同的最大值點，而在許多情況下，求‘ogHM的最大值點比較簡樸。于是，我們將求“（3）的最大值點改為求,°gL3）的最大值點。lnL(a\y=7)=bi13!7!3!+7ir,a)+3%(1lnL(a\y=7)=bi13!7!3!+7ir,a)+3%(1維數(shù)為1），并命其等于零,得到方程組：OlnL（u.]y=7:737-10（y=（I。3-S1—61-6）（1—3）一可以求得3=°?7時似然函數(shù)有極值，為了進一步判斷該點位最大值而不是最小值，可以繼續(xù)求二階導來判斷函數(shù)的凹凸性，假如口二0?7的二階導為負數(shù)那么即是最大值，這里再不細說。還要指出，若函數(shù)〃笳;％，…，%）關(guān)于無，…，熊的導數(shù)不存在，我們就無法得到似然方程組,這時就必須用其它的方法來求最大似然估計值，例如用有界函數(shù)的增減性去求乂8）的最大值點6.總結(jié)最大似然估計，只是一種概率論在記錄學的應用，它是參數(shù)估計的方法之一。說的是已知某個隨機樣本滿足某種概率分布,但是其中具體的參數(shù)不清楚，參數(shù)估計就是通過若干次實驗，觀測其結(jié)果，運用結(jié)果推出參數(shù)的大約值0最大似然估計是建立在這樣的思想上：已知某個