最大期望算法

最大期望算法（EM）ExpectationMaximizationAlgorithm最大期望算法最大期望算法，是一種迭代算法，用于含有隱變量的概率參數(shù)模型的最大似然估計(jì)或極大后驗(yàn)概率估計(jì)。最初是由Ceppellini等人1950年在討論基因頻率的估計(jì)的時(shí)候提出的。后來又被Hartley和Baum等人發(fā)展的更加廣泛。目前引用的較多的是1977年Dempster等人的工作。它主要用于從不完整的數(shù)據(jù)中計(jì)算最大似然估計(jì)。后來經(jīng)過其他學(xué)者的發(fā)展，這個(gè)算法也被用于聚類等應(yīng)用。最大期望算法例：我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。你在校園里隨便地選取了100個(gè)男生和100個(gè)女生。統(tǒng)計(jì)抽樣得到的100個(gè)男生的身高和100個(gè)女生的身高。假設(shè)他們的身高各自是服從高斯分布的。

最大期望算法如果X是在概率空間（Ω,P）中的一個(gè)隨機(jī)變量，那么它的期望值E[X]的定義是

。最大期望算法若已知樣本取值為x1,x2,…xn，則事件{X1=x1,X2=x2,…Xn=xn}發(fā)生的概率為：設(shè)總體X是離散型隨機(jī)變量，其概率函數(shù)為p(x,θ)，其中θ是未知參數(shù)．聯(lián)合概率函數(shù)：最大期望算法聯(lián)合概率密度函數(shù)是隨θ的改變而改變的，將它看作是θ的函數(shù)就是似然函數(shù)：最大期望算法例：我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。你在校園里隨便地選取了100個(gè)男生和100個(gè)女生。統(tǒng)計(jì)抽樣得到的100個(gè)男生的身高和100個(gè)女生的身高。假設(shè)他們的身高各自是服從高斯分布的。

抽出的樣本是男生抽出的樣本是女生最大期望算法隨意的抽取一個(gè)樣本，無法判斷是男是女。最大期望算法

用數(shù)學(xué)的語言：抽取得到的每個(gè)樣本無法判斷是從哪個(gè)分布。

男生和女生對(duì)應(yīng)的身高的高斯分布的參數(shù)是多少這個(gè)人是男的還是女的最大期望算法對(duì)于每一個(gè)抽取到的人，有兩個(gè)方面要估計(jì)。最大期望算法推導(dǎo)過程：

對(duì)于參數(shù)估計(jì)，我們本質(zhì)上還是想獲得一個(gè)使似然函數(shù)最大化的那個(gè)參數(shù)θ，現(xiàn)在與最大似然不同的只是比似然函數(shù)式中多了一個(gè)未知的變量z，也就是說我們的目標(biāo)是找到適合的θ和z讓L(θ)最大。最大期望算法PS：(2)→(3)時(shí)運(yùn)用的是Jensen不等式：如果f是凸函數(shù)，X是隨機(jī)變量，那么，當(dāng)且僅當(dāng)f是嚴(yán)格凸函數(shù)時(shí)，。如果f是凹函數(shù)，X是隨機(jī)變量，那么，當(dāng)且僅當(dāng)f是嚴(yán)格凹函數(shù)時(shí)，。二次導(dǎo)數(shù)為，為凹函數(shù)。最大期望算法EM算法步驟：初始化分布參數(shù)重復(fù)E、M步驟直到收斂。

最大期望算法

E步驟：估計(jì)未知參數(shù)的期望值，給出當(dāng)前的參數(shù)估計(jì)。根據(jù)參數(shù)初始值或上一次迭代的模型參數(shù)記

,來求一個(gè)分布q(z)，使得L(q,θ)最大化。

最大期望算法

M步驟：重新估計(jì)分布參數(shù)，以