最大期望算法_第1頁(yè)
最大期望算法_第2頁(yè)
最大期望算法_第3頁(yè)
最大期望算法_第4頁(yè)
最大期望算法_第5頁(yè)
已閱讀5頁(yè),還剩11頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

最大期望算法(EM)ExpectationMaximizationAlgorithm最大期望算法最大期望算法,是一種迭代算法,用于含有隱變量的概率參數(shù)模型的最大似然估計(jì)或極大后驗(yàn)概率估計(jì)。最初是由Ceppellini等人1950年在討論基因頻率的估計(jì)的時(shí)候提出的。后來(lái)又被Hartley和Baum等人發(fā)展的更加廣泛。目前引用的較多的是1977年Dempster等人的工作。它主要用于從不完整的數(shù)據(jù)中計(jì)算最大似然估計(jì)。后來(lái)經(jīng)過(guò)其他學(xué)者的發(fā)展,這個(gè)算法也被用于聚類(lèi)等應(yīng)用。最大期望算法例:我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。你在校園里隨便地選取了100個(gè)男生和100個(gè)女生。統(tǒng)計(jì)抽樣得到的100個(gè)男生的身高和100個(gè)女生的身高。假設(shè)他們的身高各自是服從高斯分布的。

最大期望算法如果X是在概率空間(Ω,P)中的一個(gè)隨機(jī)變量,那么它的期望值E[X]的定義是

。最大期望算法若已知樣本取值為x1,x2,…xn,則事件{X1=x1,X2=x2,…Xn=xn}發(fā)生的概率為:設(shè)總體X是離散型隨機(jī)變量,其概率函數(shù)為p(x,θ),其中θ是未知參數(shù).聯(lián)合概率函數(shù):最大期望算法聯(lián)合概率密度函數(shù)是隨θ的改變而改變的,將它看作是θ的函數(shù)就是似然函數(shù):最大期望算法例:我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。你在校園里隨便地選取了100個(gè)男生和100個(gè)女生。統(tǒng)計(jì)抽樣得到的100個(gè)男生的身高和100個(gè)女生的身高。假設(shè)他們的身高各自是服從高斯分布的。

抽出的樣本是男生抽出的樣本是女生最大期望算法隨意的抽取一個(gè)樣本,無(wú)法判斷是男是女。最大期望算法

用數(shù)學(xué)的語(yǔ)言:抽取得到的每個(gè)樣本無(wú)法判斷是從哪個(gè)分布。

男生和女生對(duì)應(yīng)的身高的高斯分布的參數(shù)是多少這個(gè)人是男的還是女的最大期望算法對(duì)于每一個(gè)抽取到的人,有兩個(gè)方面要估計(jì)。最大期望算法推導(dǎo)過(guò)程:

對(duì)于參數(shù)估計(jì),我們本質(zhì)上還是想獲得一個(gè)使似然函數(shù)最大化的那個(gè)參數(shù)θ,現(xiàn)在與最大似然不同的只是比似然函數(shù)式中多了一個(gè)未知的變量z,也就是說(shuō)我們的目標(biāo)是找到適合的θ和z讓L(θ)最大。最大期望算法PS:(2)→(3)時(shí)運(yùn)用的是Jensen不等式:如果f是凸函數(shù),X是隨機(jī)變量,那么,當(dāng)且僅當(dāng)f是嚴(yán)格凸函數(shù)時(shí),。如果f是凹函數(shù),X是隨機(jī)變量,那么,當(dāng)且僅當(dāng)f是嚴(yán)格凹函數(shù)時(shí),。二次導(dǎo)數(shù)為,為凹函數(shù)。最大期望算法EM算法步驟:初始化分布參數(shù)重復(fù)E、M步驟直到收斂。

最大期望算法

E步驟:估計(jì)未知參數(shù)的期望值,給出當(dāng)前的參數(shù)估計(jì)。根據(jù)參數(shù)初始值或上一次迭代的模型參數(shù)記

,來(lái)求一個(gè)分布q(z),使得L(q,θ)最大化。

最大期望算法

M步驟:重新估計(jì)分布參數(shù),以

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論