EM算法(講解+程序)_第1頁
EM算法(講解+程序)_第2頁
EM算法(講解+程序)_第3頁
EM算法(講解+程序)_第4頁
EM算法(講解+程序)_第5頁
已閱讀5頁，還剩1頁未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

EM算法實(shí)驗(yàn)報告一、 算法簡單介紹EM 算法是Dempster ，Laind，Rubin 于1977 年提出的求參數(shù)極大似然估計(jì)的一種方法，它可以從非完整數(shù)據(jù)集中對參數(shù)進(jìn)行 MLE 估計(jì)，是一種非常簡單實(shí)用的學(xué)習(xí)算法。這種方法可以廣泛地應(yīng)用于處理缺損數(shù)據(jù)、 截尾數(shù)據(jù)以及帶有噪聲等所謂的不完全數(shù)據(jù)， 可以具體來說，我們可以利用 EM 算法來填充樣本中的缺失數(shù)據(jù)、發(fā)現(xiàn)隱藏變量的值、估計(jì)HMM 中的參數(shù)、估計(jì)有限混合分布中的參數(shù)以及可以進(jìn)行無監(jiān)督聚類等等。本文主要是著重介紹 EM算法在混合密度分布中的應(yīng)用，如何利用 EM算法解決混合密度中參數(shù)的估計(jì)。二、 算法涉及的理論我們假設(shè)X是觀測的數(shù)據(jù)，并且是由某些高斯分布所生成的， X是包含的信息不完整（不清楚每個數(shù)據(jù)屬于哪個高斯分布） 。，此時，我們用 k維二元隨機(jī)變量 Z（隱藏變量）來表示每一個高斯分布，將 Z引入后，最終得到： ，，然而Z的后驗(yàn)概率滿足（利用條件概率計(jì)算） ：但是，Znk為隱藏變量，實(shí)際問題中我們是不知道的，所以就用 Znk的期望值去估計(jì)它（利用全概率計(jì)算）。然而我們最終是計(jì)算 max：最后，我們可以得到（利用最大似然估計(jì)可以計(jì)算） ：三、 算法的具體描述3.1 參數(shù)初始化對需要估計(jì)的參數(shù)進(jìn)行初始賦值，包括均值、方差、混合系數(shù)以及 。3.2E-Step 計(jì)算利用上面公式計(jì)算后驗(yàn)概率，即期望 。3.3M-step 計(jì)算重新估計(jì)參數(shù)，包括均值、方差、混合系數(shù)并且估計(jì)此參數(shù)下的期望值。3.4 收斂性判斷將新的與舊的值進(jìn)行比較，并與設(shè)置的閾值進(jìn)行對比，判斷迭代是否結(jié)束，若不符合條件，則返回到3.2，重新進(jìn)行下面步驟，直到最后收斂才結(jié)束。四、 算法的流程圖開始參數(shù)初始化E-StepM-s

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論