小象-機器學習-21.hmm與中文分詞

法本課件包括演示文稿、示例、代碼、題庫、和在課程范圍外向任何第散播。任何其他人或機構不得盜版、、仿造其中的創(chuàng)意及內容，我們 課 咨

鄒主要內概率計算：前向后向算參數估計：Baum-Welch算模型預測：Viterbi算

中文分

JasonBell.MachineLearning:Hands-OnforDevelopersandTechnicalHMM的參數表 A,B,

HMM的兩個基本性 , ,i , !i, Pi t t t

t

t Poi,o,i , !i, Pot

T

T

HMM的3個基本問 給定模型A,B,和觀 列Oo,o,…o計 列Oo1,o2,…oT，估計模型A,B,的參數，使得在該模型下 列P(O|λ)最 問題：已知模型A,B,和 列Oo1,o2,…oT 列條件概率P(I|O,λ)最大的狀態(tài)序列

定義：前向概率-后向概

前向算 t

iPo,o,!o,iq可以遞推計算前向概率αt(i)及觀

前向算iPooo,iq 1初值：1i1tt

N

T

后向算下，從t+1到T的部分觀列為ot+1,ot+2…oT t t iPo, t t 可以遞推計算后向概率βt(i)及 列概

T t

aijbjot1t

N

前后向關 Piq,O POiq,Pi t Po,!o, ,! i t Po,! iq, ,! iq,Piq

t

Po,!o,i

,!

iq,

t

記：iqO

單個狀態(tài)的概 iPiqO,

Piq,Oit it

N tN

γ的意態(tài)i*，從而得到一個狀態(tài)序列I*={i*i*…it

給定模型和

N N

t

兩個狀態(tài)的聯(lián)合概i,jPiq,i qO, t

兩個狀態(tài)的聯(lián)合概 tji,jPiq, tjPiq, q,Oj tjPOPiq, q,O t j

Piq, q,O t q,i t

t

期T在觀測O下狀態(tài)i出現(xiàn)的期Tt1在觀測O下狀態(tài)i轉移到狀態(tài)j的期望Tti,Tt

學習算 HMM的學習非常簡單，是監(jiān)督學

大數定列和對應的狀態(tài)序列{(O1,I1),(O2,I2)…(Os,Is)}，那么，可以直接利用BernoulliHMM的參數估計

監(jiān)督學習方

i ii

?ij

N

j

k

Baum-Welch算

附：EM算法整體框

Baum-Welch算所有觀測數據寫成O=(o1,o2…oT)，所有隱數據寫成是HMM參數的當前估計值，λ

I

lnPO,III

EM過

i

ai

bi

!a

ibi 1 1 2 T1 T

III

i tt1

I

itot極大極大化Q，求得參數

lniPO,IlniPO,ii1 1 NN

ln

i

i NiNi

NNN

初始狀態(tài)概率

11

11

1 1PO

1

轉移概率和觀測概T

NT1lnaPO,ii, j

t

i1j1t

tT1

T O,iti,it1 aijt t1 ttt

i ttt

tTT t t1,otvk TTTTTTt

i

t

t

預測算

預測的近似算態(tài)i*，從而得到一個狀態(tài)序列I*={i*i*…it

給定模型和

N N

t會出現(xiàn)此狀態(tài)在實際中可能不會發(fā)生的情

算法：走棋盤/格子取

問題分dp[0,0]=a[0,0]/第一行(列)累dp[x,y]=min(dp[x-1,y]+a[x,y],dp[x,y-即：dp[x,y]min(dp[x-1,y],dp[x,y-1])

Viterbi

ViterbiimaxPii,

,...i,o,...o

i1,i2

t

imax

i,i,...i, ,...ot

t

t 1j

P*max

例

0.5 0.5

A

B0.4

B

解：觀測向量O=“紅白紅

到o1=紅的概率，記此概率為 i 求得

0.5

A

解：觀測向量O=

maxja

t

同理

解：觀測向量O=“紅白紅

求最優(yōu)路徑圖

Baum-Welchcode：初始

Baum-Welch

前向-后

隱狀態(tài)概率–隱狀態(tài)轉移概EM迭

分

HMM與中文分

JasonBell.MachineLearning:Hands-OnforDevelopersandTechnical總馬爾科夫模型可以用來解釋貪心法和動態(tài)規(guī)思考：可否用深度學習代替

參考