julyedu自然語言處理-第8課條件隨機(jī)場公式版

conditionalrandom模型的基礎(chǔ)上，一種判別式概率無向圖學(xué)習(xí)模型，是一種用 (NaturalLanguageProcessing，NLP）、生物信息學(xué)、機(jī)器視覺及網(wǎng)序列標(biāo)標(biāo)注：人名地名組織名

標(biāo)注：名詞動詞助詞形容詞副詞觀察序列：今天天氣非常好 一、產(chǎn)生式模型和判別式模型（GenerativemodelDiscriminative二、概率圖模型（Graphical三、樸素貝葉斯分類器（NaiveBayes四、隱馬爾可夫模型（HiddenMarkovModel，HMM） umEntropyModel，MEM）七、條件隨機(jī)場（conditionalrandom一、產(chǎn)生式模型和判別式模型（Generative一、產(chǎn)生式模型和判別式模型（Generativemodelvs.Discriminativemodel）無法生成樣本，只能判斷分類，如SVM，CRF，MEMM。產(chǎn)生式模型：無窮樣本==》概率密度模型=產(chǎn)生模型==》預(yù)測判別式模型：有限樣本==》判別函數(shù)=預(yù)測模 (1,0),(1,0),(2,0),(2,P(x,P(1,0)=1/2,P(1,1)=0,P(2,0)=1/4,P(2,1)=P(y|P(0|1)=1,P(1|1)=0,P(0|2)=1/2,P(1|2)=優(yōu)點在聚類、viewpointchangespartialocclusionandscalevariations能力有限，可以告訴你的是1還是2，但沒有辦法把整個場景描述出二、概率圖模型（Graphical G(V,EV E 兩個節(jié)點鄰接：兩個節(jié)點之間存在邊，記為

~X

路徑：若對每個i，都有Xi Xi，則稱序列X1,...,XN為一條路根據(jù)圖中邊有無方向，常用的概率圖模型分為兩類有向圖：最基本的是貝葉斯網(wǎng)絡(luò)(BayesianNetworks

P(A,O,C,D,

M)P(

M

M

M

A,O,C,M)P(S

D,MXXXXNP(X1,X2，，XN)p(Xi(XiiP(X1,X2，，X5)p(X1)p(X2 X1)p(X3 X2)p(X4X2)p(X5 X3X4無向圖：馬爾可夫隨機(jī)場(MarkovRandomFields 馬爾科夫性：p

xj,ji)p

xj,

xj alclique)：不能被其它團(tuán)所包含的團(tuán)例如右圖的團(tuán)有C1={X1X2X3}和C2={X2X3 P(

,X2，

)Z

NNiN

i(Ci Z i(CiX1,X2，，XNi

p(X,X,X,X) 1(X1,X2,X3)2(X2,X3,X4 勢函數(shù)（potentiali(Ci) 是關(guān)于Ci上

1(X1,X2,X1,X2,X3,

3)2(X2,X3,X4三、樸素貝葉斯分類器（三、樸素貝葉斯分類器（NaiveBayesp(y

x)

p(xyp(xyj)p(yjyj的先驗概率(priorprobability)，它反映了我們所擁有的關(guān)于yj|y|P(y)= p(y

x)

p(xyp(xyj)p(yj

yjj)概率，指當(dāng)已知類別為yj的條件下，看到本x出現(xiàn)的概,am x(a1,,am p(xyj)p(a1,a2

, yj條件獨立性

p(a,bc)p(ac)p(b在給定 量C時，a，b條件獨立假定：yjxp(xyj)p(a1,a2 ,

yj)p(ai|yjmimp(yjx)

p(

yj)p(yjp(

x)是后驗概率，即給定數(shù)據(jù)樣本x時yj成立的概率，而這正

p(y

x)

p(y)p(y)p(xyjj

jargmaxp(yj

x)argmaxp(yYjY

x1,x2,x3p(xp(x,x, y)p(yjj p(x1,x2,x3p(xp(x1,x2,x3,yjj3argmaxp(3

yj)p(yj ixxP(x1,x2,x3,yj)p(yj)p(

yj)p(

yj)p(

yjxxnp(y,x)p( yi1)p( yini三、隱馬爾可夫模型（Hidden三、隱馬爾可夫模型（HiddenMarkov馬爾可夫模型λ=(S,S是狀態(tài)的集合，是初始狀態(tài)的概率AST-一階馬爾可夫模型的

晴云雨 晴云雨

Ss1,s2,s3

0.25 隱馬爾可夫模型HMM是一個五元組λ=(Y,X,A,B)Y是隱狀態(tài)（輸出變量）的集合，）X是觀察值（輸入）集合，是初始狀態(tài)的概率，A是狀態(tài)轉(zhuǎn)移概率矩

HMM

Urn Urn

Urn 根據(jù)初始概率分布，隨機(jī)選擇N個缸中的一個開始實最后得到一個描述球的顏色的序列x1,x2,…稱為觀察值序列XObservedBall問題1Xx1x2

xT以及模型(AB),計算PX)問題2：給定觀察序列Xx1,x2 態(tài)序列Y(y,y ,y

問題3：給定觀察序列Xx1x2PX)最大

,問題1Xx1x2基本算法

xT以及模型(AB),計算PX)P(X/)P(X/Y,)P(Y/)所有=[0.51 0.72R①R①G①①①0.50.30.30.60.60.4 定義前向變量：t(i)P(x1,x2 xt,yti)

1t初始化 1(i)ibi(x1

1tN遞歸 t1(j)[t(i)aij]bj(xt1Ni

1tT1,1j

NNP(X/)Ti=[10123RGBRRGB123tjttjttt.... 定義后向變t(i)P(xt1,xt2 xT,yti/ 1tT初始化：T(i) 1i

t(i)aijbj(xt1)t1(NN

tT1,T2,...,1,1i

P(X/)1NiN問題2：給定觀察序列Xx1,x2 態(tài)序列Y(y,y ,y

ViterbiViterbi

t(i)P[y1y2...yt1,yti, 要找的就是TT(iargmaxP(Y|XYViterbiViterbi

1(i)t1(j)maxt(i)aijbj(xt1)t1(j)argmaxt(i)aijbj(xt1)TPmaxT yargmax( 1i,1 t ty ( ,1 t t=[10123RGBRRGB 問題3：給定觀察序列Xx1,x2 PX)最大Baum初始模型（待訓(xùn)練模型基于λ0XλlogP(X|λlog(P(X|λ0Delta，說明訓(xùn)練已經(jīng)達(dá)到預(yù)期效果，否則，令λ0＝λ2定義給定模型和觀察序列條件下，從i到j(luò)的轉(zhuǎn)移概率定義為t(i,j)t(i,j)P(yti,yt1j|X, t(i)aijbj(xt1)t1( t(i)aijbj(xt1)t1( jNt(i)t(i, t時刻處于狀態(tài)yi的概NjTt(i)整個過程中從狀態(tài)yi轉(zhuǎn)出的次數(shù)(number e)tTt(i,j)從yi跳轉(zhuǎn)到y(tǒng)j次數(shù)的預(yù)期tt(i,

t( t,xtt(i,

bj(k)

t(t t＝1Si1i該算法又稱為向前向后算法（Forward-backward經(jīng)常得到局部最HMMs等生產(chǎn)式模型存在的問TP(X) p(T所有的Yi

yi1)p( yi多數(shù)領(lǐng)域來說是比較的。狀態(tài)（即要標(biāo)注的）有關(guān)。對于簡單的數(shù)據(jù)集，這個假設(shè)倒是合理。但長范圍內(nèi)的元間的依賴而形成的。 umEntropy H(X)p(x)logp( 0HXlog H(

x)p(y,x)logp(y(x,y

p*(

x)argmaxH(yp(yx

fi(x,y)p(yx)

i1,

,,E(fi)E(fi

i1, ,

iE(f) p(x,y)f(x,y) i

f(x,

N (x,y

N(x,yE(fi)

(x,y

p(x,y)fi(x,y) (x,y

p(x)p(

x)fi(x,N1p(NxT

x)fi(x, (p,)H(yx)iE(fi)E(fi)m1p(yx)1i

p(

x)

Z(

i

fi(x,P(

,X， )1

(CNZ NZ

i

yxyx六、最大熵馬爾可夫模型六、最大熵馬爾可夫模型HMM：狀態(tài)集合Y，觀察值集合X，兩個狀態(tài)轉(zhuǎn)移概率：從yi-1到y(tǒng)i的條件率分布P(yi|yi-1)，狀態(tài)yi的輸出觀察值概率P(xi|yi)，初始概率MEMM：用一個P(yi|yi-1,xi)分布來替代HMM中的兩個條件概率分布，它表 (

x)

exp f(x,y

i1,

Z(x,

i

yyiyiyiyixixixixi

yxyx

yiyiyixixi五、條件隨機(jī)場（conditionalrandom ，其全體就叫做隨機(jī)場當(dāng)然，這些隨量之間可能有依賴關(guān)系，一般來說，也只有當(dāng)這些變量之間有依賴關(guān)系的時候，其單獨拿出來看成一個隨機(jī)場才有實對應(yīng)一個隨量，節(jié)點之間的邊表示節(jié)點對應(yīng)的隨量之間有概率 本質(zhì)上是給定了觀察值。CRF定義設(shè)G=（V，E）是一個無向圖，YYvvV是以G 變量Yv構(gòu)成的集合。在給定X的條件下，如果每個 量Yv服從馬爾夫?qū)傩?，即一個條件隨機(jī)場

X,Yu,uv)

X,Yu,

則X,Yyyiyixixi最簡單且最常用的是一階鏈?zhǔn)浇Y(jié)構(gòu)，即線性鏈結(jié)構(gòu)（Linear-chain令xx1,x2 ,xn表示觀察序列，yy1,y2 pyx,expjtj(yi1,yi,x,i)ksk(yi,x,i) tjyi1,yixi sk(yi,x,i): 將兩個特征函數(shù)統(tǒng)一為：fjyi1,yi,xi) pyx,

expZ( iZ(

fj(yi1,yi,x,i) Z(x)expjfj(yi1,yi,x,i) i 特征函數(shù)的選參數(shù)估模型推CRFs模型中特征函數(shù)的形式定義：fjyj1,yixb(x,i)

i觀察值x是大寫開頭0i f( ,y,x,i)b(0i

yi1title,yiauthor極大似然估計 umLikelihood假定對于訓(xùn)練數(shù)據(jù)有一組樣本集合Dxj,y(j,j

,N樣本是相互獨立的，px,y)為訓(xùn)練樣本中(x,y)的經(jīng)驗概率，pyx，訓(xùn)練數(shù)據(jù)DL()p(yx,)p(x,y)x,L()p(x,y)logp(yx,x,n L()p(x,y)jfj((yi1,yi,x,i))p(x)logZ(x,

i1 nL()p(x,y)fp(x)logZ(x, i jnnL()p(x, nn fj(yi1,yi, p(x)p(yx,)

fj(yi1,yi, x, i

x,

iEp(x,y

j(x,

k

p(yx(k),

fj(x(k),y)1、迭代縮GIS算法（GeneralisedIterativeIIS算法（ImprovedIterative jj其中更新值j使得新的值j比原來的值j迭代縮放的基本 假定我們有一個以,, 為參數(shù)的模型pyx,, 找到一組新的參數(shù)：11,22 使得在該參數(shù)條件 L()L()p(x,y)logp(yx,)p(x,y)logp(yx,)x, x,

f( ,y,x)

Z(p(x,y)

i

p(x)Z(x,

i

A(, p(x,y)jfj(yi1,yi,x)x,

i n p(x)p(yx,

fj(yi1,yi,x))

T(x,y)) )( i

T(x, nT(x,y)fj(yi1,yi,ni 根據(jù)L()L()A(，), 尋找使A(，)最大化的?，將每個j對于每個，計算A(,)0 A(,

p(x,

x, in

fj(yi1,yi,p(x)p(

x,)fj(yi1,yi,x)exp(jT(x,y))i應(yīng)用 則jj

對特征集進(jìn)行約束，即令每個訓(xùn)練數(shù)據(jù)中的事件T(x,y)C 定義了一個全局修正特征nS(x, Cfj(yi1,yi,ni

j

Ep(x,y)fklog 1Ep(yx,)fklog 1 f log p(x,y)k f p(yx,)knEp(x,y)fkp(x,y)fj(yi1,yi,x, inEp(yx,)fkp(x)p(yx,)fj(yi1,yi,x)exp(jT(x,n i

T(x,y)T(

maxT(x,y

exp(Ep(yx,)fkak nak,mp(x)p(yx,)fk(yi1,yi,x)(m,T(n i2、梯度算L() f(x,y)

f(x(k),

p(x,y)

p(yx(k),)

DongCLiuandJorgeNocedal【OnTheLimitedMemoryBFGSMethodForLargeScaleOptimization】。 。常見的兩個問題：一、在模型訓(xùn)練中，需要邊際分布p(yt,yt1 x)和Z(x)；。 流程頁面預(yù)處模型建確定狀態(tài)集合Y，觀察值（特征）集合 特征集合包含：“具有@符號“最大數(shù)字長度小于66”，…… (

x)

exp f(x,y

Z(x,

i

特征函數(shù)fax,y)表示數(shù)據(jù)集<X,Y>f(x,y)

yiyyiyixixi0fn進(jìn)一步引入一系列的特征函數(shù)f1,ffn (

x)

exp f(x,y參數(shù)學(xué)

Z(x,

i

GIS算法進(jìn)行參數(shù)學(xué)習(xí)，最終得到MEMM。說說明nfi(x,y)ni

Cmax

fi(x,nx,n

in

fn1(x,y)Cfi(x,iGIS算法的步aa

1,a1,,n a ,n,n計算每個特征的Eafaxtytx,

p(j)(

x)

f(x,y

Z(x,

i

用當(dāng)前的 值計算Ej

p(j)(

x)f(x,y xt,

(j

(j

1log E(j) 識別和抽,輸入觀察值序列x1x,Vt(yi)maxVt1(yr)py(yiot1r Qt(yi)argmaxVt1(yr)py( xt1r V*maxV(y1i Q*argmaxQ(y1i 評測指率

精確率

pyx,

expZ( iZ(

fj(yi1,yi,x,i) Z(x)expjfj(yi1,yi,x,i) i 。 f(x,y)

IfPBW1(w-1)=tureand0 0評測指正確識 率 精確率（Precision）=正確識 識別 2╳精確率

化和的特點，解決了其他判別式模型(如最大熵馬爾科夫模型)的標(biāo)記偏見問題缺點：模型訓(xùn)練時收斂速度比較2001LaffertyCRF模型?！綜onditionalrandomfields-Probabilisticmodelsforsegmentingandlabelingsequencedata】2003年，KumarCRF2-維格型結(jié)構(gòu)，開始將其Ariadna Michael 【ConditionalRandomFieldsforObj