哈工大 模式識別第2章

1、iixiip xe()( |)22212121122()(),()(),PPxPPx1( |)p x( |)p x2(,)(|) ()(|) ()iiiiP Xp XPPX p X(|) ()(|)()(|) ()(|) ()iiiiiciiip XPPXp Xp XPp XP1先驗概率，后驗概率，概率密度函數(shù)之間關(guān)系(|) ()(|)(|) ()iiiciiip XPPXp XP1,(|)max (|)ijjPXPX1 2如果則iXjjj 12,(|) ()max (|) ()iip XPp XP若：iX則：(|)()( )(|)()p XPl xp XP1221如果則：X1h xl xPp

2、 Xp XP ( )ln ( )()ln (|)ln (|)ln()1122則：X1(|) ().(|).(|) ()iiip XPPXp XP111210 2 0 90 8180 2 0 90 4 0 1(|)-(|).PXPX 2111 0 8180 182(|).(|).PXPX120 8180 182因此判定該細胞為正常細胞比較合理P(e,x)：錯誤決策為e,觀測值為x的聯(lián)合概率密度P(e|x)：觀測值為x時的條件錯誤概率密度函數(shù)P(x)：x值出現(xiàn)的概率則：RRRRP ePx p x dxPx p x dxp xPdxp xPdx( )(| ) ( )(| ) ( )( |) ()(

3、|) ()2112221112如果我們把作出w1決策的所有觀測值區(qū)域稱為R1，則在R1區(qū)內(nèi)的每個x值，條件錯誤概率為p(w2|x)。另一個區(qū)R2中的x,條件錯誤概率為p(w1|x)。p XPl xp XP(|)()( ),(|)()1221如果X1RRRRP ep XPdxp XPdxPp Xdx Pp XdxPP ePP e( )(|) ()(|) ()()(|)()(|)()( )()( )2211122211122211,.,(|)max(|)ijjcPXPX1如果:iX則：也可寫成先驗概率與條件概率密度形式：,.,:(|) ()max(|) ()iijjjcp XPp XP1如果iX則

4、：多類別決策過程中的錯誤率計算：1、把特征空間分割成R1，R2，Rc，C個區(qū)域2、在每個區(qū)域Ri統(tǒng)計將所有其它類錯誤劃為該區(qū)域?qū)念惖母怕?，則每個區(qū)域共有c-1項錯誤率，總共有c(c-1)項。（計算復雜）正確率：所以：P(e)=1-P(c)（可見：每次決策，正確率最大，即：P(C）最大，所以，錯誤率最?。﹊jijcPXPXX, ,.,:(|)max(|)如果1 2ijijcR XRXX, ,.,:()min()如果1 2( )()(|)ciijjjR XPX1ijjPX( )(|)( )( )()(|)(|)R XPXPX1111122( )( )()(|)(|)RXPXPX2221122作

5、出哪一種決策就要看是R1(X)小還是R2(X)小這就是基于最小風險的貝葉斯決策的基本出發(fā)點就是前面我們引用過的i=1,2,aRi：稱為條件風險。iRRX p X dX(|) ()jiiKjifRXRXthenX, ,.,(|)min(|)1 2jXciijjjRXPXiK (|)(,) (|), ,.,11 2jiiKRXRX, ,.,(|)min(|)1 2作出決策由于R(1|X)R(2|X)即決策為2的條件風險小于決策為1的條件風險，因此應采取決策行動2即判待識別的細胞X為2類異常細胞。Pp Xl xp XP()(|)( ),(|)()1 222211 12121（-）如果（-）X1p X

6、Pl xp XP(|)()( ),(|)()1221如果X1Pp Xl xp XP()(|)( ),(|)()1 222211 12121（-）如果（-）稱：P1(e)，P2(e)為兩類錯誤率因P(W1)，P(W2)確定RRRRP ePp Xdx Pp XdxPP ePP eP ep XdxP ep Xdx( )()(|)()(|)()( )() ( )( )(|)( )(|)2211122211112221P eP e( )( )min201P eP e( )( )120RRRRRp Xdxp Xdxp Xdxp Xdxp Xp Xdx(|)(|)(|)(|)()(|)(|)12021120

7、11021111Rp Xp Xdx()(|)(|)02111p Xp Xt(|)(|)210Rp Xdx (|)0210可得Rp Xdxp tp t(|)( )( |)( )( |)20112102先由（1）求邊界t，再由（2）求p xp x( |)( |)12Rp Xp Xdx()(|)(|)02111p xp x( |)( |)12p xPp xP( |)()( |)()1221PP()()21P ep ldlp ldl ( )( |)( |)222001( ()|) ()() (|)() (|)() (|)() (|)RRRRXX P X dXPp XPp XdXPp XPp XdX11

8、1112221211122212:()()PP121利用(|)(|)RRp XdXp XdX 11211及()(|)()()()(|)()(|)RRRRp XdXPp XdXp XdX2212222112212111112222211則即:RRRap XdXbp XdXp XdX()(|)()()(|)()(|)221222211122211111222221RabP() 1aP*() 1bP*() 1最小最大決策0()RabP11*()aP1*()bP1AB()P1()Ra b 0R()()(|)()(|)RRbp XdXp XdX11222111112222210()()(|)RRabPp

9、 XdX221222211決策面及決策面方程：決策面及決策面方程：決策域的邊界面就是決策面，在數(shù)學上用解析形式表示成決策面方程。判別函數(shù)：判別函數(shù)：用于表達決策規(guī)則的某些函數(shù)則稱為判別函數(shù)。一、判別函數(shù)及決策面三類別問題用一維特征空間時的所有決策邊界兩類別問題的二維特征空間中的決策邊界兩類別分類器的框圖此時，可用一個判別函數(shù)：g(x)=g1(x)-g2(x)決策規(guī)則：g(x)0，則判X屬于1g(x)10）時，h(x)服從正態(tài)分布，則可計算h(x)的均值和方差：(ij,ij易統(tǒng)計得到） ( )|()| ( ) |diiliilldiiiillE h xEh xE h x12221負對數(shù)似然比：類條件概率密度：錯誤率的計算同1（正態(tài)分布且協(xié)方差陣相等）ssP esstP ess tPssh p hdhtPdstdsP ePPs ( )exp( )( )exp( )() ()( )lnexp() ( |),ln()( )-( ) () () exp( )121121121s