貝葉斯分類器-gai課件

1、第二章 貝葉斯分類器2.1 最小錯(cuò)誤率判別規(guī)則2.2 最小風(fēng)險(xiǎn)判別規(guī)則2.3 分類器的錯(cuò)誤率2.4 奈曼-皮爾遜判別規(guī)則2.5 最小最大判別規(guī)則第二章 貝葉斯分類器2.1 最小錯(cuò)誤率判別規(guī)則 模式識(shí)別的分類問題就是根據(jù)待識(shí)別對象的特征向量值及其它約束條件將其分到某個(gè)類別中去。統(tǒng)計(jì)決策理論是模式分類問題的基本理論之一,它對模式分析和分類器的設(shè)計(jì)有著實(shí)際的指導(dǎo)意義,貝葉斯(Bayes)決策方法是統(tǒng)計(jì)模式識(shí)別中的一個(gè)重要方法,是處理模式分類問題的基本理論之一。本章要討論的貝葉斯分類器在統(tǒng)計(jì)模式識(shí)別中被稱為最優(yōu)分類器。 引言 模式識(shí)別的分類問題就是根據(jù)待識(shí)別對象的特征向量值及其它約例1 癌細(xì)胞識(shí)別問題

2、: 如何區(qū)分正常細(xì)胞與癌細(xì)胞?正常細(xì)胞癌細(xì)胞x1x2差異描述,特征選擇 x1 圓形度 x2 形心偏差度稱x為細(xì)胞的特征向量或稱模式x5000個(gè)細(xì)胞的數(shù)據(jù)分布正常細(xì)胞類用1表示癌細(xì)胞類用2表示記 x = ( x1, x2 )T例1 癌細(xì)胞識(shí)別問題: 如何區(qū)分正常細(xì)胞與癌細(xì)胞?正常細(xì)采用貝葉斯方法必須滿足下列兩個(gè)條件:各類別總體的概率分布是已知的。 即 P ( i ) 與 P ( x/ i )已知 i = 1,2, M其中 P ( i ) 稱為類先驗(yàn)概率 第i類出現(xiàn)的概率. P ( x/ i )稱為類條件概率 第i類特征向量的概率密度函數(shù)要決策分類的類別數(shù)是一定的；假設(shè)要研究的分類問題有M個(gè)類別，

3、分別用 i來表示，i1，2，, M采用貝葉斯方法必須滿足下列兩個(gè)條件:各類別總體的概率分布模式識(shí)別問題假設(shè)對象來自m個(gè)不同的類,用d個(gè)特征來描述對象. 特征向量 x= ( x1, x2, . xd )T , x也稱為模式.特征(模式)空間 S 所有的特征(模式)構(gòu)成的集合.S為d維空間R d的一個(gè)子集,模式x是S中的一個(gè)點(diǎn).模式識(shí)別問題將模式空間劃分為m個(gè)不同的區(qū)域,使得每個(gè)區(qū)域?qū)?yīng)到一個(gè)類x1x2錯(cuò)識(shí)率 也稱錯(cuò)誤率,是判別分類器好壞的重要依據(jù)模式識(shí)別問題假設(shè)對象來自m個(gè)不同的類,用d個(gè)特征來描述對象.2.1 最小錯(cuò)誤率判別規(guī)則 1. 問題描述 2. 判別規(guī)則 3. 決策域.判別函數(shù) 4. 參

4、數(shù)估計(jì) 5. 計(jì)算實(shí)例2.1 最小錯(cuò)誤率判別規(guī)則 1. 問題描述1.問題描述 在模式分類問題中,人們往往希望盡量減少分類的錯(cuò)誤.從這樣的要求出發(fā),利用Bayes公式,可得出使錯(cuò)誤率最低的分類規(guī)則,稱之為基于最小錯(cuò)誤率的貝葉斯分類決策癌細(xì)胞識(shí)別問題,設(shè)x為待識(shí)別的細(xì)胞,為其類別. = 1 表示x為正常細(xì)胞 = 2 表示x為癌細(xì)胞如果只用類別先驗(yàn)概率P ( 1) 和P ( 2)來判別,會(huì)把所有的待識(shí)別細(xì)胞都?xì)w于正常類,根本達(dá)不到將正常細(xì)胞與癌細(xì)胞區(qū)分開來的目的1.問題描述 在模式分類問題中,人們往往希望盡量減少分類的錯(cuò)計(jì)算后驗(yàn)概率應(yīng)充分利用待識(shí)細(xì)胞的特征向量x中所包含的信息.在給定x的情況下,類別

5、 1, 2出現(xiàn)的概率P ( 1 / x)與P ( 2 / x)是不一樣的由引言中的假設(shè),已知類別先驗(yàn)概率 P ( i ) i=1,2類別條件概率 P ( x/ i ) i=1,2由Bayes公式,P ( i / x)=P (x / i ) P ( i ) j P (x / j ) P ( j ) i = 1, 2稱為后驗(yàn)概率，由此，可以判決 x所屬的類別計(jì)算后驗(yàn)概率應(yīng)充分利用待識(shí)細(xì)胞的特征向量x中所包含的信息.2.判別規(guī)則Bayes公式是通過待識(shí)樣本提供的模式特征信息x將類先驗(yàn)概率P ( i )轉(zhuǎn)化為類后驗(yàn)概率P ( i / x)這樣,基于最小錯(cuò)誤率的貝葉斯判別規(guī)則為若 P ( 1 / x)

6、P ( 2 / x) 則判 x 1 若 P ( 2 / x) P ( 1 / x) 則判 x 2若 P ( 1 / x) = P ( 2 / x) 不能判定, 拒判 2.判別規(guī)則Bayes公式是通過待識(shí)樣本提供的模式特征信息x 等價(jià)的判別規(guī)則 x * = Arg Max P ( i / x) i x * = Arg Max P (x/ i) P ( i ) i l ( x ) = P (x/ 1)P (x/ 2)P ( 2)P ( 1) x 1 x 2 h(x) = - ln l ( x ) = -ln P (x/ 1) + ln P (x/ 2) P ( 1)P ( 2)lnx 1 x 2

7、等價(jià)的判別規(guī)則 x * = Arg Max3. 決策域.判別函數(shù) 決策域:對于m類分類問題，按照判別規(guī)則可以把特征向量空間(或稱模式空間)分成m 個(gè)互不相交的區(qū)域R i ,i=1,2, m決策邊界:劃分決策域的邊界，在數(shù)學(xué)上用解析形式可以表示成決策邊界方程（等式）判別函數(shù):用于表達(dá)決策規(guī)則的某些函數(shù)。判別函數(shù)與決策邊界方程是密切相關(guān)的，而且它們都由相應(yīng)的判別規(guī)則所確定。3. 決策域.判別函數(shù) 決策域:對于m類分類問題，按照判別規(guī) g i(x) = P ( i / x) i = 1,2,m ， 后驗(yàn)概率 g i(x) = P (x/ i) P ( i ) i = 1,2,m， 分子 g i(x)

8、 = ln P (x/ i) + ln P ( i) i = 1,2,m若 k = Arg Max g i (x), i = 1,2,m 則 x k , 稱 g i (x) 為第 i 類的判別函數(shù)不同的判別方法有不同的判別函數(shù) 對每一類別,定義一個(gè)函數(shù)g i(x) i = 1,2,m,且滿足下述g i(x)均為最小錯(cuò)誤率判別規(guī)則判別函數(shù). g i(x) = P ( i / x) i =確定了判別函數(shù)，決策邊界也就確定下來了,相鄰的兩個(gè)決策域在決策邊界上其判別函數(shù)值是相等的。如果決策域R i與Rj是相鄰的,則分割這兩個(gè)決策域的決策邊界方程應(yīng)滿足： g i(x) g j(x)一般地說，模式x為二維

9、時(shí)，決策邊界為一曲線；三維時(shí)，決策邊界為一曲面；d維(d3)時(shí)，決策邊界為一超曲面。一維時(shí)，決策邊界為一分界點(diǎn)； 確定了判別函數(shù)，決策邊界也就確定下來了,相鄰的兩個(gè)決策域在決 第 i 類決策域x1x2R iR j相鄰的決策域的決策邊界方程滿足 g i(x) g j(x)決策邊界 第 i 類x1x2R iR j相鄰的決策域的決策邊界方程滿分類器設(shè)計(jì)分類器可看成是由硬件或軟件組成的“機(jī)器”，貝葉斯分類器的結(jié)構(gòu)如下圖所示(m為類別數(shù)）。g 1g 2gmx1x2xd Max決策 (x)分類器設(shè)計(jì)分類器可看成是由硬件或軟件組成的“機(jī)器”，貝葉斯分4.參數(shù)估計(jì)利用最小錯(cuò)誤率判別規(guī)則的關(guān)鍵是通過已知樣本估計(jì)

10、下列概率類別先驗(yàn)概率 P ( i ) i=1,2,m在癌細(xì)胞識(shí)別問題中,根據(jù)醫(yī)院病理檢查的大量統(tǒng)計(jì)資料,可以對某一地區(qū)正常細(xì)胞和癌細(xì)胞出現(xiàn)的比例作出估計(jì)類別條件概率 P ( x/ i ) i=1,2 ,m在癌細(xì)胞識(shí)別問題中,可分別在正常細(xì)胞類及癌細(xì)胞類中估計(jì)隨機(jī)向量的概率密度函數(shù)4.參數(shù)估計(jì)利用最小錯(cuò)誤率判別規(guī)則的關(guān)鍵是通過已知樣本估計(jì)下5.計(jì)算實(shí)例 例1 有一家醫(yī)院為了研究癌癥的診斷，對一大批人作了一次普查，給每人打了試驗(yàn)針，然后進(jìn)行統(tǒng)計(jì)，得到如下統(tǒng)計(jì)數(shù)字： 這批人中，每1000人有5個(gè)癌癥病人； 這批人中，每100個(gè)正常人有1人對試驗(yàn) 的反應(yīng)為陽性， 這批人中，每100個(gè)癌癥病人有95入對

11、 試 驗(yàn)的反應(yīng)為陽性。 通過普查統(tǒng)計(jì)，該醫(yī)院可開展癌癥診斷。 現(xiàn)在某人試驗(yàn)結(jié)果為陽性，診斷結(jié)果是什么?5.計(jì)算實(shí)例 例1 有一家醫(yī)院為了研究癌癥的診斷，對一P ( 1) = 0.995, P ( 2) = 0.005P (陽性/ 1) = 0.01, P (陰性/ 1) = 0.99P (陽性/ 2) = 0.95, P (陰性/ 2) = 0.05由此可算得假如正常人用1類表示，癌癥病人用2類表示。以試驗(yàn)結(jié)果作為特征，特征值為陽或陰。根據(jù)統(tǒng)計(jì)數(shù)字，得到如下概率：P (x/ 1) P ( 1) =P (陽性/ 1) P ( 1) = 0.0995P (x/ 2) P ( 2) =P (陽性/

12、2) P ( 2) = 0.00475由于 P (x/ 1) P ( 1) P (x/ 2) P ( 2)所以 x 1 即此人屬正常人P ( 1) = 0.995, P ( 2) = 0.2.2 最小風(fēng)險(xiǎn)判別規(guī)則問題的提出損失.風(fēng)險(xiǎn)判別規(guī)則兩種貝葉斯判別法的聯(lián)系計(jì)算實(shí)例2.2 最小風(fēng)險(xiǎn)判別規(guī)則問題的提出1.問題的提出在例1中某人的試驗(yàn)結(jié)果為陽性，根據(jù)最小錯(cuò)誤率貝葉斯決策，判他屬正常人，那么他屬正常人的概率是不是100呢?我們可計(jì)算出試驗(yàn)結(jié)果為陽性的條件下他屬正常人的概率P ( 1/陽性) = P (陽性/ 1) P （ 1 ）P (陽性/ 1) P ( 1) +P (陽性/ 2) P ( 2)

13、 67.7%1.問題的提出在例1中某人的試驗(yàn)結(jié)果為陽性，根據(jù)最小錯(cuò)誤率 從這里可以看出，盡管采用了最小錯(cuò)誤率貝葉斯決策，但仍然可能將正常人錯(cuò)判為癌癥病人，也可能將癌癥病人錯(cuò)判為正常人。這些錯(cuò)判都會(huì)帶來一定的損失。將正常人錯(cuò)判為癌癥病人，會(huì)給他帶來短期的精神負(fù)擔(dān)，造成一定的損失，這個(gè)損失比較小。如果把癌癥病人錯(cuò)判為正常人，致使患者失去挽救的機(jī)會(huì)，這個(gè)損失就大了。這兩種不同的錯(cuò)判所造成損失的程度是有顯著差別的。所以，在決策時(shí)還要考慮到各種錯(cuò)判所造成的不同損失，由此提出了最小風(fēng)險(xiǎn)貝葉斯決策。 從這里可以看出，盡管采用了最小錯(cuò)誤率貝葉斯決策，但仍然可能2.損失.條件風(fēng)險(xiǎn)仍以細(xì)胞識(shí)別為例。假定：模式x

14、本屬正常類而判屬正常類所造成的損失為l11模式x 本屬癌變類而判屬正常類所造成的損夫?yàn)閘21模式x 本屬正常類而判屬癌變類所造成的損失為l12模式x 本屬癌變類而判屆癌變類所造成的損失為l22 條件風(fēng)險(xiǎn)定義為:將模式x判屬某類所造成的損失的條件數(shù)學(xué)期望。即 l i j = 將 i類判為 j類所造成的損失. i = 1, 22.損失.條件風(fēng)險(xiǎn)仍以細(xì)胞識(shí)別為例。假定：條件風(fēng)險(xiǎn)定義為:r 1 ( x ) = l11 P ( 1 / x) + l21 P ( 2 / x) r 2 ( x ) = l12 P ( 1 / x) + l22 P ( 2 / x) 根據(jù)條件風(fēng)險(xiǎn)的定義，將模式x 判屬正常類

15、1 的條件風(fēng)險(xiǎn)為:將模式x判屬 1類所造成的損失的條件數(shù)學(xué)期望,即同理，將模式x判屬癌變類 2的條件風(fēng)險(xiǎn)為我們可以根據(jù)條件風(fēng)險(xiǎn)的大小來判別。若 r 1 ( x ) r 2 ( x ), 則 x 1 若 r 1 ( x ) r 2 ( x ), 則 x 2 r 1 ( x ) = l11 P ( 1 / x) + 類條件概率密度形式l11 P ( 1 / x) + l21 P ( 2 / x) l12 P ( 1 / x) + l22 P ( 2 / x) l11 P (x / 1) P ( 1) + l21 P (x / 2) P ( 2) l12 P ( 1 / x) P ( 1) + l2

16、2 P ( 2 / x) P ( 2) 后驗(yàn)概率形式x 1 2x 1 2類條件概率密度形式l11 P ( 1 / x) + l3.判別規(guī)則損失函數(shù) l i j i, j = 1, 2, , m, 顯然 l i i =0 將原本屬于 i類的樣本判屬為 j類所造成的損失設(shè)模式的狀態(tài)空間由m個(gè)自然狀態(tài)(m類)組成 = 1, 2 , , m 樣本 x = ( x1 , x2 , , xd )條件風(fēng)險(xiǎn) r i ( x ) i = 1, 2, , m模式x 判屬類 i 的條件風(fēng)險(xiǎn)為:將模式x判屬 i類所造成的損失的條件數(shù)學(xué)期望.r i ( x ) = j=1 l j i P ( j / x) i = 1,

17、 2, , mm3.判別規(guī)則損失函數(shù) l i j i, j = 1r i ( x ) = j=1 l j i P ( j / x)m類條件概率密度形式后驗(yàn)概率形式r i ( x )的兩種表達(dá)形式, i = 1, 2, , m r i ( x ) = j=1 l j i P (x / j) P ( j)m則最小風(fēng)險(xiǎn)的貝葉斯判別規(guī)則為若 r i ( x ) r j ( x ) , i = 1, 2, , m, i j 則 x ir i ( x ) = j=1 l j i P ( g i(x) = r i ( x ) i = 1, 2, , m最小風(fēng)險(xiǎn)判別法的判別函數(shù)可取為g 1g 2gmx1x2x

18、d Max決策 (x)g i(x) = r i ( x ) i4.兩種貝葉斯判別法的聯(lián)系以兩類問題為例加以分析。最小錯(cuò)誤率貝葉斯決策規(guī)則P (x/ 1)P (x/ 2)P ( 2)P ( 1) x 1 x 2 假定錯(cuò)誤決策總是比正確決策所造成的損失要大即 l12 l11, l21 l22, 最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則為P (x/ 1)P (x/ 2) (l21 l22 )P ( 2)(l12 l11 )P ( 1)x 1 x 2 4.兩種貝葉斯判別法的聯(lián)系以兩類問題為例加以分析。最小錯(cuò)誤率不等號右邊的值稱為似然比閾值. l ( x ) = P (x/ 1)P (x/ 2)在統(tǒng)計(jì)學(xué)中稱為似然比函數(shù)這

19、兩種判別規(guī)則都采用似然比函數(shù)，區(qū)別僅在于取不同的似然比閾值。記最小錯(cuò)誤率貝葉斯決策的似然比閾值為1記最小風(fēng)險(xiǎn)貝葉斯決策的似然比閾值為2特別,當(dāng) l11 = l22 =0, l12 = l21 時(shí)P ( 2)P ( 1)則 1 =(l21 l22 )P ( 2)(l12 l11 )P ( 1)2 = 這兩種決策是等價(jià)的，換句話說，最小錯(cuò)誤率貝葉斯決策是最小風(fēng)險(xiǎn)貝葉斯決策的特例。不等號右邊的值稱為似然比閾值. l ( x ) = P (5.計(jì)算實(shí)例 例2 在例1條件的基礎(chǔ)上，令l11 0， l21 =3， l12 =1， l22 0，按最小風(fēng)險(xiǎn)貝葉斯決策為此人診斷。r 1 ( x ) = l11

20、P ( 1 / x) + l21 P ( 2 / x) =0.01325 r 2 ( x ) = l12 P ( 1 / x) + l22 P ( 2 / x) =0.00995由于 r 1 ( x ) r 2 ( x ), 所以 x 2即此人屬癌癥病人計(jì)算條件風(fēng)險(xiǎn)5.計(jì)算實(shí)例 例2 在例1條件的基礎(chǔ)上，r 1 ( x ) 將本例與例1相對比，分類結(jié)果正好相反。這是因?yàn)樽钚★L(fēng)險(xiǎn)貝葉斯決策多考慮了一個(gè)因素，即損失。而且兩種錯(cuò)判所造成的損失相差懸殊，導(dǎo)致不同的分類結(jié)果。從這個(gè)例子可以看出，采用最小風(fēng)險(xiǎn)貝葉斯決策，各種損失的確定很關(guān)鍵。一定要客觀地分析錯(cuò)判所造成的嚴(yán)重程度，確定恰當(dāng)?shù)膿p失值。 將本例

21、與例1相對比，分類結(jié)果正好相反。這是因?yàn)樽钚★L(fēng)險(xiǎn)貝葉2.3 分類器的錯(cuò)誤率錯(cuò)誤率貝葉斯分類器的錯(cuò)誤率特殊情形下錯(cuò)誤率計(jì)算錯(cuò)誤率估計(jì)2.3 分類器的錯(cuò)誤率錯(cuò)誤率1.錯(cuò)誤率在分類器設(shè)計(jì)出來后，通?？偸且藻e(cuò)誤率評價(jià)其性能。特別是當(dāng)同一個(gè)分類問題設(shè)計(jì)出幾種不同的分類方案時(shí)，通?？偸且藻e(cuò)誤率作為方案比較的標(biāo)準(zhǔn)。因此，在模式識(shí)別的理論和實(shí)踐中錯(cuò)誤率是非常重要的參數(shù)。 所謂錯(cuò)誤率是指平均錯(cuò)誤率，以P ( e )來表示，其定義為 P ( e , x ) d xSP ( e ) = P ( e /x ) P ( x ) d xS1.錯(cuò)誤率在分類器設(shè)計(jì)出來后，通?？偸且藻e(cuò)誤率評價(jià)其性能。2.貝葉斯分類器的錯(cuò)誤率同

22、理在作出決策 2時(shí)， x的條件錯(cuò)誤概率為P ( 1 / x), 在決策域R1中 P ( 1 / x) P ( 2 / x)顯然在作出決策 1時(shí)， x的條件錯(cuò)誤概率為P ( 2 / x); 對于兩類問題，S = R1 R2假設(shè)我們采用最小錯(cuò)誤率貝葉斯決策?？杀硎緸镻 ( e /x )=P ( 1 / x)P ( 2 / x)若 P ( 1 / x) P ( 2 / x)若 P ( 1 / x) P ( 2 / x)2.貝葉斯分類器的錯(cuò)誤率同理在作出決策 2時(shí)， 在決策P ( 2 /x ) P ( x) d x +P ( e )=R 1P ( 1 /x ) P ( x) d xR 2=P (x/

23、2) P ( 2 ) d x +R 1P (x/ 1) P ( 1 ) d xR 2R 1=P ( 2 ) P (x/ 2) d x +P ( 1 ) P ( x/ 1) d xR 2=P ( 2 ) P 2( e ) +P ( 1 ) P 1( e ) 其中P 1( e ) 表示將 1類錯(cuò)判為 2類的概率P 2( e )表示將 2類錯(cuò)判為 1類的概率P ( 2 /x ) P ( x) d x +P ( e下圖給出了一維情況的例子, t是決策邊界, 斜線面積為P ( 2 ) P 2( e ), 網(wǎng)線面積為P ( 1 ) P 1( e ),兩者之和為P ( e ) 決策規(guī)則實(shí)際上是對每個(gè)x都使P

24、 ( e /x )取小者，這就使平均錯(cuò)誤率P ( e )達(dá)到最小。這就說明了為什么這種判別稱為最小錯(cuò)誤率貝葉斯判別。xptP (x/ 2) P ( 2 )P (x/ 1) P ( 1 )下圖給出了一維情況的例子, t是決策邊界, 斜線面決策規(guī)則實(shí) 從P ( e )的表達(dá)式可以看出，當(dāng)x是多維向量時(shí)，實(shí)際上要進(jìn)行多重積分的計(jì)算。所以，從表面上看，錯(cuò)誤率的理論計(jì)算公式不復(fù)雜，但在多維情況下，類條件概率密度函數(shù)的解析表達(dá)式又較復(fù)雜時(shí)，計(jì)算錯(cuò)誤率是相當(dāng)困難的。 因此，一般情況下采用實(shí)驗(yàn)估計(jì)錯(cuò)誤率，只在一些特殊情況下用理論公式計(jì)算錯(cuò)誤率。下面先介紹在一種特殊情況下的錯(cuò)誤率的理論計(jì)算，然后討論實(shí)驗(yàn)估計(jì)方法

25、。 從P ( e )的表達(dá)式可以看出，當(dāng)x是多維向量時(shí)，實(shí)際3.特殊情形下錯(cuò)誤率計(jì)算 假設(shè)為兩類情況，且模式服從正態(tài)分布，而且兩類的協(xié)方差矩陣相等，即其中1, 2分別為兩類的期望向量，C為協(xié)方差矩陣。下面用理論公式求錯(cuò)誤率。最小錯(cuò)誤率貝葉斯決策規(guī)則為i = 1 , 2h(x) = - ln l ( x )P ( 1)P ( 2)lnx 1 1 = 用h(x)表示的決策域 R1 = ( - , ), R2 = ( , )exp - ( x-i )TC -1 (x-i) (2)d/2 |C|1/2112P (x/ i) = 3.特殊情形下錯(cuò)誤率計(jì)算 假設(shè)為兩類情況，且模式服從正態(tài)分h(x) = -

26、ln P (x/ 1) + ln P (x/ 2) = a x + b其中 a = ( 2 1)TC -1 b = ( 1 TC -1 1 2 TC -1 2)/2h(x)是x的線性函數(shù)。 x是正態(tài)分布的隨機(jī)向量，根據(jù)概率論的知識(shí)可知， h(x) 服從一維正態(tài)分布設(shè) h(x)/ i N( m(i), 2 (i) )記 = ( 1 2)TC -1 ( 1 2), 2 = 2 , 計(jì)算得m(1) = - , m(2) = 2 (1)= 2 (2)= 2 h(x) = -ln P (x/ 1) + ln P (記標(biāo)準(zhǔn)正態(tài)分布 的分布函數(shù)為 ( x), 計(jì)算可得P 1( e ) = P (x/ 1)

27、d x = P ( h/ 1 ) d hR 2= 1 ( ( + ) / )P 2( e ) = P (x/ 2) d x = P ( h/ 2 ) d hR 1= ( ( - ) / )-P ( e ) = P ( 2 ) P 2( e ) +P ( 1 ) P 1( e ) = P ( 2 ) ( ( - ) / ) + P ( 1 ) 1- ( ( + ) / ) 記標(biāo)準(zhǔn)正態(tài)分布 的分布函數(shù)為 ( x), 計(jì)算可得P P ( h/ 2 )P ( h/ 1 )-hpoP 2( e )P 1( e )P ( e ) = P ( 2 ) P 2( e ) +P ( 1 ) P 1( e ) P

28、 ( h/ 2 )P ( h/ 1 )-hpoP4.錯(cuò)誤率估計(jì)由于每次任意抽取樣本數(shù)以及每次試驗(yàn)的錯(cuò)分樣本數(shù)都可能不同，所以N e 可看作一個(gè)離散的隨機(jī)變量。先驗(yàn)概率P ( i )未知設(shè)是真實(shí)的錯(cuò)誤率, 試驗(yàn)的錯(cuò)分樣本數(shù)N e若每次抽取樣本數(shù)為N,則 N e服從為二項(xiàng)分布B( N , ),利用極大似然估計(jì)法可得 的估計(jì)量為= N e/ N 4.錯(cuò)誤率估計(jì)由于每次任意抽取樣本數(shù)以及每次試驗(yàn)的錯(cuò)分樣本即可以認(rèn)為錯(cuò)誤率的估計(jì)值等于被錯(cuò)分的樣本數(shù)目與樣本總數(shù)之比.我們可簡單地隨機(jī)抽取N個(gè)已知類別的樣本，用給定的分類器來對這些樣本進(jìn)行分類, 并統(tǒng)計(jì)被錯(cuò)分的樣本數(shù), 假定錯(cuò)分的樣本數(shù)目為 N e = k

29、, 則估計(jì)方法 = k / N 即可以認(rèn)為錯(cuò)誤率的估計(jì)值等于被錯(cuò)分的樣本數(shù)我們可簡單地隨機(jī)抽先驗(yàn)概率P ( i )已知假設(shè) 1 類中N1個(gè)樣本被錯(cuò)分了N e1個(gè) 2 類中N2個(gè)樣本被錯(cuò)分了N e2 個(gè)則N e1 與N e2 相互獨(dú)立從類別 1和 2 總體中抽取N1 P ( 1 ) N 和 N2 P ( 2 ) N個(gè)樣本，對給定的分類器作分類檢驗(yàn)。對于兩類情況，設(shè) i 是類別 i真實(shí)的錯(cuò)誤率 i = 1, 2先驗(yàn)概率P ( i )已知假設(shè) 1 類中N1個(gè)樣本被錯(cuò)同樣可求得 i的最大似然估計(jì)為 1 = N e1 / N1 2 = N e2 / N2 而總的錯(cuò)誤率的估計(jì)為 = 1 P ( 1)+ 2

30、 P ( 2)通過上面的討論可以看出，這些估計(jì)是在最大似然估計(jì)意義下最好的估計(jì)。同樣可求得 i的最大似然估計(jì)為 1 = N e1 / 2.4 奈曼-皮爾遜判別規(guī)則1.問題的引入判別規(guī)則參數(shù)的確定計(jì)算實(shí)例2.4 奈曼-皮爾遜判別規(guī)則1.問題的引入1.問題的引入 采用最小錯(cuò)誤率貝葉斯決策需要知道先驗(yàn)概率 P ( i ) ，但有時(shí)P ( i ) 難以確定。采用最小風(fēng)險(xiǎn)貝葉斯決策需要確定恰當(dāng)?shù)膿p失值，這也并非易事.在兩類問題決策中，有時(shí)要求P 2 ( e ) 不得大于某個(gè)常數(shù)，即取P 2 ( e ) q，q是一個(gè)很小的常數(shù)，在這個(gè)條件下再要求 P 1 ( e )盡可能小. 在這種情況下, 奈曼.皮爾遜

31、決策為此提供了一種決策方案。1.問題的引入 采用最小錯(cuò)誤率貝葉斯決策需要知道先驗(yàn)概率在2.判別規(guī)則 這種決策可看成是在P 2 ( e ) q條件下，求P 1 ( e )的條件極小值問題。可采用拉格朗日乘數(shù)法求解可設(shè) F = P 1 ( e ) + ( P 2 ( e ) q )其中 是拉格朗日乘子，目的是求F 的極小值P 2 ( e ) =P (x/ 2) d x = qR 1P 1 ( e ) =P (x/ 1) d x = 1 - P (x/ 1) d xR 2R 1為簡單起見, 設(shè)d = 1, R1 = ( -, x0 ) ,R2 = ( x0 , )2.判別規(guī)則 這種決策可看成是在P

32、2 ( e ) q條則 F = ( 1 - q ) + P (x/ 2) - P (x/ 1) d x R 1要使F 最小，積分項(xiàng)應(yīng)取負(fù)值，即在R l區(qū)域內(nèi)應(yīng)使P (x/ 1)P (x/ 2) 同理 F = ( 1 - q ) + P (x/1) - P (x/ 2) d x R 2要使F 最小，積分項(xiàng)應(yīng)取負(fù)值，即在R 2區(qū)域內(nèi)應(yīng)使P (x/ 1)P (x/ 2) P (x/ 1)P (x/ 2) x 1 x 2 由此得判別規(guī)則為則 F = ( 1 - q ) + P (x/這種決策稱為奈曼.皮爾遜決策?？梢钥闯瞿温?皮爾遜決策與前面介紹的兩種貝葉斯規(guī)則都是以似然比為基礎(chǔ)的所不同的只是奈曼.皮

33、爾遜決策用的閾值為拉格朗日乘子運(yùn)用奈曼.皮爾遜決策的關(guān)鍵是確定拉格朗日乘子下面給出其表達(dá)式這種決策稱為奈曼.皮爾遜決策?？梢钥闯瞿温\(yùn)用奈曼.皮爾遜決由 F = ( 1 - q ) + P (x/ 2) - P (x/ 1) d x R 1= ( 1 - q ) + P (x/ 2) - P (x/ 1) d x x0-F 與和 x0 有關(guān), 令F 對 和 x0 的偏導(dǎo)數(shù)等于零, 得 = P ( x0 / 1 )P ( x0 / 2 )其中 x0 由 P (x/ 2) d x = q 確定x0-3.參數(shù)的確定由 F = ( 1 - q ) + P (對于d1,求解邊界曲面是不容易的,這時(shí)可用數(shù)

34、值試探方法. P 2 ( e ) =P (x/ 2) d xR 1= P ( l / 2 ) d x = q顯然P 2 ( e ) 是的單調(diào)減函數(shù), 當(dāng)=0時(shí), P 2 ( e ) =1; 當(dāng)時(shí), P 2 ( e ) 0通過試探,總可以找到一個(gè)合適的滿足上述最后一個(gè)等式, 可用列表的方法.似然比函數(shù) l (x) = P (x/ 1)/ P (x/ 2)用l(x)表示的決策域 R1 = ( , ), R2 = ( 0, )對于d1,求解邊界曲面是不容易的,這時(shí)可用數(shù)值試探方法. 4.計(jì)算實(shí)例例3 一個(gè)兩類問題，模式分布為二維正態(tài)，其分布參數(shù)1 = (-1, 0 )T, 2 =(1, 0 ) T，

35、C1=C2I假定 P2 ( e ) =q=0.046，求奈曼.皮爾遜決策的閾值.P (x/ 1) =exp - 0.5( x-1 )T (x-1) 21exp - 0.5 ( x1+1 )2 +x22 21=解:P (x/ 2) =exp - 0.5( x-2 )T (x-2) 21exp - 0.5 ( x1-1 )2 +x22 21=4.計(jì)算實(shí)例例3 一個(gè)兩類問題，模式分布為二維正態(tài)，其分l (x) = P (x/ 1)/ P (x/ 2) = exp ( -2 x 1)由已知,可計(jì)算得在 2中 x 1 N( 1, 1 ), 進(jìn)一步可得 P ( l / 2 ) d xP 2 ( e ) =

36、在不同的值時(shí)，可求得 P 2 ( e ) 的值, 見下表exp - 0.5( x1 +1) 2 d x1(2)1/ 21= 0.5lnl (x) = P (x/ 1)/ P (x/ 2)4210.50.25P 2 ( e )0.0460.0890.01590.2580.378 對于給定的q值，查表可找到相應(yīng)的值.如本例P 2 ( e ) = q =0.046，查表可得決策閾值 4決策邊界P (x/ 1)/ P (x/ 2) = exp ( -2 x 1)=, x 1=0. 5 ln 當(dāng)P 2 ( e ) = q =0.046 時(shí) x 1=0. 5 ln = 0. 5 ln 44210.50.2

37、5P 2 ( e )0.0460.089x1x212R 1R 2決策邊界:一條直線x1=-0.5ln4決策方法: 對任一待判樣本 x = (x1, x2)若 x1 0. 5 ln 4, 則 x 判屬于 1類若 x1 0. 5 ln 4, 則 x 判屬于 2類x1x212R 1R 2決策邊界:一條直線決策方法: 2.5 最小最大判別規(guī)則基本思想平均風(fēng)險(xiǎn)決策域的確定決策規(guī)則2.5 最小最大判別規(guī)則基本思想1.基本思想 從最小錯(cuò)誤率和最小風(fēng)險(xiǎn)的貝葉斯決策中可以看出,其決策都是與先驗(yàn)概率P ( i)有關(guān)的,當(dāng)先驗(yàn)概率已知時(shí),按照貝葉斯決策規(guī)則,可以使錯(cuò)誤率或風(fēng)險(xiǎn)最小,如果P ( i)是可變的或事先對先

38、驗(yàn)概率毫無所知,就無法用貝葉斯決策.本節(jié)介紹一種最小化最大風(fēng)險(xiǎn)的決策方法,也就是在最差的條件下,爭取最好的結(jié)果,我們將此方法簡稱最小最大決策.1.基本思想 從最小錯(cuò)誤率和最小風(fēng)險(xiǎn)的貝葉斯決策中可以看出,2.平均風(fēng)險(xiǎn)考慮兩類問題 = 1, 2 , S = R1R2損失函數(shù) l i j i, j = 1, 2, 顯然 l i i =0 將原本屬于 i類的樣本判屬為 j類所造成的損失樣本 x = ( x1 , x2 , , xd )條件風(fēng)險(xiǎn) r i ( x ) i = 1, 2模式x 判屬類 i 的條件風(fēng)險(xiǎn)為:將模式x判屬 i類所造成的損失的條件數(shù)學(xué)期望.ri (x) = j=1 l j i P ( j / x) i = 1, 222.平均風(fēng)險(xiǎn)考慮兩類問題 = 1, 2平均風(fēng)險(xiǎn)R = i E ri (x) = i ri (x) P ( x ) d xS= i j=1 l j i P ( j / x) P ( x ) d xS= i,j l j i P (x/ j) P ( j ) d xS= i,j l j i P (x/ j) P ( j ) d xR i平均風(fēng)險(xiǎn)R = i E ri (x) = i a , b 與R1有關(guān), 其中= a + b P ( 1) R = l 22 +( l 12 - l 2