樸素貝葉斯分類

1、樸素貝葉斯Naive Bayes重慶大學(xué)軟件信息服務(wù)工程實驗室余俊良條件概率1 定義若儀 是全集，A、B是其中的事件（子集）,P表示事件發(fā)生的概率，則-1 =Z為事件B發(fā)生后A發(fā)生的概率。乘法定理設(shè) P(A) > 0,則有 P(AB) = P(B A)P(A) = P(A B)P(B).設(shè)A B.C為事件且P(AB) > 0,則有P(ABC) = P(A)P(BA)P(CAB).注：當(dāng)P(AB)不容易直接求得時，可考慮利用V與 P0/Q的乘積或砒與P(A/B)的乘積間接求得。乘法定理的推廣推廣設(shè)為個事ft n > 2,且戶（£&4一1）> °

2、，則有p（a1a2.aj = p（a1）p（a2|a1）p（a3|a1a2）P（An|A1A2-An 1）、全概率公式1 集合（樣本空間）的劃分定義設(shè)0為試驗E的樣本空間也 為E的一組事件，若1° BjBj = 0, i, j = 1,2, , h;2° B,UB2U-UB/;=Q,則稱坊,也為樣本空間Q的一個劃分2.全概率公式定義設(shè)C為試驗E的樣本空間,A為E的事件, 妨,Q場為。的一個劃分,且P(BJ > 0 (21,2,加,則P(A) = P(A 丨 B)P(5) + P(A i B2)P(B2)+ - + P(ABn)P(BJn= P(B)P(ABi)i=全概

3、率公式證明 4 = AQ = 4n(qUB2U 色)二 AB1LW2U=> P(A) = P(BJP(A 丨 BJ + P(B2)P(A I 場)+ +P(Bn)P(AIBn)圖示說明 全概率公式的主要用途在于它可以將一個復(fù)雜事 件的概率計算問題，分解為若干個簡單事件的概率計算問 題，最后應(yīng)用概率的可加性求出最終結(jié)果.例1有一批同一型號的產(chǎn)品，已知其中由一廠生產(chǎn)的占 30%,二廠生產(chǎn)的占50%,三廠生產(chǎn)的占20%又知這三個 廠的產(chǎn)品次品率分別為2%, 1% 1%問從這批產(chǎn)品中任取一 件是次品的概率是多少解 設(shè)事件月為“任取一件為次品”，事件Bj為任取一件為了廠的產(chǎn)品',i = 1

4、,2,3.B UB2 UB3=Q, BiBj = 0, ij = 1,2,3.由全概率公式得F二只引卩創(chuàng)血+卩厲屮+卩厲円沖鳥），P(B1) = 0.3, P(B2) = 0.5, P(B3) = 0.2,P(A|Bi)= 0.02, P(AB2) = 0.01, P(AB3) = 0.01,故 P(A) = P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)=0.02x0.3 + 0.01x0.5 + 0.01x0.2 = 0.013.貝葉斯公式定義 設(shè)0為試驗E的樣本空間A為E的事件, Bpd，$為G的一個劃分，且P(A) > 0, P(BJ>0(心1

5、,2,加，則P(即 A)=心 1,2，山£p(AB,P(Bj)>1Bayes公式的意義假設(shè)導(dǎo)致事件A發(fā)生的“原因”有Bj （匸12小）個。 它們互不相容?，F(xiàn)已知事件A確已經(jīng)發(fā)生了，若要估計它是由“原 因” B所導(dǎo)致的概率，則可用Bayes公式求出.即可從結(jié)果分析原因.證明P(BA) =P(AIBJP(BJP(A) P(BJP(ABJn2P(B7.)P(AIBy) j=l乘法定理:設(shè) P(A) > 0,則有 P(AB) = P(B A)P(A) = P(A| B)P(B).P(A) = P(3 )P(AIBJ + P(B2)P(A I 耳)+ +P(Bn)P(ABn)例2貝

6、葉斯公式的應(yīng)用某電子設(shè)備制造廠所用的元件是由三家元件制造廠提供的根據(jù) 以往的記錄有 以下的數(shù)據(jù):元件制造廠次品率提供元件的份額10.020.1520.010.8030.030.05設(shè)這三家工廠的產(chǎn)品在倉庫中是均勻混合的，且 無區(qū)別的標(biāo)志.(1)在倉庫中隨機(jī)地取一只元件，求它是次品的 概率；（2）在倉庫中隨機(jī)地取一只元件，若已知取到的是 次品，為分析此次品出自何廠,求此次品出由 三家工廠生產(chǎn)的概率分別是多少.解設(shè)力表示”取到的是一只次品，比（7 = 1,2,3 表示所取到的產(chǎn)品是由第/家工廠提供時.則 B、, B2, B3是樣本空間G的一個劃分且 P（BJ = 0.15,P（B2） = 0.80

7、,P（B3） = 0.05,P(ABX) = 0.02, P(AB2) = 0.01, P(A|B3) = 0.03.(1)由全概率公式得P(A) = P(AB1)P(B1) + P(AB2)P(B2) + P(AB3)P(B3)=0.0125.由貝葉斯公式得P(B2A) =P(B3A) =砂|場)陀2)P(A)0.64,P(A)0.12.故這只次品來自第2家工廠的可能性最大先驗概率與后驗概率由以往的數(shù)據(jù)分析得到的概率，叫做先驗概率.而在得到信息之后再重新加以修正的概率叫做后驗概率.貝葉斯分類貝葉斯分類器是一個統(tǒng)計分類器。它們能夠預(yù)測類別所屬的 概率，女口：一個數(shù)據(jù)對象屬于某個類別的概率。貝葉

8、斯分類 器是基于貝葉斯定理而構(gòu)造出來的。對分類方法進(jìn)行比較的有關(guān)研究結(jié)果表明：簡單貝葉斯分類 器（稱為基本貝葉斯分類器）在分類性能上與決策樹和神經(jīng) 網(wǎng)絡(luò)都是可比的。在處理大規(guī)模數(shù)據(jù)庫時，貝葉斯分類器已表現(xiàn)出較高的分類 準(zhǔn)確性和運(yùn)算性能。定義：設(shè)x是類標(biāo)號未知的數(shù)據(jù)樣本。設(shè)H為某種假定，如 數(shù)據(jù)樣本X屬于某特定的類C。對于分類問題，我們希望確 定P(H|X),即給定觀測數(shù)據(jù)樣本X,假定H成立的概率。貝 葉斯定理給出了如下計算P(H|X)的簡單有效的方法：P(HX) =P(XP(H)是先驗概率,或稱H的先驗概率。P(X|H)代表假設(shè)H成 立的情況下，觀察到X的概率。P(H|X)是后驗概率，或稱條件

9、X下H的后驗概率。先驗概率泛指一類事物發(fā)生的概率，通常根據(jù)歷史資料或主觀判斷，未經(jīng)實驗證實所確定的概率。而后驗概率涉及的是某個特定條件下一個具體的事物 發(fā)生的概率例如：P（X1 ）=0.9:細(xì)胞為正常細(xì)胞的概率0.9 （先驗概率）P（x2）=0.1:細(xì)胞為異常細(xì)胞的概率0.1 （先驗概率）對某個具體的對象y, P（xl |y）:表示y的細(xì)胞正常的概率 是0.82 （后驗概率）P（x2|y）:表示y的細(xì)胞異常的概率是0.18 （后驗概率）26樸素貝葉斯分類樸素貝葉斯分類的工作過程如下：（1）每個數(shù)據(jù)樣本用一個/7維特征向量后馬，電， 兀表示，分別描述對a個屬性月” A2, 、觀樣本的a個度量。假

10、定有加個類G，G"給定一個未知的數(shù)據(jù)樣 本x（即沒有類標(biāo)號）,分類器將預(yù)測&屬于具有最高后驗 概率（條件x下）的類。也就是說，樸素貝葉斯分類將未 知的樣本分配給類G （i</</77）當(dāng)且僅當(dāng)pqx）> p（c.x）, 對任意的尸j 2、，叫j* 這樣，最大化pqx）o其 pqx）最大的類g稱為最大后驗假定。根據(jù)貝葉斯定理gix)=p(xicjp(g)PW（3）由于對于所有類為常數(shù)，只需要4X|g）*hg） 最大即可。如果G類的先驗概率未知，則通常假定這些類是等概 率的，即玖c）=p（c滬二玖因此問題就轉(zhuǎn)換為 對ixq的最大化（rxig）常被稱為給定g時數(shù)據(jù)

11、x 的似然度，而使p（xq）最大的假設(shè)g稱為最大似然假 設(shè)）。否則，需要最大化4£G）*RG）。注意，類的 先驗概率可以用p（q）二“ s計算，其中斥是類G中的訓(xùn)練 樣本數(shù)，而S是訓(xùn)練樣本總數(shù)。 (4)給定具有許多屬性的數(shù)據(jù)集，計算ixq)的開銷可能非 常大。為降低計算PXQ的開銷，可以做類條件獨(dú)立的樸 素假定。P(AB) = P(A)P(B)給定樣本的類標(biāo)號，假定屬性值相互條件獨(dú)立，即在屬性 間，不存在依賴關(guān)系。這樣nP(XCi) = YPkCi)聯(lián)合概率分布k=29樸素貝葉斯分類 (5)對未知樣本X分類，也就是對每個類計算P(X| Q*P(Qo樣本頑指派到類q 當(dāng)且僅當(dāng)P(qx)

12、> p(q|JO, *換言之，磁指派到其P(X|q*p(q最大的類。30“打網(wǎng)球”的決定No.天氣氣溫濕度風(fēng)類別No.天氣氣溫濕度風(fēng)類別1晴熱高無N8晴適中高無N2晴熱高有N9晴冷正常無P3多云熱高無P10雨適中正常無P4雨適中高無P11晴適中正常有P5雨冷正常無P12多云適中高有P6雨冷正常有N13多云熱正常無P7多云冷正常有P14雨適中高有N實例No.天氣氣溫濕度風(fēng)類別1睛熱高無N2晴熱高有N3多云熱高無P4雨適中高無P5雨冷正常無P6雨冷正常有N7多云冷正常有PNo.天氣氣溫濕度風(fēng)類別8晴適中高無N9晴冷正常無P1()雨適中正常無P11晴適中正常有P12多云適中高有P13多云熱正常

13、無P14雨適中高有N統(tǒng)計結(jié)果天氣溫度濕度有風(fēng)打網(wǎng)球PNPNPNPNPN晴2/93/5熱2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5涼3/91/5統(tǒng)計結(jié)果天氣E1溫度E2濕度E3有風(fēng)E4打網(wǎng)球PNPNPNPNPN晴2/93/5執(zhí) 八、2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5涼3/91/5對下面的情況做出決策:天氣溫度濕度有風(fēng)打網(wǎng)球晴涼高疋?統(tǒng)計結(jié)果天氣E1溫度E2濕度E3有風(fēng)E4打網(wǎng)球DPNPNPNPNPN晴2/93/5熱2/

14、92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5涼3/91/5對下面的情況做出決策:決策：P(D = noE)>P(D = yes IE)?貝葉斯公式：P(D I E)=P(DE) _ P(E 丨 D)P(D)P(E)二 P(E)E為第二個表中的 取值、分別計算 D=yes/no的概率天氣溫度濕度有風(fēng)打網(wǎng)球晴涼是?模型： E=ECE2CE3CEa統(tǒng)計結(jié)果對下面的情況做出決策:天氣溫度濕度有風(fēng)打網(wǎng)球晴涼髙是?P(D I E)=P(DE)P(E)P(E I D)P(D)P(E)Pyes IE)=P(DE)P(E)P(

15、ED)P(D)P(yes I E)=2 3 3 3 9xxxX9 9 9 9 14P(E)0.0053P(E)天氣El溫度E2濕度E3有風(fēng)E4打網(wǎng)球DPNPNPNPNPN晴2/93/5熱2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5涼3/91/5P( E, n E2 n E? c E41 yes)P(yes)P(E)PE I yes)PE21 yes)PE, I yes)PEA I yesPyes)P(E)2 3 3 39已經(jīng)計算出：9 X9X9X9XH = 0.0053P(E)P(E)3 14 35同理可計算：

16、P(WOIE)=5X5X5X5X14 =0.0206P(E)P(E)利用公式：P(yes 1 E) + Pno 1E) = 1最后得到：Pyes IE) = 20.5% P(no IE) = 79.5%決策:Pyes IE) < P(no IE) 不去打球天氣E1溫度E2濕度E3有風(fēng)E4打網(wǎng)球DPNPNNPNPN晴2/93/5熱2/92/5高3/95/5否6/92/59/145/14云4/90/5暖4/92/5正常6/90/5是3/93/5雨3/92/5涼3/91/5對下面的情況做出決策:天氣溫度濕度有風(fēng)打網(wǎng)球云涼正常是?利用樸素貝葉斯對文檔分類為了對文檔進(jìn)行分類，首先我們需要把文檔進(jìn)行

17、向 量化，而組成這個向量的分量，通常是一個文檔集 合中重要的關(guān)鍵詞。Bag of words,也叫做“詞袋”,在信息檢索中， Bag of words model假定對于一個文本，忽略其詞序 和語法，句法，將其僅僅看做是一個詞集合，或者 說是詞的一個組合，文本中每個詞的岀現(xiàn)都是獨(dú)立 的，不依賴于其他詞是否岀現(xiàn)，或者說當(dāng)這篇文章 的作者在任意一個位置選擇一個詞匯都不受前面句 子的影響而獨(dú)立選擇的。將多個文檔轉(zhuǎn)換成一個詞袋矩陣后，即可通過樸素 貝葉斯方法對文檔進(jìn)行分類。擴(kuò)展：使用0,1方式表達(dá)的詞袋模型雖然簡單，但 它并不能表達(dá)出不同詞語的重要性，因此在 信息檢索領(lǐng)域，TF-IDF模型更常用。TF

18、（定義）關(guān)鍵詞在該文檔中出現(xiàn)的次數(shù)除以該文檔的總字?jǐn)?shù)。 我們把這個商稱為“關(guān)鍵詞的頻率”，或者單文本 詞頻term frequency, TF）對關(guān)鍵詞的次數(shù)進(jìn)行歸一化，以防止它偏向長的文 件。（同一個詞語在長文件里可能會比短文件有更高 的詞頻，而不管該詞語重要與否。）TF （舉例）短語“原子能的應(yīng)用”可以分成三個關(guān)鍵詞：原子 能、的、應(yīng)用 在某個一共有J000詞的文檔中，其中"原子能”、“的”和“應(yīng)用”分別出現(xiàn)了2次、35次和5次,那 么它們的詞頻就分別是0.002、0.035和0.005。我們 將這三個數(shù)相加，其和0.042就是相應(yīng)文檔和查詢“原子能的應(yīng)用”的"單文本詞

19、頻”TF（概括），度量文檔和查詢的相關(guān)性，有一個簡單的方就是直接使用各個關(guān)鍵詞在文檔中岀現(xiàn)的總詞具體地講，如果一個查詢包含N個關(guān)鍵詞W7, %，w”，它們在一個特定文檔中的詞頻分別 是：TF,TF2，.,TFn。那么，這個查詢和該文檔 的相關(guān)性就:TF.+TF2+. . . +TFno由上例可知:詞"的”占了總詞頻的80%以上，而它對確定文檔的主題 幾乎沒有用處這種詞叫“停止詞”，也就是說，在度量相關(guān)性時不應(yīng)考慮它 們的頻率忽略這些停止詞后，上述文檔和查詢的相關(guān)性就變成了0.007,其中“原子能”貢獻(xiàn)了0.002,0.005“應(yīng)用”貢獻(xiàn)了在漢語中，“應(yīng)用”是個很通用的詞，而'

20、'原子能”是 個很專業(yè)的詞，后者在相關(guān)性排名中比前者重要。因此, 我們需要給漢語中的每一個詞給一個權(quán)重。權(quán)重（設(shè)定條件）這個權(quán)重的設(shè)定必須滿足下面兩個條件：一個詞預(yù)測主題的能力越強(qiáng)，權(quán)重就越大，反之, 權(quán)重就越小。在文檔中看到“原子能”這個詞， 或多或少地能了解文檔的主題。而看到“應(yīng)用” 一詞，則對主題基本上還是一無所知。因此，“原子能“的權(quán)重就應(yīng)該比“應(yīng)用”大 停止詞的權(quán)重應(yīng)該是零。權(quán)重（概括）很容易發(fā)現(xiàn)，如果一個關(guān)鍵詞只在很少的文檔中出 現(xiàn)，通過它就容易鎖定搜索目標(biāo)，它的權(quán)重也就應(yīng) 該大。反之，如果一個詞在大量文檔中出現(xiàn)，看到 它仍然不很清楚要找什么內(nèi)容，因此它的權(quán)重就應(yīng) 該小概括地講，假定一個關(guān)鍵詞W在Dw個文檔中出現(xiàn)過, 那么0”越大，W的權(quán)重越小，反之亦然IDF（逆向文件頻率）A在言息檢索中，使用最多的權(quán)重是"逆齊本頻率 指數(shù)"（Inverse document frequency 縮寫為ZDF）, 它的公式為bg（D/Dw）其中。是全部文檔數(shù)。A比如，假定中文文檔數(shù)是D二10億，停止詞“的” 在所有的文檔中都出現(xiàn)，即Dw二10億，那么它的 IDF=log （70億/"億）=log =0A假如專用詞“原子能”在200萬個文檔中岀現(xiàn)，即 Dv =200萬，則它的權(quán)重IDF=log （50