貝葉斯算法完整版本

貝葉斯算法

201901貝葉斯定理的含義02樸素貝葉斯分類03貝葉斯算法的應(yīng)用Contents目錄貝葉斯定理的含義01標(biāo)題文本預(yù)設(shè)貝葉斯定理貝葉斯(ThomasBayes，1702-1761)出生于倫敦，畢業(yè)于愛丁堡大學(xué)，英國數(shù)學(xué)家。貝葉斯做過神甫。1742年成為英國皇家學(xué)會會員。1761年4月7日逝世。貝葉斯在數(shù)學(xué)方面主要研究概率論。他首先將歸納推理法用于概率論基礎(chǔ)理論，并創(chuàng)立了貝葉斯統(tǒng)計理論，對于統(tǒng)計決策函數(shù)、統(tǒng)計推斷、統(tǒng)計的估算等做出了貢獻(xiàn)。標(biāo)題文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)文本預(yù)設(shè)貝葉斯公式的推導(dǎo)Step1Step2Step3Step4標(biāo)題文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)文本預(yù)設(shè)貝葉斯定理

貝葉斯定理實(shí)際上就是計算”條件概率“的公式。所謂”條件概率”就是指在事件B發(fā)生的情況下，事件A發(fā)生的概率，用P(A|B)來表示。Bayes定理可表述為：后驗概率=(相似度*先驗概率)/標(biāo)準(zhǔn)化常量，也就是說，后驗概率與先驗概率和相似度的乘積成正比。P(A|B)是在B發(fā)生的情況下A發(fā)生的可能性。首先，事件B發(fā)生之前，我們對事件A的發(fā)生有一個基本的概率判斷，稱為A的先驗概率，用P(A)表示；其次，事件B發(fā)生之后，我們對事件A的發(fā)生概率重新評估，稱為A的后驗概率，用P(A|B)表示類似的，事件A發(fā)生之前，我們對事件B的發(fā)生有一個基本的概率判斷，稱為B的先驗概率，用P(B)表示；同樣，事件A發(fā)生之后，我們對事件B的發(fā)生概率重新評估，稱為B的后驗概率，用P(B|A)表示；全概率公式假定樣本空間S，是兩個事件A和A’的和。

圖中，紅色部分是事件A，綠色部分是事件A’，它們共同構(gòu)成了樣本空間S。

這種情況下，事件B可以劃分為兩個部分。全概率公式由上可以推斷出：

在上一節(jié)的推導(dǎo)當(dāng)中，我們已知：所以全概率公式為：條件概率的另一種寫法：貝葉斯推斷對條件概率公式進(jìn)行變形，可以得到如下形式：1：如果”可能性函數(shù)“P(B|A)/P(B)>1，意味著”先驗概率“增強(qiáng)，事件A的發(fā)生的可能性變大；2：如果”可能性函數(shù)“P(B|A)/P(B)=1，意味著B事件無助于事件A的可能性；3：如果”可能性函數(shù)“P(B|A)/P(B)<1，意味著”先驗概率“被消弱，事件A發(fā)生的可能性變小。

所以，條件概率可以理解為下面的式子：樸素貝葉斯分類02標(biāo)題文本預(yù)設(shè)此部分內(nèi)容作為文字排版占位顯示

（建議使用主題字體）樸素貝葉斯算法

樸素貝葉斯分類是一種十分簡單的分類算法，叫它樸素貝葉斯分類是因為這種方法的思想真的很樸素，樸素貝葉斯的思想基礎(chǔ)是這樣的：對于給出的待分類項，求解在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最大，就認(rèn)為此待分類項屬于哪個類別。樸素貝葉斯分類器采用了屬性條件獨(dú)立性假設(shè)：對已知類別，假設(shè)所有屬性相互獨(dú)立。換言之，假設(shè)每個屬性獨(dú)立的對分類結(jié)果發(fā)生影響基于屬性獨(dú)立性假設(shè)，貝葉斯公式可重寫為：03040102樸素貝葉斯分類樸素貝葉斯分類的正式定義如下：設(shè)

為一個待分類項，而每個a為x的一個特征屬性。

有類別集合

計算

如果

010203找到一個已知分類的待分類項集合，這個集合叫做訓(xùn)練樣本集統(tǒng)計得到在各類別下各個特征屬性的條件概率估計。即如果各個特征屬性是條件獨(dú)立的，則根據(jù)貝葉斯定理有如下推導(dǎo)：

因為分母對于所有類別為常數(shù)，我們只要將分子最大化皆可。又因為各特征屬性是條件獨(dú)立的，所以有：樸素貝葉斯分類流程樸素貝葉斯分類流程第一階段——準(zhǔn)備工作階段，這個階段的任務(wù)是為樸素貝葉斯分類做必要的準(zhǔn)備，主要工作是根據(jù)具體情況確定特征屬性，并對每個特征屬性進(jìn)行適當(dāng)劃分，然后由人工對一部分待分類項進(jìn)行分類，形成訓(xùn)練樣本集合。

第二階段——分類器訓(xùn)練階段，這個階段的任務(wù)就是生成分類器，主要工作是計算每個類別在訓(xùn)練樣本中的出現(xiàn)頻率及每個特征屬性劃分對每個類別的條件概率估計，并將結(jié)果記錄。

第三階段——應(yīng)用階段。這個階段的任務(wù)是使用分類器對待分類項進(jìn)行分類，其輸入是分類器和待分類項，輸出是待分類項與類別的映射關(guān)系。這一階段也是機(jī)械性階段，由程序完成。貝葉斯算法的應(yīng)用03030406貝葉斯公式的應(yīng)用張某為了解自己患上了X疾病的可能性，去醫(yī)院作常規(guī)血液檢查。其結(jié)果居然為陽性，他趕忙到網(wǎng)上查詢。根據(jù)網(wǎng)上的資料，血液檢查實(shí)驗是有誤差的，這種實(shí)驗有“1%的假陽性率和1%的假陰性率”（真的患病者得到陰性結(jié)果稱為假陰性，未患病的人得到陽性結(jié)果稱為假陽性）。即在得病的人中做實(shí)驗，有1%的概率是假陰性，99％是真陽性。而在未得病的人中做實(shí)驗，有1%的概率是假陽性，99％是真陰性。于是張某根據(jù)這種解釋，估計他自己得了X疾病的概率為99%。張某的理理是，既然只有1%的假陽性率，那么99%都是真陽性，那我已被感染X病的概率便應(yīng)該是99%。張某咨詢了醫(yī)生，醫(yī)生說：“99%？哪有那么大的感染幾率啊。99％是測試的準(zhǔn)確性，不是你得病的概率。你忘了一件事：這種X疾病的正常比例是不大的，1000個人中只有一個人有X病?！睆埬巢环判?，又做了一個尿液檢查，進(jìn)一步檢查他患上了X疾病的可能性，其結(jié)果仍然為陽性，尿液檢查的實(shí)驗有“5%的假陽性率和5%的假陰性率”貝葉斯公式的應(yīng)用a）張某初始計算感染X病的概率是99%，問題出在哪？

在這個例子中，張某由于沒有認(rèn)識到X疾病在人群中的患病率對于自己患病率的影響，從而得出了錯誤的結(jié)論。換言之，雖然，真陽性率+假陽性率=100%，反問，難道所有人都是陽性嗎？張某錯誤的結(jié)論建立在所有人都是陽性的基礎(chǔ)之下。貝葉斯公式的應(yīng)用由此，根據(jù)貝葉斯公式，可以計算張某在血液檢查后患病的概率為：

b）那么張某在血液檢查之后的患病率是多少呢？畫一張圖來說明問題。貝葉斯公式的應(yīng)用c）在血液檢查之后，我們算得了張某患病的概率，相對于原來的1/1000，在檢驗血液陽性的條件下的患病的概率增加為了9%。在這樣的前提之下，我們又對張某的尿液進(jìn)行檢查，檢驗為陽性。那么此時患病的概率計算方式同前，只不過是患病的概率更新為了9%。如圖所示：貝葉斯公式的應(yīng)用d）根據(jù)張某的家族患病率，我們知道在沒有任何先驗信息的前題下張某的患病率為1%而不是1/1000，利用這個數(shù)值，重新進(jìn)行以上的兩步計算，即可知根據(jù)張某的家族遺傳信息，結(jié)合血液和尿液檢查結(jié)果，張某得X病的概率。這就是說，在家族患病率和兩次檢查這樣的前提之下，兩次利用貝葉斯公式計算知張某得病的概率高達(dá)95%。

貝葉斯公式的應(yīng)用——貝葉斯過濾技術(shù)1貝葉斯過濾器是一種統(tǒng)計學(xué)過濾器，建立在已有的統(tǒng)計結(jié)果之上。什么是貝葉斯過濾器2

我們必須預(yù)先提供兩組已經(jīng)識別好的郵件，一組是正常郵件，另一組是垃圾郵件。

我們用這兩組郵件，對過濾器進(jìn)行“訓(xùn)練”。這兩組郵件的規(guī)模越大，訓(xùn)練效果就越好?！坝?xùn)練”過程很簡單。首先，解析所有的郵件，提取每一個詞。然后，計算每個詞語在正常郵件和垃圾郵件中出現(xiàn)的頻率。

有了這個初步的統(tǒng)計結(jié)果，過濾器就可以投入使用了。

貝葉斯過濾器的使用樸素貝葉斯分類的應(yīng)用數(shù)據(jù)樣本有屬性：年齡，收入，是否學(xué)生和信用狀況。類標(biāo)號屬性：“是否買電腦”有兩個不同值{是，否}。

設(shè)C1對應(yīng)于類：買電腦;

C2對應(yīng)于類：不買電腦;

我們希望分類的未知樣本為:

X=

(年齡<=30,收入=中,

是學(xué)生，信用一般)

866449樸素貝葉斯分類的應(yīng)用首先我們需要最大化1：P(X|Ci)*P(Ci)，i=1,2。

每個類的先驗概率P(Ci)可以根據(jù)訓(xùn)練樣本計算：P(C1)=P(買電腦)

=

P(C2)=P(不買電腦)

2：計算P(X|Ci)：

（1）P

(年齡<=30,收入=中,是學(xué)生，信用一般|買電腦)

（2）P

(年齡<=30,收入=中，是學(xué)生,信用一般|不買電腦)

樸素貝葉斯分類的應(yīng)用1:

P(年齡<=30,收入=中，是學(xué)生，信用一般|買電腦)=P(年齡<=30|買電腦)*P(收入=中|買電腦)*P(是學(xué)生|買電腦)*P(信用一般|買電腦)2: