貝葉斯信念網(wǎng)絡(luò)學(xué)習(xí)教案

1、會計學(xué)1貝葉斯信念貝葉斯信念(xnnin)網(wǎng)絡(luò)網(wǎng)絡(luò)第一頁，共22頁。u 樸素(p s)貝葉斯分類u （Naive Bayesian Classification）u 貝葉斯信念網(wǎng)絡(luò)u （Bayesian Blief Networks）第1頁/共22頁第二頁，共22頁。一.摘要 貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎(chǔ)(jch)，故統(tǒng)稱為貝葉斯分類。 這里首先介紹分類問題，對分類問題進行一個正式的定義。然后，介紹貝葉斯分類算法的基礎(chǔ)(jch)貝葉斯定理。最后，通過實例討論貝葉斯分類中最簡單的一種：樸素貝葉斯分類。樸素(p s)貝葉斯分類第2頁/共22頁第三頁，共22頁。二.分

2、類問題(wnt)綜述 對于分類問題(wnt)，其實誰都不會陌生，說我們每個人每天都在執(zhí)行分類操作一點都不夸張，只是我們沒有意識到罷了。例如，當(dāng)你看到一個陌生人，你的腦子下意識判斷TA是男是女；你可能經(jīng)常會走在路上對身旁的朋友說“這個人一看就很有錢、那邊有個非主流”之類的話，其實這就是一種分類操作。 從數(shù)學(xué)角度來說，分類問題(wnt)可做如下定義： 其中C叫做類別集合，其中每一個元素是一個類別，而I叫做項集合，其中每一個元素是一個待分類項，f叫做分類器。分類算法的任務(wù)就是構(gòu)造分類器f。.C類別(libi)集合I項集合(jh)1x2x3xmx1y2y3ynyf分類器第3頁/共22頁第四頁，共22頁

3、。 例如，醫(yī)生對病人進行診斷就是一個典型的分類過程，任何一個醫(yī)生都無法直接看到病人的病情，只能觀察病人表現(xiàn)出的癥狀和各種化驗檢測(jin c)數(shù)據(jù)來推斷病情，這時醫(yī)生就好比一個分類器，而這個醫(yī)生診斷的準(zhǔn)確率，與他當(dāng)初受到的教育方式（構(gòu)造方法）、病人的癥狀是否突出（待分類數(shù)據(jù)的特性）以及醫(yī)生的經(jīng)驗多少（訓(xùn)練樣本數(shù)量）都有密切關(guān)系。第4頁/共22頁第五頁，共22頁。 三.貝葉斯定理 貝葉斯定理解決了現(xiàn)實生活里經(jīng)常(jngchng)遇到的問題：已知某條件概率，如何得到兩個事件交換后的概率，也就是在已知P(A|B)的情況下如何求得P(B|A)。這里先解釋什么是條件概率： P(A|B)表示事件B已經(jīng)發(fā)生

4、的前提下，事件A發(fā)生的概率，P(B|A)叫做事件B發(fā)生下事件A的條件概率。其基本求解公式為： 貝葉斯定理之所以有用，是因為我們在生活中經(jīng)常(jngchng)遇到這種情況：我們可以很容易直接得出P(A|B)，P(B|A)則很難直接得出，但我們更關(guān)心P(B|A)，貝葉斯定理就為我們打通從P(A|B)獲得P(B|A)的道路。下面不加證明地直接給出貝葉斯定理： )()()|(BPABPBAP)()()|()|(APBPBAPABP第5頁/共22頁第六頁，共22頁。四.樸素貝葉斯分類1：樸素貝葉斯分類的原理與流程 樸素貝葉斯分類是一種十分簡單的分類算法，叫它樸素貝葉斯分類是因為這種方法的思想真的很樸素，

5、樸素貝葉斯的思想基礎(chǔ)是這樣的：對于給出的待分類項（x），求解在此項出現(xiàn)的條件下各個類別(libi)（y）出現(xiàn)的概率，哪個最大，就認為此待分類項屬于哪個類別(libi)。通俗來說，就好比這么個道理，你在街上看到一個黑人，我問你你猜這哥們哪里來的，你十有八九猜非洲。為什么呢？因為黑人中非洲人的比率最高，當(dāng)然人家也可能是美洲人或歐洲人，但在沒有其它可用信息下，我們會選擇條件概率最大的類別(libi)，這就是樸素貝葉斯的思想基礎(chǔ)。 樸素貝葉斯分類的正式定義如下：第6頁/共22頁第七頁，共22頁。 那么現(xiàn)在的關(guān)鍵就是如何計算第3步中的各個條件概率。我們可以這么做： 1）、找到一個已知分類的待分類項集合，

6、這個集合叫做訓(xùn)練樣本集。 2）、統(tǒng)計得到在各類別下各個特征屬性的條件概率估計，即：3）、如果各個特征屬性是條件獨立的，則根據(jù)貝葉斯定理有如下推導(dǎo)： 因為分母對于所有類別為常數(shù)(chngsh)，因為我們只要將分子最大化皆可。又因為各特征屬性是條件獨立的，所以有：第7頁/共22頁第八頁，共22頁。根據(jù)上述分析(fnx)，樸素貝葉斯分類的流程可以由下圖表示第8頁/共22頁第九頁，共22頁?？梢钥吹剑麄€樸素貝葉斯分類分為三個階段： 第一階段準(zhǔn)備工作(gngzu)階段，這個階段的任務(wù)是為樸素貝葉斯分類做必要的準(zhǔn)備，主要工作(gngzu)是根據(jù)具體情況確定特征屬性，并對每個特征屬性進行適當(dāng)劃分，然后由人

7、工對一部分待分類項進行分類，形成訓(xùn)練樣本集合。這一階段的輸入是所有待分類數(shù)據(jù)，輸出是特征屬性和訓(xùn)練樣本。這一階段是整個樸素貝葉斯分類中唯一需要人工完成的階段，其質(zhì)量對整個過程將有重要影響，分類器的質(zhì)量很大程度上由特征屬性、特征屬性劃分及訓(xùn)練樣本質(zhì)量決定。 第二階段分類器訓(xùn)練階段，這個階段的任務(wù)就是生成分類器，主要工作(gngzu)是計算每個類別在訓(xùn)練樣本中的出現(xiàn)頻率及每個特征屬性劃分對每個類別的條件概率估計，并將結(jié)果記錄。其輸入是特征屬性和訓(xùn)練樣本，輸出是分類器。這一階段是機械性階段，根據(jù)前面討論的公式可以由程序自動計算完成。 第三階段應(yīng)用階段。這個階段的任務(wù)是使用分類器對待分類項進行分類，其

8、輸入是分類器和待分類項，輸出是待分類項與類別的映射關(guān)系。這一階段也是機械性階段，由程序完成。第9頁/共22頁第十頁，共22頁。五.樸素貝葉斯分類實例：檢測SNS社區(qū)中不真實賬號 這個問題是這樣的，對于SNS社區(qū)來說，不真實賬號（使用虛假身份或用戶的小號）是一個普遍存在的問題，作為SNS社區(qū)的運營商，希望可以檢測出這些不真實賬號，從而在一些運營分析報告中避免這些賬號的干擾，亦可以加強對SNS社區(qū)的了解與監(jiān)管。 如果通過純?nèi)斯z測，需要耗費大量的人力，效率也十分低下，如能引入自動檢測機制，必將大大(d d)提升工作效率。這個問題說白了，就是要將社區(qū)中所有賬號在真實賬號和不真實賬號兩個類別上進行分類

9、，下面我們一步一步實現(xiàn)這個過程。 第10頁/共22頁第十一頁，共22頁。 1、確定特征屬性(shxng)及劃分首先設(shè)C=0表示真實賬號，C=1表示不真實賬號。 這一步要找出可以幫助我們區(qū)分真實賬號與不真實賬號的特征屬性(shxng)，在實際應(yīng)用中，特征屬性(shxng)的數(shù)量是很多的，劃分也會比較細致，但這里為了簡單起見，我們用少量的特征屬性(shxng)以及較粗的劃分。 我們選擇三個特征屬性(shxng)：a1：日志數(shù)量：日志數(shù)量/注冊天數(shù)（日記密度）注冊天數(shù)（日記密度）a=0.05, 0.05a=0.2a2：好友數(shù)量/注冊天數(shù)（好友密度）a=0.1, 0.1a=0.8a3：是否使用真實頭像

10、a3：a=0（不是）,a=1（是）第11頁/共22頁第十二頁，共22頁。 2、獲取(huq)訓(xùn)練樣本 這里使用運維人員曾經(jīng)人工檢測過的1萬個賬號作為訓(xùn)練樣本。 3、訓(xùn)練樣本中每個類別的頻率（已知數(shù)據(jù)） 用訓(xùn)練樣本中真實賬號和不真實賬號數(shù)量分別除以1萬，得到： 第12頁/共22頁第十三頁，共22頁。 4、每個類別條件下各個特征(tzhng)屬性劃分的頻率（已知數(shù)據(jù)）a1日記密度日記密度a2朋友密度a3是否使用真實頭像C=0真賬號C=1假賬號a1a2a3第13頁/共22頁第十四頁，共22頁。5、使用分類器進行鑒別 下面我們使用上面訓(xùn)練得到的分類器鑒別一個賬號，這個賬號日志數(shù)量與注冊天數(shù)的比率a1為

11、0.1，好友數(shù)與注冊天數(shù)的比率a2為0.2，使用非真實頭像a3=0。 可以看到，雖然這個用戶沒有使用真實頭像，但是通過分類器的鑒別，更傾向于將此賬號歸入真實賬號類別。這個例子也展示了當(dāng)特征屬性充分多時(dush)，樸素貝葉斯分類對個別屬性的抗干擾性。第14頁/共22頁第十五頁，共22頁。6.如何評價分類器的質(zhì)量 首先要定義，分類器的正確率指分類器正確分類的項目占所有被分類項目的比率。 通常使用回歸測試來評估分類器的準(zhǔn)確率，最簡單的方法(fngf)是用構(gòu)造完成的分類器對訓(xùn)練數(shù)據(jù)進行分類，然后根據(jù)結(jié)果給出正確率評估。但這不是一個好方法(fngf)，因為使用訓(xùn)練數(shù)據(jù)作為檢測數(shù)據(jù)有可能因為過分擬合而導(dǎo)

12、致結(jié)果過于樂觀，所以一種更好的方法(fngf)是在構(gòu)造初期將訓(xùn)練數(shù)據(jù)一分為二，用一部分構(gòu)造分類器，然后用另一部分檢測分類器的準(zhǔn)確率。第15頁/共22頁第十六頁，共22頁。貝葉斯信念(xnnin)網(wǎng)絡(luò) 在我們討論樸素貝葉斯分類(fn li)時，樸素貝葉斯分類(fn li)有一個限制條件，就是特征屬性必須有條件獨立或基本獨立（實際上在現(xiàn)實應(yīng)用中幾乎不可能做到完全獨立）。當(dāng)這個條件成立時，樸素貝葉斯分類(fn li)法的準(zhǔn)確率是最高的，但不幸的是，現(xiàn)實中各個特征屬性間往往并不條件獨立，而是具有較強的相關(guān)性，這樣就限制了樸素貝葉斯分類(fn li)的能力。 接下來討論貝葉斯分類(fn li)中更高級、

13、應(yīng)用范圍更廣的一種算法貝葉斯網(wǎng)絡(luò)（又稱貝葉斯信念網(wǎng)絡(luò)或信念網(wǎng)絡(luò)）。賬號是否真實頭像是否真實日記密度好友密度賬號是否真實頭像是否真實日記密度好友密度現(xiàn)實場景中，人們更愿意加真實頭像(tuxing)的賬號為好友。第16頁/共22頁第十七頁，共22頁。一：貝葉斯信念(xnnin)網(wǎng)絡(luò)概述 貝葉斯網(wǎng)絡(luò)是一種圖形模型(概率理論和圖論相結(jié)合的產(chǎn)物)，又被稱為貝葉斯信念網(wǎng)絡(luò)、因果網(wǎng)絡(luò)，是描述隨機變量(事件)之間依賴關(guān)系的一種圖形模式。是一種將因果知識和概率知識相結(jié)合的信息表示框架，使得不確定性推理在邏輯上變得更為清晰理解性更強。已經(jīng)成為數(shù)據(jù)庫中的知識發(fā)現(xiàn)和決策支持系統(tǒng)的有效方法。從大量(dling)數(shù)據(jù)中構(gòu)

14、造貝葉斯網(wǎng)絡(luò)模型，進行不確定性知識的發(fā)現(xiàn)。 貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)是一個有向無環(huán)圖（DCG）由結(jié)點和有向弧段組成。每個結(jié)點代表一個事件或者隨機變量，變量值可以是離散的或連續(xù)的，結(jié)點的取值是完備互斥的。表示起因的假設(shè)和表示結(jié)果的數(shù)據(jù)均用結(jié)點表示。 注：有向圖：頂點間的邊都是有向的,可以從頂點A指向B一條邊,但該邊不能從B指向A.有向無環(huán)圖：在一個有向圖中,如果從某頂點出發(fā)沒有一條回到該頂點的路徑,這個圖就是無環(huán)圖. 42531第17頁/共22頁第十八頁，共22頁。二：貝葉斯網(wǎng)絡(luò)(wnglu)實例1.防盜報警問題:假如X在家中安裝(nzhung)了一個警報器在檢測到盜竊或者地震時響鈴。X與鄰居John和Mary約定：在X外出工作時，一旦聽到警報聲就馬上電話通知X。該問題有五個隨機變量：Burglary 、Earthquake、Alarm、JohnCalls