貝葉斯信念網(wǎng)絡(luò)

貝葉斯信念網(wǎng)絡(luò)樸素貝葉斯分類〔NaiveBayesianClassification〕貝葉斯信念網(wǎng)絡(luò)〔BayesianBliefNetworks〕樸素貝葉斯分類一.摘要貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為根底，故統(tǒng)稱為貝葉斯分類。這里首先介紹分類問題，對分類問題進(jìn)行一個(gè)正式的定義。然后，介紹貝葉斯分類算法的根底——貝葉斯定理。最后，通過實(shí)例討論貝葉斯分類中最簡單的一種：樸素貝葉斯分類。二.分類問題綜述對于分類問題，其實(shí)誰都不會(huì)陌生，說我們每個(gè)人每天都在執(zhí)行分類操作一點(diǎn)都不夸張，只是我們沒有意識(shí)到罷了。例如，當(dāng)你看到一個(gè)陌生人，你的腦子下意識(shí)判斷TA是男是女；你可能經(jīng)常會(huì)走在路上對身旁的朋友說“這個(gè)人一看就很有錢、那邊有個(gè)非主流〞之類的話，其實(shí)這就是一種分類操作。從數(shù)學(xué)角度來說，分類問題可做如下定義：其中C叫做類別集合，其中每一個(gè)元素是一個(gè)類別，而I叫做項(xiàng)集合，其中每一個(gè)元素是一個(gè)待分類項(xiàng)，f叫做分類器。分類算法的任務(wù)就是構(gòu)造分類器f。例如，醫(yī)生對病人進(jìn)行診斷就是一個(gè)典型的分類過程，任何一個(gè)醫(yī)生都無法直接看到病人的病情，只能觀察病人表現(xiàn)出的病癥和各種化驗(yàn)檢測數(shù)據(jù)來推斷病情，這時(shí)醫(yī)生就好比一個(gè)分類器，而這個(gè)醫(yī)生診斷的準(zhǔn)確率，與他當(dāng)初受到的教育方式〔構(gòu)造方法〕、病人的病癥是否突出〔待分類數(shù)據(jù)的特性〕以及醫(yī)生的經(jīng)驗(yàn)多少〔訓(xùn)練樣本數(shù)量〕都有密切關(guān)系。三.貝葉斯定理貝葉斯定理解決了現(xiàn)實(shí)生活里經(jīng)常遇到的問題：某條件概率，如何得到兩個(gè)事件交換后的概率，也就是在P(A|B)的情況下如何求得P(B|A)。這里先解釋什么是條件概率：P(A|B)表示事件B已經(jīng)發(fā)生的前提下，事件A發(fā)生的概率，P(B|A)叫做事件B發(fā)生下事件A的條件概率。其根本求解公式為：貝葉斯定理之所以有用，是因?yàn)槲覀冊谏钪薪?jīng)常遇到這種情況：我們可以很容易直接得出P(A|B)，P(B|A)那么很難直接得出，但我們更關(guān)心P(B|A)，貝葉斯定理就為我們打通從P(A|B)獲得P(B|A)的道路。下面不加證明地直接給出貝葉斯定理：四.樸素貝葉斯分類1：樸素貝葉斯分類的原理與流程樸素貝葉斯分類是一種十分簡單的分類算法，叫它樸素貝葉斯分類是因?yàn)檫@種方法的思想真的很樸素，樸素貝葉斯的思想根底是這樣的：對于給出的待分類項(xiàng)〔x〕，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別〔y〕出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別。通俗來說，就好比這么個(gè)道理，你在街上看到一個(gè)黑人，我問你你猜這哥們哪里來的，你十有八九猜非洲。為什么呢？因?yàn)楹谌酥蟹侵奕说谋嚷首罡?，?dāng)然人家也可能是美洲人或歐洲人，但在沒有其它可用信息下，我們會(huì)選擇條件概率最大的類別，這就是樸素貝葉斯的思想根底。樸素貝葉斯分類的正式定義如下：那么現(xiàn)在的關(guān)鍵就是如何計(jì)算第3步中的各個(gè)條件概率。我們可以這么做：1〕、找到一個(gè)分類的待分類項(xiàng)集合，這個(gè)集合叫做訓(xùn)練樣本集。2〕、統(tǒng)計(jì)得到在各類別下各個(gè)特征屬性的條件概率估計(jì)，即：、如果各個(gè)特征屬性是條件獨(dú)立的，那么根據(jù)貝葉斯定理有如下推導(dǎo)：因?yàn)榉帜笇τ谒蓄悇e為常數(shù)，因?yàn)槲覀冎灰獙⒎肿幼畲蠡钥伞Ｓ忠驗(yàn)楦魈卣鲗傩允菞l件獨(dú)立的，所以有:根據(jù)上述分析，樸素貝葉斯分類的流程可以由下列圖表示:可以看到，整個(gè)樸素貝葉斯分類分為三個(gè)階段：第一階段——準(zhǔn)備工作階段，這個(gè)階段的任務(wù)是為樸素貝葉斯分類做必要的準(zhǔn)備，主要工作是根據(jù)具體情況確定特征屬性，并對每個(gè)特征屬性進(jìn)行適當(dāng)劃分，然后由人工對一局部待分類項(xiàng)進(jìn)行分類，形成訓(xùn)練樣本集合。這一階段的輸入是所有待分類數(shù)據(jù)，輸出是特征屬性和訓(xùn)練樣本。這一階段是整個(gè)樸素貝葉斯分類中唯一需要人工完成的階段，其質(zhì)量對整個(gè)過程將有重要影響，分類器的質(zhì)量很大程度上由特征屬性、特征屬性劃分及訓(xùn)練樣本質(zhì)量決定。第二階段——分類器訓(xùn)練階段，這個(gè)階段的任務(wù)就是生成分類器，主要工作是計(jì)算每個(gè)類別在訓(xùn)練樣本中的出現(xiàn)頻率及每個(gè)特征屬性劃分對每個(gè)類別的條件概率估計(jì)，并將結(jié)果記錄。其輸入是特征屬性和訓(xùn)練樣本，輸出是分類器。這一階段是機(jī)械性階段，根據(jù)前面討論的公式可以由程序自動(dòng)計(jì)算完成。第三階段——應(yīng)用階段。這個(gè)階段的任務(wù)是使用分類器對待分類項(xiàng)進(jìn)行分類，其輸入是分類器和待分類項(xiàng)，輸出是待分類項(xiàng)與類別的映射關(guān)系。這一階段也是機(jī)械性階段，由程序完成。五.樸素貝葉斯分類實(shí)例：檢測SNS社區(qū)中不真實(shí)賬號這個(gè)問題是這樣的，對于SNS社區(qū)來說，不真實(shí)賬號〔使用虛假身份或用戶的小號〕是一個(gè)普遍存在的問題，作為SNS社區(qū)的運(yùn)營商，希望可以檢測出這些不真實(shí)賬號，從而在一些運(yùn)營分析報(bào)告中防止這些賬號的干擾，亦可以加強(qiáng)對SNS社區(qū)的了解與監(jiān)管。如果通過純?nèi)斯z測，需要消耗大量的人力，效率也十分低下，如能引入自動(dòng)檢測機(jī)制，必將大大提升工作效率。這個(gè)問題說白了，就是要將社區(qū)中所有賬號在真實(shí)賬號和不真實(shí)賬號兩個(gè)類別上進(jìn)行分類，下面我們一步一步實(shí)現(xiàn)這個(gè)過程。1、確定特征屬性及劃分首先設(shè)C=0表示真實(shí)賬號，C=1表示不真實(shí)賬號這一步要找出可以幫助我們區(qū)分真實(shí)賬號與不真實(shí)賬號的特征屬性，在實(shí)際應(yīng)用中，特征屬性的數(shù)量是很多的，劃分也會(huì)比擬細(xì)致，但這里為了簡單起見，我們用少量的特征屬性以及較粗的劃分。我們選擇三個(gè)特征屬性：a1：日志數(shù)量/注冊天數(shù)〔日記密度〕{a<=0.05,0.05<a<0.2,a>=0.2}a2：好友數(shù)量/注冊天數(shù)〔好友密度〕{a<=0.1,0.1<a<0.8,a>=0.8}a3：是否使用真實(shí)頭像a3：{a=0〔不是〕,a=1〔是〕}2、獲取訓(xùn)練樣本這里使用運(yùn)維人員曾經(jīng)人工檢測過的1萬個(gè)賬號作為訓(xùn)練樣本。訓(xùn)練樣本中每個(gè)類別的頻率〔數(shù)據(jù)〕用訓(xùn)練樣本中真實(shí)賬號和不真實(shí)賬號數(shù)量分別除以1萬，得到：4、每個(gè)類別條件下各個(gè)特征屬性劃分的頻率〔數(shù)據(jù)〕5、使用分類器進(jìn)行鑒別下面我們使用上面訓(xùn)練得到的分類器鑒別一個(gè)賬號，這個(gè)賬號日志數(shù)量與注冊天數(shù)的比率a1為0.1，好友數(shù)與注冊天數(shù)的比率a2為0.2，使用非真實(shí)頭像a3=0。可以看到，雖然這個(gè)用戶沒有使用真實(shí)頭像，但是通過分類器的鑒別，更傾向于將此賬號歸入真實(shí)賬號類別。這個(gè)例子也展示了當(dāng)特征屬性充分多時(shí)，樸素貝葉斯分類對個(gè)別屬性的抗干擾性。6.如何評價(jià)分類器的質(zhì)量首先要定義，分類器的正確率指分類器正確分類的工程占所有被分類工程的比率。通常使用回歸測試來評估分類器的準(zhǔn)確率，最簡單的方法是用構(gòu)造完成的分類器對訓(xùn)練數(shù)據(jù)進(jìn)行分類，然后根據(jù)結(jié)果給出正確率評估。但這不是一個(gè)好方法，因?yàn)槭褂糜?xùn)練數(shù)據(jù)作為檢測數(shù)據(jù)有可能因?yàn)檫^分?jǐn)M合而導(dǎo)致結(jié)果過于樂觀，所以一種更好的方法是在構(gòu)造初期將訓(xùn)練數(shù)據(jù)一分為二，用一局部構(gòu)造分類器，然后用另一局部檢測分類器的準(zhǔn)確率。貝葉斯信念網(wǎng)絡(luò)在我們討論樸素貝葉斯分類時(shí)，樸素貝葉斯分類有一個(gè)限制條件，就是特征屬性必須有條件獨(dú)立或根本獨(dú)立〔實(shí)際上在現(xiàn)實(shí)應(yīng)用中幾乎不可能做到完全獨(dú)立〕。當(dāng)這個(gè)條件成立時(shí)，樸素貝葉斯分類法的準(zhǔn)確率是最高的，但不幸的是，現(xiàn)實(shí)中各個(gè)特征屬性間往往并不條件獨(dú)立，而是具有較強(qiáng)的相關(guān)性，這樣就限制了樸素貝葉斯分類的能力。接下來討論貝葉斯分類中更高級、應(yīng)用范圍更廣的一種算法——貝葉斯網(wǎng)絡(luò)〔又稱貝葉斯信念網(wǎng)絡(luò)或信念網(wǎng)絡(luò)〕。一：貝葉斯信念網(wǎng)絡(luò)概述貝葉斯網(wǎng)絡(luò)是一種圖形模型(概率理論和圖論相結(jié)合的產(chǎn)物)，又被稱為貝葉斯信念網(wǎng)絡(luò)、因果網(wǎng)絡(luò)，是描述隨機(jī)變量(事件)之間依賴關(guān)系的一種圖形模式。是一種將因果知識(shí)和概率知識(shí)相結(jié)合的信息表示框架，使得不確定性推理在邏輯上變得更為清晰．理解性更強(qiáng)。已經(jīng)成為數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)和決策支持系統(tǒng)的有效方法。從大量數(shù)據(jù)中構(gòu)造貝葉斯網(wǎng)絡(luò)模型，進(jìn)行不確定性知識(shí)的發(fā)現(xiàn)。貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩局部組成。貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)有向無環(huán)圖〔DCG〕．由結(jié)點(diǎn)和有向弧段組成。每個(gè)結(jié)點(diǎn)代表一個(gè)事件或者隨機(jī)變量，變量值可以是離散的或連續(xù)的，結(jié)點(diǎn)的取值是完備互斥的。表示起因的假設(shè)和表示結(jié)果的數(shù)據(jù)均用結(jié)點(diǎn)表示。有向圖：頂點(diǎn)間的邊都是有向的,可以從頂點(diǎn)A指向B一條邊,但該邊不能從B指向A.有向無環(huán)圖：在一個(gè)有向圖中,如果從某頂點(diǎn)出發(fā)沒有一條回到該頂點(diǎn)的路徑,