樸素貝葉斯分類算法及其MapReduce實現(xiàn)

1、最近發(fā)現(xiàn)很多公司招聘數(shù)據(jù)挖掘的職位都提到貝葉斯分類，其實我不太清楚他們是要求理解貝葉斯分類算法，還是要求只需要通過工具（SPSS，SAS，Mahout）使用貝葉斯分類算法進行分類。反正不管是需求什么都最好是了解其原理，才能知其然，還知其所以然。我盡量簡單的描述貝葉斯定義和分類算法，復(fù)雜而有全面的描述參考“數(shù)據(jù)挖掘：概念與技術(shù)”。貝葉斯是一個人，叫（Thomas Bayes），下面這哥們就是。本文介紹了貝葉斯定理，樸素貝葉斯分類算法及其使用MapReduce實現(xiàn)。貝葉斯定理首先了解下貝葉斯定理PHX=PXHP(H)P(X)是不是有感覺都是符號看起來真復(fù)雜，我們根據(jù)下圖理解貝葉斯定理。這里D是所有

2、顧客（全集），H是購買H商品的顧客，X是購買X商品的顧客。自然XH是即購買X又購買H的顧客。P(X) 指先驗概率，指所有顧客中購買X的概率。同理P(H)指的是所有顧客中購買H的概率，見下式。PX= XDPH= HDP(H|X) 指后驗概率，在購買X商品的顧客，購買H的概率。同理P(X|H)指的是購買H商品的顧客購買X的概率，見下式。PH|X= XHXPX|H= XHH將這些公式帶入上面貝葉斯定理自然就成立了。樸素貝葉斯分類分類算法有很多，基本上決策樹，貝葉斯分類和神經(jīng)網(wǎng)絡(luò)是齊名的。樸素貝葉斯分類假定一個屬性值對給定分類的影響?yīng)毩⒂谄渌麑傩灾怠Ｃ枋觯哼@里有個例子假定我們有一個顧客X（age =

3、middle，income=high，sex =man）：· 年齡（age）取值可以是：?。▂oung），中（middle），大（old）· 收入（income）取值可以是：低（low），中（average），高（high）· 性別（sex）取值可以是：男（man），女（woman）其選擇電腦顏色的分類標號H：白色（white），藍色（blue），粉色（pink）問題：用樸素貝葉斯分類法預(yù)測顧客X，選擇哪個顏色的分類標號，也就是預(yù)測X屬于具有最高后驗概率的分類。解答：Step 1也就是說我們要分別計算X選擇分類標號為白色（white），藍色（blue），粉色（pi

4、nk）的后驗概率，然后進行比較取其中最大值。根據(jù)貝葉斯定理PHwhiteX=PXHwhiteP(Hwhite)P(X)同理PHblueX=PXHblueP(Hblue)P(X)PHpinkX=PXHpinkP(Hpink)P(X)Step 2其中P(X)為常數(shù)。D為全集元組數(shù)，Hwhite,D為全集中分類標號為white的元組數(shù)。PHwhite= Hwhite,DD同理PHblue= Hblue,DDPHpink= Hpink,DDStep 3那么只需計算PXHwhite就可以了。PXHblue，PXHpink同理就不在進行闡述。對于許多屬性的集，PXHwhite有可能是缺失的，對于多個X的計

5、算開銷可能非常大，那么根據(jù)樸素貝葉斯分類假定一個屬性值對給定類的影響?yīng)毩⒂谄渌麑傩灾?。PXHwhite=k=13Px1Hwhite=Pxage=middleHwhite×Pxincome=highHwhite×Pxsex=manHwhite可以很容易的由訓(xùn)練元組得出：Pxage=middleHwhitePxincome=highHwhitePxsex=manHwhiteStep 4PHwhiteX，, PHblueX，,PHpinkX后驗概率中最大的，那么它的分類標號就是X的分類標號。改進1， 目前X（年齡 = 中，收入 = 高，性別 = 男）中的屬性都是分類屬性，而不是連

6、續(xù)值屬性，我們要處理連續(xù)值屬性可以使用如下方法：Pxage=middleHwhite=gxage=middle,white,white=12e-(x-)222連續(xù)值屬性xage=middle服從均值為，標準差為的高斯分布。2， 如果遇到零概率值怎么辦？比如在訓(xùn)練元組中Pxsex=manHwhite為零，可以使用拉普拉斯校準的方法避免該問題。樸素貝葉斯分類的MapReduce實現(xiàn)我們通過MapReduce計算X（age = middle，income=high，sex =man）的分類標號。根據(jù)上面的推導(dǎo)，P(X)為常數(shù)只需計算PXHwhiteP(Hwhite)，PXHblueP(Hblue)，

7、PXHpinkP(Hpink)最大值即可。源文件為old:low:man:bluemiddle:high:man:whiteold:low:man:blueyonng:high:woman:whiteyoung:low:woman:pink那么如何使用一次MapReduce就計算出P(Hwhite)，PxageHwhite，PxincomeHwhite，PxsexHwhite等等MapClass為 public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, I

8、ntWritable> private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException String line = value.toString(); String words = line.split(&qu

9、ot;:"); word.set("SUM"); output.collect(word, one); word.set(words3); output.collect(word, one); word.set(words0 + "-" + words3); output.collect(word, one); word.set(words1 + "-" + words3); output.collect(word, one); word.set(words2 + "-" + words3); outpu

10、t.collect(word, one); ReduceClass為： public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException

11、int sum = 0; while (values.hasNext() sum += values.next().get(); output.collect(key, new IntWritable(sum); 計算結(jié)果為：SUM5blue2high-white2low-blue2low-pink1man-blue2man-white1middle-white1old-blue2pink1white2woman-pink1woman-white1yonng-white1young-pink1根據(jù)樸素貝葉斯分類法那么有PXHwhitePHwhite=Pxage=middleHwhite×Pxincome=highHwhite