樸素貝葉斯多項(xiàng)式模型

樸素貝葉斯分類--多項(xiàng)式模型1.多項(xiàng)式模型簡(jiǎn)介樸素貝葉斯分類器是一種有監(jiān)督學(xué)習(xí)，針對(duì)文本分類常見有兩種模型，多項(xiàng)式模型（詞頻型）和伯努利模型（文檔型）。多項(xiàng)式模型以單詞為粒度，伯努利模型以文件為粒度。對(duì)于一個(gè)文檔A,多項(xiàng)式模型中，只有在A中出現(xiàn)過(guò)的單詞，才會(huì)參與后驗(yàn)概率計(jì)算。2.多項(xiàng)式模型基本原理及實(shí)例2.1基本原理已知類別c={“c2,c3,…,CJ與文檔集合D={D“2,…設(shè)某一文檔￡的詞向量為￡={片1,d.2,…片1}（可重復(fù)）設(shè)訓(xùn)練文檔中出現(xiàn)的單詞（單詞出現(xiàn)多次,只算一次）即語(yǔ)料庫(kù)為V對(duì)于待分類文檔A={X1,碼廠肌}'則有：1）計(jì)算文檔類別的先驗(yàn)概率PC=DjWc'Dj'丄i（￡p（c.）則可以認(rèn)為是類別q在整體上占多大比例（有多大可能性）。某單詞d門在類別C,下的條件概率Jlj1P(%(q—%+1p(%(q可以看作是單詞%在證明￡屬于類q上提供了多大的證據(jù)。對(duì)于待分類文檔A被判為類C』勺概率假設(shè)文檔A中的詞即％碼，…化相互獨(dú)立，則有PC.nAPapAC.i—iiPA~_PA—pqpAi,a2,-a.c.P~APCPACPAC-PACi1i2imiPA對(duì)于同一文檔PA—定，因此只需計(jì)算分子的值。多項(xiàng)式模型基于以上三步，最終以第三步中計(jì)算出的后驗(yàn)概率最大者為文檔A所屬類別。2.2實(shí)例給定一組分好類的文本訓(xùn)練數(shù)據(jù)，如下：docIDdoc類別(yesno)1ChineseBeijingChineseyes2ChineseChineseShanghaiyes3ChineseMacaoyes4TokyoJapanChineseno給定一個(gè)新樣本A,對(duì)其進(jìn)行分類。該文本詞向量表示為A={Chinese,Chinese,Chinese,Tokyo,Japan}，類另U集合為C二{yes,no}.解題步驟：類yes下總共有8個(gè)單詞,類no下總共有3個(gè)單詞,訓(xùn)練樣本單詞總數(shù)為V=11,因此P(yes)=8/11,P(no)=3/11。類條件概率計(jì)算如下：P(Chinese|yes)=(5+1)/(8+6)=6/14=3/7P(Japan|yes)=P(Tokyo|yes)=(0+1)/(8+6)=1/14P(Chinese|no)=(1+1)/(3+6)=2/9P(Japan|no)=P(Tokyo|no)=(1+1)/(3+6)=2/9分母中的8,是指yes類別下單詞(可重復(fù)記)的長(zhǎng)度，也即訓(xùn)練樣本的單詞總數(shù),6是指訓(xùn)練樣本有Chinese,Beijing,Shanghai,Macao,Tokyo,Japan共6個(gè)單詞,3是指no類下共有3個(gè)單詞。有了以上類條件概率,開始計(jì)算后驗(yàn)概率：P(yes|A)=(3/7)3x(1/14)x(1/14)x(8/11)=216/739508=0.00029209P(no|A)=(2/9)