基于樸素貝葉斯算法的垃圾郵件分類-(Python實(shí)現(xiàn))

Presentation基于樸素貝葉斯算法的垃圾郵件分類(Python實(shí)現(xiàn))EastChinaNormalUniversity2024年7月29日CONTENTS目錄0簡(jiǎn)介1回顧：基本方法2算法3拉普拉斯平滑4實(shí)例：郵件分類5流行學(xué)習(xí)2024年7月29日EastChinaNormalUniversity簡(jiǎn)介樸素貝葉斯法：是基于貝葉斯定理和特征條件獨(dú)立假設(shè)的分類方法。對(duì)于給定的訓(xùn)練數(shù)據(jù)集，首先基于特征條件獨(dú)立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布；然后基于此模型對(duì)于給定的輸入x，利用貝葉斯定理求出后驗(yàn)概率最大的輸出y.樸素貝葉斯法實(shí)現(xiàn)簡(jiǎn)單，學(xué)習(xí)和預(yù)測(cè)的效率都很高，是業(yè)界常用的一種方法。2024年7月29日EastChinaNormalUniversity

Review1:分類問題綜述12024年7月29日EastChinaNormalUniversity垃圾郵件非垃圾郵件……各種化驗(yàn)檢測(cè)數(shù)據(jù)來推斷病情，這時(shí)醫(yī)生就好比一個(gè)分類器，而這個(gè)醫(yī)生診斷的準(zhǔn)確率，與他當(dāng)初受到的教育方式（構(gòu)造方法）、病人的癥狀是否突出（待分類數(shù)據(jù)的特性）以及醫(yī)生的經(jīng)驗(yàn)多少（訓(xùn)練樣本數(shù)量）都有密切關(guān)系。回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)

Review2:貝葉斯定理2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)算法：2024年7月29日EastChinaNormalUniversityRIDageincomestudentcredit_ratingclass_buy_pc1youthhighnofairno2youthhighnoexcellentno3midhighnofairyes4seniormediumnofairyes5seniorlowyesfairyes6seniorlowyesexcellentno7midlowyesexcellentyes8youthmediumnofairno9youthlowyesfairyes10seniormediumyesfairyes11youthmediumyesexcellentyes12midmediumnoexcellentyes13midhighyesfairyes14seniormediumnoexcellentnoTrain_dataset(表格來源：數(shù)據(jù)挖掘:概念與技術(shù)第3版)回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)2024年7月29日EastChinaNormalUniversity

test:X=(age=youth,income=mediu,student=yes,credit_rating=fair)(1)計(jì)算先驗(yàn)概率P(buy_pc=yes)=9/14=0.643P(buy_pc=no)=5/14=0.357條件概率：P(age=youth|buy_pc=yes)=2/9=0.22P(age=youth|buy_pc=no)=2/5=0.600P(income=medium|buy_pc=yes)=4/9=0.444P(income=medium|buy_pc=no)=2/5=0.400P(student=yes|buy_pc)=1/5=0.200P(credit_rating=fair|buy_pc=yes)=6/9=0.667P(credit_rating=fair|buy_pc=no)=2/5=0.400回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)2024年7月29日EastChinaNormalUniversity

回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)如果遇到零概率值怎么辦？

拉普拉斯平滑。EastChinaNormalUniversity

2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流程圖：EastChinaNormalUniversity獲取訓(xùn)練樣本確定特征屬性

對(duì)每個(gè)特征屬性就按所有劃分的條件概率

準(zhǔn)備階段分類器訓(xùn)練階段應(yīng)用階段2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)準(zhǔn)備數(shù)據(jù)從文本中構(gòu)建詞向量（貝努利模型）EastChinaNormalUniversity從文本中構(gòu)建郵件向量（words2vec）：通常有兩種實(shí)現(xiàn)方式：一種是基于貝努利模型，一種是基于多項(xiàng)式模型實(shí)現(xiàn)。我們采用前一種實(shí)現(xiàn)方式，將每個(gè)詞的出現(xiàn)與否作為一個(gè)特征（詞集模型，相對(duì)應(yīng)的是詞袋模型），不考慮單詞在文檔中出現(xiàn)的次數(shù)，因此在這個(gè)意義上相當(dāng)于每個(gè)假設(shè)詞是等權(quán)重的。具體如下：(1）遍歷所有郵件,創(chuàng)建一個(gè)包含所有文檔中出現(xiàn)的不重復(fù)的單詞集合（即特征）。(2)對(duì)于每一封郵件創(chuàng)建一個(gè)與單詞集合等長(zhǎng)的0向量。接著遍歷郵件中所有單詞，如果出現(xiàn)在單詞集合中則把對(duì)應(yīng)的值設(shè)為1。2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)訓(xùn)練模型（技巧小結(jié)）EastChinaNormalUniversity

2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)交叉驗(yàn)證（1000）EastChinaNormalUniversity正確錯(cuò)誤64936準(zhǔn)確率：0.936%2024年7月29日回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity本質(zhì)上，流形學(xué)習(xí)就是給數(shù)據(jù)降維的過程。這里假設(shè)數(shù)據(jù)是一個(gè)隨機(jī)樣本，采樣自一個(gè)高維歐氏空間中的流形（manifold），流形學(xué)習(xí)的任務(wù)就是把這個(gè)高維流形映射到一個(gè)低維（例如2維）的空間里。流形學(xué)習(xí)可以分為線性算法和非線性算法，前者包括主成分分析（PCA）和線性判別分析（LDA），后者包括等距映射（Isomap），拉普拉斯特征映射（LE）等。流形學(xué)習(xí)可以用于特征的降維和提取，為后續(xù)的基于特征的分析，如聚類和分類，做鋪墊，也可以直接應(yīng)用于數(shù)據(jù)可視化等?；仡櫵惴ɡ绽蛊交]件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)2024年7月29日EastChinaNormalUniversity回顧算法拉普拉斯平滑郵件分類流行學(xué)習(xí)小結(jié)流形學(xué)習(xí)(DIM)2024年7月29日EastChinaNormalUniversity算法的輸入是所有數(shù)據(jù)在高維情況下兩兩之間的距離（記i與j的距離為Dij）?，F(xiàn)在以降到2維為例說明這個(gè)算法。首先我們把所有數(shù)據(jù)點(diǎn)隨機(jī)繪制在一張二維圖像上，然后計(jì)算它們兩兩之間的距離dij，然后我們計(jì)算出它與高維距離Dij的誤差，根據(jù)這些誤差，我們將每對(duì)數(shù)據(jù)點(diǎn)按比例移近或移遠(yuǎn)，然后重新計(jì)算所有dij，不斷重復(fù)到我們沒法減少誤差為止。假設(shè)有n個(gè)點(diǎn):(1)輸入每一對(duì)點(diǎn)之間的距離Dij。(2)隨機(jī)在2維平面生成n個(gè)點(diǎn)，點(diǎn)i坐標(biāo)記為x[i]、y[i]，計(jì)算它們兩之間的距離，記為dij.(3)對(duì)所有i和j計(jì)算：eij=(dij-Dij)/Dij，每個(gè)點(diǎn)用一個(gè)二維的值grad[k]來表示它要移動(dòng)的距離的比例因子(初始為0，0)。在計(jì)算出每個(gè)eij后，計(jì)算((x[i]-x[j])/dij)*eij，然后把它加到grad[i][x]上，同樣把((y[i]-y[j])/dij)*eij加到grad[i][y]上。(4)把所有eij的絕對(duì)值相加，為總誤差，與前一次的總誤差比較(初始化為無窮大)，大于前一次的話就停止。否則把它作為上一次總誤差，繼續(xù)。對(duì)每個(gè)點(diǎn)，新的坐標(biāo)為x[i]-=rate*grad[i][x]y[i]-=rate*grad[i][y]，其中rate是開始時(shí)自己定義的一個(gè)常數(shù)參數(shù)，該參數(shù)影響了點(diǎn)的移動(dòng)速度。重新計(jì)算各個(gè)dij，回到3?；仡櫵惴ɡ绽蛊交]件分類流行學(xué)習(xí)小結(jié)小結(jié)2024年7月29日看論文……大神交流寫代碼實(shí)際應(yīng)用中，需要考慮很多因素，下溢是其中一個(gè)，詞袋模型在解決文檔分類問比詞集模型有所提高，還有其他一些方面的改進(jìn)，比如移除停用詞。實(shí)際生活中，避免將普通郵件當(dāng)作垃圾郵件比截獲每一封垃圾郵件更為重要，收件箱收到幾封垃圾郵件還是可以忍受的，但一