《數(shù)據(jù)挖掘基礎(chǔ)分類》課件

第二章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機(jī)2.4分類在實(shí)際場景中的應(yīng)用案例作業(yè)與練習(xí)第二章分類2.1分類概述2.2貝葉斯決策與分類器2.32.1分類概述第二章分類2.1.1分類基本概念定義：分類是一種重要的數(shù)據(jù)分析形式。根據(jù)重要數(shù)據(jù)類的特征向量值及其他約束條件，建立分類函數(shù)或分類模型。分類模型可以用于描述性建模和預(yù)測性建模。2.1分類概述第二章分類2.1.1分類基本概念定義：2.1分類概述第二章分類2.1.2解決分類問題的一般方法分類法是一種根據(jù)輸入數(shù)據(jù)集建立分類模型的系統(tǒng)方法。它包括決策樹分類法、基于規(guī)則的分類法、支持向量機(jī)分類法、樸素貝葉斯分類法、神經(jīng)網(wǎng)絡(luò)等分類法。解決分類問題的一般方法。第一步，建立一個(gè)模型。這需要有一個(gè)訓(xùn)練樣本數(shù)據(jù)集作為預(yù)先的數(shù)據(jù)集或概念集，通過分析屬性/特征描述等構(gòu)成的樣本（也可以是實(shí)體等）建立模型。2.1分類概述第二章分類2.1.2解決分類問題的一般2.1分類概述第二章分類2.1.2解決分類問題的一般方法2.1分類概述第二章分類2.1.2解決分類問題的一般2.1分類概述第二章分類2.1.2解決分類問題的一般方法應(yīng)用模2.1分類概述第二章分類2.1.2解決分類問題的一般2.1分類概述第二章分類2.1.3決策樹1.決策樹工作原理通過提出一系列精心構(gòu)思的關(guān)于檢驗(yàn)記錄屬性的問題，解決分類問題。類問題的決策樹，樹中包含三種節(jié)點(diǎn)：*根節(jié)點(diǎn)沒有進(jìn)邊，有0條或更多條出邊；*內(nèi)部節(jié)點(diǎn)有一條進(jìn)邊，有2條或更多條出邊；*葉節(jié)點(diǎn)有一條進(jìn)邊，沒有出邊。2.1分類概述第二章分類2.1.3決策樹1.決策樹工2.1分類概述第二章分類2.1.3決策樹2.1分類概述第二章分類2.1.3決策樹2.1分類概述第二章分類2.1.3決策樹2.如何建立決策樹3.決策樹歸納算法算法2.1給出了稱作Treegrowth的決策樹歸納算法的框架。該算法的輸入是訓(xùn)練記錄集A和屬性集B。算法遞歸地選擇最優(yōu)的屬性來劃分?jǐn)?shù)據(jù)（步驟7），并擴(kuò)展樹的葉節(jié)點(diǎn)（步驟11和步驟12），直到滿足結(jié)束條件（步驟1）。2.1分類概述第二章分類2.1.3決策樹2.如何建立2.1分類概述第二章分類2.1.3決策樹3.決策樹歸納算法2.1分類概述第二章分類2.1.3決策樹3.決策樹歸2.1分類概述第二章分類2.1.3決策樹4.決策樹歸納的學(xué)習(xí)算法必須解決兩個(gè)問題（1）訓(xùn)練記錄分裂（2）停止分裂過程案例:Web機(jī)器人檢測2.1分類概述第二章分類2.1.3決策樹4.決策樹歸2.1分類概述第二章分類2.1.3決策樹5.決策樹歸納的特點(diǎn)（1）決策樹歸納是不用假設(shè)類和其它屬性服從某一分布概率，是一種構(gòu)建分類模型的非參數(shù)方法。（2）找到最佳的決策樹即決策樹獲得的不是全局最優(yōu)，是每個(gè)結(jié)點(diǎn)的局部最優(yōu)決策。（3）決策樹建立后，未知樣本分類很快。而已開發(fā)構(gòu)建的決策樹技術(shù)計(jì)算成本不高，就算訓(xùn)練集很大，也能快速建立模型。（4）決策樹相對其它分類算法更簡便，特別是小型的決策樹的準(zhǔn)確率較高。冗余屬性不會對決策樹的準(zhǔn)確率造成不利的影響。（5）決策樹算法對于噪聲干擾有較強(qiáng)的抗干擾性。（6）決策樹算法通常采用自頂向下的遞歸劃分方法，解決該問題通常是采用樣本數(shù)小于某個(gè)特定閾值時(shí)停止分裂。2.1分類概述第二章分類2.1.3決策樹5.決策樹歸2.1分類概述第二章分類2.1.4模型的過分?jǐn)M合1.模型過分?jǐn)M合的形成所謂模型過分?jǐn)M合是指訓(xùn)練數(shù)據(jù)擬合度過高的模型。2.處理決策樹歸納中的過分?jǐn)M合在這介紹兩種決策樹歸納上避免過分?jǐn)M合的策略：（1）先剪枝（提前終止）（2）后剪枝（過程修剪）2.1分類概述第二章分類2.1.4模型的過分?jǐn)M合1.第二章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機(jī)2.4分類在實(shí)際場景中的應(yīng)用案例作業(yè)與練習(xí)大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第二章分類2.1分類概述2.2貝葉斯決策與分類器2.32.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類器基于規(guī)則的分類器是使用一組“if…then…”規(guī)則來對記錄進(jìn)行分類的技術(shù)。基于規(guī)則的分類器產(chǎn)生的規(guī)則集有兩個(gè)重要性質(zhì)：1.互斥性

如果規(guī)則集中不存在兩條規(guī)則被同一條記錄觸發(fā)，則稱規(guī)則集中的規(guī)則是互斥的。2.窮舉性

如果屬性值任一種組合，規(guī)則集中都存在一條規(guī)則加以覆蓋，則稱規(guī)則集具有窮舉覆蓋。它確保每一條記錄都至少被規(guī)則集里的一條規(guī)則覆蓋。2.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類2.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類器r1:（胎生=否）∧（飛行動物=是）

鳥類r2:（胎生=否）∧（水生動物=是）

魚類r3:（胎生=是）∧（體溫=恒溫）

哺乳動物r4:（胎生=否）∧（飛行動物=否）

爬行類r5:（水生動物=半）兩棲類2.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝葉斯定理的應(yīng)用假設(shè)Ｘ，Ｙ是一對隨機(jī)變量，聯(lián)合概率P（Ｘ=x,Ｙ=y）是指Ｘ取值x且Ｙ取值y的概率，條件概率是指一隨機(jī)變量在另一隨機(jī)變量取值已知的情況下取某一特定值得概率。2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝葉斯定理的應(yīng)用2.貝葉斯定理在分類中的應(yīng)用先從統(tǒng)計(jì)學(xué)的角度對分類問題加以形式化。設(shè)Ｘ表示屬性集，Ｙ表示類變量。如果類變量和屬性之間的關(guān)系不確定，可以把Ｘ和Ｙ看作隨機(jī)變量，用Ｐ(Ｙ|(zhì)Ｘ)以概率的方式捕捉二者之間的關(guān)系，這個(gè)條件概率又稱為Ｙ的后驗(yàn)概率，對應(yīng)Ｐ(Y)稱為Ｙ的先驗(yàn)概率。在訓(xùn)練階段，要根據(jù)從訓(xùn)練數(shù)據(jù)中收集的信息，對Ｘ和Ｙ的每一種組合學(xué)習(xí)后驗(yàn)概率Ｐ(Ｙ|(zhì)Ｘ)。知道這些概率后，通過找出使后驗(yàn)概率Ｐ(Ｙ|(zhì)Ｘ)最大的類Ｙ可以對測試記錄Ｘ進(jìn)行分類。2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝葉斯定理的應(yīng)用2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸素貝葉斯的應(yīng)用1.條件獨(dú)立性在研究樸素貝葉斯分類法如何工作之前，先介紹條件獨(dú)立概念。設(shè)Ｘ,Ｙ和Ｚ表示三個(gè)隨機(jī)變量的集合。給定Ｚ，Ｘ條件獨(dú)立于Ｙ，如果下面的條件成立：2.樸素貝葉斯分類器如何工作分類測試記錄時(shí)，樸素貝葉斯分類器對每個(gè)類Ｙ計(jì)算后驗(yàn)概率：2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸素貝葉斯的應(yīng)用3.樸素貝葉斯分類器特征1）在面對孤立的噪聲點(diǎn)，樸素貝葉斯分類器性能影響不大；2）面對無關(guān)屬性，樸素貝葉斯分類器性能同樣影響不大；3）相關(guān)屬性可能降低樸素貝葉斯分類器的性能。樸素貝葉斯分類法使用兩種方法估計(jì)連續(xù)屬性的類條件概率。（1）可以把每一個(gè)連續(xù)的屬性離散化，然后用相應(yīng)的離散區(qū)間替換連續(xù)屬性值。（2）可以假設(shè)連續(xù)變量服從某種概率記錄，然后使用訓(xùn)練數(shù)據(jù)估計(jì)分布的參數(shù)。2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸第二章分類2.1分類概述2.3支持向量機(jī)2.2貝葉斯決策與分類器2.4分類在實(shí)際場景中的應(yīng)用案例作業(yè)與練習(xí)大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第二章分類2.1分類概述2.3支持向量機(jī)2.2貝葉斯2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面支持向量機(jī)（SupportVectorMachine），以下簡稱SVM，成為最主要的模式識別方法之一，它可以在高維空間構(gòu)造良好的預(yù)測模型，在OCR、語言識別、圖像識別等廣泛應(yīng)用。它以扎實(shí)的統(tǒng)計(jì)學(xué)理論為基礎(chǔ)，并在許多實(shí)際應(yīng)用（如手寫數(shù)字的識別、文本分類等）中展示了不俗的實(shí)踐效果。一個(gè)數(shù)據(jù)集，包含兩個(gè)不同類的樣本，分別用小黑加號塊和小圓圈表示。數(shù)據(jù)集是線性可分的，即能找到一個(gè)超平面，使得所有小黑方塊位于這個(gè)超平面的一側(cè)，所有小圓圈在它的另一側(cè)。如圖所示，可看到這種超平面可能存在無窮多個(gè)。通過檢驗(yàn)樣本運(yùn)行效果，分類器要從這些超平面中選一個(gè)作為它的決策邊界。2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面支2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面SVM最基本的任務(wù)就是在分開數(shù)據(jù)超平面的兩邊建有兩個(gè)互相平行的超平面。分隔超平面使兩個(gè)平行超平面的距離最大化，平行超平面間的距離或差距越大，分類器的總誤差越小。分類的過程是一個(gè)機(jī)器學(xué)習(xí)的過程。設(shè)樣本屬于兩個(gè)類，用該樣本訓(xùn)練SVM得到的最大間隔超平面。在超平面上的樣本點(diǎn)也稱為支持向量。2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面S2.3支持向量機(jī)第二章分類2.3.2線性支持向量機(jī)SVMSVM算法是從線性可分情況的最優(yōu)分類超平面提出的。最優(yōu)分類面是指要求分類超平面不但能將兩類樣本點(diǎn)無錯(cuò)誤地分開，而且要使兩類的分類空隙最大。2.3支持向量機(jī)第二章分類2.3.2線性支持向量機(jī)S2.3支持向量機(jī)第二章分類2.3.2非線性支持向量機(jī)SVMSVM應(yīng)用到具有非線性決策邊界數(shù)據(jù)集上的方法，關(guān)鍵是在于將數(shù)據(jù)從原先的坐標(biāo)空間x變換到一個(gè)新的坐標(biāo)空間?（x）中，然后在新的坐標(biāo)空間中使用一個(gè)線性的決策邊界劃分樣本。1.屬性變換2.非線性支持向量機(jī)3.核函數(shù)4.支持向量機(jī)的一般特征（1）SVM學(xué)習(xí)問題可表示為凸優(yōu)化問題，利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。（2）SVM通過最大化決策邊界的邊緣來控制模型。（3）通過對數(shù)據(jù)中每個(gè)分類屬性值引入一個(gè)啞變量，SVM可應(yīng)用于分類數(shù)據(jù)。2.3支持向量機(jī)第二章分類2.3.2非線性支持向量機(jī)第二章分類2.1分類概述2.2貝葉斯決策與分類器2.4分類在實(shí)際場景中的應(yīng)用案例2.3支持向量機(jī)作業(yè)與練習(xí)大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第二章分類2.1分類概述2.2貝葉斯決策與分類器2.42.4分類在實(shí)際場景中的應(yīng)用案例第二章分類1案例：如何解決文章主題關(guān)鍵字與搜索引擎關(guān)鍵字帶來的檢索結(jié)果差異2案例：甄別新金融交易方式的欺詐行為3案例：在線廣告推薦中的分類2.4分類在實(shí)際場景中的應(yīng)用案例2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類1案例：如何解2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類1案例：如何解決文章主題關(guān)鍵字與搜索引擎關(guān)鍵字帶來的檢索結(jié)果差異在網(wǎng)頁學(xué)術(shù)性判定方面,提出了基于貝葉斯算法的網(wǎng)頁學(xué)術(shù)性判斷算法,通過對網(wǎng)頁內(nèi)容、格式、結(jié)構(gòu)三個(gè)維度的分析,完成網(wǎng)頁學(xué)術(shù)性的判定;在分類方面,以中圖法的分類大綱作為分類目錄,提出了基于改進(jìn)空間向量模型的學(xué)術(shù)網(wǎng)頁分類算法,通過利用網(wǎng)頁主題關(guān)鍵字構(gòu)建網(wǎng)頁向量空間,最后實(shí)現(xiàn)了網(wǎng)頁的正確分類。通過兩個(gè)關(guān)鍵算法,在系統(tǒng)中的網(wǎng)頁主題提取部分,采用HtmlParser技術(shù)與正則表達(dá)式相結(jié)合的網(wǎng)頁主題提取算法,實(shí)現(xiàn)對抓取的網(wǎng)頁主題內(nèi)容的獲取。2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類1案例：如何解2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類2案例：甄別新金融交易方式的欺詐行為中國工商銀行建立基于大數(shù)據(jù)技術(shù)金融交易反欺詐系統(tǒng)，針對欺詐的不同場景，給系統(tǒng)采取不同的分析維度，在海量的基礎(chǔ)數(shù)據(jù)池中，通過對客戶、產(chǎn)品、商戶、渠道等多維度，提煉出近1000個(gè)指標(biāo)、3000多個(gè)特征量。讓金融交易行為的流程數(shù)據(jù)化，構(gòu)建智能模型，為精準(zhǔn)打擊欺詐交易奠定基礎(chǔ)。在對每個(gè)客戶的歷史交易的行為數(shù)據(jù)，提煉近3000多的風(fēng)險(xiǎn)特征，結(jié)合運(yùn)用決策樹、支持向量機(jī)、邏輯回歸、神經(jīng)網(wǎng)絡(luò)等方法，構(gòu)建出不同的欺詐識別模型、識別最新欺詐模型。如圖反欺詐模型2013年12月5日，某客戶的萬事達(dá)卡短短15分鐘內(nèi)，在美國沃爾瑪超市內(nèi)發(fā)生非密碼驗(yàn)證的POS刷卡交易14筆，累計(jì)交易金額10250美元。交易金額大、交易頻繁等于客戶日常行為習(xí)慣不符，14筆交易被系統(tǒng)攔截，后經(jīng)核實(shí)發(fā)現(xiàn)這14筆交易系嫌疑人盜刷，不是客戶本人消費(fèi)。2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類2案例：甄別新2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類3案例：在線廣告推薦中的分類推薦系統(tǒng)具有用戶需求驅(qū)動、主動服務(wù)和信息個(gè)性化程度高等優(yōu)點(diǎn)，可有效解決信息過載問題。它研究大量借鑒了認(rèn)知科學(xué)、近似理論、信息檢索、預(yù)測理論、管理科學(xué)及市場建模等多個(gè)領(lǐng)域的知識，且已經(jīng)成為數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人機(jī)接口領(lǐng)域的熱門研究方向。推薦系統(tǒng)的工作原理與一般信息過濾系統(tǒng)比較類似，可以一種特殊形式的信息過濾系統(tǒng)推薦系統(tǒng)可以分為兩種：一種是獨(dú)立為信息服務(wù)系統(tǒng)，另一種是作為宿主信息服務(wù)系統(tǒng)的推薦子系統(tǒng)輔助信息、服務(wù)系統(tǒng)。2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類3案例：在線廣第2章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機(jī)2.4分類在實(shí)際場景中的應(yīng)用案例作業(yè)與練習(xí)大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第2章分類2.1分類概述2.2貝葉斯決策與分類器2.3作業(yè)與練習(xí)：作業(yè)與練習(xí)：感謝聆聽感謝聆聽第二章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機(jī)2.4分類在實(shí)際場景中的應(yīng)用案例作業(yè)與練習(xí)第二章分類2.1分類概述2.2貝葉斯決策與分類器2.32.1分類概述第二章分類2.1.1分類基本概念定義：分類是一種重要的數(shù)據(jù)分析形式。根據(jù)重要數(shù)據(jù)類的特征向量值及其他約束條件，建立分類函數(shù)或分類模型。分類模型可以用于描述性建模和預(yù)測性建模。2.1分類概述第二章分類2.1.1分類基本概念定義：2.1分類概述第二章分類2.1.2解決分類問題的一般方法分類法是一種根據(jù)輸入數(shù)據(jù)集建立分類模型的系統(tǒng)方法。它包括決策樹分類法、基于規(guī)則的分類法、支持向量機(jī)分類法、樸素貝葉斯分類法、神經(jīng)網(wǎng)絡(luò)等分類法。解決分類問題的一般方法。第一步，建立一個(gè)模型。這需要有一個(gè)訓(xùn)練樣本數(shù)據(jù)集作為預(yù)先的數(shù)據(jù)集或概念集，通過分析屬性/特征描述等構(gòu)成的樣本（也可以是實(shí)體等）建立模型。2.1分類概述第二章分類2.1.2解決分類問題的一般2.1分類概述第二章分類2.1.2解決分類問題的一般方法2.1分類概述第二章分類2.1.2解決分類問題的一般2.1分類概述第二章分類2.1.2解決分類問題的一般方法應(yīng)用模2.1分類概述第二章分類2.1.2解決分類問題的一般2.1分類概述第二章分類2.1.3決策樹1.決策樹工作原理通過提出一系列精心構(gòu)思的關(guān)于檢驗(yàn)記錄屬性的問題，解決分類問題。類問題的決策樹，樹中包含三種節(jié)點(diǎn)：*根節(jié)點(diǎn)沒有進(jìn)邊，有0條或更多條出邊；*內(nèi)部節(jié)點(diǎn)有一條進(jìn)邊，有2條或更多條出邊；*葉節(jié)點(diǎn)有一條進(jìn)邊，沒有出邊。2.1分類概述第二章分類2.1.3決策樹1.決策樹工2.1分類概述第二章分類2.1.3決策樹2.1分類概述第二章分類2.1.3決策樹2.1分類概述第二章分類2.1.3決策樹2.如何建立決策樹3.決策樹歸納算法算法2.1給出了稱作Treegrowth的決策樹歸納算法的框架。該算法的輸入是訓(xùn)練記錄集A和屬性集B。算法遞歸地選擇最優(yōu)的屬性來劃分?jǐn)?shù)據(jù)（步驟7），并擴(kuò)展樹的葉節(jié)點(diǎn)（步驟11和步驟12），直到滿足結(jié)束條件（步驟1）。2.1分類概述第二章分類2.1.3決策樹2.如何建立2.1分類概述第二章分類2.1.3決策樹3.決策樹歸納算法2.1分類概述第二章分類2.1.3決策樹3.決策樹歸2.1分類概述第二章分類2.1.3決策樹4.決策樹歸納的學(xué)習(xí)算法必須解決兩個(gè)問題（1）訓(xùn)練記錄分裂（2）停止分裂過程案例:Web機(jī)器人檢測2.1分類概述第二章分類2.1.3決策樹4.決策樹歸2.1分類概述第二章分類2.1.3決策樹5.決策樹歸納的特點(diǎn)（1）決策樹歸納是不用假設(shè)類和其它屬性服從某一分布概率，是一種構(gòu)建分類模型的非參數(shù)方法。（2）找到最佳的決策樹即決策樹獲得的不是全局最優(yōu)，是每個(gè)結(jié)點(diǎn)的局部最優(yōu)決策。（3）決策樹建立后，未知樣本分類很快。而已開發(fā)構(gòu)建的決策樹技術(shù)計(jì)算成本不高，就算訓(xùn)練集很大，也能快速建立模型。（4）決策樹相對其它分類算法更簡便，特別是小型的決策樹的準(zhǔn)確率較高。冗余屬性不會對決策樹的準(zhǔn)確率造成不利的影響。（5）決策樹算法對于噪聲干擾有較強(qiáng)的抗干擾性。（6）決策樹算法通常采用自頂向下的遞歸劃分方法，解決該問題通常是采用樣本數(shù)小于某個(gè)特定閾值時(shí)停止分裂。2.1分類概述第二章分類2.1.3決策樹5.決策樹歸2.1分類概述第二章分類2.1.4模型的過分?jǐn)M合1.模型過分?jǐn)M合的形成所謂模型過分?jǐn)M合是指訓(xùn)練數(shù)據(jù)擬合度過高的模型。2.處理決策樹歸納中的過分?jǐn)M合在這介紹兩種決策樹歸納上避免過分?jǐn)M合的策略：（1）先剪枝（提前終止）（2）后剪枝（過程修剪）2.1分類概述第二章分類2.1.4模型的過分?jǐn)M合1.第二章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機(jī)2.4分類在實(shí)際場景中的應(yīng)用案例作業(yè)與練習(xí)大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第二章分類2.1分類概述2.2貝葉斯決策與分類器2.32.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類器基于規(guī)則的分類器是使用一組“if…then…”規(guī)則來對記錄進(jìn)行分類的技術(shù)?；谝?guī)則的分類器產(chǎn)生的規(guī)則集有兩個(gè)重要性質(zhì)：1.互斥性

如果規(guī)則集中不存在兩條規(guī)則被同一條記錄觸發(fā)，則稱規(guī)則集中的規(guī)則是互斥的。2.窮舉性

如果屬性值任一種組合，規(guī)則集中都存在一條規(guī)則加以覆蓋，則稱規(guī)則集具有窮舉覆蓋。它確保每一條記錄都至少被規(guī)則集里的一條規(guī)則覆蓋。2.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類2.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類器r1:（胎生=否）∧（飛行動物=是）

鳥類r2:（胎生=否）∧（水生動物=是）

魚類r3:（胎生=是）∧（體溫=恒溫）

哺乳動物r4:（胎生=否）∧（飛行動物=否）

爬行類r5:（水生動物=半）兩棲類2.2貝葉斯決策與分類器第二章分類2.2.1規(guī)則分類2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝葉斯定理的應(yīng)用假設(shè)Ｘ，Ｙ是一對隨機(jī)變量，聯(lián)合概率P（Ｘ=x,Ｙ=y）是指Ｘ取值x且Ｙ取值y的概率，條件概率是指一隨機(jī)變量在另一隨機(jī)變量取值已知的情況下取某一特定值得概率。2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝葉斯定理的應(yīng)用2.貝葉斯定理在分類中的應(yīng)用先從統(tǒng)計(jì)學(xué)的角度對分類問題加以形式化。設(shè)Ｘ表示屬性集，Ｙ表示類變量。如果類變量和屬性之間的關(guān)系不確定，可以把Ｘ和Ｙ看作隨機(jī)變量，用Ｐ(Ｙ|(zhì)Ｘ)以概率的方式捕捉二者之間的關(guān)系，這個(gè)條件概率又稱為Ｙ的后驗(yàn)概率，對應(yīng)Ｐ(Y)稱為Ｙ的先驗(yàn)概率。在訓(xùn)練階段，要根據(jù)從訓(xùn)練數(shù)據(jù)中收集的信息，對Ｘ和Ｙ的每一種組合學(xué)習(xí)后驗(yàn)概率Ｐ(Ｙ|(zhì)Ｘ)。知道這些概率后，通過找出使后驗(yàn)概率Ｐ(Ｙ|(zhì)Ｘ)最大的類Ｙ可以對測試記錄Ｘ進(jìn)行分類。2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝葉斯定理的應(yīng)用2.2貝葉斯決策與分類器第二章分類2.2.2分類中貝2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸素貝葉斯的應(yīng)用1.條件獨(dú)立性在研究樸素貝葉斯分類法如何工作之前，先介紹條件獨(dú)立概念。設(shè)Ｘ,Ｙ和Ｚ表示三個(gè)隨機(jī)變量的集合。給定Ｚ，Ｘ條件獨(dú)立于Ｙ，如果下面的條件成立：2.樸素貝葉斯分類器如何工作分類測試記錄時(shí)，樸素貝葉斯分類器對每個(gè)類Ｙ計(jì)算后驗(yàn)概率：2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸素貝葉斯的應(yīng)用3.樸素貝葉斯分類器特征1）在面對孤立的噪聲點(diǎn)，樸素貝葉斯分類器性能影響不大；2）面對無關(guān)屬性，樸素貝葉斯分類器性能同樣影響不大；3）相關(guān)屬性可能降低樸素貝葉斯分類器的性能。樸素貝葉斯分類法使用兩種方法估計(jì)連續(xù)屬性的類條件概率。（1）可以把每一個(gè)連續(xù)的屬性離散化，然后用相應(yīng)的離散區(qū)間替換連續(xù)屬性值。（2）可以假設(shè)連續(xù)變量服從某種概率記錄，然后使用訓(xùn)練數(shù)據(jù)估計(jì)分布的參數(shù)。2.2貝葉斯決策與分類器第二章分類2.2.3分類中樸第二章分類2.1分類概述2.3支持向量機(jī)2.2貝葉斯決策與分類器2.4分類在實(shí)際場景中的應(yīng)用案例作業(yè)與練習(xí)大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第二章分類2.1分類概述2.3支持向量機(jī)2.2貝葉斯2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面支持向量機(jī)（SupportVectorMachine），以下簡稱SVM，成為最主要的模式識別方法之一，它可以在高維空間構(gòu)造良好的預(yù)測模型，在OCR、語言識別、圖像識別等廣泛應(yīng)用。它以扎實(shí)的統(tǒng)計(jì)學(xué)理論為基礎(chǔ)，并在許多實(shí)際應(yīng)用（如手寫數(shù)字的識別、文本分類等）中展示了不俗的實(shí)踐效果。一個(gè)數(shù)據(jù)集，包含兩個(gè)不同類的樣本，分別用小黑加號塊和小圓圈表示。數(shù)據(jù)集是線性可分的，即能找到一個(gè)超平面，使得所有小黑方塊位于這個(gè)超平面的一側(cè)，所有小圓圈在它的另一側(cè)。如圖所示，可看到這種超平面可能存在無窮多個(gè)。通過檢驗(yàn)樣本運(yùn)行效果，分類器要從這些超平面中選一個(gè)作為它的決策邊界。2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面支2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面SVM最基本的任務(wù)就是在分開數(shù)據(jù)超平面的兩邊建有兩個(gè)互相平行的超平面。分隔超平面使兩個(gè)平行超平面的距離最大化，平行超平面間的距離或差距越大，分類器的總誤差越小。分類的過程是一個(gè)機(jī)器學(xué)習(xí)的過程。設(shè)樣本屬于兩個(gè)類，用該樣本訓(xùn)練SVM得到的最大間隔超平面。在超平面上的樣本點(diǎn)也稱為支持向量。2.3支持向量機(jī)第二章分類2.3.1最大邊緣超平面S2.3支持向量機(jī)第二章分類2.3.2線性支持向量機(jī)SVMSVM算法是從線性可分情況的最優(yōu)分類超平面提出的。最優(yōu)分類面是指要求分類超平面不但能將兩類樣本點(diǎn)無錯(cuò)誤地分開，而且要使兩類的分類空隙最大。2.3支持向量機(jī)第二章分類2.3.2線性支持向量機(jī)S2.3支持向量機(jī)第二章分類2.3.2非線性支持向量機(jī)SVMSVM應(yīng)用到具有非線性決策邊界數(shù)據(jù)集上的方法，關(guān)鍵是在于將數(shù)據(jù)從原先的坐標(biāo)空間x變換到一個(gè)新的坐標(biāo)空間?（x）中，然后在新的坐標(biāo)空間中使用一個(gè)線性的決策邊界劃分樣本。1.屬性變換2.非線性支持向量機(jī)3.核函數(shù)4.支持向量機(jī)的一般特征（1）SVM學(xué)習(xí)問題可表示為凸優(yōu)化問題，利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。（2）SVM通過最大化決策邊界的邊緣來控制模型。（3）通過對數(shù)據(jù)中每個(gè)分類屬性值引入一個(gè)啞變量，SVM可應(yīng)用于分類數(shù)據(jù)。2.3支持向量機(jī)第二章分類2.3.2非線性支持向量機(jī)第二章分類2.1分類概述2.2貝葉斯決策與分類器2.4分類在實(shí)際場景中的應(yīng)用案例2.3支持向量機(jī)作業(yè)與練習(xí)大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第二章分類2.1分類概述2.2貝葉斯決策與分類器2.42.4分類在實(shí)際場景中的應(yīng)用案例第二章分類1案例：如何解決文章主題關(guān)鍵字與搜索引擎關(guān)鍵字帶來的檢索結(jié)果差異2案例：甄別新金融交易方式的欺詐行為3案例：在線廣告推薦中的分類2.4分類在實(shí)際場景中的應(yīng)用案例2.4分類在實(shí)際場景中的應(yīng)用案例第二章分類1案例：如何解2.4分類在實(shí)際場景中的