分類挖掘：決策樹

莎芒油攬僧吼事蹬恥宣所疫果巴戮襲稼漏舟矮整暴狼狂滯環(huán)叼棱伙囂蠻揖分類挖掘：決策樹分類挖掘：決策樹決策樹算法概述決策樹算法最早源于人工智能的機(jī)器學(xué)習(xí)技術(shù)，用以實現(xiàn)數(shù)據(jù)內(nèi)在規(guī)律的探究和新數(shù)據(jù)對象的分類預(yù)測。決策樹算法屬于有指導(dǎo)的學(xué)習(xí)。根結(jié)點葉結(jié)點內(nèi)部結(jié)點兄弟結(jié)點2叉樹多叉樹精膜馭撂肉變蚤鬼鉗寧霸巴瘋檄學(xué)升翠途恿睜憋仁銹弦軀揪硫混償旬杭稍分類挖掘：決策樹分類挖掘：決策樹分類預(yù)測分類預(yù)測，就是通過向現(xiàn)有數(shù)據(jù)學(xué)習(xí)，使模型具備對未來新數(shù)據(jù)的分類預(yù)測能力。數(shù)據(jù)包含：輸入變量輸出變量分類和預(yù)測分類：分類型輸出變量預(yù)測：數(shù)值型輸出變量播炔兵斬肛植罩氏趾膨炭品礫葛攆涉撫胯遲棉杯答垣乙苛二丸彥媚惟泰推分類挖掘：決策樹分類挖掘：決策樹決策樹算法概述決策樹的種類：分類決策樹：樹葉結(jié)點所含樣本的輸出變量的眾數(shù)就是分類結(jié)果?；貧w決策樹：樹葉結(jié)點所含樣本的輸出變量的平均值就是預(yù)測結(jié)果。利用決策樹進(jìn)行分類預(yù)測：對新數(shù)據(jù)進(jìn)行分類預(yù)測時，只需按照決策樹的層次，從根結(jié)點開始依次對新數(shù)據(jù)輸入變量值進(jìn)行判斷并進(jìn)入不同的決策樹分支，直至葉結(jié)點為止。特點：分類預(yù)測是基于邏輯的。ifthen每個葉節(jié)點對應(yīng)一條推理規(guī)則盞醉孵濫硝炎搞澆冊擄賒茲慣恒啞怔楞葬耽轎偵格展碾碧挨燒位贛梢攝拍分類挖掘：決策樹分類挖掘：決策樹1建立決策樹，利用訓(xùn)練樣本生成決策樹模型。

開始，數(shù)據(jù)都在根節(jié)點遞歸的進(jìn)行數(shù)據(jù)分片2修剪決策樹

去掉一些可能是噪音或者異常的數(shù)據(jù)3使用決策樹對未知數(shù)據(jù)進(jìn)行分類

按照決策樹上采用的分割屬性逐層往下，直到一個葉子節(jié)點判定樹分類算法output訓(xùn)練集決策樹input1/11/2023燭費限乏近詭廉獰短拭曠斤折侖款訓(xùn)猴應(yīng)楚茁畸宿晉雪鞭頸北拽帕潛紛恃分類挖掘：決策樹分類挖掘：決策樹決策樹的核心問題第一，決策樹的生長，即利用訓(xùn)練樣本集完成決策樹的建立過程；1.如何從眾多的輸入變量中選擇一個當(dāng)前最佳的分組變量；2.如何從分組變量的眾多取值中找到一個最佳的分割點。耽瀑顧影錄橙糞凝夏棋羅法翼逆李封槐慕糠炎未替持殷沿寬謗參嚴(yán)紊寨洼分類挖掘：決策樹分類挖掘：決策樹決策樹的核心問題第二，決策樹的修剪，即利用檢驗樣本集對形成的決策樹進(jìn)行優(yōu)化處。過度擬和（overfitting）預(yù)修剪（pre-pruning）、后修剪（post-pruning）磁耽洞扔毗址帳綴蟄灶撩肆搐賣們哨摟射榴疼嘴唬鉆排耐眉瑚告涕袁灣箔分類挖掘：決策樹分類挖掘：決策樹訓(xùn)練集(train)：數(shù)據(jù)庫中為建立模型而被分析的數(shù)據(jù)元組形成訓(xùn)練集。訓(xùn)練集中的單個元組稱為訓(xùn)練樣本,每個訓(xùn)練樣本有一個類別標(biāo)記。一個具體樣本的形式可為:(v1,v2,...,vn;c);其中vi表示屬性值,c表示類別。測試集(test)：用于模型參數(shù)的估計，評估分類模型的準(zhǔn)確率。

驗證集(validation):用于模型誤差的估計。1/11/2023鉸誤瀉雪曰炎侈凈抹勁月駒音斑召庸襲僳廁歉膳軍恥喪儡絨兢庚椎鎊罕悼分類挖掘：決策樹分類挖掘：決策樹a.模型訓(xùn)練階段

訓(xùn)練集b.使用模型分類階段評估準(zhǔn)確率（測試集）對類標(biāo)號未知的新數(shù)據(jù)分類

1/11/2023孔銷足桂矛懇酌露裹壕椎澡這深蛇資工竅裔廁黎抖梳鬃侮駛灶蔣刷被雌革分類挖掘：決策樹分類挖掘：決策樹基本算法自上而下分而治之的方法開始時，所有的數(shù)據(jù)都在根節(jié)點所有記錄用所選屬性遞歸的進(jìn)行分割屬性的選擇是基于一個啟發(fā)式規(guī)則或者一個統(tǒng)計的度量(如,informationgain)停止分割的條件一個節(jié)點上的數(shù)據(jù)都是屬于同一個類別沒有屬性可以再用于對數(shù)據(jù)進(jìn)行分割1/11/2023調(diào)機(jī)懸空再緣尺捶刷柴走迫躺酗贖擰瓶村昆須闊拷垣嘗噪仟攪訝抉姑對袁分類挖掘：決策樹分類挖掘：決策樹建樹階段maketree(trainingdatat)

partition(t);

partition(datas)

if(allpointsinsareinthesameclass)thenreturn;

evaluatesplitsforeachattributea

usebestsplitfoundtopartitionsintos1ands2;

partition(s1);

partition(s2);1/11/2023饞淑頗艷坊賣幾呢眷則肥蝕綿駒惺神腹哈量烈著豫欲傳據(jù)奧趣咱固呼盎宴分類挖掘：決策樹分類挖掘：決策樹屬性選擇度量標(biāo)準(zhǔn)－－分支指標(biāo)信息增益——informationgain（id3）增益比率——gainration（c4.5,c5.0）基尼指數(shù)——giniindex

(sliq，sprint)

…………1/11/2023韶甩把擔(dān)九怨袍家聘礬粱貢節(jié)錫艙泥朝瀾互答謬椎顛馳剁艱斥濟(jì)拘唐偉朱分類挖掘：決策樹分類挖掘：決策樹1、信息是用來消除隨機(jī)不確定性的度量。信息量的大小可由所消除的不確定性大小來計量。信息量的數(shù)學(xué)定義：2、信息熵是信息量的數(shù)學(xué)期望，是信源發(fā)出信息前的平均不確定性，也稱先驗熵，信息熵的數(shù)學(xué)定義為：信息論的基本概念傭賭浮掛盜仕弧編沫丫圭瞧絢貞姐忱安覺娩蠟?zāi)肴姹箨愲]盂竭片申挪菜匪分類挖掘：決策樹分類挖掘：決策樹1、信源熵h(x)信源熵是度量整個信源x整體的平均不確定性，也稱先驗熵。2、條件熵h(x/y)條件熵是一個確定值，表示收信者在收到y(tǒng)后，信源x仍然存在的不確定度，也稱為后驗熵。3、互信息量熵差h(x)－h(huán)(x/y)是不確定性的消除，即互信息才是接收端所獲得的信息量。1/11/2023嚎聯(lián)莎縫襪纖叼鈞重澆興桌榷廣兜腸前裸嚨探穴愚椰阻鐳雇吊軟建萌暈尚分類挖掘：決策樹分類挖掘：決策樹

id3算法是借用信息論中的互信息尋找訓(xùn)練集具有最大信息量的屬性字段，建立決策樹的一個節(jié)點，再根據(jù)該屬性字段的不同取值建立樹的分支;在每個分支子集中重復(fù)建立樹的下層節(jié)點和分支過程。

1/11/2023擎尹巨獰櫻絡(luò)屏瞇故蛔棕這胚柯眉柯僚鉑孩靈哺仟餾糊驅(qū)短伐檸攜零喊秘分類挖掘：決策樹分類挖掘：決策樹1/11/2023瑟及好狗耙逆鱉哼瑯窩帶鍍耀極清閩犧呂簽潭往鑼抨政予霍葵裸睜話鉑屎分類挖掘：決策樹分類挖掘：決策樹id3tree(t，t-attributelist)t為樣本空間，t-attributelist為屬性集。(1)創(chuàng)建根結(jié)點n。(2)ift都屬于同一類c，則返回n為葉結(jié)點，標(biāo)記為類c。(3)ift-attributelist為空或t中所剩的樣本數(shù)少于某給定值，則返回n為葉結(jié)點，標(biāo)記為t中出現(xiàn)最多的類。(4)

foreacht-attributelist中的屬性，計算信息增益informationgain。(5)結(jié)點n的分裂屬性為t-attributelist中具有最高信息增益的屬性。(6)

foreach由結(jié)點n長出的新結(jié)點{if該結(jié)點對應(yīng)的樣本子集只有唯一的一種決策類別，則將該結(jié)點標(biāo)記為該類別的葉結(jié)點;else在該結(jié)點上執(zhí)行id3tree(t’，t’-attributelist)，對它繼續(xù)進(jìn)行分裂;}其中，t’為由結(jié)點n劃分而來的子集，t’-attributeslit為去除被選分裂屬性后的屬性集。1/11/2023壁證絕塵視尾攣藥方詭鄰攆盆苦顯鈍徊滲恤生數(shù)格芳固貝卒宇訝朝餒湃默分類挖掘：決策樹分類挖掘：決策樹用決策樹考察某顧客是否會購買pc年齡收入是否學(xué)生信用購買pc<=30高否中否<=30高否優(yōu)否31~40高否中是>40中否中是>40低是中是>40低是優(yōu)否31~40低是優(yōu)是<=30中否中否<=30低是中是>40中是中是<=30中是優(yōu)是31~40中否優(yōu)是31~40高是中是>40中否優(yōu)否顧客數(shù)據(jù)表1/11/2023慨踴養(yǎng)夯駛鄧窟確鎳韶婆退蕉堰郡欄漏樓葵全這遲伺吧藕弛哮掐朗遮躥攢分類挖掘：決策樹分類挖掘：決策樹類標(biāo)號屬性為購買pc，它有兩個不同的值(“是”、“否”)，即有兩個不同的類，m=2；設(shè)p對應(yīng)“是”，n對應(yīng)“否”，則p=9，n=5。1)創(chuàng)建根結(jié)點先計算對給定樣本分類所需的期望信息。=0.94下面計算每個屬性的熵。從年齡開始計算。年齡=“<=30”： p11=2，n11=3i(p11，n11)=0.971年齡=“30~40”： p12=4，n12=0i(p12，n12)=0年齡=“>40”： p13=3，n13=2i(p13，n13)=0.971如果樣本按年齡劃分，對一個給定的樣本分類所需的期望信息如下

=0.694因此，這種劃分的信息增益是：gain(年齡)=i(p，n)-e(年齡)=0.246。同理可得gain(收入)=0.029gain(是否學(xué)生)=0.151gain(信用)=0.048在所有的屬性中，年齡的信息增益最高，被選作測試屬性。創(chuàng)建一個根結(jié)點，用年齡標(biāo)記，并對每個屬性值引出一個分支。1/11/2023陰準(zhǔn)分言佳黍輯銷鈣傳蛛亂磐生薄翱刑完褲裹烈緩會撕庶楞秒獅撂襄掙木分類挖掘：決策樹分類挖掘：決策樹2)分支建立考慮分支“年齡=‘<=30’”的結(jié)點。因為gain(收入)=0.571gain(學(xué)生)=0.971gain(信用)=0.02所以分支“年齡=‘<=30’”結(jié)點的測試屬性為“學(xué)生”?？紤]分支“年齡=31~40”的結(jié)點，由于所有記錄屬于同一類別“是”，所以分支“年齡=‘31~40’”的結(jié)點為葉結(jié)點?？紤]分支“年齡=‘>40’”的結(jié)點。因為gain(收入)=0.02gain(學(xué)生)=0.02gain(信用)=0.971所以分支“年齡=‘>40’”結(jié)點的測試屬性為“信用”?？紤]分支“學(xué)生=‘否’”的結(jié)點，由于所有記錄屬于同一類別“否”，所以分支“學(xué)生=‘否’”的結(jié)點為葉結(jié)點?？紤]分支“學(xué)生=‘是’”的結(jié)點，由于所有記錄屬于同一類別“是”，所以分支“學(xué)生=‘是’”的結(jié)點為葉結(jié)點。考慮分支“信用=‘優(yōu)’”的結(jié)點，由于所有記錄屬于同一類別“否”，所以分支“信用=‘否’”的結(jié)點為葉結(jié)點。考慮分支“信用=‘中’”的結(jié)點，由于所有記錄屬于同一類別“是”，所以分支“信用=‘是’”的結(jié)點為葉結(jié)點。1/11/2023目詫俐葡懂松貌吼廈滬墻癬限均昭幣剝晰神亦厲帕炊歉給照忍痰氓辯邵戚分類挖掘：決策樹分類挖掘：決策樹建立的決策樹：1/11/2023朝列兩各內(nèi)舌蝸哉唱汀葡栽河倫鞋彪覺葫效絮蹋猖肖漫滴視誘操貴輥演磁分類挖掘：決策樹分類挖掘：決策樹1/11/2023丘撿果巍活揮柳頭蔡量孿造艷跳仰撥贓傈騰偉瓦恭河都疊涯擱詐昭柏侯杜分類挖掘：決策樹分類挖掘：決策樹c4.5(c5.0)算法1993年由quinlan提出，采用信息增益比(信息率)來選擇屬性?？朔蜻x擇取值較多屬性的缺點用閾值對屬性劃分，即把訓(xùn)練集中該屬性的所有值劃分到不同的區(qū)間中。用最常見值代替未知值規(guī)則存于二維數(shù)組中如：視為youth;視為middle_aged;

視為senior.畏辱盆奶毯頃猴偶萌橡翅耶途貝潛增民饑云文妹戍樊血皺達(dá)笨姬刻貝徒矣分類挖掘：決策樹分類挖掘：決策樹logowhy？信息增益度量偏向于有許多輸出的測試，即它傾向于選擇具有大量值的屬性。舉個極端的例子：考慮充當(dāng)唯一標(biāo)識的屬性pid。對pid的分裂將產(chǎn)生大量劃分（與樣本個數(shù)一樣多），每個分類只包含一個樣本，且每個劃分都是純的。對屬性pid劃分得到的信息增益最大，顯然，這種劃分對分類沒有用處。鋸磺乓鯨是句蚌重明柜波冶貧傷菊殺鉚俏胰剖荊奮腫蓖檬添并潞勛醫(yī)喻酞分類挖掘：決策樹分類挖掘：決策樹logo

使用分裂信息(splitinformation)將信息增益規(guī)范化。該值表示數(shù)據(jù)集按屬性測試的個劃分產(chǎn)生的信息。增益率：選擇具有最大信息率的屬性作為分裂屬性。尾鉻轎通眷盲臃耕釩著楊次示舒坪攀緝誼警怠梯潞納矩賊存珠葫蟲耿瑤抹分類挖掘：決策樹分類挖掘：決策樹增益率income其他屬性的信息率可類似求出。害添舊齲苞賦撅侄乍堰鵝迷養(yǎng)疼原蜂磁八陶竿嘩撻紐聘巍茶惡蘊前茲忘呆分類挖掘：決策樹分類挖掘：決策樹在實際通信之前（決策樹建立之前），輸出變量對信宿來講是完全隨機(jī)的，其平均不確定性為：決策樹建立過程中，隨著信宿接收到信息（輸入變量如t1），則條件熵為：信息增益：t1作為最佳分組變量而非t3將輸出變量（是否購買）看作信源發(fā)出的信息u輸入變量看作是信宿接收到的一系列信息v渦昌醒吶頤咖程伴舅吟踩坪略以情途纂攻漬欄冕躁埋楷兜澈床崖偵暮甥楔分類挖掘：決策樹分類挖掘：決策樹類別值多的輸入變量比少的有更多的機(jī)會成為當(dāng)前最佳分組變量c5.0算法:信息增益率信息增益率的數(shù)學(xué)定義為：騷撤跟翔壁撩年腺剁棵頌馮棒床朝妊宇肚襲源晾剮嗡旬蚌呆撬臘一箍奄梭分類挖掘：決策樹分類挖掘：決策樹數(shù)值型輸入變量首先對它進(jìn)行分組處理，分組方法采用基于mdlp的熵分組方法2、c5.0算法：數(shù)值型輸入變量昨綿膳孝馴樟糕痹丙釩卞丈例畔載絹擅釀直內(nèi)暢鼻摩氈灌惑裂押枝狠銥掣分類挖掘：決策樹分類挖掘：決策樹把連續(xù)值屬性的值域分割為離散的區(qū)間集合。基于mdlp的熵分組方法。（minimundescriptionlengthprinciple）信息增益大于編碼長度1/11/2023蝎恬凡球琳鋤艘悅泵狗枷凱歐陰則舞詛瞧驚抓城硫餾鞘掉認(rèn)綢站討賤堅腫分類挖掘：決策樹分類挖掘：決策樹選擇最佳分組變量時，通常將帶有缺失值的樣本當(dāng)臨時剔除樣本看待，并進(jìn)行權(quán)數(shù)調(diào)整

3、c5.0算法:對缺失值問題的處理計算輸出變量熵計算關(guān)于t1的條件熵計算經(jīng)權(quán)數(shù)調(diào)整的t1信息增益計算信息增益率鋅拄昭謗境釣慘訴噬韋漢誰一歲悉推嗎鉑遭嫩疫呆蹋翰愚霍睜加娠鞭訊獨分類挖掘：決策樹分類挖掘：決策樹不繼續(xù)確定關(guān)于分組變量的最佳分割點分類型輸入變量：k叉樹數(shù)值型輸入變量：2叉樹clementine：chimerge分箱法在分組變量上取缺失值：第1個樣本被分配到各組中的權(quán)數(shù)分別為5/13、3/13、5/13，之后各組的樣本數(shù)分別為5＋5/13、3＋3/13、5＋5/13

4、c5.0算法:最佳分割點絡(luò)碌輪望袁頓峨李跋蠅宛掠乓貓蜀陷年聾皮炭岳豬武筐來閃餞勤禍所尺戶分類挖掘：決策樹分類挖掘：決策樹后修剪方法從葉結(jié)點向上逐層剪枝，關(guān)鍵是錯誤率即誤差的估計問題通常應(yīng)在檢驗樣本集上估計誤差并進(jìn)行剪枝利用統(tǒng)計中置信度的思想直接在訓(xùn)練樣本集中估計誤差：當(dāng)為0.25時，5、c5.0算法：剪枝窖趁舅糊獻(xiàn)蓋肄享盾仕桿繼諷蔬疥狗賓路取名州歧斜洼刁纖榜陽奮對縣繩分類挖掘：決策樹分類挖掘：決策樹按照“減少－誤差（reduce-error）”法判斷是否剪枝c5.0算法：剪枝考慮是否可以剪掉最下層的3個葉結(jié)點3個結(jié)點的錯誤率：分別為：0.55、0.91、0.55；加權(quán)：計算父結(jié)點c的誤差估計為0.50。由于0.60大于0.50，因此可以剪掉3個葉結(jié)點。近鈞吩樊點米又桑長盤祖共滄餅樣訪爸鯉虛倫溯冀競敗篆絡(luò)脖罷筒再拇汲分類挖掘：決策樹分類挖掘：決策樹預(yù)測的置信度（或誤差）會影響決策，錯判的損失也會影響決策損失矩陣：6、c5.0算法：損失矩陣預(yù)測值yesno實際值yes0mnon0默薔峨咕汽狹饅央迫鄒蒙堿豈躥因參漿戲蒜麓轅訂肋躊精癌觀泰戌謂粟零分類挖掘：決策樹分類挖掘：決策樹從損失角度決策，在各類錯判損失不相等時（不能僅從置信角度判斷。事實上，默認(rèn)在損失相同時才考慮置信度）：

c(i|j)是將j類錯判為i類的損失，p(j|t)是被節(jié)點t判為j類的歸一化概率c5.0算法：損失矩陣蛹奧敦大臻衛(wèi)旱劉渭鴻妖轟淚礫氈木燙斧叔書愛鄧夷沿?fù)炫啪嵋霰颊虠澱榉诸愅诰颍簺Q策樹分類挖掘：決策樹c5.0僅在剪枝時考慮損失，以二分類為例：c5.0算法：損失矩陣示例：取偽損失較大，給出yes判斷的置信度都很高。模型復(fù)雜，決策樹修剪程度低；如果取偽損失指定為10，則模型都判為no禾褥熬工晌吳鴦遙繹醛森鄭羌裁喜瑞改菲危恰任腕瞻捕流壤硼憚呢鎬跪禾分類挖掘：決策樹分類挖掘：決策樹偏差和方差決策樹算法具有一定的不穩(wěn)健性，可以考慮利用多組樣本建立多個模型，形成模型“委員會”制度bagging技術(shù)boosting技術(shù)c5.0算法：模型“委員會”姻錳忍猴冠爐咖成葛鎮(zhèn)嗆荒龔影羊舞夠阿粟賽書廚奎蛻藐悶張迂全贛篇澳分類挖掘：決策樹分類挖掘：決策樹建模過程（輸入：訓(xùn)練樣本集t，訓(xùn)練次數(shù)k；輸出：多個決策樹模型c1,c2,…ck)fori=1,2,…,kdo從t中隨機(jī)有放回抽取樣本，形成有相同樣本容量的樣本集合ti以ti為訓(xùn)練集構(gòu)造模型ciendfor決策過程（輸入：新數(shù)據(jù)x，多個決策樹模型c1,c2,…ck；輸出：分類預(yù)測結(jié)果c(x)）fori=1,2,…,kdo根據(jù)ci對x做預(yù)測，結(jié)果為ci(x)endfor統(tǒng)計各類別得票，得票數(shù)最高的為c(x)，或計算平均值

c5.0算法：bagging技術(shù)毅元波挖果胳訪墜剿圣柯佯狼雷卡吭毋赤避救斌餌法欄殆帆龍跋瑩宿拾府分類挖掘：決策樹分類挖掘：決策樹兩個階段：建立k個模型；k個模型投票c5.0算法：boosting技術(shù)妻蔽豢廣撤跋否世隘綠踴錯特宵浙誤勝姥擯蛛濤俺招跡爛裳髓夯諾鑲鷗文分類挖掘：決策樹分類挖掘：決策樹boosting技術(shù)：建模過程初試化樣本權(quán)數(shù)：wj(i)=1/n對每次迭代：根據(jù)樣本權(quán)數(shù)wj(i)，從t中有放回地抽取n個樣本形成訓(xùn)練樣本集ti；根據(jù)訓(xùn)練集ti得到模型ci；計算模型的誤差e(i)如果e(i)>0.5或者e(i)=0，則終止建模過程；c5.0算法：boosting技術(shù)鉚詢廬嘩糞推瑚映婚譜卜扶犀鉆島禾梯天水坪癡跡梆臂階黎灘幾主糾端征分類挖掘：決策樹分類挖掘：決策樹boosting技術(shù)：建模過程初試化樣本權(quán)數(shù)：wj(i)=1/n對每次迭代：根據(jù)誤差更新每個樣本的權(quán)數(shù)：正確分類的樣本權(quán)數(shù)：wj(i+1)=wj(i)*?(i)，?(i)＝e(i)/(1-e(i))；錯誤分類的樣本權(quán)數(shù)保持不變：wj(i+1)=wj(i)；調(diào)整wj(i+1)使得各樣本的權(quán)重之和等于1經(jīng)過k次迭代，將得到k個模型和k個誤差c5.0算法：boosting技術(shù)闌粟撫漠富瞇轅峪陳謎椅我妓溢味篡擾儒肚攔補(bǔ)迫隧繭筆鬼幟纏暖昏擱軍分類挖掘：決策樹分類挖掘：決策樹boosting技術(shù)：投票過程（決策過程）采用加權(quán)投票，給不同的模型賦予不同的權(quán)數(shù)，權(quán)數(shù)與模型的誤差成反比，具體為：對新樣本x，每個模型ci都給出預(yù)測值ci(x)，給預(yù)測類ci(x)加權(quán)：求各類權(quán)數(shù)的總和，總權(quán)數(shù)最高的類即為最終的分類結(jié)果bagging與boosting技術(shù)的比較boosting示例c5.0算法：boosting技術(shù)敷佑瓢梧斬餒樟研鄲屠諄史竭發(fā)摧奔迂鬼針柜酥義鈾安緘莎堡罪篙隔晝平分類挖掘：決策樹分類挖掘：決策樹交叉驗證：對于n折交叉驗證，則在訓(xùn)練樣本集合中重抽樣n組樣本建立n個模型，并計算每個模型訓(xùn)練樣本集上的預(yù)測精度，且給出n個模型預(yù)測精度的平均值和標(biāo)準(zhǔn)差未剪枝的決策樹pruningseverity中輸入置信度。默認(rèn)為100%－25%。值越大樹越精簡，預(yù)測精度會不理想（誤差較高）；需要反復(fù)嘗試c5.0算法：其他反湯儲屏序嗜柳倔盛肆棒柜嚷燃鍬喻爸七襪臣富獎空祿豢跟駁患竹頑籃甕分類挖掘：決策樹分類挖掘：決策樹c5.0算法：推理規(guī)則直接從決策樹得到推理規(guī)則很容易決策樹對邏輯關(guān)系的表述不是最簡潔的abccddyesnoyesnoyesnonoyyyyyynnnnnnifaandbthenyesifcanddthenyesotherwiseno租莉庫疊掌靛僻氓泳骯跌譯還挑綻峪膨份地載范拜癡汪距血何漸役謙錐必分類挖掘：決策樹分類挖掘：決策樹生成推理規(guī)則的一般算法是prism(patientruleinductionspacemethod)算法，cendrowska于1987年提出.是一種“覆蓋”算法,所生成的規(guī)則在訓(xùn)練樣本集上是100％正確的

確定期望類別:yes年齡段=a(2/5)，年齡段=b(4/4)，年齡段=c(3/5)，性別=0(6/8)，性別=1(3/6)if年齡段=bthen是否購買=yes規(guī)則100％正確，更新數(shù)據(jù)集：某豐語越郎初緣體蓬暮藐圣暖弦半腮飛呆兢壩顯孫朗遞擇前涕存寞朵材慧分類挖掘：決策樹分類挖掘：決策樹規(guī)則100％正確，更新數(shù)據(jù)集年齡段=a(2/5)，年齡段=c(3/5)，性別=0(4/6)，性別=1(1/4)if性別=0then是否購買=yes

年齡段=a(1/3),年齡段=c(3/3)if性別=0and年齡段=cthen是否購買=yes協(xié)濤愁疚旋鳴籌嫂愛券甘溉寄敬蛹悶駭盎娃農(nóng)錨炬話梳抹瑣葦濫約朵擄紉分類挖掘：決策樹分類挖掘：決策樹年齡段=a(2/5)，年齡段=c(0/2)，性別=0(1/3)，性別=1(1/4)if年齡段=athen是否購買=yes性別=0(1/3)，性別=1(1/2)if年齡段=aand性別=1then是否購買=yes(略去)末耍新灸且雙澄蛋襪遂侵澀紹臼妙染蔑共蜜野涂級戮簧二詛渺猙林坎遵娛分類挖掘：決策樹分類挖掘：決策樹c5.0算法：推理規(guī)則利用規(guī)則集合對樣本進(jìn)行分類可能產(chǎn)生的問題：樣本可能符合多個分類結(jié)果相同的規(guī)則樣本可能符合多個分類結(jié)果不相同的規(guī)則樣本不符合任何規(guī)則示例：推理規(guī)則的預(yù)測置信度是普拉斯估計器調(diào)整后的結(jié)果

悅?cè)负p醒徹呵世進(jìn)幌揚嗅蛹亡貫俄劣緝摔反儉作銻勝鷹薛擾乍砒菌擱椰分類挖掘：決策樹分類挖掘：決策樹模型評價analysis結(jié)點對比模型在訓(xùn)練樣本集和檢驗樣本集上的性能差異對比不同模型的性能確定相對合理的置信水平折：如果總體的正確率為90%，錯誤率為10%，則2折表示10%的一半，即錯誤率下降一半（2折，3折為33%）。如果改進(jìn)2折，則總體正確率為95%，c5.0算法：模型的評價焦袖匙山唯符茵侄茹安勛乏裙畦碩霸嘴商寅站烙加耕羔汁較吾環(huán)茶達(dá)瀕紉分類挖掘：決策樹分類挖掘：決策樹1/11/2023r中的實現(xiàn)r中決策樹的實現(xiàn)，主要用到四個軟件包：1、rpart:用于建立二分類樹及相關(guān)遞歸劃分算法的實現(xiàn)；2、rpart.plot：專用來對rpart模型繪制決策樹；3、maptree：用來修剪、繪制不僅僅局限于rpart模型的樹型結(jié)構(gòu)圖；4、rweka：提供了r與weka的連接，weka中集合了用java編寫的一系列機(jī)器學(xué)習(xí)的算法。5、c50:運用c5.0算法建立決策樹算法名稱軟件包核心函數(shù)cartrpartrpart()、prune.rpart()、post()rpart.plotrpart.plot()map