數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)第六章決策樹(shù)

1、第 6 章 決策樹(shù)方法6.1 信息論的基本原理6.1.1 信息論原理6.1.2 互信息的計(jì)算1. 定義2. 出現(xiàn)概率3. 條件概率4. 子集概率5. 子集條件概率6. 信息熵7. 互信息6.2 常用決策樹(shù)算法6.2.1ID3 算法1. 基本思想»61訓(xùn)紡樣本篇編號(hào)性至別氣溫濕度鳳力1熱無(wú)風(fēng)N2熱適中無(wú)風(fēng)N3器云高無(wú)鳳F4W適中高無(wú)風(fēng)P5雨正常無(wú)風(fēng)P6冷正常有風(fēng)N7多云冷正常有風(fēng)Pg適中高無(wú)風(fēng)N9睛正常無(wú)鳳P10適中正常無(wú)鳳P11適中正常有風(fēng)F12家云適中高有鳳F13正常無(wú)風(fēng)P14雨適中高有風(fēng)N天氣圖6-1ID3決策樹(shù)2. 主算法圖6-2ID3算法流程3. 建樹(shù)算法4. 實(shí)例計(jì)算6.2

2、.2C4.5 算法1信息增益比例的概念2. 連續(xù)屬性值的處理3. 未知屬性值的處理4. 規(guī)則的產(chǎn)生5. 案例計(jì)算溫度濕度鳳婪別執(zhí)/I l b>75無(wú)適合熱>75不適合適巾>75無(wú)適合冷75無(wú)適合睹 八菩社 雨溫度濕度鳳類(lèi)刖 熱>75無(wú)適合冷7SU 適合適巾>75 首適合 熱頁(yè)無(wú)適合溫度濕麼鳳類(lèi)別適中>75無(wú)適合冷>?5無(wú)適合冷75有不適會(huì)適中>75無(wú)適合適中>75不適合圖6-4C4.5算法形成的決策樹(shù)表卜2 C4円算穗訓(xùn)域樣本集編號(hào)屬n類(lèi)別天氣氣盥輕度鳳晴S5無(wú)鳳N2熱90無(wú)鳳N3參云78無(wú)風(fēng)F4適中96無(wú)鳳P5冷80無(wú)風(fēng)P670有鳳N7爭(zhēng)

3、云冷£5有風(fēng)P8睛適中95無(wú)風(fēng)N9冷70無(wú)風(fēng)P10.雨適中80無(wú)風(fēng)P11適中70有風(fēng)P13務(wù)云適中90有風(fēng)P13案云熱75無(wú)風(fēng)P14南適中80冇鳳N6.3決策樹(shù)剪枝631先剪枝后剪枝6.4由決策樹(shù)提取分類(lèi)規(guī)則獲得簡(jiǎn)單規(guī)則I-'J圖6-5決策樹(shù)642精簡(jiǎn)規(guī)則屬性« « 3 規(guī)則農(nóng)蓋實(shí)例暑Class C英他類(lèi)満足條件為Y1E1潢足條件為，怛不滿(mǎn)足X¥2E26.5利用SQL Server 2005進(jìn)行決策樹(shù)挖掘數(shù)據(jù)準(zhǔn)備挖掘模型設(shè)置W6 4列的用法字段名稱(chēng)列的用法字段窖稱(chēng)列的用法ID雄列客戶(hù)狀態(tài)輸人列客戶(hù)名稱(chēng)輸入列重點(diǎn)標(biāo)志輸入列客戶(hù)類(lèi)母輸入列可疑預(yù)測(cè)列經(jīng)

4、濟(jì)性質(zhì)輸入列預(yù)測(cè)列隸屬關(guān)系輸入列正常預(yù)測(cè)列關(guān)注輸人列余新預(yù)測(cè)列法人資格輸人列預(yù)測(cè)列挖掘流程圖6-6選擇數(shù)據(jù)挖掘技術(shù)圖6-7選擇數(shù)據(jù)源視圖孰塀總坷向?qū)D6-8指定表類(lèi)型洽定定at簞躍 折走比斬中承用能列a a*1鍛刁Q:曲初sffmu.SAJSW疏理:祕(mì)住厲則柱審尸代周窖戶(hù)兇且:若好峯戶(hù)狀:麻口事曜關(guān)廉m天*需止笫口:S.Q再 551 «>! M入圖*SifliaSfinesrfPiilHSHFEi »V<|鎧岡ID圖6-9指定定型數(shù)據(jù)用壬列的內(nèi)無(wú)和帝悵英那扭定初的秋功內(nèi)盤(pán)和蝕翳真亂W向 SPSS事ft年酸冋 JDKjefLrmg皴恵憾si向?PS®SF

5、ttibDtsa-ie-正審曲#主i Qifcrusj;Tr*tTtwJl boubfa"處l«iVi皿 Cc4.ht DuUA T我:.丄步個(gè) f-±. 芳畑 r恥旳圖6-10指定列的內(nèi)容和數(shù)據(jù)類(lèi)型超向?qū)А蓖拥诮Y(jié)杓出供念幣“從而亮成數(shù)18據(jù)悔向號(hào).t頤】FSE15S.3SKD）：|心】1| 允汗訥預(yù)冷加祐幣 2 強(qiáng)性 類(lèi)J； 甌AS京璉戶(hù).1 D次攔壬雖可S* 烏JFi也曲也FiE rpnd-a<ai詢(xún)加 II 聖泊圖6-11完成數(shù)據(jù)挖掘結(jié)構(gòu)的創(chuàng)建挖掘結(jié)果分析圖6-12挖掘得到的“次級(jí)”決策樹(shù)圖6-13挖掘得到的依賴(lài)關(guān)系圖圖6-14 “余額”結(jié)點(diǎn)的依賴(lài)關(guān)系

6、圖圖6-15與“余額”結(jié)點(diǎn)鏈接強(qiáng)度最強(qiáng)結(jié)點(diǎn)示意圖表&5 “余韻"結(jié)點(diǎn)鐵勃關(guān)靈表預(yù)測(cè)結(jié)點(diǎn)決鹽結(jié)點(diǎn)依袒關(guān)系強(qiáng)弱順序余額竄要標(biāo)志1隸屬關(guān)累2客戶(hù)類(lèi)型3軽群地質(zhì)4容戶(hù)狀巒5扶人資格6挖掘性能分析卩柵RiVJriMSn-mi-i I|j* 母更阿+ Iww-li"* >-dtSi：+l m星 na湖 |&nmi顯 & nm顯,.耳乎 nmmii廠(chǎng) nmiEiwi :*W 剜田T M ii-ilnh SiiTh ! B 2 WiCiw.*I Vhd-¥l Siafh注斑O W.i-pIi+I L M.ltnii 痂離aIT囲舟電 £&#

7、171;¥->-AH «住也那 A i* h*A H割Dtttl圖6-16列映射圖立悴囚1UD1I HO>EI ±AE>輦甲去 EAHbn »ts> UlJD El蟄曲p flfeoii kJ 淨(jìng)Qb Ti>3RD«» a 月看全 iE F .函麗apt s igb 歯?。?i jmm jT M鼻糜阿 * iMW- diJ K-UrilEl 乜 E«il->>- 白比肚“ ElflU-i!盃隹聲鼻口 氏 I » I OhM4 ra湖| & nmg 晶nmi銳配 丄nm電麗一掙nmipiw巒科！I卻S Hj?qaim皿/IF臨和的疳|£敢抒升畫(huà)：1 E 1越 E ®W«>K* 學(xué) 3faMJriK hrrmi-i Q l|/予til 任0斟5Wwlid圖6-17屬性“次級(jí)”的預(yù)測(cè)提升圖習(xí)題61. 概率分布0:0625;0:0625;0:125;0:5 的熵是多少？2. 汽車(chē)保險(xiǎn)例子。假定訓(xùn)練數(shù)據(jù)庫(kù)具有兩個(gè)屬性：年齡和汽車(chē)的類(lèi)型。年齡序數(shù)分類(lèi)。汽車(chē)類(lèi)型一一分類(lèi)屬性。類(lèi)一一L:低（風(fēng)險(xiǎn)）,H:高（風(fēng)險(xiǎn)）。年齡汽車(chē)類(lèi)型類(lèi)>21MrutiL>21HyundaiH<21Ma