決策樹-莫咸箴溫玉婷

1、1.決策樹是什麼？ 2.決策樹如何增長(zhǎng)？ 3.選擇最好的分隔測(cè)試 4.修剪5.從樹中抽取規(guī)則6.將代價(jià)列入考量7.決策樹的進(jìn)一步改善 8.決策樹其它的表示 9.決策樹模型的應(yīng)用10.總結(jié)根節(jié)點(diǎn)(root node)子節(jié)點(diǎn)(child node)葉節(jié)點(diǎn)(leaf node)路徑代表一個(gè)規(guī)則A Binary Decision Tree第一個(gè)問(wèn)題的答案決定了下一個(gè)問(wèn)題。謹(jǐn)慎選擇問(wèn)題，短短幾次詢問(wèn)就可以將 後來(lái)的資料正確分類。目的：選擇出在依變數(shù)之中能做出最佳區(qū) 別的測(cè)試法。不同的葉節(jié)點(diǎn)可能組成同一個(gè)類別，雖然 每一個(gè)葉節(jié)點(diǎn)是由不同原因而組成的。 例子：蔬菜水果n 評(píng)分n 估計(jì)n 多種形式n分類補(bǔ)充資

2、料。允許記錄分類從很可能到最沒(méi)可能成為被 要求的種類的成員。知道A實(shí)際答覆的可能性。 Backfitting 法：葉節(jié)點(diǎn)分類比例來(lái)產(chǎn)生一 個(gè)分?jǐn)?shù) 可能性。n 估計(jì)n 多種形式n分類 迴歸樹是使用數(shù)值依變數(shù)所建立。 決策樹中選取的分隔是為了降低子節(jié)點(diǎn)的 變異。 決策樹較適合用來(lái)估計(jì)離散的變數(shù)。 迴歸式和類神經(jīng)網(wǎng)路較適合用來(lái)估計(jì)連續(xù) 的變數(shù)。n 評(píng)分n 多種形式n分類二元決策樹 (Binary tree)。三元決策樹 (Ternary tree)?；旌鲜降臎Q策樹。n 評(píng)分n 估計(jì)目的：建立一棵能指定類別的決策樹 （或各組的可能性成員）。最佳分隔：當(dāng)組群是由單一個(gè)種類所主 宰的。 潛在分隔的衡量尺度

3、：純度 (Purity)。最合適的分隔準(zhǔn)則是以依變數(shù)的類型所 定的而非自變數(shù)。圖6.4 好的分隔會(huì) 增加子節(jié)點(diǎn)的純度。數(shù)值自變數(shù)的分隔 X 訓(xùn)練集資料。橫軸：candidate trees的節(jié)點(diǎn)數(shù) 縱軸：預(yù)測(cè)準(zhǔn)確率最佳candidate subtree 所在位置Training dataValidation dataTraining dataValidation data準(zhǔn)確率緩慢上升無(wú)明確之最大值位置最佳candidate subtree為整棵樹Training dataValidation data:準(zhǔn)確率出現(xiàn)上下波動(dòng)可限制葉節(jié)點(diǎn)的資料筆數(shù)不可過(guò)小來(lái)避免此一不穩(wěn)定的情況n CART與C5未

4、能修剪掉一些不穩(wěn)定的節(jié)點(diǎn)n 訓(xùn)練集資料與驗(yàn)證集資料有很不同的預(yù)測(cè)效果節(jié)點(diǎn)Training data這兩個(gè)節(jié)點(diǎn)對(duì)訓(xùn)練集資料與驗(yàn)證集資料有很相反的結(jié)果n 看球賽而且地主隊(duì)獲勝而且跟朋友出門喝啤酒n 看球賽而且地主隊(duì)獲勝而且待在家裡喝健怡汽水n 看球賽而且地主隊(duì)輸球而且跟朋友出門喝啤酒n 看球賽而且地主隊(duì)輸球而且待在家裡喝牛奶l 喝啤酒的規(guī)則只要看球賽與朋友出門就可達(dá)到，可以將地主隊(duì)輸 贏的這項(xiàng)測(cè)試刪除，就能加以合併。 l 地主隊(duì)輸贏這項(xiàng)測(cè)試對(duì)分別健怡汽水和牛奶是相當(dāng)重要的。 n看球賽而且跟朋友出門喝啤酒n 看球賽而且地主隊(duì)獲勝而且待在家裡喝健怡汽水n看球賽而且地主隊(duì)輸球而且待在家裡喝牛奶看球隊(duì)比賽

5、?地主隊(duì)贏了嗎和朋友出去?和朋友出去?NoNoNoYesNoYesYesYes牛奶牛奶啤酒啤酒健怡汽水健怡汽水啤酒啤酒。使用一個(gè)以上的變數(shù)來(lái)分支第一位投票者 第二位投票者 第三位投票者 對(duì)結(jié)果無(wú)異議 Nay Nay Nay 無(wú)異議 Nay Nay Aye 有異議 Nay Aye Nay 有異議 Nay Aye Aye 有異議 Aye Nay Nay 有異議 Aye Nay Aye 有異議 Aye Aye Nay 有異議 Aye Aye Aye 無(wú)異議投票的所有可能組合7-1. 使用一個(gè)以上的變數(shù)來(lái)分支第一位投票者NoNoNoYesNoYesYesYes有異議有異議NoYes第二位投票者第二位投

6、票者第三位投票者第三位投票者無(wú)異議無(wú)異議無(wú)異議無(wú)異議有異議有異議有異議有異議有異議有異議這個(gè)決策樹完美的將資料分類，但需要五個(gè)內(nèi)部分隔節(jié)點(diǎn)。第一、第二、第三位投票者都投Yes?NoNoYesYes無(wú)異議無(wú)異議無(wú)異議無(wú)異議有異議有異議使用變數(shù)結(jié)合來(lái)簡(jiǎn)化決策樹，只需兩個(gè)內(nèi)部分隔節(jié)點(diǎn)，此決策樹更能表現(xiàn)分類上顯示的無(wú)異議觀念：當(dāng)所有投票人意見(jiàn)一致時(shí)，這項(xiàng)決策就是無(wú)異議。第一、第二、第三位投票者都投No?左上角和右下角的區(qū)域容易分類，但另外兩個(gè)區(qū)域就必須切割細(xì)分成更多小箱子來(lái)逼進(jìn)各區(qū)域間的邊界。箱型圖為決策樹的形式，可以將所有內(nèi)容範(fàn)圍清楚地分割。MFMMMMMMMFFFFFFFFFFFFFFFFFFFFFFFFFFFFFMMMMMMMMMMMMMMMMMMMMM1年齡