實(shí)驗(yàn)二-決策樹實(shí)驗(yàn)-實(shí)驗(yàn)報告參考模板

1、決策樹實(shí)驗(yàn)一、實(shí)驗(yàn)原理決策樹是一個類似于流程圖的樹結(jié)構(gòu)，其中每個內(nèi)部結(jié)點(diǎn)表示在一個屬性上的測試，每個分支代表一個測試輸入，而每個樹葉結(jié)點(diǎn)代表類或類分布。數(shù)的最頂層結(jié)點(diǎn)是根結(jié)點(diǎn)。一棵典型的決策樹如圖1所示。它表示概念buys_computer,它預(yù)測顧客是否可能購買計算機(jī)。內(nèi)部結(jié)點(diǎn)用矩形表示，而樹葉結(jié)點(diǎn)用橢圓表示。為了對未知的樣本分類，樣本的屬性值在決策樹上測試。決策樹從根到葉結(jié)點(diǎn)的一條路徑就對應(yīng)著一條合取規(guī)則，因此決策樹容易轉(zhuǎn)化成分類規(guī)則。ID3算法： 決策樹中每一個非葉結(jié)點(diǎn)對應(yīng)著一個非類別屬性，樹枝代表這個屬性的值。一個葉結(jié)點(diǎn)代表從樹根到葉結(jié)點(diǎn)之間的路徑對應(yīng)的記錄所屬的類別屬性值。 每一個非

2、葉結(jié)點(diǎn)都將與屬性中具有最大信息量的非類別屬性相關(guān)聯(lián)。 采用信息增益來選擇能夠最好地將樣本分類的屬性。信息增益基于信息論中痼的概念。ID3總是選擇具有最高信息增益(或最大痼壓縮)的屬性作為當(dāng)前結(jié)點(diǎn)的測試屬性。該屬性使得對結(jié)果劃分中的樣本分類所需的信息量最小，并反映劃分的最小隨機(jī)性或不純性”。算法偽代碼算法Decision_Tree(data,AttributeName)輸入由離散值屬性描述的訓(xùn)練樣本集data;候選屬性集合AttributeName。輸出一棵決策樹。(1)創(chuàng)建節(jié)點(diǎn)N;(2)Ifsamples都在同一類C中then(3)返回N作為葉節(jié)點(diǎn)，以類C標(biāo)記；(4)Ifattribute_l

3、ist為空then(5)返回N作為葉下點(diǎn)，以samples中最普遍的類標(biāo)記；多數(shù)表決(6)選擇attribute_list中具有最高信息增益的屬性test_attribute;(7)以test_attribute標(biāo)十出?點(diǎn)N；(8)Foreachtest_attribute的已知值v/劃分samples(9)由節(jié)點(diǎn)N分出一個對應(yīng)test_attribute=v的分支；(10令Sv為samples中test_attribute=v的樣本集合；一個劃分塊(11)IfSv為空then(12) 加上一個葉節(jié)點(diǎn)，以samples中最普遍的類標(biāo)記；(13) Else加入一個由Decision_Tree(S

4、v,attribute_list-test_attribute)返回節(jié)點(diǎn)值。三、實(shí)驗(yàn)數(shù)據(jù)預(yù)處理Age:30歲以下標(biāo)記為“1”；30歲以上50歲以下標(biāo)記為“2”；50歲以上標(biāo)記為“3”。Sex:FEMAL-“1”；MALE-“2”Region:INNERCITY-“1”；TOWN-“2”；RURAL-“3”；SUBURBAN-“4”Income:50002萬-“1”；2萬4萬-“2”；4萬以上-“3”MarriedChildrenCarMortgagePep：以上五個條件，若為“是”標(biāo)記為“1”，若為“否”標(biāo)記為“2”。Agesexregionincomemarriedchildrencarmo

5、rtgagepep121121122121122221214121221211112222121112222121121211212112112211121121213122121212221222221222211212211211221212212111212221321211122111211121113222121312212221323311121322312112313311221321312122321311111311312112313312222324312211313322112四、實(shí)驗(yàn)主函數(shù)functionmainDataSet=121121121122221214121

6、221211112222121112222121121211212112112211121121213122121212221222221222211212211211221212212111212221321211122111211121113222121312212221323311121322312112313311221321312122321311111311312112313312222324312211313322112clc;122；AttributName=111213141516171819;TreeRulesMatrix=DecisionTree(DataSet,Attr

7、ibutName)End五、實(shí)驗(yàn)結(jié)果TheDecisionTree:(TheRoot):Attribut|1Attribut|1_Attribut|1_leaf1|2_leaf2|2leaf2|3_Attribut|11Attribut|11|12|13|12leaf2|2Attribut|1_Attribut|1_leaf2|2_leaf1|2leaf1Attribut|1leaf2|2Attribut|1leaf1|2_leaf2|3leaf2，Attribut|1_leaf2|2_Attribut11leaf112Attribut11leaf112leaf2Attribut23leaf1leaf1leaf2leaf1Tree=Attribut:3Child:1x4structRulesMatrix=11101000112101000220101000230111100130121100230131100130101200210102010220102010100102020100210000200221000100222000200230000200300001200300012100300122100300222200400000