一種決策樹分類模型的設(shè)計(jì)與實(shí)現(xiàn)課件

一種決策樹分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院設(shè)計(jì)人：吳坤班級：通信四班指導(dǎo)老師：鐘清流一種決策樹分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院1課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，決策樹方法，遺傳算法等。其中決策樹分類作為數(shù)據(jù)挖掘工具和方法之一是運(yùn)用樹結(jié)構(gòu)圖的方式把數(shù)據(jù)特征直觀地表述出來，可用于對數(shù)據(jù)的分類和預(yù)測，其核心是如何構(gòu)造精度高，規(guī)模小的決策樹。課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，2課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計(jì)工具箱設(shè)計(jì)并實(shí)現(xiàn)決策樹的分類模型實(shí)驗(yàn)系統(tǒng)。決策樹分類有其特有的分類過程，本實(shí)驗(yàn)系統(tǒng)的是通過算法的實(shí)現(xiàn)使分類的過程，剪枝的過程以及分類的結(jié)果可視化。借助Matlab軟件用比較直觀、鮮明的形式——圖形、圖像來展現(xiàn)決策樹分類過程和結(jié)果。具體通過比較決策樹分類與一般的二次分類和線性分類，展現(xiàn)決策樹分類的優(yōu)勢。課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計(jì)工具箱設(shè)3決策樹分類步驟a)建立決策樹：利用訓(xùn)練樣本生成決策樹模型。開始，數(shù)據(jù)都在根節(jié)點(diǎn)遞歸的進(jìn)行數(shù)據(jù)分片b)使用決策樹對未知數(shù)據(jù)進(jìn)行分類：按照決策樹上采用的分割屬性逐層往下，直到一個(gè)葉子節(jié)點(diǎn)。c)修剪決策樹：去掉一些可能是噪音或者異常的數(shù)據(jù)。決策樹分類步驟a)建立決策樹：利用訓(xùn)練樣本生成決策樹模型。4決策樹分類步驟：決策樹表示法：決策樹分類算法訓(xùn)練集決策樹inputoutput天氣狀況風(fēng)級濕度

多云下雨

晴天高強(qiáng)正常弱YesYesNoYesNo決策樹分類步驟：決策樹分類算法訓(xùn)練集決策樹inputoutp5決策樹的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。兩種剪枝標(biāo)準(zhǔn)最小描述長度原則(MDL)做法：對決策樹進(jìn)行二進(jìn)位編碼，編碼所需二進(jìn)位最少的樹即為“最佳剪枝樹”期望錯誤率最小原則做法：對樹中的內(nèi)部節(jié)點(diǎn)計(jì)算其剪枝/不剪枝可能出現(xiàn)的期望錯誤率，比較后加以取舍決策樹的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。6系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹分類模型。顯示決策樹分類、決策樹剪枝過程，使實(shí)驗(yàn)內(nèi)容、實(shí)驗(yàn)過程、實(shí)驗(yàn)結(jié)果可視化。運(yùn)用決策樹分類得到的分類結(jié)果和一般分類相比較，展現(xiàn)決策樹分類優(yōu)勢。能對不同數(shù)據(jù)集進(jìn)行處理。系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹分類模型。7系統(tǒng)模塊架構(gòu)系統(tǒng)模塊架構(gòu)8系統(tǒng)實(shí)現(xiàn)圖形、圖像：表示數(shù)據(jù)分布－散點(diǎn)圖；表示分類區(qū)域－柵格圖；表示決策樹表示－樹結(jié)構(gòu)圖；表示決策樹代價(jià)－曲線圖；系統(tǒng)實(shí)現(xiàn)圖形、圖像：9系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能找到運(yùn)行模型所需的所有程序。系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能10線性分類界面界面1.‘散點(diǎn)圖’2.‘線性分類’3.‘區(qū)域劃分’4.‘命令解釋窗口’線性分類界面界面11決策樹分類界面界面1.決策樹分類2.決策樹構(gòu)圖3.決策樹代價(jià)測試4.選擇最佳決策樹5.決策樹剪枝。決策樹分類界面界面12散點(diǎn)顯示數(shù)據(jù)分布散點(diǎn)顯示數(shù)據(jù)分布13線性分類顯示線性分類顯示14區(qū)域劃分顯示區(qū)域劃分顯示15分類結(jié)果我們通過計(jì)算得到ans＝0.32,也就是說被錯誤分類的數(shù)據(jù)有32％之多，也就說用線性分類所得到的效果并不好。分類結(jié)果我們通過計(jì)算得到ans＝0.32,也就是說被錯誤分類16決策樹分類顯示決策樹分類顯示17決策樹構(gòu)圖決策樹構(gòu)圖18決策樹代價(jià)測試決策樹代價(jià)測試19決策樹剪枝決策樹剪枝20結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只有9%樣本被錯誤分類。從誤差比較中很容易看出決策樹分類具有更高的精度。結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只21誤差比較誤差比較22總結(jié)研究過程中所遇到的困難此課題所包含的概念、內(nèi)容、理論在本科階段并無涉及，所以掌握難度比較大。matlab雖然在矩陣、數(shù)組運(yùn)算上有優(yōu)勢，但是對于用其開發(fā)全圖形界面卻有一定難度，這也是為什么很少見到全圖形界面的Matlab系統(tǒng)軟件的原因之一。總結(jié)研究過程中所遇到的困難23總結(jié)收獲

通過本次畢業(yè)設(shè)計(jì)，我學(xué)習(xí)到了新的理論知識，掌握了一門新的編程語言，培養(yǎng)了學(xué)習(xí)能力，使自己各方面能力得到了提高。

總結(jié)收獲24感謝衷心感謝各位老師的指導(dǎo)

你們辛苦了！

感謝衷心感謝各位老師的指導(dǎo)25一種決策樹分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院設(shè)計(jì)人：吳坤班級：通信四班指導(dǎo)老師：鐘清流一種決策樹分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院26課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，決策樹方法，遺傳算法等。其中決策樹分類作為數(shù)據(jù)挖掘工具和方法之一是運(yùn)用樹結(jié)構(gòu)圖的方式把數(shù)據(jù)特征直觀地表述出來，可用于對數(shù)據(jù)的分類和預(yù)測，其核心是如何構(gòu)造精度高，規(guī)模小的決策樹。課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，27課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計(jì)工具箱設(shè)計(jì)并實(shí)現(xiàn)決策樹的分類模型實(shí)驗(yàn)系統(tǒng)。決策樹分類有其特有的分類過程，本實(shí)驗(yàn)系統(tǒng)的是通過算法的實(shí)現(xiàn)使分類的過程，剪枝的過程以及分類的結(jié)果可視化。借助Matlab軟件用比較直觀、鮮明的形式——圖形、圖像來展現(xiàn)決策樹分類過程和結(jié)果。具體通過比較決策樹分類與一般的二次分類和線性分類，展現(xiàn)決策樹分類的優(yōu)勢。課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計(jì)工具箱設(shè)28決策樹分類步驟a)建立決策樹：利用訓(xùn)練樣本生成決策樹模型。開始，數(shù)據(jù)都在根節(jié)點(diǎn)遞歸的進(jìn)行數(shù)據(jù)分片b)使用決策樹對未知數(shù)據(jù)進(jìn)行分類：按照決策樹上采用的分割屬性逐層往下，直到一個(gè)葉子節(jié)點(diǎn)。c)修剪決策樹：去掉一些可能是噪音或者異常的數(shù)據(jù)。決策樹分類步驟a)建立決策樹：利用訓(xùn)練樣本生成決策樹模型。29決策樹分類步驟：決策樹表示法：決策樹分類算法訓(xùn)練集決策樹inputoutput天氣狀況風(fēng)級濕度

多云下雨

晴天高強(qiáng)正常弱YesYesNoYesNo決策樹分類步驟：決策樹分類算法訓(xùn)練集決策樹inputoutp30決策樹的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。兩種剪枝標(biāo)準(zhǔn)最小描述長度原則(MDL)做法：對決策樹進(jìn)行二進(jìn)位編碼，編碼所需二進(jìn)位最少的樹即為“最佳剪枝樹”期望錯誤率最小原則做法：對樹中的內(nèi)部節(jié)點(diǎn)計(jì)算其剪枝/不剪枝可能出現(xiàn)的期望錯誤率，比較后加以取舍決策樹的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。31系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹分類模型。顯示決策樹分類、決策樹剪枝過程，使實(shí)驗(yàn)內(nèi)容、實(shí)驗(yàn)過程、實(shí)驗(yàn)結(jié)果可視化。運(yùn)用決策樹分類得到的分類結(jié)果和一般分類相比較，展現(xiàn)決策樹分類優(yōu)勢。能對不同數(shù)據(jù)集進(jìn)行處理。系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹分類模型。32系統(tǒng)模塊架構(gòu)系統(tǒng)模塊架構(gòu)33系統(tǒng)實(shí)現(xiàn)圖形、圖像：表示數(shù)據(jù)分布－散點(diǎn)圖；表示分類區(qū)域－柵格圖；表示決策樹表示－樹結(jié)構(gòu)圖；表示決策樹代價(jià)－曲線圖；系統(tǒng)實(shí)現(xiàn)圖形、圖像：34系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能找到運(yùn)行模型所需的所有程序。系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能35線性分類界面界面1.‘散點(diǎn)圖’2.‘線性分類’3.‘區(qū)域劃分’4.‘命令解釋窗口’線性分類界面界面36決策樹分類界面界面1.決策樹分類2.決策樹構(gòu)圖3.決策樹代價(jià)測試4.選擇最佳決策樹5.決策樹剪枝。決策樹分類界面界面37散點(diǎn)顯示數(shù)據(jù)分布散點(diǎn)顯示數(shù)據(jù)分布38線性分類顯示線性分類顯示39區(qū)域劃分顯示區(qū)域劃分顯示40分類結(jié)果我們通過計(jì)算得到ans＝0.32,也就是說被錯誤分類的數(shù)據(jù)有32％之多，也就說用線性分類所得到的效果并不好。分類結(jié)果我們通過計(jì)算得到ans＝0.32,也就是說被錯誤分類41決策樹分類顯示決策樹分類顯示42決策樹構(gòu)圖決策樹構(gòu)圖43決策樹代價(jià)測試決策樹代價(jià)測試44決策樹剪枝決策樹剪枝45結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只有9%樣本被錯誤分類。從誤差比較中很容易看出決策樹分類具有更高的精度。結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只46誤差比較誤差比較47總結(jié)研究過程中所遇到的困難此課題所包含的概念、內(nèi)容、理論在本科階段并無涉及，所以掌握難度比較大。matlab雖然在矩陣、數(shù)組運(yùn)算上有優(yōu)勢，但是對于用其開發(fā)全圖形界面卻有一定難度，這也是為什么很少見到全圖形界面的Matlab系統(tǒng)軟件的原因之一。總結(jié)研究過程中所遇到的困