一種決策樹(shù)分類模型的設(shè)計(jì)與實(shí)現(xiàn)課件

一種決策樹(shù)分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院設(shè)計(jì)人：吳坤班級(jí)：通信四班指導(dǎo)老師：鐘清流一種決策樹(shù)分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院1課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，決策樹(shù)方法，遺傳算法等。其中決策樹(shù)分類作為數(shù)據(jù)挖掘工具和方法之一是運(yùn)用樹(shù)結(jié)構(gòu)圖的方式把數(shù)據(jù)特征直觀地表述出來(lái)，可用于對(duì)數(shù)據(jù)的分類和預(yù)測(cè)，其核心是如何構(gòu)造精度高，規(guī)模小的決策樹(shù)。課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，2課題研究目的主要目的：利用matlab開(kāi)發(fā)平臺(tái)和統(tǒng)計(jì)工具箱設(shè)計(jì)并實(shí)現(xiàn)決策樹(shù)的分類模型實(shí)驗(yàn)系統(tǒng)。決策樹(shù)分類有其特有的分類過(guò)程，本實(shí)驗(yàn)系統(tǒng)的是通過(guò)算法的實(shí)現(xiàn)使分類的過(guò)程，剪枝的過(guò)程以及分類的結(jié)果可視化。借助Matlab軟件用比較直觀、鮮明的形式——圖形、圖像來(lái)展現(xiàn)決策樹(shù)分類過(guò)程和結(jié)果。具體通過(guò)比較決策樹(shù)分類與一般的二次分類和線性分類，展現(xiàn)決策樹(shù)分類的優(yōu)勢(shì)。課題研究目的主要目的：利用matlab開(kāi)發(fā)平臺(tái)和統(tǒng)計(jì)工具箱設(shè)3決策樹(shù)分類步驟a)建立決策樹(shù)：利用訓(xùn)練樣本生成決策樹(shù)模型。開(kāi)始，數(shù)據(jù)都在根節(jié)點(diǎn)遞歸的進(jìn)行數(shù)據(jù)分片b)使用決策樹(shù)對(duì)未知數(shù)據(jù)進(jìn)行分類：按照決策樹(shù)上采用的分割屬性逐層往下，直到一個(gè)葉子節(jié)點(diǎn)。c)修剪決策樹(shù)：去掉一些可能是噪音或者異常的數(shù)據(jù)。決策樹(shù)分類步驟a)建立決策樹(shù)：利用訓(xùn)練樣本生成決策樹(shù)模型。4決策樹(shù)分類步驟：決策樹(shù)表示法：決策樹(shù)分類算法訓(xùn)練集決策樹(shù)inputoutput天氣狀況風(fēng)級(jí)濕度

多云下雨

晴天高強(qiáng)正常弱YesYesNoYesNo決策樹(shù)分類步驟：決策樹(shù)分類算法訓(xùn)練集決策樹(shù)inputoutp5決策樹(shù)的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。兩種剪枝標(biāo)準(zhǔn)最小描述長(zhǎng)度原則(MDL)做法：對(duì)決策樹(shù)進(jìn)行二進(jìn)位編碼，編碼所需二進(jìn)位最少的樹(shù)即為“最佳剪枝樹(shù)”期望錯(cuò)誤率最小原則做法：對(duì)樹(shù)中的內(nèi)部節(jié)點(diǎn)計(jì)算其剪枝/不剪枝可能出現(xiàn)的期望錯(cuò)誤率，比較后加以取舍決策樹(shù)的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。6系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹(shù)分類模型。顯示決策樹(shù)分類、決策樹(shù)剪枝過(guò)程，使實(shí)驗(yàn)內(nèi)容、實(shí)驗(yàn)過(guò)程、實(shí)驗(yàn)結(jié)果可視化。運(yùn)用決策樹(shù)分類得到的分類結(jié)果和一般分類相比較，展現(xiàn)決策樹(shù)分類優(yōu)勢(shì)。能對(duì)不同數(shù)據(jù)集進(jìn)行處理。系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹(shù)分類模型。7系統(tǒng)模塊架構(gòu)系統(tǒng)模塊架構(gòu)8系統(tǒng)實(shí)現(xiàn)圖形、圖像：表示數(shù)據(jù)分布－散點(diǎn)圖；表示分類區(qū)域－柵格圖；表示決策樹(shù)表示－樹(shù)結(jié)構(gòu)圖；表示決策樹(shù)代價(jià)－曲線圖；系統(tǒng)實(shí)現(xiàn)圖形、圖像：9系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能找到運(yùn)行模型所需的所有程序。系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能10線性分類界面界面1.‘散點(diǎn)圖’2.‘線性分類’3.‘區(qū)域劃分’4.‘命令解釋窗口’線性分類界面界面11決策樹(shù)分類界面界面1.決策樹(shù)分類2.決策樹(shù)構(gòu)圖3.決策樹(shù)代價(jià)測(cè)試4.選擇最佳決策樹(shù)5.決策樹(shù)剪枝。決策樹(shù)分類界面界面12散點(diǎn)顯示數(shù)據(jù)分布散點(diǎn)顯示數(shù)據(jù)分布13線性分類顯示線性分類顯示14區(qū)域劃分顯示區(qū)域劃分顯示15分類結(jié)果我們通過(guò)計(jì)算得到ans＝0.32,也就是說(shuō)被錯(cuò)誤分類的數(shù)據(jù)有32％之多，也就說(shuō)用線性分類所得到的效果并不好。分類結(jié)果我們通過(guò)計(jì)算得到ans＝0.32,也就是說(shuō)被錯(cuò)誤分類16決策樹(shù)分類顯示決策樹(shù)分類顯示17決策樹(shù)構(gòu)圖決策樹(shù)構(gòu)圖18決策樹(shù)代價(jià)測(cè)試決策樹(shù)代價(jià)測(cè)試19決策樹(shù)剪枝決策樹(shù)剪枝20結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只有9%樣本被錯(cuò)誤分類。從誤差比較中很容易看出決策樹(shù)分類具有更高的精度。結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只21誤差比較誤差比較22總結(jié)研究過(guò)程中所遇到的困難此課題所包含的概念、內(nèi)容、理論在本科階段并無(wú)涉及，所以掌握難度比較大。matlab雖然在矩陣、數(shù)組運(yùn)算上有優(yōu)勢(shì)，但是對(duì)于用其開(kāi)發(fā)全圖形界面卻有一定難度，這也是為什么很少見(jiàn)到全圖形界面的Matlab系統(tǒng)軟件的原因之一?？偨Y(jié)研究過(guò)程中所遇到的困難23總結(jié)收獲

通過(guò)本次畢業(yè)設(shè)計(jì)，我學(xué)習(xí)到了新的理論知識(shí)，掌握了一門新的編程語(yǔ)言，培養(yǎng)了學(xué)習(xí)能力，使自己各方面能力得到了提高。

總結(jié)收獲24感謝衷心感謝各位老師的指導(dǎo)

你們辛苦了！

感謝衷心感謝各位老師的指導(dǎo)25一種決策樹(shù)分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院設(shè)計(jì)人：吳坤班級(jí)：通信四班指導(dǎo)老師：鐘清流一種決策樹(shù)分類模型的

設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院26課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，決策樹(shù)方法，遺傳算法等。其中決策樹(shù)分類作為數(shù)據(jù)挖掘工具和方法之一是運(yùn)用樹(shù)結(jié)構(gòu)圖的方式把數(shù)據(jù)特征直觀地表述出來(lái)，可用于對(duì)數(shù)據(jù)的分類和預(yù)測(cè)，其核心是如何構(gòu)造精度高，規(guī)模小的決策樹(shù)。課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，27課題研究目的主要目的：利用matlab開(kāi)發(fā)平臺(tái)和統(tǒng)計(jì)工具箱設(shè)計(jì)并實(shí)現(xiàn)決策樹(shù)的分類模型實(shí)驗(yàn)系統(tǒng)。決策樹(shù)分類有其特有的分類過(guò)程，本實(shí)驗(yàn)系統(tǒng)的是通過(guò)算法的實(shí)現(xiàn)使分類的過(guò)程，剪枝的過(guò)程以及分類的結(jié)果可視化。借助Matlab軟件用比較直觀、鮮明的形式——圖形、圖像來(lái)展現(xiàn)決策樹(shù)分類過(guò)程和結(jié)果。具體通過(guò)比較決策樹(shù)分類與一般的二次分類和線性分類，展現(xiàn)決策樹(shù)分類的優(yōu)勢(shì)。課題研究目的主要目的：利用matlab開(kāi)發(fā)平臺(tái)和統(tǒng)計(jì)工具箱設(shè)28決策樹(shù)分類步驟a)建立決策樹(shù)：利用訓(xùn)練樣本生成決策樹(shù)模型。開(kāi)始，數(shù)據(jù)都在根節(jié)點(diǎn)遞歸的進(jìn)行數(shù)據(jù)分片b)使用決策樹(shù)對(duì)未知數(shù)據(jù)進(jìn)行分類：按照決策樹(shù)上采用的分割屬性逐層往下，直到一個(gè)葉子節(jié)點(diǎn)。c)修剪決策樹(shù)：去掉一些可能是噪音或者異常的數(shù)據(jù)。決策樹(shù)分類步驟a)建立決策樹(shù)：利用訓(xùn)練樣本生成決策樹(shù)模型。29決策樹(shù)分類步驟：決策樹(shù)表示法：決策樹(shù)分類算法訓(xùn)練集決策樹(shù)inputoutput天氣狀況風(fēng)級(jí)濕度

多云下雨

晴天高強(qiáng)正常弱YesYesNoYesNo決策樹(shù)分類步驟：決策樹(shù)分類算法訓(xùn)練集決策樹(shù)inputoutp30決策樹(shù)的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。兩種剪枝標(biāo)準(zhǔn)最小描述長(zhǎng)度原則(MDL)做法：對(duì)決策樹(shù)進(jìn)行二進(jìn)位編碼，編碼所需二進(jìn)位最少的樹(shù)即為“最佳剪枝樹(shù)”期望錯(cuò)誤率最小原則做法：對(duì)樹(shù)中的內(nèi)部節(jié)點(diǎn)計(jì)算其剪枝/不剪枝可能出現(xiàn)的期望錯(cuò)誤率，比較后加以取舍決策樹(shù)的剪枝剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。31系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹(shù)分類模型。顯示決策樹(shù)分類、決策樹(shù)剪枝過(guò)程，使實(shí)驗(yàn)內(nèi)容、實(shí)驗(yàn)過(guò)程、實(shí)驗(yàn)結(jié)果可視化。運(yùn)用決策樹(shù)分類得到的分類結(jié)果和一般分類相比較，展現(xiàn)決策樹(shù)分類優(yōu)勢(shì)。能對(duì)不同數(shù)據(jù)集進(jìn)行處理。系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹(shù)分類模型。32系統(tǒng)模塊架構(gòu)系統(tǒng)模塊架構(gòu)33系統(tǒng)實(shí)現(xiàn)圖形、圖像：表示數(shù)據(jù)分布－散點(diǎn)圖；表示分類區(qū)域－柵格圖；表示決策樹(shù)表示－樹(shù)結(jié)構(gòu)圖；表示決策樹(shù)代價(jià)－曲線圖；系統(tǒng)實(shí)現(xiàn)圖形、圖像：34系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能找到運(yùn)行模型所需的所有程序。系統(tǒng)主界面該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能35線性分類界面界面1.‘散點(diǎn)圖’2.‘線性分類’3.‘區(qū)域劃分’4.‘命令解釋窗口’線性分類界面界面36決策樹(shù)分類界面界面1.決策樹(shù)分類2.決策樹(shù)構(gòu)圖3.決策樹(shù)代價(jià)測(cè)試4.選擇最佳決策樹(shù)5.決策樹(shù)剪枝。決策樹(shù)分類界面界面37散點(diǎn)顯示數(shù)據(jù)分布散點(diǎn)顯示數(shù)據(jù)分布38線性分類顯示線性分類顯示39區(qū)域劃分顯示區(qū)域劃分顯示40分類結(jié)果我們通過(guò)計(jì)算得到ans＝0.32,也就是說(shuō)被錯(cuò)誤分類的數(shù)據(jù)有32％之多，也就說(shuō)用線性分類所得到的效果并不好。分類結(jié)果我們通過(guò)計(jì)算得到ans＝0.32,也就是說(shuō)被錯(cuò)誤分類41決策樹(shù)分類顯示決策樹(shù)分類顯示42決策樹(shù)構(gòu)圖決策樹(shù)構(gòu)圖43決策樹(shù)代價(jià)測(cè)試決策樹(shù)代價(jià)測(cè)試44決策樹(shù)剪枝決策樹(shù)剪枝45結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只有9%樣本被錯(cuò)誤分類。從誤差比較中很容易看出決策樹(shù)分類具有更高的精度。結(jié)果分析由分類得到ans=0.09，即在150個(gè)樣本中，只46誤差比較誤差比較47總結(jié)研究過(guò)程中所遇到的困難此課題所包含的概念、內(nèi)容、理論在本科階段并無(wú)涉及，所以掌握難度比較大。matlab雖然在矩陣、數(shù)組運(yùn)算上有優(yōu)勢(shì)，但是對(duì)于用其開(kāi)發(fā)全圖形界面卻有一定難度，這也是為什么很少見(jiàn)到全圖形界面的Matlab系統(tǒng)軟件的原因之一?？偨Y(jié)研究過(guò)程中所遇到的困