weka實(shí)驗(yàn)報(bào)告(DOC X頁(yè))_第1頁(yè)
weka實(shí)驗(yàn)報(bào)告(DOC X頁(yè))_第2頁(yè)
weka實(shí)驗(yàn)報(bào)告(DOC X頁(yè))_第3頁(yè)
weka實(shí)驗(yàn)報(bào)告(DOC X頁(yè))_第4頁(yè)
weka實(shí)驗(yàn)報(bào)告(DOC X頁(yè))_第5頁(yè)
已閱讀5頁(yè),還剩8頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、數(shù)據(jù)挖掘?qū)嶒?yàn)報(bào)告 基于weka的數(shù)據(jù)分類分析實(shí)驗(yàn)報(bào)告姓名: 學(xué)號(hào):1實(shí)驗(yàn)基本內(nèi)容本實(shí)驗(yàn)的基本內(nèi)容是通過(guò)使用weka中的三種常見(jiàn)分類方法(樸素貝葉斯,KNN和決策樹(shù)C4.5)分別在訓(xùn)練數(shù)據(jù)上訓(xùn)練出分類模型,并使用校驗(yàn)數(shù)據(jù)對(duì)各個(gè)模型進(jìn)行測(cè)試和評(píng)價(jià),找出各個(gè)模型最優(yōu)的參數(shù)值,并對(duì)三個(gè)模型進(jìn)行全面評(píng)價(jià)比較,得到一個(gè)最好的分類模型以及該模型所有設(shè)置的最優(yōu)參數(shù)。最后使用這些參數(shù)以及訓(xùn)練集和校驗(yàn)集數(shù)據(jù)一起構(gòu)造出一個(gè)最優(yōu)分類器,并利用該分類器對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)。2數(shù)據(jù)的準(zhǔn)備及預(yù)處理2.1格式轉(zhuǎn)換方法原始數(shù)據(jù)是老師直接給的arff文件,因此不用轉(zhuǎn)換,可以直接導(dǎo)入。但如果原始數(shù)據(jù)是excel文件保存的xlsx格式

2、數(shù)據(jù),則需要轉(zhuǎn)換成Weka支持的arff文件格式或csv文件格式。由于Weka對(duì)arff格式的支持更好,這里我們選擇arff格式作為分類器原始數(shù)據(jù)的保存格式。轉(zhuǎn)換方法:假如我們準(zhǔn)備分析的文件為“breast-cancer.xlsx”,則在excel中打開(kāi)“breast-cancer.xlsx”,選擇菜單文件->另存為,在彈出的對(duì)話框中,文件名輸入“breast-cancer”,保存類型選擇“CSV(逗號(hào)分隔)”,保存,我們便可得到“breast-cancer.csv”文件;然后,打開(kāi)Weka的Exporler,點(diǎn)擊Open file按鈕,打開(kāi)剛才得到的“filename”文件,點(diǎn)擊“sa

3、ve”按鈕,在彈出的對(duì)話框中,文件名輸入“breast-cancer”,文件類型選擇“Arff data files(*.arff)”,這樣得到的數(shù)據(jù)文件為“breast-cancer.arff”。2.2如何建立數(shù)據(jù)訓(xùn)練集,校驗(yàn)集和測(cè)試集通過(guò)統(tǒng)計(jì)數(shù)據(jù)信息,發(fā)現(xiàn)帶有類標(biāo)號(hào)的數(shù)據(jù)一共有286行,為了避免數(shù)據(jù)的過(guò)度擬合,必須把數(shù)據(jù)訓(xùn)練集和校驗(yàn)集分開(kāi),目前的拆分策略是訓(xùn)練集200行,校驗(yàn)集86行。類標(biāo)號(hào)為no-recurrence-events的數(shù)據(jù)有201條,而類標(biāo)號(hào)為recurrence-events的數(shù)據(jù)有85條,為了能在訓(xùn)練分類模型時(shí)有更全面的信息,所以決定把包含115條no-recurren

4、ce-events類標(biāo)號(hào)數(shù)據(jù)和85條recurrence-events類標(biāo)號(hào)數(shù)據(jù)作為模型訓(xùn)練數(shù)據(jù)集,而剩下的86條類標(biāo)號(hào)類no-recurrence-events的數(shù)據(jù)將全部用于校驗(yàn)數(shù)據(jù)集,這是因?yàn)樵谛r?yàn)的時(shí)候,兩種類標(biāo)號(hào)的數(shù)據(jù)的作用區(qū)別不大,而在訓(xùn)練數(shù)據(jù)模型時(shí),則更需要更全面的信息,特別是不同類標(biāo)號(hào)的數(shù)據(jù)的合理比例對(duì)訓(xùn)練模型的質(zhì)量有較大的影響。另外,我們?yōu)榱俗鲱A(yù)測(cè)測(cè)試,我們將分類標(biāo)號(hào)為no-recurrence-events的86行數(shù)據(jù)集的分類標(biāo)號(hào)去掉,作為預(yù)測(cè)數(shù)據(jù)集。2.3預(yù)處理具體步驟第一步:把breast-cancer.arff文件復(fù)制一份,作為總的訓(xùn)練數(shù)據(jù)集。文件名稱為build_m

5、odel.arff。第二步:從breast-cancer.arff文件數(shù)據(jù)里面選取分類標(biāo)號(hào)為no-recurrence-events的86行數(shù)據(jù)作為校驗(yàn)數(shù)據(jù)集(validate_data.arff)。第三步:從把剩下的breast-cancer.arff文件改名為train_data.arff。 第四部:由于老師給的全部都是有類標(biāo)號(hào)的數(shù)據(jù)集,為了我們方便進(jìn)行預(yù)測(cè)測(cè)試,我們將分類標(biāo)號(hào)為no-recurrence-events的86行數(shù)據(jù)集的分類標(biāo)號(hào)去掉,作為預(yù)測(cè)數(shù)據(jù)集。3. 實(shí)驗(yàn)過(guò)程及結(jié)果截圖3.1決策樹(shù)分類用“Explorer”打開(kāi)剛才得到的“train-data.arff”,并切換到“Cla

6、ss”。點(diǎn)“Choose”按鈕選擇“tree (weka.classifiers.trees.j48)”,這是WEKA中實(shí)現(xiàn)的決策樹(shù)算法。選擇Cross-Validatioin folds=10,然后點(diǎn)擊“start”按鈕:訓(xùn)練數(shù)據(jù)集訓(xùn)練決策樹(shù)得出的結(jié)果使用不同配置訓(xùn)練參數(shù),得到的實(shí)驗(yàn)數(shù)據(jù):配置不同的葉子節(jié)點(diǎn)的實(shí)例個(gè)數(shù)實(shí)例數(shù)/葉節(jié)點(diǎn)23456準(zhǔn)確率63.5%63.5%62.5%62.5%62.5%結(jié)果分析:使用決策樹(shù)時(shí),每個(gè)葉子節(jié)點(diǎn)最優(yōu)的實(shí)例個(gè)數(shù)為2或者3。校驗(yàn)數(shù)據(jù)集校驗(yàn)決策樹(shù)得出的結(jié)果初步結(jié)果分析:使用決策樹(shù)進(jìn)行分類,對(duì)于已知的86個(gè)類標(biāo)號(hào)為no-recurrence-events的數(shù)據(jù)進(jìn)行

7、比較準(zhǔn)確的分類,準(zhǔn)確率達(dá)到86%;該數(shù)據(jù)一般,并且有一定的缺陷,因?yàn)樵摻Y(jié)果是以訓(xùn)練集的低準(zhǔn)確率作為前提的。3.2 K最近鄰算法分類點(diǎn)“Choose”按鈕選擇“l(fā)aze->ibk”,這是WEKA中實(shí)現(xiàn)的決策樹(shù)算法。選擇Cross-Validatioin folds=10,然后點(diǎn)擊“start”按鈕:訓(xùn)練數(shù)據(jù)集訓(xùn)練KNN得出的結(jié)果使用不同配置訓(xùn)練參數(shù),得到的實(shí)驗(yàn)數(shù)據(jù):配置不同的葉子節(jié)點(diǎn)的實(shí)例個(gè)數(shù)K值12345678910準(zhǔn)確率66.5%64%65%68.5%67%66.5%66.5%66%66%67%結(jié)果分析:使用KNN算法分類時(shí),K最優(yōu)值為4。校驗(yàn)數(shù)據(jù)集校驗(yàn)KNN得出的結(jié)果初步結(jié)果分析:對(duì)

8、使用k=4訓(xùn)練出來(lái)的分類模型進(jìn)行校驗(yàn)的結(jié)果,準(zhǔn)確率達(dá)到88.3%,算是一個(gè)比較合理的分類結(jié)果。3.3 樸素貝葉斯分類點(diǎn)“Choose”按鈕選擇“bayes”,這是WEKA中實(shí)現(xiàn)的決策樹(shù)算法。選擇Cross-Validatioin folds=10,然后點(diǎn)擊“start”按鈕:訓(xùn)練數(shù)據(jù)集訓(xùn)練Naïve Bayes得出的結(jié)果得出的準(zhǔn)確率為66%校驗(yàn)數(shù)據(jù)集校驗(yàn)Naïve Bayes得出的結(jié)果初步結(jié)果分析:評(píng)價(jià)結(jié)果中準(zhǔn)確率僅僅達(dá)到79%,結(jié)果不是非常讓人滿意。3.4 三類分類方法的校驗(yàn)結(jié)果比較決策樹(shù)K最近鄰樸素貝葉斯校驗(yàn)準(zhǔn)確率86%88.3%79%訓(xùn)練混淆矩陣校驗(yàn)混淆矩陣標(biāo)準(zhǔn)誤差0

9、.44640.37560.437比較結(jié)果分析:根據(jù)上述數(shù)據(jù),雖然決策樹(shù)有比較好的準(zhǔn)確率和相對(duì)較好的標(biāo)準(zhǔn)誤差,但是在這背后,很有可能是以較大錯(cuò)誤率作為代價(jià),這點(diǎn)可以從訓(xùn)練混淆矩陣中得到印證;而樸素貝葉斯分類算法的準(zhǔn)確率相對(duì)較低,而標(biāo)準(zhǔn)誤差也較高,綜合評(píng)價(jià)可以得知,當(dāng)前最好的分類算法是KNN算法,并且它是最優(yōu)設(shè)置參數(shù)為k=4。3.5 訓(xùn)練最優(yōu)模型使用預(yù)處理中的buildmodel_data.arff數(shù)據(jù)文件訓(xùn)練分類模型,算法為k=4的KNN。數(shù)據(jù)集訓(xùn)練KNN得出的結(jié)果使用最終模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè)結(jié)果4.三種算法在進(jìn)行測(cè)試的性能比較 4.1實(shí)驗(yàn)結(jié)果決策樹(shù)的測(cè)試結(jié)果:KNN測(cè)試結(jié)果:樸素貝葉斯測(cè)試結(jié)果:比較分析結(jié)論: 性能分析應(yīng)該包括兩個(gè)部分,一個(gè)部分是測(cè)試速度,另一個(gè)部分是測(cè)試的質(zhì)量。由于本次使用所使用的數(shù)據(jù)量不是很多,在測(cè)試速度的對(duì)比上相差太少,無(wú)法進(jìn)行準(zhǔn)確的分析。而在測(cè)試質(zhì)量上,可以從上述數(shù)據(jù)中得到,決策樹(shù)和樸素貝葉斯依然是準(zhǔn)確率較低;而

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論