數(shù)據(jù)倉庫與數(shù)據(jù)挖掘?qū)嶒?yàn)指導(dǎo)書王浩暢資料

數(shù)據(jù)倉庫與數(shù)據(jù)挖掘試驗(yàn)指導(dǎo)書東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)系王浩暢試驗(yàn)一Weka試驗(yàn)環(huán)境初探一、試驗(yàn)名稱:二、試驗(yàn)?zāi)康模簑ekaWeka環(huán)境。三、試驗(yàn)要求生疏weka的應(yīng)用環(huán)境。了解數(shù)據(jù)挖掘常用算法。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)六、試驗(yàn)方法和步驟1、首先，選擇數(shù)據(jù)集weather.nominal.arffExplorer，進(jìn)入主界Openfile...weather.nominal.arff文件，2中的“Edit”可以看到相應(yīng)的數(shù)據(jù)：選擇上端的Associate選項(xiàng)頁，即數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)章挖掘選項(xiàng)，此處要做的是從上述數(shù)據(jù)集中查找關(guān)聯(lián)規(guī)章。點(diǎn)擊后進(jìn)入如下界面：2weather.arff，數(shù)據(jù)集中的類別換成數(shù)字。選擇上端的AssociateAssociate選項(xiàng)卡中Start按鈕為灰色的，也就是說這個(gè)時(shí)候無法使用AprioriApriori算法不20-300-10就可以應(yīng)用Apriori算法了。Weka供給了良好的數(shù)據(jù)預(yù)處理方法。第一步：選temperrature12條不同的內(nèi)容，最小值為6〔單位：華氏攝氏度，下同85，選擇過濾器“choose者在同行的空白處點(diǎn)擊一下，即可彈出過濾器選擇框，逐級(jí)找到Weka.filters.unsupervised.attribute.DiscretizeExplorer”面板即可。Choose”旁邊的文本框應(yīng)當(dāng)顯示“Discretize-B10-M-0.1-Rfirst-last把a(bǔ)ttributeIndices2,333More”查看。點(diǎn)“OK”回到“Explorertemperature”和“humidity”已經(jīng)被離散化成為分類型的屬性。假設(shè)想放棄離散化可以點(diǎn)“Undotemperature屬性信息如下顯示：Humidity屬性變成如下樣式：3、在Classify，Cluster，Associate選項(xiàng)中分別嘗試不同算法。七、通過試驗(yàn),把握Weka的使用一、試驗(yàn)名稱：二、試驗(yàn)?zāi)康模褐獙?shí)例進(jìn)展推測，推測的準(zhǔn)確程度來衡量所建立模型的好壞。三、試驗(yàn)要求1Weka2、把握關(guān)聯(lián)規(guī)章算法得出結(jié)論，對(duì)問題進(jìn)展總結(jié)。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)12car,save_act,current_act,mortgage,pep600六、試驗(yàn)方法和步驟1、翻開WEKA界面如下：界面中有四個(gè)選擇 SimpleCLC,Explorer,ExplorerARFFOpenfilebank-data.arff可以觀察數(shù)據(jù)中的屬性，選擇屬性從右邊可以看到它的取值范圍1〕CSVARFFCSVARFFWEKAWEKA的主程序，消滅GUI后可以點(diǎn)擊下方按鈕進(jìn)入相應(yīng)的模塊。我們點(diǎn)〔上方是不能寫字的〕輸入框?qū)懮蟡avaweka.core.converters.CSVLoaderfilename.csv>filename.arff即可完成轉(zhuǎn)換。Viewer”模塊，我們可以用它翻開一個(gè)CSVARFFCSVARFF文件亦可。文件進(jìn)展離散化：用UltraEdit〔或者其它文本編輯器〕對(duì)其進(jìn)展編輯：@attributechildrennumeric@attributechildren{0,1,2,3}然后用discretizeageincomeid設(shè)置。七、通過試驗(yàn),要求同學(xué)在關(guān)聯(lián)規(guī)章信息獵取試驗(yàn)中解決以下問題，并遞交完整的試驗(yàn)報(bào)告對(duì)于非xlsARFFARFF在算法出來的lift排前1的規(guī)章中,如: 1.age=52_maxsave_act=YEScurrent_act=YES113==>income=43759_max61 conf:(0.54)<lift:(4.05)>lev:(0.08)[45]conv:(1.85)請(qǐng)說明其中113、61、conf:(0.54)都表示什么含義？Na?veBayes的信息獵取一、試驗(yàn)名稱：二、試驗(yàn)?zāi)康模築ayesBayes對(duì)的未知實(shí)例進(jìn)展推測，推測的準(zhǔn)確程度來衡量所建立模型的好壞。三、試驗(yàn)要求1Weka2Na?veBayes得出結(jié)論，對(duì)問題進(jìn)展總結(jié)。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)1bank-data.arf，12car,save_act,current_act,mortgage,pep6002、將含有600個(gè)實(shí)例的“bank-data.csv”文件中取出300個(gè)實(shí)例用做訓(xùn)練300503pep值用？表示。1、數(shù)據(jù)預(yù)備〔1〕bank-data.csvarff文件“bank-data.csv.arff“ID”屬性不需要的去掉。把“Children”屬性轉(zhuǎn)換成分類型的兩個(gè)值“YES”和“NO”。練數(shù)據(jù)集，并保存為文件。從后300條數(shù)據(jù)里抽取50“pep”屬性都設(shè)為缺失值，并保存為文件。2、訓(xùn)練過程用“Explorer”翻開訓(xùn)練集，觀看一下它是不是依據(jù)前面的要求處理好了。切換到“Classify”選項(xiàng)卡。點(diǎn)擊“Choose”按鈕后可以看到很多分類或者回歸的算法分門別類的列在一個(gè)樹型框里。樹型框下方有一個(gè)“Filter...”按鈕，點(diǎn)擊可以依據(jù)數(shù)據(jù)集的特性過濾掉不適宜的算法。我們數(shù)據(jù)集的輸入屬性中有“Binary”〔即只有兩個(gè)類的分類型Class是“Binary”的；于是我們勾選“Binaryattributes”“Numericattributes”和“Binaryclass”。能選用。右邊的文本框，彈出窗口為該算法設(shè)置各種參數(shù)。查看參數(shù)說明，點(diǎn)“Capabilities”是查看算法適用范圍。這里我們把參數(shù)保持默認(rèn)。看左中的“TestOption”。我們沒有特地設(shè)置檢驗(yàn)數(shù)據(jù)集，為了保證〔overfitting〕的現(xiàn)象，我們有選上“Cross-validation”并在“Folds”框填上“10”。點(diǎn)“Start”Bayesoutput”“Resultslist”消滅了一個(gè)工程顯示剛剛的時(shí)間和算法名稱。〕右鍵點(diǎn)擊“Resultslist”剛剛消滅的那一項(xiàng)，彈出菜單中選“Visualizetree”，可以看到可視化結(jié)果。3、測試過程留意待推測數(shù)據(jù)集和訓(xùn)練用數(shù)據(jù)集各個(gè)屬性的設(shè)置必需是全都的。在“TestOpion”中選擇“Suppliedtestset”，并且“Set”成要應(yīng)用模型的數(shù)據(jù)集，這里是“bank-new.arff”文件。右鍵點(diǎn)擊“Resultlist”中剛產(chǎn)生的那一項(xiàng)，選擇“Re-evaluatemodeloncurrenttestset”。右邊顯示結(jié)果的區(qū)域中會(huì)增加一些內(nèi)容，Class缺失值，那這些內(nèi)容是無意義的，我們關(guān)注的是模型在數(shù)據(jù)集上的推測值。點(diǎn)擊右鍵菜單中的“Visualizeclassifiererrors”，將彈出一個(gè)“Save”按鈕，Arff〔5〕〔predictedpep這個(gè)屬性上的值就是模型對(duì)每個(gè)實(shí)例的推測值 “Edit”按鈕可以查看這個(gè)數(shù)據(jù)集的內(nèi)容。七、通過試驗(yàn),要求同學(xué)在貝葉斯信息獵取試驗(yàn)中解決以下問題，并遞交完整的試驗(yàn)報(bào)告1、在數(shù)據(jù)預(yù)處理中，通過轉(zhuǎn)換與否的試驗(yàn)比較,推斷是否肯定要把“Children”屬性轉(zhuǎn)換成分類型的兩個(gè)值“YES”“NO”。2、在算法選擇時(shí),點(diǎn)擊“Choose”按鈕后可以看到哪些分類的算法分門別類的列在一個(gè)樹型框里?將些數(shù)據(jù)截圖,在試驗(yàn)報(bào)告中進(jìn)展詳解。3、點(diǎn)擊“Choose”右邊的文本框，彈出窗口為該算法設(shè)置各種參數(shù)。點(diǎn)“Capabilities”報(bào)告中詳解的參數(shù)設(shè)置狀況。4“Classifieroutput”中的模型準(zhǔn)確度等,將這些數(shù)據(jù)截圖,在試驗(yàn)報(bào)告中進(jìn)展詳解。5、假設(shè)你的模型準(zhǔn)確度不高,你是怎樣通過修改算法的參數(shù)來提高準(zhǔn)確度?一、試驗(yàn)名稱:二、試驗(yàn)?zāi)康模旱奈粗獙?shí)例進(jìn)展推測，推測的準(zhǔn)確程度來衡量所建立模型的好壞。三、試驗(yàn)要求1WekaWeka出結(jié)論，對(duì)問題進(jìn)展總結(jié)。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)1bank-data.arf，12car,save_act,current_act,mortgage,pep6002、將含有600個(gè)實(shí)例的“bank-data.csv”文件中取出300個(gè)實(shí)例用做訓(xùn)練300503pep值用？表示。六、試驗(yàn)方法和步驟1、數(shù)據(jù)預(yù)備〔1〕bank-data.csv”文件轉(zhuǎn)化為arff文件bank-data.csv.arff“ID”屬性不需要的去掉。把“Children”屬性轉(zhuǎn)換成分類型的兩個(gè)值“YES”和“NO練數(shù)據(jù)集，并保存為文件。屬性都設(shè)為缺失值，并保存為文件。2、訓(xùn)練過程“Explorer”翻開訓(xùn)練集，觀看一下它是不是依據(jù)前面的要求處理好了。切換到“Classify”選項(xiàng)卡。ChoosetreeJ48。ChooseJ48地設(shè)定這些參數(shù)的默認(rèn)值。TestOption成的模型的準(zhǔn)確性而不至于消滅過擬合〔overfitting〕的現(xiàn)象，我們有必要承受10折穿插驗(yàn)證〔10-foldcrossvalidation〕來選擇和評(píng)估模型，選上Cross-validation”并在“Folds”框填上“1點(diǎn)“StartBayesoutput”中。同時(shí)左下的“Resultslist”消滅了一個(gè)工程顯示剛剛的時(shí)間和算法名稱?！秤益I點(diǎn)擊“ResultslistVisualizetree最大化，然后點(diǎn)右鍵，選“Fittoscreen3、測試過程留意待推測數(shù)據(jù)集和訓(xùn)練用數(shù)據(jù)集各個(gè)屬性的設(shè)置必需是全都的。在“TestOpion”中選擇“SuppliedtestsetSet用模型的數(shù)據(jù)集，這里是“bank-new.arff”文件。oncurrenttestsetClass些內(nèi)容是無意義的，我們關(guān)注的是模型在數(shù)據(jù)集上的推測值。點(diǎn)擊右鍵菜單中的“VisualizeclassifiererrorsArff〔5〕predictedpep按鈕可以查看這個(gè)數(shù)據(jù)集的內(nèi)容。這里我們解釋一下“ConfusionMatrix”的含義。===ConfusionMatrix===ab<--classifiedas7464|a=YES30132|b=NOpep“YES74“YES64NOpepNO”的實(shí)例，有30YES132“NO74+64+30+132=300數(shù)，而(74+132)/3000.68667正好是正確分類的實(shí)例所占比例。這個(gè)矩陣對(duì)角線上的數(shù)字越大，說明推測得越好。七、通過試驗(yàn),要求同學(xué)在決策樹試驗(yàn)中解決以下問題，并遞交完整的試驗(yàn)報(bào)告1、在數(shù)據(jù)預(yù)處理中，通過轉(zhuǎn)換與否的試驗(yàn)比較,推斷是否肯定要把“Children”屬性轉(zhuǎn)換成分類型的兩個(gè)值“YES”“NO”。2、點(diǎn)擊“Choose”右邊的文本框，彈出窗口為該算法設(shè)置各種參數(shù)。點(diǎn)“Capabilities”報(bào)告中詳解的參數(shù)設(shè)置狀況。3IFTHEN4“Classifieroutput”中的模型準(zhǔn)確度等,將這些數(shù)據(jù)截圖,在試驗(yàn)報(bào)告中進(jìn)展詳解。5、假設(shè)你的模型準(zhǔn)確度不高,你是怎樣通過修改算法的參數(shù)來提高準(zhǔn)確度?一、試驗(yàn)名稱：二、試驗(yàn)?zāi)康模簩?duì)的未知實(shí)例進(jìn)展推測，推測的準(zhǔn)確程度來衡量所建立模型的好壞。三、試驗(yàn)要求〔BP〕學(xué)習(xí)算法。應(yīng)用Weka軟件，學(xué)會(huì)導(dǎo)入數(shù)據(jù)文件，并對(duì)數(shù)據(jù)文件進(jìn)展預(yù)處理。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)bank-data.arf六、試驗(yàn)方法和步驟在開頭程序〔或者桌面圖標(biāo)〕中找到WEKA3.6，單擊即可啟動(dòng)WEKA，啟動(dòng)WEKA時(shí)會(huì)覺察首先消滅的一個(gè)命令提示符。接著將消滅如下WekaGUIChooser界面。選擇GUIChooser中的探究者〔Explorer〕用戶界面。點(diǎn)擊預(yù)處理weather.arff“Currentrelation“Selectedattribute”三個(gè)區(qū)域。ChoosefunctionMultiayerPerceptron。10默認(rèn)設(shè)置或適當(dāng)修改。Weka在它工作時(shí)，坐在右下角的小鳥會(huì)即時(shí)起舞，隨后結(jié)果就顯示在右區(qū)域中。出了數(shù)據(jù)集概要并注明所需要的評(píng)估方法是默認(rèn)的10折穿插驗(yàn)證?？梢赃x擇其他的驗(yàn)證方法來重分類學(xué)習(xí)。id，重復(fù)上述操作，查看結(jié)果；嘗試在數(shù)據(jù)預(yù)處理階段刪除屬性region，再訓(xùn)練神經(jīng)網(wǎng)絡(luò)；假設(shè)需要查看神經(jīng)網(wǎng)絡(luò)的圖形，點(diǎn)擊“choose”GUItrue，start七、通過試驗(yàn),要求同學(xué)在貝葉斯信息獵取試驗(yàn)中解決以下問題，并遞交完整的試驗(yàn)報(bào)告1、在數(shù)據(jù)預(yù)處理中，通過轉(zhuǎn)換與否的試驗(yàn)比較,推斷是否肯定要把Children”屬性轉(zhuǎn)換成分類型的兩個(gè)值“YES”“NO2Choose”按鈕后可以看到哪些分類的算法分門別類的列在一個(gè)樹型框里?將些數(shù)據(jù)截圖,在試驗(yàn)報(bào)告中進(jìn)展詳解。3、點(diǎn)擊“Choose”右邊的文本框，彈出窗口為該算法設(shè)置各種參數(shù)。點(diǎn)中詳解的參數(shù)設(shè)置狀況。4、請(qǐng)介紹你建立好的模型以及對(duì)該模型的誤差分析等結(jié)果,如:消滅在詳解。5、假設(shè)你的模型準(zhǔn)確度不高,你是怎樣通過修改算法的參數(shù)來提高準(zhǔn)確度?一、試驗(yàn)名稱：二、試驗(yàn)?zāi)康模哼M(jìn)展推測，推測的準(zhǔn)確程度來衡量所建立模型的好壞。三、試驗(yàn)要求1Weka2、把握回歸分析算法得出結(jié)論，對(duì)問題進(jìn)展總結(jié)。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)1所示：房子面積〔平方英尺〕占地的大臥小室房子面積〔平方英尺〕占地的大臥小室花崗衛(wèi)生間有無重銷售價(jià)格巖裝？35299191600￥205,000324710061511￥224,900403210150501￥197,900239714156410￥189,90022009600401`￥195,000353619994611￥325,00029839365501￥230,00031989669511六、試驗(yàn)方法和步驟Weka構(gòu)建數(shù)據(jù)集為了將數(shù)據(jù)加載到Wekaarff格式的文件中，具體介紹arffhouse.arff：將數(shù)據(jù)載入WekaWeka，依據(jù)之前的試驗(yàn)house.arff。用Weka創(chuàng)立一個(gè)回歸模型Classify個(gè)模型，也就是選擇期望使用的建模算法：單擊Choose按鈕，然后擴(kuò)展functions分支；選擇LinearRegression創(chuàng)立訓(xùn)練集Start，輸出結(jié)果如下：解析這個(gè)回歸模型selling-price的計(jì)算公式〔模型，包括一些其他信息，而此處關(guān)心的主要內(nèi)容就是這個(gè)公式，如下清單所示：推測3198 9669 5 1 1七、通過試驗(yàn),要求同學(xué)在聚類分析信息獵取試驗(yàn)中解決以下問題，并遞交完整的試驗(yàn)報(bào)告解釋得到的回歸模型給出推測結(jié)果。一、試驗(yàn)名稱：二、試驗(yàn)?zāi)康模篟andomForestweka工具包的仿真并與RandomForest的性能。三、試驗(yàn)要求1Weka2RandomForest算法算法得出結(jié)論，對(duì)問題進(jìn)展總結(jié)。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)〔150020量，7〕六、試驗(yàn)方法和步驟RandomForest(RF)是利用bootsrap重抽樣方法從原始樣本中抽取多個(gè)樣本,bootsrap樣本進(jìn)展決策樹建模,然后組合多棵決策樹的推測,通過投票得出最終推測結(jié)果。RF通過構(gòu)造不同的訓(xùn)練集增加分類模型間的差異,從而提高組合分類模型的外推推測力量。1、用weka工具進(jìn)展分析，選擇工具包自帶的segment-challenge.arff數(shù)據(jù)集〔1500條數(shù)據(jù)，20個(gè)特征變量，7分類問題。2RandomForest試驗(yàn)J48進(jìn)展比較分析。在仿真過程中選擇數(shù)66%510個(gè)數(shù)據(jù)作為測試集。七、通過試驗(yàn),要求同學(xué)在聚類分析信息獵取試驗(yàn)中解決以下問題，并遞交完整的試驗(yàn)報(bào)告RandomForests算法、BaggingJ48模型的分類性能。51020棵樹時(shí)，比較誤差率及運(yùn)行時(shí)間，并對(duì)試驗(yàn)結(jié)果進(jìn)展說明結(jié)果參考bagging分類的結(jié)果3-1決策樹J48的分類結(jié)果3-2RandomForests的分類結(jié)果A.5棵樹的狀況3-3B.10棵樹的狀況3-4C.20棵樹的狀況3-5【結(jié)果分析】結(jié)果比照表：分類器BaggingJ48RandomForests(5)RandomForests(10)RandomForests(20)誤分率3.33%4.90%2.55%1.57%1.57%運(yùn)行時(shí)間0.400.130.220.420.8〔s〕試驗(yàn)八基于SimpleKMeans聚類分析的信息獵取一、試驗(yàn)名稱：二、試驗(yàn)?zāi)康模簩?shí)例進(jìn)展推測，推測的準(zhǔn)確程度來衡量所建立模型的好壞。三、試驗(yàn)要求1Weka2、把握聚類分析算法得出結(jié)論，對(duì)問題進(jìn)展總結(jié)。四、試驗(yàn)平臺(tái)五、試驗(yàn)數(shù)據(jù)12car,save_act,current_act,mortgage,pep600失值用？表示。六、試驗(yàn)方法和步驟1、首先對(duì)于原始數(shù)據(jù)做預(yù)處理。把“bank-data.xls”格式數(shù)據(jù)轉(zhuǎn)換為“bank-data.csv”，并刪去屬性“id”，保存為ARFF600bank-data.xls，另存為csvbank-data，接著將CSVARFFbank-data.arff。刪去屬性“id”ARFFUltraEditbank-data.arff文件,修改屬性“children”為分類型.把@attributechildrennumeric@attributechildren{0,1,2,3},然后保存即可2、用Weka翻開bank-data.arff文件，進(jìn)展相應(yīng)設(shè)置后開頭分析?！秤谩癊xplorer”“bank-data.arff”，并切換到“Cluster”。點(diǎn)“Choose”按鈕選擇“SimpleKMeans”，這是WEKAK“numClusters”為6，說。下面的“seed”參數(shù)是要設(shè)置一個(gè)隨機(jī)種子，依此產(chǎn)生一個(gè)隨機(jī)數(shù)，用來得到KK10選中“ClusterMode”的“Usetrainingset”，點(diǎn)擊“Start”按鈕，觀看右邊“Clusterer