數(shù)據(jù)挖掘WEKA試驗報告

1、數(shù)據(jù)挖掘-WAKA實驗報告一、WEKA軟件簡介在我所從事的證券行業(yè)中，存在著海量的信息和數(shù)據(jù)，但是這些數(shù)據(jù)日常知識發(fā)揮了一小部分的作用，具包含了大量的隱性的信息并不為所用，但是卻可以為一些公司的決策和對客戶的服務提供不小的價值。因此，我們可以通過一些數(shù)據(jù)采集、數(shù)據(jù)挖掘來獲得潛在的有價值的信息。數(shù)據(jù)挖掘就是通過分析存在于數(shù)據(jù)庫里的數(shù)據(jù)來解決問題。在數(shù)據(jù)挖掘中計算機以電子化的形式存儲數(shù)據(jù)，并且能自動的查詢數(shù)據(jù)，通過關聯(lián)規(guī)則、分類于回歸、聚類分析等算法對數(shù)據(jù)進行一系列的處理，尋找和描述數(shù)據(jù)里的結構模式，進而挖掘出潛在的有用的信息。數(shù)據(jù)挖掘就是通過分析存在于數(shù)據(jù)庫里的數(shù)據(jù)來解決問題。WEKA出現(xiàn)讓我們

2、把數(shù)據(jù)挖掘無需編程即可輕松搞定。WEK是由新西蘭懷卡托大學開發(fā)的開源項目，全名是懷卡托智能分析環(huán)境(WaikatoEnvironmentforKnowledgeAnalysis)。WEKAH由JAVA編寫的，WEKAI到，并且限制在GBU!用公眾證書的條件下發(fā)布，可以運行在所有的操作系統(tǒng)中。是一款免費的，非商業(yè)化的機器學習以及數(shù)據(jù)挖掘軟件WEKA乍為一個公開的數(shù)據(jù)挖掘工作平臺，集合了大量能承擔數(shù)據(jù)挖掘任務的機器學習算法，包括對數(shù)據(jù)進行預處理，分類，回歸、聚類、關聯(lián)規(guī)則以及在新的交互式界面上的可視化。如果想自己實現(xiàn)數(shù)據(jù)挖掘算法的話，可以看一看WEKA勺接口文檔。在WEK中集成自己的算法甚至借鑒它

3、的方法自己實現(xiàn)可視化工具并不是件很困難的事情。安裝WEK也十分簡單，首相要下載安裝JDK環(huán)境，JDK在這個頁面可以找到它的下載。點擊JDK6之后的Download按鈕，轉到下載頁面。選擇Accepct,過一會兒頁面會刷新。我們需要的是這個WindowsOfflineInstallation,Multi-languagejdk-6-windows-i586.exe53.16MB，點擊它下載。也可以右鍵點擊它上面的鏈接，在Flashget等工具中下載。安裝它和一般軟件沒什么區(qū)別。不過中間會中斷一下提示你安裝JRE,一并裝上即可。之后就是安裝WEKA軟件，這個在網(wǎng)上很多地方都有。同樣簡單地按默認方法

4、安裝后即可使用。點擊啟動運行WEK軟件后，我門發(fā)現(xiàn)WEKA存儲數(shù)據(jù)的格式是ARFF(Attribute-RelationFileFormat)文件，這是一種ASCII文本文件。我們?nèi)鐖D1通過軟件的Tools菜單進入ArffViewer可以在安裝目錄下查看軟件自帶的幾個ARFF文件。圖1圖2如圖2,打開文件后選擇data自目錄下的任意一張表，我們都可以看到如圖3所示的二維表格存儲在如下的ARFF文件中。這也就是WEKAI帶的“contact-lenses.arff”文件。這里我們要介紹一下WEKA中的術語。表格里的一個橫行稱作一個實例(Instance),相當于統(tǒng)計學中的一個樣本，或者數(shù)據(jù)庫中的

5、一條記錄。豎行稱作一個屬性(Attrbute),相當于統(tǒng)計學中的一個變量，或者數(shù)據(jù)庫中的一個字段。這樣一個表格，或者叫數(shù)據(jù)集，在WEKA看來，呈現(xiàn)了屬性之間的一種關系(Relation)。圖1中一共有22個實例，5個屬性，關系名稱為“contact-lenses0除了ARFF格式，WEKA還支持另外一種常見格式，CSV格式。CSV同樣是一種二進制保存的文本格式，我們可以在WEKA中直接打開CSV格式的文件，并保存為ARFF格式。這樣就給我提供了把常見的數(shù)據(jù)格式轉換為ARFF格式的方法，如對于Excel文件，我們可以通過把每張表保存為CSV格式，進而保存為ARFF格式，與此同時，我們可以利用fi

6、lter對數(shù)據(jù)進行相應的預處理。而對于Matlab格式的數(shù)據(jù)，我們可以通過命令csvwrite把數(shù)據(jù)轉化成CSV格式的文件，進而轉化為ARFF格式文件。對于海量數(shù)據(jù)，一般保存在數(shù)據(jù)庫中，WEKA同時支持JDBC訪問數(shù)據(jù)庫。圖3打開WEKA,首先出現(xiàn)一個命令行窗口。原以為要在這個命令行下寫java語句呢，不過稍等一秒，WEKAGUIChooser的出現(xiàn)了。這是一個很簡單的窗體，提供四個按鈕：SimpleCLI、Explorer>Experimenter>KnowledgeFlow。SimpleCLI應該是一個使用命令行的界面，有點像SAS的編輯器；Explorer是則是視窗模式下的數(shù)

7、據(jù)挖掘工具；Experimenter和KnowledgeFlow的使用有待進一步摸索.圖4(1) Explorer使用WEKA探索數(shù)據(jù)的環(huán)境。在這個環(huán)境中,WEKA提供了數(shù)據(jù)的預處理，數(shù)據(jù)格式的轉化(從CSV&式至UARFFB式的轉化)，各種數(shù)據(jù)挖掘算法(包括分類與回歸算法，聚類算法，關聯(lián)規(guī)則等），并提供了結果的可視化工具。對于一個數(shù)據(jù)集，通過簡單的數(shù)據(jù)的預處理，并對數(shù)據(jù)挖掘算法進行選擇（在WEKA3.5版本之后，加入了算法的過濾功能，可以過濾掉那些不適合當前數(shù)據(jù)集類型的算法），接著通過窗口界面對算法的參數(shù)進行配置?？梢暬ぞ叻譃閷?shù)據(jù)集的可視化和對部分結果的可視化，并且我們可以通過屬

8、性選擇工具（SelectAttribute）,通過搜索數(shù)據(jù)集中所有屬性的可能組合，找出預測效果最好的那一組屬性。Explorer是普通用戶最常用的一個界面。用戶可以從ARFF文件（Weka使用的一種文本文件格式卜網(wǎng)頁或數(shù)據(jù)庫中讀取數(shù)據(jù)集。打開數(shù)據(jù)文件后，可以選擇算法對數(shù)據(jù)進行預處理。這時窗體上給出了這個數(shù)據(jù)集的一些基本特征，如含有多少屬性，各屬性的一些簡單統(tǒng)計量，右下方還給出一些可視化效果圖。這些都是比較直觀的分析，如果想發(fā)現(xiàn)隱藏在數(shù)據(jù)集背后的關系，還需要選擇Weka提供的各種分類、聚類或關聯(lián)規(guī)則的算法。所有設置完成后，點擊Start按鈕，就可以安心地等待weka帶來最終的結果。哪些結果是真正

9、有用的還要靠經(jīng)驗來判斷。Experimenter運行算法試驗、管理算法方案之間的統(tǒng)計檢驗的環(huán)境。Experiment環(huán)境可以讓用戶創(chuàng)建，運行，修改和分析算法試驗，這也許比單獨的分析各個算法更加方便。例如，用戶可創(chuàng)建一次試驗，在一系列數(shù)據(jù)集上運行多個算法（schemes）,然后分析結果以判斷是否某個算法比其他算法（在統(tǒng)計意義下）更好。Explorermenter主要包括簡單模式，復雜模式和遠程模式。復雜模式是對簡單模式的基本功能的擴充，而遠程模式允許我們通過分布式的方法進行實驗。就功能模塊而言，分為設置模塊，運行模塊和分析模塊。在設置模塊中我們可以自定義實驗，加入多個算法和多方的源數(shù)據(jù)（支持AR

10、FFt件，CSVC件和數(shù)據(jù)庫），在運行模塊中我們可以運行我們的實驗，而在分析模塊中，我們可以分析各種算法的的準確性，并提供了各種統(tǒng)計方法對結果進行檢驗比較。值得一提的是，我們可以把實驗的各種參數(shù)，包括算法，數(shù)據(jù)集等，保存以方便下一次相同實驗的進行；也可以把各種算法保存，方便應用在不同的數(shù)據(jù)集上；如果數(shù)據(jù)集來源于數(shù)據(jù)庫的話，實驗在過程中可以中止并繼續(xù)（原因可以是被中止或者是擴展了實驗)，這樣就不用重新運行那些已實驗過的算法/數(shù)據(jù)集祝賀，而僅計算還沒有被實驗的那些。(2) KnowledgeFlowExplorer的一個不足在于，當用戶打開一個數(shù)據(jù)集時，所有數(shù)據(jù)將全部被讀入到主存當中，隨著任務規(guī)模

11、的增大，普通配置的計算機很難滿足要求。KnowledgeFlow提供了一個用于處理大型數(shù)據(jù)集的遞增算法，專門處理這一問題。這個環(huán)境本質上和Explorer所支持的功能是一樣的，但是它有一個可以拖放的界面。它有一個優(yōu)勢，就是支持增量學習(incrementallearning)。KnowledgeFlow為WEKA提供了一個"數(shù)據(jù)流”形式的界面。用戶可以從一個工具欄中選擇組件，把它們放置在面板上并按一定的順序連接起來，這樣組成一個"知識流"(knowledgeflow)來處理和分析數(shù)據(jù)。目前，所有的WEKA分類器(classifier)、篩選器(filter)、聚類

12、器(clusterer)、載入器(loader)、保存器(saver),以及一些其他的功能可以在KnowledgeFlow中使用。KnowledgeFlow可以使用增量模式(incrementally)或者批量模式(inbatches)來處理數(shù)據(jù)(Explorer只能使用批量模式)。當然對數(shù)據(jù)進行增量學習要求分類器能夠根據(jù)各實例逐個逐個的更新.現(xiàn)在WEKA中有五個分類器能夠增量地處理數(shù)據(jù)：NaiveBayesUpdateable,IB1,IBk,LWR(局部加權回歸)。還有一個meta分類器RacedIncrementalLogitBoost可以使用任意基于回歸的學習器來增量地學習離散的分類任

13、務。(4) SimpleCLI提供了一個簡單的命令行界面，能通過鍵入文本命令的方式來實現(xiàn)其他三個用戶界面所提供的所有功能，從而可以在沒有自帶命令行的操作系統(tǒng)中直接執(zhí)行WEKM令。使用命令行有兩個好處：一個是可以把模型保存下來，這樣有新的待預測數(shù)據(jù)出現(xiàn)時，不用每次重新建模，直接應用保存好的模型即可。另一個是對預測結果給出了置信度，我們可以有選擇的采納預測結果，例如，只考慮那些置信度在85%以上的結果。二、實驗案例介紹本文用WEKA件作為工具，結合券商的基金某一個時段交易業(yè)務數(shù)據(jù)進行分析。實驗的數(shù)據(jù)是一個交易周的基金交易業(yè)務數(shù)據(jù)。該表含有date(日期)、fund_code(基金代碼卜fund_n

14、ame(基金名稱)、company_code(®金公司代碼卜company(基金公司名稱)、business_code(業(yè)務代碼)、business_name(業(yè)務名稱)、shares(基金份額)、balance(資金金額)、fares(手續(xù)費)、fares_type(手續(xù)費類型)、internet_shares(網(wǎng)上交易基金份額)、internet_balance(網(wǎng)上交易資金金額)、remark(備注)等字段，通過實驗，希望能找出客戶的基金交易分布情況。該數(shù)據(jù)的數(shù)據(jù)屬性如下：date(numeric),交易發(fā)生日期；fund_code(numeric),基金代碼；fund_nam

15、e(character),基金名稱；company_code(numeric),用于報送的基金公司代碼；company(character),所屬的基金公司；business_codnumeric),交易業(yè)務代碼；business_namcharacter),交易業(yè)務名稱；shares(numeric),基金交易份額；balance(numeric),資金交易金額；fares(numeric),交易手續(xù)費；fares_type(enum),手續(xù)費類型，取值范圍“全額結算”/“凈額結算”；internet_shares(numeric),網(wǎng)上交易基金份額；internet_balance(num

16、eric),網(wǎng)上交易資金金額；remark(character),備注；三、數(shù)據(jù)分析我們給出一個CSVt件的傷J子(Fund-data.csv)。用UltraEdit打開它可以看到，這種格式也是一種逗號分割數(shù)據(jù)的文本文件，儲存了一個二維表格。Excel的XLS文件可以讓多個二維表格放到不同的工作表(Sheet)中,我們只能把每個工作表存成不同的CSV文件。打開一個XLS文件并切換到需要轉換的工作表，另存為CSV類型，點“確定”、“是”忽略提示即可完成操作。需要注意的是，Matllab給出的CSV文件往往沒有屬性名（Excel給出的也有可能沒有）。而WEKM須從CSV文件的第一行讀取屬性名，否則

17、就會把第一行的各屬性值讀成變量名。因此我們對于Matllab給出的CSV文件需要用UltraEdit打開，手工添加一行屬性名。注意屬性名的個數(shù)要跟數(shù)據(jù)屬性的個數(shù)一致，仍用逗號隔開。1、.csv->.arff將CSV專換為ARFF最迅捷的辦法是使用WEKA聽帶的命令行工具。運行WEKA勺主程序,出現(xiàn)GUI后可以點擊下方按鈕進入相應的模塊。我們點擊進入“SimpleCLI”模塊提供的命令行功能。由于weka暫不支持中文輸入，所以挑選了在D盤下進行轉換，在新窗口的最下方（上方是不能寫字的）輸入框寫上javaD:/Fund-data.csv>D:/Fund-data.csv.arff即可完

18、成轉換，生成文件“D:/Fund-data.csv.arff0見下圖5:圖5進入“Exploer”模塊，從上方的按鈕中打開CSV文件然后另存為ARFF文件亦可。我們應該注意到，“Exploer”還提供了很多功能，實際上可以說這是WEKA使用最多的模塊。現(xiàn)在我們先來熟悉它的界面，然后利用它對數(shù)據(jù)進行預處理。界面展現(xiàn)見下圖6:圖中顯示的是使用“Exploer”打開“Fund-data.csv.csv”的情況。圖62、預處理通常對于WEKM說并不支持中文，所以我們將一些涉及中文的字段刪除。勾選屬性"fund_name”、“company”、“business_name”、“remark”,

19、并點擊“Remove'。將新的數(shù)據(jù)集保存一次。其中“fares_type”只有2個取值：全額結算和凈額結算。這時我們在UltraEdit中直接修改ARFF文件，把attributefares_type全額結算，凈額結算改為attributefares_typeFull,Netattributedatenumeric改為attributdate2009/8/24,2009/8/25,2009/8/26,2009/8/27,2009/8/28就可以了。在“Explorer”中重新打開“fund-data.arff”,選中“date”和“fund_type,看到屬性已經(jīng)變成“Nominal”

20、了。WEKAt持的<datatype>有四種，分別是：numeric-數(shù)值型，<nominal-specification>-分類（nominal）型，string-字符串型，date卜date-format>-日期和時間型而本表只有nemeric和nominal兩種類型，數(shù)值屬性（nemeric）數(shù)值型屬性可以是整數(shù)或者實數(shù)，但WEKAC它們都當作實數(shù)看待。分類屬性（nominal）分類屬性由<nominal-specification>列出一系列可能的類別名稱并放在花括號中：<nominal-name1>,<nominal-nam

21、e2>,。數(shù)據(jù)集中該屬性的值只能是其中一種類別。如果類別名稱帶有空格，仍需要將之放入引號中?！皊hares”,“banlance”,“fares”,“internet_shares”和“internet_banlance”的離散化我們需要借助WEKA中名為“Discretize”的Filter來完成。在區(qū)域2中點“Choose',出現(xiàn)一棵“Filter樹”，逐級找到“”，點擊。若無法關閉這個樹，在樹之外的地方點擊“Explorer”面板即可?，F(xiàn)在“Choose'旁邊的文本本1應該顯示“Discretize-B10-M-0.1-Rfirst-lasf。點擊這個文本框會彈出新

22、窗口以修改離散化的參數(shù)。我們不打算對所有的屬性離散化，只是針對對第4,5,6,8,9個，故把attributeIndices右邊改成“4,5,6,8,9”。我們把這兩個屬性都分成10段，于是把“bins”改成“10”。其它不變。點"OK'回到"Explorer"，可以看到“shares',"banlance”,“fares”,“internet_shares”和“internet_banlance”已經(jīng)被離散化成分類型的屬性。同時我們可以用UltraEdit打開保存后的ARFF5C件，把所有的類似“''（-inf-1464

23、805.884''"替換成"0_1464805.884”。其它標識做類似地手動替換。經(jīng)刪減后，保留date、sharesbalance、fares、fares_type、internet_shares、internet_balance7個屬性，如圖7圖7在進行數(shù)據(jù)搜集和整理的過程中，我們發(fā)現(xiàn)如果屬性的類型為數(shù)值型的話，在做關聯(lián)分析時將不能得到結果，因為關聯(lián)分析無法處理數(shù)值型數(shù)據(jù)。因此，我們進行了數(shù)據(jù)離散處理后使得需要分析的數(shù)據(jù)變?yōu)榉诸愋?，這樣就可以關聯(lián)分析得以順利進行。因此通過預處理數(shù)據(jù)可以提高原數(shù)據(jù)的質量，清除數(shù)據(jù)噪聲和與挖掘目標無關的數(shù)據(jù)，為進一步的挖掘

24、工作莫定可靠的基礎。3、分類與回歸WEKAH勺"Classify”選項卡中包含了分類（Classfication）和回歸（Regression）,在這兩個任務中，都有一個共同的目標屬性（輸出變量）?？梢愿鶕?jù)一個樣本（WEKA中稱作實例）的一組特征（輸入變量），對目標進行預測。為了實現(xiàn)這一目的，我們需要有一個訓練數(shù)據(jù)集，這個數(shù)據(jù)集中每個實例的輸入和輸出都是已知的。觀察訓練集中的實例，可以建立起預測的模型。有了這個模型，我們就可以新的輸出未知的實例進行預測了。衡量模型的好壞就在于預測的準確程度。在WEKAK待預測的目標（輸出）被稱作Class屬性，這應該是來自分類任務的“類”。一般的，若

25、Class屬性是分類型時我們的任務才叫分類，Class屬性是數(shù)值型時我們的任務叫回歸。而我們使用決策樹算法C4.5對Fund-data-normal建立起分類模型。因此我們制作分類不做回歸。我們用“Explorer”打開訓練集“Fund-data-normal.arff”,。切換到“Classify”選項卡，點擊“Choose”按鈕后可以看到很多分類或者回歸的算法分門別類的列在一個樹型框里。樹型框下方有一個"Filter.”按鈕，點擊后勾選“Binaryattributes”“Numericattributes”和“Binaryclass"。點“OK后回到樹形圖，可以發(fā)現(xiàn)一

26、些算法名稱變灰了，說明它們不能用。選擇“trees”下的“J48”，這就是我們需要的C4.5算法。點擊“Choose”右邊的文本框，彈出新窗口為該算法設置各種參數(shù)。我們把參數(shù)保持默認。選上“Cross-validation”并在“Folds”框填上“10”。點“Start按鈕開始讓算法生成決策樹模型。很快，用文本表示的一棵決策樹以及對這個決策樹的誤差分析結果出現(xiàn)在右邊“Classifieroutput”中。見圖8圖84、聚類分析聚類的任務是把所有的實例分配到若干的簇，使得同一個簇的實例聚集在一個簇中心的周圍，它們之間距離的比較近；而不同簇實例之間的距離比較遠。現(xiàn)在我們對前面的“Fund-dat

27、a-normal”作聚類分析，使用最常見的K均值(K-means)算法。用“Explorer”打開剛才得到的“Fund-data-normal.arff”,并切換至U“Cluster"o點“Choose”按鈕選擇“SimpleKMeans"，這是WEKAf:實現(xiàn)K均值的算法。點擊旁邊的文本框，修改“numClusters為6,說明我們希望把這734條實例聚成6類，即K=5。下面的“seed”參數(shù)是要設置一個隨機種子，依此產(chǎn)生一個隨機數(shù)，用來得到K均值算法中第一次給出的K個簇中心的位置。我們不妨暫時讓它就為10。選中“ClusterMode”的“Usetrainingset”

28、,點擊“Start”按鈕，觀察右邊“Clustereroutput”給出的聚類結果。見下圖9:圖95、關聯(lián)規(guī)則我們打算對前面的“Fund-data-normal”數(shù)據(jù)作關聯(lián)規(guī)則的分析。用“Explorer”打開“Fund-data-normal.arff”后，切換至U"Associate”選項卡。默認關聯(lián)規(guī)則分析是用Apriori算法，我們就用這個算法，但是點“Choose”右邊的文本框修改默認的參數(shù)。從網(wǎng)上獲得的Apriori有關知識：對于一條關聯(lián)規(guī)則L->R,我們常用支持度(Support)和置信度(Confidence)來衡量它的重要性。規(guī)則的支持度是用來估計在一個購物籃

29、中同時觀察到L和R的概率P(L,R),而規(guī)則的置信度是估計購物欄中出現(xiàn)了L時也出會現(xiàn)R的條件概率P(R|L)。關聯(lián)規(guī)則的目標一般是產(chǎn)生支持度和置信度都較高的規(guī)則。有幾個類似的度量代替置信度來衡量規(guī)則的關聯(lián)程度，它們分別是Lift(提升度？):P(L,R)/(P(L)P(R)Lift=1時表示L和R獨立。這個數(shù)越大，越表明L和R存在在一個購物籃中不是偶然現(xiàn)象。Leverage(不知道怎么翻譯)：P(L,R)-P(L)P(R)它和Lift的含義差不多。Leverage=0時L和R獨立，Leverage越大L和R的關系越密切。Conviction(更不知道譯了)：P(L)P(!R)/P(L,!R)(

30、舊表示R沒有發(fā)生)Conviction也是用來衡量L和R的獨立性。從它和lift的關系(對R取反，代入Lift公式后求倒數(shù))可以看出，我們也希望這個值越大越好。值得注意的是，用Lift和Leverage作標準時，L和R是對稱的，Confidence和Conviction則不然?，F(xiàn)在我們計劃挖掘出支持度在10哪J100%之間，并且lift值超過1.5且lift值排在前100位的那些關聯(lián)規(guī)則。我們把“l(fā)owerBoundMinSupport”和“upperBoundMinSupport”分別設為0.1和1,“metricType”設為lift,“minMetric”設為1.5,“numRules”

31、設為10,其他參數(shù)不變。點擊“start”見圖10圖10我們也可以利用命令行來完成挖掘任務，在“SimlpeCLI模塊中輸入如下格式的命令：java-N100-T1-C1.5-D0.05-U1.0-M0.1-S-1.0-I-td:fund-data-normal.arff即可得到如圖11的結果。圖116、屬性分析用“Explorer”打開剛才得到的“Fund-data-normal.arff”,并切換到“Selectattributes"。點“AttributeEvaluator”中的“Choose”按鈕選擇“ClassifierSubsetEval”,點“SearchMethod”

32、中的“Choose”按鈕選擇RaceSearch”。在“Attributeselection中選中"Cross-validation”項，參數(shù)默認Folds=10和Seed=1。點擊“start見圖12圖127、可視化分析用“Explorer”打開剛才得到的“Fund-data-normal.arff”,并切換到“Visualize”。見圖13圖13四、分析結果1、分類與回歸我們看到“J48”算法交叉驗證的結果之一為CorrectlyClassifiedInstances73099.455%IncorrectlyClassifiedInstances40.545%=ConfusionMatrix=abcdefghij<-classifiedas7300000000001a='(0_1430078.883'10000000001b='(1430078.883-2860157.766'10000000001c='(2