數(shù)據(jù)挖掘集成工具課件

2023/6/9史忠植高級人工智能1高級人工智能第十四章

知識發(fā)現(xiàn)

（二）

史忠植

中國科學院計算技術(shù)研究所2023/6/9史忠植高級人工智能2主要內(nèi)容研究背景WekaMSMiner體系結(jié)構(gòu)元數(shù)據(jù)數(shù)據(jù)倉庫平臺數(shù)據(jù)采掘集成工具2023/6/9史忠植高級人工智能3典型的知識發(fā)現(xiàn)系統(tǒng)SAS公司的SASEnterpriseMinerIBM公司的IntelligentMinerSolution公司的Clementine加拿大SimonFraserUniv.的DBMiner中科院計算技術(shù)研究所的MSMiner等2023/6/9史忠植高級人工智能4

知識發(fā)現(xiàn)工具SASSAS公司的SASEnterpriseMiner是一種通用的數(shù)據(jù)挖掘工具。通過收集分析各種統(tǒng)計資料和客戶購買模式，SASEnterpriseMiner可以幫助您發(fā)現(xiàn)業(yè)務(wù)的趨勢，解釋已知的事實，預測未來的結(jié)果，并識別出完成任務(wù)所需的關(guān)鍵因素，以實現(xiàn)增加收入、降低成本。2023/6/9史忠植高級人工智能5

知識發(fā)現(xiàn)工具SASSASEnterpriseMiner提供"抽樣-探索-轉(zhuǎn)換-建模-評估"(SEMMA)的處理流程。數(shù)據(jù)挖掘算法有：

·聚類分析，SOM/KOHONEN神經(jīng)網(wǎng)絡(luò)分類算法

·關(guān)聯(lián)模式/序列模式分析

·多元回歸模型

·決策樹模型(C45,CHAID,CART)

·神經(jīng)網(wǎng)絡(luò)模型(MLP,RBF)

·SAS/STAT，SAS/ETS等模塊提供的統(tǒng)計分析模型和時間序列分析模型也可嵌入其中。2023/6/9史忠植高級人工智能6

知識發(fā)現(xiàn)工具IntelligentMiner

IBM公司的IntelligentMiner具有典型數(shù)據(jù)集自動生成、關(guān)聯(lián)發(fā)現(xiàn)、序列規(guī)律發(fā)現(xiàn)、概念性分類和可視化顯示等功能。它可以自動實現(xiàn)數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)掘和結(jié)果顯示。若有必要，對結(jié)果數(shù)據(jù)集還可以重復這一過程，直至得到滿意結(jié)果為止。2023/6/9史忠植高級人工智能7

知識發(fā)現(xiàn)工具ClementineSolution公司的Clementine提供了一個可視化的快速建立模型的環(huán)境。它由數(shù)據(jù)獲?。―ataAccess）、探查（Investigate）、整理（Manipulation）、建模（Modeling）和報告（Reporting）等部分組成。都使用一些有效、易用的按鈕表示，用戶只需用鼠標將這些組件連接起來建立一個數(shù)據(jù)流，可視化的界面使得數(shù)據(jù)挖掘更加直觀交互，從而可以將用戶的商業(yè)知識在每一步中更好的利用。2023/6/9史忠植高級人工智能8數(shù)據(jù)挖掘工具:公用系統(tǒng)

MLC++MatlabWeka6/9/2023UniversityofWaikato9作者:IanH.Witten/EibeFrank

副標題:PracticalMachineLearningToolsandTechniques,SecondEdition(MorganKaufmannSeriesinDataManagementSystems)

頁數(shù):525

出版社:MorganKaufmann

出版年:2005-06-08

Weka關(guān)于WEKA的簡介WEKA的全名是懷卡托智能分析環(huán)境（WaikatoEnvironmentforKnowledgeAnalysis），是一款免費的，非商業(yè)化（與之對應(yīng)的是SPSS公司商業(yè)數(shù)據(jù)挖掘產(chǎn)品--Clementine）的，基于JAVA環(huán)境下開源的機器學習（machinelearning）以及數(shù)據(jù)挖掘（dataminining）軟件。它和它的源代碼可在其官方網(wǎng)站下載。非常有趣的是，該軟件的縮寫WEKA也是NewZealand獨有的一種鳥名，而Weka的主要開發(fā)者同時恰好來自NewZealand的theUniversityofWaikato。6/9/2023UniversityofWaikato106/9/2023UniversityofWaikato11WEKA:thebird（譯：秧雞）Copyright:MartinKramer(mkramer@wxs.nl)關(guān)于WEKA的簡介WEKA作為一個公開的數(shù)據(jù)挖掘工作平臺，集合了大量能承擔數(shù)據(jù)挖掘任務(wù)的機器學習算法，包括對數(shù)據(jù)進行預處理，分類，回歸、聚類、關(guān)聯(lián)規(guī)則以及在新的交互式界面上的可視化。而開發(fā)者則可使用Java語言，利用WEKA的架構(gòu)上開發(fā)出更多的數(shù)據(jù)挖掘算法。用戶如果想自己實現(xiàn)數(shù)據(jù)挖掘算法的話，可以查看WEKA的接口文檔。在WEKA中集成自己的算法甚至借鑒它的方法自己實現(xiàn)可視化工具并不是件很困難的事情。6/9/2023UniversityofWaikato12WEKA開發(fā)歷史的介紹WEKA自1993年由位于NewZealand的theUniversityofWaikato進行開發(fā)，最初的軟件基于C語言實現(xiàn)。1997年，開發(fā)小組用JAVA語言重新編寫了該軟件，并且對相關(guān)的數(shù)據(jù)挖掘算法進行了大量的改進。2005年8月，在第11屆ACMSIGKDD國際會議上，theUniversityofWaikato的Weka小組榮獲了數(shù)據(jù)挖掘和知識探索領(lǐng)域的最高服務(wù)獎，Weka系統(tǒng)得到了廣泛的認可，被譽為數(shù)據(jù)挖掘和機器學習歷史上的里程碑，是現(xiàn)今最完備的數(shù)據(jù)挖掘工具之一.6/9/2023UniversityofWaikato136/9/2023UniversityofWaikato14WEKA:versionsThereareseveralversionsofWEKA:WEKA3.4:“bookversion”compatiblewithdescriptionindataminingbookWEKA3.6:“GUIversion”addsgraphicaluserinterfacesWEKA3.7:“developmentversion”withlotsofimprovementsThistalkisbasedonthesnapshotofWEKA3.3WEKA：FormatoftheData使用這個系統(tǒng)前，首先需要將用戶的數(shù)據(jù)轉(zhuǎn)變成為WEKA所需要的數(shù)據(jù)格式（ARFF格式）。大多數(shù)ARFF數(shù)據(jù)文件是一個包括所有事例的列表，還有每個事例的屬性值，這些屬性值用逗號分開。當事例存在EXCEL或數(shù)據(jù)庫中的時候，只需要將他們提出，轉(zhuǎn)成數(shù)據(jù)間用逗號分割的形式，然后加上數(shù)據(jù)集的名字@relation，屬性信息@attribute，值@data，然后再將該文件保存成ARFF格式即可。需要注意的是WEKA中的分類方案缺省假定ARFF文件中的最后一個屬性是分類屬性。6/9/2023UniversityofWaikato156/9/2023UniversityofWaikato16@relationheart-disease-simplified@attributeagenumeric@attributesex{female,male}@attributechest_pain_type{typ_angina,asympt,non_anginal,atyp_angina}@attributecholesterolnumeric@attributeexercise_induced_angina{no,yes}@attributeclass{present,not_present}@data63,male,typ_angina,233,no,not_present67,male,asympt,286,yes,present67,male,asympt,229,yes,present38,female,non_anginal,?,no,not_present...WEKAonlydealswith“flat”filesFlatfileinARFFformat6/9/2023UniversityofWaikato17@relationheart-disease-simplified@attributeagenumeric@attributesex{female,male}@attributechest_pain_type{typ_angina,asympt,non_anginal,atyp_angina}@attributecholesterolnumeric@attributeexercise_induced_angina{no,yes}@attributeclass{present,not_present}@data63,male,typ_angina,233,no,not_present67,male,asympt,286,yes,present67,male,asympt,229,yes,present38,female,non_anginal,?,no,not_present...WEKAonlydealswith“flat”filesnumericattributenominalattribute6/9/2023UniversityofWaikato186/9/2023UniversityofWaikato196/9/2023UniversityofWaikato206/9/2023UniversityofWaikato21Explorer:pre-processingthedataDatacanbeimportedfromafileinvariousformats:ARFF,CSV,C4.5,binaryDatacanalsobereadfromaURLorfromanSQLdatabase(usingJDBC)Pre-processingtoolsinWEKAarecalled“filters”WEKAcontainsfiltersfor:Discretization,normalization,resampling,attributeselection,transformingandcombiningattributes,…6/9/2023UniversityofWaikato226/9/2023UniversityofWaikato236/9/2023UniversityofWaikato246/9/2023UniversityofWaikato256/9/2023UniversityofWaikato266/9/2023UniversityofWaikato276/9/2023UniversityofWaikato282023/6/9史忠植高級人工智能29

知識發(fā)現(xiàn)工具MSMiner

中科院計算技術(shù)研究所智能信息處理開放實驗室開發(fā)的MSMiner是一種多策略知識發(fā)現(xiàn)平臺，能夠提供快捷有效的數(shù)據(jù)挖掘解決方案，提供多種知識發(fā)現(xiàn)方法。MSMiner具有下列特點：

.基于數(shù)據(jù)倉庫和新型的元數(shù)據(jù)管理按照主題創(chuàng)建數(shù)據(jù)倉庫，并通過元數(shù)據(jù)進行管理和維護。

.數(shù)據(jù)的抽取、轉(zhuǎn)換、裝載等預處理方便，支持OLAP查詢。

2023/6/9史忠植高級人工智能30MSMiner的特點提供決策樹、支持向量機、粗糙集、模糊聚類、基于范例推理、統(tǒng)計方法、神經(jīng)計算等多種數(shù)據(jù)挖掘算法，支持特征抽取、分類、聚類、預測、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、統(tǒng)計分析等數(shù)據(jù)挖掘功能，并支持高層次的決策分析功能。實現(xiàn)了可視化的任務(wù)編輯環(huán)境，以及功能強大的任務(wù)處理引擎，能夠快捷有效地實現(xiàn)各種數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)挖掘任務(wù)。

可擴展性好。轉(zhuǎn)換規(guī)則和挖掘算法是封裝的、模塊化的，系統(tǒng)提供了一個開放的、靈活通用的接口，使用戶能夠加入新的規(guī)則和算法。

容易進行二次開發(fā)。

2023/6/9史忠植高級人工智能31數(shù)據(jù)倉庫:特征面向主題集成性穩(wěn)定性隨時間變化2023/6/9史忠植高級人工智能32數(shù)據(jù)倉庫:OLAPROLAP:RelationalOLAPMOLAP:MultidimensionalOLAPHOLAP:HybridOLAP2023/6/9史忠植高級人工智能33數(shù)據(jù)挖掘和數(shù)據(jù)倉庫的結(jié)合數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提供經(jīng)良好處理的數(shù)據(jù)源數(shù)據(jù)挖掘為數(shù)據(jù)倉庫提供深層數(shù)據(jù)分析手段2023/6/9史忠植高級人工智能34MSMiner體系結(jié)構(gòu)設(shè)計目標：

提供快捷有效的數(shù)據(jù)挖掘解決方案。設(shè)計要求：開放性可擴展性效率易用性2023/6/9史忠植高級人工智能35MSMiner體系結(jié)構(gòu)MSMiner體系結(jié)構(gòu)示意圖客戶端服務(wù)器端元數(shù)據(jù)模塊執(zhí)行數(shù)據(jù)挖掘任務(wù)編輯數(shù)據(jù)挖掘任務(wù)數(shù)據(jù)采掘集成工具數(shù)據(jù)抽取和集成主題組織OLAP可視化數(shù)據(jù)倉庫管理器數(shù)據(jù)倉庫OLEDBforODBC2023/6/9史忠植高級人工智能36元數(shù)據(jù)的內(nèi)容關(guān)于外部數(shù)據(jù)源的關(guān)于內(nèi)部數(shù)據(jù)的（包括數(shù)據(jù)庫、表、字段的信息）關(guān)于數(shù)據(jù)倉庫的（包括事實表、維表、立方以及其它的中間表）關(guān)于用戶信息的數(shù)據(jù)采掘算法（包括算法的參數(shù)信息）關(guān)于采掘任務(wù)的（包括采掘步驟、每個步驟的所用的參數(shù)）2023/6/9史忠植高級人工智能37元數(shù)據(jù)：元數(shù)據(jù)庫2023/6/9史忠植高級人工智能38元數(shù)據(jù)：元數(shù)據(jù)對象模型設(shè)計思路一致性完備性易維護性2023/6/9史忠植高級人工智能39元數(shù)據(jù)是層次的嵌套的封裝的互相聯(lián)系的采用面向?qū)ο蟮姆椒ü灿?0多個類元數(shù)據(jù)的結(jié)構(gòu)2023/6/9史忠植高級人工智能40數(shù)據(jù)倉庫平臺：結(jié)構(gòu)MSMiner數(shù)據(jù)倉庫結(jié)構(gòu)示意圖外部數(shù)據(jù)數(shù)據(jù)倉庫元數(shù)據(jù)數(shù)據(jù)抽取、清洗、聚集、轉(zhuǎn)換主題2主題1主題nOLAP及可視化工具數(shù)據(jù)采掘集成工具...2023/6/9史忠植高級人工智能41數(shù)據(jù)倉庫平臺：數(shù)據(jù)抽取和集成數(shù)據(jù)的簡單抽取和集成數(shù)據(jù)的復雜處理面向數(shù)據(jù)挖掘的數(shù)據(jù)預處理2023/6/9史忠植高級人工智能42數(shù)據(jù)抽取和集成:MSETL

MSETL系統(tǒng)作為MSMiner數(shù)據(jù)挖掘平臺的一個重要組成部分，主要完成從業(yè)務(wù)數(shù)據(jù)源到分析數(shù)據(jù)源的轉(zhuǎn)換功能。具體包括從異質(zhì)業(yè)務(wù)數(shù)據(jù)源中抽取需要的數(shù)據(jù)，對這些數(shù)據(jù)進行多種預處理，把經(jīng)過處理后的數(shù)據(jù)裝載入指定數(shù)據(jù)倉庫/數(shù)據(jù)庫2023/6/9史忠植高級人工智能43數(shù)據(jù)抽取和集成:MSETL

用戶界面（ETL轉(zhuǎn)換函數(shù)和ETL任務(wù)）邏輯處理元數(shù)據(jù)管理數(shù)據(jù)庫服務(wù)器2023/6/9史忠植高級人工智能44數(shù)據(jù)抽取和集成:MSETL支持多種數(shù)據(jù)源和目的數(shù)據(jù)庫良好的可擴充性高效率的調(diào)度執(zhí)行功能增量更新功能2023/6/9史忠植高級人工智能45數(shù)據(jù)抽取和集成:MSETL2023/6/9史忠植高級人工智能46數(shù)據(jù)抽取和集成:MSETL2023/6/9史忠植高級人工智能47數(shù)據(jù)倉庫平臺：數(shù)據(jù)倉庫建模產(chǎn)品號產(chǎn)品名稱產(chǎn)品目錄產(chǎn)品維表訂單號訂貨日期訂貨維表客戶號客戶名稱客戶地址客戶維表產(chǎn)品號客戶號訂單號時間標識地區(qū)名稱產(chǎn)品數(shù)量總價事實表時間標識月季度年時間維表地區(qū)名稱省別地區(qū)維表星型模型2023/6/9史忠植高級人工智能48OLAPMOLAP,ROLAP,HOLAPOLAP的操作Slice（切片）Dice（切塊）Rollup（上卷）Drilldown（下鉆）Pivot（旋轉(zhuǎn)）OLAP方案

采用了自主開發(fā)的OLAPServer2023/6/9史忠植高級人工智能49數(shù)據(jù)立方體2023/6/9史忠植高級人工智能50數(shù)據(jù)倉庫平臺：OLAP的實現(xiàn)2023/6/9史忠植高級人工智能51數(shù)據(jù)挖掘集成工具：結(jié)構(gòu)數(shù)據(jù)挖掘集成工具結(jié)構(gòu)示意圖數(shù)據(jù)倉庫平臺任務(wù)編輯任務(wù)規(guī)劃和執(zhí)行算法庫算法管理元數(shù)據(jù)任務(wù)模型庫、算法描述2023/6/9史忠植高級人工智能52數(shù)據(jù)挖掘集成工具：數(shù)據(jù)挖掘任務(wù)模型Step1Step2Step4Step3Step5DMTask=(V,R)V={x|x∈StepObjects}R={<x,y>|P(x,y)∧x,y∈V}2023/6/9史忠植高級人工智能53數(shù)據(jù)挖掘集成工具：數(shù)據(jù)挖掘任務(wù)模型步驟對象BNF語法定義：<StepObject>::=<Attribute_List>;<Method_List><Attribute_List>::= [<Attribute>|<Attribute>;<Attribute_List>]<Attribute>::=<Name>,<Value><Method_List>::=[<Method>|<Method>;<Method_List>]<Method>::=<Name>,<Script><Name>::=[<char>|<string>]<Value>::=[<char>|<string>|<integer>|<float>]<Script>::=<DML_Sentence>*2023/6/9史忠植高級人工智能54數(shù)據(jù)挖掘集成工具：編輯任務(wù)模型任務(wù)向?qū)?023/6/9史忠植高級人工智能55數(shù)據(jù)挖掘集成工具：編輯任務(wù)模型任務(wù)編輯圖板2023/6/9史忠植高級人工智能56數(shù)據(jù)挖掘集成工具：處理任務(wù)模型人機界面主控模塊規(guī)劃器解釋器緩存函數(shù)庫黑板任務(wù)模型庫數(shù)據(jù)采掘任務(wù)處理引擎的結(jié)構(gòu)2023/6/9史忠植高級人工智能57數(shù)據(jù)挖掘集成工具：處理任務(wù)模型任務(wù)規(guī)劃和解釋執(zhí)行S1S3S2S4S5S1-S2-S3-S4-S52023/6/9史忠植高級人工智能58數(shù)據(jù)挖掘集成工具：DML語言DML函數(shù)人機交互和控制臺輸入/輸出數(shù)值計算字符串處理圖形、圖表展示文件操作數(shù)據(jù)庫訪問網(wǎng)絡(luò)通訊對象訪問消息處理和流程控制黑板操作外部功能調(diào)用其它輔助功能2023/6/9史忠植高級人工智能59數(shù)據(jù)挖掘集成工具：內(nèi)嵌決策樹SOM神經(jīng)網(wǎng)絡(luò)粗糙集關(guān)聯(lián)規(guī)則

2023/6/9史忠植高級人工智能60決策樹2023/6/9史忠植高級人工智能61知識約簡知識約簡——在保持知識庫的分類或決策能力不變的條件下，刪除其中不相關(guān)或不重要知識冗余知識——資源的浪費；干擾人們作出正確而簡潔的決策RoughSet——把那些無法確認的個體都歸屬于邊界線區(qū)域，而這種邊界線區(qū)域被定義為上近似集和下近似集之差集（Z.Pawlak）

知識約簡是粗糙集的核心內(nèi)容之一

2023/6/9史忠植高級人工智能62RoughSet約簡2023/6/9史忠植高級人工智能63數(shù)據(jù)挖掘集成工具：外聯(lián)BP神經(jīng)網(wǎng)絡(luò)統(tǒng)計分析模糊聚類超曲面分類SVM貝葉斯網(wǎng)絡(luò)基于范例推理(CBR)隱馬爾科夫模型(HMM)2023/6/9史忠植高級人工智能64BP用于預測2023/6/9史忠植高級人工智能65統(tǒng)計工具線性回歸模型

——一元線性回歸、多元線性回歸、逐步回歸

非線性回歸模型——二次曲線、三次曲線、指數(shù)曲線、冪指數(shù)曲線、生產(chǎn)函數(shù)等模型

確定型時間序列模型——指數(shù)平滑法、趨勢移動平均法（水平趨勢、線性趨勢和二次曲線趨勢）、成長曲線模型（Compertz曲線、Logistic曲線和修正指數(shù)曲線）、季節(jié)指數(shù)法隨機型時間序列模型（自回歸－移動平均模型ARMA）相關(guān)分析

2023/6/9史忠植高級人工智能66自回歸移動平均(ARMA)2023/6/9史忠植高級人工智能67模糊聚類基于傳遞閉包的模糊聚類

——計算模糊相似矩陣的傳遞閉包，

從而獲得傳遞閉包法的模糊聚類基于攝動的模糊聚類

——參數(shù)系

相似矩陣的最優(yōu)模糊等價陣及其等價標準型獲得失真最小的模糊聚類2023/6/9史忠植高級人工智能68數(shù)據(jù)挖掘集成工具：可擴展算法庫算法注冊2023/6/9史忠植高級人工智能69MSMiner的應(yīng)用：計算機選案決策樹選案執(zhí)行選案選案結(jié)果分析定義樣本模板訓練樣本數(shù)據(jù)選案規(guī)則樣本數(shù)據(jù)表數(shù)據(jù)匯總表稅務(wù)稽查計算機選案系統(tǒng)功能結(jié)構(gòu)2023/6/9史忠植高級人工智能70MSMiner的應(yīng)用：計算機選案挖掘結(jié)果：云計算時代的分布并行編程技術(shù)分布并行數(shù)據(jù)處理技術(shù)GoogleMap/ReduceHadoopMap/Reduce

分布式文件系統(tǒng)GoogleFileSystemHadoop

DistributedFileSystem分布式數(shù)據(jù)庫Google

BigTableHadoopHBase云計算時代的分布并行編程技術(shù)分布并行數(shù)據(jù)處理72軟件工程國家重點實驗室Map/Reduce用于大規(guī)模數(shù)據(jù)并行處理數(shù)據(jù)量大（超過1TB）在成百上千個CPU上并行處理用戶只需實現(xiàn)下面接口 map(in_key,in_value)-> (out_key,intermediate_value)list reduce(out_key,intermediate_valuelist)-> out_valuelist分布并行數(shù)據(jù)處理73軟件工程國家重點實驗室Map/Reduce架構(gòu)分布并行數(shù)據(jù)處理MapReduce實現(xiàn)原理分布式文件系統(tǒng)75GoogleFileSystem（GFS）需求：在廉價、相對不可靠的計算機上對巨量數(shù)據(jù)進行冗余存儲。為什么不用現(xiàn)有的文件系統(tǒng)？--Google面對特殊的挑戰(zhàn)文件較大，每個都在100M以上，通常為幾個GB文件通常需要頻繁的追加用流方式讀取