數(shù)據(jù)探勘概念

數(shù)據(jù)探勘概念資料探勘(Datamining)是從大型數(shù)據(jù)集中探索有趣(interesting)及有價(jià)值(valuable)的問題，并可付諸行動(dòng)之方案的一個(gè)過程。換而言之，數(shù)據(jù)探勘可以衍生/呈現(xiàn)存在于數(shù)據(jù)(data)中的某一種模式(model)和趨勢(trend)。這些模式和趨勢可收集在一起，并定義為數(shù)據(jù)探勘的模型。1-1數(shù)據(jù)探勘概念當(dāng)我們看到一個(gè)現(xiàn)象，例如：新上市的飲料銷售的情形很好，為什么會(huì)很好？我們能不能從數(shù)據(jù)當(dāng)中，找出是哪些原因?qū)е逻@個(gè)現(xiàn)象的發(fā)生？如果要找出導(dǎo)致這個(gè)現(xiàn)象發(fā)生的原因，當(dāng)數(shù)據(jù)量非常的大而且相關(guān)的變量很多時(shí)，如何從這些變量與數(shù)據(jù)當(dāng)中，找到跟銷售有關(guān)的訊息，來說明為何飲料銷售的很好？1-1數(shù)據(jù)探勘概念所以，我們也可以說，資料探勘并不純粹只是一種技術(shù)或是一套軟件，而是一種結(jié)合數(shù)個(gè)不同問題領(lǐng)域(problemdomain)的專業(yè)技術(shù)(technologies)，并且將之運(yùn)用來找出數(shù)據(jù)中信息的一個(gè)流程(procedure)。1-1數(shù)據(jù)探勘概念隨著信息科技的快速進(jìn)展，讓實(shí)時(shí)處理大量數(shù)據(jù)已不再成為天方夜譚的困難任務(wù)。計(jì)算機(jī)信息系統(tǒng)對(duì)數(shù)據(jù)高速處理的能力，讓數(shù)據(jù)的儲(chǔ)存更具有價(jià)值，而不再僅是一堆字段與位的組合而已。表1.1說明了計(jì)算機(jī)信息系統(tǒng)的演進(jìn)過程。1-2何謂資料探勘？1-2何謂資料探勘？演進(jìn)步驟目前企業(yè)問題應(yīng)用技術(shù)系統(tǒng)供貨商系統(tǒng)特性文件系統(tǒng)（1960年代）“2002年12月筆記本電腦的銷售明細(xì)為何？”計(jì)算機(jī)、磁帶、磁盤IBM,CDC傳遞歷史性的靜態(tài)數(shù)據(jù)數(shù)據(jù)庫系統(tǒng)（1970年代）“IBMX31筆記本電腦目前的售價(jià)是多少？”階層式數(shù)據(jù)庫(hierarchicaldatabase)、網(wǎng)絡(luò)式數(shù)據(jù)庫(networkdatabase)、關(guān)系數(shù)據(jù)庫(relationaldatabase)、結(jié)構(gòu)化查詢語言(SQL)、開放性數(shù)據(jù)庫鏈接設(shè)定(ODBC)Oracle,Sybase,Informix,IBM,Microsoft傳遞實(shí)時(shí)性的單層次動(dòng)態(tài)數(shù)據(jù)數(shù)據(jù)倉儲(chǔ)系統(tǒng)（1990年代）“去年北部地區(qū)筆記本電腦的總銷售量是多少？其中臺(tái)北市的銷售量是多少？”在線分析處理（OLAP）、多維度數(shù)據(jù)模型(multidimensionaldatamodel)、資料倉儲(chǔ)(datawarehouse)Pilot,Comshare,Arbor,Cognos,Microstrategy,Microsoft傳遞歷史性的多層次動(dòng)態(tài)數(shù)據(jù)數(shù)據(jù)探勘系統(tǒng)（現(xiàn)代）“明年筆記本電腦的預(yù)估銷售量為何？為什么？”進(jìn)階算法、多處理器計(jì)算機(jī)系統(tǒng)、大量數(shù)據(jù)儲(chǔ)存技術(shù)、人工智能Pilot,Lockheed,IBM,SGI傳遞預(yù)知的、鑒往知來的信息表1.1計(jì)算機(jī)信息系統(tǒng)的演進(jìn)過程資料探勘的熱烈蓬勃發(fā)展雖是近期的事，背后藉由成熟進(jìn)展的統(tǒng)計(jì)學(xué)支持，才能夠更具有說服力，即使如此，但資料探勘和統(tǒng)計(jì)學(xué)仍有諸多差異。表1.2為資料探勘與統(tǒng)計(jì)的差異1-2何謂資料探勘？1-2何謂資料探勘？比較項(xiàng)目資料采礦統(tǒng)計(jì)分析數(shù)據(jù)處理量處理大量數(shù)據(jù)1,000,000,000rows,

3,000columns處理大量數(shù)據(jù)10,000rows,

20columns使用數(shù)據(jù)型態(tài)未經(jīng)整理過的資料有系統(tǒng)、整理過的數(shù)據(jù)合理的軟件價(jià)格約$2,000,000約$79.99使用者企業(yè)末端者使用統(tǒng)計(jì)學(xué)家檢測用統(tǒng)計(jì)背景無須太專業(yè)的統(tǒng)計(jì)背景需要專業(yè)的統(tǒng)計(jì)背景對(duì)分析數(shù)據(jù)屬性定義清楚必須必須對(duì)解決問題目標(biāo)明確必須必須提供分析算法統(tǒng)計(jì)分析方法、人工智能、判定樹、類神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)分析方法模式建立提供多種模型，可以在短時(shí)間內(nèi)決定合適者。需要分析者逐一分析變量重要性，模式才能建立。相關(guān)變數(shù)可以找出多個(gè)變量間之相關(guān)性。一次只能檢查一個(gè)變量對(duì)結(jié)果的影響可以預(yù)期分析結(jié)果不可以可以執(zhí)行方式不斷循環(huán)、不斷修正的過程可以問題為導(dǎo)向，相關(guān)問題通常只需分析一次。表1.2資料探勘與統(tǒng)計(jì)的差異由于信息科技的演進(jìn)與人類各種活動(dòng)（如商業(yè)行為）倍加頻繁的狀態(tài)，現(xiàn)今數(shù)據(jù)的格式與內(nèi)容已非完全使用統(tǒng)計(jì)方法可以處理，尤其是許多的數(shù)據(jù)報(bào)含多達(dá)數(shù)十或數(shù)百種屬性的高維度數(shù)據(jù)，因此統(tǒng)計(jì)方法僅能使用抽樣的方法，選擇只用一小部分搜集到的資料來分析。資料探勘能夠處理的數(shù)據(jù)量非常龐大，目前處理器指令周期非?？?，藉由數(shù)據(jù)儲(chǔ)存媒體的巨大儲(chǔ)存量，讓數(shù)據(jù)探勘的能力已遠(yuǎn)遠(yuǎn)超乎人類的計(jì)算能力，并在浩瀚且紊亂的數(shù)據(jù)流中找出有趣的類型，進(jìn)而挖出有價(jià)值的金礦（知識(shí)）。1-2何謂資料探勘？統(tǒng)計(jì)技術(shù)的能力，目前僅能處理以經(jīng)過處理或整理過的數(shù)據(jù)格式，且在其中找出相關(guān)的因素與相關(guān)性，但是若資料量過多或過大時(shí)，將會(huì)造成各項(xiàng)的因素都呈現(xiàn)顯著，影響數(shù)據(jù)呈現(xiàn)。1-2何謂資料探勘？統(tǒng)計(jì)技術(shù)的使用，必須配合使用者具有專業(yè)的統(tǒng)計(jì)背景或經(jīng)過專業(yè)的統(tǒng)計(jì)訓(xùn)練，同時(shí)預(yù)先完成研究目的與假設(shè)，同時(shí)設(shè)定統(tǒng)計(jì)分析方法，并在完成資料搜集后開始依選定的統(tǒng)計(jì)軟件分析數(shù)據(jù)，并解釋結(jié)果。否則對(duì)于統(tǒng)計(jì)應(yīng)用的能力將會(huì)造成困擾與障礙。資料探勘的使用較為平易近人，用戶僅需了解軟件的使用方式與算法的特點(diǎn)，并將計(jì)算出來的結(jié)果加以適當(dāng)?shù)慕忉?，或以圖形接口與窗體格式讓數(shù)據(jù)更加活潑與生動(dòng)。1-2何謂資料探勘？麻省理工學(xué)院2001年元月號(hào)科技評(píng)論(TechnologyReview)預(yù)測，未來會(huì)改變世界的10大新興技術(shù)中，數(shù)據(jù)探勘技術(shù)名列第四，可見資料探勘技術(shù)日漸受重視的程度。1-2何謂資料探勘？數(shù)據(jù)探勘是萃取知識(shí)的最佳方式之一。Fayyad在1987年就讀密歇根大學(xué)參加GM的暑期工作時(shí)，為了能自成千上萬的維修記錄中發(fā)掘特定規(guī)則(rule)與類型(pattern)，并能夠協(xié)助相關(guān)的維修記錄人員迅速的發(fā)現(xiàn)、解決問題。Fayyad所發(fā)展的Pattern辨識(shí)算法，不但成了他1991年博士論文的主題，亦衍生出后來資料探勘的發(fā)展。1-2何謂資料探勘？數(shù)據(jù)探勘最早是被應(yīng)用在天文學(xué)上，藉由機(jī)械學(xué)習(xí)(machinelearning)、人工智能(artificialintelligence)、統(tǒng)計(jì)(statistics)、數(shù)據(jù)庫查詢(SQL)、類型分析(patternanalysis)、統(tǒng)計(jì)(statistics)及專業(yè)知識(shí)(domainknowhow)等技術(shù)，在短短4小時(shí)內(nèi)所發(fā)現(xiàn)的行星勝過20多位天文學(xué)家4年的研究成果；最后連美國軍方也開始應(yīng)用這樣的技術(shù)來增強(qiáng)雷達(dá)解讀與辨識(shí)數(shù)據(jù)的能力。1-2何謂資料探勘？數(shù)據(jù)的型態(tài)可概分為：1.非結(jié)構(gòu)化數(shù)據(jù)(unstructureddata)：如大賣場柜臺(tái)收款機(jī)的產(chǎn)品事務(wù)歷史記錄、人員心理輔導(dǎo)及晤談的記錄等等。非結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)在于數(shù)據(jù)是屬于破碎、不連續(xù)性的性質(zhì)，多是用來記載、記錄一些活動(dòng)的過程。2.結(jié)構(gòu)化數(shù)據(jù)(structureddata)：如大賣場進(jìn)貨的產(chǎn)品數(shù)據(jù)、第三方數(shù)據(jù)、聘雇人員基本數(shù)據(jù)，或是學(xué)校內(nèi)值日生的排序表、每日上課的課表等等，都是屬于結(jié)構(gòu)化數(shù)據(jù)的范圍。1-2何謂資料探勘？1-2何謂資料探勘？資料RowData信息Information知識(shí)Knowledge數(shù)據(jù)庫資料倉儲(chǔ)資料探勘管理決策者資料分析師數(shù)據(jù)操作員專家系統(tǒng)知識(shí)庫系統(tǒng)決策支持系統(tǒng)數(shù)據(jù)庫系統(tǒng)中存放的是未經(jīng)整理的原始數(shù)據(jù)，數(shù)據(jù)倉儲(chǔ)系統(tǒng)內(nèi)則是經(jīng)過整理大量現(xiàn)況與歷史數(shù)據(jù)所得的信息，而數(shù)據(jù)探勘系統(tǒng)所儲(chǔ)存的則是經(jīng)過整理大量信息所得到的知識(shí)。「資料」(data)就是原始數(shù)據(jù)；「信息」(information)是把所得的資料視為題材，有目的地予以整理，藉以傳達(dá)某種訊息；「知識(shí)」(knowledge)則是一種藉由分析信息來掌握先機(jī)的能力，也是開創(chuàng)價(jià)值所需的直接材料；「智慧」(intelligence)是以知識(shí)為根基，運(yùn)用個(gè)人的應(yīng)用能力、實(shí)踐能力來創(chuàng)造價(jià)值的泉源。1-2何謂資料探勘？數(shù)據(jù)探勘的特性數(shù)據(jù)探勘不只能協(xié)助我們看數(shù)據(jù)表面的現(xiàn)象，也能進(jìn)一步幫我們找出是什么原因造成所看到的結(jié)果。和一般傳統(tǒng)社會(huì)科學(xué)研究過程不同的是，資料探勘不用統(tǒng)計(jì)假設(shè)檢定，來推論某個(gè)現(xiàn)象發(fā)生的機(jī)會(huì)是否存在，也因此不會(huì)局限在自身先入為主的想法中。1-2何謂資料探勘？數(shù)據(jù)探勘的特性數(shù)據(jù)探勘沒有數(shù)據(jù)量的限制，不會(huì)因?yàn)閿?shù)據(jù)量太大而造成一定顯著的盲點(diǎn)。同時(shí)，只要分析的工具與功能足夠，數(shù)據(jù)量與變量的限制，在數(shù)據(jù)采礦的過程中將會(huì)減少。資料探勘不單只是數(shù)據(jù)庫與分析工具及方法的概念，在描述現(xiàn)象與建構(gòu)問題的過程中，必須特過某些專業(yè)的(professional)及專家的(expertise)人員，來將問題領(lǐng)域(problemdomain)之現(xiàn)象表征建構(gòu)出來，使得決策變量的形成能夠充分的描述現(xiàn)象及問題的核心，以及完成分析后數(shù)據(jù)的判讀工作。1-2何謂資料探勘？Fayyad&Stolorz(1997)定義數(shù)據(jù)探勘為知識(shí)發(fā)現(xiàn)的一個(gè)步驟，目的在于找出數(shù)據(jù)中有效的、嶄新的、潛在有用的、易于了解樣式之一個(gè)不繁瑣的過程。Berry&Linoff(1997)提到數(shù)據(jù)探勘，就是在大量的數(shù)據(jù)中，利用自動(dòng)或半自動(dòng)的方式予以分析，并能夠從中找出具有意義的關(guān)系或法則。1-3數(shù)據(jù)探勘的定義Hui&Jha(2000)指出新科技或技術(shù)可協(xié)助分析、了解以及使大量的儲(chǔ)存數(shù)據(jù)予以聚類。由數(shù)據(jù)庫(database)，資料倉儲(chǔ)(datawarehouse)或其他信息的儲(chǔ)存庫中利用己儲(chǔ)存之大量數(shù)據(jù)找到如類型(pattern)、關(guān)聯(lián)(association)、改變(change)、異常(anomaly)和重要結(jié)構(gòu)(significantstructures)的知識(shí)過程，稱為數(shù)據(jù)探勘。Berson,Smith&Thearling(1999)等學(xué)者對(duì)于數(shù)據(jù)探勘提出最簡單的定義：就是自動(dòng)偵測數(shù)據(jù)庫中的相關(guān)類型。1-3數(shù)據(jù)探勘的定義數(shù)據(jù)探勘是一種數(shù)據(jù)轉(zhuǎn)換的過程，先將沒有組織的數(shù)字與文字集合的數(shù)據(jù)轉(zhuǎn)換為信息，再轉(zhuǎn)換為知識(shí)，最后產(chǎn)生決策。數(shù)據(jù)探勘為知識(shí)發(fā)現(xiàn)的一個(gè)步驟，目的在于找出數(shù)據(jù)中有效的、嶄新的、潛在有用的易于了解之樣式的一個(gè)不繁瑣的過程。由數(shù)據(jù)庫、數(shù)據(jù)倉儲(chǔ)或其他信息的儲(chǔ)存庫中，利用已儲(chǔ)存之大量數(shù)據(jù)找到知識(shí)的過程，稱為資料探勘。1-3數(shù)據(jù)探勘的定義數(shù)據(jù)探勘是指尋找隱藏在數(shù)據(jù)中的訊息，如趨勢(trend)、特征(pattern)及相關(guān)性(relationship)的過程，也就是從數(shù)據(jù)中發(fā)掘信息或知識(shí)(KDD)。數(shù)據(jù)探勘，即為從數(shù)據(jù)庫中發(fā)現(xiàn)知識(shí)，因?yàn)榻鼇泶罅可虡I(yè)化的數(shù)據(jù)涌入，故而需要此種技術(shù)以使得數(shù)據(jù)自儲(chǔ)存單元中分析、淬取，甚而能提供可視化的決策支持。1-3數(shù)據(jù)探勘的定義當(dāng)數(shù)據(jù)量過于龐大時(shí)，將有可能會(huì)產(chǎn)生數(shù)據(jù)傾銷(datadump)(Keimetal.,2004)。數(shù)據(jù)探勘的流程，就是各家發(fā)展出的各種標(biāo)準(zhǔn)作業(yè)程序，目的都是希望藉由依循各自的概念與邏輯，以完成數(shù)據(jù)采礦的任務(wù)。最常被數(shù)據(jù)探勘師所使用的作業(yè)程序是CRISP-DM的挖掘流程約占42%，而由SAS公司所發(fā)展的SEMMA，則約占了10%，其余的方式，包括各企業(yè)的自定義流程、數(shù)據(jù)采礦師的自我喜好方式等等，約占了47%。1-4數(shù)據(jù)探勘的流程1-4數(shù)據(jù)探勘的流程CRISP-DM的英文全名為Cross-IndustryStandardProcessforDataMining（數(shù)據(jù)探勘交叉產(chǎn)業(yè)標(biāo)準(zhǔn)程序）。由SPSS、DaimlerChrysler、NCR、OHRA等世界著名公司依其實(shí)務(wù)經(jīng)驗(yàn)與理論基礎(chǔ)所共同訂定出來的數(shù)據(jù)采礦的一套標(biāo)準(zhǔn)作業(yè)程序處理的流程共計(jì)分為商業(yè)理解(businessunderstanding)、資料理解(dataunderstanding)、數(shù)據(jù)預(yù)備(datapreparation)、塑模(modeling)、評(píng)估(evaluation)、部署(deployment)等六個(gè)階段。六個(gè)階段形成一個(gè)循環(huán)(circle)的過程，在處理的過程中隨時(shí)都可以修正，并適時(shí)回饋以修正探勘的內(nèi)容。1-4數(shù)據(jù)探勘的流程1-4數(shù)據(jù)探勘的流程CRISP-DM過程模型商業(yè)理解(businessunderstanding)：數(shù)據(jù)探勘最重要的部分。商業(yè)理解包括決定商業(yè)目標(biāo)、形勢評(píng)估、決定數(shù)據(jù)探勘目標(biāo)，及制訂一個(gè)項(xiàng)目計(jì)劃。資料理解(dataunderstanding)：數(shù)據(jù)提供了數(shù)據(jù)探勘的原始材料。這個(gè)部分強(qiáng)調(diào)需要了解數(shù)據(jù)源是什么，這些數(shù)據(jù)源的特征是什么。這個(gè)部分包括收集原始數(shù)據(jù)、描述數(shù)據(jù)、探索數(shù)據(jù)，及證實(shí)數(shù)據(jù)的質(zhì)量。1-4數(shù)據(jù)探勘的流程數(shù)據(jù)預(yù)備(datapreparation)：將數(shù)據(jù)源分類后，需要準(zhǔn)備用于探勘的數(shù)據(jù)。準(zhǔn)備過程包括選擇、清理、重構(gòu)、整合及格式化數(shù)據(jù)。塑模(modeling)：這是數(shù)據(jù)探勘中最引人注意的地方，成熟的分析方法將用于從數(shù)據(jù)中提取信息。這個(gè)部分包括選擇模型技巧、產(chǎn)生測試計(jì)劃，及塑模和模型評(píng)估。1-4數(shù)據(jù)探勘的流程評(píng)估(evaluation)：一旦選擇了模型，就應(yīng)準(zhǔn)備好對(duì)數(shù)據(jù)探勘的結(jié)果是否達(dá)到商業(yè)目標(biāo)作評(píng)估。這部分也包括評(píng)估結(jié)果、回顧數(shù)據(jù)探勘過程，及確定接下來的步驟。部署(deployment)：這個(gè)部分著重于將新知識(shí)融會(huì)到每天的商業(yè)運(yùn)作過程中，從而解答最初的商業(yè)問題。這個(gè)部分包括計(jì)劃發(fā)布、監(jiān)控與維護(hù)、產(chǎn)生最終報(bào)告，及回顧整個(gè)項(xiàng)目。1-4數(shù)據(jù)探勘的流程SAS公司提出SEMMA模型。這個(gè)過程包含數(shù)據(jù)抽樣、數(shù)據(jù)探索、數(shù)據(jù)轉(zhuǎn)換、模型建立與模型評(píng)價(jià)等五個(gè)階段：1.資料抽樣(sample)：針對(duì)企業(yè)的問題，從大型數(shù)據(jù)庫中，抽出一部份數(shù)據(jù)進(jìn)行分析并建立模型，再透過數(shù)據(jù)庫中抽取一部份數(shù)據(jù)作為測試組以修正模型。2.資料探索(explore)：主要是對(duì)數(shù)據(jù)有所理解，認(rèn)識(shí)變量間是否存在著某種關(guān)聯(lián)性。1-4數(shù)據(jù)探勘的流程3.數(shù)據(jù)轉(zhuǎn)換(modify)：針對(duì)數(shù)據(jù)中的變量予以轉(zhuǎn)換，因?yàn)橛行?shù)據(jù)的變量并不存于數(shù)據(jù)中，需藉轉(zhuǎn)換而獲得，以確保模型的質(zhì)量。4.模型建立(model)：利用各種數(shù)據(jù)采礦技術(shù)以解決問題，建立模型、發(fā)現(xiàn)信息。5.模型評(píng)價(jià)(assess)：根據(jù)分析得到的結(jié)果與專業(yè)知識(shí)結(jié)合，找出有用的信息，建立有效的模型，并加以運(yùn)用。更藉由新進(jìn)的數(shù)據(jù)，作適當(dāng)調(diào)整，延伸模型應(yīng)用廣度深度。1-4數(shù)據(jù)探勘的流程Hui&Jha(2000)認(rèn)為數(shù)據(jù)探勘程序由七個(gè)階段所組成：1.設(shè)定目標(biāo)。2.選擇數(shù)據(jù)。3.數(shù)據(jù)前處理。4.數(shù)據(jù)轉(zhuǎn)換。5.資料倉儲(chǔ)化。6.資料探勘。7.評(píng)估結(jié)果。1-4數(shù)據(jù)探勘的流程設(shè)定采擷目標(biāo)數(shù)據(jù)的選擇數(shù)據(jù)前處理數(shù)據(jù)轉(zhuǎn)換資料倉儲(chǔ)化資料探勘評(píng)估挖掘結(jié)果原始資料選擇數(shù)據(jù)處理目前的數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)資料倉儲(chǔ)結(jié)果&知識(shí)Fayyad&Stolorz(1997)認(rèn)為數(shù)據(jù)探勘程序包含六個(gè)步驟分別為：1.數(shù)據(jù)選擇與抽樣。2.數(shù)據(jù)預(yù)處理。3.數(shù)據(jù)轉(zhuǎn)換。4.資料探勘。5.評(píng)估效益。6.結(jié)果解釋與應(yīng)用。1-4數(shù)據(jù)探勘的流程Han&Kamber(2001)指出數(shù)據(jù)庫知識(shí)發(fā)現(xiàn)包含七個(gè)步驟：1.資料清理(datacleaning)：移除噪聲和不一致的數(shù)據(jù)。2.數(shù)據(jù)整合(dataintegration)：整合不同的數(shù)據(jù)源。3.數(shù)據(jù)選擇(dataselection)：從數(shù)據(jù)庫或數(shù)據(jù)倉儲(chǔ)中選取與研究主題相關(guān)的數(shù)據(jù)。4.數(shù)據(jù)轉(zhuǎn)換(datatransformation)：將目標(biāo)數(shù)據(jù)透過摘要或集合的動(dòng)作使其有利于挖掘進(jìn)行。1-4數(shù)據(jù)探勘的流程Han&Kamber(2001)指出數(shù)據(jù)庫知識(shí)發(fā)現(xiàn)包含七個(gè)步驟：5.資料探勘(datamining)：應(yīng)用資探勘掘技術(shù)萃取數(shù)據(jù)的型樣。6.型樣評(píng)估(patternevaluation)：利用衡