數(shù)據(jù)挖掘研究現(xiàn)狀及發(fā)展趨勢.docx

江西理工大學(xué)數(shù)據(jù)挖掘研究現(xiàn)狀及發(fā)展趨勢摘要：從數(shù)據(jù)挖掘的定義出發(fā)，介紹了數(shù)據(jù)挖掘的神經(jīng)網(wǎng)絡(luò)法、決策樹法、遺傳算法、粗糙集法、模糊集法和關(guān)聯(lián)規(guī)則法等概念及其各自的優(yōu)缺點(diǎn)；詳細(xì)總結(jié)了國內(nèi)外數(shù)據(jù)挖掘的研究現(xiàn)狀及研究熱點(diǎn)，指出了數(shù)據(jù)挖掘的發(fā)展趨勢。關(guān)鍵詞：數(shù)據(jù)挖掘；挖掘算法；神經(jīng)網(wǎng)絡(luò)；決策樹；粗糙集；模糊集；研究現(xiàn)狀；發(fā)展趨勢Abstract：From the definition of data mining，the paper introduced concepts and advantages and disadvantages of neural network algorithm，decision tree algorithm，genetic algorithm，rough set method，fuzzy set method and association rule method of data mining，summarized domestic and international research situation and focus of data mining in details，and pointed out the development trend of data mining.Key words：data mining，algorithm of data mining，neural network，decision tree，rough set，fuzzy set，research situation，development tendency1 引言隨著信息技術(shù)的迅猛發(fā)展，許多行業(yè)如商業(yè)、企業(yè)、科研機(jī)構(gòu)和政府部門等都積累了海量的、不同形式存儲的數(shù)據(jù)資料1。這些海量數(shù)據(jù)中往往隱含著各種各樣有用的信息，僅僅依靠數(shù)據(jù)庫的查詢檢索機(jī)制和統(tǒng)計學(xué)方法很難獲得這些信息，迫切需要能自動地、智能地將待處理的數(shù)據(jù)轉(zhuǎn)化為有價值的信息，從而達(dá)到為決策服務(wù)的目的。在這種情況下，一個新的技術(shù)數(shù)據(jù)挖掘(Data Mining，DM)技術(shù)應(yīng)運(yùn)而生2。數(shù)據(jù)挖掘是一個多學(xué)科領(lǐng)域，它融合了數(shù)據(jù)庫技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計學(xué)、知識工程、信息檢索等最新技術(shù)的研究成果，其應(yīng)用非常廣泛。只要是有分析價值的數(shù)據(jù)庫，都可以利用數(shù)據(jù)挖掘工具來挖掘有用的信息。數(shù)據(jù)挖掘典型的應(yīng)用領(lǐng)域包括市場、工業(yè)生產(chǎn)、金融、醫(yī)學(xué)、科學(xué)研究、工程診斷等。本文主要介紹數(shù)據(jù)挖掘的主要算法及其各自的優(yōu)缺點(diǎn)，并對國內(nèi)外的研究現(xiàn)狀及研究熱點(diǎn)進(jìn)行了詳細(xì)的總結(jié)，最后指出其發(fā)展趨勢及問題所在。2 數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘就是從大量的、有噪聲的、不完全的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取有效的、新穎的、潛在有用的知識的非平凡過程3。數(shù)據(jù)挖掘過程如圖1所示。這些數(shù)據(jù)的類型可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的、甚至是異構(gòu)型的。發(fā)現(xiàn)知識的方法可以是數(shù)學(xué)的、非數(shù)學(xué)的、也可以是歸納的。最終被發(fā)現(xiàn)了的知識可以用于信息管理、查詢優(yōu)化、決策支持及數(shù)據(jù)自身的維護(hù)等4。圖1數(shù)據(jù)挖掘過程目前，數(shù)據(jù)挖掘的算法主要包括神經(jīng)網(wǎng)絡(luò)法、決策樹法、遺傳算法、粗糙集法、模糊集法、關(guān)聯(lián)規(guī)則法等。2.1 神經(jīng)網(wǎng)絡(luò)法神經(jīng)網(wǎng)絡(luò)法是模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，是一種通過訓(xùn)練來學(xué)習(xí)的非線性預(yù)測模型，可完成分類、聚類、特征挖掘等多種數(shù)據(jù)挖掘任務(wù)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法主要表現(xiàn)在權(quán)值的修改上。其優(yōu)點(diǎn)是具有抗干擾、非線性學(xué)習(xí)、聯(lián)想記憶功能，對復(fù)雜情況能得到精確的預(yù)測結(jié)果；缺點(diǎn)是不適合處理高維變量，不能觀察中間的學(xué)習(xí)過程，具有“黑箱”性，輸出結(jié)果也難以解釋；其次是需較長的學(xué)習(xí)時間。神經(jīng)網(wǎng)絡(luò)法主要應(yīng)用于數(shù)據(jù)挖據(jù)的聚類技術(shù)中。2.2 決策樹法決策樹是通過一系列規(guī)則對數(shù)據(jù)進(jìn)行分類的過程，其表現(xiàn)形式是類似于樹形結(jié)構(gòu)的流程圖。最典型的算法是J.R.QUINLAN于1986年提出的ID3算法5，之后在ID3算法的基礎(chǔ)上又提出了極其流行的C4.5算法6。采用決策樹法的優(yōu)點(diǎn)是決策制定的過程是可見的，不需要長時間構(gòu)造過程、描述簡單，易于理解，分類速度快；缺點(diǎn)是很難基于多個變量組合發(fā)現(xiàn)規(guī)則。決策樹法擅長處理非數(shù)值型數(shù)據(jù)，而且特別適合大規(guī)模的數(shù)據(jù)處理。2.3 遺傳算法遺傳算法是一種采用遺傳結(jié)合、遺傳交叉變異及自然選擇等操作來生成實(shí)現(xiàn)規(guī)則的、基于進(jìn)化理論的機(jī)器學(xué)習(xí)方法。它的基本觀點(diǎn)是“適者生存”原理，具有隱含并行性、易于和其它模型結(jié)合等性質(zhì)主要的優(yōu)點(diǎn)是可以處理許多數(shù)據(jù)類型，同時可以并行處理各種數(shù)據(jù)，對問題的種類有很強(qiáng)的魯棒性；缺點(diǎn)是需要的參數(shù)太多，編碼困難，一般計算量比較大。遺傳算法常用于優(yōu)化神經(jīng)元網(wǎng)絡(luò)，解決其它技術(shù)難以解決的問題。2.4 粗糙集法粗糙集法也稱粗糙集理論，是一種新的處理含糊、不精確、不完備問題的數(shù)學(xué)工具，可以處理數(shù)據(jù)約簡、數(shù)據(jù)相關(guān)性發(fā)現(xiàn)、數(shù)據(jù)意義的評估等問題。其優(yōu)點(diǎn)是算法簡單，不需要關(guān)于數(shù)據(jù)的任何預(yù)備的或額外的信息；缺點(diǎn)是難以直接處理連續(xù)的屬性，須先進(jìn)行屬性的離散化。因此，連續(xù)屬性的離散化問題是制約粗糙集理論實(shí)用化的難點(diǎn)7。粗糙集理論主要應(yīng)用于近似推理、數(shù)字邏輯分析和化簡、建立預(yù)測模型等問題。2.5 模糊集法模糊集法利用模糊集合理論對問題進(jìn)行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。模糊集合理論是用隸屬度來描述模糊事物的屬性7。系統(tǒng)的復(fù)雜性越高，模糊性就越強(qiáng)。2.6 關(guān)聯(lián)規(guī)則法關(guān)聯(lián)規(guī)則反應(yīng)了事物之間的相互依賴性或關(guān)聯(lián)性。其最著名的算法是R.AGRAWAL等人提出的Apriori算法。最小支持度和最小可信度是為了發(fā)現(xiàn)有意義的關(guān)聯(lián)規(guī)則給定的2個閾值。在這個意義上，數(shù)據(jù)挖掘的目的就是從源數(shù)據(jù)庫中挖掘出滿足最小支持度和最小可信度的關(guān)聯(lián)規(guī)則。3 數(shù)據(jù)挖掘研究現(xiàn)狀3.1 國外研究現(xiàn)狀知識發(fā)現(xiàn)8 (Knowledge Discovery inDatabases，KDD)與DM是數(shù)據(jù)庫領(lǐng)域中最重要的課題之一。KDD一詞是在1989年8月于美國底特律市召開的第十一屆國際人工智能會議上正式形成的。1995年在加拿大蒙特利爾召開的首屆KDD&Data Mining國際學(xué)術(shù)會議上，把數(shù)據(jù)挖掘技術(shù)分為科研領(lǐng)域的知識發(fā)現(xiàn)與工程領(lǐng)域的數(shù)據(jù)挖掘9。之后每年召開一次這樣的會議，經(jīng)過十幾年的努力，數(shù)據(jù)挖掘技術(shù)的研究已經(jīng)取得了豐碩的成果。目前，對KDD的研究主要圍繞理論、技術(shù)和應(yīng)用這三個方面展開。多種理論與方法的合理整合是大多數(shù)研究者采用的有效技術(shù)。目前，國外數(shù)據(jù)挖掘的最新發(fā)展主要有對發(fā)現(xiàn)知識的方法的進(jìn)一步研究，如近年來注重對Bayes(貝葉斯)方法以及Boosting方法的研究和改進(jìn)提高；KDD與數(shù)據(jù)庫的緊密結(jié)合；傳統(tǒng)的統(tǒng)計學(xué)回歸方法在KDD中的應(yīng)用。在應(yīng)用方面主要體現(xiàn)在KDD商業(yè)軟件工具從解決問題的孤立過程轉(zhuǎn)向建立解決問題的整體系統(tǒng)，主要用戶有保險公司、大型銀行和銷售業(yè)等。許多計算機(jī)公司和研究機(jī)構(gòu)都非常重視數(shù)據(jù)挖掘的開發(fā)應(yīng)用，IBM和微軟都相繼成立了相應(yīng)的研究中心10。美國是全球數(shù)據(jù)挖掘研究最繁榮的地區(qū)，并占據(jù)著研究的核心地位。由于數(shù)據(jù)挖掘軟件市場需求量的增大，包括國際知名公司在內(nèi)的很多軟件公司都紛紛加入到了數(shù)據(jù)挖掘工具研發(fā)的行列中來，到目前已開發(fā)了一系列技術(shù)成熟、應(yīng)用價值較高的數(shù)據(jù)挖掘軟件。以下為目前最主要的數(shù)據(jù)挖掘軟件:(1)Knowledge Studio:由Angoss軟件公司開發(fā)的能夠靈活地導(dǎo)入外部模型和產(chǎn)生規(guī)則的數(shù)據(jù)挖掘工具。最大的優(yōu)點(diǎn):響應(yīng)速度快，且模型、文檔易于理解，SDK中容易加入新的算法。(2)IBM Intelligent Miner:該軟件能自動實(shí)現(xiàn)數(shù)據(jù)選擇、轉(zhuǎn)換、發(fā)掘和結(jié)果呈現(xiàn)一整套數(shù)據(jù)挖掘操作；支持分類、預(yù)測、關(guān)聯(lián)規(guī)則、聚類等算法，并且具有強(qiáng)大的API函數(shù)庫，可以創(chuàng)建定制的模型。(3)SPSS Clementine:SPSS是世界上最早的統(tǒng)計分析軟件之一。Clementine是SPSS的數(shù)據(jù)挖掘應(yīng)用工具，它可以把直觀的用戶圖形界面與多種分析技術(shù)如神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則和規(guī)則歸納技術(shù)結(jié)合在一起。該軟件首次引入了數(shù)據(jù)挖掘流概念，用戶可以在同一個工作流環(huán)境中清理數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)和構(gòu)建模型。(4)Cognos Scenario:該軟件是基于樹的高度視圖化的數(shù)據(jù)挖掘工具，可以用最短的響應(yīng)時間得出最精確的結(jié)果。此外，還有由美國Insightful公司開發(fā)的I-Miner、SGI公司和美國Standford大學(xué)聯(lián)合開發(fā)的Minset、Unica公司開發(fā)的Affinium Model、加拿大Simon Fraser大學(xué)開發(fā)的DBMiner、HNC公司開發(fā)的用于信用卡詐騙分析的Database MiningWorkstation、Neo Vista開發(fā)的Decision Series等。3.2 國內(nèi)研究現(xiàn)狀與國外相比，國內(nèi)對數(shù)據(jù)挖掘的研究起步稍晚且不成熟，目前正處于發(fā)展階段。最新發(fā)展:分類技術(shù)研究中，試圖建立其集合理論體系，實(shí)現(xiàn)海量數(shù)據(jù)處理；將粗糙集和模糊集理論二者融合用于知識發(fā)現(xiàn)；構(gòu)造模糊系統(tǒng)辨識方法與模糊系統(tǒng)知識模型；構(gòu)造智能專家系統(tǒng)；研究中文文本挖掘的理論模型與實(shí)現(xiàn)技術(shù)；利用概念進(jìn)行文本挖掘。我國也有不少新興的數(shù)據(jù)挖掘軟件:(1)MSMiner:由中科院計算技術(shù)研究所智能信息處理重點(diǎn)實(shí)驗室開發(fā)的多策略通用數(shù)據(jù)挖掘平臺11。該平臺對數(shù)據(jù)和挖掘策略的組織有很好的靈活性。(2)DMiner:由上海復(fù)旦德門軟件公司開發(fā)的具有自主知識產(chǎn)權(quán)的數(shù)據(jù)挖掘系統(tǒng)。該系統(tǒng)提供了豐富的數(shù)據(jù)可視化控件來展示分析結(jié)果，實(shí)現(xiàn)了數(shù)據(jù)查詢結(jié)果可視化、數(shù)據(jù)層次結(jié)構(gòu)可視化、多維數(shù)據(jù)結(jié)構(gòu)可視化、復(fù)雜數(shù)據(jù)可視化。(3)Scope Miner:由東北大學(xué)開發(fā)的面向先進(jìn)制造業(yè)的綜合數(shù)據(jù)挖掘系統(tǒng)。(4)iDMiner:由海爾青大公司研發(fā)的具有自主知識產(chǎn)權(quán)的數(shù)據(jù)挖掘平臺。該平臺大膽采用了國際通用業(yè)界標(biāo)準(zhǔn)，對該軟件今后的發(fā)展有很大的促進(jìn)作用，同時也為國內(nèi)同類軟件的開發(fā)提供了一條新的思路12。除此之外，還有復(fù)旦德門公司開發(fā)的CIAS和AR Miner、東北大學(xué)軟件中心開發(fā)的基于SAS的Open Miner以及南京大學(xué)開發(fā)的一個原型系統(tǒng)Knight等。目前，國內(nèi)數(shù)據(jù)挖掘軟件產(chǎn)業(yè)還不成熟，從事此方面研究的人員主要集中在高校，只有少部分分布在研究所或公司，且大多數(shù)研究項目都是由政府資助，主要的研究方向集中在數(shù)據(jù)挖掘的學(xué)習(xí)算法、理論方面以及實(shí)際應(yīng)用。研究的產(chǎn)品尚未得到國際市場的認(rèn)可，在國際上的使用更是為數(shù)甚少。4 數(shù)據(jù)挖掘的研究熱點(diǎn)及發(fā)展趨勢就目前來看，數(shù)據(jù)挖掘的幾個研究熱點(diǎn)主要包括網(wǎng)站的數(shù)據(jù)挖掘(Web Site Data Mining)、生物信息或基因(Bioinformatics/Genomics)的數(shù)據(jù)挖掘及其文本的數(shù)據(jù)挖掘(Textual Mining)13。網(wǎng)站的數(shù)據(jù)挖掘就是從網(wǎng)站的各類數(shù)據(jù)中得到有價值的信息，與一般的數(shù)據(jù)挖掘差別不大，但是其數(shù)據(jù)格式很大一部分來自于點(diǎn)擊率，與傳統(tǒng)的數(shù)據(jù)庫格式有區(qū)別。生物信息或基因的數(shù)據(jù)挖掘?qū)θ祟惿姘l(fā)展有著非常重要的意義，基因的組合千變?nèi)f化，能否找出病人的基因和正常人的基因的不同之處，進(jìn)而對其加以改變，這就需要數(shù)據(jù)挖掘技術(shù)的支持。但其數(shù)據(jù)形式、挖掘算法模型比較復(fù)雜。文本的數(shù)據(jù)挖掘和一般的數(shù)據(jù)挖掘相差很大，是指從文本數(shù)據(jù)中抽取有價值的信息和知識的技術(shù)，在分析方法方面比較困難，目前還沒有真正的具備分析功能的文本挖掘軟件。隨著越來越多的業(yè)務(wù)需求被不斷開拓，數(shù)據(jù)挖掘已成功應(yīng)用于社會生活的方方面面，目前在很多領(lǐng)域如商業(yè)、醫(yī)學(xué)、科學(xué)研究等均有不少成功的應(yīng)用案例。為了提高系統(tǒng)的決策支持能力，像ERP、SCM、HR等一些應(yīng)用系統(tǒng)也逐漸與數(shù)據(jù)挖掘集成起來。多種理論與方法的合理整合是大多數(shù)研究者數(shù)據(jù)挖掘采用的有效技術(shù)14。以下是未來比較重要的數(shù)據(jù)挖掘發(fā)展趨勢:(1)數(shù)據(jù)挖掘語言的標(biāo)準(zhǔn)化描述:標(biāo)準(zhǔn)的數(shù)據(jù)挖掘語言將有助于數(shù)據(jù)挖掘的系統(tǒng)化開發(fā)。改進(jìn)多個數(shù)據(jù)挖掘系統(tǒng)和功能間的互操作，促進(jìn)其在企業(yè)和社會中的使用。(2)尋求數(shù)據(jù)挖掘過程中的可視化方法:可視化要求已經(jīng)成為數(shù)據(jù)挖掘系統(tǒng)中必不可少的技術(shù)?？梢栽诎l(fā)現(xiàn)知識的過程中進(jìn)行很好的人機(jī)交互15。數(shù)據(jù)的可視化起到了推動人們主動進(jìn)行知識發(fā)現(xiàn)的作用。(3)與特定數(shù)據(jù)存儲類型的適應(yīng)問題:根據(jù)不同的數(shù)據(jù)存儲類型的特點(diǎn)，進(jìn)行針對性的研究是目前流行以及將來一段時間必須面對的問題。(4)網(wǎng)絡(luò)與分布式環(huán)境下的KDD問題:隨著Internet的不斷發(fā)展，網(wǎng)絡(luò)資源日漸豐富，這就需要分散的技術(shù)人員各自獨(dú)立地處理分離數(shù)據(jù)庫的工作方式應(yīng)是可協(xié)作的16。因此，考慮適應(yīng)分布式與網(wǎng)絡(luò)環(huán)境的工具、技術(shù)及系統(tǒng)將是數(shù)據(jù)挖掘中一個最為重要和繁榮的子領(lǐng)域。(5)應(yīng)用的探索:隨著數(shù)據(jù)挖掘的日益普遍，其應(yīng)用范圍也日益擴(kuò)大，如生物醫(yī)學(xué)、電信業(yè)、零售業(yè)等領(lǐng)域。由于數(shù)據(jù)挖掘在處理特定應(yīng)用問題時存在局限性，因此，目前的研究趨勢是開發(fā)針對于特定應(yīng)用的數(shù)據(jù)挖掘系統(tǒng)。(6)數(shù)據(jù)挖掘與數(shù)據(jù)庫系統(tǒng)和Web數(shù)據(jù)庫系統(tǒng)的集成:數(shù)據(jù)庫系統(tǒng)和Web數(shù)據(jù)庫已經(jīng)成為信息處理系統(tǒng)的主流。數(shù)據(jù)挖掘系統(tǒng)的理想體系結(jié)構(gòu)是與數(shù)據(jù)庫和數(shù)據(jù)倉庫系統(tǒng)的緊耦合17。5 結(jié)語針對數(shù)據(jù)挖掘的主要算法，分析了各自的優(yōu)缺點(diǎn)及其所適用的領(lǐng)域，并根據(jù)目前國內(nèi)外數(shù)據(jù)挖掘的研究現(xiàn)狀和研究熱點(diǎn)指出了未來幾年數(shù)據(jù)挖掘的發(fā)展趨勢。目前數(shù)據(jù)挖掘逐漸從高端的研究轉(zhuǎn)向常用的數(shù)據(jù)分析，在國外像金融業(yè)、零售業(yè)等這樣一些對數(shù)據(jù)分析需求比較大的領(lǐng)域已經(jīng)成功地采用了數(shù)據(jù)挖掘技術(shù)來輔助決策。盡管如此，數(shù)據(jù)挖掘技術(shù)仍然面臨著許多問題和挑戰(zhàn)，如超大規(guī)模數(shù)據(jù)集中的數(shù)據(jù)挖掘效率有待提高，開發(fā)適應(yīng)于多數(shù)據(jù)類型、容噪的挖掘方法，網(wǎng)絡(luò)與分布式環(huán)境下的數(shù)據(jù)挖掘，動態(tài)數(shù)據(jù)和知識的數(shù)據(jù)挖掘等?？傊?，數(shù)據(jù)挖掘只是一個強(qiáng)大的工具，它不會在缺乏指導(dǎo)的情況下自動地發(fā)現(xiàn)模型，而且得到的模型必須在現(xiàn)實(shí)生活中驗證，數(shù)據(jù)分析者必須知道你所選用的挖掘算法的原理是什么以及是如何工作的，并且要深刻了解期望解決問題的領(lǐng)域，理解數(shù)據(jù)，了解其過程，只有這樣才能解釋最終所得到的結(jié)果，從而促使挖掘模型的不斷完善和提高，使得數(shù)據(jù)挖掘真正地滿足信息時代人們的要求，服務(wù)于社會。參考文獻(xiàn)1 胡侃，夏紹瑋.基于大型數(shù)據(jù)倉庫的數(shù)據(jù)采掘:研究綜述J.軟件學(xué)報，1998，9(1):53-63.2 陳娜.數(shù)據(jù)挖掘技術(shù)的研究現(xiàn)狀及發(fā)展方向J.電腦與信息技術(shù)，2006，2(1):46-49.3 HAN Jiawei， KAMBER M.數(shù)據(jù)挖掘:概念與技術(shù)M.范明，孟小峰，譯.北京:機(jī)械工業(yè)出版社，2001.4 陜粉麗.數(shù)據(jù)挖掘技術(shù)的研究現(xiàn)狀及應(yīng)用J.現(xiàn)代企業(yè)教育，2008(6):101-102.5 QUINLAN J R. Induction of Decision TreesJ.Machine Learning，1986，1(1):8.6 QULINLAN J R. C4. 5: Programs for MachineLearningM.San Mateo，Calif:Morgan Kaufmann，1993.7 李華，劉帥，李茂，等.數(shù)據(jù)挖掘理論及應(yīng)用研究J.斷塊油氣田，2010，23(1):88-89.8 FAYYAD U，PIATESKY-SHAPIRO G，SMYTH P.The KDD Process for Extracting Useful KnowledgeFrom Volumes of Da