數(shù)據(jù)挖掘技術(shù)分析與研究.doc

數(shù)據(jù)挖掘技術(shù)分析與研究 學(xué) 院 專 業(yè) 研 究 方 向 學(xué) 生 姓 名 學(xué) 號 任課教師姓名 任課教師職稱 2013 年 6月 23日 數(shù)據(jù)挖掘技術(shù)綜述摘要：隨著信息技術(shù)的迅速發(fā)展，數(shù)據(jù)庫的規(guī)模不斷擴大，產(chǎn)生了大量的數(shù)據(jù)。但大量的數(shù)據(jù)往往無法辨別隱藏在其中的能對決策提供支持的信息，而傳統(tǒng)的查詢、報表工具無法滿足挖掘這些信息的需求。因此，需要一種新的數(shù)據(jù)分析技術(shù)處理大量數(shù)據(jù)，并從中抽取有價值的潛在知識，數(shù)據(jù)挖掘（DataMining）技術(shù)由此應(yīng)運而生。本文主要介紹了數(shù)據(jù)挖掘的基本概念、數(shù)據(jù)挖掘的過程、數(shù)據(jù)挖掘所需的工具、數(shù)據(jù)挖掘的任務(wù)、數(shù)據(jù)挖掘未來的研究方向、數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域和未來發(fā)展所面臨的一些問題。關(guān)鍵字：數(shù)據(jù)挖掘數(shù)據(jù)挖掘工具QUESTDBMiner網(wǎng)站數(shù)據(jù)挖掘研究方向應(yīng)用領(lǐng)域 引言 數(shù)據(jù)是知識的源泉。但是,擁有大量的數(shù)據(jù)與擁有許多有用的知識完全是兩回事。過去幾年中,從數(shù)據(jù)庫中發(fā)現(xiàn)知識這一領(lǐng)域發(fā)展的很快。廣闊的市場和研究利益促使這一領(lǐng)域的飛速發(fā)展。計算機技術(shù)和數(shù)據(jù)收集技術(shù)的進步使人們可以從更加廣泛的范圍和幾年前不可想象的速度收集和存儲信息。收集數(shù)據(jù)是為了得到信息,然而大量的數(shù)據(jù)本身并不意味信息。盡管現(xiàn)代的數(shù)據(jù)庫技術(shù)使我們很容易存儲大量的數(shù)據(jù)流,但現(xiàn)在還沒有一種成熟的技術(shù)幫助我們分析、理解并使數(shù)據(jù)以可理解的信息表示出來。在過去,我們常用的知識獲取方法是由知識工程師把專家經(jīng)驗知識經(jīng)過分析、篩選、比較、綜合、再提取出知識和規(guī)則。然而,由于知識工程師所擁有知識的有局限性,所以對于獲得知識的可信度就應(yīng)該打個折扣。目前,傳統(tǒng)的知識獲取技術(shù)面對巨型數(shù)據(jù)倉庫無能為力,數(shù)據(jù)挖掘技術(shù)就應(yīng)運而生。數(shù)據(jù)的迅速增加與數(shù)據(jù)分析方法的滯后之間的矛盾越來越突出,人們希望在對已有的大量數(shù)據(jù)分析的基礎(chǔ)上進行科學(xué)研究、商業(yè)決策或者企業(yè)管理,但是目前所擁有的數(shù)據(jù)分析工具很難對數(shù)據(jù)進行深層次的處理,使得人們只能望“數(shù)”興嘆。數(shù)據(jù)挖掘正是為了解決傳統(tǒng)分析方法的不足,并針對大規(guī)模數(shù)據(jù)的分析處理而出現(xiàn)的。目前,在需要處理大數(shù)據(jù)量的科研領(lǐng)域中,數(shù)據(jù)挖掘受到越來越多的關(guān)注,同時,在實際問題中,大量成功運用數(shù)據(jù)挖掘的實例說明了數(shù)據(jù)挖掘?qū)茖W(xué)研究具有很大的促進作用。數(shù)據(jù)挖掘可以幫助人們對大規(guī)模數(shù)據(jù)進行高效的分析處理,以節(jié)約時間,將更多的精力投入到更高層的研究中,從而提高科研工作的效率。 數(shù)據(jù)挖掘技術(shù)1、 數(shù)據(jù)挖掘的概念 數(shù)據(jù)挖掘是指從數(shù)據(jù)集合中自動抽取隱藏在數(shù)據(jù)中的那些有用信息的非平凡過程，這些信息的表現(xiàn)形式為：規(guī)則、概念、規(guī)律及模式等。它可幫助決策者分析歷史數(shù)據(jù)及當前數(shù)據(jù)，并從中發(fā)現(xiàn)隱藏的關(guān)系和模式，進而預(yù)測未來可能發(fā)生的行為。數(shù)據(jù)挖掘的過程也叫知識發(fā)現(xiàn)的過程。2、 數(shù)據(jù)挖掘的過程數(shù)據(jù)挖掘是指一個完整的過程，該過程從大型數(shù)據(jù)庫中挖掘先前未知的、有效的、可實用的信息，并使用這些信息做出決策或豐富知識。下圖描述了數(shù)據(jù)挖掘的基本過程和主要步驟可視化工具數(shù)據(jù)挖掘工具數(shù)據(jù)庫3、 數(shù)據(jù)挖掘的工具 在數(shù)據(jù)挖掘技術(shù)日益發(fā)展的同時，許多數(shù)據(jù)挖掘的商業(yè)軟件工具也逐漸問世。數(shù)據(jù)挖掘工具主要有兩類：特定領(lǐng)域的數(shù)據(jù)挖掘工具和通用的數(shù)據(jù)挖掘工具。下面簡單介紹兩種數(shù)據(jù)挖掘工具：1.QUEST QUEST是IBM公司Almaden研究中心開發(fā)的一個多任務(wù)數(shù)據(jù)挖掘系統(tǒng)，目的是為新一代決策支持系統(tǒng)的應(yīng)用開發(fā)提供高效的數(shù)據(jù)開采基本構(gòu)件。系統(tǒng)具有如下特點：u 提供了專門在大型數(shù)據(jù)庫上進行各種開采的功能：關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、時間序列聚類、決策樹分類、遞增式主動開采等。u 各種開采算法具有近似線性（O(n)）計算復(fù)雜度，可適用于任意大小的數(shù)據(jù)庫。u 算法具有找全性，即能將所有滿足指定類型的模式全部尋找出來。（4）為各種發(fā)現(xiàn)功能設(shè)計了相應(yīng)的并行算法。2.DBMiner DBMiner是加拿大SimonFraser大學(xué)開發(fā)的一個多任務(wù)數(shù)據(jù)挖掘系統(tǒng)，它的前身是DBLearn。該系統(tǒng)設(shè)計的目的是把關(guān)系數(shù)據(jù)庫和數(shù)據(jù)開采集成在一起，以面向?qū)傩缘亩嗉壐拍顬榛A(chǔ)發(fā)現(xiàn)各種知識。DBMiner系統(tǒng)具有如下特色：u 能完成多種知識的發(fā)現(xiàn)：泛化規(guī)則、特性規(guī)則、關(guān)聯(lián)規(guī)則、分類規(guī)則、演化知識、偏離知識等。u 綜合了多種數(shù)據(jù)開采技術(shù)：面向?qū)傩缘臍w納、統(tǒng)計分析、逐級深化發(fā)現(xiàn)多級規(guī)則、元規(guī)則引導(dǎo)發(fā)現(xiàn)等方法。u 實現(xiàn)了基于客戶/服務(wù)器體系結(jié)構(gòu)的Unix和PC（Windows/NT）版本的系統(tǒng)。u 提出了一種交互式的類SQL語言數(shù)據(jù)開采查詢語言DMQL。4、 數(shù)據(jù)挖掘技術(shù)的任務(wù)數(shù)據(jù)挖掘技術(shù)主要有四種開采任務(wù)：u 數(shù)據(jù)總結(jié)是對數(shù)據(jù)進行濃縮,給出它的緊湊描述。數(shù)據(jù)挖掘是從數(shù)據(jù)泛化的角度來討論數(shù)據(jù)總結(jié)。u 分類發(fā)現(xiàn)這是一項非常重要的任務(wù),分類是運用分類器把數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定類別中的某一個,用于對未來數(shù)據(jù)進行預(yù)測。u 聚類是把一組個體按照相似性歸成若干類別,它的目的是使得屬于同一類別的個體之間的距離盡可能的小,而不同類別的個體間的距離盡可能的大。u 關(guān)聯(lián)規(guī)則是指事物之間的聯(lián)系具有多大的支持度和可信度。有意義的關(guān)聯(lián)規(guī)則必須給定兩個閾值：最小支持度和最小可信度。 數(shù)據(jù)挖掘未來的研究方向和熱點1、 數(shù)據(jù)挖掘未來的研究方向 當前，數(shù)據(jù)挖掘研究方興未艾，其研究與開發(fā)的總體水平相當于數(shù)據(jù)庫技術(shù)在70年代所處的地位，迫切需要類似于關(guān)系模式、DBMS系統(tǒng)和SQL查詢語言等理論和方法的指導(dǎo)，才能使數(shù)據(jù)挖掘的應(yīng)用得以普遍推廣。預(yù)計在本世紀數(shù)據(jù)挖掘的研究還會形成更大的高潮，研究焦點可能會集中到以下幾個方面：n 尋求數(shù)據(jù)挖掘過程中的可視化方法，使知識發(fā)現(xiàn)的過程能夠被用戶理解，也便于在知識發(fā)現(xiàn)的過程中進行人機交互；n 發(fā)現(xiàn)語言的形式化描述，即研究專門用于知識發(fā)現(xiàn)的數(shù)據(jù)挖掘語言，也許會像SQL語言一樣走向形式化和標準化；n 研究在網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)挖掘技術(shù)（WebMining），特別是在因特網(wǎng)上建立數(shù)據(jù)挖掘服務(wù)器，并且與數(shù)據(jù)庫服務(wù)器配合，實現(xiàn)WebMining；n 處理的數(shù)據(jù)將會涉及到更多的數(shù)據(jù)類型，這些數(shù)據(jù)類型或者比較復(fù)雜，或者是結(jié)構(gòu)比較獨特。為了處理這些復(fù)雜的數(shù)據(jù)，就需要一些新的和更好的分析和建立模型的方法，同時還會涉及到為處理這些復(fù)雜或獨特數(shù)據(jù)所做的費時和復(fù)雜數(shù)據(jù)準備的一些工具和軟件。n 加強對各種非結(jié)構(gòu)化數(shù)據(jù)的開采（DataMiningforAudioVideo），如對文本數(shù)據(jù)、圖形數(shù)據(jù)、視頻圖像數(shù)據(jù)、聲音數(shù)據(jù)乃至綜合多媒體數(shù)據(jù)的開采；交互式發(fā)現(xiàn)和知識的維護更新。2、 分析 隨著Web技術(shù)的發(fā)展，各類電子商務(wù)網(wǎng)站風(fēng)起云涌，建立起一個電子商務(wù)網(wǎng)站并不困難，困難的是如何讓您的電子商務(wù)網(wǎng)站有效益。要想有效益就必須吸引客戶，增加能帶來效益的客戶忠誠度。電子商務(wù)業(yè)務(wù)的競爭比傳統(tǒng)的業(yè)務(wù)競爭更加激烈，原因有很多方面，其中一個因素是客戶從一個電子商務(wù)網(wǎng)站轉(zhuǎn)換到競爭對手那邊，只需點擊幾下鼠標即可。網(wǎng)站的內(nèi)容和層次、用詞、標題、獎勵方案、服務(wù)等任何一個地方都有可能成為吸引客戶、同時也可能成為失去客戶的因素。而同時電子商務(wù)網(wǎng)站每天都可能有上百萬次的在線交易，生成大量的記錄文件（Logfiles）和登記表，如何對這些數(shù)據(jù)進行分析和挖掘，充分了解客戶的喜好、購買模式，甚至是客戶一時的沖動，設(shè)計出滿足于不同客戶群體需要的個性化網(wǎng)站，進而增加其競爭力，幾乎變得勢在必行。若想在競爭中生存進而獲勝，就要比您的競爭對手更了解客戶。3、 電子商務(wù)網(wǎng)站數(shù)據(jù)挖掘 在對網(wǎng)站進行數(shù)據(jù)挖掘時，所需要的數(shù)據(jù)主要來自于兩個方面：一方面是客戶的背景信息，此部分信息主要來自于客戶的登記表；而另外一部分數(shù)據(jù)主要來自瀏覽者的點擊流（Click-stream），此部分數(shù)據(jù)主要用于考察客戶的行為表現(xiàn)。但有的時候，客戶對自己的背景信息十分珍重，不肯把這部分信息填寫在登記表上，這就會給數(shù)據(jù)分析和挖掘帶來不便。在這種情況之下，就不得不從瀏覽者的表現(xiàn)數(shù)據(jù)中來推測客戶的背景信息，進而再加以利用。就分析和建立模型的技術(shù)和算法而言，網(wǎng)站的數(shù)據(jù)挖掘和原來的數(shù)據(jù)挖掘差別并不是特別大，很多方法和分析思想都可以運用。所不同的是網(wǎng)站的數(shù)據(jù)格式有很大一部分來自于點擊流，和傳統(tǒng)的數(shù)據(jù)庫格式有區(qū)別。因而對電子商務(wù)網(wǎng)站進行數(shù)據(jù)挖掘所做的主要工作是數(shù)據(jù)準備。目前，有很多廠商正在致力于開發(fā)專門用于網(wǎng)站挖掘的軟件。 數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域數(shù)據(jù)挖掘技術(shù)從一開始就是面向應(yīng)用的。目前，在很多領(lǐng)域，數(shù)據(jù)挖掘(datamining)都是一個很時髦的詞，尤其是在如銀行、電信、保險、交通、零售（如超級市場）等商業(yè)領(lǐng)域。數(shù)據(jù)挖掘不僅是面向特定數(shù)據(jù)庫的簡單檢索查詢調(diào)用，而且要對這些數(shù)據(jù)進行微觀、中觀乃至宏觀的統(tǒng)計，分析，綜合和推理，以指導(dǎo)實際問題的求解，企圖發(fā)現(xiàn)事件間的相互關(guān)聯(lián)，甚至利用已有的數(shù)據(jù)對未來的活動進行預(yù)測。1、 在科學(xué)研究中應(yīng)用 從科學(xué)研究方法學(xué)的角度看，科學(xué)研究可分為三類:理論科學(xué)、實驗科學(xué)和計算科學(xué)。計算科學(xué)是現(xiàn)代科學(xué)的一個重要標志。計算科學(xué)工作者主要和數(shù)據(jù)打交道，每天要分析各種大量的實驗或觀測數(shù)據(jù)。隨著先進的科學(xué)數(shù)據(jù)收集工具的使用，如觀測衛(wèi)星、遙感器、DNA分子技術(shù)等，數(shù)據(jù)量非常大，傳統(tǒng)的數(shù)據(jù)分析工具無能為力，因此必須有強大的智能型自動數(shù)據(jù)分析工具才行。 數(shù)據(jù)挖掘在天文學(xué)上有一個非常著名的應(yīng)用系統(tǒng):SKICAT(SkyImageCatalogingandAnalysisTool)。它是美國加州理工學(xué)院噴氣推進實驗室(即設(shè)計火星探測器漫游者號的實驗室)與天文科學(xué)家合作開發(fā)的用于幫助天文學(xué)家發(fā)現(xiàn)遙遠的類星體的一個工具。SKICAT既是第一個獲得相當成功的數(shù)據(jù)挖掘應(yīng)用，也是人工智能技術(shù)在天文學(xué)和空間科學(xué)上第一批成功應(yīng)用之一。利用SKICAT,天文學(xué)家已發(fā)現(xiàn)了16個新的極其遙遠的類星體，該項發(fā)現(xiàn)能幫助天文工作者更好地研究類星體的形成以及早期宇宙的結(jié)構(gòu)。數(shù)據(jù)挖掘在生物學(xué)上的應(yīng)用主要集中于分子生物學(xué)特別是基因工程的研究上?；蜓芯恐?，有一個著名的國際性研究課題人類基因組計劃。據(jù)報道，1997年3月，科學(xué)家宣布已完成第一步計劃:繪制人類染色體基因圖。然而這僅僅是第一步，更重要的是對基因圖進行解釋從而發(fā)現(xiàn)各種蛋白質(zhì)(有10,000多種不同功能的蛋白質(zhì))和RNA分子的結(jié)構(gòu)和功能。近幾年，通過用計算生物分子系列分析方法，尤其是基因數(shù)據(jù)庫搜索技術(shù)己在基因研究上作出了很多重大發(fā)現(xiàn)。2、 在商業(yè)上的應(yīng)用在商業(yè)領(lǐng)域特別是零售業(yè)，數(shù)據(jù)挖掘的運用是比較成功的。由于MIS系統(tǒng)在商業(yè)的普遍使用，特別是碼技術(shù)的使用，可以收集到大量關(guān)于購買情況的數(shù)據(jù)，并且數(shù)據(jù)量在不斷激增。利用數(shù)據(jù)挖掘技術(shù)可以為經(jīng)營管理人員提供正確的決策手段，這樣對促進銷售及提高競爭力是大有幫助的。3、 在金融上的應(yīng)用 在金融領(lǐng)域，數(shù)據(jù)量是非常巨大的，銀行、證券公司等交易數(shù)據(jù)和存儲量都是很大的。而對于信用卡欺詐行為，銀行每年的損失非常大。因此，可以利用數(shù)據(jù)挖掘?qū)蛻粜抛u進行分析。典型的金融分析領(lǐng)域有投資評估和股票交易市場預(yù)測。4、 在醫(yī)學(xué)上的應(yīng)用 數(shù)據(jù)挖掘在醫(yī)學(xué)上的應(yīng)用十分廣泛，從分子制藥到醫(yī)療診斷，都可以利用數(shù)據(jù)挖掘的手段來提高效率和效益。在藥物合成方面，通過對藥物分子化學(xué)結(jié)構(gòu)的分析，可以確定藥物中哪種原子或原子基因?qū)κ裁床∧軌虬l(fā)揮作用，這樣在合成新藥時，可根據(jù)新藥的分子結(jié)構(gòu)確定該藥將有可能治療哪一種病。數(shù)據(jù)挖掘還可用于工業(yè)、農(nóng)業(yè)、交通、電信、軍事、Internet等其它行業(yè)。數(shù)據(jù)挖掘具有廣泛的應(yīng)用前景，它既可應(yīng)用于決策支持，也可應(yīng)用于數(shù)據(jù)庫管理系統(tǒng)(DBMS)中。數(shù)據(jù)挖掘作為決策支持和分析的工具，可以用于構(gòu)造知識庫。在DBMS中，數(shù)據(jù)挖掘可以用于語義查詢優(yōu)化、完整性約束和不一致檢驗等。 數(shù)據(jù)挖掘面臨的問題和挑戰(zhàn) 數(shù)據(jù)挖掘應(yīng)從以下三方面加以考慮，一是用數(shù)據(jù)挖掘解決什么樣的商業(yè)問題，二是為進行數(shù)據(jù)挖掘所做的數(shù)據(jù)準備，三是數(shù)據(jù)挖掘的各種分析算法。 數(shù)據(jù)挖掘的分析算法主要來自于以下兩個方面：統(tǒng)計分析和人工智能（機器學(xué)習(xí)、模式識別等）。數(shù)據(jù)挖掘研究人員和數(shù)據(jù)挖掘軟件供應(yīng)商，在這一方面所做的主要工作是優(yōu)化現(xiàn)有的一些算法，以適應(yīng)大數(shù)據(jù)量。另外需要強調(diào)的是，任何一種數(shù)據(jù)挖掘的算法，不管是統(tǒng)計分析方法、神經(jīng)元網(wǎng)絡(luò)、各種樹分析方法，還是遺傳算法，沒有一種算法是萬能的。不同的商業(yè)問題，需要用不同的方法去解決。即使對于同一個商業(yè)問題，可能有多種算法，這個時候，也需要評估對于這一特定問題和特定數(shù)據(jù)哪一種算法表現(xiàn)好。 做數(shù)據(jù)挖掘研究的人，往往把主要的精力用于改進現(xiàn)有算法和研究新算法上。人們都知道數(shù)據(jù)準備是必不可少的一步，但很少有人去真正花時間和精力去研究。其實數(shù)據(jù)挖掘最后成功與失敗，是否有經(jīng)濟效益，數(shù)據(jù)準備起到了至關(guān)重要的作用。數(shù)據(jù)準備包含很多方面：一是從多種數(shù)據(jù)源去綜合數(shù)據(jù)挖掘所需要的數(shù)據(jù)，保證數(shù)據(jù)的綜合性、易用性、數(shù)據(jù)的質(zhì)量和數(shù)據(jù)的時效性，這有可能要用到數(shù)據(jù)倉庫的思想和技術(shù)；另一方面就是如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標，這主要取決于數(shù)據(jù)挖掘者的分析經(jīng)驗和工具的方便性。 人們通常把數(shù)據(jù)挖掘工具看得過份神秘，認為只要有了一個數(shù)據(jù)挖掘工具，就能自動挖掘出所需要的信息，就能更好地進行企業(yè)運作，這是認識上的一個誤區(qū)。其實要想真正做好數(shù)據(jù)挖掘，數(shù)據(jù)挖掘工具只是其中的一個方面，同時還需要對企業(yè)業(yè)務(wù)的深入了解和數(shù)據(jù)分析經(jīng)驗。一個企業(yè)要想在未來的市場中具有競爭力，必須有一些數(shù)據(jù)挖掘方面的專家，專門從事數(shù)據(jù)分析和數(shù)據(jù)挖掘工作。再同其他部門協(xié)調(diào)，把挖掘出來的信息供管理者決策參考，最后把挖掘出的知識物化。在國內(nèi)的企業(yè)中，還很少有決策人員認識到這一點。如果管理者沒有這方面的意識，數(shù)據(jù)挖掘和數(shù)據(jù)分析就很難發(fā)揮應(yīng)有的作用，很容易走向兩個極端，一是認為數(shù)據(jù)挖掘沒有用處，二是開始認為數(shù)據(jù)挖掘是萬能的。如此得到的結(jié)果往往與初始期望相去太遠。 雖然數(shù)據(jù)挖掘技術(shù)已經(jīng)在各方面都得到了廣泛的應(yīng)用，但數(shù)據(jù)挖掘技術(shù)的研究還不夠成熟，在應(yīng)用上有很大的局限性。正是這些局限性，促使數(shù)據(jù)挖掘技術(shù)進一步的發(fā)展：l 挖掘的對象；數(shù)據(jù)庫更大，維數(shù)更高，屬性之間更復(fù)雜，數(shù)據(jù)挖掘處理的數(shù)據(jù)通常十分巨大。l 數(shù)據(jù)丟失問題；因大部分數(shù)據(jù)庫不是為知識發(fā)現(xiàn)而定做的，那么它就有可能會存在一些重要的數(shù)據(jù)和屬性丟失的問題。l 多種形式的輸入數(shù)據(jù)；目前數(shù)據(jù)挖掘工具能處理的數(shù)據(jù)形式有限，一般只能處理數(shù)值型的結(jié)構(gòu)化數(shù)據(jù)。l 網(wǎng)絡(luò)與分布式環(huán)境的KDD問題；隨網(wǎng)絡(luò)的發(fā)展，資源的豐富，技術(shù)人員各自獨立處理分離數(shù)據(jù)庫的工作方式應(yīng)是可協(xié)作的。l 個人隱私問題；l 與其他系統(tǒng)的集成問題。 結(jié)束語 數(shù)據(jù)挖掘現(xiàn)在越來越為更多的人們所關(guān)注，被認為是未來最有發(fā)展前景和廣闊市場潛力的新興學(xué)科之一。隨著信息技術(shù)和數(shù)據(jù)庫技術(shù)的不斷發(fā)展，各行各業(yè)的人們掌握了大量的數(shù)據(jù)，在競爭日益激烈的現(xiàn)今社會里，如何迅速有效的獲得隱藏在數(shù)據(jù)之后的有用的知識信息，成為眾