《數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)》第1章緒論

第1章緒論

《數(shù)據(jù)挖掘與知識發(fā)現(xiàn)》(第2版)數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-2)緒論

本章綜合討論數(shù)據(jù)挖掘的一般知識，簡要介紹如下幾個方面的內(nèi)容：數(shù)據(jù)挖掘的基本概念KDD與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的對象與環(huán)境數(shù)據(jù)挖掘方法與相關(guān)領(lǐng)域數(shù)據(jù)挖掘系統(tǒng)與應(yīng)用數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-3)引言數(shù)據(jù)存儲量急劇上升NASA軌道衛(wèi)星上的EOS每小時向地面發(fā)回50GB的圖像數(shù)據(jù)美國零售商系統(tǒng)Wal-Mart每天產(chǎn)生2億交易數(shù)據(jù)人類基因組項目已經(jīng)搜集數(shù)以GB計的基因編碼數(shù)據(jù)存儲技術(shù)的發(fā)展大容量、高速度、低價格的存儲設(shè)備相繼問世數(shù)據(jù)倉庫技術(shù)VLDB技術(shù)面臨的問題信息量過大，超過了人們掌握、消化的能力一些信息真?zhèn)坞y辨，難以正確運用信息組織形式的不一致性，增加信息處理難度新的認識

隱藏在數(shù)據(jù)之后更深層次、更重要的信息能夠描述數(shù)據(jù)的整體特征，可以預(yù)測發(fā)展趨勢，在決策中具有重要價值。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-4)數(shù)據(jù)挖掘技術(shù)發(fā)展歷程數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-5)數(shù)據(jù)挖掘技術(shù)發(fā)展歷程

面對海量數(shù)據(jù)庫和大量繁雜信息，如何從中提取有價值的知識，提高信息的利用率，引發(fā)了一個新的研究方向：基于數(shù)據(jù)庫的知識發(fā)現(xiàn)KDD（KnowledgeDiscoveryinDatabase）以及相應(yīng)的數(shù)據(jù)挖掘（DataMining）理論和技術(shù)的研究。1989年第十一屆AAAI學(xué)術(shù)會議上首次出現(xiàn)KDD一詞

其后，在VLDB（VeryLargeDatabase）及其他與數(shù)據(jù)庫領(lǐng)域相關(guān)的國際學(xué)術(shù)會議上也舉行了KDD專題研討會。1995年召開第一屆KDD國際學(xué)術(shù)會議（KDD’95）

隨后，每年召開一次這樣的會議。1997年《KnowledgeDiscoveryandDataMining》

該領(lǐng)域的第一本學(xué)術(shù)刊物，由KluwersPublishers出版發(fā)行。1999年召開第三屆亞太地區(qū)知識發(fā)現(xiàn)和數(shù)據(jù)挖掘國際會議

這次北京會議將國內(nèi)數(shù)據(jù)挖掘的研究推向新的高潮。

隨后，KDD的研究工作蓬勃展開數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-6)KDD的定義

公認的定義是1996年Fayyad等人提出的。

所謂基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KDD）是指從大量數(shù)據(jù)中提取有效的、新穎的、潛在有用的、最終可被理解的模式的非平凡過程。Thenontrivialprocessofidentifyingvalid,novel,usefulandultimatelyunderstandablepatternsindata.數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-7)KDD的定義數(shù)據(jù)：指一個有關(guān)事實F的集合，用以描述事物的基本信息。模式：語言L中的表達式E，E描述的數(shù)據(jù)是集合F的一個子集。表明集合FE中的數(shù)據(jù)具有特性E。作為一個模式，E比枚舉數(shù)據(jù)子集FE簡單。非平凡過程：指具有一定程度的智能性和自動性，不僅僅是簡單地數(shù)值統(tǒng)計和計算。有效性(可信性)：從數(shù)據(jù)中發(fā)現(xiàn)的模式必須有一定的可信度，函數(shù)C將表達式映射到度量空間MC

，c表示模式E的可信度，c=C(E,F)。其中EL，E所描述的數(shù)據(jù)集合FE

F。新穎性：用一個函數(shù)來表示模式的新穎程度N(E,F)，函數(shù)值是邏輯值或是對模式E的新穎程度的一個判斷數(shù)值。新穎性從兩個方面衡量：當前得到的數(shù)據(jù)與以前的數(shù)據(jù)或期望得到的數(shù)據(jù)之間比較對比發(fā)現(xiàn)的模式與已有模式的關(guān)系來判斷潛在作用：指提取出的模式將來會實際運用，通過函數(shù)U把L中的表達式映射到測量空間MU

，u表示模式E的有作用程度，u=U(E,F)?？衫斫庑裕喊l(fā)現(xiàn)的模式應(yīng)該能夠被用戶理解，這主要體現(xiàn)在簡潔性上。用s表示模式E的簡單度(可理解度)，s=S(E,F)。

數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-8)KDD的過程KDD過程主要由三個部分組成，即數(shù)據(jù)整理、數(shù)據(jù)挖掘和結(jié)果的解釋評估。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-9)KDD的過程數(shù)據(jù)準備了解KDD應(yīng)用領(lǐng)域的有關(guān)情況。包括熟悉相關(guān)的背景知識，搞清用戶需求。數(shù)據(jù)選取根據(jù)用戶的需要從原始數(shù)據(jù)庫中選取相關(guān)數(shù)據(jù)或樣本。數(shù)據(jù)預(yù)處理

檢查數(shù)據(jù)的完整性及一致性，消除噪聲，濾除與數(shù)據(jù)挖掘無關(guān)的冗余數(shù)據(jù)，填充丟失的數(shù)據(jù)。數(shù)據(jù)變換通過投影或利用數(shù)據(jù)庫的其他操作減少數(shù)據(jù)量。確定目標根據(jù)用戶的要求，確定KDD要發(fā)現(xiàn)的知識類型。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-10)KDD的過程選擇算法選擇合適的知識發(fā)現(xiàn)算法，包括選取合適的模型和參數(shù)。數(shù)據(jù)挖掘運用前面選擇的算法，從數(shù)據(jù)庫中提取用戶感興趣的知識，并以一定的方式表示出來。模式解釋對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識）進行解釋。經(jīng)過用戶或機器評估后，剔除冗余或無關(guān)的模式。知識評價將發(fā)現(xiàn)的知識以用戶能理解的方式呈現(xiàn)給用戶。這期間包含對知識一致性的檢查，以確信發(fā)現(xiàn)的知識不會與以前發(fā)現(xiàn)的知識相抵觸。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-11)數(shù)據(jù)與系統(tǒng)的特征KDD和數(shù)據(jù)挖掘可以應(yīng)用在很多領(lǐng)域，KDD系統(tǒng)及其面臨的數(shù)據(jù)具有一些公共特征和問題：海量數(shù)據(jù)集。數(shù)據(jù)利用非常不足。在開發(fā)KDD系統(tǒng)時，領(lǐng)域?qū)＜覍υ擃I(lǐng)域的熟悉程度至關(guān)重要。最終用戶專門知識缺乏。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-12)數(shù)據(jù)結(jié)構(gòu)與類型數(shù)據(jù)庫中的數(shù)據(jù)數(shù)字實體:數(shù)字、向量、二維矩陣或多維數(shù)組等。符號實體:用來描述定性的量（如黑暗、明亮等）。概念實體:描述某些概念等級時就會面對復(fù)合數(shù)據(jù)類型。KDD觀點的數(shù)據(jù)更關(guān)注對象間的等級差異信息顆?；?Granularity)數(shù)據(jù)分布數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-13)數(shù)據(jù)結(jié)構(gòu)與類型數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-14)數(shù)據(jù)結(jié)構(gòu)與類型數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-15)數(shù)據(jù)庫系統(tǒng)分類關(guān)系數(shù)據(jù)庫由表組成，每個表有一個唯一的表名。屬性（列或域）集合組成表結(jié)構(gòu)，表中數(shù)據(jù)按行存放，每一行稱為一個記錄。記錄間通過鍵值加以區(qū)別。關(guān)系表中的各個屬性域描述了表間的聯(lián)系。是目前最流行、最常見的數(shù)據(jù)庫之一，為數(shù)據(jù)挖掘研究工作提供了豐富的數(shù)據(jù)源。

數(shù)據(jù)倉庫把來自不同數(shù)據(jù)源的信息以同一模式保存在同一個物理地點。數(shù)據(jù)倉庫是面向問題的、集成的、隨時間變化的、相對穩(wěn)定的數(shù)據(jù)集，為管理決策提供支持。根據(jù)多維數(shù)據(jù)庫結(jié)構(gòu)建模，每一維代表一個屬性集，每個單元存放一個屬性值，并提供多維數(shù)據(jù)視圖，允許通過預(yù)計算快速地對數(shù)據(jù)進行總結(jié)。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-16)數(shù)據(jù)庫系統(tǒng)分類事務(wù)數(shù)據(jù)庫由文件構(gòu)成，每條記錄代表一個事務(wù)。典型的事務(wù)包含唯一的事務(wù)標識（trans_ID），多個項目組成一個事務(wù)。事務(wù)數(shù)據(jù)庫可以用額外附加的關(guān)聯(lián)表記錄其他信息。面向?qū)ο髷?shù)據(jù)庫基于面向?qū)ο蟪绦蛟O(shè)計的范例，每一個實體作為一個對象。與對象相關(guān)的程序和數(shù)據(jù)封裝在一個單元中。對象通過消息與其他對象或數(shù)據(jù)庫系統(tǒng)進行通信。對象機制提供一種模式獲取消息并做出反應(yīng)的手段。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-17)數(shù)據(jù)庫系統(tǒng)分類關(guān)系對象數(shù)據(jù)庫

構(gòu)成基于關(guān)系對象模型。為操作復(fù)雜的對象，該模型通過提供豐富數(shù)據(jù)類型的方法進一步擴展了關(guān)系模型?？臻g數(shù)據(jù)庫

包含空間關(guān)系信息。比如，地理(地圖)數(shù)據(jù)庫、VLSI芯片設(shè)計數(shù)據(jù)庫、醫(yī)學(xué)圖像數(shù)據(jù)庫和衛(wèi)星圖像數(shù)據(jù)庫等。時態(tài)數(shù)據(jù)庫

通常存儲與時間屬性相關(guān)的數(shù)據(jù)，這些屬性可以是具有不同語義的時間戳。時間序列數(shù)據(jù)庫

時間序列數(shù)據(jù)庫存儲隨時間順序變化的數(shù)據(jù)，比如股市中的變化數(shù)據(jù)等。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-18)數(shù)據(jù)庫系統(tǒng)分類文本數(shù)據(jù)庫

文本數(shù)據(jù)庫是包含用文字描述的對象的數(shù)據(jù)庫。文本數(shù)據(jù)庫可以是無結(jié)構(gòu)的，也可以是半結(jié)構(gòu)的。多媒體數(shù)據(jù)庫

在多媒體數(shù)據(jù)庫中存儲圖像、音頻、視頻等數(shù)據(jù)。多媒體數(shù)據(jù)庫管理系統(tǒng)提供在多媒體數(shù)據(jù)庫中對多媒體數(shù)據(jù)進行存儲、操縱和檢索的功能，特別強調(diào)多種數(shù)據(jù)類型間的同步和實時處理。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-19)知識的分類預(yù)測(prediction)預(yù)測一個(將來的)事物的性質(zhì)。描述(description)用一些變量體現(xiàn)事物的主體特征，使之容易理解。解釋(explanation)用深層的知識(概念)形成一個事物的描述。優(yōu)化(optimization)尋求一個復(fù)雜問題的最佳解決方案。探索(exploration)用于支持進一步發(fā)現(xiàn)知識的過程。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-20)數(shù)據(jù)挖掘相關(guān)領(lǐng)域

知識發(fā)現(xiàn)領(lǐng)域充分體現(xiàn)了各種方法論的相互交叉、滲透和協(xié)作。

數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-21)數(shù)據(jù)挖掘方法統(tǒng)計方法回歸分析：多元回歸、自回歸等。判別分析：貝葉斯判別、費歇爾判別、非參數(shù)判別。聚類分析：系統(tǒng)聚類、動態(tài)聚類。探索性分析：主成分分析、相關(guān)分析。機器學(xué)習(xí)方法歸納學(xué)習(xí)方法：決策樹、規(guī)則歸納?；诜独龑W(xué)習(xí)遺傳算法數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-22)數(shù)據(jù)挖掘方法神經(jīng)網(wǎng)絡(luò)方法前向神經(jīng)網(wǎng)絡(luò)：BP算法等。自組織神經(jīng)網(wǎng)絡(luò)：自組織特征映射、競爭學(xué)習(xí)等。數(shù)據(jù)庫方法多維數(shù)據(jù)分析OLAP技術(shù)此外還有面向?qū)傩缘臍w納方法等。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(25-23)KDD系統(tǒng)與應(yīng)用Berry等人研制的數(shù)據(jù)挖掘系統(tǒng)成功地應(yīng)用到商業(yè)領(lǐng)域數(shù)據(jù)庫中的知識發(fā)現(xiàn)，商家通過發(fā)現(xiàn)顧客的購物習(xí)慣來決定營銷策略。SKICAT是由MIT噴氣推進實驗室與天文科學(xué)家合作開發(fā)的用于幫助天文學(xué)家發(fā)現(xiàn)遙遠的類星體的工具。Health-KEFIR是用于健康狀況預(yù)警的知識發(fā)現(xiàn)系統(tǒng)。TASA是為預(yù)測通信網(wǎng)絡(luò)故障而開發(fā)的通信網(wǎng)絡(luò)預(yù)警分析系統(tǒng)。R-MINI運用分類技術(shù)從噪聲中提取有價值的信息。KDW是大型商業(yè)數(shù)據(jù)庫中的交互分析系統(tǒng)。DBMiner是加拿大SimonFraser大學(xué)開發(fā)的多任務(wù)KDD系統(tǒng)。Clementine是SPSS的數(shù)據(jù)挖掘應(yīng)用工具。Darwin包含三個數(shù)據(jù)挖掘方法：神