數(shù)據(jù)挖掘課件-吉大DATA-MINING(CH1)-PPT幻燈片

緒論本章綜合討論數(shù)據(jù)挖掘的一般知識(shí)，簡要介紹如下幾個(gè)方面的內(nèi)容：數(shù)據(jù)挖掘的基本概念KDD與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的對(duì)象與環(huán)境數(shù)據(jù)挖掘方法與相關(guān)領(lǐng)域數(shù)據(jù)挖掘系統(tǒng)與應(yīng)用1數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)引言數(shù)據(jù)存儲(chǔ)量急劇上升NASA軌道衛(wèi)星上的EOS每小時(shí)向地面發(fā)回50GB的圖像數(shù)據(jù)美國零售商系統(tǒng)Wal-Mart每天產(chǎn)生2億交易數(shù)據(jù)人類基因組項(xiàng)目已經(jīng)搜集數(shù)以GB計(jì)的基因編碼數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展大容量、高速度、低價(jià)格的存儲(chǔ)設(shè)備相繼問世數(shù)據(jù)倉庫技術(shù)VLDB技術(shù)面臨的問題信息量過大，超過了人們掌握、消化的能力一些信息真?zhèn)坞y辨，難以正確運(yùn)用信息組織形式的不一致性，增加信息處理難度新的認(rèn)識(shí)

隱藏在數(shù)據(jù)之后更深層次、更重要的信息能夠描述數(shù)據(jù)的整體特征，可以預(yù)測發(fā)展趨勢(shì)，在決策中具有重要價(jià)值。2數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)挖掘技術(shù)發(fā)展歷程3數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)KDD的定義數(shù)據(jù)：指一個(gè)有關(guān)事實(shí)F的集合，用以描述事物的基本信息。模式：語言L中的表達(dá)式E，E描述的數(shù)據(jù)是集合F的一個(gè)子集。表明集合FE中的數(shù)據(jù)具有特性E。作為一個(gè)模式，E比枚舉數(shù)據(jù)子集FE簡單。非平凡過程：指具有一定程度的智能性和自動(dòng)性，不僅僅是簡單地?cái)?shù)值統(tǒng)計(jì)和計(jì)算。有效性(可信性)：從數(shù)據(jù)中發(fā)現(xiàn)的模式必須有一定的可信度，函數(shù)C將表達(dá)式映射到度量空間MC

，c表示模式E的可信度，c=C(E,F)。其中E

L，E所描述的數(shù)據(jù)集合FE

F。新穎性：用一個(gè)函數(shù)來表示模式的新穎程度N(E,F)，函數(shù)值是邏輯值或是對(duì)模式E的新穎程度的一個(gè)判斷數(shù)值。新穎性從兩個(gè)方面衡量：當(dāng)前得到的數(shù)據(jù)與以前的數(shù)據(jù)或期望得到的數(shù)據(jù)之間比較對(duì)比發(fā)現(xiàn)的模式與已有模式的關(guān)系來判斷潛在作用：指提取出的模式將來會(huì)實(shí)際運(yùn)用，通過函數(shù)U把L中的表達(dá)式映射到測量空間MU

，u表示模式E的有作用程度，u=U(E,F)?？衫斫庑裕喊l(fā)現(xiàn)的模式應(yīng)該能夠被用戶理解，這主要體現(xiàn)在簡潔性上。用s表示模式E的簡單度(可理解度)，s=S(E,F)。

6數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)KDD的過程KDD過程主要由三個(gè)部分組成，即數(shù)據(jù)整理、數(shù)據(jù)挖掘和結(jié)果的解釋評(píng)估。7數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)KDD的過程數(shù)據(jù)準(zhǔn)備了解KDD應(yīng)用領(lǐng)域的有關(guān)情況。包括熟悉相關(guān)的背景知識(shí)，搞清用戶需求。數(shù)據(jù)選取根據(jù)用戶的需要從原始數(shù)據(jù)庫中選取相關(guān)數(shù)據(jù)或樣本。數(shù)據(jù)預(yù)處理

檢查數(shù)據(jù)的完整性及一致性，消除噪聲，濾除與數(shù)據(jù)挖掘無關(guān)的冗余數(shù)據(jù)，填充丟失的數(shù)據(jù)。數(shù)據(jù)變換通過投影或利用數(shù)據(jù)庫的其他操作減少數(shù)據(jù)量。確定目標(biāo)根據(jù)用戶的要求，確定KDD要發(fā)現(xiàn)的知識(shí)類型。8數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)KDD的過程選擇算法選擇合適的知識(shí)發(fā)現(xiàn)算法，包括選取合適的模型和參數(shù)。數(shù)據(jù)挖掘運(yùn)用前面選擇的算法，從數(shù)據(jù)庫中提取用戶感興趣的知識(shí)，并以一定的方式表示出來。模式解釋對(duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識(shí)）進(jìn)行解釋。經(jīng)過用戶或機(jī)器評(píng)估后，剔除冗余或無關(guān)的模式。知識(shí)評(píng)價(jià)將發(fā)現(xiàn)的知識(shí)以用戶能理解的方式呈現(xiàn)給用戶。這期間包含對(duì)知識(shí)一致性的檢查，以確信發(fā)現(xiàn)的知識(shí)不會(huì)與以前發(fā)現(xiàn)的知識(shí)相抵觸。9數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)與系統(tǒng)的特征KDD和數(shù)據(jù)挖掘可以應(yīng)用在很多領(lǐng)域，KDD系統(tǒng)及其面臨的數(shù)據(jù)具有一些公共特征和問題：海量數(shù)據(jù)集。數(shù)據(jù)利用非常不足。在開發(fā)KDD系統(tǒng)時(shí)，領(lǐng)域?qū)＜覍?duì)該領(lǐng)域的熟悉程度至關(guān)重要。最終用戶專門知識(shí)缺乏。10數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)結(jié)構(gòu)與類型數(shù)據(jù)庫中的數(shù)據(jù)數(shù)字實(shí)體:數(shù)字、向量、二維矩陣或多維數(shù)組等。符號(hào)實(shí)體:用來描述定性的量（如黑暗、明亮等）。概念實(shí)體:描述某些概念等級(jí)時(shí)就會(huì)面對(duì)復(fù)合數(shù)據(jù)類型。KDD觀點(diǎn)的數(shù)據(jù)更關(guān)注對(duì)象間的等級(jí)差異信息顆粒化(Granularity)數(shù)據(jù)分布11數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)結(jié)構(gòu)與類型12數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)結(jié)構(gòu)與類型13數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)庫系統(tǒng)分類關(guān)系數(shù)據(jù)庫由表組成，每個(gè)表有一個(gè)唯一的表名。屬性（列或域）集合組成表結(jié)構(gòu)，表中數(shù)據(jù)按行存放，每一行稱為一個(gè)記錄。記錄間通過鍵值加以區(qū)別。關(guān)系表中的各個(gè)屬性域描述了表間的聯(lián)系。是目前最流行、最常見的數(shù)據(jù)庫之一，為數(shù)據(jù)挖掘研究工作提供了豐富的數(shù)據(jù)源。

數(shù)據(jù)倉庫把來自不同數(shù)據(jù)源的信息以同一模式保存在同一個(gè)物理地點(diǎn)。數(shù)據(jù)倉庫是面向問題的、集成的、隨時(shí)間變化的、相對(duì)穩(wěn)定的數(shù)據(jù)集，為管理決策提供支持。根據(jù)多維數(shù)據(jù)庫結(jié)構(gòu)建模，每一維代表一個(gè)屬性集，每個(gè)單元存放一個(gè)屬性值，并提供多維數(shù)據(jù)視圖，允許通過預(yù)計(jì)算快速地對(duì)數(shù)據(jù)進(jìn)行總結(jié)。14數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)庫系統(tǒng)分類事務(wù)數(shù)據(jù)庫由文件構(gòu)成，每條記錄代表一個(gè)事務(wù)。典型的事務(wù)包含唯一的事務(wù)標(biāo)識(shí)（trans_ID），多個(gè)項(xiàng)目組成一個(gè)事務(wù)。事務(wù)數(shù)據(jù)庫可以用額外附加的關(guān)聯(lián)表記錄其他信息。面向?qū)ο髷?shù)據(jù)庫基于面向?qū)ο蟪绦蛟O(shè)計(jì)的范例，每一個(gè)實(shí)體作為一個(gè)對(duì)象。與對(duì)象相關(guān)的程序和數(shù)據(jù)封裝在一個(gè)單元中。對(duì)象通過消息與其他對(duì)象或數(shù)據(jù)庫系統(tǒng)進(jìn)行通信。對(duì)象機(jī)制提供一種模式獲取消息并做出反應(yīng)的手段。15數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)庫系統(tǒng)分類關(guān)系對(duì)象數(shù)據(jù)庫

構(gòu)成基于關(guān)系對(duì)象模型。為操作復(fù)雜的對(duì)象，該模型通過提供豐富數(shù)據(jù)類型的方法進(jìn)一步擴(kuò)展了關(guān)系模型?？臻g數(shù)據(jù)庫

包含空間關(guān)系信息。比如，地理(地圖)數(shù)據(jù)庫、VLSI芯片設(shè)計(jì)數(shù)據(jù)庫、醫(yī)學(xué)圖像數(shù)據(jù)庫和衛(wèi)星圖像數(shù)據(jù)庫等。時(shí)態(tài)數(shù)據(jù)庫

通常存儲(chǔ)與時(shí)間屬性相關(guān)的數(shù)據(jù)，這些屬性可以是具有不同語義的時(shí)間戳。時(shí)間序列數(shù)據(jù)庫

時(shí)間序列數(shù)據(jù)庫存儲(chǔ)隨時(shí)間順序變化的數(shù)據(jù)，比如股市中的變化數(shù)據(jù)等。16數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)庫系統(tǒng)分類文本數(shù)據(jù)庫

文本數(shù)據(jù)庫是包含用文字描述的對(duì)象的數(shù)據(jù)庫。文本數(shù)據(jù)庫可以是無結(jié)構(gòu)的，也可以是半結(jié)構(gòu)的。多媒體數(shù)據(jù)庫

在多媒體數(shù)據(jù)庫中存儲(chǔ)圖像、音頻、視頻等數(shù)據(jù)。多媒體數(shù)據(jù)庫管理系統(tǒng)提供在多媒體數(shù)據(jù)庫中對(duì)多媒體數(shù)據(jù)進(jìn)行存儲(chǔ)、操縱和檢索的功能，特別強(qiáng)調(diào)多種數(shù)據(jù)類型間的同步和實(shí)時(shí)處理。17數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)知識(shí)的分類預(yù)測(prediction)預(yù)測一個(gè)(將來的)事物的性質(zhì)。描述(description)用一些變量體現(xiàn)事物的主體特征，使之容易理解。解釋(explanation)用深層的知識(shí)(概念)形成一個(gè)事物的描述。優(yōu)化(optimization)尋求一個(gè)復(fù)雜問題的最佳解決方案。探索(exploration)用于支持進(jìn)一步發(fā)現(xiàn)知識(shí)的過程。18數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)挖掘相關(guān)領(lǐng)域

知識(shí)發(fā)現(xiàn)領(lǐng)域充分體現(xiàn)了各種方法論的相互交叉、滲透和協(xié)作。

19數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)挖掘方法統(tǒng)計(jì)方法回歸分析：多元回歸、自回歸等。判別分析：貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別。聚類分析：系統(tǒng)聚類、動(dòng)態(tài)聚類。探索性分析：主成分分析、相關(guān)分析。機(jī)器學(xué)習(xí)方法歸納學(xué)習(xí)方法：決策樹、規(guī)則歸納。基于范例學(xué)習(xí)遺傳算法20數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)數(shù)據(jù)挖掘方法神經(jīng)網(wǎng)絡(luò)方法前向神經(jīng)網(wǎng)絡(luò)：BP算法等。自組織神經(jīng)網(wǎng)絡(luò)：自組織特征映射、競爭學(xué)習(xí)等。數(shù)據(jù)庫方法多維數(shù)據(jù)分析OLAP技術(shù)此外還有面向?qū)傩缘臍w納方法等。21數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)KDD系統(tǒng)與應(yīng)用Berry等人研制的數(shù)據(jù)挖掘系統(tǒng)成功地應(yīng)用到商業(yè)領(lǐng)域數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)，商家通過發(fā)現(xiàn)顧客的購物習(xí)慣來決定營銷策略。SKICAT是由MIT噴氣推進(jìn)實(shí)驗(yàn)室與天文科學(xué)家合作開發(fā)的用于幫助天文學(xué)家發(fā)現(xiàn)遙遠(yuǎn)的類星體的工具。Health-KEFIR是用于健康狀況預(yù)警的知識(shí)發(fā)現(xiàn)系統(tǒng)。TASA是為預(yù)測通信網(wǎng)絡(luò)故障而開發(fā)的通信網(wǎng)絡(luò)預(yù)警分析系統(tǒng)。R-MINI運(yùn)用分類技術(shù)從噪聲中提取有價(jià)值的信息。KDW是大型商業(yè)數(shù)據(jù)庫中的交互分析系統(tǒng)。DBMiner是加拿大SimonFraser大學(xué)開發(fā)的多任務(wù)KDD系統(tǒng)。Clementine是SPSS的數(shù)據(jù)挖掘應(yīng)用工具。Darwin包含三個(gè)數(shù)據(jù)挖掘方法：神經(jīng)網(wǎng)絡(luò)、決策樹和K鄰近。22數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)KDD系統(tǒng)與應(yīng)用DMW是一個(gè)用在信用卡欺詐分析方面的數(shù)據(jù)挖掘工具，支持反向傳播神經(jīng)網(wǎng)絡(luò)算法，并能以自動(dòng)和人工的模式操作。DecisionSeries為描述和預(yù)測分析提供了集成算法集和知識(shí)挖掘環(huán)境。IntelligentMiner是IBM開發(fā)的包括人工智能、機(jī)器學(xué)習(xí)、語言分析和知識(shí)發(fā)現(xiàn)領(lǐng)域成果在內(nèi)的復(fù)雜軟件解決方案。KnowledgeSEEKER是一個(gè)基于決策樹的數(shù)據(jù)挖掘工具。23數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)課外閱讀Fayyad,U.,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy.1996.AdvancesinKnowledgeDiscoveryandDataMining.Cambridge,MA:MITPress