數(shù)據(jù)挖掘概念與技術(shù)第一章

1、數(shù)據(jù)挖掘：概念(ginin)與技術(shù)Jiawei Han and Micheline Kamber著Monrgan Kaufmann Publishers Inc.范明 孟小峰等譯機械(jxi)工業(yè)出版社共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)2共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)3共三十九頁第1章 引言(ynyn)英文幻燈片制作：Jiawei Han中文(zhngwn)幻燈片編譯：范明共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)5第一章 引論動機：為什么要數(shù)據(jù)挖掘?什么是數(shù)據(jù)挖掘?數(shù)據(jù)挖掘：在什么數(shù)據(jù)上進行?數(shù)據(jù)挖掘功能所

2、有的模式都是有趣的嗎?數(shù)據(jù)挖掘系統(tǒng)分類 數(shù)據(jù)挖掘的主要問題共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)6動機: 需要是發(fā)明之母數(shù)據(jù)爆炸問題自動的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致大量數(shù)據(jù)存放在數(shù)據(jù)庫, 數(shù)據(jù)倉庫, 和其它信息存儲中我們正被數(shù)據(jù)淹沒,但卻缺乏知識解決辦法: 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)倉庫與聯(lián)機分析處理(OLAP)從大型數(shù)據(jù)庫的數(shù)據(jù)中提取有趣的知識(規(guī)則, 規(guī)律性, 模式, 限制等)共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)7數(shù)據(jù)處理技術(shù)的演進1960s:數(shù)據(jù)收集, 數(shù)據(jù)庫創(chuàng)建, IMS 和網(wǎng)狀 DBMS1970s: 關(guān)系數(shù)據(jù)庫模型, 關(guān)系 D

3、BMS 實現(xiàn)1980s: RDBMS, 先進的數(shù)據(jù)模型 (擴充關(guān)系的, OO, 演繹的, 等.) 和面向應(yīng)用 的 DBMS (空間的, 科學(xué)的, 工程的, 等.)1990s2000s: 數(shù)據(jù)挖掘和數(shù)據(jù)倉庫, 多媒體數(shù)據(jù)庫, 和 Web 數(shù)據(jù)庫共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)8什么是數(shù)據(jù)挖掘?數(shù)據(jù)挖掘 (數(shù)據(jù)庫中知識發(fā)現(xiàn)): 從大型數(shù)據(jù)庫中提取有趣的 (非平凡的, 蘊涵的, 先前未知的 并且是潛在有用的) 信息或模式其它叫法和“inside stories”: 數(shù)據(jù)挖掘: 用詞不當(dāng)?數(shù)據(jù)庫中知識發(fā)現(xiàn)(挖掘) (Knowledge discovery in data

4、bases, KDD), 知識提取(knowledge extraction), 數(shù)據(jù)/模式分析(data/pattern analysis), 數(shù)據(jù)考古(data archeology), 數(shù)據(jù)捕撈(data dredging), 信息收獲(information harvesting), 商務(wù)智能(business intelligence), 等.什么不是數(shù)據(jù)挖掘?(演繹) 查詢處理. 專家系統(tǒng) 或小型 機器學(xué)習(xí)(ML)/統(tǒng)計程序共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)9為什么要數(shù)據(jù)挖掘?可能的應(yīng)用數(shù)據(jù)庫分析和決策支持市場分析和管理針對銷售(target mark

5、eting), 顧客關(guān)系管理, 購物籃分析, 交叉銷售(cross selling), 市場分割(market segmentation)風(fēng)險分析與管理預(yù)測, 顧客關(guān)系, 改進保險, 質(zhì)量控制, 競爭能力分析欺騙檢測與管理其它應(yīng)用文本挖掘 (新聞組, email, 文檔資料)流數(shù)據(jù)挖掘(Stream data mining)Web挖掘.DNA 數(shù)據(jù)分析共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)10市場分析與管理(1)用于分析的數(shù)據(jù)源在哪?信用卡交易, 會員卡, 打折優(yōu)惠卷, 顧客投訴電話, (公共) 生活時尚研究針對銷售(Target marketing)找出顧客群, 他

6、們具有相同特征 : 興趣, 收入水平, 消費習(xí)慣, 等.確定顧客隨時間變化的購買模式個人帳號到聯(lián)合帳號的轉(zhuǎn)變: 結(jié)婚, 等.交叉銷售分析(Cross-market analysis)產(chǎn)品銷售之間的關(guān)聯(lián)/相關(guān) 基于關(guān)聯(lián)信息的預(yù)測共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)11市場分析與管理(2)顧客分類(Customer profiling)數(shù)據(jù)挖掘能夠告訴我們什么樣的顧客買什么產(chǎn)品(聚類或分類)識別顧客需求對不同的顧客識別最好的產(chǎn)品使用預(yù)測發(fā)現(xiàn)什么因素影響新顧客提供匯總信息各種多維匯總報告統(tǒng)計的匯總信息 (數(shù)據(jù)的中心趨勢和方差)共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(

7、ginin)與技術(shù)12法人分析和風(fēng)險管理財經(jīng)規(guī)劃和資產(chǎn)評估現(xiàn)金流分析和預(yù)測臨時提出的資產(chǎn)評估交叉組合(cross-sectional) 和時間序列分析 (金融比率(financial-ratio), 趨勢分析, 等.)資源規(guī)劃 :資源與開銷的匯總與比較競爭:管理競爭者和市場指導(dǎo)對顧客分類和基于類的定價在高度競爭的市場調(diào)整價格策略共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)13欺騙檢測和管理(1)應(yīng)用廣泛用于健康照料, 零售, 信用卡服務(wù), 電訊 (電話卡欺騙), 等.方法使用歷史數(shù)據(jù)建立欺騙行為模型, 使用數(shù)據(jù)挖掘幫助識別類似的實例例汽車保險: 檢測這樣的人, 他/她假造事

8、故騙取保險賠償洗錢: 檢測可疑的金錢交易 (US Treasurys Financial Crimes Enforcement Network) 醫(yī)療保險 : 檢測職業(yè)病患者, 醫(yī)生和介紹人圈共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)14欺騙檢測和管理(2)檢測不適當(dāng)?shù)尼t(yī)療處置澳大利亞健康保險會(Australian Health Insurance Commission) 發(fā)現(xiàn)許多全面的檢查是請求做的, 而不是實際需要的 (每年節(jié)省100萬澳元).檢測電話欺騙電話呼叫模式: 通話距離, 通話時間, 每天或每周通話次數(shù). 分析偏離期望的模式.英國電訊(British Te

9、lecom)識別頻繁內(nèi)部通話的呼叫者的離散群, 特別是移動電話, 超過數(shù)百萬美元的欺騙. 零售分析家估計, 38%的零售業(yè)萎縮是由于不忠誠的雇員造成的.共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)15其它應(yīng)用運動IBM Advanced Scout分析NBA的統(tǒng)計數(shù)據(jù) ( 阻擋投籃, 助攻, 和犯規(guī) ) 獲得了對紐約小牛隊(New York Knicks)和邁艾米熱隊( Miami Heat )的競爭優(yōu)勢天文借助于數(shù)據(jù)挖掘的幫助,JPL 和 Palomar Observatory 發(fā)現(xiàn)了22 顆類星體(quasars)Internet Web Surf-AidIBM Sur

10、f-Aid 將數(shù)據(jù)挖掘算法用于有關(guān)交易的頁面的Web訪問日志, 以發(fā)現(xiàn)顧客喜愛的頁面, 分析Web 銷售的效果, 改進Web 站點的組織, 等.共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)16數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘：KDD的核心.數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)庫數(shù)據(jù)倉庫知識任務(wù)相關(guān)數(shù)據(jù)選擇數(shù)據(jù)挖掘模式評估共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)17KDD過程的步驟學(xué)習(xí)應(yīng)用領(lǐng)域:相關(guān)的先驗知識和應(yīng)用的目標(biāo)創(chuàng)建目標(biāo)數(shù)據(jù)集: 數(shù)據(jù)選擇數(shù)據(jù)清理和預(yù)處理: (可能占全部工作的 60%!)數(shù)據(jù)歸約與變換:發(fā)現(xiàn)有用的特征, 維/變量歸約, 不變量的表示.選擇數(shù)據(jù)挖掘函數(shù) 匯總

11、, 分類, 回歸, 關(guān)聯(lián), 聚類.共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)18KDD過程的步驟(續(xù))選擇挖掘算法數(shù)據(jù)挖掘: 搜索有趣的模式模式評估和知識表示可視化, 變換, 刪除冗余模式, 等.發(fā)現(xiàn)知識的使用共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)19數(shù)據(jù)挖掘和商務(wù)智能 提高支持商務(wù)決策的潛能最終用戶商務(wù)分析人員 數(shù)據(jù)分析人員DBA 制定決策數(shù)據(jù)表示可視化技術(shù)數(shù)據(jù)挖掘信息發(fā)現(xiàn)數(shù)據(jù)探查OLAP, MDA統(tǒng)計分析, 查詢和報告數(shù)據(jù)倉庫 / 數(shù)據(jù)集市數(shù)據(jù)源文字記錄, 文件, 信息提供者, 數(shù)據(jù)庫系統(tǒng), OLTP系統(tǒng)共三十九頁27 七月 2022數(shù)據(jù)挖掘

12、：概念(ginin)與技術(shù)20典型的數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫數(shù)據(jù)清理 數(shù)據(jù)集成過濾數(shù)據(jù)庫數(shù)據(jù)庫或數(shù)據(jù)倉庫數(shù)據(jù)挖掘引擎模式評估圖形用戶界面知識庫共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)21數(shù)據(jù)挖掘:在什么數(shù)據(jù)上進行?關(guān)系數(shù)據(jù)庫數(shù)據(jù)倉庫事務(wù)(交易)數(shù)據(jù)庫先進的數(shù)據(jù)庫和信息存儲面向?qū)ο蠛蛯ο?關(guān)系數(shù)據(jù)庫空間和時間數(shù)據(jù)時間序列數(shù)據(jù)和流數(shù)據(jù)文本數(shù)據(jù)庫和多媒體數(shù)據(jù)庫異種數(shù)據(jù)庫和遺產(chǎn)數(shù)據(jù)庫 WWW共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)22數(shù)據(jù)挖掘功能(1)概念描述: 特征和區(qū)分概化, 匯總, 和比較數(shù)據(jù)特征, 例如, 干燥和潮濕的地區(qū)關(guān)聯(lián) (相關(guān)和因果關(guān)系)

13、多維和單維關(guān)聯(lián) age(X, “20.29”) income(X, “20.29K”) buys(X, “PC”) support = 2%, confidence = 60%contains(T, “computer”) contains(T, “software”)support = 1%, confidence = 75%共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)23數(shù)據(jù)挖掘功能(2)分類和預(yù)測找出描述和識別類或概念的模型( 函數(shù)), 用于將來的預(yù)測例如根據(jù)氣候?qū)曳诸? 或根據(jù)單位里程的耗油量對汽車分類表示: 判定樹(decision-tree), 分類規(guī)則,

14、神經(jīng)網(wǎng)絡(luò)預(yù)測: 預(yù)測某些未知或遺漏的數(shù)值聚類分析類標(biāo)號(Class label) 未知: 對數(shù)據(jù)分組, 形成新的類. 例如, 對房屋分類, 找出分布模式聚類原則: 最大化類內(nèi)的相似性, 最小化類間的相似性共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)24數(shù)據(jù)挖掘功能(3)孤立點(Outlier)分析孤立點: 一個數(shù)據(jù)對象, 它 與數(shù)據(jù)的一般行為不一致孤立點可以被視為例外, 但對于欺騙檢測和罕見事件分析, 它是相當(dāng)有用的趨勢和演變分析趨勢和偏離: 回歸分析序列模式挖掘, 周期性分析基于相似的分析其它基于模式或統(tǒng)計的分析共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與

15、技術(shù)25挖掘出的所有模式都是有趣的嗎?一個數(shù)據(jù)挖掘系統(tǒng)/查詢可以挖掘出數(shù)以千計的模式, 并非所有的模式都是有趣的建議的方法: 以人為中心, 基于查詢的, 聚焦的挖掘興趣度度量 : 一個模式是 有趣的 如果它是 易于被人理解的, 在某種程度上在新的或測試數(shù)據(jù)上是有效的, 潛在有用的, 新穎的, 或驗證了用戶希望證實的某種假設(shè)客觀與主觀的興趣度度量 :客觀: 基于模式的統(tǒng)計和結(jié)構(gòu), 例如, 支持度, 置信度, 等.主觀: 基于用戶對數(shù)據(jù)的確信, 例如, 出乎意料, 新穎性, 可行動性(actionability), 等.共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)26能夠只發(fā)現(xiàn)

16、有趣的模式嗎?發(fā)現(xiàn)所有有趣的模式: 完全性數(shù)據(jù)挖掘系統(tǒng)能夠發(fā)現(xiàn)所有有趣的模式嗎? 關(guān)聯(lián) vs. 分類 vs. 聚類僅搜索有趣的模式: 優(yōu)化數(shù)據(jù)挖掘系統(tǒng)能夠僅發(fā)現(xiàn)有趣的模式嗎? 方法首先找出所有模式, 然后過濾掉不是有趣的那些.僅產(chǎn)生有趣的模式 挖掘查詢優(yōu)化共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)27數(shù)據(jù)挖掘: 多學(xué)科交叉 數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計學(xué)其它學(xué)科信息科學(xué)機器學(xué)習(xí)可視化共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)28數(shù)據(jù)挖掘分類一般功能描述式數(shù)據(jù)挖掘預(yù)測式數(shù)據(jù)挖掘不同的角度,不同的分類待挖掘的數(shù)據(jù)庫類型 待發(fā)現(xiàn)的知識類型所用的技術(shù)類型所適合的應(yīng)

17、用類型共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)29數(shù)據(jù)挖掘分類的多維視圖待挖掘的數(shù)據(jù)庫關(guān)系的, 事務(wù)的, 面向?qū)ο蟮? 對象-關(guān)系的, 主動的, 空間的, 時間序列的, 文本的, 多媒體的, 異種的, 遺產(chǎn)的, WWW, 等.所挖掘的知識特征, 區(qū)分, 關(guān)聯(lián), 分類, 聚類, 趨勢, 偏離和孤立點分析, 等.多/集成的功能, 和多層次上的挖掘所用技術(shù)面向數(shù)據(jù)庫的, 數(shù)據(jù)倉庫 (OLAP), 機器學(xué)習(xí), 統(tǒng)計學(xué), 可視化, 神經(jīng)網(wǎng)絡(luò), 等.適合的應(yīng)用零售, 電訊, 銀行, 欺騙分析, DNA 挖掘, 股票市場分析, Web 挖掘, Web日志分析, 等共三十九頁27 七月

18、 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)30OLAP挖掘: 數(shù)據(jù)挖掘與數(shù)據(jù)倉庫的集成數(shù)據(jù)挖掘系統(tǒng), DBMS, 數(shù)據(jù)倉庫系統(tǒng)的耦合 不耦合, 松耦合, 半緊密耦合, 緊密耦合聯(lián)機分析挖掘挖掘與 OLAP 技術(shù)的集成交互挖掘多層知識通過下鉆, 上卷, 轉(zhuǎn)軸, 切片, 切塊等操作, 在不同的抽象層挖掘知識和模式的必要性.多種挖掘功能的集成 特征分類, 先聚類再關(guān)聯(lián)共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)31OLAM 的結(jié)構(gòu)數(shù)據(jù)倉庫元數(shù)據(jù)MDDBOLAM引擎OLAP引擎用戶 GUI API數(shù)據(jù)立方體 API數(shù)據(jù)庫 API數(shù)據(jù)清理數(shù)據(jù)集成第3層OLAP/OLAM第2層MDD

19、B第1層數(shù)據(jù)存儲第4層用戶界面過濾和集成過濾Databases挖掘查詢挖掘結(jié)果共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)32數(shù)據(jù)挖掘的主要問題(1)挖掘方法和用戶交互在數(shù)據(jù)庫中挖掘不同類型的知識在多個抽象層的交互式知識挖掘結(jié)合背景知識數(shù)據(jù)挖掘語言和啟發(fā)式數(shù)據(jù)挖掘 數(shù)據(jù)挖掘結(jié)果的表示和可視化處理噪音和不完全數(shù)據(jù)模式評估: 興趣度問題性能和可伸縮性( scalability)數(shù)據(jù)挖掘算法的性能和可伸縮性并行, 分布和增量的挖掘方法共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)33數(shù)據(jù)挖掘的主要問題(2)數(shù)據(jù)類型的多樣性問題處理關(guān)系的和復(fù)雜類型的數(shù)據(jù)從異種數(shù)據(jù)

20、庫和全球信息系統(tǒng) (WWW)挖掘信息應(yīng)用和社會效果問題發(fā)現(xiàn)知識的應(yīng)用特定領(lǐng)域的數(shù)據(jù)挖掘工具智能查詢回答過程控制和決策制定發(fā)現(xiàn)知識與已有知識的集成: 知識融合問題數(shù)據(jù)安全, 完整和私有的保護共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)34小結(jié)數(shù)據(jù)挖掘: 從大量數(shù)據(jù)中發(fā)現(xiàn)有趣的模式數(shù)據(jù)庫技術(shù)的自然進化, 具有巨大需求和廣泛應(yīng)用KDD 過程包括數(shù)據(jù)清理, 數(shù)據(jù)集成, 數(shù)據(jù)選擇, 變換, 數(shù)據(jù)挖掘, 模式評估, 和知識表示挖掘可以在各種數(shù)據(jù)存儲上進行數(shù)據(jù)挖掘功能: 特征, 區(qū)分, 關(guān)聯(lián), 分類, 聚類, 孤立點 和趨勢分析, 等.數(shù)據(jù)挖掘系統(tǒng)的分類數(shù)據(jù)挖掘的主要問題共三十九頁27

21、七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)35數(shù)據(jù)挖掘界簡史1989 IJCAI Workshop on Knowledge Discovery in Databases (Piatetsky-Shapiro)Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)1991-1994 Workshops on Knowledge Discovery in DatabasesAdvances in Knowledge Discovery and Data Mining (U. Fayyad, G

22、. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996)1995-1998 International Conferences on Knowledge Discovery in Databases and Data Mining (KDD95-98)Journal of Data Mining and Knowledge Discovery (1997)1998 ACM SIGKDD, SIGKDD1999-2001 conferences, and SIGKDD ExplorationsMore conferences on data

23、miningPAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, etc.共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)36參考文獻(xiàn)Data mining and KDD (SIGKDD member CDROM):Conference proceedings: KDD, and others, such as PKDD, PAKDD, etc.Journal: Data Mining and Knowledge DiscoveryDatabase field (SIGMOD member CD ROM):Conference proceed

24、ings: ACM-SIGMOD, ACM-PODS, VLDB, ICDE, EDBT, DASFAAJournals: ACM-TODS, J. ACM, IEEE-TKDE, JIIS, etc.AI and Machine Learning:Conference proceedings: Machine learning, AAAI, IJCAI, etc.Journals: Machine Learning, Artificial Intelligence, etc.Statistics:Conference proceedings: Joint Stat. Meeting, etc

25、.Journals: Annals of statistics, etc.Visualization:Conference proceedings: CHI, etc.Journals: IEEE Trans. visualization and computer graphics, etc.共三十九頁27 七月 2022數(shù)據(jù)挖掘：概念(ginin)與技術(shù)37參考文獻(xiàn)U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy. Advances in Knowledge Discovery and Data Mining. AAAI/MIT Press, 1996.J. Han and M. Kamber. Data Mining: Concepts and Techniques. Morgan