數(shù)據(jù)挖掘的應用和發(fā)展趨勢

數(shù)據(jù)挖掘入門

10/25/20221引言KDD與數(shù)據(jù)挖掘數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘的應用和發(fā)展趨勢數(shù)據(jù)預處理可視化數(shù)據(jù)挖掘10/25/20222一、引言什么激發(fā)了數(shù)據(jù)挖掘

近年來，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關注，其主要原因是存在大量數(shù)據(jù)可以廣泛使用，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識。獲取的信息和知識可以廣泛應用于各種領域，如商務管理、生產(chǎn)控制、市場分析、工程設計和科學探索等。

面對海量數(shù)據(jù)庫和大量繁雜信息，如何才能從中提取有價值的知識，進一步提高信息的利用率，由此引發(fā)了一個新的研究方向：基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase）及相應的數(shù)據(jù)挖掘（DataMining）理論和技術的研究。10/25/20223為什么數(shù)據(jù)挖掘是重要的

數(shù)據(jù)的豐富帶來了對強有力的數(shù)據(jù)分析工具的需求。快速增長的海量數(shù)據(jù)收集存放在大型和大量的數(shù)據(jù)庫中，沒有強有力的工具，這些數(shù)據(jù)就變成了“數(shù)據(jù)墳墓”——難得再訪問的數(shù)據(jù)檔案。因此數(shù)據(jù)和信息之間的鴻溝要求系統(tǒng)地開發(fā)數(shù)據(jù)挖掘工具，將數(shù)據(jù)墳墓轉(zhuǎn)換成知識“金塊”。10/25/202242.1KDD定義人們給KDD下過很多定義，內(nèi)涵也各不相同，目前公認的定義是由Fayyad等人提出的。

所謂基于數(shù)據(jù)庫的知識發(fā)現(xiàn)(KDD)是指從大量數(shù)據(jù)中提取有效的、新穎的、潛在有用的、最終可被理解的模式的非平凡過程。二、KDD與數(shù)據(jù)挖掘10/25/202252.2KDD過程

KDD是一個人機交互處理過程。該過程需要經(jīng)歷多個步驟，并且很多決策需要由用戶提供。從宏觀上看，KDD過程主要經(jīng)由三個部分組成，即數(shù)據(jù)整理、數(shù)據(jù)挖掘和結(jié)果的解釋評估。10/25/20226知識發(fā)現(xiàn)（KDD）的過程數(shù)據(jù)清理篩選數(shù)據(jù)目標數(shù)據(jù)Knowledge預處理及變換變換后的數(shù)據(jù)數(shù)據(jù)挖掘解釋/評估10/25/20227知識發(fā)現(xiàn)（KDD）的步驟數(shù)據(jù)準備：了解KDD應用領域的有關情況。包括熟悉相關的知識背景，搞清用戶需求。數(shù)據(jù)選?。簲?shù)據(jù)選取的目的是確定目標數(shù)據(jù)，根據(jù)用戶的需要從原始數(shù)據(jù)庫中選取相關數(shù)據(jù)或樣本。在此過程中，將利用一些數(shù)據(jù)庫操作對數(shù)據(jù)庫進行相關處理。數(shù)據(jù)預處理：對步驟2中選出的數(shù)據(jù)進行再處理，檢查數(shù)據(jù)的完整性及一致性，消除噪聲及與數(shù)據(jù)挖掘無關的冗余數(shù)據(jù)，根據(jù)時間序列和已知的變化情況，利用統(tǒng)計等方法填充丟失的數(shù)據(jù)。10/25/20228數(shù)據(jù)變換：根據(jù)知識發(fā)現(xiàn)的任務對經(jīng)過預處理的數(shù)據(jù)再處理，主要是通過投影或利用數(shù)據(jù)庫的其它操作減少數(shù)據(jù)量。確定KDD目標：根據(jù)用戶的要求，確定KDD要發(fā)現(xiàn)的知識類型。選擇算法：根據(jù)步驟5確定的任務，選擇合適的知識發(fā)現(xiàn)算法，包括選取合適的模型和參數(shù)。10/25/20229數(shù)據(jù)挖掘：這是整個KDD過程中很重要的一個步驟。運用前面的選擇算法，從數(shù)據(jù)庫中提取用戶感興趣的知識，并以一定的方式表示出來。模式解釋：對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識）進行解釋。通過機器評估剔除冗余或無關模式，若模式不滿足，再返回到前面某些處理步驟中反復提取。知識評價：將發(fā)現(xiàn)的知識以用戶能了解的方式呈現(xiàn)給用戶。其中也包括對知識一致性的檢查，以確信本次發(fā)現(xiàn)的知識不會與以前發(fā)現(xiàn)的知識相抵觸。10/25/202210什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘（從數(shù)據(jù)中發(fā)現(xiàn)知識）

從海量的數(shù)據(jù)中抽取感興趣的（有價值的、隱含的、以前沒有用但是潛在有用信息的）模式和知識。其它可選擇的名字

數(shù)據(jù)庫中知識挖掘、知識提取、數(shù)據(jù)/模式分析、數(shù)據(jù)考古、數(shù)據(jù)捕撈、信息獲取、事務智能等。廣義觀點數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫中或其它信息庫中的大量數(shù)據(jù)中挖掘有趣知識的過程。10/25/202211數(shù)據(jù)挖掘系統(tǒng)的組成數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫：是一個或一組數(shù)據(jù)庫、數(shù)據(jù)倉庫、電子表格或其他類型的信息庫。可以在數(shù)據(jù)上進行數(shù)據(jù)清理和集成。數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器：根據(jù)用戶的挖掘請求，數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器負責提取相關數(shù)據(jù)。知識庫：是領域知識，用于指導搜索，或評估結(jié)果模式的興趣度。10/25/202212數(shù)據(jù)挖掘引擎：數(shù)據(jù)挖掘系統(tǒng)的基本部分，由一組功能模塊組成，用于特征化、關聯(lián)、分類、聚類分析以及演變和偏差分析。模式評估模塊：使用興趣度量，并與數(shù)據(jù)挖掘模塊交互，以便將搜索聚焦在有趣的模式上，可能使用興趣度閾值過濾發(fā)現(xiàn)的模式。圖形用戶界面：該模塊在用戶和數(shù)據(jù)挖掘系統(tǒng)之間通信，允許用戶與系統(tǒng)交互，指定數(shù)據(jù)挖掘查詢或任務，提供信息，幫助搜索聚焦，根據(jù)數(shù)據(jù)挖掘的中間結(jié)果進行探索式數(shù)據(jù)挖掘。10/25/202213數(shù)據(jù)挖掘系統(tǒng)結(jié)構數(shù)據(jù)倉庫數(shù)據(jù)清理

數(shù)據(jù)集成過濾數(shù)據(jù)庫數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器數(shù)據(jù)挖掘引擎模式評估圖形用戶界面知識庫10/25/2022143.1可以分別按挖掘任務、挖掘?qū)ο蠛屯诰蚍椒▉矸诸?。按挖掘任務分類：包括分類或預測知識模型發(fā)現(xiàn)，數(shù)據(jù)總結(jié)，數(shù)據(jù)聚類，關聯(lián)規(guī)則發(fā)現(xiàn)，時序模式發(fā)現(xiàn)，依賴關系或依賴模型發(fā)現(xiàn)，異常和趨勢發(fā)現(xiàn)等。按挖掘?qū)ο蠓诸悾喊P系數(shù)據(jù)庫，面向?qū)ο髷?shù)據(jù)庫，空間數(shù)據(jù)庫，時態(tài)數(shù)據(jù)庫，文本數(shù)據(jù)庫，多媒體數(shù)據(jù)庫，異構數(shù)據(jù)庫，數(shù)據(jù)倉庫，演繹數(shù)據(jù)庫和Web數(shù)據(jù)庫等。三、數(shù)據(jù)挖掘方法10/25/202215按挖掘方法分類：包括統(tǒng)計方法，機器學習方法，神經(jīng)網(wǎng)絡方法和數(shù)據(jù)庫方法，其中：統(tǒng)計方法可分為：回歸分析（多元回歸、自回歸等），判別分析（貝葉斯判別、費歇爾判別、非參數(shù)判別等），聚類分析（系統(tǒng)聚類、動態(tài)聚類等），探索性分析（主成分分析、相關分析等）等。

機器學習方法可分為：歸納學習方法（決策樹、規(guī)則歸納等），基于范例學習，遺傳算法等。神經(jīng)網(wǎng)絡方法可以分為：前向神經(jīng)網(wǎng)絡（BP算法等），自組織神經(jīng)網(wǎng)絡（自組織特征映射、競爭學習等）。數(shù)據(jù)庫方法分為：多為數(shù)據(jù)分析和OLAP技術，此外還有面向?qū)傩缘臍w納方法。10/25/202216數(shù)據(jù)挖掘技術分類數(shù)據(jù)挖掘驗證驅(qū)動挖掘發(fā)現(xiàn)驅(qū)動挖掘SQLSQL生成器查詢工具OLAP描述預測可視化聚類關聯(lián)規(guī)則順序關聯(lián)匯總描述分類統(tǒng)計回歸時間序列決策樹神經(jīng)網(wǎng)路10/25/2022173.2數(shù)據(jù)挖掘方法粗糙集

1982年波蘭數(shù)學家Z.Pawlak針對G.Frege的邊界線區(qū)域思想提出了粗糙集（RoughSet），他把那些無法確認的個體都歸屬于邊界線區(qū)域，而這種邊界線區(qū)域被定義為上近似集和下近似集之差集。粗糙集理論主要特點在于它恰好反映了人們用粗糙集方法處理不分明問題的常規(guī)性，即以不完全信息或知識去處理一些不分明現(xiàn)象的能力，或依據(jù)觀察、度量到的某些不精確的結(jié)果而進行分類數(shù)據(jù)的能力。10/25/202218模糊集

經(jīng)典集合理論對應二值邏輯，一個元素要么屬于、要么不屬于給定集合。因此經(jīng)典集合不能很好地描述具有模糊性和不確定性的問題。美國加利福尼亞大學的扎德教授于1965年提出了模糊集合論，用隸屬程度來描述差異的中間過渡，是一種用精確的數(shù)學語言對模糊性進行描述的方法。

10/25/202219

定義：論域X={x}上的模糊集合A由隸屬函數(shù)A(x)來表征。其中A(x)在實軸的閉區(qū)間[0，1]中取值，A(x)的大小反映x對于模糊集合A的隸屬程度。A(x)的值接近1，表示x隸屬于A的程度很高。A(x)的值接近0，表示x隸屬于A的程度很低。特例，當A的值域取[0，1]閉區(qū)間的兩個端點，亦即{0，1}兩個值時，A便退化為一個普通的邏輯子集。隸屬函數(shù)也就退化為普通邏輯值。10/25/202220聚類分析

聚類是對物理的或抽象的對象集合分組的過程。聚類生成的組為簇，簇是數(shù)據(jù)對象的集合。簇內(nèi)部任意兩個對象之間具有較高的相似度，而屬于不同簇的兩個對象間具有較高的相異度。相異度可以根據(jù)描述對象的屬性值計算，對象間的距離是最常采用的度量指標。在實際應用中，經(jīng)常將一個簇中的數(shù)據(jù)對象作為一個整體看待。用聚類生成的簇來表達數(shù)據(jù)集不可避免地會損失一些信息，但卻可以使問題得到必要的簡化。主要的數(shù)據(jù)挖掘聚類方法有：劃分的方法、層次的方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法10/25/202221關聯(lián)規(guī)則

關聯(lián)規(guī)則反映一個事物與其它事物之間的相互依存性和關聯(lián)性，如果兩個事物或者多個事物之間存在一定的關聯(lián)關系，那么其中一個事物就能夠通過其他事物預測到。

人們希望在海量的商業(yè)交易記錄中發(fā)現(xiàn)感興趣的數(shù)據(jù)關聯(lián)關系，用以幫助商家作出決策。例如：面包2%牛奶1.5%（占超市交易總數(shù)）

2%和1.5%表明這兩種商品在超市經(jīng)營中的重要程度，稱為支持度。商家關注高支持度的產(chǎn)品。

面包=〉牛奶60%

在購買面包的交易中，有60%的交易既買了面包又買了牛奶，成60%為規(guī)則“面包=〉牛奶”的信任度。信任度反映了商品間的關聯(lián)程度。10/25/202222

項目構成的集合稱為項集。項集在事物數(shù)據(jù)庫中出現(xiàn)的次數(shù)占總事物的百分比叫做項集的支持度。如果項集的支持度超過用戶給定的最小支持度閾值，就稱該項集是頻繁項集。

關聯(lián)規(guī)則就是支持度和信任度分別滿足用戶給定閾值的規(guī)則。發(fā)現(xiàn)關聯(lián)規(guī)則需要經(jīng)歷如下兩個步驟：

（1）找出所有的頻繁項。

（2）由頻繁項集生成滿足最小信任度閾值的規(guī)則。

10/25/2022235.人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡是指由簡單計算單元組成的廣泛并行互聯(lián)的網(wǎng)絡，能夠模擬生物神經(jīng)系統(tǒng)的結(jié)構和功能。組成神經(jīng)網(wǎng)絡的單個神經(jīng)元的結(jié)構簡單，功能有限，但是，由大量神經(jīng)元構成的網(wǎng)絡系統(tǒng)可以實現(xiàn)強大的功能。

由于現(xiàn)實世界的數(shù)據(jù)關系相當復雜，非線性問題和噪聲數(shù)據(jù)普遍存在。將人工神經(jīng)網(wǎng)絡應用于數(shù)據(jù)挖掘，希望借助其非線性處理能力和容噪能力，得到較好的數(shù)據(jù)挖掘結(jié)果。

將人工神經(jīng)網(wǎng)絡應用于數(shù)據(jù)挖掘的主要障礙是，通過人工神經(jīng)網(wǎng)絡學習到的知識難于理解；學習時間太長，不適于大型數(shù)據(jù)集。10/25/2022246，分類與預測

分類和預測是兩種重要的數(shù)據(jù)分析方法，在商業(yè)上的應用很多。分類和預測可以用于提取描述重要數(shù)據(jù)類型或預測未來的數(shù)據(jù)趨勢。

分類的目的是提出一個分類函數(shù)或分類模型（即分類器）通過分類器將數(shù)據(jù)對象映射到某一個給定的類別中。數(shù)據(jù)分類可以分為兩步進行。第一步建立模型，用于描述給定的數(shù)據(jù)集合。通過分析由屬性描述的數(shù)據(jù)集合來建立反映數(shù)據(jù)集合特性的模型。第二步是用模型對數(shù)據(jù)對象進行分類。

預測的目的是從歷史數(shù)據(jù)記錄中自動推導出對給定數(shù)據(jù)的推廣描述，從而能夠?qū)κ孪任粗臄?shù)據(jù)進行預測。10/25/202225分類的方法：決策樹：決策樹內(nèi)部節(jié)點進行屬性值測試，并根據(jù)屬性值判斷由該節(jié)點引出的分支，在決策樹的葉結(jié)點得到結(jié)論。內(nèi)部節(jié)點是屬性或?qū)傩缘募?，葉節(jié)點代表樣本所屬的類或類分布。貝葉斯分類：是一種統(tǒng)計學分類方法，可以預測類成員關系關系的可能性，如給定樣本屬于一個特征類的概率。貝葉斯方法已在文本分類、字母識別、經(jīng)濟預測等領域獲得了成功的應用。基于遺傳算法分類：模擬生物進化過程中的計算模型，是自然遺傳學與計算機科學互相結(jié)合、互相滲透而形成的新的計算方法。利用選擇、交叉、變異等操作對子代進行操作，優(yōu)點是問題求解與初始條件無關，搜索最優(yōu)解的能力極強，可以對各種數(shù)據(jù)挖掘技術進行優(yōu)化。10/25/202226預測預測是構造和使用模型評估無標號樣本類，或評估給定樣本可能具有的屬性值或區(qū)間值。預測的目的是從歷史數(shù)據(jù)中自動推導出對給定數(shù)據(jù)的推廣描述，從而能對未來數(shù)據(jù)進行預測。例如，金融系統(tǒng)可以根據(jù)顧客信譽卡消費量預測他未來的刷卡消費量或用于信譽證實。推銷人員希望在開拓新客戶時，找出顧客一些共同特征，預測出潛在顧客群。預測的方法主要是回歸統(tǒng)計，包括：線性回歸、非線性回歸、多元回歸、泊松回歸、對數(shù)回歸等。分類也可以用來預測。10/25/2022277，多媒體數(shù)據(jù)挖掘

多媒體數(shù)據(jù)庫系統(tǒng)由多媒體數(shù)據(jù)庫管理系統(tǒng)和多媒體數(shù)據(jù)庫構成。其中多媒體數(shù)據(jù)庫用于存儲和管理多媒體數(shù)據(jù)，多媒體數(shù)據(jù)庫管理系統(tǒng)負責對多媒體數(shù)據(jù)庫進行管理。多媒體數(shù)據(jù)庫包括結(jié)構化的數(shù)據(jù)、半結(jié)構化的數(shù)據(jù)和非結(jié)構化的數(shù)據(jù)，如音頻數(shù)據(jù)、視頻數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)等。

多媒體數(shù)據(jù)挖掘就是通過綜合分析多媒體數(shù)據(jù)的內(nèi)容和語義，從大量多媒體數(shù)據(jù)中發(fā)現(xiàn)隱含的、有效的、有價值的、可理解的模式，得出事件的發(fā)展趨向和關聯(lián)關系，為用戶提供問題求解層次上的決策支持能力。10/25/202228

多媒體數(shù)據(jù)是指由多種不同類型多媒體數(shù)據(jù)組成的，包括文本、圖形、圖像、聲音、視頻圖像、動畫等不同類型的媒體數(shù)據(jù)。為了挖掘多媒體數(shù)據(jù)，必須對兩種或多種類型的媒體數(shù)據(jù)進行綜合挖掘。多媒體挖掘的方法有兩種：

一種是先從多媒體數(shù)據(jù)數(shù)據(jù)庫中提取出結(jié)構化數(shù)據(jù)，然后用傳統(tǒng)的數(shù)據(jù)挖掘工具在這些結(jié)構化的數(shù)據(jù)上進行挖掘。另一種解決辦法是研究開發(fā)可以直接對多媒體數(shù)據(jù)進行挖掘的工具。

10/25/202229四、數(shù)據(jù)挖掘系統(tǒng)與應用數(shù)據(jù)挖掘系統(tǒng)的開發(fā)工作十分復雜，不僅要有大量的數(shù)據(jù)挖掘算法，而且其應用領域往往取決于最終用戶的知識結(jié)構等因素。下面介紹幾個數(shù)據(jù)挖掘系統(tǒng)：SKICAT是MIT噴氣推進實驗室與天文科學家合作開發(fā)的用于幫助天文學家發(fā)現(xiàn)遙遠的類星體的工具。Health-KEFIR是用于健康狀況預警的知識發(fā)現(xiàn)系統(tǒng)。TASA是為預測通信網(wǎng)絡故障而開發(fā)的通信網(wǎng)絡預警分析系統(tǒng)。會產(chǎn)生“如果在某一時間段內(nèi)發(fā)生某些預警信息組合，那么其他類型的預警信息將在某個時間范圍內(nèi)發(fā)生”的規(guī)則。時間段大小由用戶定義。R-MINI運用分類技術從噪聲中提取有價值的信息。由于是在微弱變化中獲取信息，該系統(tǒng)也可以應用于證券領域中的股市行情預測。10/25/202230KDW是大型商業(yè)數(shù)據(jù)庫中的交互分析系統(tǒng)。包括聚類、分類、總結(jié)、相關性分析等多種模式。DBMiner是加拿大SimonFraser大學開發(fā)的一個多任務KDD系統(tǒng)。能夠完成多種知識發(fā)現(xiàn)，綜合了多種數(shù)據(jù)挖掘技術。Clementine可以把直觀的圖形用戶界面與多種分析技術結(jié)合在一起，包括神經(jīng)網(wǎng)絡、關聯(lián)規(guī)則和規(guī)則歸納技術。Darwin包含神經(jīng)網(wǎng)絡、決策書和K-鄰近三種數(shù)據(jù)挖掘方法，處理分類、預測和預報問題。DMW是一個用在信用卡欺詐分析方面的數(shù)據(jù)挖掘工具，支持反向傳播神經(jīng)網(wǎng)絡算法，并能以自動和人工模式操作IntelligentMiner是IBM開發(fā)的包括人工智能、機器學習、語言分析和知識發(fā)現(xiàn)領域成果在內(nèi)的復雜軟件解決方案。10/25/202231五，數(shù)據(jù)預處理為什么需要數(shù)據(jù)預處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構建本章小結(jié)10/25/202232為什么需要數(shù)據(jù)預處理?在現(xiàn)實社會中，存在著大量的“臟”數(shù)據(jù)不完整性（數(shù)據(jù)結(jié)構的設計人員、數(shù)據(jù)采集設備和數(shù)據(jù)錄入人員）

缺少感興趣的屬性感興趣的屬性缺少部分屬性值僅僅包含聚合數(shù)據(jù)，沒有詳細數(shù)據(jù)噪音數(shù)據(jù)（采集數(shù)據(jù)的設備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸）數(shù)據(jù)中包含錯誤的信息存在著部分偏離期望值的孤立點不一致性（數(shù)據(jù)結(jié)構的設計人員、數(shù)據(jù)錄入人員）數(shù)據(jù)結(jié)構的不一致性Label的不一致性數(shù)據(jù)值的不一致性10/25/202233為什么需要數(shù)據(jù)預處理?數(shù)據(jù)挖掘的數(shù)據(jù)源可能是多個互相獨立的數(shù)據(jù)源關系數(shù)據(jù)庫多維數(shù)據(jù)庫（DataCube）文件、文檔數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)換為了數(shù)據(jù)挖掘的方便海量數(shù)據(jù)的處理數(shù)據(jù)歸約（在獲得相同或者相似結(jié)果的前提下）10/25/202234為什么需要數(shù)據(jù)預處理？沒有高質(zhì)量的數(shù)據(jù)，就沒有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須基于高質(zhì)量的數(shù)據(jù)基礎上數(shù)據(jù)倉庫是在高質(zhì)量數(shù)據(jù)上的集成10/25/202235數(shù)據(jù)預處理的主要任務數(shù)據(jù)清理填入缺失數(shù)據(jù)平滑噪音數(shù)據(jù)確認和去除孤立點解決不一致性數(shù)據(jù)集成多個數(shù)據(jù)庫、DataCube和文件系統(tǒng)的集成數(shù)據(jù)轉(zhuǎn)換規(guī)范化、聚集等數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對數(shù)據(jù)的容量進行有效的縮減數(shù)據(jù)離散化對于一個特定的連續(xù)屬性，尤其是連續(xù)的數(shù)字屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實際數(shù)據(jù)值，以減少屬性值的個數(shù).10/25/202236數(shù)據(jù)預處理的形式數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)歸約10/25/202237主要內(nèi)容為什么需要數(shù)據(jù)預處理?數(shù)據(jù)清洗

數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構建本章小結(jié)10/25/202238數(shù)據(jù)清洗主要任務補充缺失數(shù)據(jù)識別孤立點，平滑噪音數(shù)據(jù)處理不一致的數(shù)據(jù)10/25/202239缺失數(shù)據(jù)的處理部分數(shù)據(jù)通常是不可用的在許多元組中部分屬性值為空。如：在客戶表中的客戶收入為空。導致數(shù)據(jù)缺失的原因數(shù)據(jù)采集設備的故障由于與其它信息的數(shù)據(jù)存在不一致性，因此數(shù)據(jù)項被刪除由于不理解或者不知道而未能輸入在當時數(shù)據(jù)輸入的時候，該數(shù)據(jù)項不重要而忽略數(shù)據(jù)傳輸過程中引入的錯誤缺失數(shù)據(jù)通常需要經(jīng)過合理的推斷予以添加10/25/202240缺失數(shù)據(jù)的處理方法忽略該記錄（元組）通常在進行分類、描述、聚類等挖掘，但是元組缺失類標識時該種方法通常不是最佳的，尤其是缺失數(shù)據(jù)比例比較大的時候手工填入空缺的值枯燥、費時，可操作性差，不推薦使用使用一個全局的常量填充空缺數(shù)值給定一個固定的屬性值如：未知、不祥、Unknown、Null等簡單，但是沒有意義10/25/202241使用屬性的平均值填充空缺數(shù)值簡單方便、挖掘結(jié)果容易產(chǎn)生不精確的結(jié)果使用與給定元組同一個類別的所有樣本的平均值分類非常重要，尤其是分類指標的選擇使用最有可能的值予以填充利用回歸、基于推導的使用貝葉斯形式化的方法的工具或者判定樹歸納確定利用屬性之間的關系進行推斷，保持了屬性之間的聯(lián)系缺失數(shù)據(jù)的處理方法（續(xù)）10/25/202242噪音數(shù)據(jù)噪音數(shù)據(jù):一個度量（指標）變量中的隨機錯誤或者偏差主要原因數(shù)據(jù)采集設備的錯誤數(shù)據(jù)錄入問題數(shù)據(jù)傳輸問題部分技術的限制數(shù)據(jù)轉(zhuǎn)換中的不一致數(shù)據(jù)清理中所需要處理的其它問題重復的記錄不完整的數(shù)據(jù)不一致的數(shù)據(jù)10/25/202243噪音數(shù)據(jù)的處理分箱（Binning）的方法聚類方法檢測并消除異常點線性回歸對不符合回歸的數(shù)據(jù)進行平滑處理人機結(jié)合共同檢測由計算機檢測可疑的點，然后由用戶確認10/25/202244處理噪音數(shù)據(jù)：分箱方法分箱（Binning）方法:基本思想：通過考察相鄰數(shù)據(jù)的值，來平滑存儲數(shù)據(jù)的值基本步驟：首先，對數(shù)據(jù)進行排序，并分配到具有相同寬度/深度的不同的“箱子”中其次，通過箱子的平均值（Means）、中值（Median）、或者邊界值等來進行平滑處理10/25/202245分箱（Binning）方法舉例對數(shù)據(jù)進行排序:4,8,9,15,21,21,24,25,26,28,29,34對數(shù)據(jù)進行分割(相同深度):-Bin1:4,8,9,15-Bin2:21,21,24,25-Bin3:26,28,29,34根據(jù)bin中的平均值進行離散化:-Bin1:9,9,9,9-Bin2:23,23,23,23-Bin3:29,29,29,2910/25/202246基于聚類分析的平滑處理10/25/202247通過線性回歸的平滑處理xyy=x+1X1Y1Y1’10/25/202248主要內(nèi)容為什么需要數(shù)據(jù)預處理數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構建本章小結(jié)10/25/202249數(shù)據(jù)集成數(shù)據(jù)集成的概念將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個一致的數(shù)據(jù)存儲中數(shù)據(jù)源包括：多個數(shù)據(jù)庫、多維數(shù)據(jù)庫和一般的文件數(shù)據(jù)集成也是數(shù)據(jù)倉庫建設中的一個重要問題數(shù)據(jù)集成的內(nèi)容模式集成利用數(shù)據(jù)庫和數(shù)據(jù)倉庫的元數(shù)據(jù)信息主要工作是識別現(xiàn)實世界中的實體定義冗余數(shù)據(jù)的處理檢測和解決數(shù)值沖突對于現(xiàn)實世界中的同一實體，來自于不同數(shù)據(jù)源的屬性值可能不同主要原因：不同的數(shù)據(jù)表示、度量單位、編碼方式以及語義的不同10/25/202250模式集成數(shù)據(jù)類型沖突性別：string(Male、Female)、Char（M、F）、Interger（0、1）日期：Date、DateTime、String數(shù)據(jù)標簽沖突：解決同名異義、異名同義學生成績、分數(shù)度量單位沖突學生成績百分制：100~0五分制：A、B、C、D、E字符表示：優(yōu)、良、及格、不及格概念不清最近交易額：前一個小時、昨天、本周、本月？聚集沖突：根源在于表結(jié)構的設計

10/25/202251冗余數(shù)據(jù)的處理從多個數(shù)據(jù)源中抽取不同的數(shù)據(jù)，容易導致數(shù)據(jù)的冗余不同的屬性在不同的數(shù)據(jù)源中是不同的命名方式有些屬性可以從其它屬性中導出，例如：銷售額＝單價×銷售量有些冗余可以通過相關分析檢測到其中：n是元組的個數(shù)，和分別是A和B的平均值，和分別是A和B的標準差元組級的“重復”，也是數(shù)據(jù)冗余的一個重要方面減少冗余數(shù)據(jù)，可以大大提高數(shù)據(jù)挖掘的性能10/25/202252數(shù)據(jù)轉(zhuǎn)換平滑處理:從數(shù)據(jù)中消除噪音數(shù)據(jù)聚集操作:對數(shù)據(jù)進行綜合，類似于DataCube的構建數(shù)據(jù)概化：構建概念層次數(shù)據(jù)規(guī)范化:將數(shù)據(jù)集中到一個較小的范圍之中最大-最小規(guī)范化z-score（零－均值）規(guī)范化小數(shù)范圍規(guī)范化（0–1規(guī)范化）屬性構造構造新的屬性并添加到屬性集中，以幫助數(shù)據(jù)挖掘10/25/202253數(shù)據(jù)轉(zhuǎn)換：規(guī)范化最大-最小規(guī)范化對原始數(shù)據(jù)進行線性變換保持了原始數(shù)據(jù)值之間的關系當有新的輸入，落在原數(shù)據(jù)區(qū)之外，該方法將面臨“越界”錯誤受到孤立點的影響可能會比較大10/25/202254數(shù)據(jù)轉(zhuǎn)換：規(guī)范化（續(xù)）z-score（零－均值）規(guī)范化屬性基于平均值和標準差規(guī)范化當屬性的最大值和最小值未知，或者孤立點左右了最大－最小規(guī)范化時，該方法有效0-1規(guī)范化（小數(shù)定標規(guī)范化）通過移動屬性的小數(shù)點位置進行規(guī)范化例如A的值為125，那么|A|=125，則j=3，有v=0.125。WherejisthesmallestintegersuchthatMax(||)<110/25/202255屬性構造由給定的屬性構造并增添新的屬性，以幫助提高精度和對高維數(shù)據(jù)結(jié)構的理解屬性結(jié)構還可以幫助平緩使用判定算法分類的分裂問題例如：Area=Width×Height銷售額＝單價×銷售量10/25/202256主要內(nèi)容為什么需要數(shù)據(jù)預處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構建本章小結(jié)10/25/202257數(shù)據(jù)歸約的提出在數(shù)據(jù)倉庫中可能保存TB級的數(shù)據(jù)，大數(shù)據(jù)量的數(shù)據(jù)挖掘，可能需要大量的時間來完成整個數(shù)據(jù)的數(shù)據(jù)挖掘。數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對數(shù)據(jù)的容量進行有效的縮減數(shù)據(jù)歸約的方法數(shù)據(jù)立方體聚集：聚集操作作用于立方體中的數(shù)據(jù)減少數(shù)據(jù)維度（維歸約）：可以檢測并刪除不相關、弱相關或者冗余的屬性或維數(shù)據(jù)壓縮：使用編碼機制壓縮數(shù)據(jù)集數(shù)值壓縮：用替代的、較小的數(shù)據(jù)表示替換或估計數(shù)據(jù)10/25/202258DataCube的聚集“基點方體”“頂點方體”DataCube中的多個層次的聚集進一步縮減所要處理的數(shù)據(jù)量當響應OLAP查詢或者數(shù)據(jù)挖掘時，應當使用與給定任務相關的“最小方體”10/25/202259維歸約(特征提取)維歸約：通過刪除不相關的屬性（或維）減少數(shù)據(jù)量特征選取(屬性子集的選取):選取最小的特征屬性集合，得到的數(shù)據(jù)挖掘結(jié)果與所有特征參加的數(shù)據(jù)挖掘結(jié)果相近或完全一致特征提取，對于d個屬性來說，具有2d

個可能的子集10/25/202260維歸約的主要方法利用啟發(fā)式的方法來減少數(shù)據(jù)維度(隨著維度的增長數(shù)據(jù)量將呈指數(shù)級別增長):逐步向前選擇：維數(shù)逐步增多的方法（每次增添“最好”的屬性）逐步向后選擇：維數(shù)逐步減少的方法（每次刪除“最差”的屬性）兩者組合的方法判定樹歸納方法（ID3,C4.5）10/25/202261基于判定樹歸納的方法Initialattributeset:{A1,A2,A3,A4,A5,A6}A4?A1?A6?Class1Class2Class1Class2>Reducedattributeset:{A1,A4,A6}YYYNNN10/25/202262數(shù)據(jù)壓縮數(shù)據(jù)壓縮：應用數(shù)據(jù)編碼或變換，以便得到數(shù)據(jù)的歸約或壓縮表示無損壓縮：原數(shù)據(jù)可以由壓縮數(shù)據(jù)重新構造而不丟失任何信息字符串壓縮是典型的無損壓縮現(xiàn)在已經(jīng)有許多很好的方法但是它們只允許有限的數(shù)據(jù)操作有損壓縮：只能重新構造原數(shù)據(jù)的近似表示影像文件的壓縮是典型的有損壓縮典型的方法：小波變換、主要成分分析10/25/202263數(shù)值歸約數(shù)值歸約：通過選擇替代的、“較小”的數(shù)據(jù)表示形式來減少數(shù)據(jù)量有參的方法假設數(shù)據(jù)符合某些模型，通過評估模型參數(shù)，僅需要存儲參數(shù)，不需要存儲實際數(shù)據(jù)（孤立點也可能被存放）典型方法：對數(shù)線性模型，它估計離散的多維概率分布無參的方法不存在假想的模型典型方法:直方圖、聚類和抽樣10/25/202264直方圖類似于分箱技術，是一種流行的數(shù)據(jù)歸約方式將屬性值劃分為不相交的子集，或“桶”桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。每個桶只表示單個屬性值，則稱其為“單桶”。通常，“桶”表示給定屬性的一個連續(xù)空間可以通過編程，動態(tài)修改部分參數(shù)，進行合理構造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount10/25/202265主要內(nèi)容為什么需要數(shù)據(jù)預處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構建本章小結(jié)10/25/202266數(shù)據(jù)離散化和概念層次屬性值分類枚舉型有序的無序的連續(xù)型：如Real類型數(shù)據(jù)離散化對于一個特定的連續(xù)屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實際數(shù)據(jù)值，以減少屬性值的個數(shù)。概念層次利用高層的概念（如兒童、青年、中年、老年等）來代替低層的實際數(shù)據(jù)值（實際年齡），以減少屬性值的個數(shù)。10/25/202267數(shù)值數(shù)據(jù)的離散化和概念分層建立的方法分箱（Binning）直方圖分析聚類分析的方法根據(jù)自然分類進行分割10/25/202268分箱方法：一種簡單的離散化技術相同寬度

（距離）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個等份數(shù)據(jù)之間具有相同的距離如果

A和B分別為屬性值中的最大值和最小值，那么各個數(shù)據(jù)等份之間的距離為：W=(B-A)/N.異常點將會扮演很重要的角色傾斜的數(shù)據(jù)不能很好的解決相同深度

（頻率）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個等份具有相同的數(shù)據(jù)個數(shù)。具有較好的可伸縮性適合于數(shù)據(jù)分類的情況10/25/202269離散化：直方圖方法將數(shù)據(jù)分割到若干個桶之中，用桶中的平均值（或求和等）來表示各個桶。可以通過編程，動態(tài)修改部分參數(shù)，進行合理構造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount10/25/202270離散化：聚類分析方法將數(shù)據(jù)按照“類內(nèi)最大相似度，類間最小相似度的原則”對數(shù)據(jù)進行有效聚類利用聚類的中心點來表示該類所包含的對象數(shù)據(jù)聚類將非常有效，但是必須保證數(shù)據(jù)中沒有噪音數(shù)據(jù)10/25/202271按照自然分類進行數(shù)據(jù)分割利用3-4-5法則對數(shù)字型數(shù)據(jù)分類，將數(shù)據(jù)分成若干個“自然”的區(qū)間：如果在所有數(shù)字的最高位覆蓋

3,6,7或9個不同的值，則將數(shù)據(jù)分成3段。3（1，1，1）6（2，2，2）7（2，3，2）9（3，3，3）如果在所有數(shù)字的最高位覆蓋

2,4,8個不同的值，則將數(shù)據(jù)分成4段。如果在所有數(shù)字的最高位覆蓋

1,5,10個不同的值，則將數(shù)據(jù)分成5段。10/25/2022723-4-5法則舉例例1：包含數(shù)據(jù)：101、110、203、222、305、315方法：最高位包含3個值（1、2、3）分成[100，200），[200，300），[300，400）三段例2：包含數(shù)據(jù)：101、110、103、422、405、415，400方法：最高位包含2個值（1、4）分成[100，150），[150，200），[400，450），[450，500）四段例3：包含數(shù)據(jù)：101、210、203、322、305、415，500方法：最高位包含5個值（1、2、3、4、5）分成[100，200），[200，300），[300，400），[400，500），[500，600）五段10/25/202273分類數(shù)據(jù)的概念分層概念分層是由用戶或?qū)＜覍哂衅蜿P系的屬性的一種層次關系的顯式表示。也是一種數(shù)據(jù)分類的顯式表示。概念層次的獲得隱式存儲于數(shù)據(jù)庫中。如：地址。由專家顯式給出。借助數(shù)據(jù)分析自動生成。概念層次的表示基于實例。如：{freshman,...,senior}undergraduate.；基于數(shù)據(jù)庫表模式。如：address(city,province,country)。基于規(guī)則。如：good(x)undergraduate(x)∧gpa(x)3.5。10/25/202274概念層次樹舉例概念層次樹將大大減少挖掘數(shù)據(jù)的數(shù)據(jù)量。countryprovince_or_statecitystreet15distinctvalues65distinctvalues3567distinctvalues674,