數(shù)據(jù)挖掘的清洗

數(shù)據(jù)預(yù)處理為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)12/6/20231為什么需要數(shù)據(jù)預(yù)處理?在現(xiàn)實社會中，存在著大量的“臟”數(shù)據(jù)不完整性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員）

缺少感興趣的屬性感興趣的屬性缺少部分屬性值僅僅包含聚合數(shù)據(jù)，沒有詳細數(shù)據(jù)噪音數(shù)據(jù)（采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸）數(shù)據(jù)中包含錯誤的信息存在著部分偏離期望值的孤立點不一致性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計人員、數(shù)據(jù)錄入人員）數(shù)據(jù)結(jié)構(gòu)的不一致性Label的不一致性數(shù)據(jù)值的不一致性12/6/20232為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)挖掘的數(shù)據(jù)源可能是多個互相獨立的數(shù)據(jù)源關(guān)系數(shù)據(jù)庫多維數(shù)據(jù)庫（DataCube）文件、文檔數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)換為了數(shù)據(jù)挖掘的方便海量數(shù)據(jù)的處理數(shù)據(jù)歸約（在獲得相同或者相似結(jié)果的前提下）12/6/20233為什么需要數(shù)據(jù)預(yù)處理？沒有高質(zhì)量的數(shù)據(jù)，就沒有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須基于高質(zhì)量的數(shù)據(jù)基礎(chǔ)上數(shù)據(jù)倉庫是在高質(zhì)量數(shù)據(jù)上的集成12/6/20234數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理填入缺失數(shù)據(jù)平滑噪音數(shù)據(jù)確認和去除孤立點解決不一致性數(shù)據(jù)集成多個數(shù)據(jù)庫、DataCube和文件系統(tǒng)的集成數(shù)據(jù)轉(zhuǎn)換規(guī)范化、聚集等數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對數(shù)據(jù)的容量進行有效的縮減數(shù)據(jù)離散化對于一個特定的連續(xù)屬性，尤其是連續(xù)的數(shù)字屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實際數(shù)據(jù)值，以減少屬性值的個數(shù).12/6/20235數(shù)據(jù)預(yù)處理的形式數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)歸約12/6/20236主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗

數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)12/6/20237數(shù)據(jù)清洗主要任務(wù)補充缺失數(shù)據(jù)識別孤立點，平滑噪音數(shù)據(jù)處理不一致的數(shù)據(jù)12/6/20238缺失數(shù)據(jù)的處理部分?jǐn)?shù)據(jù)通常是不可用的在許多元組中部分屬性值為空。如：在客戶表中的客戶收入為空。導(dǎo)致數(shù)據(jù)缺失的原因數(shù)據(jù)采集設(shè)備的故障由于與其它信息的數(shù)據(jù)存在不一致性，因此數(shù)據(jù)項被刪除由于不理解或者不知道而未能輸入在當(dāng)時數(shù)據(jù)輸入的時候，該數(shù)據(jù)項不重要而忽略數(shù)據(jù)傳輸過程中引入的錯誤缺失數(shù)據(jù)通常需要經(jīng)過合理的推斷予以添加12/6/20239缺失數(shù)據(jù)的處理方法忽略該記錄（元組）通常在進行分類、描述、聚類等挖掘，但是元組缺失類標(biāo)識時該種方法通常不是最佳的，尤其是缺失數(shù)據(jù)比例比較大的時候手工填入空缺的值枯燥、費時，可操作性差，不推薦使用使用一個全局的常量填充空缺數(shù)值給定一個固定的屬性值如：未知、不祥、Unknown、Null等簡單，但是沒有意義12/6/202310使用屬性的平均值填充空缺數(shù)值簡單方便、挖掘結(jié)果容易產(chǎn)生不精確的結(jié)果使用與給定元組同一個類別的所有樣本的平均值分類非常重要，尤其是分類指標(biāo)的選擇使用最有可能的值予以填充利用回歸、基于推導(dǎo)的使用貝葉斯形式化的方法的工具或者判定樹歸納確定利用屬性之間的關(guān)系進行推斷，保持了屬性之間的聯(lián)系缺失數(shù)據(jù)的處理方法（續(xù)）12/6/202311噪音數(shù)據(jù)噪音數(shù)據(jù):一個度量（指標(biāo)）變量中的隨機錯誤或者偏差主要原因數(shù)據(jù)采集設(shè)備的錯誤數(shù)據(jù)錄入問題數(shù)據(jù)傳輸問題部分技術(shù)的限制數(shù)據(jù)轉(zhuǎn)換中的不一致數(shù)據(jù)清理中所需要處理的其它問題重復(fù)的記錄不完整的數(shù)據(jù)不一致的數(shù)據(jù)12/6/202312噪音數(shù)據(jù)的處理分箱（Binning）的方法聚類方法檢測并消除異常點線性回歸對不符合回歸的數(shù)據(jù)進行平滑處理人機結(jié)合共同檢測由計算機檢測可疑的點，然后由用戶確認12/6/202313處理噪音數(shù)據(jù)：分箱方法分箱（Binning）方法:基本思想：通過考察相鄰數(shù)據(jù)的值，來平滑存儲數(shù)據(jù)的值基本步驟：首先，對數(shù)據(jù)進行排序，并分配到具有相同寬度/深度的不同的“箱子”中其次，通過箱子的平均值（Means）、中值（Median）、或者邊界值等來進行平滑處理12/6/202314分箱（Binning）方法舉例對數(shù)據(jù)進行排序:4,8,9,15,21,21,24,25,26,28,29,34對數(shù)據(jù)進行分割(相同深度):-Bin1:4,8,9,15-Bin2:21,21,24,25-Bin3:26,28,29,34根據(jù)bin中的平均值進行離散化:-Bin1:9,9,9,9-Bin2:23,23,23,23-Bin3:29,29,29,2912/6/202315基于聚類分析的平滑處理12/6/202316通過線性回歸的平滑處理xyy=x+1X1Y1Y1’12/6/202317主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)12/6/202318數(shù)據(jù)集成數(shù)據(jù)集成的概念將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個一致的數(shù)據(jù)存儲中數(shù)據(jù)源包括：多個數(shù)據(jù)庫、多維數(shù)據(jù)庫和一般的文件數(shù)據(jù)集成也是數(shù)據(jù)倉庫建設(shè)中的一個重要問題數(shù)據(jù)集成的內(nèi)容模式集成利用數(shù)據(jù)庫和數(shù)據(jù)倉庫的元數(shù)據(jù)信息主要工作是識別現(xiàn)實世界中的實體定義冗余數(shù)據(jù)的處理檢測和解決數(shù)值沖突對于現(xiàn)實世界中的同一實體，來自于不同數(shù)據(jù)源的屬性值可能不同主要原因：不同的數(shù)據(jù)表示、度量單位、編碼方式以及語義的不同12/6/202319數(shù)據(jù)集成數(shù)據(jù)集成的概念將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個一致的數(shù)據(jù)存儲中數(shù)據(jù)源包括：多個數(shù)據(jù)庫、多維數(shù)據(jù)庫和一般的文件數(shù)據(jù)集成也是數(shù)據(jù)倉庫建設(shè)中的一個重要問題數(shù)據(jù)集成的內(nèi)容模式集成利用數(shù)據(jù)庫和數(shù)據(jù)倉庫的元數(shù)據(jù)信息主要工作是識別現(xiàn)實世界中的實體定義冗余數(shù)據(jù)的處理檢測和解決數(shù)值沖突對于現(xiàn)實世界中的同一實體，來自于不同數(shù)據(jù)源的屬性值可能不同主要原因：不同的數(shù)據(jù)表示、度量單位、編碼方式以及語義的不同12/6/202320模式集成數(shù)據(jù)類型沖突性別：string(Male、Female)、Char（M、F）、Interger（0、1）日期：Date、DateTime、String數(shù)據(jù)標(biāo)簽沖突：解決同名異義、異名同義學(xué)生成績、分?jǐn)?shù)度量單位沖突學(xué)生成績百分制：100~0五分制：A、B、C、D、E字符表示：優(yōu)、良、及格、不及格概念不清最近交易額：前一個小時、昨天、本周、本月？聚集沖突：根源在于表結(jié)構(gòu)的設(shè)計

12/6/202321冗余數(shù)據(jù)的處理從多個數(shù)據(jù)源中抽取不同的數(shù)據(jù)，容易導(dǎo)致數(shù)據(jù)的冗余不同的屬性在不同的數(shù)據(jù)源中是不同的命名方式有些屬性可以從其它屬性中導(dǎo)出，例如：銷售額＝單價×銷售量有些冗余可以通過相關(guān)分析檢測到其中：n是元組的個數(shù)，和分別是A和B的平均值，和分別是A和B的標(biāo)準(zhǔn)差元組級的“重復(fù)”，也是數(shù)據(jù)冗余的一個重要方面減少冗余數(shù)據(jù)，可以大大提高數(shù)據(jù)挖掘的性能12/6/202322數(shù)據(jù)轉(zhuǎn)換平滑處理:從數(shù)據(jù)中消除噪音數(shù)據(jù)聚集操作:對數(shù)據(jù)進行綜合，類似于DataCube的構(gòu)建數(shù)據(jù)概化：構(gòu)建概念層次數(shù)據(jù)規(guī)范化:將數(shù)據(jù)集中到一個較小的范圍之中最大-最小規(guī)范化z-score（零－均值）規(guī)范化小數(shù)范圍規(guī)范化（0–1規(guī)范化）屬性構(gòu)造構(gòu)造新的屬性并添加到屬性集中，以幫助數(shù)據(jù)挖掘12/6/202323數(shù)據(jù)轉(zhuǎn)換：規(guī)范化最大-最小規(guī)范化對原始數(shù)據(jù)進行線性變換保持了原始數(shù)據(jù)值之間的關(guān)系當(dāng)有新的輸入，落在原數(shù)據(jù)區(qū)之外，該方法將面臨“越界”錯誤受到孤立點的影響可能會比較大12/6/202324數(shù)據(jù)轉(zhuǎn)換：規(guī)范化（續(xù)）z-score（零－均值）規(guī)范化屬性基于平均值和標(biāo)準(zhǔn)差規(guī)范化當(dāng)屬性的最大值和最小值未知，或者孤立點左右了最大－最小規(guī)范化時，該方法有效0-1規(guī)范化（小數(shù)定標(biāo)規(guī)范化）通過移動屬性的小數(shù)點位置進行規(guī)范化例如A的值為125，那么|A|=125，則j=3，有v=0.125。WherejisthesmallestintegersuchthatMax(||)<112/6/202325屬性構(gòu)造由給定的屬性構(gòu)造并增添新的屬性，以幫助提高精度和對高維數(shù)據(jù)結(jié)構(gòu)的理解屬性結(jié)構(gòu)還可以幫助平緩使用判定算法分類的分裂問題例如：Area=Width×Height銷售額＝單價×銷售量12/6/202326主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)12/6/202327主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)12/6/202328數(shù)據(jù)歸約的提出在數(shù)據(jù)倉庫中可能保存TB級的數(shù)據(jù)，大數(shù)據(jù)量的數(shù)據(jù)挖掘，可能需要大量的時間來完成整個數(shù)據(jù)的數(shù)據(jù)挖掘。數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對數(shù)據(jù)的容量進行有效的縮減數(shù)據(jù)歸約的方法數(shù)據(jù)立方體聚集：聚集操作作用于立方體中的數(shù)據(jù)減少數(shù)據(jù)維度（維歸約）：可以檢測并刪除不相關(guān)、弱相關(guān)或者冗余的屬性或維數(shù)據(jù)壓縮：使用編碼機制壓縮數(shù)據(jù)集數(shù)值壓縮：用替代的、較小的數(shù)據(jù)表示替換或估計數(shù)據(jù)12/6/202329DataCube的聚集“基點方體”“頂點方體”DataCube中的多個層次的聚集進一步縮減所要處理的數(shù)據(jù)量當(dāng)響應(yīng)OLAP查詢或者數(shù)據(jù)挖掘時，應(yīng)當(dāng)使用與給定任務(wù)相關(guān)的“最小方體”12/6/202330維歸約(特征提取)維歸約：通過刪除不相關(guān)的屬性（或維）減少數(shù)據(jù)量特征選取(屬性子集的選取):選取最小的特征屬性集合，得到的數(shù)據(jù)挖掘結(jié)果與所有特征參加的數(shù)據(jù)挖掘結(jié)果相近或完全一致特征提取，對于d個屬性來說，具有2d

個可能的子集12/6/202331維歸約的主要方法利用啟發(fā)式的方法來減少數(shù)據(jù)維度(隨著維度的增長數(shù)據(jù)量將呈指數(shù)級別增長):逐步向前選擇：維數(shù)逐步增多的方法（每次增添“最好”的屬性）逐步向后選擇：維數(shù)逐步減少的方法（每次刪除“最差”的屬性）兩者組合的方法判定樹歸納方法（ID3,C4.5）12/6/202332基于判定樹歸納的方法Initialattributeset:{A1,A2,A3,A4,A5,A6}A4?A1?A6?Class1Class2Class1Class2>Reducedattributeset:{A1,A4,A6}YYYNNN12/6/202333數(shù)據(jù)壓縮數(shù)據(jù)壓縮：應(yīng)用數(shù)據(jù)編碼或變換，以便得到數(shù)據(jù)的歸約或壓縮表示無損壓縮：原數(shù)據(jù)可以由壓縮數(shù)據(jù)重新構(gòu)造而不丟失任何信息字符串壓縮是典型的無損壓縮現(xiàn)在已經(jīng)有許多很好的方法但是它們只允許有限的數(shù)據(jù)操作有損壓縮：只能重新構(gòu)造原數(shù)據(jù)的近似表示影像文件的壓縮是典型的有損壓縮典型的方法：小波變換、主要成分分析12/6/202334數(shù)值歸約數(shù)值歸約：通過選擇替代的、“較小”的數(shù)據(jù)表示形式來減少數(shù)據(jù)量有參的方法假設(shè)數(shù)據(jù)符合某些模型，通過評估模型參數(shù)，僅需要存儲參數(shù)，不需要存儲實際數(shù)據(jù)（孤立點也可能被存放）典型方法：對數(shù)線性模型，它估計離散的多維概率分布無參的方法不存在假想的模型典型方法:直方圖、聚類和抽樣12/6/202335直方圖類似于分箱技術(shù)，是一種流行的數(shù)據(jù)歸約方式將屬性值劃分為不相交的子集，或“桶”桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。每個桶只表示單個屬性值，則稱其為“單桶”。通常，“桶”表示給定屬性的一個連續(xù)空間可以通過編程，動態(tài)修改部分參數(shù)，進行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount12/6/202336主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)12/6/202337數(shù)據(jù)離散化和概念層次屬性值分類枚舉型有序的無序的連續(xù)型：如Real類型數(shù)據(jù)離散化對于一個特定的連續(xù)屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實際數(shù)據(jù)值，以減少屬性值的個數(shù)。概念層次利用高層的概念（如兒童、青年、中年、老年等）來代替低層的實際數(shù)據(jù)值（實際年齡），以減少屬性值的個數(shù)。12/6/202338數(shù)值數(shù)據(jù)的離散化和概念分層建立的方法分箱（Binning）直方圖分析聚類分析的方法根據(jù)自然分類進行分割12/6/202339分箱方法：一種簡單的離散化技術(shù)相同寬度（距離）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個等份數(shù)據(jù)之間具有相同的距離如果A和B分別為屬性值中的最大值和最小值，那么各個數(shù)據(jù)等份之間的距離為：W=(B-A)/N.異常點將會扮演很重要的角色傾斜的數(shù)據(jù)不能很好的解決相同深度（頻率）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個等份具有相同的數(shù)據(jù)個數(shù)。具有較好的可伸縮性適合于數(shù)據(jù)分類的情況12/6/202340離散化：直方圖方法將數(shù)據(jù)分割到若干個桶之中，用桶中的平均值（或求和等）來表示各個桶。可以通過編程，動態(tài)修改部分參數(shù)，進行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount12/6/202341離散化：聚類分析方法將數(shù)據(jù)按照“類內(nèi)最大相似度，類間最小相似度的原則”對數(shù)據(jù)進行有效聚類利用聚類的中心點來表示該類所包含的對象數(shù)據(jù)聚類將非常有效，但是必須保證數(shù)據(jù)中沒有噪音數(shù)據(jù)12/6/202342按照自然分類進行數(shù)據(jù)分割利用3-4-5法則對數(shù)字型數(shù)據(jù)分類，將數(shù)據(jù)分成若干個“自然”的區(qū)間：如果在所有數(shù)字的最高位覆蓋3,6,7或9個不同的值，則將數(shù)據(jù)分成3段。3（1，1，1）6（2，2，2）7（2，3，2）9（3，3，3）如果在所有數(shù)字的最高位覆蓋2,4,8個不同的值，則將數(shù)據(jù)分成4段。如果在所有數(shù)字的最高位覆蓋1,5,10個不同的值，則將數(shù)據(jù)分成5段。12/6/2023433-4-5法則舉例例1：包含數(shù)據(jù)：101、110、203、222、305、315方法：最高位包含3個值（1、2、3）分成[100，200），[200，300），[300，400）三段例2：包含數(shù)據(jù)：101、