數(shù)據(jù)挖掘的清洗

1、1數(shù)據(jù)預(yù)處理 為什么需要數(shù)據(jù)預(yù)處理? 數(shù)據(jù)清洗 數(shù)據(jù)集成與轉(zhuǎn)換 數(shù)據(jù)歸約 數(shù)據(jù)離散化與概念層次的構(gòu)建 本章小結(jié)2為什么需要數(shù)據(jù)預(yù)處理 ?在現(xiàn)實(shí)社會(huì)中，存在著大量的“臟”數(shù)據(jù) 不完整性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員） 缺少感興趣的屬性 感興趣的屬性缺少部分屬性值 僅僅包含聚合數(shù)據(jù)，沒(méi)有詳細(xì)數(shù)據(jù) 噪音數(shù)據(jù)（采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸） 數(shù)據(jù)中包含錯(cuò)誤的信息 存在著部分偏離期望值的孤立點(diǎn) 不一致性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)錄入人員） 數(shù)據(jù)結(jié)構(gòu)的不一致性 Label的不一致性 數(shù)據(jù)值的不一致性3為什么需要數(shù)據(jù)預(yù)處理 ? 數(shù)據(jù)挖掘的數(shù)據(jù)源可能是多個(gè)互相獨(dú)立的數(shù)據(jù)源 關(guān)系數(shù)據(jù)

2、庫(kù) 多維數(shù)據(jù)庫(kù)（Data Cube） 文件、文檔數(shù)據(jù)庫(kù) 數(shù)據(jù)轉(zhuǎn)換 為了數(shù)據(jù)挖掘的方便 海量數(shù)據(jù)的處理 數(shù)據(jù)歸約（在獲得相同或者相似結(jié)果的前提下）4為什么需要數(shù)據(jù)預(yù)處理？ 沒(méi)有高質(zhì)量的數(shù)據(jù)，就沒(méi)有高質(zhì)量的挖掘結(jié)果 高質(zhì)量的決策必須基于高質(zhì)量的數(shù)據(jù)基礎(chǔ)上 數(shù)據(jù)倉(cāng)庫(kù)是在高質(zhì)量數(shù)據(jù)上的集成5數(shù)據(jù)預(yù)處理的主要任務(wù) 數(shù)據(jù)清理 填入缺失數(shù)據(jù) 平滑噪音數(shù)據(jù) 確認(rèn)和去除孤立點(diǎn) 解決不一致性 數(shù)據(jù)集成 多個(gè)數(shù)據(jù)庫(kù)、Data Cube和文件系統(tǒng)的集成 數(shù)據(jù)轉(zhuǎn)換 規(guī)范化、聚集等 數(shù)據(jù)歸約 在可能獲得相同或相似結(jié)果的前提下，對(duì)數(shù)據(jù)的容量進(jìn)行有效的縮減 數(shù)據(jù)離散化 對(duì)于一個(gè)特定的連續(xù)屬性，尤其是連續(xù)的數(shù)字屬性，可以把屬性

3、值劃分成若干區(qū)間，以區(qū)間值來(lái)代替實(shí)際數(shù)據(jù)值，以減少屬性值的個(gè)數(shù).6數(shù)據(jù)預(yù)處理的形式數(shù)據(jù)清理數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)歸約7主要內(nèi)容 為什么需要數(shù)據(jù)預(yù)處理? 數(shù)據(jù)清洗 數(shù)據(jù)集成與轉(zhuǎn)換 數(shù)據(jù)歸約 數(shù)據(jù)離散化與概念層次的構(gòu)建 本章小結(jié)8數(shù)據(jù)清洗 主要任務(wù) 補(bǔ)充缺失數(shù)據(jù) 識(shí)別孤立點(diǎn)，平滑噪音數(shù)據(jù) 處理不一致的數(shù)據(jù)9缺失數(shù)據(jù)的處理 部分?jǐn)?shù)據(jù)通常是不可用的 在許多元組中部分屬性值為空。如：在客戶表中的客戶收入為空。 導(dǎo)致數(shù)據(jù)缺失的原因 數(shù)據(jù)采集設(shè)備的故障 由于與其它信息的數(shù)據(jù)存在不一致性，因此數(shù)據(jù)項(xiàng)被刪除 由于不理解或者不知道而未能輸入 在當(dāng)時(shí)數(shù)據(jù)輸入的時(shí)候，該數(shù)據(jù)項(xiàng)不重要而忽略

4、 數(shù)據(jù)傳輸過(guò)程中引入的錯(cuò)誤 缺失數(shù)據(jù)通常需要經(jīng)過(guò)合理的推斷予以添加10缺失數(shù)據(jù)的處理方法 忽略該記錄（元組） 通常在進(jìn)行分類、描述、聚類等挖掘，但是元組缺失類標(biāo)識(shí)時(shí) 該種方法通常不是最佳的，尤其是缺失數(shù)據(jù)比例比較大的時(shí)候 手工填入空缺的值 枯燥、費(fèi)時(shí)，可操作性差，不推薦使用 使用一個(gè)全局的常量填充空缺數(shù)值 給定一個(gè)固定的屬性值如：未知、不祥、 Unknown 、 Null等 簡(jiǎn)單，但是沒(méi)有意義11使用屬性的平均值填充空缺數(shù)值 簡(jiǎn)單方便、挖掘結(jié)果容易產(chǎn)生不精確的結(jié)果使用與給定元組同一個(gè)類別的所有樣本的平均值 分類非常重要，尤其是分類指標(biāo)的選擇使用最有可能的值予以填充 利用回歸、基于推導(dǎo)的使用貝葉

5、斯形式化的方法的工具或者判定樹(shù)歸納確定 利用屬性之間的關(guān)系進(jìn)行推斷，保持了屬性之間的聯(lián)系缺失數(shù)據(jù)的處理方法（續(xù)）12噪音數(shù)據(jù) 噪音數(shù)據(jù):一個(gè)度量（指標(biāo)）變量中的隨機(jī)錯(cuò)誤或者偏差 主要原因 數(shù)據(jù)采集設(shè)備的錯(cuò)誤 數(shù)據(jù)錄入問(wèn)題 數(shù)據(jù)傳輸問(wèn)題 部分技術(shù)的限制 數(shù)據(jù)轉(zhuǎn)換中的不一致 數(shù)據(jù)清理中所需要處理的其它問(wèn)題 重復(fù)的記錄 不完整的數(shù)據(jù) 不一致的數(shù)據(jù)13噪音數(shù)據(jù)的處理 分箱（Binning）的方法 聚類方法 檢測(cè)并消除異常點(diǎn) 線性回歸 對(duì)不符合回歸的數(shù)據(jù)進(jìn)行平滑處理 人機(jī)結(jié)合共同檢測(cè) 由計(jì)算機(jī)檢測(cè)可疑的點(diǎn)，然后由用戶確認(rèn)14處理噪音數(shù)據(jù)：分箱方法 分箱（Binning）方法: 基本思想：通過(guò)考察相鄰數(shù)據(jù)

6、的值，來(lái)平滑存儲(chǔ)數(shù)據(jù)的值 基本步驟： 首先，對(duì)數(shù)據(jù)進(jìn)行排序，并分配到具有相同寬度/深度的不同的“箱子”中 其次，通過(guò)箱子的平均值（Means）、中值（Median）、或者邊界值等來(lái)進(jìn)行平滑處理15分箱（Binning） 方法舉例對(duì)數(shù)據(jù)進(jìn)行排序: 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34對(duì)數(shù)據(jù)進(jìn)行分割(相同深度) : - Bin 1: 4, 8, 9, 15 - Bin 2: 21, 21, 24, 25 - Bin 3: 26, 28, 29, 34根據(jù)bin中的平均值進(jìn)行離散化: - Bin 1: 9, 9, 9, 9 - Bin 2: 23,

7、23, 23, 23 - Bin 3: 29, 29, 29, 2916基于聚類分析的平滑處理17通過(guò)線性回歸的平滑處理xyy = x + 1X1Y1Y118主要內(nèi)容 為什么需要數(shù)據(jù)預(yù)處理 數(shù)據(jù)清洗 數(shù)據(jù)集成與轉(zhuǎn)換 數(shù)據(jù)歸約 數(shù)據(jù)離散化與概念層次的構(gòu)建 本章小結(jié)19數(shù)據(jù)集成數(shù)據(jù)集成的概念 將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來(lái)存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中 數(shù)據(jù)源包括：多個(gè)數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)和一般的文件 數(shù)據(jù)集成也是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的一個(gè)重要問(wèn)題數(shù)據(jù)集成的內(nèi)容 模式集成 利用數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)信息 主要工作是識(shí)別現(xiàn)實(shí)世界中的實(shí)體定義 冗余數(shù)據(jù)的處理 檢測(cè)和解決數(shù)值沖突 對(duì)于現(xiàn)實(shí)世界中的同一實(shí)體，來(lái)自于不

8、同數(shù)據(jù)源的屬性值可能不同 主要原因：不同的數(shù)據(jù)表示、度量單位、編碼方式以及語(yǔ)義的不同20數(shù)據(jù)集成數(shù)據(jù)集成的概念 將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來(lái)存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中 數(shù)據(jù)源包括：多個(gè)數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)和一般的文件 數(shù)據(jù)集成也是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的一個(gè)重要問(wèn)題數(shù)據(jù)集成的內(nèi)容 模式集成 利用數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)信息 主要工作是識(shí)別現(xiàn)實(shí)世界中的實(shí)體定義 冗余數(shù)據(jù)的處理 檢測(cè)和解決數(shù)值沖突 對(duì)于現(xiàn)實(shí)世界中的同一實(shí)體，來(lái)自于不同數(shù)據(jù)源的屬性值可能不同 主要原因：不同的數(shù)據(jù)表示、度量單位、編碼方式以及語(yǔ)義的不同21模式集成 數(shù)據(jù)類型沖突 性別：string(Male、Female)、Char（M、F）、

9、Interger（0、1） 日期：Date、DateTime、String 數(shù)據(jù)標(biāo)簽沖突：解決同名異義、異名同義 學(xué)生成績(jī)、分?jǐn)?shù)度量單位沖突 學(xué)生成績(jī) 百分制：100 0 五分制： A 、B、C、D、E 字符表示：優(yōu)、良、及格、不及格概念不清 最近交易額：前一個(gè)小時(shí)、昨天、本周、本月？ 聚集沖突：根源在于表結(jié)構(gòu)的設(shè)計(jì) 22冗余數(shù)據(jù)的處理從多個(gè)數(shù)據(jù)源中抽取不同的數(shù)據(jù)，容易導(dǎo)致數(shù)據(jù)的冗余 不同的屬性在不同的數(shù)據(jù)源中是不同的命名方式 有些屬性可以從其它屬性中導(dǎo)出， 例如：銷售額單價(jià)銷售量有些冗余可以通過(guò)相關(guān)分析檢測(cè)到 其中：n是元組的個(gè)數(shù)， 和 分別是A和B的平均值， 和 分別是A和B的標(biāo)準(zhǔn)差 元組

10、級(jí)的“重復(fù)”，也是數(shù)據(jù)冗余的一個(gè)重要方面減少冗余數(shù)據(jù)，可以大大提高數(shù)據(jù)挖掘的性能BABAnBBAAr) 1()( )(,ABAB23數(shù)據(jù)轉(zhuǎn)換 平滑處理: 從數(shù)據(jù)中消除噪音數(shù)據(jù) 聚集操作: 對(duì)數(shù)據(jù)進(jìn)行綜合，類似于Data Cube的構(gòu)建 數(shù)據(jù)概化：構(gòu)建概念層次 數(shù)據(jù)規(guī)范化: 將數(shù)據(jù)集中到一個(gè)較小的范圍之中 最大-最小規(guī)范化 z-score（零均值）規(guī)范化 小數(shù)范圍規(guī)范化（01規(guī)范化） 屬性構(gòu)造 構(gòu)造新的屬性并添加到屬性集中，以幫助數(shù)據(jù)挖掘24數(shù)據(jù)轉(zhuǎn)換：規(guī)范化 最大-最小規(guī)范化 對(duì)原始數(shù)據(jù)進(jìn)行線性變換 保持了原始數(shù)據(jù)值之間的關(guān)系 當(dāng)有新的輸入，落在原數(shù)據(jù)區(qū)之外，該方法將面臨“越界”錯(cuò)誤 受到孤立點(diǎn)

11、的影響可能會(huì)比較大AAminnewmaxnew_,_AAAAAAminnewminnewmaxnewminmaxminvv_)_(25數(shù)據(jù)轉(zhuǎn)換：規(guī)范化（續(xù)） z-score（零均值）規(guī)范化 屬性基于平均值和標(biāo)準(zhǔn)差規(guī)范化 當(dāng)屬性的最大值和最小值未知，或者孤立點(diǎn)左右了最大最小規(guī)范化時(shí)，該方法有效 0-1規(guī)范化（小數(shù)定標(biāo)規(guī)范化） 通過(guò)移動(dòng)屬性的小數(shù)點(diǎn)位置進(jìn)行規(guī)范化 例如A的值為125，那么|A|=125，則j=3，有v=0.125。 Avv jvv10Where j is the smallest integer such that Max(| |)Reduced attribute set: A1

12、, A4, A6YYYNNN34數(shù)據(jù)壓縮 數(shù)據(jù)壓縮：應(yīng)用數(shù)據(jù)編碼或變換，以便得到數(shù)據(jù)的歸約或壓縮表示 無(wú)損壓縮：原數(shù)據(jù)可以由壓縮數(shù)據(jù)重新構(gòu)造而不丟失任何信息 字符串壓縮是典型的無(wú)損壓縮 現(xiàn)在已經(jīng)有許多很好的方法但是它們只允許有限的數(shù)據(jù)操作 有損壓縮：只能重新構(gòu)造原數(shù)據(jù)的近似表示 影像文件的壓縮是典型的有損壓縮 典型的方法：小波變換、主要成分分析35數(shù)值歸約 數(shù)值歸約：通過(guò)選擇替代的、“較小”的數(shù)據(jù)表示形式來(lái)減少數(shù)據(jù)量 有參的方法 假設(shè)數(shù)據(jù)符合某些模型，通過(guò)評(píng)估模型參數(shù)，僅需要存儲(chǔ)參數(shù)，不需要存儲(chǔ)實(shí)際數(shù)據(jù)（孤立點(diǎn)也可能被存放） 典型方法：對(duì)數(shù)線性模型，它估計(jì)離散的多維概率分布 無(wú)參的方法 不存在

13、假想的模型 典型方法:直方圖、聚類和抽樣36直方圖類似于分箱技術(shù)，是一種流行的數(shù)據(jù)歸約方式將屬性值劃分為不相交的子集，或“桶”桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。每個(gè)桶只表示單個(gè)屬性值，則稱其為“單桶”。通常，“桶”表示給定屬性的一個(gè)連續(xù)空間可以通過(guò)編程，動(dòng)態(tài)修改部分參數(shù)，進(jìn)行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount37主要內(nèi)容 為什么需要數(shù)據(jù)預(yù)處理? 數(shù)據(jù)清洗 數(shù)據(jù)集成與轉(zhuǎn)換 數(shù)據(jù)歸約 數(shù)據(jù)離散化與概念層次的構(gòu)建 本章小結(jié)38數(shù)據(jù)離散化和概念層次 屬性

14、值分類 枚舉型 有序的 無(wú)序的 連續(xù)型：如 Real類型 數(shù)據(jù)離散化 對(duì)于一個(gè)特定的連續(xù)屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來(lái)代替實(shí)際數(shù)據(jù)值，以減少屬性值的個(gè)數(shù)。 概念層次 利用高層的概念（如兒童、青年、中年、老年等）來(lái)代替低層的實(shí)際數(shù)據(jù)值（實(shí)際年齡），以減少屬性值的個(gè)數(shù)。39數(shù)值數(shù)據(jù)的離散化和概念分層建立的方法 分箱（Binning） 直方圖分析 聚類分析的方法 根據(jù)自然分類進(jìn)行分割40分箱方法：一種簡(jiǎn)單的離散化技術(shù) 相同寬度 （距離）數(shù)據(jù)分割 將數(shù)據(jù)分成N等份，各個(gè)等份數(shù)據(jù)之間具有相同的距離 如果 A 和 B 分別為屬性值中的最大值和最小值，那么各個(gè)數(shù)據(jù)等份之間的距離為：W = (B

15、-A)/N. 異常點(diǎn)將會(huì)扮演很重要的角色 傾斜的數(shù)據(jù)不能很好的解決 相同深度 （頻率）數(shù)據(jù)分割 將數(shù)據(jù)分成N等份，各個(gè)等份具有相同的數(shù)據(jù)個(gè)數(shù)。 具有較好的可伸縮性 適合于數(shù)據(jù)分類的情況41離散化：直方圖方法 將數(shù)據(jù)分割到若干個(gè)桶之中，用桶中的平均值（或求和等）來(lái)表示各個(gè)桶。 可以通過(guò)編程，動(dòng)態(tài)修改部分參數(shù)，進(jìn)行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount42離散化：聚類分析方法 將數(shù)據(jù)按照“類內(nèi)最大相似度，類間最小相似度的原則”對(duì)數(shù)據(jù)進(jìn)行有效聚類 利用聚類的中心點(diǎn)來(lái)表示該類所包含的對(duì)象

16、數(shù)據(jù)聚類將非常有效，但是必須保證數(shù)據(jù)中沒(méi)有噪音數(shù)據(jù)43按照自然分類進(jìn)行數(shù)據(jù)分割 利用3-4-5 法則對(duì)數(shù)字型數(shù)據(jù)分類，將數(shù)據(jù)分成若干個(gè)“自然”的區(qū)間： 如果在所有數(shù)字的最高位覆蓋 3, 6, 7或9個(gè)不同的值，則將數(shù)據(jù)分成3段。3（1，1，1） 6（2，2，2） 7（2，3，2） 9（3，3，3） 如果在所有數(shù)字的最高位覆蓋 2, 4, 8個(gè)不同的值，則將數(shù)據(jù)分成4 段。 如果在所有數(shù)字的最高位覆蓋 1, 5, 10個(gè)不同的值，則將數(shù)據(jù)分成 5 段。443-4-5 法則舉例n例例1：包含數(shù)據(jù)：包含數(shù)據(jù)：101、110、203、222、305、315n方法：最高位包含方法：最高位包含3個(gè)值（個(gè)值

17、（1、2、3）n分成分成100，200），），200，300），），300，400）三段）三段n例例2：包含數(shù)據(jù)：包含數(shù)據(jù)：101、110、103、422、405、415，400n方法：最高位包含方法：最高位包含2個(gè)值（個(gè)值（1、4）n分成分成100，150），），150，200） ，400，450） ，450，500）四段）四段n例例3：包含數(shù)據(jù)：包含數(shù)據(jù)：101、210、203、322、305、415，500n方法：最高位包含方法：最高位包含5個(gè)值（個(gè)值（1、2、3、4、5）n分成分成100，200），），200，300） ，300，400） ，400，500），），500，600）五段五段45分類數(shù)據(jù)的概念分層 概念分層是由用戶或?qū)＜覍?duì)具有偏序關(guān)系的屬性的一種層次關(guān)系的顯式表示。也是一種數(shù)據(jù)分類的顯式表示。 概念層次的獲得 隱式存儲(chǔ)于數(shù)據(jù)庫(kù)中。如：地址。 由專家顯式給出。 借助數(shù)據(jù)分析自動(dòng)生成。 概念層次的表示