數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件

數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹6、法律的基礎(chǔ)有兩個(gè)，而且只有兩個(gè)……公平和實(shí)用?！?、有兩種和平的暴力，那就是法律和禮節(jié)?！璧?、法律就是秩序，有好的法律才有好的秩序?！獊喞锸慷嗟?、上帝把法律和公平湊合在一起，可是人類卻把它拆開。——查·科爾頓10、一切法律都是無(wú)用的，因?yàn)楹萌擞貌恢鼈儯鴫娜擞植粫?huì)因?yàn)樗鼈兌兊靡?guī)矩起來(lái)。——德謨耶克斯數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹6、法律的基礎(chǔ)有兩個(gè)，而且只有兩個(gè)……公平和實(shí)用?！?、有兩種和平的暴力，那就是法律和禮節(jié)?！璧?、法律就是秩序，有好的法律才有好的秩序?！獊喞锸慷嗟?、上帝把法律和公平湊合在一起，可是人類卻把它拆開?！椤た茽栴D10、一切法律都是無(wú)用的，因?yàn)楹萌擞貌恢鼈?，而壞人又不?huì)因?yàn)樗鼈兌兊靡?guī)矩起來(lái)?！轮円怂箤?shí)溪太字?jǐn)?shù)據(jù)清洗和數(shù)據(jù)預(yù)處理熵值歸一化方法抽樣方法實(shí)溪太字教學(xué)目標(biāo)■認(rèn)識(shí)數(shù)據(jù)挖掘前數(shù)據(jù)進(jìn)行適當(dāng)處理的必要性■掌握常用數(shù)據(jù)預(yù)處理的方法數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹6、法律的基礎(chǔ)有兩個(gè)，而1實(shí)溪太字?jǐn)?shù)據(jù)清洗和數(shù)據(jù)預(yù)處理熵值歸一化方法抽樣方法實(shí)溪太字2實(shí)溪太字教學(xué)目標(biāo)■認(rèn)識(shí)數(shù)據(jù)挖掘前數(shù)據(jù)進(jìn)行適當(dāng)處理的必要性■掌握常用數(shù)據(jù)預(yù)處理的方法實(shí)溪太字3實(shí)溪太字教學(xué)要求知識(shí)要點(diǎn)能力要求相關(guān)知識(shí)點(diǎn)(1)了解原始數(shù)據(jù)存在的主要(1)數(shù)據(jù)的一致性問題數(shù)據(jù)預(yù)處理問題(2數(shù)據(jù)的噪聲問題的原因(2)明白數(shù)據(jù)預(yù)處理的作用和(3原始數(shù)據(jù)的不完整和高維作任務(wù)度問題(1)掌握數(shù)據(jù)清洗的主要任務(wù)與常用方法2)掌握數(shù)據(jù)集成的主要內(nèi)容()數(shù)據(jù)清洗數(shù)據(jù)預(yù)處理和常用方法2)數(shù)據(jù)集成的方法(3)掌握數(shù)據(jù)變換的主要內(nèi)容(3)數(shù)據(jù)變換和常用方法(4)數(shù)據(jù)歸約(4)掌握數(shù)據(jù)歸約的主要內(nèi)容和常用方法實(shí)溪太字4實(shí)溪太字為什么要預(yù)處理數(shù)據(jù)?現(xiàn)實(shí)世界的數(shù)據(jù)是“骯臟的”不完整的>含噪聲的>不一致的■沒有高質(zhì)量的數(shù)據(jù),就沒有高質(zhì)量的挖掘結(jié)果≯高質(zhì)量的決策必須依賴高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)需要對(duì)高質(zhì)量的數(shù)據(jù)進(jìn)行一致地集成實(shí)溪太字5實(shí)溪太字原始數(shù)據(jù)中存在的問題1.不一致——數(shù)據(jù)內(nèi)涵出現(xiàn)不一致情況2.重復(fù)3.不完整——感興趣的屬性沒有值4.含噪聲——數(shù)據(jù)中存在著錯(cuò)誤、或異常(偏離期望值)的數(shù)據(jù)5.高維度實(shí)溪太字6實(shí)溪太字?jǐn)?shù)據(jù)預(yù)處理的方法1.數(shù)據(jù)清洗去掉噪聲和無(wú)關(guān)藪據(jù)2數(shù)據(jù)集成將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來(lái)存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中3.數(shù)據(jù)變換把原始數(shù)據(jù)轉(zhuǎn)換成為適合數(shù)據(jù)挖掘的形式4.數(shù)據(jù)歸約≯主要方法包括:數(shù)據(jù)立方體聚集,維歸約,數(shù)據(jù)壓縮,數(shù)值歸約,離散化和概念分層等實(shí)溪太字7實(shí)溪太字?jǐn)?shù)據(jù)清洗數(shù)據(jù)選取參考原則:1.盡可能賦予屬性名和屬性值明確的含義2.統(tǒng)一多數(shù)據(jù)源的屬性值編碼>3.去除惟一屬性4.去除重復(fù)屬性>5.去除可忽略字段>6.合理選擇關(guān)聯(lián)字段進(jìn)一步處理≯通過(guò)填補(bǔ)遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù),以及糾正不一致的藪據(jù),去掉藪據(jù)中的噪音、填充空值、丟失值和處理不一致數(shù)據(jù)實(shí)溪太字8實(shí)溪太字?jǐn)?shù)據(jù)清洗——處理空缺值數(shù)據(jù)并不總是完整的在分析一個(gè)商場(chǎng)銷售數(shù)據(jù)時(shí),發(fā)現(xiàn)有多個(gè)記錄中的屬性值為空,如:顧客的收入屬性對(duì)于為空的屬性值引起空缺值的原因設(shè)備異?！叟c其他已有數(shù)據(jù)不一致而被刪除≯因?yàn)檎`解而沒有被輸入的數(shù)據(jù)≯在輸入時(shí),有些數(shù)據(jù)應(yīng)為得不到重視而沒有被輸入對(duì)數(shù)據(jù)的改變沒有進(jìn)行日志記載實(shí)溪太字9實(shí)溪太字?jǐn)?shù)據(jù)清洗—一處理空缺值■空缺值要經(jīng)過(guò)推斷而補(bǔ)上>1忽略該記錄2.去掉屬性3.手工填寫空缺值>4.使用默認(rèn)值5.使用屬性平均值>6.使用同類樣本平均值>7.預(yù)測(cè)最可能的值實(shí)溪太字10實(shí)溪太字?jǐn)?shù)據(jù)清洗——噪聲數(shù)據(jù)的處理■噪聲:在測(cè)量一個(gè)變量時(shí)可能出現(xiàn)的測(cè)量值相對(duì)于真實(shí)值的偏差或者錯(cuò)誤實(shí)溪太字11數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件12數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件13數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件14數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件15數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件16數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件17數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件18數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件19數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件20數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件21數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件22數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件23數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件24數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件25數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件26數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件27數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件28數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件29數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件30數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件31數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件32數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件33數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件34數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件35數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件36數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件37數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件38數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件39數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件40數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件41數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件42數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件43數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件44數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件45數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件46數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件47數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件48數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件49數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件50數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件51數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件52數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件53數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件54數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件55數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件56數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件57數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件58數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件59數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件60數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件61數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件62數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件63數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件64數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件65數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件66謝謝你的閱讀知識(shí)就是財(cái)富豐富你的人生71、既然我已經(jīng)踏上這條道路，那么，任何東西都不應(yīng)妨礙我沿著這條路走下去?！档?/p>

72、家