數(shù)據(jù)清洗概述

講師：黃珊財務(wù)大數(shù)據(jù)分析基礎(chǔ)數(shù)據(jù)清洗概述1了解數(shù)據(jù)清洗含義2熟悉數(shù)據(jù)清洗主要內(nèi)容及處理方法學習目標3理解數(shù)據(jù)清洗設(shè)計原則課程導入此數(shù)據(jù)集存在哪些問題？學號姓名性別年齡分數(shù)（百分制）01王思男207802李明男208603黃肖女1909804陳辰女1820005席蒙男

20數(shù)據(jù)清洗含義PART01正文講解數(shù)據(jù)清洗含義是對數(shù)據(jù)進行重新審查和校驗的過程，是發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別錯誤的最后一道程序，按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”。含義：

錯誤的、數(shù)據(jù)間有沖突的、非需求的數(shù)據(jù)，是我們不想要的，稱為“臟數(shù)據(jù)”。臟數(shù)據(jù)來源：最根本原因是數(shù)據(jù)源多樣，使得數(shù)據(jù)的標準、格式、統(tǒng)計方法不一樣；其次，錄入錯誤，計算數(shù)據(jù)的代碼錯誤。數(shù)據(jù)清洗主要內(nèi)容及處理方法PART02數(shù)據(jù)清洗主要內(nèi)容(5)關(guān)聯(lián)性驗證(1)缺失值(2)格式內(nèi)容(3)邏輯錯誤(4)非需求性數(shù)據(jù)數(shù)據(jù)清洗主要內(nèi)容數(shù)據(jù)清洗處理方法缺失值的處理去除不需要的字段填充缺失內(nèi)容重新取數(shù)2341確定缺失值范圍數(shù)據(jù)清洗處理方法格式內(nèi)容231內(nèi)容與該字段應(yīng)有內(nèi)容不符內(nèi)容中有不該存在的字符時間、日期、數(shù)值、全半角等顯示格式不一致詳細識別后再處理去除即可處理成一致的某種格式數(shù)據(jù)清洗處理方法邏輯錯誤231修正矛盾值去除或重構(gòu)不可靠去除不合理值刪除或按缺失值處理去重放在格式內(nèi)容清洗之后數(shù)據(jù)清洗處理方法非需求性數(shù)據(jù)某字段覺得很有用，但又不知怎么用，不知是否刪除誤刪錯別字段231看上去不重要但實際上對業(yè)務(wù)很重要的字段刪除了勤備份數(shù)據(jù)能不刪的字段盡量不刪能不刪的字段盡量不刪數(shù)據(jù)清洗處理方法如果數(shù)據(jù)有多個來源，則必要對數(shù)據(jù)之間進行關(guān)聯(lián)性驗證。調(diào)整or去除數(shù)據(jù)清洗設(shè)計原則PART03數(shù)據(jù)清洗設(shè)計原則IPO模型數(shù)據(jù)清洗不是一次性工作，需要多次、多環(huán)節(jié)進行。因此，要做好數(shù)據(jù)清洗、保證數(shù)據(jù)質(zhì)量，那么首先需要對整個數(shù)據(jù)處理的流程進行設(shè)計或了解，在了解了數(shù)據(jù)流程后再在相應(yīng)的環(huán)節(jié)設(shè)計數(shù)據(jù)清洗的流程。數(shù)據(jù)清洗設(shè)計原則一個清洗步驟就用一條清洗規(guī)則多拆分清洗步驟，每個步驟備份數(shù)據(jù)，方便出問題時回退一般先做全局清洗（即對全部數(shù)據(jù)），再做個別字段的清洗清洗的輸出結(jié)果不要直接放在正式數(shù)據(jù)流\正式文件中，先用測試環(huán)境\臨時文件充分驗證后上正式環(huán)境（一）數(shù)據(jù)清洗設(shè)計原則數(shù)據(jù)清洗設(shè)計原則（二）數(shù)據(jù)清洗原則少量數(shù)據(jù)。先合并、聯(lián)接再清洗大量數(shù)據(jù)源接入。先按照統(tǒng)一標準清洗，再接入每個數(shù)據(jù)計算層。先清洗再計算分析結(jié)果發(fā)現(xiàn)數(shù)據(jù)問題。向前溯源，新增、修訂清洗規(guī)則課程小結(jié)01.數(shù)據(jù)清洗概述02.數(shù)據(jù)清洗主要內(nèi)容及處理方法03.數(shù)據(jù)清洗設(shè)計原則思考題（可選