2024大數(shù)據(jù)清洗加工規(guī)范

前 附 本規(guī)范定義了大數(shù)據(jù)清洗加工的標(biāo)準(zhǔn)方法，為貴州省各級政府部門、企下列文件對于本規(guī)范的應(yīng)用是必不可少的。凡是標(biāo)注日期的引用文件，DB52/T1123-2016DB52/T1124-20161DB52/T1125-20162DB52/T1126-2016數(shù)據(jù)采集data大數(shù)據(jù)big一種規(guī)模大到在獲取、存儲、管理、分析方面超出了傳統(tǒng)數(shù)據(jù)庫軟件工臟數(shù)據(jù)dirty臟數(shù)據(jù)是指系統(tǒng)中的數(shù)據(jù)不在給定的范圍內(nèi)或?qū)τ趯嶋H業(yè)務(wù)毫無意義，或是數(shù)據(jù)格式非法，以及在系統(tǒng)中存在不規(guī)范的編碼和含糊的業(yè)務(wù)邏輯。數(shù)據(jù)清洗data數(shù)據(jù)清洗是指利用現(xiàn)有的數(shù)據(jù)挖掘手段和方法清洗“臟數(shù)據(jù)”“臟數(shù)結(jié)構(gòu)化數(shù)據(jù)structural結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù)，是由二維表結(jié)構(gòu)來邏輯表達(dá)和實現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫進(jìn)行存儲和管理。非結(jié)構(gòu)化數(shù)據(jù)unstructured非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不半結(jié)構(gòu)化數(shù)據(jù)semi-structured非結(jié)構(gòu)化數(shù)據(jù)處于結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間，具有一定的結(jié)構(gòu)，數(shù)據(jù)規(guī)范data數(shù)據(jù)完整性準(zhǔn)則dataintegrity對數(shù)據(jù)進(jìn)行有關(guān)存在性、有效性、結(jié)構(gòu)、內(nèi)容及其他基本數(shù)據(jù)特征的測數(shù)據(jù)覆蓋data表達(dá)質(zhì)量presentation數(shù)據(jù)衰變data政務(wù)數(shù)據(jù)資源是指政務(wù)部門在履行職責(zé)過程中制作或獲取的，以一定形政務(wù)數(shù)據(jù)不僅有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，還包含大量的非結(jié)構(gòu)化數(shù)據(jù)。進(jìn)行后通過技術(shù)手段轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。1數(shù)據(jù)質(zhì)量問題中模式層的臟數(shù)據(jù)，必須借助數(shù)據(jù)整合技術(shù)。2數(shù)據(jù)清洗的方法包括：缺失數(shù)據(jù)處理、相似重復(fù)對象監(jiān)測、異常數(shù)據(jù)處數(shù)據(jù)清洗具體流程如下3理。預(yù)處理過程中除了更正、修復(fù)系統(tǒng)中的一些錯誤數(shù)據(jù)之外，更多的是對數(shù)ETL具體數(shù)據(jù)抽取工具種類繁多，可根據(jù)實際業(yè)務(wù)數(shù)據(jù)的特點進(jìn)行選擇。從數(shù)據(jù)庫或視圖的數(shù)據(jù)原封不動的從數(shù)據(jù)庫中抽取出來。該方法主要用于在系統(tǒng)數(shù)據(jù)初增量抽取（更新）：據(jù)分別插入到不同的數(shù)據(jù)表中。對于數(shù)據(jù)加載工作，一般會搭建數(shù)據(jù)庫環(huán)境，如果數(shù)據(jù)量大（千萬級以上），可以使用文本文件存儲結(jié)合腳本程序處理進(jìn)行一致等，非法值問題包括取值錯誤、格式錯誤、多余字符、亂碼等，需根據(jù)具4▲

圖5存在缺失值數(shù)據(jù)處理策略參考圖是否有其他渠道可以取到相關(guān)數(shù)據(jù)，必要時進(jìn)行重新采集。若無法取得相關(guān)數(shù)據(jù)，則需e）對于指標(biāo)重要性低，缺失率高的缺失值數(shù)據(jù)，可備份當(dāng)前數(shù)據(jù)，直接刪掉不需以同一指標(biāo)的計算結(jié)果（均值、中位數(shù)、眾數(shù)等）a1）處理方法是將其處理成一致的某種格式。這種情況的數(shù)據(jù)多數(shù)由人工收集或用戶需要以半自動校驗半人工方式來找出可能存在的問題，并去除不需要的字符。典該問題不能簡單地以刪除來處理，因為成因復(fù)雜，可能是人工填寫錯誤、前端沒可直接發(fā)現(xiàn)問題的數(shù)據(jù)，防止分析結(jié)果錯誤。主要包含以下三個步驟：1）去重放在格式內(nèi)容清洗之后，原因是格式內(nèi)容清理之后才能總體發(fā)現(xiàn)重復(fù)的業(yè)務(wù)2）離群值（異常值）采集數(shù)據(jù)時可能因為技術(shù)或物理原因，數(shù)據(jù)取值超過數(shù)據(jù)值域范圍。為處理離群值，第一步即為識別離群值。識別離群值的方法主要有如下兩種：一區(qū)域之內(nèi)，所以利用數(shù)據(jù)自身分布特征來識別離群值，可采用直觀的箱型圖方法可視效，但對于聚合程度高，彼此相關(guān)的多維數(shù)據(jù)而言，通過數(shù)據(jù)分布特征或業(yè)務(wù)理解來識別離群值的方法會缺乏有效性。面對這種情況，聚類方法提供識別多維數(shù)據(jù)集中噪聲數(shù)據(jù)的方法。新采集的數(shù)值，按照缺失值辦法處理。對于重要性較低數(shù)值，可直接去除。3）典、元數(shù)據(jù)等，還可梳理數(shù)據(jù)之間的關(guān)系，并進(jìn)行修正。不一致數(shù)據(jù)往往是因為缺乏數(shù)據(jù)標(biāo)準(zhǔn)或未依照已有標(biāo)準(zhǔn)執(zhí)行而產(chǎn)生。錯誤關(guān)聯(lián)數(shù)據(jù)清洗方法主要有以下方法：c）基于距離的方法：使用距離度量來量化數(shù)據(jù)對象之間的相似性。要字段，可以從數(shù)據(jù)集中刪除。對于尚不明確是否需要的字段，原則上數(shù)據(jù)量在可處理是一種通過測量和改善數(shù)據(jù)綜合特征來優(yōu)化數(shù)據(jù)價值的過程。數(shù)據(jù)質(zhì)量評價指標(biāo)和方法研究的重點在于數(shù)據(jù)的含義、內(nèi)容、分類、分級、質(zhì)量的評價指標(biāo)等的研究分析。12數(shù)據(jù)規(guī)范(Dataspecification):參考數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的測量標(biāo)準(zhǔn)；數(shù)據(jù)完整性準(zhǔn)則(Dataintegrityfundamentals):重復(fù)(Duplication):—致性和同步(Consistencyandsynchronization):應(yīng)用和系統(tǒng)中所存儲或使用的信息等價程度的測量，以及使數(shù)據(jù)等價處理流程的測量標(biāo)f(Timelinessandavailability):易用性和可維護(hù)性(Easeofuseandmaintainability):數(shù)據(jù)覆蓋(Datacoverage):相對于數(shù)據(jù)總體或全體相關(guān)對象數(shù)據(jù)的可用性和全表達(dá)質(zhì)量(Presentationquality)；如何進(jìn)行有效信息表達(dá)以及如何從用戶中理解性和數(shù)據(jù)質(zhì)量中執(zhí)行度的測量標(biāo)準(zhǔn)，以及對業(yè)務(wù)所需數(shù)據(jù)的重要性、實用性及相關(guān)數(shù)據(jù)衰變(Datadecay):效用性(Transactability):數(shù)據(jù)產(chǎn)生期望業(yè)務(wù)交易或結(jié)果程度的測量標(biāo)準(zhǔn)。所選維度，制定評估方案，選擇合適的評估手段進(jìn)行測量，最后合并和分析所有質(zhì)量評數(shù)據(jù)清洗管理涉及的數(shù)據(jù)管理角色有提供者和管理者。提供者負(fù)責(zé)提供清洗的業(yè)務(wù)項目中提供者為數(shù)據(jù)接入方，管理者為項目建設(shè)方。具體針對特殊情況有所變化。配置與部署接入服務(wù)，實現(xiàn)接入數(shù)據(jù)庫的數(shù)據(jù)交換提供者應(yīng)該提供待清洗數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)；提供者應(yīng)接收數(shù)據(jù)清洗系統(tǒng)的問題數(shù)據(jù)，及時修改，并通知管理者。管理者對數(shù)據(jù)清洗系統(tǒng)的管理要點應(yīng)包括:管理者應(yīng)負(fù)責(zé)構(gòu)建清洗后數(shù)據(jù)及問題數(shù)據(jù)各自的數(shù)據(jù)庫和數(shù)據(jù)表的結(jié)構(gòu)；管理者應(yīng)負(fù)責(zé)源質(zhì)量評價、數(shù)據(jù)加工模型與算法質(zhì)量評價、數(shù)據(jù)產(chǎn)品質(zhì)量評價等?？祁I(lǐng)域內(nèi)已存在相關(guān)的數(shù)據(jù)質(zhì)量管理國際、國家規(guī)范或行業(yè)標(biāo)準(zhǔn)，數(shù)據(jù)審核宜采用這壁審核指標(biāo)可以包括但不限于準(zhǔn)確性，真實性誤差等技術(shù)參數(shù)，特色數(shù)據(jù)和重點數(shù)