DB37-T 4646.2-2023 公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范 第2部分：數(shù)據(jù)清洗比對(duì)

37Publicdata—Datagovernancespecification—Part2:DatacleaningI 2 2 2 2 6 6 8 9 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定東省先后印發(fā)《山東省“十四五”數(shù)字強(qiáng)省建設(shè)規(guī)劃》（魯政字〔2021〕128號(hào)）等一系列政策文件，數(shù)據(jù)清洗比對(duì)、數(shù)據(jù)返還、資源服務(wù)目錄等工作存在的普遍問題，制定DB37/T4646《公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范》系列標(biāo)準(zhǔn)。DB37/T4646擬由以下四——第2部分：數(shù)據(jù)清洗比對(duì)。目的在于規(guī)范對(duì)歸集至省一體——第3部分：數(shù)據(jù)返還。目的在于規(guī)范各級(jí)公共管理和服——第4部分：資源服務(wù)目錄。目的在于規(guī)范各級(jí)公共管理和服務(wù)機(jī)構(gòu)1公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第2部分：數(shù)據(jù)清洗比對(duì)GB/T2261.1—2003個(gè)人基本信息分類與代碼第1部分：個(gè)人GB/T22239—2019信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求GB/T35273—2020信息安全技術(shù)個(gè)人信息安全GB/T36344—2018信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)DB37/T4646.1—2023公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第1部分：數(shù)據(jù)歸集4概述和數(shù)據(jù)轉(zhuǎn)換，提升數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗比對(duì)流程應(yīng)符合應(yīng)根據(jù)數(shù)據(jù)庫表結(jié)構(gòu)、數(shù)據(jù)字典等，對(duì)歸集數(shù)據(jù)進(jìn)行數(shù)據(jù)探查，形成數(shù)據(jù)探查清單26.1.2數(shù)據(jù)質(zhì)量檢查規(guī)則應(yīng)基于業(yè)務(wù)特征和數(shù)據(jù)特點(diǎn)制定，并同步至數(shù)據(jù)質(zhì)量檢查規(guī)則庫，數(shù)據(jù)質(zhì)量6.1.3數(shù)據(jù)質(zhì)量檢查規(guī)則應(yīng)通過數(shù)據(jù)質(zhì)量檢查規(guī)則庫統(tǒng)籌管理并進(jìn)行動(dòng)態(tài)更新維a)對(duì)于存在字段缺失、記錄缺失和數(shù)值缺失的數(shù)據(jù)應(yīng)選擇合適的缺失值修正方法，主要包括刪b)對(duì)于存在邏輯、格式、值域等問題的數(shù)據(jù)應(yīng)選擇合適的違規(guī)值修正方法，主要包括刪除處理c)對(duì)于存在字段重復(fù)和記錄重復(fù)的數(shù)據(jù)應(yīng)選擇合適的重復(fù)值修正方法，主要包括字段排重、依a)某條記錄的一個(gè)或多個(gè)關(guān)鍵字段空缺；3a)字段類型為數(shù)值型時(shí)，可使用非空缺值的平均值、最大值、最小值、眾數(shù)、某分位數(shù)等進(jìn)行b)字段類型為日期型和日期時(shí)間型時(shí)，可使用非空缺值的平均日期或時(shí)間、最近日期或時(shí)間、c)字段類型為字符型時(shí)，可對(duì)非空缺值分類并統(tǒng)計(jì)出各類別的數(shù)量和占比，根據(jù)各類別數(shù)量或可根據(jù)該條記錄中其它非空字段的特點(diǎn)，設(shè)置關(guān)聯(lián)條件，對(duì)空缺值進(jìn)行填充。設(shè)定A字段為待填充a)B字段與A字段存在強(qiáng)關(guān)聯(lián)關(guān)系，可通過B字段推理出A字段的內(nèi)容，如學(xué)位為碩士的記錄，a)關(guān)聯(lián)分析：使用關(guān)聯(lián)分析的挖掘方法，尋找出強(qiáng)關(guān)聯(lián)的字段，根據(jù)強(qiáng)關(guān)聯(lián)字段關(guān)聯(lián)情況尋找b)聚類分析：使用聚類分析的挖掘方法，將非空數(shù)據(jù)記錄聚類成若干簇，根據(jù)簇中字段特點(diǎn)選如人的性別名稱為缺失值，性別代碼為1，按照GB/T2261.1—2003規(guī)則，對(duì)應(yīng)填充a)關(guān)鍵字段存在違規(guī)值，且無法恢復(fù)，如自然人身份證件號(hào)碼為“330******1420”，無b)編碼錯(cuò)誤導(dǎo)致大量違規(guī)值存在，且無法恢復(fù)，如因編碼錯(cuò)誤導(dǎo)致行駛證中車牌號(hào)數(shù)據(jù)存在大4a)規(guī)則替換：設(shè)定替換規(guī)則，將不同的違規(guī)字符對(duì)應(yīng)替換為規(guī)則內(nèi)字符，如設(shè)定截取自然人身a)模糊匹配：新增規(guī)則字典，設(shè)置匹配規(guī)則后做模糊對(duì)應(yīng)，如行政區(qū)劃名稱“濟(jì)南”匹配替換“濟(jì)南市”；b)精確匹配：新增規(guī)則字典，設(shè)置匹配規(guī)則后做精確對(duì)應(yīng)，如章丘行政區(qū)劃由“370181”變更而待修正數(shù)據(jù)單位為厘米，可通過數(shù)值轉(zhuǎn)換的方式，對(duì)待修正數(shù)據(jù)除以100。數(shù)值轉(zhuǎn)換一般需人工分析a)近似填充：通過考察相近的值平衡違規(guī)值，可將違規(guī)值修改為離違規(guī)值最近的正常值，或修改為離違規(guī)值較近的若干個(gè)正常值的平均值等，如幼兒園兒童入學(xué)年齡數(shù)據(jù)中，有一條數(shù)據(jù)b)回歸分析：通過回歸函數(shù)擬合數(shù)據(jù)，光滑違規(guī)值，如幼兒園兒童入學(xué)年齡數(shù)據(jù)中，有一條數(shù)c)統(tǒng)計(jì)分析：依據(jù)統(tǒng)計(jì)的方法修改違規(guī)值，如將違規(guī)值修改為正常值的平均值，如幼兒園兒童5b)條件保留：設(shè)置條件規(guī)則和約束字段，比如按日期型或日期時(shí)間型字段保留離當(dāng)前日期最近a)完全重復(fù)：記錄完全一致，選擇保留其中一條記錄；b)不完全重復(fù)：設(shè)置對(duì)比字段的值，保留一條和對(duì)比字段的值完全一致的記錄。對(duì)于同一字段來自多個(gè)部門時(shí)，以權(quán)威部門來源為準(zhǔn)。如“身份證件號(hào)碼”以公安部門提供的數(shù)條記錄為1.7m，一條記錄為1m，取1.7m為其身高信息。6數(shù)據(jù)轉(zhuǎn)換主要包括數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)代碼轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換規(guī)則示例見附錄E。如數(shù)據(jù)轉(zhuǎn)換失敗，應(yīng)查9數(shù)據(jù)安全9.1應(yīng)記錄數(shù)據(jù)探查時(shí)間、數(shù)據(jù)質(zhì)量檢查時(shí)間、數(shù)據(jù)質(zhì)量檢查內(nèi)容、數(shù)據(jù)質(zhì)量檢查結(jié)果、數(shù)據(jù)轉(zhuǎn)換結(jié)9.2應(yīng)對(duì)待修正數(shù)據(jù)和待轉(zhuǎn)換數(shù)據(jù)進(jìn)行備份，并確保備份數(shù)據(jù)的可用性。7數(shù)據(jù)歸集數(shù)據(jù)探查檢查規(guī)則制定質(zhì)量檢查實(shí)施存在問題不存在問題數(shù)據(jù)轉(zhuǎn)換8數(shù)據(jù)探查清單包括數(shù)據(jù)表探查清單和數(shù)據(jù)字段探查清單。數(shù)據(jù)表探查清單示例見表B.1是是增0否是否否—未刪除；10否否是是0、109檢查數(shù)據(jù)是否存在邏輯或常識(shí)性錯(cuò)誤，如幼兒園入學(xué)年檢查數(shù)據(jù)是否存在格式錯(cuò)誤，如身份證件號(hào)碼長度稱12012將各類時(shí)間型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—2005的時(shí)間型