公共數(shù)據(jù) 數(shù)據(jù)治理規(guī)范 數(shù)據(jù)清洗比對

公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范數(shù)據(jù)清洗比對范圍本文件規(guī)定了公共數(shù)據(jù)清洗比對的數(shù)據(jù)探查、數(shù)據(jù)質(zhì)量檢查、問題數(shù)據(jù)修正、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)安全等要求。本文件適用于對歸集至省一體化大數(shù)據(jù)平臺的數(shù)據(jù)開展數(shù)據(jù)清洗比對工作，各級公共管理和服務(wù)機(jī)構(gòu)數(shù)據(jù)清洗比對工作參照執(zhí)行。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T2261.1—2003個人基本信息分類與代碼第1部分：個人性別代碼GB/T22239—2019信息安全技術(shù)網(wǎng)絡(luò)安全等級保護(hù)基本要求GB/T35273—2020信息安全技術(shù)個人信息安全規(guī)范GB/T36344—2018信息技術(shù)數(shù)據(jù)質(zhì)量評價指標(biāo)DB37/T4646.1—2023公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第1部分：數(shù)據(jù)歸集術(shù)語和定義DB37/T4646.1—2023界定的以及下列術(shù)語和定義適用于本文件。

數(shù)據(jù)標(biāo)準(zhǔn)datastandard數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值范圍方面的規(guī)則和基準(zhǔn)。[來源：GB/T36344—2018，2.8]概述對歸集至省一體化大數(shù)據(jù)平臺的數(shù)據(jù)進(jìn)行清洗比對，通過數(shù)據(jù)探查、數(shù)據(jù)質(zhì)量檢查、問題數(shù)據(jù)修正和數(shù)據(jù)轉(zhuǎn)換，提升數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗比對流程應(yīng)符合附錄A。數(shù)據(jù)探查應(yīng)根據(jù)數(shù)據(jù)庫表結(jié)構(gòu)、數(shù)據(jù)字典等，對歸集數(shù)據(jù)進(jìn)行數(shù)據(jù)探查，形成數(shù)據(jù)探查清單，示例見附錄B。如存在數(shù)據(jù)探查清單與數(shù)據(jù)庫表結(jié)構(gòu)不一致、數(shù)據(jù)字典缺失等情況，應(yīng)進(jìn)行補(bǔ)充修改。數(shù)據(jù)質(zhì)量檢查檢查規(guī)則制定數(shù)據(jù)質(zhì)量檢查規(guī)則應(yīng)基于GB/T36344中的數(shù)據(jù)質(zhì)量評價指標(biāo)制定，數(shù)據(jù)質(zhì)量檢查規(guī)則應(yīng)符合國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn)。數(shù)據(jù)質(zhì)量檢查規(guī)則應(yīng)基于業(yè)務(wù)特征和數(shù)據(jù)特點(diǎn)制定，并同步至數(shù)據(jù)質(zhì)量檢查規(guī)則庫，數(shù)據(jù)質(zhì)量檢查規(guī)則示例見附錄C。數(shù)據(jù)質(zhì)量檢查規(guī)則應(yīng)通過數(shù)據(jù)質(zhì)量檢查規(guī)則庫統(tǒng)籌管理并進(jìn)行動態(tài)更新維護(hù)。質(zhì)量檢查實(shí)施應(yīng)基于數(shù)據(jù)探查清單為歸集數(shù)據(jù)配置數(shù)據(jù)質(zhì)量檢查規(guī)則，進(jìn)行數(shù)據(jù)質(zhì)量檢查，生成數(shù)據(jù)質(zhì)量檢查報告。數(shù)據(jù)質(zhì)量檢查報告包括但不限于數(shù)據(jù)質(zhì)量總體情況、表數(shù)據(jù)質(zhì)量情況、問題數(shù)據(jù)情況等，數(shù)據(jù)質(zhì)量檢查報告示例見附錄D。問題數(shù)據(jù)修正數(shù)據(jù)修正要求對于存在數(shù)據(jù)質(zhì)量問題的歸集數(shù)據(jù)，應(yīng)根據(jù)數(shù)據(jù)質(zhì)量檢查報告選擇合適的數(shù)據(jù)修正方法，其中：對于存在字段缺失、記錄缺失和數(shù)值缺失的數(shù)據(jù)應(yīng)選擇合適的缺失值修正方法，主要包括刪除處理和填充處理；對于存在邏輯、格式、值域等問題的數(shù)據(jù)應(yīng)選擇合適的違規(guī)值修正方法，主要包括刪除處理和修改處理；對于存在字段重復(fù)和記錄重復(fù)的數(shù)據(jù)應(yīng)選擇合適的重復(fù)值修正方法，主要包括字段排重、依關(guān)鍵字段的記錄排重和依重復(fù)度的記錄排重；對于存在沖突的數(shù)據(jù)應(yīng)選擇合適的沖突值修正方法，主要包括字段沖突處理和記錄沖突處理；對于未及時更新的數(shù)據(jù)，應(yīng)對數(shù)據(jù)盡快進(jìn)行更新。應(yīng)將完成修正的數(shù)據(jù)重新歸集至省一體化大數(shù)據(jù)平臺。數(shù)據(jù)修正方法缺失值修正刪除處理出現(xiàn)以下情況可刪除空缺記錄：某條記錄的一個或多個關(guān)鍵字段空缺；某條記錄字段缺失率超過設(shè)定的值，且缺失值字段重要性低。填充處理線下人工校驗(yàn)填充缺失字段重要性高時可通過線下人工校驗(yàn)等方法進(jìn)行填充，以保證填充值的準(zhǔn)確率，如人工對接相關(guān)機(jī)構(gòu)獲取信息進(jìn)行填充。常量填充可對空缺值進(jìn)行常量填充，即使用一個常量填充該字段所有空缺值。統(tǒng)計(jì)填充可對該字段中非空缺值進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果選擇空缺值填充內(nèi)容，要求包括但不限于：字段類型為數(shù)值型時，可使用非空缺值的平均值、最大值、最小值、眾數(shù)、某分位數(shù)等進(jìn)行填充；字段類型為日期型和日期時間型時，可使用非空缺值的平均日期或時間、最近日期或時間、最遠(yuǎn)日期或時間等進(jìn)行填充；字段類型為字符型時，可對非空缺值分類并統(tǒng)計(jì)出各類別的數(shù)量和占比，根據(jù)各類別數(shù)量或占比選擇如最大量、最小量等進(jìn)行填充。條件填充可根據(jù)該條記錄中其它非空字段的特點(diǎn)，設(shè)置關(guān)聯(lián)條件，對空缺值進(jìn)行填充。設(shè)定A字段為待填充的含空缺值的字段，B為關(guān)聯(lián)字段，要求包括但不限于：B字段與A字段存在強(qiáng)關(guān)聯(lián)關(guān)系，可通過B字段推理出A字段的內(nèi)容，如學(xué)位為碩士的記錄，對應(yīng)學(xué)歷為研究生；B字段對A字段有約束關(guān)系，可通過B字段推導(dǎo)出A字段內(nèi)容，如通過身份證件號碼可推導(dǎo)出年齡、出生日期、性別等。分析填充可選擇分析字段，設(shè)置分析方法進(jìn)行分析并填充，方法包括但不限于：關(guān)聯(lián)分析：使用關(guān)聯(lián)分析的挖掘方法，尋找出強(qiáng)關(guān)聯(lián)的字段，根據(jù)強(qiáng)關(guān)聯(lián)字段關(guān)聯(lián)情況尋找最可能的值；聚類分析：使用聚類分析的挖掘方法，將非空數(shù)據(jù)記錄聚類成若干簇，根據(jù)簇中字段特點(diǎn)選擇最可能的值；回歸分析：使用回歸分析的挖掘方法計(jì)算最可能的值。規(guī)則填充可按照相關(guān)國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn)等規(guī)范文件中的規(guī)則和要求或者預(yù)設(shè)的規(guī)則進(jìn)行填充，如人的性別名稱為缺失值，性別代碼為1，按照GB/T2261.1—2003規(guī)則，對應(yīng)填充性別名稱為男性。違規(guī)值修正刪除處理記錄刪除出現(xiàn)以下情況可刪除違規(guī)記錄：關(guān)鍵字段存在違規(guī)值，且無法恢復(fù)，如自然人身份證件號碼為“330******1420”，無法識別到具體人員時可刪除記錄；編碼錯誤導(dǎo)致大量違規(guī)值存在，且無法恢復(fù)，如因編碼錯誤導(dǎo)致行駛證中車牌號數(shù)據(jù)存在大量“00000”時可刪除記錄；字段取值不符合邏輯，如存在幼兒園兒童入學(xué)年齡大于18歲的記錄時可刪除記錄。內(nèi)容刪除可刪除違規(guī)值字段內(nèi)容，作為空缺值處理，如自然人出生年月為違規(guī)值“2099-12-12”、自然人身高字段超過3?m等，可刪除該字段的內(nèi)容。字符刪除可設(shè)置規(guī)則后刪除違規(guī)字符，或直接將違規(guī)字符替換為空，出現(xiàn)以下情況可刪除違規(guī)字符：日期型或日期時間型數(shù)據(jù)中含有如“（）”等違規(guī)字符；姓名等字段中含有空格；身份證件號碼等字段中含有X以外的其它字母或字符。修改處理人工校驗(yàn)數(shù)據(jù)量較小，違規(guī)值較少的情況可采用人工校驗(yàn)修改方式，如自然人出生日期為“2010-12/12”，可人工修改為“2010-12-12”，人工修改違規(guī)值應(yīng)保證修正值的準(zhǔn)確度。字符替換可將違規(guī)字符進(jìn)行替換，替換方法包括但不限于：規(guī)則替換：設(shè)定替換規(guī)則，將不同的違規(guī)字符對應(yīng)替換為規(guī)則內(nèi)字符，如設(shè)定截取自然人身份證件號碼第7～14位為自然人出生日期的替換規(guī)則；精確替換：設(shè)置匹配規(guī)則做精確替換，如“&”替換為“和”；模糊替換：設(shè)置匹配規(guī)則做模糊替換，如“&***”（*代表其他字符）替換為“和”。字典匹配對于數(shù)據(jù)內(nèi)容不在字典內(nèi)的字段，可選擇字典匹配方式處理，匹配方式包括但不限于：模糊匹配：新增規(guī)則字典，設(shè)置匹配規(guī)則后做模糊對應(yīng)，如行政區(qū)劃名稱“XX”匹配替換“濟(jì)XX”；精確匹配：新增規(guī)則字典，設(shè)置匹配規(guī)則后做精確對應(yīng)，如XX行政區(qū)劃由“370181”變更為“370114”，可以此設(shè)置規(guī)則做精準(zhǔn)匹配替換。數(shù)值轉(zhuǎn)換數(shù)值型數(shù)據(jù)中存在數(shù)據(jù)單位不統(tǒng)一的情況，可采用數(shù)值轉(zhuǎn)換方式處理，如數(shù)據(jù)標(biāo)準(zhǔn)規(guī)定的單位是米，而待修正數(shù)據(jù)單位為厘米，可通過數(shù)值轉(zhuǎn)換的方式，對待修正數(shù)據(jù)除以100。數(shù)值轉(zhuǎn)換一般需人工分析并設(shè)置轉(zhuǎn)換規(guī)則。其他方式處理違規(guī)值的其他方式包括但不限于：近似填充：通過考察相近的值平衡違規(guī)值，可將違規(guī)值修改為離違規(guī)值最近的正常值，或修改為離違規(guī)值較近的若干個正常值的平均值等，如幼兒園兒童入學(xué)年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，將其修改為離違規(guī)值最近的正常值8歲；回歸分析：通過回歸函數(shù)擬合數(shù)據(jù)，光滑違規(guī)值，如幼兒園兒童入學(xué)年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，可將兒童按年齡分組，使用回歸相關(guān)算法，計(jì)算各年齡人數(shù)，將其修改為曲線中最平滑的數(shù)值；統(tǒng)計(jì)分析：依據(jù)統(tǒng)計(jì)的方法修改違規(guī)值，如將違規(guī)值修改為正常值的平均值，如幼兒園兒童入學(xué)年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，將其修改為正常值的平均值7歲；常量替換：將違規(guī)值替換為常量，如幼兒園兒童入學(xué)年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，將其修改為常量6歲。重復(fù)值修正字段排重對于重復(fù)字段，可選擇保留某一字段，刪除其它重復(fù)的字段，方式包括但不限于：人工選擇：由人工選擇保留字段，刪除其它重復(fù)字段；依標(biāo)準(zhǔn)保留：依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)，保留符合數(shù)據(jù)標(biāo)準(zhǔn)的字段；依質(zhì)量保留：依據(jù)數(shù)據(jù)質(zhì)量檢查結(jié)果，保留數(shù)據(jù)質(zhì)量問題最少的字段；順序保留：按字段出現(xiàn)的順序，保留第一個或最后一個字段。依關(guān)鍵字段的記錄排重多條記錄出現(xiàn)同一字段重復(fù)時，可選擇關(guān)鍵字段進(jìn)行排重，方式包括但不限于：人工選擇：由人工選擇保留記錄，刪除其它重復(fù)記錄；條件保留：設(shè)置條件規(guī)則和約束字段，XX按日期型或日期時間型字段保留離當(dāng)前日期最近的記錄；依質(zhì)量保留：依據(jù)數(shù)據(jù)質(zhì)量檢查結(jié)果，保留數(shù)據(jù)質(zhì)量問題最少的記錄；順序保留：按記錄出現(xiàn)的順序，保留第一條或最后一條記錄。依重復(fù)度的記錄排重可根據(jù)記錄的重復(fù)情況進(jìn)行排重，包括但不限于：完全重復(fù)：記錄完全一致，選擇保留其中一條記錄；不完全重復(fù)：設(shè)置對比字段的值，保留一條和對比字段的值完全一致的記錄。沖突值修正字段沖突處理字段推導(dǎo)方法對于不同字段之間存在沖突時，對具有強(qiáng)約束關(guān)系的字段，可以某字段作為標(biāo)準(zhǔn)字段，對其余字段進(jìn)行修改。如身份證件號碼、年齡及性別字段具有強(qiáng)約束關(guān)系，以身份證件號碼作為標(biāo)準(zhǔn)字段，與年齡或性別字段沖突時，通過身份證件號碼推導(dǎo)出正確的值并修改錯誤值。權(quán)威來源方法對于同一字段來自多個部門時，以權(quán)威部門來源為準(zhǔn)。如“身份證件號碼”以公安部門提供的數(shù)據(jù)為準(zhǔn)。大多數(shù)方法對于同一字段存在多條不同記錄時，以內(nèi)容相同的數(shù)量最多的記錄為準(zhǔn)。如一個人的“身高”有三條記錄為1.7?m，一條記錄為1?m，取1.7?m為其身高信息。新鮮度方法對于同一字段存在不同的時間屬性時，以時間最近的數(shù)據(jù)為準(zhǔn)。如一個人的“學(xué)位”兩年前為“碩士”，兩年后為“博士”，取“博士”為其學(xué)位信息。記錄沖突處理有關(guān)聯(lián)關(guān)系的記錄之間存在沖突時，可通過統(tǒng)計(jì)或邏輯分析等方式進(jìn)行處理。如合計(jì)項(xiàng)的值與列表項(xiàng)總和不一致，則通過統(tǒng)計(jì)方式人工分析處理并修改錯誤值。如人員列表中，不同的人對應(yīng)相同的駕駛證件號碼，則通過邏輯分析方式人工分析處理并修改錯誤值。數(shù)據(jù)轉(zhuǎn)換應(yīng)對通過數(shù)據(jù)質(zhì)量檢查和問題數(shù)據(jù)修正的歸集數(shù)據(jù)進(jìn)行轉(zhuǎn)換，將其轉(zhuǎn)換為符合數(shù)據(jù)標(biāo)準(zhǔn)的標(biāo)準(zhǔn)數(shù)據(jù)，數(shù)據(jù)轉(zhuǎn)換主要包括數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)代碼轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換規(guī)則示例見附錄E。如數(shù)據(jù)轉(zhuǎn)換失敗，應(yīng)查找原因，并在解決后重新進(jìn)行數(shù)據(jù)轉(zhuǎn)換；如數(shù)據(jù)轉(zhuǎn)換成功，應(yīng)對完成轉(zhuǎn)換的數(shù)據(jù)進(jìn)行核驗(yàn)，確認(rèn)數(shù)據(jù)是否符合標(biāo)準(zhǔn)。數(shù)據(jù)安全應(yīng)記錄數(shù)據(jù)探查時間、數(shù)據(jù)質(zhì)量檢查時間、數(shù)據(jù)質(zhì)量檢查內(nèi)容、數(shù)據(jù)質(zhì)量檢查結(jié)果、數(shù)據(jù)轉(zhuǎn)換結(jié)果等形成日志保存，并為查詢、導(dǎo)出和刪除等日志操作設(shè)置權(quán)限。應(yīng)對待修正數(shù)據(jù)和待轉(zhuǎn)換數(shù)據(jù)進(jìn)行備份，并確保備份數(shù)據(jù)的可用性。應(yīng)符合GB/T22239—2019中等級保護(hù)三級的要求，個人信息安全應(yīng)符合GB/T35273—2020要求。

（規(guī)范性）

數(shù)據(jù)清洗比對流程圖A.1規(guī)定了數(shù)據(jù)清洗比對流程。數(shù)據(jù)清洗比對流程

（資料性）

數(shù)據(jù)探查清單示例數(shù)據(jù)探查清單包括數(shù)據(jù)表探查清單和數(shù)據(jù)字段探查清單。數(shù)據(jù)表探查清單示例見表B.1。數(shù)據(jù)字段探查清單示例見表B.2。數(shù)據(jù)表探查清單示例所屬部門表名表注釋最后更新時間數(shù)據(jù)量是否更新更新周期XXX部門XXX_XX_XXXX信息202X-XX-XX10000是每月XXX局XX_XXXXXXXXXX變更信息202X-XX-XX10000是實(shí)時數(shù)據(jù)字段探查清單示例表名字段名字段注釋數(shù)據(jù)類型空值數(shù)量空值率是否允許空值是否主鍵是否有重復(fù)數(shù)據(jù)是否使用字典值域樣例數(shù)據(jù)XXXX_XXId主鍵ID；自增數(shù)值00.00%否是否否—100XXXX_XXis_deleted是否刪除：0未刪除；1刪除數(shù)值00.00%否否是是0、10

（資料性）

數(shù)據(jù)質(zhì)量檢查規(guī)則示例數(shù)據(jù)質(zhì)量檢查規(guī)則示例見表C.1。數(shù)據(jù)質(zhì)量檢查規(guī)則示例規(guī)則名稱規(guī)則說明字段完整檢查規(guī)則檢查字段數(shù)量與數(shù)據(jù)探查清單相比是否一致記錄完整檢查規(guī)則檢查記錄數(shù)量與數(shù)據(jù)探查清單相比是否一致空缺值檢查規(guī)則檢查值的填充是否完整，是否存在空缺值邏輯檢查規(guī)則檢查數(shù)據(jù)是否存在邏輯或常識性錯誤，如幼兒園入學(xué)年齡為18歲格式檢查規(guī)則檢查數(shù)據(jù)是否存在格式錯誤，如身份證件號碼長度大于18位值域檢查規(guī)則檢查數(shù)據(jù)的值是否在允許取值的范圍之內(nèi)字段重復(fù)檢查規(guī)則檢查字段是否存在重復(fù)記錄重復(fù)檢查規(guī)則檢查記錄是否存在重復(fù)數(shù)據(jù)沖突檢查規(guī)則檢查分布在不同表中的相同數(shù)據(jù)是否一致數(shù)據(jù)更新檢查規(guī)則檢查數(shù)據(jù)是否已按照要求進(jìn)行更新

（資料性）

數(shù)據(jù)質(zhì)量檢查報告示例數(shù)據(jù)質(zhì)量檢查報告示例見表D.1。數(shù)據(jù)質(zhì)量檢查報告示例數(shù)據(jù)質(zhì)量檢查報告報告日期：202X年XX月XX日總體情況：截止到202X年XX月XX日XX:XX，檢查總表數(shù)XX個，實(shí)施質(zhì)檢規(guī)則XX個，檢查記錄數(shù)XXXXX條。發(fā)現(xiàn)問題數(shù)據(jù)XXXX條。問題主要集中在XXXX規(guī)則上。數(shù)據(jù)時效性校驗(yàn)通過率為XX.XXXX%，更新情況較差。表數(shù)據(jù)量及問題率統(tǒng)計(jì)序號來源部門名稱數(shù)據(jù)資源名稱表名質(zhì)檢數(shù)據(jù)量（條）問題數(shù)據(jù)量（條）問題率（%）1XXX部門XXXX信息xx_xx_xxxx9999854785.479%2XXXX部門XXX信息xxx_xxxxxx9900.000%數(shù)據(jù)質(zhì)量問題序號表名字段名質(zhì)檢規(guī)則問題數(shù)據(jù)量（條）合格率（%）檢查時間1xxx_xxxxxxlianxidianhua固定電話號碼或電話號碼格式校驗(yàn)271397.683%202X年XX月XX日2xxx_xxxxxxchuanzhen傳真電話號碼格式校驗(yàn)2629177.555%202X年XX月XX日

（資料性）

數(shù)據(jù)轉(zhuǎn)換規(guī)則示例數(shù)據(jù)轉(zhuǎn)換規(guī)則示例見表E.1。數(shù)據(jù)轉(zhuǎn)換規(guī)則示例規(guī)則類型規(guī)則名稱規(guī)則說明格式轉(zhuǎn)換規(guī)則日期型統(tǒng)一格式轉(zhuǎn)換將各類日期型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—2005的日期型數(shù)據(jù)，如YYYYMMDD時間型統(tǒng)一格式轉(zhuǎn)換將各類時間型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—