公共數(shù)據(jù) 數(shù)據(jù)治理規(guī)范 第2部分：數(shù)據(jù)清洗比對

1公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第2部分：數(shù)據(jù)清洗比對本文件規(guī)定了公共數(shù)據(jù)清洗比對的數(shù)據(jù)探查、數(shù)據(jù)質(zhì)量檢查、問題數(shù)據(jù)修正、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)安全等要求。本文件適用于對歸集至省一體化大數(shù)據(jù)平臺的數(shù)據(jù)開展數(shù)據(jù)清洗比對工作，各級公共管理和服務機構(gòu)數(shù)據(jù)清洗比對工作參照執(zhí)行。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T2261.1—2003個人基本信息分類與代碼第1部分：個人性別代碼GB/T22239—2019信息安全技術(shù)網(wǎng)絡安全等級保護基本要求GB/T35273—2020信息安全技術(shù)個人信息安全規(guī)范GB/T36344—2018信息技術(shù)數(shù)據(jù)質(zhì)量評價指標DB37/T4646.1—2023公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第1部分：數(shù)據(jù)歸集3術(shù)語和定義DB37/T4646.1—2023界定的以及下列術(shù)語和定義適用于本文件。3.1數(shù)據(jù)標準datastandard數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值范圍方面的規(guī)則和基準。[來源：GB/T36344—2018，2.8]4概述對歸集至省一體化大數(shù)據(jù)平臺的數(shù)據(jù)進行清洗比對，通過數(shù)據(jù)探查、數(shù)據(jù)質(zhì)量檢查、問題數(shù)據(jù)修正和數(shù)據(jù)轉(zhuǎn)換，提升數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗比對流程應符合附錄A。5數(shù)據(jù)探查5.1應根據(jù)數(shù)據(jù)庫表結(jié)構(gòu)、數(shù)據(jù)字典等，對歸集數(shù)據(jù)進行數(shù)據(jù)探查，形成數(shù)據(jù)探查清單，示例見附錄B。5.2如存在數(shù)據(jù)探查清單與數(shù)據(jù)庫表結(jié)構(gòu)不一致、數(shù)據(jù)字典缺失等情況，應進行補充修改。6數(shù)據(jù)質(zhì)量檢查6.1檢查規(guī)則制定26.1.1數(shù)據(jù)質(zhì)量檢查規(guī)則應基于GB/T36344中的數(shù)據(jù)質(zhì)量評價指標制定，數(shù)據(jù)質(zhì)量檢查規(guī)則應符合國家標準、行業(yè)標準和地方標準。6.1.2數(shù)據(jù)質(zhì)量檢查規(guī)則應基于業(yè)務特征和數(shù)據(jù)特點制定，并同步至數(shù)據(jù)質(zhì)量檢查規(guī)則庫，數(shù)據(jù)質(zhì)量檢查規(guī)則示例見附錄C。6.1.3數(shù)據(jù)質(zhì)量檢查規(guī)則應通過數(shù)據(jù)質(zhì)量檢查規(guī)則庫統(tǒng)籌管理并進行動態(tài)更新維護。6.2質(zhì)量檢查實施應基于數(shù)據(jù)探查清單為歸集數(shù)據(jù)配置數(shù)據(jù)質(zhì)量檢查規(guī)則，進行數(shù)據(jù)質(zhì)量檢查，生成數(shù)據(jù)質(zhì)量檢查報告。數(shù)據(jù)質(zhì)量檢查報告包括但不限于數(shù)據(jù)質(zhì)量總體情況、表數(shù)據(jù)質(zhì)量情況、問題數(shù)據(jù)情況等，數(shù)據(jù)質(zhì)量檢查報告示例見附錄D。7問題數(shù)據(jù)修正7.1數(shù)據(jù)修正要求7.1.1對于存在數(shù)據(jù)質(zhì)量問題的歸集數(shù)據(jù)，應根據(jù)數(shù)據(jù)質(zhì)量檢查報告選擇合適的數(shù)據(jù)修正方法，其中：a)對于存在字段缺失、記錄缺失和數(shù)值缺失的數(shù)據(jù)應選擇合適的缺失值修正方法，主要包括刪除處理和填充處理；b)對于存在邏輯、格式、值域等問題的數(shù)據(jù)應選擇合適的違規(guī)值修正方法，主要包括刪除處理和修改處理；c)對于存在字段重復和記錄重復的數(shù)據(jù)應選擇合適的重復值修正方法，主要包括字段排重、依關(guān)鍵字段的記錄排重和依重復度的記錄排重；d)對于存在沖突的數(shù)據(jù)應選擇合適的沖突值修正方法，主要包括字段沖突處理和記錄沖突處理；e)對于未及時更新的數(shù)據(jù)，應對數(shù)據(jù)盡快進行更新。7.1.2應將完成修正的數(shù)據(jù)重新歸集至省一體化大數(shù)據(jù)平臺。7.2數(shù)據(jù)修正方法7.2.1缺失值修正7.2.1.1刪除處理出現(xiàn)以下情況可刪除空缺記錄：a)某條記錄的一個或多個關(guān)鍵字段空缺；b)某條記錄字段缺失率超過設(shè)定的值，且缺失值字段重要性低。7.2.1.2填充處理7.2.1.2.1線下人工校驗填充缺失字段重要性高時可通過線下人工校驗等方法進行填充，以保證填充值的準確率，如人工對接相關(guān)機構(gòu)獲取信息進行填充。7.2.1.2.2常量填充可對空缺值進行常量填充，即使用一個常量填充該字段所有空缺值。7.2.1.2.3統(tǒng)計填充3可對該字段中非空缺值進行統(tǒng)計，根據(jù)統(tǒng)計結(jié)果選擇空缺值填充內(nèi)容，要求包括但不限于：a)字段類型為數(shù)值型時，可使用非空缺值的平均值、最大值、最小值、眾數(shù)、某分位數(shù)等進行填充；b)字段類型為日期型和日期時間型時，可使用非空缺值的平均日期或時間、最近日期或時間、最遠日期或時間等進行填充；c)字段類型為字符型時，可對非空缺值分類并統(tǒng)計出各類別的數(shù)量和占比，根據(jù)各類別數(shù)量或占比選擇如最大量、最小量等進行填充。7.2.1.2.4條件填充可根據(jù)該條記錄中其它非空字段的特點，設(shè)置關(guān)聯(lián)條件，對空缺值進行填充。設(shè)定A字段為待填充的含空缺值的字段，B為關(guān)聯(lián)字段，要求包括但不限于：a)B字段與A字段存在強關(guān)聯(lián)關(guān)系，可通過B字段推理出A字段的內(nèi)容，如學位為碩士的記錄，對應學歷為研究生；b)B字段對A字段有約束關(guān)系，可通過B字段推導出A字段內(nèi)容，如通過身份證件號碼可推導出年齡、出生日期、性別等。7.2.1.2.5分析填充可選擇分析字段，設(shè)置分析方法進行分析并填充，方法包括但不限于：a)關(guān)聯(lián)分析：使用關(guān)聯(lián)分析的挖掘方法，尋找出強關(guān)聯(lián)的字段，根據(jù)強關(guān)聯(lián)字段關(guān)聯(lián)情況尋找最可能的值；b)聚類分析：使用聚類分析的挖掘方法，將非空數(shù)據(jù)記錄聚類成若干簇，根據(jù)簇中字段特點選擇最可能的值；c)回歸分析：使用回歸分析的挖掘方法計算最可能的值。7.2.1.2.6規(guī)則填充可按照相關(guān)國家標準、行業(yè)標準和地方標準等規(guī)范文件中的規(guī)則和要求或者預設(shè)的規(guī)則進行填充，如人的性別名稱為缺失值，性別代碼為1，按照GB/T2261.1—2003規(guī)則，對應填充性別名稱為男性。7.2.2違規(guī)值修正7.2.2.1刪除處理7.2.2.1.1記錄刪除出現(xiàn)以下情況可刪除違規(guī)記錄：a)關(guān)鍵字段存在違規(guī)值，且無法恢復，如自然人身份證件號碼為“330******1420”，無法識別到具體人員時可刪除記錄；b)編碼錯誤導致大量違規(guī)值存在，且無法恢復，如因編碼錯誤導致行駛證中車牌號數(shù)據(jù)存在大量“00000”時可刪除記錄；c)字段取值不符合邏輯，如存在幼兒園兒童入學年齡大于18歲的記錄時可刪除記錄。7.2.2.1.2內(nèi)容刪除可刪除違規(guī)值字段內(nèi)容，作為空缺值處理，如自然人出生年月為違規(guī)值“2099-12-12”、自然人身高字段超過3m等，可刪除該字段的內(nèi)容。7.2.2.1.3字符刪除4可設(shè)置規(guī)則后刪除違規(guī)字符，或直接將違規(guī)字符替換為空，出現(xiàn)以下情況可刪除違規(guī)字符：a)日期型或日期時間型數(shù)據(jù)中含有如“()”等違規(guī)字符；b)姓名等字段中含有空格；c)身份證件號碼等字段中含有X以外的其它字母或字符。7.2.2.2修改處理7.2.2.2.1人工校驗數(shù)據(jù)量較小，違規(guī)值較少的情況可采用人工校驗修改方式，如自然人出生日期為“2010-12/12”，可人工修改為“2010-12-12”，人工修改違規(guī)值應保證修正值的準確度。7.2.2.2.2字符替換可將違規(guī)字符進行替換，替換方法包括但不限于：a)規(guī)則替換：設(shè)定替換規(guī)則，將不同的違規(guī)字符對應替換為規(guī)則內(nèi)字符，如設(shè)定截取自然人身份證件號碼第7～14位為自然人出生日期的替換規(guī)則；b)精確替換：設(shè)置匹配規(guī)則做精確替換，如“&”替換為“和”；c)模糊替換：設(shè)置匹配規(guī)則做模糊替換，如“&***”（*代表其他字符）替換為“和”。7.2.2.2.3字典匹配對于數(shù)據(jù)內(nèi)容不在字典內(nèi)的字段，可選擇字典匹配方式處理，匹配方式包括但不限于：a)模糊匹配：新增規(guī)則字典，設(shè)置匹配規(guī)則后做模糊對應，如行政區(qū)劃名稱“濟南”匹配替換“濟南市”；b)精確匹配：新增規(guī)則字典，設(shè)置匹配規(guī)則后做精確對應，如章丘行政區(qū)劃由“370181”變更為“370114”，可以此設(shè)置規(guī)則做精準匹配替換。7.2.2.2.4數(shù)值轉(zhuǎn)換數(shù)值型數(shù)據(jù)中存在數(shù)據(jù)單位不統(tǒng)一的情況，可采用數(shù)值轉(zhuǎn)換方式處理，如數(shù)據(jù)標準規(guī)定的單位是米，而待修正數(shù)據(jù)單位為厘米，可通過數(shù)值轉(zhuǎn)換的方式，對待修正數(shù)據(jù)除以100。數(shù)值轉(zhuǎn)換一般需人工分析并設(shè)置轉(zhuǎn)換規(guī)則。7.2.2.3其他方式處理違規(guī)值的其他方式包括但不限于：a)近似填充：通過考察相近的值平衡違規(guī)值，可將違規(guī)值修改為離違規(guī)值最近的正常值，或修改為離違規(guī)值較近的若干個正常值的平均值等，如幼兒園兒童入學年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，將其修改為離違規(guī)值最近的正常值8歲；b)回歸分析：通過回歸函數(shù)擬合數(shù)據(jù)，光滑違規(guī)值，如幼兒園兒童入學年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，可將兒童按年齡分組，使用回歸相關(guān)算法，計算各年齡人數(shù)，將其修改為曲線中最平滑的數(shù)值；c)統(tǒng)計分析：依據(jù)統(tǒng)計的方法修改違規(guī)值，如將違規(guī)值修改為正常值的平均值，如幼兒園兒童入學年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，將其修改為正常值的平均值7歲；d)常量替換：將違規(guī)值替換為常量，如幼兒園兒童入學年齡數(shù)據(jù)中，有一條數(shù)據(jù)為18歲，其他人為5～8歲，將其修改為常量6歲。7.2.3重復值修正5DB37/T4646.2—20237.2.3.1字段排重對于重復字段，可選擇保留某一字段，刪除其它重復的字段，方式包括但不限于：a)人工選擇：由人工選擇保留字段，刪除其它重復字段；b)依標準保留：依據(jù)數(shù)據(jù)標準，保留符合數(shù)據(jù)標準的字段；c)依質(zhì)量保留：依據(jù)數(shù)據(jù)質(zhì)量檢查結(jié)果，保留數(shù)據(jù)質(zhì)量問題最少的字段；d)順序保留：按字段出現(xiàn)的順序，保留第一個或最后一個字段。7.2.3.2依關(guān)鍵字段的記錄排重多條記錄出現(xiàn)同一字段重復時，可選擇關(guān)鍵字段進行排重，方式包括但不限于：a)人工選擇：由人工選擇保留記錄，刪除其它重復記錄；b)條件保留：設(shè)置條件規(guī)則和約束字段，比如按日期型或日期時間型字段保留離當前日期最近的記錄；c)依質(zhì)量保留：依據(jù)數(shù)據(jù)質(zhì)量檢查結(jié)果，保留數(shù)據(jù)質(zhì)量問題最少的記錄；d)順序保留：按記錄出現(xiàn)的順序，保留第一條或最后一條記錄。7.2.3.3依重復度的記錄排重可根據(jù)記錄的重復情況進行排重，包括但不限于：a)完全重復：記錄完全一致，選擇保留其中一條記錄；b)不完全重復：設(shè)置對比字段的值，保留一條和對比字段的值完全一致的記錄。7.2.4沖突值修正7.2.4.1字段沖突處理7.2.4.1.1字段推導方法對于不同字段之間存在沖突時，對具有強約束關(guān)系的字段，可以某字段作為標準字段，對其余字段進行修改。如身份證件號碼、年齡及性別字段具有強約束關(guān)系，以身份證件號碼作為標準字段，與年齡或性別字段沖突時，通過身份證件號碼推導出正確的值并修改錯誤值。7.2.4.1.2權(quán)威來源方法對于同一字段來自多個部門時，以權(quán)威部門來源為準。如“身份證件號碼”以公安部門提供的數(shù)據(jù)為準。7.2.4.1.3大多數(shù)方法對于同一字段存在多條不同記錄時，以內(nèi)容相同的數(shù)量最多的記錄為準。如一個人的“身高”有三條記錄為1.7m，一條記錄為1m，取1.7m為其身高信息。7.2.4.1.4新鮮度方法對于同一字段存在不同的時間屬性時，以時間最近的數(shù)據(jù)為準。如一個人的“學位”兩年前為“碩士”，兩年后為“博士”，取“博士”為其學位信息。7.2.4.2記錄沖突處理6有關(guān)聯(lián)關(guān)系的記錄之間存在沖突時，可通過統(tǒng)計或邏輯分析等方式進行處理。如合計項的值與列表項總和不一致，則通過統(tǒng)計方式人工分析處理并修改錯誤值。如人員列表中，不同的人對應相同的駕駛證件號碼，則通過邏輯分析方式人工分析處理并修改錯誤值。8數(shù)據(jù)轉(zhuǎn)換應對通過數(shù)據(jù)質(zhì)量檢查和問題數(shù)據(jù)修正的歸集數(shù)據(jù)進行轉(zhuǎn)換，將其轉(zhuǎn)換為符合數(shù)據(jù)標準的標準數(shù)據(jù)，數(shù)據(jù)轉(zhuǎn)換主要包括數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)代碼轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換規(guī)則示例見附錄E。如數(shù)據(jù)轉(zhuǎn)換失敗，應查找原因，并在解決后重新進行數(shù)據(jù)轉(zhuǎn)換；如數(shù)據(jù)轉(zhuǎn)換成功，應對完成轉(zhuǎn)換的數(shù)據(jù)進行核驗，確認數(shù)據(jù)是否符合標準。9數(shù)據(jù)安全9.1應記錄數(shù)據(jù)探查時間、數(shù)據(jù)質(zhì)量檢查時間、數(shù)據(jù)質(zhì)量檢查內(nèi)容、數(shù)據(jù)質(zhì)量檢查結(jié)果、數(shù)據(jù)轉(zhuǎn)換結(jié)果等形成日志保存，并為查詢、導出和刪除等日志操作設(shè)置權(quán)限。9.2應對待修正數(shù)據(jù)和待轉(zhuǎn)換數(shù)據(jù)進行備份，并確保備份數(shù)據(jù)的可用性。9.3應符合GB/T22239—2019中等級保護三級的要求，個人信息安全應符合GB/T35273—2020要求。（規(guī)范性）數(shù)據(jù)清洗比對流程圖A.1規(guī)定了數(shù)據(jù)清洗比對流程。圖A.1數(shù)據(jù)清洗比對流程8（資料性）數(shù)據(jù)探查清單示例數(shù)據(jù)探查清單包括數(shù)據(jù)表探查清單和數(shù)據(jù)字段探查清單。數(shù)據(jù)表探查清單示例見表B.1。數(shù)據(jù)字段探查清單示例見表B.2。表B.1數(shù)據(jù)表探查清單示例是是表B.2數(shù)據(jù)字段探查清單示例增0否是否否 未刪除；10否否是是0、109（資料性）數(shù)據(jù)質(zhì)量檢查規(guī)則示例數(shù)據(jù)質(zhì)量檢查規(guī)則示例見表C.1。表C.1數(shù)據(jù)質(zhì)量檢查規(guī)則示例檢查字段數(shù)量與數(shù)據(jù)探查清單相比是否一致檢查記錄數(shù)量與數(shù)據(jù)探查清單相比是否一致檢查數(shù)據(jù)是否存在邏輯或常識性錯誤，如幼兒園入檢查數(shù)據(jù)是否存在格式錯誤，如身份證件號碼檢查分布在不同表中的相同數(shù)據(jù)是否一致（資料性）數(shù)據(jù)質(zhì)量檢查報告示例數(shù)據(jù)質(zhì)量檢查報告示例見表D.1。表D.1數(shù)據(jù)質(zhì)量檢查報告示例截止到202X年XX月XX日XX:XX稱12012（資料性）數(shù)據(jù)轉(zhuǎn)換規(guī)則示例數(shù)據(jù)轉(zhuǎn)換規(guī)則示例見表E.1。表E.1數(shù)據(jù)轉(zhuǎn)換規(guī)則示例將各類時間型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—2005的時間型數(shù)據(jù)，如h換換參考文獻[1]GB/T2261.2—2003個人基本信息分類與代碼第2部分：婚姻狀況代碼[2]