DB23T 3211-2022“互聯(lián)網(wǎng) 監(jiān)管”系統(tǒng)大數(shù)據(jù)中心數(shù)據(jù)質(zhì)量規(guī)范

ⅠICS35.240.20CCSL67黑龍DB23江省地方標(biāo)準(zhǔn)DBT022黑龍江省市場監(jiān)督管理局發(fā)布ⅠDB23/T3211—2022前言本文件按照GB/T1.1-2020給出的規(guī)則起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別這些專利的責(zé)任。本文件由黑龍江省營商環(huán)境建設(shè)監(jiān)督局提出并歸口。本文件主要起草單位：黑龍江省營商環(huán)境建設(shè)監(jiān)督局、黑龍江省政務(wù)大數(shù)據(jù)中心、黑龍江省標(biāo)準(zhǔn)化研究院、天陽宏業(yè)科技股份有限公司。本文件主要起草人：王艷、闞洪錦、姜虹、景艷馥、彭雪松、劉曉華、劉晨鑫、王增仁、趙成立、鄭輝、陳要武、楊大志、呂猛、王磊、李嚴(yán)、王艷君、劉思妤、張敬。1DB23/T3211—2022“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)大數(shù)據(jù)中心數(shù)據(jù)質(zhì)量規(guī)范1范圍本文件規(guī)范了黑龍江省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)的數(shù)據(jù)匯聚過程中對數(shù)據(jù)質(zhì)量要求與非標(biāo)準(zhǔn)數(shù)據(jù)的反饋流程。本文件適用于黑龍江省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)大數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量工作。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。DB23/T2832-2021“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)監(jiān)管數(shù)據(jù)規(guī)范第1部分：監(jiān)管基礎(chǔ)數(shù)據(jù)DB23/T2833-2021“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)監(jiān)管數(shù)據(jù)規(guī)范第2部分：監(jiān)管行為數(shù)據(jù)DB23/T2834-2021“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)監(jiān)管數(shù)據(jù)規(guī)范第3部分：監(jiān)管輔助數(shù)據(jù)3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)大數(shù)據(jù)中心按照國家“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)，匯聚本省監(jiān)管數(shù)據(jù)，建設(shè)監(jiān)管數(shù)據(jù)中心，形成各類監(jiān)管數(shù)據(jù)庫，建立數(shù)據(jù)動態(tài)更新機制，不斷提高數(shù)據(jù)質(zhì)量，滿足數(shù)據(jù)上報、共享、分析等需要。3.2數(shù)據(jù)質(zhì)量在指定條件下使用時,數(shù)據(jù)的特性滿足明確的和隱含的要求的程度，確保數(shù)據(jù)的及時性、完整性、準(zhǔn)確性。3.3數(shù)據(jù)安全數(shù)據(jù)的安全性、完整性和可用性。4數(shù)據(jù)質(zhì)量4.1目標(biāo)與范圍按照DB23/T2832-2021、DB23/T2833-2021和DB23/T2834-2021的規(guī)定執(zhí)行。對匯聚上報的數(shù)據(jù)進行抽取、清洗、去重、比對、校核、標(biāo)準(zhǔn)化轉(zhuǎn)換、關(guān)聯(lián)整合等處理并且依據(jù)治理規(guī)則進行數(shù)據(jù)治理，提升并入省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)大數(shù)據(jù)中心基礎(chǔ)庫的數(shù)據(jù)質(zhì)量。2DB23/T3211—20224.1.1質(zhì)量目標(biāo)保證數(shù)據(jù)安全，實現(xiàn)數(shù)據(jù)資源在省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)的各應(yīng)用系統(tǒng)應(yīng)用以及在各市(地)的數(shù)據(jù)共享。4.1.2數(shù)據(jù)范圍從中省直部門、各市(地)匯聚的監(jiān)管對象、監(jiān)管行為、執(zhí)法人員、信用信息、投訴舉報、互聯(lián)網(wǎng)及第三方機構(gòu)數(shù)據(jù)、雙隨機一公開計劃等監(jiān)管相關(guān)數(shù)據(jù)。4.2工作說明數(shù)據(jù)質(zhì)量的主要工作是針對接入的數(shù)據(jù)啟動數(shù)據(jù)治理，對于發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，要啟動錯誤數(shù)據(jù)反饋流程，協(xié)同中省直部門和各市(地)的數(shù)據(jù)源方共同處理。為了中省直部門、各市(地)上報的數(shù)據(jù)完整、可用，通過數(shù)據(jù)治理處理過的數(shù)據(jù)問題，能夠自動并及時反饋給中省直部門、各市(地)，中省直部門、各市(地)獲取到數(shù)據(jù)質(zhì)量報告后及時重新把相應(yīng)數(shù)據(jù)完善再進行上報。4.3工作流程4.3.1工作流程圖“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)數(shù)據(jù)匯聚工作流程，見圖1。圖1數(shù)據(jù)匯聚工作流程示意圖4.3.2數(shù)據(jù)采集入庫3DB23/T3211—2022匯入省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)大數(shù)據(jù)中心的數(shù)據(jù)，納入數(shù)據(jù)治理的范疇。中省直部門、各市(地)通過省政務(wù)信息共享交換平臺實現(xiàn)監(jiān)管數(shù)據(jù)發(fā)布，省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)通過訂閱獲取監(jiān)管數(shù)據(jù)，然后將中省直部門、各市(地)的監(jiān)管數(shù)據(jù)加載進入省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)的匯聚庫。4.3.3數(shù)據(jù)質(zhì)量核查監(jiān)管數(shù)據(jù)進入監(jiān)管數(shù)據(jù)匯聚庫后，對每類數(shù)據(jù)配置治理規(guī)則，對于接入的數(shù)據(jù)，啟動質(zhì)量核查流程。將通過質(zhì)量檢核的監(jiān)管數(shù)據(jù)進入大數(shù)據(jù)中心主題庫和專題庫，并將數(shù)據(jù)質(zhì)量檢核的過程及結(jié)果生成檢核結(jié)果記錄表留存至省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)上；對于質(zhì)量檢核未通過的錯誤數(shù)據(jù)進行標(biāo)識并生成錯誤數(shù)據(jù)表，在匯聚庫進行數(shù)據(jù)治理后的錯誤數(shù)據(jù)進入數(shù)據(jù)治理錯誤庫。4.3.4數(shù)據(jù)治理核查規(guī)則監(jiān)管數(shù)據(jù)從監(jiān)管數(shù)據(jù)匯聚庫進入監(jiān)管大數(shù)據(jù)專題庫和主題庫時，按照DB23/T2832-2021、DB23/T2833-2021和DB23/T2834-2021規(guī)定執(zhí)行。4.3.5錯誤數(shù)據(jù)反饋治理后的的錯誤數(shù)據(jù)標(biāo)識針對中省直部門、各市(地)通過服務(wù)注冊進行數(shù)據(jù)服務(wù)發(fā)布，由相應(yīng)的中省直部門、各市(地)進行訂閱。中省直部門、各市(地)訂閱接收到該錯誤數(shù)據(jù)后，進行核對處理，并及時再匯聚上報正確的監(jiān)管數(shù)據(jù)。4.3.6錯誤數(shù)據(jù)訂閱4.3.6.1中省直部門、各市(地)都有一張對應(yīng)的數(shù)據(jù)治理錯誤庫表，在省政務(wù)信息共享平臺訂閱該數(shù)據(jù)資源目錄，獲取到錯誤數(shù)據(jù)反饋情況。監(jiān)管數(shù)據(jù)治理錯誤表(見表1)。生成需要治理的數(shù)據(jù)記錄后，及時完成這些錯誤數(shù)據(jù)的修訂并再次匯聚上報到省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)。表1監(jiān)管數(shù)據(jù)治理錯誤表序號字段名中文名稱數(shù)據(jù)格式必填項備注1cd_lsh自增流水號N20是自行插入2table_name數(shù)據(jù)表名C255是存在錯誤數(shù)據(jù)的數(shù)據(jù)表名3cd_id原數(shù)據(jù)主鍵編碼C64是錯誤數(shù)據(jù)原來的主鍵編碼(原值)，方便各部門查詢到原數(shù)據(jù)4org_code部門編碼C50是數(shù)據(jù)來源部門編碼5cd_source數(shù)據(jù)來源系統(tǒng)編碼C64是數(shù)據(jù)來源的系統(tǒng)編碼6cd_batch數(shù)據(jù)批次號C32是批次號7cd_time數(shù)據(jù)增量時間DateTime是錯誤數(shù)據(jù)入庫時間8error_detail錯誤原因Text是錯誤數(shù)據(jù)描述信息9create_time錯誤數(shù)據(jù)治理時間DateTime是錯誤數(shù)據(jù)治理時間省“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)應(yīng)每天統(tǒng)計數(shù)據(jù)治理錯誤庫表，統(tǒng)計每天有多少條不符合治理規(guī)則的數(shù)據(jù)，按照數(shù)據(jù)來源系統(tǒng)、部門、數(shù)據(jù)增量時間分組將統(tǒng)計結(jié)果存入省“互聯(lián)網(wǎng)+監(jiān)管”市(地)工作進展情況統(tǒng)計表。不合格監(jiān)管數(shù)據(jù)統(tǒng)計表(見表2)。4DB23/T3211—2022表2不合格監(jiān)管數(shù)據(jù)統(tǒng)計表序號字段名中文名稱數(shù)據(jù)格式必填項備注1area_number區(qū)劃編碼C6是數(shù)據(jù)來源部門所屬區(qū)劃編碼2area_name區(qū)劃名稱C150是數(shù)據(jù)來源部門所屬區(qū)劃名稱3org_code部門編碼C50是數(shù)據(jù)來源部門編碼4org_name部門名稱C15