DB3212T 1147-2023公共數(shù)據(jù)采集規(guī)范DIS

ICS35.020CCSL70 DB3212泰 州 市 地 方 標(biāo) 準(zhǔn)DB3212/T1147—2023公共數(shù)據(jù)采集規(guī)范Specificationsforpublicdataacquisition2023-12-312023-12-312024-01-31發(fā)布DB3212/T1147—2023前 言GB/T1.1—20201請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由泰州市大數(shù)據(jù)管理局提出、歸口并組織實(shí)施、監(jiān)督。本文件由泰州市大數(shù)據(jù)管理局負(fù)責(zé)具體技術(shù)內(nèi)容的解釋。本文件起草單位：泰州市大數(shù)據(jù)管理局、泰州市標(biāo)準(zhǔn)化院。本文件主要起草人：陸建龍、陳書劍、李海鵬、孫慧、趙文濤、王小冬、陳書劍、劉小芳、吳薇、陳藍(lán)生、王友成、張婧嫻、郭健。IIDB3212/T1147—2023DB3212/T1147—2023DB3212/T1147—2023DB3212/T1147—2023公共數(shù)據(jù)采集規(guī)范范圍本文件規(guī)定了公共數(shù)據(jù)采集的基本原則、數(shù)據(jù)采集、數(shù)據(jù)安全保障等內(nèi)容。本文件適用于公共數(shù)據(jù)主管部門面向公共管理和服務(wù)機(jī)構(gòu)，對(duì)公共數(shù)據(jù)進(jìn)行收集、匯聚、整合。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T38888數(shù)據(jù)采集軟件的性能及校準(zhǔn)方法術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1公共數(shù)據(jù)publicdata公共管理和服務(wù)機(jī)構(gòu)為履行法定職責(zé)、提供公共服務(wù)收集、產(chǎn)生的，以電子或者其他方式對(duì)具有公共使用價(jià)值的信息的記錄。稅務(wù)、海關(guān)、金融監(jiān)督管理等國家有關(guān)部門派駐泰州管理機(jī)構(gòu)提供的數(shù)據(jù)。3.2公共數(shù)據(jù)平臺(tái)publicdataplatform3.3公共管理和服務(wù)機(jī)構(gòu)publicadministrationandserviceagencies各級(jí)行政機(jī)關(guān)、法律法規(guī)授權(quán)的具有管理公共事務(wù)職能的組織、公共企事業(yè)單位。3.4數(shù)據(jù)采集dataacquisition公共數(shù)據(jù)主管部門面向公共管理和服務(wù)機(jī)構(gòu)，對(duì)公共數(shù)據(jù)進(jìn)行收集、匯聚、整合的行為和過程?；驹瓌t公共數(shù)據(jù)采集宜遵循以下基本原則：——統(tǒng)籌性：統(tǒng)籌數(shù)據(jù)采集要求，建立省市區(qū)協(xié)同聯(lián)動(dòng)機(jī)制；——合規(guī)性：按照法定職責(zé)和采集標(biāo)準(zhǔn)，獲取公共管理和服務(wù)機(jī)構(gòu)依法收集的數(shù)據(jù)；——準(zhǔn)確性：真實(shí)反映客觀事物的狀態(tài)；——完整性：明確數(shù)據(jù)采集的范圍、內(nèi)容及目標(biāo)，數(shù)據(jù)采集宜覆蓋項(xiàng)目所規(guī)定的內(nèi)容，不宜造成數(shù)據(jù)的缺失和遺漏；——時(shí)效性：明確數(shù)據(jù)采集的頻率和方式，實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)更新；——安全性：加強(qiáng)公共數(shù)據(jù)采集過程中的安全保障。數(shù)據(jù)采集數(shù)據(jù)采集方案1采集方案應(yīng)包括采集內(nèi)容、采集頻率、采集方式等。本行業(yè)、本領(lǐng)域公共數(shù)據(jù)可以由市級(jí)公共管理和服務(wù)機(jī)構(gòu)統(tǒng)一向市公共數(shù)據(jù)平臺(tái)匯聚。公共數(shù)據(jù)平臺(tái)應(yīng)支持增量更新、全量更新、定時(shí)更新、事件觸發(fā)更新和手動(dòng)更新等方式。公共數(shù)據(jù)平臺(tái)提供多種標(biāo)準(zhǔn)協(xié)議的服務(wù)接入方式，包括但不限于數(shù)據(jù)庫抽取、服務(wù)網(wǎng)關(guān)、消息隊(duì)列、文件傳輸、直報(bào)系統(tǒng)、標(biāo)準(zhǔn)協(xié)議接口。宜使用公共管理和服務(wù)機(jī)構(gòu)的數(shù)據(jù)備份庫作為采集對(duì)象，使用備份庫時(shí)應(yīng)保證數(shù)據(jù)一致性和可用性。對(duì)于海量數(shù)據(jù)，宜支持分批或增量讀取，宜采用分布式方式對(duì)數(shù)據(jù)源進(jìn)行讀取。在線采集確定數(shù)據(jù)項(xiàng)間的邏輯關(guān)系，通過數(shù)據(jù)服務(wù)接口協(xié)議進(jìn)行數(shù)據(jù)傳輸，實(shí)現(xiàn)對(duì)接采集。數(shù)據(jù)協(xié)議方如發(fā)生數(shù)據(jù)變更，可根據(jù)業(yè)務(wù)需要申請(qǐng)?jiān)黾訑?shù)據(jù)信息項(xiàng)目，由公共數(shù)據(jù)平臺(tái)依申請(qǐng)負(fù)責(zé)創(chuàng)建數(shù)據(jù)項(xiàng)。GB/T38888數(shù)據(jù)清洗對(duì)原始數(shù)據(jù)開展數(shù)據(jù)清洗管理，定義清洗規(guī)則，分析、檢查和處理數(shù)據(jù)源存在的質(zhì)量問題。對(duì)定義的清洗方法的正確性和效率進(jìn)行驗(yàn)證與評(píng)估，對(duì)不滿足清洗要求的清洗方法進(jìn)行調(diào)整和改進(jìn)。數(shù)據(jù)轉(zhuǎn)換應(yīng)對(duì)數(shù)據(jù)的標(biāo)準(zhǔn)代碼、格式、類型等進(jìn)行轉(zhuǎn)換。必要時(shí)應(yīng)建立數(shù)據(jù)轉(zhuǎn)換規(guī)則表。數(shù)據(jù)質(zhì)量控制對(duì)采集的原始數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、分析等處理，數(shù)據(jù)質(zhì)量控制應(yīng)符合以下要求：——完整性：應(yīng)包含數(shù)據(jù)規(guī)則要求的數(shù)據(jù)的必要元素；——準(zhǔn)確性：應(yīng)真實(shí)反映數(shù)據(jù)所描述的實(shí)體；——一致性：應(yīng)保證數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾；——時(shí)效性：應(yīng)保證數(shù)據(jù)發(fā)生變化后及時(shí)被更新；——可訪問性：應(yīng)保證數(shù)據(jù)在需要時(shí)能被安全訪問；——可追性：應(yīng)保證數(shù)據(jù)能夠被跟蹤和管理。數(shù)據(jù)安全保障有關(guān)主管部門、公共數(shù)據(jù)平臺(tái)方、公共管理和服務(wù)機(jī)構(gòu)開展公共數(shù)據(jù)采集應(yīng)建立健全全流程數(shù)據(jù)安全管理制度，落實(shí)公共數(shù)據(jù)安全保護(hù)責(zé)任，保障數(shù)據(jù)安全。公共數(shù)據(jù)平臺(tái)應(yīng)建立公共數(shù)據(jù)資源安全管理制度，分級(jí)管理、按流程申請(qǐng)、按流程修改。確保數(shù)據(jù)來源的合法性、正當(dāng)性、可定位溯源性，滿足公共數(shù)據(jù)資源采集審計(jì)及監(jiān)測(cè)的要求。公共數(shù)據(jù)平臺(tái)方應(yīng)建立公共數(shù)據(jù)安全監(jiān)測(cè)、安全審計(jì)、數(shù)字簽名、數(shù)據(jù)加密等技術(shù)或手段，對(duì)不同數(shù)據(jù)進(jìn)行分類并標(biāo)識(shí).采用安全技術(shù)進(jìn)行安全維護(hù)。2公共數(shù)據(jù)平臺(tái)方開展公共數(shù)據(jù)管理安全培訓(xùn)，編制公共數(shù)據(jù)安全培訓(xùn)規(guī)劃，培訓(xùn)公共數(shù)據(jù)專業(yè)知識(shí)，開展公共數(shù)據(jù)安全工作經(jīng)驗(yàn)交流，宣傳公共數(shù)據(jù)安全知識(shí)等。公共數(shù)據(jù)平臺(tái)應(yīng)明確數(shù)據(jù)采集過程中個(gè)人信息和重要數(shù)據(jù)的知悉范圍和安全管控措施。并采取必要的技術(shù)手段和管理措施保證數(shù)據(jù)不被泄露。公共管理和服務(wù)機(jī)構(gòu)應(yīng)梳理接入應(yīng)用系統(tǒng)和終端的公共數(shù)據(jù)，確定接入終端數(shù)量、網(wǎng)絡(luò)帶寬和接評(píng)價(jià)與改進(jìn)應(yīng)建立公共