DBJT45T 052-2023 交通運輸政務數(shù)據(jù)治理技術(shù)指南

JT45TechnicalguidefortransportgovernmI 2 2 2 2 3 3 3 3 3 3 4 4 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 6 6 6 6 6 本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件起草單位：廣西交通設(shè)計集團有限公司、廣西壯族自治區(qū)交通運輸信息管理中劉鵬博、周敏璐、劉海南、周開制、黃中章、本文件主要審查人：李文勇、張小健、李琳、姚育章、吳川、楊曉東1交通運輸政務數(shù)據(jù)治理技術(shù)指南本文件界定了交通運輸政務數(shù)據(jù)治理技術(shù)的術(shù)語和定義，規(guī)定了交通運輸政務數(shù)據(jù)治理技術(shù)的總則、數(shù)據(jù)框架與治理范圍、數(shù)據(jù)標準維護管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量審計、數(shù)據(jù)質(zhì)量提升、安全要求。本文件適用于廣西壯族自治區(qū)行政區(qū)域內(nèi)公路、水路、道路運輸政務數(shù)據(jù)的治理。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T34960.1信息技術(shù)服務治理第1部分：通用要求GB/T34960.5信息技術(shù)服務治理第5部分：數(shù)據(jù)治理規(guī)范GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評價指標GB/T37378-2019交通運輸信息安全規(guī)范JT/T697(所有部分)交通信息基礎(chǔ)數(shù)據(jù)元3術(shù)語和定義由交通運輸政務部門或者為交通運輸政務部門采集、加工、使用、處理的數(shù)據(jù)。包括交通運輸政務部門依法采集的數(shù)據(jù)、交通運輸政務部門在履行職能過程中產(chǎn)生和生成的數(shù)據(jù)、交通運輸政務部門投資建設(shè)和外購服務獲取的數(shù)據(jù)、交通運輸政務部門依法授權(quán)管理的數(shù)據(jù)等。數(shù)據(jù)元dataelement通過定義、標識、表示以及允許值等一系列屬性描述的數(shù)據(jù)單元。在特定的語意環(huán)境中被認定為不可再分的最小數(shù)據(jù)單元。數(shù)據(jù)標準datastandard數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值范圍方面的規(guī)則和基準。數(shù)據(jù)治理datagovernance數(shù)據(jù)資源及其應用過程中相關(guān)管控活動、績效和風險管理的集合。數(shù)據(jù)質(zhì)量dataquality在指定條件下使用時，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。24.1數(shù)據(jù)質(zhì)量的評估衡量應符合GB/T36344的要求，主要有規(guī)范性、完整性、準確性、一致性、時效性、可訪問性6類指標。4.2本文件涉及的技術(shù)架構(gòu)，宜符合GB/T34960.1、GB/T34960.5、《交通運輸政務信息資源目錄編制指南(試行)》、《交通運輸信息資源交換共享與開放應用平臺省級工程建設(shè)指南》的規(guī)定。《廣西政務數(shù)據(jù)“聚通用”實施細則(試行)》、《廣西政務數(shù)據(jù)治理實施方案》的要求開展。5數(shù)據(jù)框架與治理范圍5.1數(shù)據(jù)框架內(nèi)容。本文件僅對數(shù)據(jù)治理做規(guī)范化要求，如圖1所示。管理管理管理管理資源數(shù)據(jù)安全圖1交通運輸政務數(shù)據(jù)治理框架5.2治理范圍3——數(shù)據(jù)治理平臺域應包括數(shù)據(jù)治理平臺框架、平臺應用、平臺維護，并選擇合理的平臺工具；——數(shù)據(jù)治理實施域宜包括數(shù)據(jù)標準維護管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等專題實施工作。6數(shù)據(jù)標準維護管理6.1維護管理內(nèi)容數(shù)據(jù)標準維護管理的主要內(nèi)容應包含數(shù)據(jù)標準錄入、審核與發(fā)布、標準維護、標準查詢、標準映射與評估等，見圖2。開始開始標準錄入審核與發(fā)布標準映射與評估標準查詢標準維護圖2數(shù)據(jù)標準維護管理內(nèi)容6.2技術(shù)要求6.2.1數(shù)據(jù)標準錄入數(shù)據(jù)標準錄入的要求如下：——遵照國家標準、行業(yè)標準、地方標準的內(nèi)容和要求，以及數(shù)據(jù)標準業(yè)務性質(zhì)，提供信息實體、基礎(chǔ)數(shù)據(jù)元、基礎(chǔ)代碼集、術(shù)語定義及其相關(guān)屬性的錄入；——基礎(chǔ)數(shù)據(jù)元應符合JT/T697(所有部分)的要求，同時預留出兼容其他相關(guān)國家標準、行業(yè)標準、地方標準等要求的字段；——數(shù)據(jù)標準錄入應支持列表自動導入和人工錄入功能。6.2.2審核與發(fā)布數(shù)據(jù)標準錄入后，應根據(jù)實際管理要求，設(shè)置審核流程，審核人員通過后，經(jīng)過主管部門的審批后可予以發(fā)布。6.2.3數(shù)據(jù)標準映射數(shù)據(jù)標準映射的要求如下：——實現(xiàn)數(shù)據(jù)標準與元數(shù)據(jù)的關(guān)聯(lián)與映射，包括元數(shù)據(jù)關(guān)聯(lián)標準和標準關(guān)聯(lián)元數(shù)據(jù)兩種方式；4——數(shù)據(jù)標準與元數(shù)據(jù)映射前，應充分搜集元數(shù)據(jù)相關(guān)的國家標準、行業(yè)標準、地方標準，并全6.2.5.1交通運輸數(shù)據(jù)標準出現(xiàn)新增、變更、廢止等情況時，應及時完成標準的錄入、變更、刪除等6.2.5.2數(shù)據(jù)標準管理信息系統(tǒng)應支持對標準進行備份與恢復，保證數(shù)據(jù)標準與數(shù)據(jù)的版本對應。元數(shù)據(jù)管理基本內(nèi)容包括元數(shù)據(jù)采集、存儲、——關(guān)系型和非關(guān)系型數(shù)據(jù)庫；——對象和文件存儲。任務狀態(tài)、開始時間、結(jié)束時間、耗時、日志詳情等內(nèi)5表1元數(shù)據(jù)采集任務監(jiān)控項說明表說明簡要描述采集任務的相關(guān)信息任務開始時間采集任務的開始時間，格式為"yyyy-mm-ddh任務結(jié)束時間采集任務的結(jié)束時間，格式為"yyyy-mm-ddh最近一次執(zhí)行結(jié)果采集任務最近一次的執(zhí)行結(jié)果。成功，取值記錄采集任務每次調(diào)度的詳細日志信息7.2.3元數(shù)據(jù)存儲元數(shù)據(jù)存儲在業(yè)務邏輯上應滿足多版本管理的要求。存儲中應設(shè)置標簽區(qū)分元數(shù)據(jù)版本。技術(shù)邏輯上應按照結(jié)構(gòu)化數(shù)據(jù)的存儲方式，宜選擇關(guān)系數(shù)據(jù)庫存儲。7.2.4元模型管理交通運輸政務數(shù)據(jù)元模型應包括關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫、ETL工具、對象和文件系統(tǒng)等類型。關(guān)系型數(shù)據(jù)庫應包括庫、表空間、表、視圖、字段、主鍵、外鍵、函數(shù)、存儲過程、觸發(fā)器等模型，具體模型屬性以滿足實際治理需求為準。其他類型的元模型應根據(jù)實際技術(shù)特點支持技術(shù)人員定義。7.2.5元數(shù)據(jù)查詢對元數(shù)據(jù)名稱、代碼、類型、版本、創(chuàng)建時間等元數(shù)據(jù)的查詢。7.2.6元數(shù)據(jù)分析元數(shù)據(jù)分析包括血緣分析和影響分析：——血緣分析。針對數(shù)據(jù)采集(產(chǎn)生)的元數(shù)據(jù)、數(shù)據(jù)存儲的元數(shù)據(jù)、數(shù)據(jù)加工處理的元數(shù)據(jù)、數(shù)據(jù)流轉(zhuǎn)交換的元數(shù)據(jù)依次記錄，全面反映當前數(shù)據(jù)對象的血緣關(guān)系；——影響分析。依據(jù)當前數(shù)據(jù)對象與下游數(shù)據(jù)對象的關(guān)系，模擬元數(shù)據(jù)變更后對下游數(shù)據(jù)的影響。8數(shù)據(jù)質(zhì)量審計8.1審計規(guī)則管理8.1.1審計規(guī)則審計規(guī)則類型包括：——技術(shù)規(guī)則：包括數(shù)據(jù)庫是否可訪問、數(shù)據(jù)類型與數(shù)據(jù)標準規(guī)定是否匹配、數(shù)據(jù)長度和精度與數(shù)據(jù)標準規(guī)定是否匹配、取值是否存在空值、非結(jié)構(gòu)化數(shù)據(jù)的索引是否空值等；——業(yè)務規(guī)則：包括車輛號牌位數(shù)約束、船檢編號規(guī)范約束、車輛類型規(guī)范約束、路線基礎(chǔ)數(shù)據(jù)編碼規(guī)范約束、高速公路車輛通行費金額值域約束等。若存在國家標準、交通運輸行業(yè)標準、地方標準或交通運輸部、自治區(qū)有相應的規(guī)范與要求，應滿足其要求；——其他規(guī)則：通過政務服務、其他部門多源比對等方式設(shè)定規(guī)則，對數(shù)據(jù)質(zhì)量進行校核。6審計規(guī)則內(nèi)容應包含規(guī)則名稱、規(guī)則代碼、主題表、檢查字段、規(guī)——新建規(guī)則：包括新建單條規(guī)則、批量新建規(guī)則，通過標準新建規(guī)則。新建規(guī)則時應對規(guī)則進——刪除規(guī)則：包括單條刪除和批量刪除。將規(guī)則按照實際業(yè)務邏輯配置成相應的審計任務，進行相關(guān)數(shù)據(jù)質(zhì)量的審計。任務的開始時間，格式為“yyyy-mm-ddhh:mm:ss”任務的結(jié)束時間，格式為“yyyy-mm-ddhh:mm:ss”78.3.3數(shù)據(jù)質(zhì)量統(tǒng)計管理數(shù)據(jù)質(zhì)量審計結(jié)果宜多維度進行分析統(tǒng)計。8.3.4審計報告管理審計結(jié)果應生成詳細的數(shù)據(jù)質(zhì)量審計報告。審計任務管理應采用信息化管理技術(shù)，管理系統(tǒng)審計結(jié)果導出包括分類(如按業(yè)務系統(tǒng)、數(shù)據(jù)所屬機構(gòu)等)導出和整體導出。導出形式應支持Excel、Html和XML格式。9數(shù)據(jù)質(zhì)量提升9.1事前預防在數(shù)據(jù)生產(chǎn)器(即信息系統(tǒng)、傳感器等)建設(shè)過程中，應基于第6章數(shù)據(jù)標準維護管理技術(shù)，約束各類數(shù)據(jù)生產(chǎn)器的設(shè)計與研發(fā)。9.2事中監(jiān)控事中監(jiān)控包括以下環(huán)節(jié)：a)質(zhì)量監(jiān)控：應利用第8章中數(shù)據(jù)質(zhì)量審計技術(shù)，對數(shù)據(jù)源、采集工具(ETL等)進行審計監(jiān)測；b)問題定位：應利用第7章中元數(shù)據(jù)血緣分析技術(shù)，定位數(shù)據(jù)質(zhì)量問題發(fā)生的環(huán)節(jié)和具體位置；c)質(zhì)量提升：應引入閉環(huán)管理流程，引入工單流程引擎技術(shù)，提升數(shù)據(jù)質(zhì)量。9.3事后改善應在數(shù)據(jù)質(zhì)量事中提升后，結(jié)合數(shù)據(jù)血緣和影響分析，形成體系化的數(shù)據(jù)質(zhì)量提升措施，實現(xiàn)