DB54T 0426-2024 公共數(shù)據(jù) 數(shù)據(jù)質(zhì)量管理規(guī)范

ICS35.24054CCSL7854西 藏 自 治 區(qū) 地 方 標(biāo) 準(zhǔn)DB54/T0426—2024公共數(shù)據(jù) 數(shù)據(jù)質(zhì)量管理規(guī)范2024-11-18發(fā)布 2024-12-18實(shí)施西藏自治區(qū)市場(chǎng)監(jiān)督管理局??發(fā)布DB54/T0426—2024DB54/T0426—2024PAGE\*ROMANPAGE\*ROMANII目 次前言 II范圍 1規(guī)范性引用文件 1術(shù)語(yǔ)、定義和縮略語(yǔ) 1數(shù)據(jù)質(zhì)量管理原則 2數(shù)據(jù)質(zhì)量管理框架 2數(shù)據(jù)質(zhì)量職責(zé) 3數(shù)據(jù)質(zhì)量目標(biāo) 4數(shù)據(jù)質(zhì)量評(píng)價(jià)體系 4數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo) 4數(shù)據(jù)質(zhì)量規(guī)則 5數(shù)據(jù)質(zhì)量控制 5數(shù)據(jù)生存周期 5數(shù)據(jù)需求 5數(shù)據(jù)采集 5數(shù)據(jù)清洗 5數(shù)據(jù)應(yīng)用 5數(shù)據(jù)評(píng)估 6數(shù)據(jù)退役 6數(shù)據(jù)質(zhì)量檢查 6數(shù)據(jù)質(zhì)量檢查計(jì)劃 6數(shù)據(jù)質(zhì)量監(jiān)控 6數(shù)據(jù)質(zhì)量問(wèn)題處理 6數(shù)據(jù)質(zhì)量提升 6數(shù)據(jù)質(zhì)量問(wèn)題分析 6數(shù)據(jù)質(zhì)量改進(jìn) 7數(shù)據(jù)質(zhì)量跟蹤 7參考文獻(xiàn) 8前 言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由西藏自治區(qū)經(jīng)濟(jì)和信息化廳（自治區(qū)數(shù)據(jù)管理局）提出并歸口。（自治區(qū)數(shù)據(jù)管理局責(zé)任公司、國(guó)家工業(yè)信息安全發(fā)展研究中心。青、賀赟、陶煒、李云志、杜洪濤、欒燕、蔡長(zhǎng)亮。DB54/T0426DB54/T0426—2024PAGEPAGE10公共數(shù)據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范范圍本文件規(guī)定了數(shù)據(jù)主體單位及相關(guān)方開展公共數(shù)據(jù)質(zhì)量管理工作的要求，包括數(shù)據(jù)質(zhì)量管理原則、管理框架、質(zhì)量職責(zé)、質(zhì)量目標(biāo)、質(zhì)量評(píng)價(jià)體系、質(zhì)量控制、質(zhì)量檢查和質(zhì)量提升。本文件適用于西藏自治區(qū)各級(jí)機(jī)構(gòu)的公共數(shù)據(jù)質(zhì)量管理。規(guī)范性引用文件（包括所有的修改單）適用于本文件。GB/T25000.12系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaRE)第12部分：數(shù)據(jù)質(zhì)量模型GB/T36073數(shù)據(jù)管理能力成熟度評(píng)估模型GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)術(shù)語(yǔ)、定義和縮略語(yǔ)術(shù)語(yǔ)和定義GB/T36073和GB/T36344界定的以及下列術(shù)語(yǔ)和定義適用于本文件。數(shù)據(jù)質(zhì)量dataquality在指定條件下使用時(shí)，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。[來(lái)源：GB/T36344-2018，2.3]3.1.2數(shù)據(jù)生存周期datalifecycle將原始數(shù)據(jù)轉(zhuǎn)化為可用于行動(dòng)的知識(shí)的一組過(guò)程。[來(lái)源：GB/T36073-2018，3.14]3.1.3數(shù)據(jù)質(zhì)量規(guī)則dataqualityrules數(shù)據(jù)質(zhì)量規(guī)則是指判斷數(shù)據(jù)是否符合數(shù)據(jù)質(zhì)量要求的邏輯約束。3.1.4數(shù)據(jù)質(zhì)量控制dataqualitycontrol數(shù)據(jù)質(zhì)量控制是指通過(guò)數(shù)據(jù)質(zhì)量檢查、監(jiān)控等手段發(fā)現(xiàn)并反饋數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)的過(guò)程。3.1.5數(shù)據(jù)質(zhì)量改進(jìn)dataqualityimprove數(shù)據(jù)質(zhì)量改進(jìn)是指針對(duì)數(shù)據(jù)質(zhì)量問(wèn)題采取措施，對(duì)現(xiàn)有的數(shù)據(jù)質(zhì)量水平加以提高?？s略語(yǔ)下列縮略語(yǔ)適用于本文件。PDCA：“策劃-實(shí)施-檢查-處置”循環(huán)（Plan-Do-Check-Act）數(shù)據(jù)質(zhì)量管理原則實(shí)施數(shù)據(jù)質(zhì)量管理，應(yīng)遵循以下原則：聚焦關(guān)鍵數(shù)據(jù)（如主數(shù)據(jù)要性以及數(shù)據(jù)問(wèn)題的風(fēng)險(xiǎn)水平來(lái)判定。覆蓋全生存周期統(tǒng)之間的流轉(zhuǎn)過(guò)程。預(yù)防為主上。根因修正不僅僅是修正數(shù)據(jù)。融入治理用元數(shù)據(jù)工具。數(shù)據(jù)質(zhì)量管理框架PDCA見圖14個(gè)階段。圖1 數(shù)據(jù)質(zhì)量管理閉環(huán)架構(gòu)各階段詳細(xì)要求如下：策劃據(jù)質(zhì)量評(píng)價(jià)的維度和指標(biāo)體系、質(zhì)量規(guī)則，識(shí)別所需的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、業(yè)務(wù)規(guī)則；實(shí)施流通、應(yīng)用的全生存周期進(jìn)行管理控制；檢查警等監(jiān)控任務(wù)，并配套實(shí)施質(zhì)量問(wèn)題記錄、查詢、分發(fā)、跟蹤等管理機(jī)制；處置——數(shù)據(jù)質(zhì)量分析與提升，建立數(shù)據(jù)質(zhì)量評(píng)估及分析方法，對(duì)檢查結(jié)果進(jìn)行質(zhì)量評(píng)估和問(wèn)題分析，——將相關(guān)分析成果和問(wèn)題形成質(zhì)量知識(shí)庫(kù)；提升質(zhì)量等，形成良好的數(shù)據(jù)質(zhì)量文化。數(shù)據(jù)質(zhì)量職責(zé)公共數(shù)據(jù)的管理機(jī)構(gòu)或團(tuán)隊(duì)，應(yīng)賦予相關(guān)人員角色的數(shù)據(jù)質(zhì)量職責(zé)：首席數(shù)據(jù)官（或分管領(lǐng)導(dǎo)）作為數(shù)據(jù)質(zhì)量管理工作的最高決策者、負(fù)責(zé)人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——下達(dá)數(shù)據(jù)質(zhì)量目標(biāo)；——簽發(fā)數(shù)據(jù)質(zhì)量評(píng)價(jià)及考核結(jié)果；——基于數(shù)據(jù)質(zhì)量考核結(jié)果及改進(jìn)狀況，對(duì)相應(yīng)領(lǐng)域數(shù)據(jù)責(zé)任人進(jìn)行獎(jiǎng)勵(lì)及問(wèn)責(zé)。數(shù)據(jù)質(zhì)量主管作為數(shù)據(jù)質(zhì)量管理工作的主要監(jiān)督管理人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——牽頭制定數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)質(zhì)量計(jì)劃、數(shù)據(jù)質(zhì)量報(bào)告；——組織實(shí)施數(shù)據(jù)質(zhì)量檢查和質(zhì)量問(wèn)題分析、整改和跟蹤驗(yàn)證工作；——負(fù)責(zé)審核相關(guān)質(zhì)量文件、報(bào)告和整改措施。各業(yè)務(wù)/子系統(tǒng)負(fù)責(zé)人作為所轄業(yè)務(wù)領(lǐng)域數(shù)據(jù)質(zhì)量的負(fù)責(zé)人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——承接本單位最高數(shù)據(jù)責(zé)任人設(shè)定的數(shù)據(jù)質(zhì)量目標(biāo)；——建立、實(shí)施、保持和持續(xù)改進(jìn)所轄領(lǐng)域數(shù)據(jù)質(zhì)量管理體系；——向最高數(shù)據(jù)責(zé)任人報(bào)告數(shù)據(jù)質(zhì)量管理體系的績(jī)效和改進(jìn)需求；——基于所轄領(lǐng)域的數(shù)據(jù)質(zhì)量結(jié)果及改進(jìn)狀況，對(duì)相應(yīng)的業(yè)務(wù)數(shù)據(jù)責(zé)任人進(jìn)行獎(jiǎng)勵(lì)及問(wèn)責(zé)；——負(fù)責(zé)與所轄領(lǐng)域數(shù)據(jù)質(zhì)量管理的相關(guān)外部聯(lián)系工作。各業(yè)務(wù)數(shù)據(jù)責(zé)任人作為所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量的負(fù)責(zé)人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——承接所屬領(lǐng)域數(shù)據(jù)責(zé)任人設(shè)定的數(shù)據(jù)質(zhì)量目標(biāo)；——建立、實(shí)施、保持和持續(xù)改進(jìn)所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量管理體系；——向所屬領(lǐng)域數(shù)據(jù)責(zé)任人報(bào)告數(shù)據(jù)質(zhì)量管理體系的績(jī)效和改進(jìn)需求；——明確所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量問(wèn)題改進(jìn)責(zé)任人，并推動(dòng)問(wèn)題閉環(huán)管理；——負(fù)責(zé)與所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量管理工作的相關(guān)外部聯(lián)系工作。數(shù)據(jù)質(zhì)量目標(biāo)數(shù)據(jù)質(zhì)量管理是一個(gè)持續(xù)的過(guò)程，為有效地進(jìn)行數(shù)據(jù)質(zhì)量管理，應(yīng)達(dá)到以下目標(biāo)：建立數(shù)據(jù)質(zhì)量管理組織，承擔(dān)最終質(zhì)量審查監(jiān)督職能，質(zhì)量問(wèn)題有人負(fù)責(zé)；建立完善的數(shù)據(jù)質(zhì)量管理規(guī)范，質(zhì)量管理有章可循；建立數(shù)據(jù)質(zhì)量管理平臺(tái)，進(jìn)行質(zhì)量評(píng)估、問(wèn)題改進(jìn)系統(tǒng)記錄，質(zhì)量評(píng)估有據(jù)可查；建立數(shù)據(jù)質(zhì)量管理績(jī)效體系，針對(duì)質(zhì)量管理進(jìn)行目標(biāo)管理、績(jī)效考核，質(zhì)量考核有人監(jiān)督。數(shù)據(jù)質(zhì)量評(píng)價(jià)體系數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)GB/T25000.12-2017GB/T36344-2018度評(píng)價(jià)指標(biāo)包括但不限于：的符合性度量；完整性評(píng)價(jià)指標(biāo)，對(duì)于數(shù)據(jù)元和數(shù)據(jù)記錄的賦值的完整性度量；出現(xiàn)率的度量；度量；可訪問(wèn)性評(píng)價(jià)指標(biāo)，對(duì)于數(shù)據(jù)在需要時(shí)的可獲取性，以及在設(shè)定有效期的可用性度量。數(shù)據(jù)質(zhì)量規(guī)則規(guī)則進(jìn)行持續(xù)維護(hù)與優(yōu)化，并同步更新數(shù)據(jù)質(zhì)量規(guī)則庫(kù)。法，具體要求如下：根據(jù)數(shù)據(jù)質(zhì)量評(píng)價(jià)維度和業(yè)務(wù)需要，制定詳細(xì)的數(shù)據(jù)質(zhì)量技術(shù)指標(biāo)；精度校驗(yàn)、唯一性約束校驗(yàn)、主鍵及外鍵校驗(yàn)等；結(jié)合應(yīng)用場(chǎng)景，定義業(yè)務(wù)規(guī)則，保證數(shù)據(jù)具有合理性；SQL數(shù)據(jù)質(zhì)量控制數(shù)據(jù)生存周期數(shù)據(jù)質(zhì)量管理活動(dòng)應(yīng)貫穿于數(shù)據(jù)生存周期的各個(gè)階段，應(yīng)符合圖2的規(guī)定。圖2 數(shù)據(jù)生存周期質(zhì)量控制數(shù)據(jù)需求數(shù)據(jù)管理方應(yīng)對(duì)數(shù)據(jù)需求進(jìn)行評(píng)估，確認(rèn)所需公共數(shù)據(jù)的開放主體。際需求的一致性。公共數(shù)據(jù)開放主體應(yīng)按照公共數(shù)據(jù)目錄規(guī)范編制開放數(shù)據(jù)目錄。數(shù)據(jù)采集數(shù)據(jù)管理方應(yīng)嚴(yán)格按照9.2的要求，采集滿足相關(guān)需求的公共數(shù)據(jù)。數(shù)據(jù)清洗9.3完整性、準(zhǔn)確性、一致性和時(shí)效性等要求。數(shù)據(jù)應(yīng)用質(zhì)量進(jìn)行驗(yàn)證，將相關(guān)結(jié)果反饋給平臺(tái)數(shù)據(jù)管理方。數(shù)據(jù)管理方應(yīng)積極響應(yīng)公共數(shù)據(jù)使用方提出的相關(guān)需求。數(shù)據(jù)應(yīng)滿足規(guī)范性、完整性、準(zhǔn)確性、一致性、時(shí)效性和可訪問(wèn)性等要求。數(shù)據(jù)評(píng)估數(shù)據(jù)管理方應(yīng)聯(lián)合公共數(shù)據(jù)開放主體和公共數(shù)據(jù)使用方，開展數(shù)據(jù)評(píng)估工作。數(shù)據(jù)退役數(shù)據(jù)管理方應(yīng)結(jié)合9.6的評(píng)估結(jié)果及相關(guān)政策要求，對(duì)不再適合開放的數(shù)據(jù)進(jìn)行歸檔或銷毀。數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量檢查計(jì)劃務(wù)，制定相應(yīng)的數(shù)據(jù)質(zhì)量檢查計(jì)劃，內(nèi)容主要包括：數(shù)據(jù)質(zhì)量檢查的業(yè)務(wù)點(diǎn)位、系統(tǒng)點(diǎn)位；檢查的數(shù)據(jù)對(duì)象；檢查的項(xiàng)目、指標(biāo)、方法、方式、工具；檢查的時(shí)間、頻次；檢查人員及相關(guān)的數(shù)據(jù)質(zhì)量責(zé)任人員；檢查結(jié)果的輸出要求；其他相關(guān)檢查任務(wù)調(diào)度信息等。數(shù)據(jù)質(zhì)量監(jiān)控量情況進(jìn)行實(shí)時(shí)監(jiān)控和校驗(yàn)，監(jiān)控要求包括但不限于：對(duì)數(shù)據(jù)進(jìn)行監(jiān)控，明確數(shù)據(jù)的來(lái)源和去向；對(duì)規(guī)則校驗(yàn)的結(jié)果進(jìn)行監(jiān)控和分析，校驗(yàn)結(jié)果應(yīng)定位到原始數(shù)據(jù)項(xiàng)。數(shù)據(jù)質(zhì)量問(wèn)題處理及關(guān)聯(lián)數(shù)據(jù)；對(duì)數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行分類、統(tǒng)計(jì)，形成數(shù)據(jù)質(zhì)量報(bào)表。數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量問(wèn)題分析質(zhì)量問(wèn)題原因與影響分析方面的內(nèi)容包括但不限于：信息原因，指數(shù)據(jù)規(guī)范性異常，包括元數(shù)據(jù)標(biāo)準(zhǔn)異常、數(shù)據(jù)質(zhì)量規(guī)則異常、變化頻度異常等；用、維護(hù)和稽核等流程；據(jù)存儲(chǔ)能力有限等，主要涉及數(shù)據(jù)創(chuàng)建、獲取、傳輸、裝載、使用、維護(hù)等環(huán)節(jié)；不足等；響；問(wèn)題影響程度，可根據(jù)受影響的業(yè)務(wù)性質(zhì)、造成的損失、修復(fù)難度等，將影響程度分級(jí)描述，比如一般影響、嚴(yán)重影響、重大影響等。數(shù)據(jù)質(zhì)量改進(jìn)用系統(tǒng)問(wèn)題修復(fù)等，具體要求如下：規(guī)則，比如糾正源系統(tǒng)中的數(shù)據(jù)；數(shù)據(jù)增強(qiáng)。通過(guò)給數(shù)據(jù)增加屬性以提高其質(zhì)量和可用性，比如時(shí)間戳、審計(jì)數(shù)據(jù)、參考數(shù)據(jù)、語(yǔ)境信息、地理信息、人口信息等；業(yè)務(wù)流程優(yōu)化。通過(guò)業(yè)務(wù)流程優(yōu)化，從根本上減少數(shù)據(jù)問(wèn)題發(fā)生，比如改進(jìn)數(shù)據(jù)輸入的流程；應(yīng)用系統(tǒng)問(wèn)題修復(fù)。比如增加防止數(shù)據(jù)輸入錯(cuò)誤的功能。數(shù)據(jù)質(zhì)量跟蹤析、后續(xù)行動(dòng)、人員反饋等信息，并進(jìn)行以下措施：驗(yàn)證質(zhì)量問(wèn)題的糾正和改進(jìn)效果，比如問(wèn)題的消失、合格率的提升、數(shù)據(jù)的增值等