DB14-T 2526-2022 工業(yè)互聯(lián)網(wǎng)綜合平臺(tái) 數(shù)據(jù)質(zhì)量管理要求

ICS35.240.50CCSL70142022-08-18發(fā)布IDB14/T2526—2022前言 2規(guī)范性引用文件 3術(shù)語和定義 4縮略語 5數(shù)據(jù)分類 26數(shù)據(jù)質(zhì)量特性 27數(shù)據(jù)質(zhì)量管理 37.1數(shù)據(jù)質(zhì)量管理框架 37.2數(shù)據(jù)質(zhì)量管理流程 37.3數(shù)據(jù)質(zhì)量管理工具 4參考文獻(xiàn) 7DB14/T2526—2022本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由山西省工業(yè)和信息化廳提出、組織實(shí)施和監(jiān)督檢查。山西省市場監(jiān)督管理局對(duì)標(biāo)準(zhǔn)的組織實(shí)施情況進(jìn)行監(jiān)督檢查。本文件由山西省物聯(lián)網(wǎng)和人工智能標(biāo)準(zhǔn)化技術(shù)委員會(huì)歸口。本文件起草單位：山西大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司、華為技術(shù)有限公司、浪潮工業(yè)互聯(lián)網(wǎng)股份有限公司、新華三技術(shù)有限公司、精英數(shù)智科技股份有限公司、山西中科同昌智能科技有限公司。本文件主要起草人：陽軍、王文逾、吉鳳鳴、劉耀宏、劉泱、張國華、張尚禮、高巍、王盾、劉品杰、劉贊、呂洪、龔大立、袁鐸、趙存會(huì)、王延輝、王學(xué)斌、吳喆峰、朱曉寧、杜石磊、楊少封、林薇、彭祖煒、伍云山、李志國、郭曉軍、王俊、李鵬飛、楊向東、張志芳、余小占、韓麗娟、路旭、張晶亮、李炳增、李峰、張漢超、顧朝陽。1DB14/T2526—2022工業(yè)互聯(lián)網(wǎng)綜合平臺(tái)數(shù)據(jù)質(zhì)量管理要求本文件規(guī)定了工業(yè)互聯(lián)網(wǎng)綜合平臺(tái)數(shù)據(jù)的分類、質(zhì)量特性以及質(zhì)量管理的框架、流程和工具。本文件適用于工業(yè)互聯(lián)網(wǎng)綜合平臺(tái)數(shù)據(jù)質(zhì)量的管理、檢測、分析和提升。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T36344—2018信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)GB/T39400—2020工業(yè)數(shù)據(jù)質(zhì)量通用技術(shù)規(guī)范3術(shù)語和定義GB/T39400—2020界定的以及下列術(shù)語和定義適用于本文件。3.1工業(yè)互聯(lián)網(wǎng)綜合平臺(tái)industrialinternetintegratedplatform以工業(yè)互聯(lián)網(wǎng)平臺(tái)為基礎(chǔ)，支持匯聚數(shù)據(jù)、服務(wù)、用戶等各類資源，具備數(shù)據(jù)集成分析、應(yīng)用支撐能力和基礎(chǔ)應(yīng)用能力，支持省域內(nèi)特色型、專業(yè)型、企業(yè)級(jí)等平臺(tái)的集成和接入，支撐制造資源泛在連接、彈性供給、高效配置和協(xié)同創(chuàng)新的載體。3.2數(shù)據(jù)質(zhì)量dataquality數(shù)據(jù)的一組固有特性滿足要求的程度。[來源：GB/T39400—2020,3.1]3.3數(shù)據(jù)質(zhì)量管理dataqualitymanagement指導(dǎo)和控制某機(jī)構(gòu)數(shù)據(jù)質(zhì)量的協(xié)調(diào)活動(dòng)。[來源：GB/T39400—2020,3.2]3.4數(shù)據(jù)質(zhì)量管理工具dataqualitymanagementtool運(yùn)用信息化技術(shù)和管理方法來規(guī)劃、實(shí)施與控制數(shù)據(jù)質(zhì)量的識(shí)別、評(píng)估、提升等一系列活動(dòng)。4縮略語下列縮略語適用于本文件。App：應(yīng)用程序（Application）2DB14/T2526—2022SQL：結(jié)構(gòu)化查詢語言（StructuredQueryLanguage）5數(shù)據(jù)分類工業(yè)互聯(lián)網(wǎng)綜合平臺(tái)數(shù)據(jù)包括但不限于煤炭、制造、物流運(yùn)輸、電力、燃?xì)?、建筑、水?wù)、現(xiàn)代服務(wù)、化工、冶金等各個(gè)行業(yè)領(lǐng)域產(chǎn)品和服務(wù)全生命周期產(chǎn)生和應(yīng)用的數(shù)據(jù)，可分為以下類型：a)研發(fā)數(shù)據(jù)：包括研發(fā)設(shè)計(jì)數(shù)據(jù)、開發(fā)測試數(shù)據(jù)等；b)生產(chǎn)數(shù)據(jù)：包括控制信息、工況狀態(tài)、工藝參數(shù)、系統(tǒng)日志、生產(chǎn)質(zhì)量數(shù)據(jù)、生產(chǎn)實(shí)績數(shù)據(jù)c)供應(yīng)鏈數(shù)據(jù)：包括供需計(jì)劃數(shù)據(jù)、倉儲(chǔ)物流數(shù)據(jù)等；d)營銷數(shù)據(jù)：包括投標(biāo)次數(shù)、訂單數(shù)量、交易金額、客戶異議數(shù)據(jù)等；e)運(yùn)維數(shù)據(jù)：包括產(chǎn)品運(yùn)行狀況數(shù)據(jù)、產(chǎn)品售后服務(wù)數(shù)據(jù)等；f)管理數(shù)據(jù)：包括客戶基本信息、業(yè)務(wù)合作數(shù)據(jù)、人事財(cái)務(wù)數(shù)據(jù)、系統(tǒng)設(shè)備資產(chǎn)信息、產(chǎn)品基本信息、項(xiàng)目進(jìn)度數(shù)據(jù)、業(yè)務(wù)統(tǒng)計(jì)數(shù)據(jù)（如資源量數(shù)據(jù)、能耗監(jiān)測數(shù)據(jù)）等；g)金融服務(wù)數(shù)據(jù)：包括信貸服務(wù)數(shù)據(jù)、融資租賃服務(wù)數(shù)據(jù)、征信服務(wù)數(shù)據(jù)等；h)平臺(tái)運(yùn)營數(shù)據(jù)：接入的設(shè)備數(shù)據(jù)、工業(yè)模型庫數(shù)據(jù)、工業(yè)App數(shù)據(jù)、平臺(tái)運(yùn)行數(shù)據(jù)等；i)外部數(shù)據(jù)：與其他主體共享的數(shù)據(jù)。6數(shù)據(jù)質(zhì)量特性根據(jù)GB/T36344—2018中第3章和第5章，工業(yè)互聯(lián)網(wǎng)綜合平臺(tái)數(shù)據(jù)質(zhì)量特性包括：a)規(guī)范性：數(shù)據(jù)符合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)或權(quán)威參考數(shù)據(jù)的程度；1)數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值規(guī)范方面的規(guī)則和基準(zhǔn)；2)數(shù)據(jù)模型是對(duì)分析的圖像和文本表述，該分析識(shí)別了組織為完成其使命、功能、目標(biāo)、目的和戰(zhàn)略，以及管理和評(píng)價(jià)組織所需要的數(shù)據(jù)；3)業(yè)務(wù)規(guī)則是一種權(quán)威性原則或指導(dǎo)方針，用來描述業(yè)務(wù)交互，并建立行動(dòng)和數(shù)據(jù)行為結(jié)果及完整性的規(guī)則；4)元數(shù)據(jù)是關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)(可能包括其數(shù)據(jù)描述),以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問權(quán)和數(shù)據(jù)易變性的數(shù)據(jù)。5)權(quán)威參考數(shù)據(jù)是系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)庫、流程、報(bào)告或平臺(tái)日志記錄用來參考的特定字段的有效數(shù)據(jù)集合。b)完整性：按照數(shù)據(jù)規(guī)則要求，數(shù)據(jù)元素被賦予數(shù)值的程度。即數(shù)據(jù)信息是否存在缺失的狀況，包括數(shù)據(jù)元素完整性和數(shù)據(jù)記錄完整性；c)準(zhǔn)確性：數(shù)據(jù)準(zhǔn)確表示其所描述的真實(shí)實(shí)體（實(shí)體對(duì)象）真實(shí)值的程度，即數(shù)據(jù)記錄的信息是否存在異常或錯(cuò)誤，包括數(shù)據(jù)內(nèi)容正確性、數(shù)據(jù)格式合規(guī)性、數(shù)據(jù)重復(fù)率、數(shù)據(jù)唯一性、臟數(shù)據(jù)出現(xiàn)率；d)一致性：數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾的程度，即數(shù)據(jù)是否遵循了統(tǒng)一的規(guī)范，數(shù)據(jù)集合是否保持了統(tǒng)一的格式，主要體現(xiàn)在數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯，包括相同數(shù)據(jù)一致性和關(guān)聯(lián)數(shù)據(jù)一致性；e)時(shí)效性：數(shù)據(jù)在時(shí)間變化中的正確程度，包括基于時(shí)間段的正確性、基于時(shí)間點(diǎn)及時(shí)性、時(shí)序性；f)關(guān)聯(lián)性：度量相關(guān)聯(lián)的數(shù)據(jù)是否缺失或建立索引；g)可訪問性：數(shù)據(jù)能被訪問的程度，包括可訪問和可用性。3DB14/T2526—20227數(shù)據(jù)質(zhì)量管理7.1數(shù)據(jù)質(zhì)量管理框架數(shù)據(jù)質(zhì)量管理框架主要由數(shù)據(jù)質(zhì)量管理流程和數(shù)據(jù)質(zhì)量管理工具構(gòu)成，以數(shù)據(jù)質(zhì)量管理流程為指導(dǎo)，構(gòu)建數(shù)據(jù)質(zhì)量管理工具,見圖1。數(shù)據(jù)質(zhì)量管理流程主要從數(shù)據(jù)質(zhì)量描述、數(shù)據(jù)質(zhì)量識(shí)別、數(shù)據(jù)質(zhì)量評(píng)估和數(shù)據(jù)質(zhì)量控制四方面進(jìn)行搭建；數(shù)據(jù)質(zhì)量管理工具主要從數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量規(guī)則、質(zhì)量檢測任務(wù)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量報(bào)警、質(zhì)量檢測報(bào)告、檢測報(bào)告分析、數(shù)據(jù)質(zhì)量整改、數(shù)據(jù)質(zhì)量跟蹤方面進(jìn)行規(guī)定。圖1數(shù)據(jù)質(zhì)量管理框架7.2數(shù)據(jù)質(zhì)量管理流程7.2.1數(shù)據(jù)質(zhì)量管理模型應(yīng)符合GB/T39400—2020中4.2的要求。7.2.2數(shù)據(jù)質(zhì)量描述數(shù)據(jù)質(zhì)量描述要求包括但不限于：a)應(yīng)根據(jù)平臺(tái)企業(yè)管理的需求，參考外部監(jiān)管的要求，確定平臺(tái)企業(yè)數(shù)據(jù)質(zhì)量管理目標(biāo)；b)應(yīng)根據(jù)平臺(tái)企業(yè)數(shù)據(jù)質(zhì)量管理目標(biāo)、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范和數(shù)據(jù)質(zhì)量特性，確定平臺(tái)企業(yè)數(shù)據(jù)質(zhì)量評(píng)估維度。7.2.3數(shù)據(jù)質(zhì)量識(shí)別數(shù)據(jù)質(zhì)量識(shí)別要求包括但不限于：a)應(yīng)根據(jù)平臺(tái)企業(yè)業(yè)務(wù)發(fā)展的需求及常見數(shù)據(jù)問題，確定平臺(tái)數(shù)據(jù)質(zhì)量管理范圍、各類數(shù)據(jù)的優(yōu)先級(jí)以及質(zhì)量需求；4DB14/T2526—2022b)應(yīng)根據(jù)平臺(tái)企業(yè)數(shù)據(jù)質(zhì)量管理目標(biāo)及需求，定義各類數(shù)據(jù)的質(zhì)量評(píng)價(jià)指標(biāo)、校驗(yàn)規(guī)則與方法；c)應(yīng)根據(jù)業(yè)務(wù)發(fā)展需求及數(shù)據(jù)質(zhì)量檢查分析結(jié)果對(duì)數(shù)據(jù)質(zhì)量規(guī)則進(jìn)行持續(xù)維護(hù)與升級(jí)。7.2.4數(shù)據(jù)質(zhì)量評(píng)估7.2.4.1數(shù)據(jù)質(zhì)量檢查應(yīng)根據(jù)數(shù)據(jù)質(zhì)量規(guī)則中的有關(guān)技術(shù)指標(biāo)和業(yè)務(wù)指標(biāo)、校驗(yàn)規(guī)則與方法，對(duì)平臺(tái)企業(yè)的數(shù)據(jù)質(zhì)量情況進(jìn)行實(shí)時(shí)監(jiān)控，若發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題應(yīng)及時(shí)向數(shù)據(jù)管理人員進(jìn)行反饋。7.2.4.2數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量分析要求包括但不限于：a)應(yīng)對(duì)數(shù)據(jù)質(zhì)量檢查過程中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題及相關(guān)信息進(jìn)行分析，并找出影響數(shù)據(jù)質(zhì)量的原因；b)應(yīng)定義數(shù)據(jù)質(zhì)量問題的優(yōu)先級(jí)。7.2.5數(shù)據(jù)質(zhì)量控制數(shù)據(jù)質(zhì)量控制要求包括但不限于：a)應(yīng)根據(jù)數(shù)據(jù)質(zhì)量分析的結(jié)果制定、實(shí)施數(shù)據(jù)質(zhì)量改進(jìn)方案,包括錯(cuò)誤數(shù)據(jù)更正、業(yè)務(wù)流程優(yōu)化、應(yīng)用系統(tǒng)問題修復(fù)等；b)應(yīng)制定數(shù)據(jù)質(zhì)量問題預(yù)防方案。7.3數(shù)據(jù)質(zhì)量管理工具7.3.1數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)管理要求包括但不限于：a)應(yīng)支持根據(jù)國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、山西省地方標(biāo)準(zhǔn)等進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)制定，包括數(shù)據(jù)標(biāo)準(zhǔn)的編制、審核、發(fā)布等；b)應(yīng)支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)執(zhí)行，包括將標(biāo)準(zhǔn)要求提供給數(shù)據(jù)質(zhì)量管理、根據(jù)已錄入的數(shù)據(jù)標(biāo)準(zhǔn)形成質(zhì)量檢測規(guī)則等；c)應(yīng)支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)維護(hù)，包括標(biāo)準(zhǔn)內(nèi)容變更和版本管理等；d)應(yīng)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行情況、實(shí)施效果進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)問題；e)應(yīng)根據(jù)執(zhí)行情況、實(shí)施效果和存在的問題，修訂或重新制定已不適用的數(shù)據(jù)標(biāo)準(zhǔn)。7.3.2數(shù)據(jù)質(zhì)量管理規(guī)則數(shù)據(jù)質(zhì)量管理規(guī)則要求包括但不限于：a)應(yīng)支持根據(jù)數(shù)據(jù)質(zhì)量特性自定義質(zhì)量維度；b)應(yīng)支持關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，進(jìn)行基礎(chǔ)規(guī)則定義。包括但不限于空值校驗(yàn)、值域校驗(yàn)、格式校驗(yàn)、長度校驗(yàn)、精度校驗(yàn)、唯一性約束校驗(yàn)、主外鍵校驗(yàn)等；c)應(yīng)支持根據(jù)基礎(chǔ)規(guī)則和平臺(tái)應(yīng)用場景自定義業(yè)務(wù)規(guī)則；d)應(yīng)通過自定義SQL語句等方式完成對(duì)數(shù)據(jù)質(zhì)量的檢核。7.3.3數(shù)據(jù)質(zhì)量檢測任務(wù)數(shù)據(jù)質(zhì)量檢測任務(wù)要求包括但不限于：a)應(yīng)支持質(zhì)量檢測任務(wù)的創(chuàng)建；5DB14/T2526—2022b)應(yīng)支持檢測任務(wù)調(diào)度規(guī)則的設(shè)定；c)應(yīng)支持手動(dòng)執(zhí)行與自動(dòng)執(zhí)行檢測任務(wù)，支持手動(dòng)、定時(shí)、輪詢、每周、自定義等多種調(diào)度規(guī)d)應(yīng)支持質(zhì)量檢測任務(wù)運(yùn)維，查看任務(wù)執(zhí)行日志、任務(wù)調(diào)度次數(shù)等；e)應(yīng)支持問題數(shù)據(jù)的查詢與導(dǎo)出；f)應(yīng)支持未達(dá)標(biāo)數(shù)據(jù)的查詢與導(dǎo)出。注1：問題數(shù)據(jù)是指平臺(tái)設(shè)置數(shù)據(jù)庫表中合格注2：未達(dá)標(biāo)數(shù)據(jù)是未達(dá)到平臺(tái)設(shè)置的數(shù)據(jù)質(zhì)量特性合格7.3.4數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)質(zhì)量監(jiān)控要求包括但不限于：a)應(yīng)支持對(duì)數(shù)據(jù)進(jìn)行監(jiān)控，明確數(shù)據(jù)的來源和去向；b)應(yīng)支持對(duì)規(guī)則校驗(yàn)的結(jié)果進(jìn)行監(jiān)控和分析，校驗(yàn)結(jié)果應(yīng)定位到原始數(shù)據(jù)項(xiàng)。7.3.5數(shù)據(jù)質(zhì)量報(bào)警應(yīng)支持問題數(shù)據(jù)的報(bào)警。7.3.6數(shù)據(jù)質(zhì)量檢測報(bào)告數(shù)據(jù)質(zhì)量檢測報(bào)告要求包括但不限于：a)應(yīng)支持對(duì)校驗(yàn)結(jié)果進(jìn)行記錄并生成檢測報(bào)告，檢測報(bào)告的內(nèi)容包括但不限于：1)歷史檢測記錄的數(shù)據(jù)波動(dòng)，以及本次質(zhì)量檢測執(zhí)行時(shí)間、檢測結(jié)果等基本信息；2)對(duì)應(yīng)數(shù)據(jù)的動(dòng)態(tài)質(zhì)量變化情況；3)每項(xiàng)業(yè)務(wù)規(guī)則檢測數(shù)據(jù)量、問題數(shù)據(jù)量、合格率等詳細(xì)信息；b)應(yīng)支持在線查看每項(xiàng)業(yè)務(wù)規(guī)則問題數(shù)據(jù)的詳情；c)應(yīng)支持打包下載對(duì)應(yīng)的問題數(shù)據(jù)；d)應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量檢測報(bào)告的查看和下載。7.3.7數(shù)據(jù)質(zhì)量檢測報(bào)告分析數(shù)據(jù)質(zhì)量檢測報(bào)告分析要求包括但不限于：a)應(yīng)具備對(duì)檢測報(bào)告進(jìn)行綜合性分析的功能，包括但不限于以下內(nèi)容：1)應(yīng)支持通過多維度的分析報(bào)告來展示質(zhì)量檢測總體結(jié)果，包含檢測數(shù)據(jù)來源、檢測時(shí)間、綜合得分、檢測數(shù)據(jù)量、合格數(shù)據(jù)量、規(guī)則數(shù)目、檢測資源數(shù)目等基本信息，和各個(gè)質(zhì)量維度下每項(xiàng)的得分，以及此次檢測數(shù)據(jù)的短板問題所屬維度；2)應(yīng)支持展示每項(xiàng)業(yè)務(wù)規(guī)則的詳細(xì)檢測內(nèi)容，如每項(xiàng)的檢測數(shù)據(jù)總數(shù)、問題數(shù)據(jù)數(shù)目，合格率、問題數(shù)據(jù)分布情況等；3)應(yīng)支持通過評(píng)分報(bào)告詳情展示每項(xiàng)規(guī)則對(duì)應(yīng)的得分情況及對(duì)應(yīng)的比分權(quán)重，體現(xiàn)不同規(guī)則的重要程度，并對(duì)高權(quán)重質(zhì)量規(guī)則進(jìn)行著重分析處理；4)應(yīng)支持每個(gè)業(yè)務(wù)規(guī)則橫向?qū)Ρ?，提供宏觀的檢測報(bào)告分析，展示數(shù)據(jù)質(zhì)量問題的分布。b)應(yīng)具備對(duì)檢測報(bào)告進(jìn)行統(tǒng)計(jì)分析的功能，包括但不限于以下內(nèi)容：1)應(yīng)支持通過圖表的形式展示數(shù)據(jù)質(zhì)量概覽信息；2)應(yīng)支持按照數(shù)據(jù)源目錄層級(jí),即分層分域原則,按照指定的業(yè)務(wù)層級(jí)如區(qū)域、部門、指定表等多種維度進(jìn)行統(tǒng)計(jì)分析，并生成對(duì)應(yīng)的質(zhì)量趨勢圖。6DB14/T2526—20227.3.8數(shù)據(jù)質(zhì)量整改數(shù)據(jù)質(zhì)量整改要求包括但不限于：a)應(yīng)支持根據(jù)質(zhì)量分析結(jié)果生成對(duì)問題數(shù)據(jù)的質(zhì)量提升建議；b)應(yīng)支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)整合等功能，對(duì)不符合質(zhì)量要求的數(shù)據(jù)進(jìn)行處理,并糾正數(shù)據(jù)質(zhì)量問題。7.3.9數(shù)據(jù)質(zhì)量