DB14-T 3185-2024 能源監(jiān)管服務(wù)數(shù)字化平臺(tái)通.用數(shù)據(jù)治理規(guī)范

142024-12-25發(fā)布I II 1 1 1 2 2 3 3 4 7本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定心、山西陽(yáng)光三極科技股份有限公司、華為技術(shù)有限公司、山西潞安環(huán)保能源開(kāi)發(fā)股份1能源監(jiān)管服務(wù)數(shù)字化平臺(tái)通用數(shù)據(jù)治理規(guī)范本文件適用于能源監(jiān)管服務(wù)數(shù)字化平臺(tái)中能源數(shù)據(jù)的治GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分：數(shù)GB/T36073-2018數(shù)據(jù)管理成熟度評(píng)能源監(jiān)管服務(wù)數(shù)字化平臺(tái)digitalplatform2半結(jié)構(gòu)化數(shù)據(jù)semi-structure4縮略語(yǔ)RESTFUL：網(wǎng)絡(luò)應(yīng)用程序的設(shè)計(jì)風(fēng)格和開(kāi)發(fā)方式（RepresentatMQ：消息隊(duì)列（MessageQueue）5.1應(yīng)對(duì)接入平臺(tái)的能源領(lǐng)域生產(chǎn)經(jīng)營(yíng)、監(jiān)管服務(wù)過(guò)程中產(chǎn)生的數(shù)據(jù)進(jìn)行治理，能源領(lǐng)域包括煤炭行5.2應(yīng)對(duì)平臺(tái)采集、存儲(chǔ)的各類(lèi)數(shù)據(jù)進(jìn)行治理?；跀?shù)據(jù)的組織和存儲(chǔ)形式，數(shù)據(jù)分類(lèi)如下：3b）半結(jié)構(gòu)化數(shù)據(jù)，主要為以json、xml等格式存儲(chǔ)的數(shù)據(jù)集、AI分析結(jié)果等；a）數(shù)據(jù)入湖，基于交互機(jī)制、入湖方式，將數(shù)據(jù)采集系統(tǒng)的多源多模態(tài)數(shù)據(jù)進(jìn)行統(tǒng)一存c）數(shù)據(jù)處理，采用數(shù)據(jù)處理方式，對(duì)標(biāo)準(zhǔn)化后數(shù)據(jù)進(jìn)行高數(shù)據(jù)共享數(shù)據(jù)共享數(shù)據(jù)標(biāo)準(zhǔn)化資產(chǎn)管理7.1.1應(yīng)構(gòu)建統(tǒng)一的能源數(shù)據(jù)資源目錄對(duì)平臺(tái)采集、存儲(chǔ)的各類(lèi)數(shù)據(jù)進(jìn)行管理，包括但不限于物聯(lián)網(wǎng)47.2.2元數(shù)據(jù)管理應(yīng)能通過(guò)元數(shù)據(jù)準(zhǔn)確定7.2.5數(shù)據(jù)治理各階段產(chǎn)生的元數(shù)據(jù)應(yīng)在數(shù)據(jù)湖分類(lèi)存儲(chǔ)、統(tǒng)一管理。分類(lèi)類(lèi)別包括數(shù)據(jù)入湖、數(shù)據(jù)7.2.6應(yīng)基于數(shù)據(jù)資源目錄，整合數(shù)據(jù)治理各階段元數(shù)據(jù)，并按主題域?qū)υ獢?shù)據(jù)進(jìn)行義、字段命名和數(shù)據(jù)使用的一致性原則，不允許存在“同名異義”或“同義8.1.2應(yīng)根據(jù)數(shù)據(jù)類(lèi)型、上游數(shù)據(jù)變化頻率、業(yè)務(wù)場(chǎng)景需求，選擇數(shù)據(jù)入湖方式，包括：批量集成入數(shù)據(jù)質(zhì)量及規(guī)范性，便于數(shù)據(jù)共享消費(fèi)服務(wù)，應(yīng)包括以下治a）數(shù)據(jù)拆分，按照邏輯拆分，數(shù)據(jù)量增加但拆分出來(lái)的數(shù)據(jù)結(jié)5a）應(yīng)根據(jù)上游數(shù)據(jù)的變化頻率和下游數(shù)據(jù)的實(shí)時(shí)性要求，設(shè)置增量數(shù)據(jù)的同步c）應(yīng)設(shè)置數(shù)據(jù)存儲(chǔ)時(shí)間，避免海量增量數(shù)據(jù)導(dǎo)具備較強(qiáng)的參考意義，應(yīng)按照月存儲(chǔ)級(jí)別或者年存儲(chǔ)6a）應(yīng)采用圖形化操作處理和SQL窗口處理兩種方式進(jìn)行處理，圖形化處理用于降低使用成本，通過(guò)自由組合和選擇計(jì)算函數(shù)完成業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)處理，SQL窗口處理用于業(yè)務(wù)計(jì)算邏輯較為數(shù)據(jù)共享應(yīng)支持通過(guò)接口發(fā)布和數(shù)據(jù)轉(zhuǎn)發(fā)兩種方式將治理平臺(tái)的數(shù)據(jù)資產(chǎn)以服務(wù)的形式輸出給業(yè)務(wù)應(yīng)用系統(tǒng)等其它數(shù)據(jù)消費(fèi)方，應(yīng)滿足DB14/T2937—2023中關(guān)于共享交換過(guò)程活動(dòng)、模式、質(zhì)量控制采用接口發(fā)布提供數(shù)據(jù)共享服務(wù)，接口設(shè)計(jì)、實(shí)現(xiàn)應(yīng)滿足以下要b）應(yīng)提供遵循語(yǔ)義查詢(xún)的基礎(chǔ)接口；對(duì)于實(shí)時(shí)性