DB14-T 2938-2023 能源監(jiān)管服務(wù)數(shù)字化平臺 數(shù)據(jù)支撐技術(shù)要求

14Digitalplatformforenergyregulatoryservices——Technicalrequirementsfo山西省市場監(jiān)督管理局發(fā)布I II 1 1 1 2 2 3 7 9 10本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件起草單位：山西大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司、華為技術(shù)有限公司、山西省能源發(fā)展中1能源監(jiān)管服務(wù)數(shù)字化平臺數(shù)據(jù)支撐技術(shù)要求本文件適用于能源監(jiān)管服務(wù)數(shù)字化平臺的建設(shè)及實(shí)GB/T37721信息技術(shù)大數(shù)據(jù)分析系統(tǒng)功能GB/T37722信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能要求GB/T40685—2021信息技術(shù)服務(wù)數(shù)據(jù)資產(chǎn)管DB14/T2936—2023能源監(jiān)管服務(wù)數(shù)字化平臺通DB14/T2939—2023能源監(jiān)管服務(wù)數(shù)字化平臺數(shù)據(jù)采集DB14/T2940—2023能源監(jiān)管服務(wù)數(shù)字化平臺數(shù)據(jù)發(fā)布GB/T35295-2017、GB/T40685-2021、DB14/T2936-2023確立的以及界定的術(shù)語和定義適用于本能源監(jiān)管服務(wù)數(shù)字化平臺Digitalplatformf在自動化、信息化、智能化等相關(guān)技術(shù)的支撐下，對能源領(lǐng)域相關(guān)信息進(jìn)行并進(jìn)行充分應(yīng)用，有效實(shí)施全過程動態(tài)監(jiān)管，并能為能源企業(yè)、產(chǎn)業(yè)鏈上下游企業(yè)等提24縮略語ACID：原子性、一致性、隔離性、持久性（Atomicity、Consistency、IsolatioAPI：應(yīng)用程序編程接口（ApplicationProgrammingInterface）CPU：中央處理器（CentralProcessingDDL：數(shù)據(jù)定義語言（DataDefiJar：Java平臺上的歸檔文件格式（JavaArJSON：Java腳本對象描述（JavaScrMD5：信息摘要算法（Message-DigestAlgorithm）MPI：消息傳遞窗口（MessagePaMR：分布式運(yùn)算框架（MapReduce）SLA：服務(wù)等級協(xié)議（ServiceLevelAgXML：可擴(kuò)展標(biāo)記語言（Extensi5.1應(yīng)基于能源監(jiān)管服務(wù)需求，按照DB14/T2936—2023對數(shù)據(jù)支撐的要求，將能源監(jiān)管服數(shù)據(jù)，統(tǒng)一存儲并進(jìn)行數(shù)據(jù)分析，然后通過API發(fā)布或數(shù)據(jù)資5.2能源監(jiān)管服務(wù)數(shù)字化平臺應(yīng)根據(jù)監(jiān)管服務(wù)需要，采集各個系統(tǒng)的數(shù)據(jù)，數(shù)據(jù)采集內(nèi)容及數(shù)據(jù)采集5.3能源監(jiān)管服務(wù)采集的數(shù)據(jù)進(jìn)行預(yù)處理之后，應(yīng)傳輸?shù)皆破脚_集中存儲，并建立統(tǒng)一數(shù)據(jù)湖，實(shí)現(xiàn)能源生產(chǎn)經(jīng)營數(shù)據(jù)、能源安全監(jiān)管數(shù)據(jù)、能耗數(shù)據(jù)等數(shù)據(jù)統(tǒng)一存儲，需要提供能3儲能力，數(shù)據(jù)存儲方式包括但不限于分布式文件存儲、數(shù)據(jù)湖存儲、分布式數(shù)據(jù)倉庫、時序數(shù)據(jù)庫5.4能源監(jiān)管服務(wù)數(shù)字化平臺應(yīng)實(shí)現(xiàn)數(shù)據(jù)治理，提供數(shù)據(jù)集成、規(guī)范設(shè)計、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)安全、數(shù)據(jù)服務(wù)等功能，基于能源監(jiān)管服務(wù)需要，整理并生成數(shù)據(jù)資產(chǎn)，包括但不限于貼源層、整合/明細(xì)層、主題鏈接層、集市層，并通過數(shù)據(jù)發(fā)布，開放給上層不同應(yīng)用系統(tǒng)或共享5.5能源監(jiān)管服務(wù)數(shù)字化平臺應(yīng)提供數(shù)據(jù)分析能力，支撐能源監(jiān)管服務(wù)各主題庫、專題庫和指標(biāo)的生成，數(shù)據(jù)分析能力包括但不限于批處理分析、流處理分析、流批一體融合分析、交互分析、5.6能源監(jiān)管服務(wù)數(shù)字化平臺應(yīng)滿足能源監(jiān)管服務(wù)的數(shù)據(jù)發(fā)布需求，數(shù)據(jù)發(fā)布的流程及發(fā)布的數(shù)據(jù)內(nèi)5.7能源監(jiān)管服務(wù)數(shù)字化平臺應(yīng)優(yōu)先選擇符合國家自主可控和安全可信相關(guān)要求的全棧自主創(chuàng)新技a)應(yīng)提供文件的上傳、下載、讀寫、復(fù)制、移動、c)應(yīng)提供一種高效的數(shù)據(jù)組織格式，實(shí)現(xiàn)歷史數(shù)f)應(yīng)提供自動化的小文件合并能力，自動管理文件大小和布g)應(yīng)提供自動化的歷史數(shù)據(jù)清理能力，以防止數(shù)據(jù)過度膨脹h)應(yīng)支持多樣化的計算引擎和存儲引擎，能夠平滑的在4據(jù)治理之后的主題聯(lián)接層和指標(biāo)等數(shù)據(jù)，分布式數(shù)據(jù)倉庫要求如a)應(yīng)提供基于無共享的分布式大規(guī)模全并c)應(yīng)提供保障全局強(qiáng)一致性事務(wù)能力，可以針對單表和多表并a)應(yīng)支持多種數(shù)據(jù)類型的離線分析，包括j)應(yīng)支持任務(wù)內(nèi)部子任務(wù)的失敗重試，以及當(dāng)運(yùn)5a)應(yīng)支持多種數(shù)據(jù)源中獲得實(shí)時流數(shù)據(jù)，完成高吞吐、低延時的實(shí)時計算，并將結(jié)果輸出到消息e)宜支持直接讀取前置任務(wù)計算結(jié)果作為數(shù)據(jù)源的方式來編排作業(yè)，實(shí)現(xiàn)復(fù)雜作業(yè)拆分的同時保h)宜支持對復(fù)雜任務(wù)的調(diào)度，如支持深度c)應(yīng)支持基本的數(shù)據(jù)庫、模式、表、視圖、函數(shù)等對象的創(chuàng)6c)應(yīng)支持索引數(shù)據(jù)壓縮存儲，對索引數(shù)據(jù)結(jié)構(gòu)進(jìn)行特定優(yōu)b)應(yīng)支持復(fù)雜事件規(guī)則由多個算子構(gòu)成，各個算子通過連接線串聯(lián)起來，適用于比較復(fù)雜的業(yè)務(wù)d)應(yīng)支持預(yù)集成表達(dá)式函數(shù)，包括不限于數(shù)學(xué)計a)應(yīng)支持轉(zhuǎn)換計算，對單個或多個參數(shù)的值進(jìn)行常規(guī)數(shù)學(xué)計算，表達(dá)式中不能使用系統(tǒng)的時序聚b)應(yīng)支持聚合計算，對單個或多個參數(shù)的值進(jìn)行周期性的時序聚合計算，表達(dá)式中可以使用系統(tǒng)c)應(yīng)支持流計算，引用流作業(yè)管理中定義的作業(yè)，將輸e)應(yīng)支持通用基礎(chǔ)算子預(yù)集成，包含不限于輸入算子、輸出算子、過濾算子、扁平算子、嵌套算a)應(yīng)支持時序數(shù)據(jù)多種聚合計算，包括不限于平均值、最小值、最大值、總數(shù)、b)應(yīng)支持對所選時序數(shù)據(jù)按時間做偏移，在預(yù)覽列表新增一條記錄，常用于同一測點(diǎn)不同時間的7結(jié)合能源監(jiān)管服務(wù)數(shù)據(jù)集成要求，應(yīng)支持批量數(shù)據(jù)遷移和實(shí)時數(shù)據(jù)集成，數(shù)據(jù)集a)批量數(shù)據(jù)遷移應(yīng)提供同構(gòu)/異構(gòu)數(shù)據(jù)源b)應(yīng)支持批量遷移表或者文件，支持同構(gòu)/異構(gòu)數(shù)據(jù)庫之間整庫遷移，一個作業(yè)可遷移c)應(yīng)支持文件增量遷移、關(guān)系型數(shù)據(jù)庫增量遷移、面向列的分布式f)在遷移文件到文件系統(tǒng)時，批量數(shù)據(jù)遷移應(yīng)支持對h)應(yīng)支持將遷移過程中處理失敗的、被清洗過濾掉的、不符合字段轉(zhuǎn)換或者不符合清洗規(guī)則的數(shù)a)通過主題設(shè)計構(gòu)建統(tǒng)一的數(shù)據(jù)分類體系，用于目錄化管理所有業(yè)務(wù)數(shù)據(jù)，便于數(shù)據(jù)的歸類、查字段的具體取值進(jìn)行標(biāo)準(zhǔn)化，從而提升數(shù)據(jù)質(zhì)量和c)通過數(shù)據(jù)建模構(gòu)建統(tǒng)一的數(shù)據(jù)模型體系，自頂向下構(gòu)建企業(yè)數(shù)據(jù)分層體系，沉淀企業(yè)數(shù)據(jù)公共等5大主題庫，便于數(shù)據(jù)的流通、共享、創(chuàng)造、創(chuàng)新，提升數(shù)據(jù)使用效率，極大的減少數(shù)據(jù)冗d)通過指標(biāo)體系建設(shè)構(gòu)建能源監(jiān)管服務(wù)統(tǒng)一的數(shù)據(jù)指標(biāo)體系，定義業(yè)務(wù)指標(biāo)要素，統(tǒng)一指標(biāo)計算d)應(yīng)與批量數(shù)據(jù)遷移無縫集成，支持批量數(shù)據(jù)遷移，支持20多種異構(gòu)數(shù)據(jù)源之間可靠高效的數(shù)據(jù)8a)應(yīng)支持對業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗，及時b)應(yīng)提供對業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和業(yè)務(wù)場景，實(shí)時、周期性進(jìn)行調(diào)度，滿足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需全景可視，提供數(shù)據(jù)智能搜索和運(yùn)營監(jiān)控，數(shù)據(jù)資產(chǎn)要求a)應(yīng)提供元數(shù)據(jù)管理能力，支持創(chuàng)建自定義策略的采集任務(wù)，可采集數(shù)據(jù)源中的技術(shù)元數(shù)據(jù)。支結(jié)合能源監(jiān)管服務(wù)數(shù)據(jù)治理需求，數(shù)據(jù)安全應(yīng)為能源信息監(jiān)管服務(wù)提供數(shù)據(jù)生命