發(fā)電企業(yè)一體化大數(shù)據(jù)平臺白皮書 2023

發(fā)電企業(yè)一體化大數(shù)據(jù)平臺白皮書FORPOWERGENERATIONENTERPRISES 聯(lián)合發(fā)布中安吉泰中關村華電能源電力產(chǎn)業(yè)聯(lián)盟關于我們公司產(chǎn)品業(yè)務覆蓋火電、風電、核電、電網(wǎng)等領域，自主研發(fā)的TRI火電鍋爐水冷壁爬壁檢測機器人、TRI火電鍋爐智能運維四管健公司目前擁有49項專利，40項軟件著作權，并主導中安吉泰在火電智能運維領域，已經(jīng)在大唐王灘、魯北，國能諫壁、泉州、華能萊蕪、長興，以及地方能源集團，如在風電電站智能運維領域，也已在大唐赤峰、華能靖邊、粵電陽江、石碑山等客戶，部署了風電葉片、風電機艙、風電塔筒等檢測清·國內(nèi)火電鍋爐無人作業(yè)平臺案例數(shù)量第一·國內(nèi)首個針對風機實現(xiàn)全場景智能運維方案·中核集團合格供應商認證證書·掛軌機器人防爆認證證書發(fā)明專利CONTENTS01……0603……0802……0604……2601智慧電廠建設是電力行業(yè)信息化發(fā)展的必然趨勢，建立發(fā)電企業(yè)一體化大數(shù)據(jù)平臺對電廠產(chǎn)生的各類數(shù)據(jù)進行統(tǒng)一管理是建設智慧電廠的關鍵環(huán)節(jié)，數(shù)據(jù)資產(chǎn)已經(jīng)逐漸成為了發(fā)電企業(yè)的核心資產(chǎn)之一。隨著電廠智能化手段的逐步提升，電廠各類信息化系統(tǒng)和數(shù)據(jù)量成倍增長，數(shù)據(jù)冗余、數(shù)據(jù)編碼不統(tǒng)一、數(shù)據(jù)分散、數(shù)據(jù)閑置等問題成為發(fā)電01發(fā)電企業(yè)的一體化大數(shù)據(jù)平臺是集電廠生產(chǎn)數(shù)據(jù)和管理數(shù)據(jù)的采集、治理、存儲、計算和多維可視化展現(xiàn)等功能于一體的智慧基礎設施中心。其技術架構圖·分析層數(shù)據(jù)區(qū)（監(jiān)測預警、智能管控、經(jīng)營管理）·統(tǒng)一層數(shù)據(jù)區(qū)（清洗處理存放區(qū)）·貼源層數(shù)據(jù)區(qū)（原始數(shù)據(jù)存放區(qū)）數(shù)據(jù)治理是指將數(shù)據(jù)作為電廠核心資產(chǎn)而展開的一系列的具體化工作,是對企業(yè)數(shù)據(jù)的全生命周期管理。數(shù)據(jù)治理是建立大數(shù)據(jù)平臺的基礎，其目標是實現(xiàn)數(shù)據(jù)在企業(yè)內(nèi)部統(tǒng)一標準，提高數(shù)據(jù)的質(zhì)量，保證數(shù)據(jù)的安全性、完整性及可用性，推進數(shù)據(jù)資源的整合、對接和共享。解決數(shù)據(jù)接入的問題，接收從軟件系統(tǒng)或者硬件邊緣端傳輸上來的數(shù)據(jù)，將數(shù)據(jù)采集到大數(shù)據(jù)平臺中。為實現(xiàn)對多源異構數(shù)據(jù)的采集，需要支持多協(xié)議接入、數(shù)據(jù)預處理、實時規(guī)則、安全加密傳輸?shù)饶芰?。從電廠DCS、SIS和MIS等系統(tǒng)采集的數(shù)據(jù)一般分為三種形態(tài)，分別為傳感時序數(shù)），設備KKS編碼、設備檢修臺賬等信息），文件數(shù)據(jù)（例如：存儲視頻、word文檔、圖片等信息）。大數(shù)據(jù)存儲平臺能夠?qū)崿F(xiàn)對上述數(shù)據(jù)的集中存儲，應具備分布式部署和橫數(shù)據(jù)分析層提供對數(shù)據(jù)的離線和實時計算能力，支持指標計算能力，人工智能分析計算能力和多維統(tǒng)計分析能力，可以為大數(shù)據(jù)的深入分析提供方法和工具。在數(shù)據(jù)分析層中通過實現(xiàn)對數(shù)據(jù)的深層分析挖掘，提供對經(jīng)營分析、設備缺陷診斷、機組運行優(yōu)化等方向的分析模型。數(shù)據(jù)協(xié)作提供了大數(shù)據(jù)服務接口、多維可視化展現(xiàn)服務等能力，支持將大數(shù)據(jù)平臺中的原始數(shù)據(jù)以及分析計算后的數(shù)據(jù)以服務的形式對外部應用進行共享，同時實現(xiàn)對服務的集中管理和控制，減少重復開發(fā)工作，提高數(shù)據(jù)和模型復用率。通過集中資源監(jiān)控平臺對所有IT基礎設施，包括硬資源（如主機、存儲、路由器、交換器、防火墻和負載均衡等不同類型的網(wǎng)絡設備）、基礎軟件平臺（如操作系統(tǒng)、數(shù)據(jù)中臺和中間件）、以及應用資源（如業(yè)務應用、網(wǎng)絡應用和通信應用）進行全面統(tǒng)一監(jiān)控和可視化管理，讓用戶可以實時了解、掌握網(wǎng)絡硬件軟件當前的健康狀況，保障用戶業(yè)務的可靠運行和滿足各項考核指標，預測潛在的故障，進行提前預警。統(tǒng)一認證為企業(yè)應用提供集中的訪問入口，實現(xiàn)高強度的多因素認證技術保障應用認證安全。建立集中、高強度的安全認證中心，以統(tǒng)一的安全認證策略和技術保障用戶認證安全；通過定義數(shù)據(jù)中臺各模塊及業(yè)務應用接入規(guī)范和標準，實現(xiàn)當前主流的認證協(xié)議和認證技術，支持異構應用集成；通過上述技術，對人員、機構、權限等信息進行統(tǒng)一管理，解決新老系統(tǒng)的統(tǒng)一登錄、認證問題及信息認證安全問題。大數(shù)據(jù)平臺可以有效支撐智慧電廠各領域應用的建設，包括但不限于：經(jīng)營決策分析、生產(chǎn)運行管理、設備狀態(tài)檢修系統(tǒng)、機組運行優(yōu)化系統(tǒng)、設備檢修管理系統(tǒng)等內(nèi)容。應用系統(tǒng)通過復用大數(shù)據(jù)平臺中已經(jīng)建設的相關能力，實現(xiàn)資源高效復用，減少系統(tǒng)建設時間和建設成本。發(fā)電企業(yè)在建設一體化大數(shù)據(jù)平臺時，建議將大數(shù)據(jù)平臺的建設應與現(xiàn)有應用軟件分開建設，確保其統(tǒng)一性、獨立性、安全性和開放性。與應用系統(tǒng)之間即可獨立部署又可有效復用，通過實現(xiàn)統(tǒng)一身份認證機制建立信任機制，通過服務接口或者功能模塊鏈接的方式進行系統(tǒng)集成。發(fā)電企業(yè)一體化大數(shù)據(jù)平臺門戶示意如下：數(shù)據(jù)治理平臺涵蓋了企業(yè)數(shù)據(jù)管理的全生命周期，包括：數(shù)據(jù)標準和編碼管理、元數(shù)據(jù)管理、字典管理、數(shù)據(jù)建模、數(shù)據(jù)維護管理、數(shù)據(jù)集成管理、主數(shù)據(jù)管理、數(shù)據(jù)服務管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理等功能模塊，打通數(shù)據(jù)管理各個環(huán)節(jié)，快速滿足發(fā)電企業(yè)各類不同的數(shù)據(jù)管理要求。其功能架構圖如下所示：實現(xiàn)促進支撐實現(xiàn)促進支撐數(shù)據(jù)治理對標準的需求可以劃分為兩類，即基礎性標準和應用性標準。前者主要用于在不同系統(tǒng)間，形成信息的一致理解和統(tǒng)一的坐標參照系統(tǒng)，是信息匯集、交換以及應用的基礎，包括數(shù)據(jù)分類與編碼、數(shù)據(jù)字典、數(shù)字地圖標準；后者是為平臺功能發(fā)揮所涉及的各個環(huán)節(jié)，提供一定的標準規(guī)范，以保證信息的高效匯集和交換，包括元數(shù)據(jù)標準、數(shù)據(jù)交換技術規(guī)范、數(shù)據(jù)傳輸協(xié)議、數(shù)據(jù)質(zhì)為了保證數(shù)據(jù)共享和交換的順利實現(xiàn)，必須明確定義和規(guī)范數(shù)據(jù)交換的相關為了保證數(shù)據(jù)共享和交換的順利實現(xiàn)，必須明確定義和規(guī)范數(shù)據(jù)交換的相關標淮。數(shù)據(jù)交換的標準規(guī)范是集團單位綜合信息平臺的核心標準。其中應當包括數(shù)據(jù)交換內(nèi)容、數(shù)據(jù)各類中心間數(shù)據(jù)接口的標針對實際需求，定義數(shù)據(jù)集，建立各個領域的數(shù)據(jù)字典，規(guī)范數(shù)據(jù)概念和數(shù)據(jù)定義。在此基礎上，形成完備的集團單位數(shù)據(jù)集從五個方面進行數(shù)據(jù)質(zhì)量控制，包括數(shù)據(jù)校驗包括規(guī)范性校驗、合規(guī)性校驗元數(shù)據(jù)標準是描述數(shù)據(jù)資源的具體對象時所有規(guī)則的集合，它包括了完整描述一個具體數(shù)據(jù)對象時所需要的數(shù)據(jù)項集合。針對各種信息資源分別制定適當?shù)脑獢?shù)據(jù)標準，可為信息的管理、發(fā)現(xiàn)和獲取提供一種實際而簡便的方法，從而提高數(shù)據(jù)交換效數(shù)據(jù)分類與編碼標淮是信息化建設中標準化的一項基礎工作，該類標準規(guī)定平臺匯集、交換相關信息統(tǒng)一的分類系統(tǒng)和排列順序以及編碼規(guī)則，目的是在不同系統(tǒng)和用戶之間建立交通數(shù)據(jù)的一致參照，對提高數(shù)據(jù)采集、處理和數(shù)據(jù)交換效率具有重要作用。數(shù)據(jù)分類與編碼標淮的制定將有力推進平臺標準化及交通信息化建設標從現(xiàn)有業(yè)務系統(tǒng)數(shù)據(jù)源中抽取數(shù)據(jù)，經(jīng)過ETL數(shù)據(jù)預處理后將數(shù)據(jù)存儲到大數(shù)據(jù)平臺中，大數(shù)據(jù)平臺中的存儲結(jié)構由元數(shù)據(jù)進行描述和定義，其中數(shù)據(jù)ETL過程包括：作業(yè)示例、作業(yè)模板、作業(yè)配置、調(diào)度時間、調(diào)度順序、調(diào)度監(jiān)控等如下功能。已有系統(tǒng)數(shù)據(jù)源主數(shù)據(jù)管理是針對發(fā)電企業(yè)的特點定義核心業(yè)務模型，包括：設備、測點、機構、人員、物料等，然后從業(yè)務系統(tǒng)中將上述業(yè)務模型抽取出來形成主數(shù)據(jù)模型，為后繼數(shù)據(jù)應用提供共享基礎數(shù)據(jù)，減少各業(yè)務系統(tǒng)重復建設工作和因為主數(shù)據(jù)編碼不統(tǒng)一導致的數(shù)通過統(tǒng)一的數(shù)據(jù)服務平臺來統(tǒng)一數(shù)據(jù)源，加快數(shù)據(jù)流轉(zhuǎn)速度，提升數(shù)據(jù)服務的使用效率。將共享數(shù)據(jù)以服務的方式對外部系統(tǒng)進行共享，一般包括主動式調(diào)用（例如：RESTFul接口）和被動式接收（例如：：Kafka）兩種模式，提供服務前可以針對外部應用系統(tǒng)進行模型授權，指定哪些模型對那些應用進行數(shù)據(jù)共享。統(tǒng)計報表1統(tǒng)計報表1數(shù)據(jù)質(zhì)量模塊支持數(shù)據(jù)校驗包括完整性校驗、合規(guī)性校驗、規(guī)范性校驗、冗余性校驗和時效性五大模塊，在設置校驗規(guī)則時需選擇校驗類型、擁有者、錯誤等級、對象類型、校驗日期等信息。基礎數(shù)據(jù)基礎數(shù)據(jù)分析數(shù)據(jù)庫所有表屬性的數(shù)據(jù)完整性，針對運行數(shù)據(jù)，要求數(shù)據(jù)是充分的，保證數(shù)據(jù)唯一編碼及擁有者符合結(jié)構化設計要求，基于結(jié)構化設計的規(guī)則庫，針對數(shù)據(jù)庫表屬性取值、表內(nèi)/表間屬性比較、跨對象屬性比較進行規(guī)則校驗要求數(shù)據(jù)內(nèi)容、格式符合通用校驗表達式或業(yè)務規(guī)則表達式，以結(jié)構化設計作為校驗依據(jù)要求分析數(shù)據(jù)的記錄是唯一的，不允許存在重復評估數(shù)據(jù)的時間特性對業(yè)務應用的滿足程度，采集頻率一般是秒級評估數(shù)據(jù)的時間特性對業(yè)務應用的滿足程度，采集頻率一般是秒級采集頻率：分、時、天、周、月監(jiān)控主數(shù)據(jù)和運行數(shù)據(jù)的全生命周期狀態(tài)，包括數(shù)據(jù)的導入、存儲、處理、數(shù)據(jù)更新和數(shù)據(jù)作廢等狀態(tài)，可以對數(shù)據(jù)變化情況進發(fā)電企業(yè)的數(shù)據(jù)一般包括時間序列數(shù)據(jù)、關系型數(shù)據(jù)和非結(jié)構化文件數(shù)據(jù)等三種類型，存儲方式分別為分布式文件存儲數(shù)據(jù)庫、關系性數(shù)據(jù)庫和時間序列數(shù)據(jù)庫。其中最為復雜的是分布式時間序列數(shù)據(jù)庫，因為時序數(shù)據(jù)具備傳感器多、采集頻率高、數(shù)據(jù)量大和計算模型復雜等特點，是發(fā)電企業(yè)中數(shù)據(jù)量最大的一種。本文重點介紹時間序列數(shù)據(jù)的存儲機制，這類數(shù)據(jù)在寫入、存儲和查詢時的特點如寫入平穩(wěn)、持續(xù)、高并發(fā)和高吞吐，時序數(shù)據(jù)的寫入是比較平穩(wěn)的，這點與應用數(shù)據(jù)不同，應用數(shù)據(jù)通常與應用的訪問量成正比，而應用的訪問量通常存在波峰波谷。時序數(shù)據(jù)的產(chǎn)生通常是以一個固定的時間頻率產(chǎn)生，不會受其他因素的制約，其數(shù)據(jù)生成的速度是相對比較平穩(wěn)的。寫多讀少，時序數(shù)據(jù)80%以上的操作都是寫操作，是典型的寫多讀少的數(shù)據(jù)。這通常只會關心幾個特定的關鍵指標或者在特定的場景下才會去讀數(shù)據(jù)。實時寫入最近生成的數(shù)據(jù)，無更新、無刪除，時序數(shù)據(jù)的寫入是實時的，且每次寫入都是最近生成的數(shù)據(jù)，這與其數(shù)據(jù)生成的特點相關，因為其數(shù)據(jù)生成是隨著時間推進的，而新生成的數(shù)據(jù)會實時的進行寫入。無需傳統(tǒng)數(shù)據(jù)庫的事務處理。數(shù)據(jù)量大：以火電廠機組測點數(shù)據(jù)來舉例，如果我們采集的測點數(shù)據(jù)的時間間隔是1s，那一個監(jiān)控項每天會產(chǎn)生86,400個數(shù)據(jù)點，若一臺機組有10000個監(jiān)控項，則一冷熱分明：時序數(shù)據(jù)有非常典型的冷熱特征，越是歷史的數(shù)據(jù)，被查詢和分析的概具有時效性：時序數(shù)據(jù)具有時效性，數(shù)據(jù)通常會有一個保存周期，超過這個保存周期的數(shù)據(jù)可以認為是失效的，可以被回收。一方面是因為越是歷史的數(shù)據(jù)，可利用的價值越低；另一方面是為了節(jié)省存儲成本，低價值的數(shù)據(jù)可以被清理。多精度數(shù)據(jù)存儲：在查詢的特點里提到時序數(shù)據(jù)出于存儲成本和查詢效率的考慮，會需要一個多精度的查詢，同樣也需要一個多精度數(shù)據(jù)的存儲。歷史數(shù)據(jù)存儲需要支持壓縮機制，降低存儲成本?！ぐ磿r間范圍讀取，顯示一段時間內(nèi)時序數(shù)據(jù)曲線?！ぷ罱臄?shù)據(jù)被讀取的概率高，歷史數(shù)據(jù)粗粒度查詢的概率高?！螠y點數(shù)據(jù)和多測點數(shù)據(jù)多種精度查詢?！ぐ凑諘r間維度、區(qū)域維度和業(yè)務對象維度進行多維度查詢分析?！び芯酆嫌嬎阈枨?。時序數(shù)據(jù)需要用精心設計的時間序列數(shù)據(jù)庫進行存儲，區(qū)別于傳統(tǒng)的關系型數(shù)據(jù)庫和分布式文件數(shù)據(jù)庫，時序數(shù)據(jù)庫針廠級SIS系統(tǒng)經(jīng)營決策分析系統(tǒng)智能故障診斷系統(tǒng)運行優(yōu)化系統(tǒng)…廠級SIS系統(tǒng)經(jīng)營決策分析系統(tǒng)智能故障診斷系統(tǒng)運行優(yōu)化系統(tǒng)… 工業(yè)網(wǎng)關除了在數(shù)據(jù)寫入、存儲和查詢等功能有其獨特要求，時序數(shù)據(jù)的采集、分析挖掘和展現(xiàn)方式也與其他數(shù)據(jù)類型有明顯不同，將時序數(shù)據(jù)連點成線，展示為時序圖，可以用數(shù)據(jù)揭示已經(jīng)發(fā)生的趨勢性、規(guī)律性、異常性，借助機器學習和神經(jīng)網(wǎng)絡等技術可以實現(xiàn)對設備的的故障缺陷預警和機組的運行優(yōu)化分析。一般來說時序庫要求具備如下功能：……數(shù)據(jù)采集模塊采用的是可視化編程技術,通過拖動組件實現(xiàn)數(shù)據(jù)流處理，用于實時數(shù)據(jù)的采集，支持可視化配置式開發(fā),支持拖動組件完成數(shù)據(jù)實時采集，函數(shù)組件支持常用業(yè)務開發(fā)基本的邏輯語法,滿足網(wǎng)頁編程，支持多種組件,能完成實時采集、實時計算和實 軟件系統(tǒng)數(shù)據(jù)示例支持Json格式，特殊字符分隔符等。timestampunit_idpi_codeoriginal_namequalitytimestampunit_idpi_codeoriginal_namequalitytimestamptagfieldpoint：一個時序數(shù)據(jù)點，類似于關系型數(shù)據(jù)庫中的row;timestamp：時間戳，表征時序數(shù)據(jù)產(chǎn)生的時間點;tag：維度列，用于描述設備/系統(tǒng)的屬性，表明是哪個設備/模塊產(chǎn)生的，一般不隨著時間變化;field：指標列，用于描述設備/系統(tǒng)狀態(tài)的變化，隨時間平滑波動。具備高并發(fā)讀寫能力，具備強大的聚合分析查詢能力，支持分布式存儲，可橫向擴展，支持冷熱數(shù)據(jù)分離和冷熱數(shù)據(jù)分盤 為了方便業(yè)務應用訪問時序數(shù)據(jù)庫中的數(shù)據(jù)，時序數(shù)據(jù)的查詢包括單測點數(shù)據(jù)查詢、聚合計算查詢、多測點查詢等多種類型，下表提供了多種查詢接口的定義格式，基本可以滿足各類應用場景。 接口功能1查詢接口核心基礎接口，動態(tài)設定條件進行各查詢接口2查詢接口核心基礎接口，可以執(zhí)行各類聚合查詢接口3實時接口實時接口4批量測點實時接口根據(jù)測點名、系統(tǒng)編碼和模型編碼獲批量測點實時接口5批量測點實時批量測點實時6批量獲取歷史數(shù)據(jù)接口(小時間段查詢，建6批量獲取歷史數(shù)據(jù)接口(小時間段查詢，建7批量獲取歷史數(shù)據(jù)接口批量獲取歷史數(shù)據(jù)接口 接口功能8查詢歷史某一時刻測點數(shù)據(jù)，當該時9計算接口計算接口實時接口查詢歷史實時數(shù)據(jù)，根據(jù)查詢時間返實時接口加權平均計算接口在查詢時間范圍內(nèi)，按照數(shù)據(jù)所占時加權平均計算接口條數(shù)接口根據(jù)條件獲取一段時間內(nèi)某測點的測條數(shù)接口查詢接口根據(jù)查詢時間，等間隔返回測點(指查詢接口批量獲取零點的歷史數(shù)據(jù)零點歷史數(shù)據(jù)接口批量獲取零點的歷史數(shù)據(jù)批量獲取昨日的歷史數(shù)據(jù)數(shù)據(jù)接口批量獲取昨日的歷史數(shù)據(jù)時序圖分析(Time-SeriesAnalysis)是描述時序數(shù)據(jù)值在一段時間內(nèi)變化波動的趨勢和規(guī)律的統(tǒng)計工具，如整個數(shù)據(jù)值范圍分布在在什么范圍內(nèi)，具有波動較大的時期或時點等。通過對趨勢的分析，也可以實現(xiàn)對未來數(shù)據(jù)變化的預測。組態(tài)建模是通過選擇測點、指標等實時數(shù)據(jù)，實現(xiàn)組態(tài)畫面實時數(shù)據(jù)的展示。并根據(jù)數(shù)據(jù)變換顏色、圖形等形象的展示出設備或系統(tǒng)的運行情況，支持歷史數(shù)據(jù)回放功能，支持動態(tài)添加右鍵菜單方式自定義顯示頁面，包括：數(shù)據(jù)看板、電子表格及查告警管理，系統(tǒng)內(nèi)置六種告警規(guī)則，分別是：條件查詢告警（簡單）、條件查詢告警（支持重復告警）、字段值統(tǒng)計告字段值連續(xù)統(tǒng)計告警、字段值分組統(tǒng)計告警、條件查詢告警（數(shù)量倍數(shù)增長），支持六類場景條件告警。配置告警規(guī)則后，當觸發(fā)告警條件時進行提醒，系統(tǒng)內(nèi)置郵箱提醒及微信，短信等提醒方式。隨著時間的變化，時序數(shù)據(jù)庫占用的硬件資源越來越龐大，針對低頻訪問數(shù)據(jù)可以通過備份功能將數(shù)據(jù)遷移到低成本的硬件存儲資源上，數(shù)據(jù)備份管理提供可視化備份管理界面，用戶可通過選擇系統(tǒng)，模型及時間來查詢當前系統(tǒng)下的數(shù)據(jù)及進行數(shù)據(jù)備diskusage(服務器磁盤占用)、uptime（解節(jié)點啟動時長），通過上述功能可以及時了解時序庫當前狀態(tài)。發(fā)電企業(yè)的大數(shù)據(jù)分析平臺是以電廠業(yè)務需求作為牽引，結(jié)合發(fā)電企業(yè)的數(shù)據(jù)特點形成的一系列分析方法和工具。從分析原理上來說包括：知識驅(qū)動、數(shù)據(jù)驅(qū)動、融合分析和統(tǒng)計驅(qū)動三種類型。技術體系如下圖所示。知識驅(qū)動的指標分析方法，是基于大量理論模型以及對現(xiàn)實工業(yè)系統(tǒng)的物理、化學、工藝以及行業(yè)經(jīng)驗等動態(tài)過程的知識，包括基于參數(shù)閾值、規(guī)則指標的方法和案例推理技術等，其中知識庫是支撐這類方法的基礎。數(shù)據(jù)驅(qū)動的人工智能分析方法，很少考慮機理模型和閉環(huán)控制邏輯的存在，而是利用算法在完全數(shù)據(jù)空間中尋找規(guī)律和知識，包括神經(jīng)網(wǎng)絡、分類樹、隨機森林、支持向量機、邏輯回歸、聚類等方法?；诮y(tǒng)計學的數(shù)據(jù)可視化分析方法，主要是借助數(shù)據(jù)庫的聚合計算能力，對數(shù)據(jù)進行分組求和、平均、最大值、最小值等計算，然后借助可視化工具對數(shù)據(jù)進行展示。指標管理平臺是一款基于大數(shù)據(jù)的指標在線計算平臺。能同時面向業(yè)務人員和技術人員的對指標進行統(tǒng)一管理的工具。提供了數(shù)據(jù)建模、指標定義、指標數(shù)據(jù)落地和數(shù)據(jù)分析于一體的完整解決方案。指標平臺核心模型如下圖所示：1111nnn參數(shù)：參數(shù)：指標運算過程中使用的變量。規(guī)則：指標的算法，通常一個規(guī)則包含多個參數(shù)。調(diào)度：指標運算周期的控制。分為年、月、日、時、分、秒。維度：指從不同的角度對指標數(shù)據(jù)的分類。分為時間維度、獨立維度、多級維度、字典維度四種。簡單指標：簡單指標指從數(shù)據(jù)集直接獲取通過算法計算的指標，一般情況下，一個簡單指標都會指定一個數(shù)據(jù)集和一個算法。算法配置方式有四種，分為數(shù)據(jù)集SQL、自定義SQL、計算公式、自定義規(guī)則。復合指標：復合指標是指在簡單指標基礎上，使用簡單指標計算結(jié)果進行二次計算的指標。在高精度時間計算中(分、秒)，為了滿足計算時間的需求，會將復合指標還原至多個簡單指標的計算規(guī)則的組合。填報指標：填報指標是指由線下或無法通過數(shù)據(jù)集獲取的數(shù)據(jù)，由人為手工填報的指標，可以用做后續(xù)的復合指標計算。指標管理平臺應具備如下能力：·支持多種調(diào)度計算頻率，針對不同的業(yè)務場景合理使用不同的調(diào)度計算頻率。如需要實時分析的場景數(shù)據(jù)，要使用分鐘或秒級的調(diào)度頻率來計算，系統(tǒng)將會根據(jù)算法將復雜指標還原至基本算法，進行統(tǒng)一計算，分發(fā)處理，順利完成場景對計算時間的要求；如需要分析相對跨度大的場景數(shù)據(jù)，就要使用日、月、年的調(diào)度頻率來計算，系統(tǒng)會根據(jù)復雜指標的層級，逐級執(zhí)行，可以追溯各級指標對最終結(jié)果的影響。指標計算中可以設置計算周期，計算周期分為：秒、分、時、日、周、月、季、年。準實時指標計算周期性指標計算.·支持多維度配置方式，針對相同算法指標使用維度配置方式，可以節(jié)省多余的指標配置數(shù)量，根據(jù)分析角度不同，通過配置不同的時間維度來進行精細化分析?！ぶС炙惴ê瘮?shù)，通過多個業(yè)務場景的實施，系統(tǒng)已將常用的算法封裝成函數(shù)，以便于再次配置相同類型指標時直接使用。并且系統(tǒng)集成了Groovy腳本的配實現(xiàn)任意復雜的算法，常用函數(shù)也可以在腳本中調(diào)用?！ぶС直憬菔蕉x和修改，系統(tǒng)直接通過頁面配置指標，利用試算功能測試算法、結(jié)果精度等是否符合業(yè)務需求，在線調(diào)試·支持對計算結(jié)果的預警、報警，通過設置指標結(jié)果的閾值來觸發(fā)預警、報警功能，通過發(fā)送系統(tǒng)消息、郵件、短信等方式通知管理者及時做出相應的對策?！ぶС种厮?、補錄和修正。調(diào)度運行中如果出現(xiàn)數(shù)據(jù)源的數(shù)據(jù)傳輸錯誤或不可抗力的意外情況，恢復正常后可以通過重算功能來修正計算結(jié)果。如數(shù)據(jù)源端的數(shù)據(jù)并未恢復正常，也可以通過補錄和修正的方式認為的修正結(jié)果。指標管理平臺可用于如下業(yè)務場景：1經(jīng)營分析統(tǒng)計發(fā)電企業(yè)中對經(jīng)營數(shù)據(jù)的分析是必不可少的，管理者需要通過對經(jīng)營數(shù)據(jù)的分析做出階段性的重要決策。指標管理平臺通過配置指標的方式，可以針對管理者關注的經(jīng)營指標進行定期計算，形成經(jīng)營分析統(tǒng)計類指標，同時支持對分析統(tǒng)計指標進行拆解，通過追溯分析影響因素的構成，從而尋找出改善方向。例如：在企業(yè)中，利潤指標時所有管理者都非常關心的指標，利潤指標一般是由收入指標減去成本指標，收入指標又由主營業(yè)務收入和其他業(yè)務收入構成，依次追溯下去，我們會從企業(yè)最基本的財務數(shù)據(jù)中獲取數(shù)據(jù)，然后計算出利潤指標，從這個指標計算過程，我2指標監(jiān)控告警在能源行業(yè)，無論是電廠的機組還是電網(wǎng)中的變電站都有大量的實時指標數(shù)據(jù)在跟蹤當下運行情況，一旦出現(xiàn)問題，就會影響到電廠正常發(fā)電和變電站正常運行，造成重大經(jīng)濟損失。指標管理平臺通過對指標的實時計算監(jiān)控，針對相同算法的指標，通過維度的配置方式，可以節(jié)省指標數(shù)量的配置，并設置閾值預警和報警，提高安全系數(shù)，提早做出預防工作，避免損失。3設備故障診斷指標場景發(fā)電企業(yè)設備一般大多具備價值高、運行復雜等特點，要想準確的診斷甚至預測設備的故障，難度很高，因為設備的核心參數(shù)之間不是彼此孤立的，會相互影響，因此基于機器運行機理建立多參數(shù)之間的關聯(lián)分析指標就非常有必要，我們會將核心關鍵參數(shù)根據(jù)設備機理形成指標計算公式和特征曲線，借此方法分析判斷設備異常情況。同時，當指標模型建立后，可以對歷史指標結(jié)果數(shù)據(jù)的故障因素進行分析系統(tǒng)會自動分辨預測故障狀態(tài)，此時可以根據(jù)報警，進行故障方向的排查，減少故障的發(fā)生。4工況尋優(yōu)類指標計算在發(fā)電企業(yè)中，影響設備在最優(yōu)的工況下運行的因素有很多，總來的來說分為兩大類，一類是可控因素一類是不可控因素，當管理者想要尋找最優(yōu)的方案時，不知從何下手。指標管理平臺通過對同一參數(shù)不同數(shù)值的監(jiān)控計算，尋找到最優(yōu)的參數(shù)，提示設備操作者將可控因素進行調(diào)整。同理，還可以通過歷史指標數(shù)據(jù)的分析，尋找歷史最優(yōu)值。例如：工況優(yōu)化中發(fā)電廠中對安全和效率同時關注，而溫度、壓力等是可調(diào)整的因素，而效率又是不可控的，可以通過同指標不同算法的配置，尋找出相對安全，效率又最高的臨界點。隨著計算能力越來越強，云計算、大數(shù)據(jù)、虛擬化等技術的出現(xiàn)，讓人工智能有了可依賴的現(xiàn)實技術基礎。隨著大數(shù)據(jù)的積聚、利用大數(shù)據(jù)技術分析，幫助企業(yè)深度數(shù)據(jù)挖掘、分析數(shù)據(jù)、使用數(shù)據(jù)。機器學習算法平臺基于微服務結(jié)構，依托機器學習和深度學習引擎，將數(shù)據(jù)輸入輸出、數(shù)據(jù)預處理、挖掘建模、模型評估等環(huán)節(jié)通過在線流程化的方式進行連接，達到數(shù)據(jù)分析和數(shù)據(jù)挖掘的目的?！P系型數(shù)據(jù)庫大數(shù)據(jù)平臺人工智能分析管控平臺應具備如下能力：1訓練集模型元數(shù)據(jù)管理因此需要此功能在瀏覽器上進行操作，可動態(tài)擴展。2訓練集管理訓練集模型數(shù)據(jù)增、刪、查改信息管理，訓練集數(shù)據(jù)的選取極為關鍵，需要借助專業(yè)知識從現(xiàn)有歷史數(shù)據(jù)中進行挖掘和發(fā)3算法庫管理數(shù)據(jù)預處理算法、分類算法、回歸類算法、圖像識別類算法、時序分析算法等。4模型訓練管理基于任務流方式配置人工智能模型訓練過程主要包括6個①確定數(shù)據(jù)源，指定上述訓練集對象作為機器學習模型的數(shù)據(jù)值缺失、數(shù)據(jù)值錯誤、數(shù)據(jù)類型異常等等，這些情況都會導致?lián)p害模型的準確性，通過對數(shù)據(jù)進行預處理，來消除數(shù)據(jù)中的噪聲、糾正數(shù)據(jù)的不一致、識別和刪除離群數(shù)據(jù)、對數(shù)據(jù)進行規(guī)約管理，來提高模型魯棒性,防止模型過擬合。③特征工程，用數(shù)學轉(zhuǎn)換的方法將原始輸入數(shù)據(jù)轉(zhuǎn)換為機器學習模型的新特征，或者借助于領域?qū)I(yè)知識應用于機器學習模型，挖掘和發(fā)現(xiàn)新的特征，這些使得特征能在機器學習算法上發(fā)揮更好的作用的過程，包括：特征初步篩選、特征變換、特征組合、特征選擇、數(shù)據(jù)的歸一化處理等等。⑤模型運行，設定訓練集與測試集比例，進行模型評估，計算出模型評測結(jié)果。⑥模型存儲，當模型預測準確性達到預定標準后，將模型數(shù)據(jù)預處理，數(shù)據(jù)分類，核心算法，準確率，分類報告等信息。5模型管理模型下載、模型作廢等等。6模型運行配置設置模型調(diào)度執(zhí)行周期、模型運行實時數(shù)據(jù)來源等信息。7模型診斷結(jié)果確認針對人工智能模型判識結(jié)果進行人工確認，如果確認判識正確，人為對此結(jié)果進行確認，同時將判識對應的數(shù)據(jù)集動態(tài)添加到訓練集中，為下一版本的模型訓練增加訓練集數(shù)據(jù)，對模型人工智能分析管控平臺可以用于以下業(yè)務場景分析：1設備故障診斷在電廠中，存在大量轉(zhuǎn)動設備，傳統(tǒng)的診斷方法是基于設備參數(shù)超限預警和設備機理的分析，在智慧電廠中，積累了TB級的設備運行數(shù)據(jù)，可以依托大數(shù)據(jù)平臺，使用基于機器學習和深度學習技術，通過對接設備故障庫、算法、構建模型、迭代優(yōu)化等步驟逐步完善設備故障智能診斷預警系統(tǒng)。2鍋爐四管健康分析通過人工智能的深度學習模型對“四管”歷史環(huán)境測點數(shù)據(jù)和減薄測點進行篩選，處理和模型優(yōu)化，然后利用線上實時的測點數(shù)據(jù)可以對一定周期內(nèi)的“四管”減薄進行預測，在“四管”經(jīng)過一段時間減薄之后可以對“四管”進行防爆預警。要求對歷史的減薄數(shù)據(jù)進行對比測試，此外能夠提供“四管”防爆預警模型訓練平臺以及線上部署服務的平臺。3機組運行優(yōu)化場景在機組運行優(yōu)化系統(tǒng)中，采用人工智能算法與模型將當前工況與歷史工況進行聚類分析，計算得到在此工況下歷史上的最優(yōu)運行參數(shù)值，從而指導當前工況下機組運行參數(shù)的調(diào)整。4輸煤廊道巡檢場景在輸煤廊道巡檢場景中包括：皮帶機上異物闖入監(jiān)測及告警模型，皮帶機側(cè)方撒煤監(jiān)測及方位告警模型，人員跌倒、未佩戴安全多維可視化分析平臺是一款定位于工業(yè)互聯(lián)網(wǎng)業(yè)務場景下的數(shù)據(jù)分析和可視化展現(xiàn)的產(chǎn)品。通過數(shù)據(jù)源的連接和數(shù)據(jù)集的創(chuàng)建，對數(shù)據(jù)進行分析和查詢；通過豐富的圖表組件和看版組件以及電子表格組件，以拖拽的方式進行數(shù)據(jù)可視化的展現(xiàn)。多維可視化分析平臺能夠?qū)崿F(xiàn)可視化報表業(yè)務靈活方便的擴展，不僅能對具體報表業(yè)務進行調(diào)整，還能靈活方便增加新的報表業(yè)務，實現(xiàn)企業(yè)統(tǒng)一報表口徑，提高數(shù)據(jù)質(zhì)量，提升業(yè)務人員和管理者的數(shù)據(jù)獲取效率。數(shù)據(jù)源數(shù)據(jù)集任意格式多源融合SqlESPhoenixK關系型數(shù)據(jù)庫大數(shù)據(jù)平臺多維數(shù)據(jù)分析平臺開發(fā)過程如下：將上述四類圖表在電腦上編排，根據(jù)將上述四類圖表在電腦上編排，根據(jù) 支持數(shù)據(jù)門戶風格定制、菜 支持數(shù)據(jù)門戶風格定制、菜單設置、權限 自助建模，訪問具體數(shù)據(jù)的連接關系型數(shù)據(jù)庫及各種大時間序列數(shù)據(jù)分析與編排適合手機屏幕支持SVG矢量圖組態(tài)編排適合手機屏幕多維分析可視化平臺應包括如下能力：數(shù)據(jù)源管理用于定義數(shù)據(jù)來源，支持目前主流的關系型數(shù)據(jù)庫，如Oracle、SQLServer、DB2、MYSQL、PostgreSQL等，以及常用的國產(chǎn)數(shù)據(jù)庫，如達夢、人大金倉、GBase等；大數(shù)據(jù)架構下的數(shù)據(jù)庫支持Hive、ElasticSearch、Kylin等；另外系統(tǒng)還實現(xiàn)對文件導入數(shù)據(jù)、RESTAPI讀取到的數(shù)據(jù)進行分析、展示。同時可通過擴展的方式添加新的數(shù)據(jù)源到系統(tǒng)中。支持豐富的圖表組件，支持過濾類組件、2D圖表組件和3D圖表組件等。·過濾組件日期過濾組件、列表過濾組件、下拉框過濾組件、樹過濾組件、LookUp查詢過濾組件等?！?D圖表組件環(huán)形圖組件、雷達圖、時間遷徙圖、GIS組件、度量組件、交叉表格組件、時序圖組件、直方圖組件等。·3D組件支持三維餅狀圖組件、三維區(qū)域組件、三柱狀組件、三維曲線組件、3D環(huán)形圖組件、堆積柱狀圖組件、三維散點圖組件等。電子報表設計器是用于解決復雜類似Excel表格類業(yè)務場景，通過迭代單元格可以實現(xiàn)任意復雜的中國式報表，設計器可