熱力行業(yè)智慧供暖大數(shù)據(jù)架構(gòu)方案

熱力行業(yè)智慧供暖大數(shù)據(jù)架構(gòu)方案

一.概述

為了使熱網(wǎng)運(yùn)行管理全部實(shí)現(xiàn)數(shù)據(jù)化，智能化。實(shí)現(xiàn)“調(diào)度指揮平臺(tái)”“室溫

監(jiān)控平臺(tái)"''服務(wù)管理平臺(tái)”三個(gè)平臺(tái)的數(shù)據(jù)互通、共享的基礎(chǔ)上，通過(guò)對(duì)收

集的數(shù)據(jù)進(jìn)行科學(xué)分析，合理調(diào)控?zé)峋W(wǎng)，保證用戶(hù)室溫舒適形成一個(gè)及生產(chǎn)，

辦公，管理，決策于一體的智慧供暖系統(tǒng)。

1.1現(xiàn)狀分析

目前熱力公司已經(jīng)建成：供熱報(bào)停、供熱服務(wù)管理、供熱測(cè)溫、供熱服務(wù)、供

熱稽查、供熱運(yùn)行、0A辦公、HR人力資源管理、繳費(fèi)系統(tǒng)、倉(cāng)存管理系統(tǒng)。

業(yè)務(wù)涵蓋了企業(yè)生產(chǎn)，管理，運(yùn)營(yíng)等方面。

通過(guò)VPN，專(zhuān)線(xiàn)以及物聯(lián)網(wǎng)卡等方式將所有換熱站，供熱所以及用戶(hù)家的相關(guān)

生產(chǎn)數(shù)據(jù)回傳到調(diào)度指揮中心，所有業(yè)務(wù)入口通過(guò)統(tǒng)一平臺(tái)實(shí)現(xiàn)單點(diǎn)登錄。

現(xiàn)有問(wèn)題梳理如下:

1、基礎(chǔ)信息沒(méi)有完全實(shí)現(xiàn)數(shù)字化

目前熱力公司的大部分基礎(chǔ)生產(chǎn)數(shù)據(jù)已經(jīng)實(shí)現(xiàn)了自動(dòng)獲取，分別通過(guò)熱力熱網(wǎng)

運(yùn)行監(jiān)控系統(tǒng)，客服系統(tǒng)，稽查系統(tǒng)進(jìn)行展示，包括熱網(wǎng)運(yùn)行數(shù)據(jù)，用戶(hù)室溫

數(shù)據(jù)，供熱服務(wù)管理，供熱稽查管理。

但仍有部分?jǐn)?shù)據(jù)沒(méi)有完全融入到各自的管理系統(tǒng)中，比如換熱站電表統(tǒng)計(jì)，各

主要管道節(jié)點(diǎn)，樓梯間溫度統(tǒng)計(jì)。

由于缺少更多的基礎(chǔ)信息作為大數(shù)據(jù)分析的基礎(chǔ)，熱力的熱網(wǎng)運(yùn)行監(jiān)控系統(tǒng)更

多的是作為生產(chǎn)輔助手段，而難以為生產(chǎn)決策提供有力的數(shù)據(jù)支撐。

2、獨(dú)立的系統(tǒng)形成數(shù)據(jù)孤島

熱力現(xiàn)有主要運(yùn)行系統(tǒng)包括熱網(wǎng)運(yùn)行監(jiān)控系統(tǒng)、客服系統(tǒng)、稽查系統(tǒng)、繳賽系

統(tǒng)、HR管理、0A辦公、倉(cāng)存管理。但由于發(fā)展時(shí)期不同，各個(gè)系統(tǒng)獨(dú)立運(yùn)行，

并且由不同的公司開(kāi)發(fā)維護(hù)。上述系統(tǒng)承載著熱力公司的生產(chǎn)，管理，經(jīng)營(yíng)各

個(gè)方面，這些影響企業(yè)發(fā)展的因素卻因?yàn)橄到y(tǒng)的獨(dú)立而無(wú)法有效的形成決定企

業(yè)發(fā)展的綜合決策。隨著信息化和數(shù)字化的發(fā)展，數(shù)據(jù)已經(jīng)變得越來(lái)越重要，

越來(lái)越有價(jià)值。只有充分融合所有的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的互融互通。才能讓企業(yè)

積累的各種數(shù)據(jù)發(fā)揮最大的價(jià)值，為企業(yè)的生產(chǎn)和管理創(chuàng)造出直接的經(jīng)濟(jì)效

益。

3、缺乏對(duì)基礎(chǔ)數(shù)據(jù)的整體分析和深層挖掘

現(xiàn)有的系統(tǒng)中，已經(jīng)匯總了和生產(chǎn)，管理，運(yùn)營(yíng)相關(guān)的大部分?jǐn)?shù)據(jù)，包括：溫

度、流量、壓力、繳費(fèi)、客服、稽查管理等數(shù)據(jù)，但是現(xiàn)有的系統(tǒng)對(duì)這些數(shù)據(jù)

缺少更深層的數(shù)據(jù)挖掘和統(tǒng)計(jì)分析，企業(yè)發(fā)展至今積累下的包括的歷史數(shù)據(jù)并

沒(méi)有用來(lái)成為數(shù)據(jù)分析的基礎(chǔ)。

1.2建設(shè)目標(biāo)

為了完善基礎(chǔ)數(shù)據(jù)網(wǎng)，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)互融互通，充分利用和挖掘所有數(shù)據(jù)的潛

在價(jià)值，計(jì)劃建設(shè)熱力智慧供暖系統(tǒng)。

“智慧供熱”信息化平臺(tái)，是基于移動(dòng)互聯(lián)網(wǎng)技術(shù)，集生產(chǎn)系統(tǒng)、設(shè)備管理、

收費(fèi)系統(tǒng)和客服系統(tǒng)一體的供熱管控平臺(tái)。打破信息獨(dú)立、實(shí)現(xiàn)數(shù)據(jù)共享。打

通系統(tǒng)間的數(shù)據(jù)、應(yīng)用、流程、界面。同時(shí)利用平臺(tái)技術(shù)，將企業(yè)內(nèi)部系統(tǒng)、

外部第三方系統(tǒng)進(jìn)行有機(jī)整合，形成一個(gè)開(kāi)放的智慧供熱信息化平臺(tái)。

二.總體規(guī)劃框架

2.1需求分析

梳理現(xiàn)有需求，對(duì)部分人工計(jì)算或半人工計(jì)算的數(shù)據(jù)形成數(shù)據(jù)庫(kù)。

需求：

1）補(bǔ)水量統(tǒng)計(jì)：完善自來(lái)水，二次網(wǎng)水耗數(shù)據(jù)，數(shù)據(jù)納入到數(shù)據(jù)倉(cāng)庫(kù)中。通過(guò)

網(wǎng)絡(luò)接口直接抓取或者手工輸入每日水消耗量。根據(jù)公式進(jìn)行核算和統(tǒng)計(jì)，計(jì)

算出各個(gè)換熱站補(bǔ)水量統(tǒng)計(jì)，并形成歷史數(shù)據(jù)與曲線(xiàn)圖表、預(yù)警分析，取消手

工統(tǒng)計(jì)。（生產(chǎn)運(yùn)行信息）

2）考勤率統(tǒng)計(jì)，根據(jù)巡站簽到數(shù)據(jù)，通過(guò)API接口匯總到數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)

自動(dòng)篩選統(tǒng)計(jì)，形成匯總報(bào)表。（績(jī)效考核）

3）完善基礎(chǔ)數(shù)據(jù)采集，逐步將更多生產(chǎn)數(shù)據(jù)、如換熱站、供熱所的溫度、流

量、壓力、電耗、水耗、天氣、所有用戶(hù)溫度、樓宇、管道、全部納入到數(shù)據(jù)

倉(cāng)庫(kù)中。（生產(chǎn)運(yùn)行信息）

4）抓取現(xiàn)有熱網(wǎng)監(jiān)控?cái)?shù)據(jù)歷史數(shù)據(jù)，形成曲線(xiàn)圖，綜合生產(chǎn)信息，運(yùn)行記錄，

支持對(duì)數(shù)據(jù)排序、歷史數(shù)據(jù)查詢(xún)、數(shù)據(jù)的重新核算，并能形成直觀的圖表展示

在統(tǒng)一的駕駛員座艙視圖中。（生產(chǎn)運(yùn)行信息）

5）用戶(hù)溫度歷史數(shù)據(jù)，曲線(xiàn)圖。支持對(duì)數(shù)據(jù)排序，歷史數(shù)據(jù)查詢(xún)，并能形成直

觀的圖表展示在統(tǒng)一的駕駛員座艙視圖中

（生產(chǎn)運(yùn)行信息）

6）客服滿(mǎn)意率統(tǒng)計(jì)，根據(jù)客服電話(huà)，問(wèn)題處理結(jié)果及最終溫度反饋等信息，匯

總計(jì)算形成客服滿(mǎn)意率（運(yùn)營(yíng)管理）

對(duì)攝像頭圖像分析，監(jiān)控人員進(jìn)出圖像，電燈情況，站內(nèi)水管異常改接，PLC

柜私自調(diào)整。（生產(chǎn)運(yùn)行信息）

2.2總體架構(gòu)

、

2.3業(yè)務(wù)流程

根據(jù)業(yè)務(wù)需求，對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行分類(lèi)，梳理，挖掘，形成不同業(yè)務(wù)所

2.4數(shù)據(jù)流程

通過(guò)ETL工具將現(xiàn)有業(yè)務(wù)進(jìn)行整理，清洗，匯總，根據(jù)業(yè)務(wù)需求形成獨(dú)立的數(shù)

據(jù)倉(cāng)庫(kù)。

數(shù)據(jù)源：包括熱力的業(yè)務(wù)系統(tǒng)（熱源運(yùn)行數(shù)據(jù)、換熱站運(yùn)行數(shù)據(jù)、換熱站補(bǔ)水

量、換熱站運(yùn)行監(jiān)測(cè)、換熱站室溫、用戶(hù)區(qū)溫度，繳費(fèi)數(shù)據(jù)，客服數(shù)據(jù)、0A、

HR、倉(cāng)存）等結(jié)構(gòu)化數(shù)據(jù)、硬件的設(shè)備數(shù)據(jù)（防火墻設(shè)備的日志、以及視頻、

無(wú)線(xiàn)WIFI）等非結(jié)構(gòu)化數(shù)據(jù)、互聯(lián)網(wǎng)的數(shù)據(jù)（室溫，GIS信息）半結(jié)構(gòu)化數(shù)

據(jù)。

熱力業(yè)務(wù)系統(tǒng)數(shù)據(jù)調(diào)研情況表:

業(yè)業(yè)使采

數(shù)數(shù)

序務(wù)務(wù)用集

據(jù)據(jù)

號(hào)部系時(shí)方

項(xiàng)量

門(mén)統(tǒng)間式

執(zhí)，八、

源

r

及

熱電

網(wǎng)廠數(shù)

運(yùn)：據(jù)

行供庫(kù)

監(jiān)水對(duì)

儀控溫接

1表：度3年（

所熱回只

源水讀

運(yùn)溫權(quán)

行度限

數(shù)供）

據(jù)水

壓

力

回

水

壓

力

瞬

時(shí)

流

量

瞬

時(shí)

熱

量

累

計(jì)

執(zhí)八'、

量

今

B

耗

執(zhí)，八、

昨

日

耗

執(zhí)

，八、

累

計(jì)

補(bǔ)

水

理

論

負(fù)

荷

理

論

供

溫

理

論

流

量

熱理數(shù)

儀

網(wǎng)論據(jù)

2表3年

運(yùn)數(shù)庫(kù)

所

行據(jù)對(duì)

監(jiān)：接

控供（

:熱只

熱面讀

源積權(quán)

運(yùn)室限

行夕卜）

數(shù)溫

據(jù)度

24

小

時(shí)

均

溫

溫

度

補(bǔ)

償

理

論

供

溫

實(shí)

測(cè)

負(fù)

荷

理

論

負(fù)

荷

理

論

流

量

日

總

耗

熱

換各數(shù)

儀

熱換據(jù)

3表3年

站熱庫(kù)

所

運(yùn)站對(duì)

行數(shù)接

數(shù)據(jù)：（

據(jù)供只

:熱讀

換面權(quán)

熱積限

站一）

運(yùn)網(wǎng)

行供

數(shù)溫

網(wǎng)

回

溫

網(wǎng)

供

壓

網(wǎng)

回

壓

網(wǎng)

供

溫

網(wǎng)

回

溫

網(wǎng)

供

壓

網(wǎng)

回

壓

換個(gè)數(shù)

儀

熱換據(jù)

4表3年

站熱庫(kù)

所

運(yùn)站對(duì)

行補(bǔ)接

數(shù)水（

據(jù)量只

::讀

換供權(quán)

熱熱限

站面）

補(bǔ)積

水自

量來(lái)

水

補(bǔ)

水

量

補(bǔ)

補(bǔ)

水

量

補(bǔ)

水

量

合

計(jì)

各

用

戶(hù)

測(cè)數(shù)

試據(jù)

點(diǎn)庫(kù)

換室對(duì)

儀熱溫接

5表站：3年(

所室設(shè)只

溫備讀

號(hào)權(quán)

樓限

棟)

房

間

室

溫

達(dá)

標(biāo)

各

供

熱

所

數(shù)

數(shù)

換據(jù)

據(jù)

熱庫(kù)

站對(duì)

站

儀室接

號(hào)

6表溫3年（

對(duì)

所檢只

應(yīng)

測(cè)讀

站

數(shù)權(quán)

號(hào)

據(jù)限

站

）

名

供

熱

面

積

設(shè)

備

個(gè)

數(shù)

達(dá)

標(biāo)

率

均

室

溫

最

高

室

溫

最

低

室

溫

各

供

熱

所

數(shù)

據(jù)數(shù)

:據(jù)

采庫(kù)

供

集對(duì)

熱

儀’器接

用

7表供3年（

戶(hù)

所熱只

測(cè)

所讀

溫

換權(quán)

熱限

站）

小

區(qū)

住

宅

樓

地

址

望

元

號(hào)

門(mén)

牌

號(hào)

姓

名

臣

活

室

外

:溫

度

測(cè)

點(diǎn)

溫

度

體

感

溫

度

偏

移

量

修

正

方

法

溫

度

電

量

信

號(hào)

安

裝

時(shí)

間

采

集

時(shí)

間

更

新

時(shí)

間

設(shè)

備

類(lèi)

型

達(dá)

標(biāo)

狀

況

狀

態(tài)

稽數(shù)

綜

查據(jù)

8合4年

數(shù)庫(kù)

計(jì)

據(jù)對(duì)

劃接

部（

只

讀

權(quán)

限

）

數(shù)

據(jù)

庫(kù)

綜對(duì)

報(bào)

合接

停

9計(jì)4年（

數(shù)

戈I只

據(jù)

部讀

權(quán)

限

)

財(cái)數(shù)

繳

10務(wù)4年據(jù)

賽

部庫(kù)

數(shù)對(duì)

據(jù)接

（

只

讀

權(quán)

限

）

數(shù)

據(jù)

庫(kù)

對(duì)

客

接

客服

114年（

服數(shù)

D

據(jù)

讀

權(quán)

限

)

數(shù)

據(jù)

庫(kù)

對(duì)

企接

12管0A1年（

部只

讀

權(quán)

限

）

數(shù)

據(jù)

庫(kù)

企對(duì)

13管HR1年接

部（

只

讀

權(quán)

限

)

數(shù)

據(jù)

庫(kù)

對(duì)

倉(cāng)

企接

存

14管1年（

數(shù)

部只

據(jù)

讀

權(quán)

限

）

天網(wǎng)

未

氣絡(luò)

15使

信獲

用

息取

三.具體設(shè)計(jì)方案

3.1可視化分析展示子系統(tǒng)（展示界面僅為參考界

面**)**

3.1.2補(bǔ)水量統(tǒng)計(jì)

3.1.3溫度分布

3.1.4換熱站綜合信息

3.1.5綜合運(yùn)行指數(shù)

3.1.6換熱站內(nèi)部運(yùn)行信息

3.1.7企業(yè)運(yùn)行綜合指數(shù)

3.2數(shù)據(jù)對(duì)接子系統(tǒng)

數(shù)據(jù)對(duì)接子系統(tǒng)提供數(shù)據(jù)對(duì)接服務(wù)，其主要作用是通過(guò)對(duì)各數(shù)據(jù)源的數(shù)據(jù)進(jìn)

行采集，然后通過(guò)數(shù)據(jù)清洗、比對(duì)等過(guò)程，實(shí)現(xiàn)數(shù)據(jù)的導(dǎo)入，匯總、整理、查

詢(xún)相關(guān)數(shù)據(jù)。主要功能包括描述如下：

3.2.1數(shù)據(jù)抽取

0多數(shù)據(jù)源管理器

數(shù)據(jù)對(duì)接子系統(tǒng)支持各種數(shù)據(jù)庫(kù)（數(shù)據(jù)庫(kù)數(shù)據(jù)源有：GBase、SQL

server、DB2、Oracle、Sybase等）之間的數(shù)據(jù)同步和數(shù)據(jù)遷移。同時(shí)

還支持文件數(shù)據(jù)源，如文本文件、Excel表格等。

0SQL編輯器

數(shù)據(jù)抽取支持自定義SQL語(yǔ)句。數(shù)據(jù)加載支持使用SQL方式（INSERT、

UPDATE、DELETE）加載，并支持?jǐn)?shù)據(jù)庫(kù)的批量加載功能。此外，通過(guò)該SQL

編輯器可以預(yù)覽、編輯和執(zhí)行DDL（DataDefinitionLanguage）語(yǔ)句，比

如"truncatetable"、"createtable”等。

0支持?jǐn)?shù)據(jù)文件

數(shù)據(jù)對(duì)接子系統(tǒng)支持各種數(shù)據(jù)文件格式（TXT,CSV,Excel等）進(jìn)行數(shù)據(jù)抽

取，同時(shí)還支持文件類(lèi)型數(shù)據(jù)的遷移。

3.2.2數(shù)據(jù)轉(zhuǎn)換

0數(shù)據(jù)轉(zhuǎn)換

提供了多種數(shù)據(jù)轉(zhuǎn)換的方式，利用字段映射、拆分、混合、記錄拆分、行列變

換、動(dòng)態(tài)修改、時(shí)間類(lèi)型轉(zhuǎn)換、代理主鍵生成、記錄間合并、生成多維數(shù)據(jù)、

構(gòu)建樣品數(shù)據(jù)、排序、統(tǒng)計(jì)、行列的分組聚合等方式完成大多數(shù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)

換，并提供了腳本二次開(kāi)發(fā)環(huán)境（JavaScript腳本轉(zhuǎn)換插件），對(duì)于極個(gè)別的

特殊用戶(hù)需求也同樣做到完美的實(shí)現(xiàn)。

0數(shù)據(jù)清洗

提供了多種數(shù)據(jù)清洗的方式，利用條件過(guò)濾、去除重復(fù)記錄、空值處理和去除

無(wú)效數(shù)據(jù)等方式對(duì)用戶(hù)數(shù)據(jù)進(jìn)行清洗，并且提供的腳本二次開(kāi)發(fā)環(huán)境也可以在

清洗中起到關(guān)鍵性的作用。

3.2.3數(shù)據(jù)加載

0數(shù)據(jù)加載

支持各種數(shù)據(jù)庫(kù)（數(shù)據(jù)庫(kù)數(shù)據(jù)源有：GBase、SQLserver、DB2、

Oracle、Sybase、Hadoop等）以及各種文件類(lèi)型（文件類(lèi)型有：

TXT,CSV,Excel等）的數(shù)據(jù)加載，實(shí)現(xiàn)了用戶(hù)的數(shù)據(jù)加載需求。

0批量加載

為了更加敏捷的進(jìn)行數(shù)據(jù)加載，數(shù)據(jù)對(duì)接系統(tǒng)提供了批量加載的形式，通過(guò)各

種數(shù)據(jù)庫(kù)廠商提供的高速加載接口，將數(shù)據(jù)以最快的方式加載到數(shù)據(jù)庫(kù)中。

3.2.4流程管理容器

0集群服務(wù)

通過(guò)主從的集群方式，數(shù)據(jù)對(duì)接子系統(tǒng)可以將復(fù)雜的轉(zhuǎn)換清洗加載過(guò)程分壓負(fù)

載到不同的服務(wù)器上，使該過(guò)程可以在最快的速度下完成用戶(hù)的需求，極度的

發(fā)揮負(fù)載均衡帶來(lái)的優(yōu)勢(shì)。集群配置方式簡(jiǎn)單，完全提供圖形化操作界面，將

會(huì)意難懂的集群變得像業(yè)務(wù)系統(tǒng)添加用戶(hù)一樣簡(jiǎn)單，用戶(hù)體驗(yàn)很好。

0遠(yuǎn)程服務(wù)

對(duì)于特定條件需要遠(yuǎn)程執(zhí)行轉(zhuǎn)換流程的任務(wù)，數(shù)據(jù)對(duì)接子系統(tǒng)提供了遠(yuǎn)程的執(zhí)

行方式，在這種方式下用戶(hù)的設(shè)計(jì)界面就如同遠(yuǎn)程桌面一樣，使實(shí)施環(huán)境受到

局限的任務(wù)依然可以輕松完成。

3.2.5計(jì)劃任務(wù)調(diào)度

數(shù)據(jù)對(duì)接子系統(tǒng)支持作業(yè)任務(wù)調(diào)度，可以周期的執(zhí)行作業(yè)和定時(shí)執(zhí)行作業(yè)。作

業(yè)的起始點(diǎn)，每個(gè)作業(yè)必須要用START插件做起始，而且單個(gè)作業(yè)任務(wù)只能有

一個(gè)START插件。START可以控制作業(yè)的執(zhí)行方式，與其連接的作業(yè)可以是

一個(gè)或者多個(gè)作業(yè)插件，并且與其直接連接的作業(yè)插件可以選擇串行或者并行

的運(yùn)行方式，START插件還可以設(shè)置輪訓(xùn)定時(shí)的執(zhí)行方式。

3.2.6實(shí)時(shí)監(jiān)控

提供了數(shù)據(jù)轉(zhuǎn)換過(guò)程中的監(jiān)控功能，可以實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)的處理流程。支持圖形

化監(jiān)控及日志監(jiān)控，并提供了對(duì)每個(gè)轉(zhuǎn)換組件的單獨(dú)性能跟蹤，是用戶(hù)可以在

最短的時(shí)