能源大數(shù)據(jù)管理系統(tǒng)的實現(xiàn)

能源大數(shù)據(jù)管理系統(tǒng)的實現(xiàn)陳克勝【摘要】針對電信運營商自身節(jié)能減排需要和所服務(wù)不同社會用戶及政府能源管理機(jī)構(gòu)對能耗信息服務(wù)的不同需求，提出建立電信運營商物聯(lián)網(wǎng)結(jié)合云計算的能源大數(shù)據(jù)管理系統(tǒng)。首先，概述了課題開發(fā)背景和能源大數(shù)據(jù)管理系統(tǒng)相關(guān)技術(shù)；其次，對系統(tǒng)設(shè)計進(jìn)行了介紹；接著，對系統(tǒng)實現(xiàn)進(jìn)行了探討。最后，對研究做了總結(jié)。%Forthetelecomoperatorsintheirneedforenergyconservationandthesocialserviceofdifferentusersanddifferentneedsofgovernmentenergymanagementmechanismofenergyconsumptioninformationservice,thispaperpresentstheenergydatamanagementsystemfortelecomoperatorsInternetbasedcloudcomputing.First,summarizestherelatedtechnologyresearchanddevelopmentbackgroundofenergydatamanagementsystem,secondly,introducesthesystemdesign,andthendiscussesthesystemimplementation,finally,makesasummaryofthisarticle.【期刊名稱】《機(jī)電工程技術(shù)》【年(卷)，期】2015(000)006【總頁數(shù)】6頁(P24-28,138)【關(guān)鍵詞】分項計量;節(jié)能減排;物聯(lián)網(wǎng);移動互聯(lián)網(wǎng);云計算;大數(shù)據(jù)【作者】陳克勝【作者單位】廣東盈嘉科技工程發(fā)展股份有限公司，廣東廣州510075【正文語種】中文［中圖分類】TP3集中式的管理和維護(hù)模式秉承樹立綠色、低碳發(fā)展理念，是響應(yīng)國家節(jié)能減排號召的重要實踐。建設(shè)基于電信運營商物聯(lián)網(wǎng)結(jié)合云計算技術(shù)的能源管理系統(tǒng)非常必要，以從機(jī)房/基站數(shù)據(jù)中獲得能夠真正反映設(shè)備運行狀況的有效信息，利用在線能耗數(shù)據(jù)挖掘分析結(jié)果，輔助實現(xiàn)依據(jù)用能設(shè)備的負(fù)荷變化來動態(tài)優(yōu)化用能設(shè)備的配電，大幅度減少電能消耗并為優(yōu)化能源管理的決策提供科學(xué)支持，在滿足通信業(yè)務(wù)發(fā)展的前提下盡量節(jié)省資源，以提升通信運營商的社會形象和競爭優(yōu)勢［1］。（1）數(shù)據(jù)感知采集［2］本論文采集數(shù)據(jù)包括通信機(jī)房和通信基站兩大類用能場所，具體為列頭柜、機(jī)柜、空調(diào)、照明、辦公插座等設(shè)備的能耗，還可以通過IPMI接口采集服務(wù)器設(shè)備的功率、溫度、CPU使用率、內(nèi)存使用率、風(fēng)扇工作參數(shù)等服務(wù)器狀態(tài)數(shù)據(jù)。具體技術(shù)設(shè)計思路如下。通過利用智能電表、傳感器、變送器、以及物聯(lián)網(wǎng)智能網(wǎng)關(guān)等采集設(shè)備及網(wǎng)絡(luò)平臺，將機(jī)房/基站內(nèi)空調(diào)、照明、電源、主設(shè)備和辦公插座等子系統(tǒng)聯(lián)網(wǎng)集成到統(tǒng)一的管理平臺進(jìn)行智能監(jiān)控、數(shù)據(jù)分析和調(diào)度管理。構(gòu)建更加全面的傳感網(wǎng)絡(luò)，包括溫濕度傳感網(wǎng)，氣流傳感網(wǎng)，做到對用能場所的更全面感知?？梢酝ㄟ^傳感器的安裝，相當(dāng)于給機(jī)房裝了一個很精準(zhǔn)的CT，對機(jī)房實現(xiàn)多角度旋轉(zhuǎn)、縮放觀察的虛擬三維清晰圖像，溫濕度怎樣，空調(diào)是否處于合理狀態(tài)，都能夠看得一清二楚。對用能場所內(nèi)的設(shè)備全面采用RFID技術(shù)進(jìn)行識別和管理，以準(zhǔn)確全面獲取設(shè)備的屬性及與相關(guān)能耗數(shù)據(jù)的對應(yīng)關(guān)系主設(shè)備的能耗則是必須要采集到的重要數(shù)據(jù)，以支持能耗的精細(xì)化分析和控制。比如服務(wù)器的能耗數(shù)據(jù)，就需要通過各種合適的途徑獲得。通過ipmi接口可以獲得部分?jǐn)?shù)據(jù)，還可以考慮通過硬件芯片的方式獲得。利用IPMI接口可采集到服務(wù)器的靜態(tài)信息，包括CPU、內(nèi)存、硬盤、光驅(qū)、網(wǎng)卡、顯卡、操作系統(tǒng)、RAID卡、PCI附加卡等信息；采集的動態(tài)信息包括機(jī)箱內(nèi)溫度、主板、CPU、SCSI模組、風(fēng)扇板等的溫度、輸入電壓、功率、風(fēng)扇轉(zhuǎn)速、內(nèi)部直流電壓以及CPU利用率、內(nèi)存利用率、硬盤I/O訪問流量等系統(tǒng)資源信息、硬盤驅(qū)盤器（已用空間、剩余空間）、網(wǎng)絡(luò)情況（連接狀態(tài)、網(wǎng)絡(luò)帶寬、入/出流量、入/出實際帶寬）、平均負(fù)載（指的是在一定觀察時間內(nèi)系統(tǒng)內(nèi)總進(jìn)程數(shù)、正在運行的進(jìn)程數(shù)平均值）。通過采集到的服務(wù)器的靜態(tài)信息，有利于機(jī)房將來做資源管理的基礎(chǔ)數(shù)據(jù)；而采集服務(wù)器的動態(tài)數(shù)據(jù)，一方面通過服務(wù)器溫度信息來實現(xiàn)機(jī)房的溫度云場，另一方面通過計算服務(wù)器的能耗為設(shè)備級的能耗趨勢分析提供數(shù)據(jù)。（2）網(wǎng)絡(luò)層和數(shù)據(jù)處理層數(shù)據(jù)處理服務(wù)系統(tǒng)完成數(shù)據(jù)的預(yù)處理工作。從感知層出來的能耗數(shù)據(jù)，按規(guī)章和策略過濾，能耗數(shù)據(jù)在處理中要進(jìn)行聚合、融合、清洗、壓縮、匯聚，校驗等重要工作，對上層應(yīng)用系統(tǒng)的有效分析和使用提供了重要條件。通過能耗專用及多功能智能融合網(wǎng)關(guān)能提供統(tǒng)一數(shù)據(jù)格式轉(zhuǎn)換與傳輸，實現(xiàn)物聯(lián)網(wǎng)能耗數(shù)據(jù)的收集/下發(fā)與傳輸。實現(xiàn)能耗數(shù)據(jù)的多路分發(fā)。能耗數(shù)據(jù)除了能為中心云平臺分析使用外，還能為其他系統(tǒng)所用（比如動環(huán)監(jiān)控），實現(xiàn)實時的能耗數(shù)據(jù)呈現(xiàn)，監(jiān)視管理和控制等作用。海量能耗數(shù)據(jù)的通信，實現(xiàn)用能設(shè)備間信息的交換，需實現(xiàn)互聯(lián)互通，即非ip的傳感網(wǎng)和ip傳感網(wǎng)之間，傳感網(wǎng)和ip接入網(wǎng)，ipv4和ipv6協(xié)議之間的互聯(lián)互通，包括應(yīng)用協(xié)議，消息格式的互操作。傳感器網(wǎng)有專門的路由協(xié)議（能量效率路由協(xié)議，在多數(shù)時間處于休眠狀態(tài)的節(jié)點的路由協(xié)議，數(shù)據(jù)知識路由協(xié)議等［3-4］。在建立用能場所的能耗模型時，需充分考慮并表達(dá)空調(diào)、照明、電源、主設(shè)備和辦公插座等各用能分量單元個體之間的關(guān)系特別是直接的關(guān)系，同時把間接的關(guān)系通過模型的辦法推導(dǎo)出來。各個用能分量單元除實時收集的時空數(shù)據(jù)之外，還表達(dá)了它們之間的連結(jié)關(guān)系。模型本身有充分的能力來表達(dá)直接關(guān)系，以方便推理間接關(guān)系。按業(yè)務(wù)需求建立模型，模型優(yōu)化方案，提煉模型并驗證模型。數(shù)據(jù)挖掘必須與具體的業(yè)務(wù)相結(jié)合進(jìn)行應(yīng)用，并進(jìn)行跟蹤評估效果，持續(xù)不斷地完善模型，總結(jié)和反饋。本論文中通過耗能點分析、耗能量聚類與預(yù)測，發(fā)現(xiàn)耗能異常的原因及影響能耗的相關(guān)因子，從而找到改善能耗的節(jié)能要素。同時對故障設(shè)備進(jìn)行故障原因分析，查找設(shè)備異常的原因，及時進(jìn)行調(diào)整以達(dá)到節(jié)約成本，提高設(shè)備運行效率的目的［5］。（3）物聯(lián)網(wǎng)智能網(wǎng)關(guān)目前獲取能耗數(shù)據(jù)的主要手段是通過智能計量采集裝置（智能電水汽表）的計量及物聯(lián)網(wǎng)網(wǎng)關(guān)自動采集分量計量能耗數(shù)據(jù)。作為中國移動及其他電信運營商龐大規(guī)模的能耗采集工程，從工程適用性和投資成本方面考慮，依據(jù)中國移動集團(tuán)設(shè)計院能耗采集規(guī)范制定的專用能耗采集設(shè)備（〃智能采集終端”設(shè)備，以下簡稱能耗采集單元ESU），本論文采用廣東盈嘉科技工程發(fā)展股份有限公司的物聯(lián)網(wǎng)智能網(wǎng)關(guān)——MP3000智能協(xié)議轉(zhuǎn)換器。如圖3所示，該智能網(wǎng)關(guān)設(shè)備能夠?qū)崿F(xiàn)同時向多區(qū)域能管中心、省能管中心、國家能管中心同時分發(fā)報送數(shù)據(jù)，支持多種工業(yè)協(xié)議的接入、智能儀表的接入、采集數(shù)據(jù)的轉(zhuǎn)換及控制管理，具有存儲1個月以上的數(shù)據(jù)存儲容量，提供12路數(shù)據(jù)通訊接口，滿足通過公網(wǎng)或?qū)＞W(wǎng)、有線或無線發(fā)送數(shù)據(jù)的技術(shù)要求。主要功能如下：邏輯控制功能：邏輯控制是可訂制的業(yè)務(wù)功能，如根據(jù)采集器采集的溫度數(shù)據(jù)進(jìn)行智能控制空調(diào)啟停。一個DO口的輸出可以根據(jù)多個AI/DI輸入數(shù)據(jù)進(jìn)行判斷后符合輸出條件再輸出。支持通過以太網(wǎng)口，將設(shè)備采集的數(shù)據(jù)多路分發(fā)的功能。設(shè)備支持采集的數(shù)據(jù)本地存儲，WEB方式配置，具備網(wǎng)管功能；支持SNMP協(xié)議；支持遠(yuǎn)程在線升級功能；支持時鐘同步功能。（1）平臺總體架構(gòu)大數(shù)據(jù)能源管理系統(tǒng)采用云計算模式的設(shè)計方式［6］?？蓪⑵脚_按IaaS、PaaS、SaaS分成三層規(guī)劃，分別解決資源共享、平臺共享、服務(wù)共享的問題。該設(shè)計模式有利于降低建設(shè)成本、提高系統(tǒng)靈活性，便于數(shù)據(jù)和服務(wù)的管理和共享，如圖4所示。能耗采集層通過物聯(lián)網(wǎng)智能感知及虛擬化能源管理平臺來實現(xiàn)，提供按需可配的計算和存儲資源，具備平滑的擴(kuò)展能力。能源管理云平臺服務(wù)層提供應(yīng)用部署、管理及云平臺監(jiān)控功能，考慮到技術(shù)及業(yè)務(wù)未來發(fā)展變化所帶來的平臺的彈性要求，采用SOA理念設(shè)計，減少各子系統(tǒng)在技術(shù)上的相互依賴性。能源管理系統(tǒng)軟件服務(wù)層由能管中心和第三方軟件開發(fā)企業(yè)開發(fā)相應(yīng)的能源管理分析軟件模塊，接入中心能源管理大數(shù)據(jù)云平臺，實現(xiàn)快速軟件開發(fā)和部署。該中心軟件主要實現(xiàn)數(shù)據(jù)可視化呈現(xiàn)、檢索查詢、能耗數(shù)據(jù)圖表生成、數(shù)據(jù)挖掘、聚類分析、能耗模型預(yù)警、能耗數(shù)據(jù)在線監(jiān)測，節(jié)能規(guī)劃業(yè)務(wù)的辦理和流程管理，對外服務(wù)的數(shù)據(jù)接口，以及包括監(jiān)控管理中心、大屏幕呈現(xiàn)、桌面客戶端、移動客戶端、短信、郵件等各類前端軟件的技術(shù)實現(xiàn)。云平臺整體提供數(shù)據(jù)安全管理及用戶管理，由于能耗數(shù)據(jù)一般都有一定的涉密屬性，需要對能耗數(shù)據(jù)傳輸、存儲、分析、以及使用的過程進(jìn)行全流程安全規(guī)劃和管理，以保證關(guān)鍵數(shù)據(jù)及數(shù)據(jù)接口的安全。平臺還具備用戶權(quán)限管理及審計診斷功能。整個系統(tǒng)以數(shù)據(jù)倉庫為基礎(chǔ)［7］，以云計算平臺為支撐，結(jié)合ETL和并行數(shù)據(jù)挖掘開發(fā)套件，打造出高性能，高實時性，高靈活性的新一代基于〃云”計算的能源大數(shù)據(jù)綜合管理系統(tǒng)云平臺。按照技術(shù)發(fā)展趨勢，采用如圖5所示系統(tǒng)技術(shù)實現(xiàn)數(shù)據(jù)流程。（2）系統(tǒng)功能模塊設(shè)計大數(shù)據(jù)能源管理中心云平臺的主要功能可以劃分為五個模塊，包括數(shù)據(jù)采集模塊、能耗綜合管理模塊，大屏幕管理模塊、系統(tǒng)管理模塊和軟件平臺模塊，功能劃分如圖6所示。（3）系統(tǒng)實現(xiàn)本論文提出的大數(shù)據(jù)能源管理系統(tǒng)是以個基于工業(yè)物聯(lián)網(wǎng)與大數(shù)據(jù)分析的綜合能耗管理系統(tǒng)。大范圍、多地域、全網(wǎng)同步的數(shù)據(jù)采集匯聚集中上傳需要性能水平極高的云網(wǎng)絡(luò)及云存儲資源，整體系統(tǒng)建設(shè)和運維最適合由3大電信運營商承擔(dān)，何況要對不同用能單位建立一對應(yīng)的多維度關(guān)聯(lián)能耗排放模型，對自控可靠的用能單位要通過模型的仿真模擬計算結(jié)果，對相關(guān)用能設(shè)備實施反向開關(guān)待機(jī)操作，實現(xiàn)用能設(shè)備動態(tài)能效優(yōu)化，這又需要極強(qiáng)大的云計算資源，這樣的操控實施更應(yīng)掌握在國有主流央企手中，3大運營商的云計算資源基本有保證。電信運營商已建設(shè)的網(wǎng)管系統(tǒng)和動環(huán)監(jiān)控系統(tǒng)負(fù)責(zé)運營商自身能耗數(shù)據(jù)的采集及融合接入，政府發(fā)文強(qiáng)制重點能耗企業(yè)采用標(biāo)準(zhǔn)化物聯(lián)網(wǎng)采集網(wǎng)關(guān)及國標(biāo)智能電表無線接入此系統(tǒng)、或企業(yè)已有系統(tǒng)按統(tǒng)一能耗排放數(shù)據(jù)采集及接口標(biāo)準(zhǔn)規(guī)范專線轉(zhuǎn)發(fā)接入此運營商能源管理云平臺，運營商收流量費及功能費。如用能戶使用能源審計診斷功能索取能源使用咨詢報告可另收咨詢費等，政府向運營商付財政補(bǔ)貼、維護(hù)費、流量費及服務(wù)費購買服務(wù)，運營商還可收能耗排放源數(shù)據(jù)交易費并向政府交管理費等。運營商向系統(tǒng)技術(shù)供應(yīng)商支付開發(fā)費及技術(shù)支撐費等。通信運營商能源大數(shù)據(jù)管理系統(tǒng)實時掌握能耗情況、健全各用能設(shè)備實時能耗模型以進(jìn)行能源使用趨勢預(yù)測，實現(xiàn)對各種用能設(shè)備的動態(tài)優(yōu)化能耗管理及時采取調(diào)度措施，提高運維部門管理水平，及時發(fā)現(xiàn)提前預(yù)報運行設(shè)備故障，實現(xiàn)預(yù)防性維護(hù)，使各用能設(shè)備盡可能運行在最佳狀態(tài)，并將對能耗的影響降到最低，符合國務(wù)院辦公廳十二五節(jié)能減排提出政策導(dǎo)向，履行企業(yè)節(jié)能減排的責(zé)任，為加快建設(shè)資源節(jié)約型、環(huán)境友好型社會做出貢獻(xiàn)。能源管理大數(shù)據(jù)云平臺通過對大規(guī)模機(jī)房/基站的海量用能數(shù)據(jù)進(jìn)行聚類分析、相關(guān)性分析、建立用能場所能耗模型，確立標(biāo)桿機(jī)房/基站。系統(tǒng)通過構(gòu)建能耗分析相關(guān)的理論知識、試驗數(shù)據(jù)、專家經(jīng)驗以及相關(guān)的定義、定理等組成知識庫，在計算機(jī)中存儲、組織、實現(xiàn)和使用互相聯(lián)系的知識庫集合，有效地實現(xiàn)知識表現(xiàn)和推理，與數(shù)據(jù)挖掘和OLAP緊密結(jié)合，幫助用戶進(jìn)行分析，給出合理的結(jié)論和建議，提高社會經(jīng)濟(jì)效益［8］。大數(shù)據(jù)分析采用了多種“ETL、分類、聚類、相關(guān)性分析”等多種數(shù)據(jù)挖掘算法［9］。采用的ETLT具有：OWB(OracleWarehouseBuilder)、ODI(OracleDataIntegrator).InformaticPowerCenter、AICloudETL、DataStage和DataSpider等。實現(xiàn)了數(shù)據(jù)抽取、清洗、選擇、轉(zhuǎn)換、知識發(fā)現(xiàn)等功能。ETL數(shù)據(jù)挖掘技術(shù)方案如圖7所示?；跀?shù)據(jù)挖掘技術(shù)，項目建立了統(tǒng)一數(shù)據(jù)整合平臺。數(shù)據(jù)可視化包括能耗數(shù)據(jù)分析的結(jié)果展示，提供通用和個性訂制化的數(shù)據(jù)分析服務(wù)，及自定義可視化報表等；以及用能場所3D場景及CFD溫度及能效云場呈現(xiàn)等。本論文設(shè)計的能源大數(shù)據(jù)管理系統(tǒng)以物聯(lián)網(wǎng)感知采集能耗數(shù)據(jù)為基礎(chǔ)，以云計算網(wǎng)絡(luò)平臺為支撐，結(jié)合ETL和并行數(shù)據(jù)挖掘開發(fā)套件，打造出高性能，高實時性，高靈活性的新一代基于物聯(lián)網(wǎng)結(jié)合云計算技術(shù)的大數(shù)據(jù)能源管理系統(tǒng)。并逐步實現(xiàn)做為云計算網(wǎng)絡(luò)平臺的具體應(yīng)用內(nèi)容實施運行，利用云計算網(wǎng)絡(luò)平臺的多租戶功能，為通信運營商及全社會其他用能單位，為節(jié)能減排政府管理機(jī)構(gòu)提供能耗分項計量統(tǒng)計分析、節(jié)能咨詢等服務(wù)?！鞠嚓P(guān)文獻(xiàn)】[1]鐘智構(gòu)建在線式電能質(zhì)量監(jiān)測網(wǎng)絡(luò)[J].通信電源技術(shù)，2009,26(增刊)：110-112.[2]宋福峰，劉寶昌.數(shù)通信電源系統(tǒng)設(shè)計及運行維護(hù)中節(jié)能方案探討[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2010(3):69-71.[3]Behrouza.Forouzan.Datacommunicationsandnetworking(thirdedition)[M].Mcgraw-hi