《電網(wǎng)實(shí)時智能態(tài)勢評估大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范》

ICS國際標(biāo)準(zhǔn)分類號

CCS中國標(biāo)準(zhǔn)文獻(xiàn)分類號

團(tuán)體標(biāo)準(zhǔn)

T/CESXXX-XXXX

電網(wǎng)實(shí)時智能態(tài)勢評估大數(shù)據(jù)平臺數(shù)據(jù)

接入規(guī)范

Dataaccessspecificationofbigdataplatformforreal-timeintelligentsituation

assessmentofpowergrid

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國電工技術(shù)學(xué)會發(fā)布

T/CESXXX—XXXX

電網(wǎng)實(shí)時智能態(tài)勢評估大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范

1范圍

本文件規(guī)定了電網(wǎng)調(diào)度信息接入大數(shù)據(jù)平臺的總體架構(gòu)、功能要求和技術(shù)要求。

本文件適用于電網(wǎng)大數(shù)據(jù)平臺基礎(chǔ)量測數(shù)據(jù)的接入標(biāo)準(zhǔn)，用于支撐電網(wǎng)實(shí)時智能態(tài)勢評估系統(tǒng)的研

制與應(yīng)用。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語

GB/T36345-2018信息技術(shù)通用數(shù)據(jù)導(dǎo)入接口

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1消息堆積Messageheap

消息發(fā)送的速率遠(yuǎn)遠(yuǎn)大于消息消費(fèi)的速率，從而導(dǎo)致大量的消息未被處理存儲在緩沖區(qū)中，可能會

導(dǎo)致數(shù)據(jù)失去時效性。當(dāng)大量消息堆積在緩沖區(qū)時，可能會導(dǎo)致內(nèi)存溢出。

3.2結(jié)構(gòu)化數(shù)據(jù)Structureddata

能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示的信息，具有高度組織和整齊格式化的數(shù)據(jù)，包括PMU、SCADA、

GIS、氣象數(shù)據(jù)。

3.3半結(jié)構(gòu)化數(shù)據(jù)Semi-structureddata

具有一定的數(shù)據(jù)格式，數(shù)據(jù)的結(jié)構(gòu)與內(nèi)容混合在一起，沒有明顯的區(qū)分，包括電網(wǎng)運(yùn)行方式、電網(wǎng)

計(jì)劃數(shù)據(jù)。

3.4電網(wǎng)實(shí)時智能態(tài)勢評估Intelligentsituationassessmentofpowergrid

基于海量的電網(wǎng)量測、仿真數(shù)據(jù)，采用先進(jìn)的大數(shù)據(jù)、人工智能技術(shù)實(shí)現(xiàn)的電網(wǎng)在線態(tài)勢評估。

4符號、代號和縮略語

下列符號、代號和縮略語適用于本文件。

PMU：同步相量測量單元（PhasorMeasurementUnit）

RTU：遠(yuǎn)程終端單元（RemoteTerminalUnits）

SCADA：數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)（SupervisoryControlAndDataAcquisition）

GIS：地理系統(tǒng)系統(tǒng)（GeographicInformationSystem）

API：應(yīng)用程序編程接口（ApplicationProgramingInterface）

SFTP：安全文件傳輸協(xié)議（SecretFileTransferProtocol）

ID：標(biāo)識（Identifier）

JSON：JavaScript對象表示格式（JavaScriptObjectNotation）

SSD：固態(tài)硬盤（SolidStateDrives）

HDD：硬盤驅(qū)動器（HardDiskDrive）

HTTPS：超文本傳輸安全協(xié)議（HypertextTransferProtocolSecure）

5數(shù)據(jù)接入方式

1

T/CESXXX—XXXX

5.1實(shí)時數(shù)據(jù)流推送方式

實(shí)時數(shù)據(jù)流推送方式用于接入實(shí)時量測數(shù)據(jù)，包括PMU、SCADA數(shù)據(jù)。實(shí)時數(shù)據(jù)流推送方式可保證

此類量測數(shù)據(jù)能夠?qū)崟r的接入到實(shí)時智能態(tài)勢評估大數(shù)據(jù)平臺（簡稱大數(shù)據(jù)平臺，后續(xù)如無特殊說明，

大數(shù)據(jù)平臺均指實(shí)時智能態(tài)勢評估大數(shù)據(jù)平臺），如圖2所示。

定義數(shù)數(shù)據(jù)流分布式消數(shù)據(jù)流轉(zhuǎn)換數(shù)大數(shù)據(jù)

據(jù)格式息隊(duì)列據(jù)格式平臺

圖2實(shí)時數(shù)據(jù)流推送方式

具體步驟如下：

1)定義數(shù)據(jù)流格式，將各類量測數(shù)據(jù)按照所定義的格式轉(zhuǎn)換成數(shù)據(jù)流，所定義的數(shù)據(jù)流格式見

附錄A；

2)將數(shù)據(jù)流推送到分布式消息隊(duì)列中；

3)大數(shù)據(jù)平臺實(shí)時從分布式消息隊(duì)列中獲取數(shù)據(jù)；

4)將所獲取的數(shù)據(jù)流解析為相應(yīng)的大數(shù)據(jù)平臺存儲格式，并存儲在大數(shù)據(jù)平臺，其相應(yīng)存儲格

式與存儲方式見6.1。

5.2API獲取方式

API獲取方式用于接入更新頻率低的結(jié)構(gòu)化數(shù)據(jù)，包括GIS、氣象數(shù)據(jù)。GIS與氣象數(shù)據(jù)存儲在

關(guān)系型數(shù)據(jù)庫中。可通過周期性調(diào)用數(shù)據(jù)庫提供的數(shù)據(jù)接口，獲取相應(yīng)的GIS、氣象數(shù)據(jù)，如圖3所

示。

配置數(shù)據(jù)調(diào)用數(shù)獲取結(jié)編寫定

接口參數(shù)據(jù)接口果數(shù)據(jù)時任務(wù)

圖3API獲取數(shù)據(jù)方式

具體步驟如下：

1)配置數(shù)據(jù)接口所需參數(shù)，例如添加動態(tài)鏈接庫路徑；

2)通過調(diào)用數(shù)據(jù)庫提供的數(shù)據(jù)接口獲取GIS數(shù)據(jù)與氣象數(shù)據(jù)；

3)將2）中的返回結(jié)果格式轉(zhuǎn)換成相應(yīng)的大數(shù)據(jù)平臺存儲格式，并存儲在大數(shù)據(jù)平臺，其相應(yīng)

存儲格式與存儲方式見6.1；

4)編寫定時任務(wù)腳本，周期性執(zhí)行上述2-3的步驟。

5.3文件數(shù)據(jù)傳輸方式

文件數(shù)據(jù)傳輸方式用于接入非結(jié)構(gòu)化文本數(shù)據(jù)，包括電網(wǎng)運(yùn)行方式數(shù)據(jù)、生產(chǎn)計(jì)劃數(shù)據(jù)。電網(wǎng)運(yùn)行

方式數(shù)據(jù)與生產(chǎn)計(jì)劃數(shù)據(jù)均以文本文件的形式存儲在調(diào)度自動化系統(tǒng)中?？刹捎肧FTP協(xié)議，獲取這些

文本文件，其傳輸方式如圖4所示。

2

T/CESXXX—XXXX

大數(shù)據(jù)平臺SFTP服務(wù)器

用戶名密碼

1、登錄SFTP服務(wù)器

驗(yàn)證信息通信端口

2、登錄成功

3、開通接收端口

連接到傳輸

4、獲取數(shù)據(jù)端口發(fā)送數(shù)據(jù)

發(fā)送數(shù)據(jù)

接收端口傳輸端口

圖4文件數(shù)據(jù)傳輸方式

具體步驟如下：

1)駐留在大數(shù)據(jù)平臺的接入程序通過用戶名密碼登錄SFTP服務(wù)器；

2)獲取文件數(shù)據(jù)存儲位置；

3)定時從SFTP服務(wù)器下載文件數(shù)據(jù)；

4)退出SFTP服務(wù)器。

5.4功能性要求

電網(wǎng)調(diào)度數(shù)據(jù)接入大數(shù)據(jù)平臺的過程中，需要保證數(shù)據(jù)接入的實(shí)時性、完整性與接入程序的穩(wěn)定性，

具體功能性要求如下：

1)從分布式消息隊(duì)列獲取數(shù)據(jù)流時需要保證消費(fèi)數(shù)據(jù)的速度，保證消息隊(duì)列不會出現(xiàn)消息堆積，

實(shí)現(xiàn)數(shù)據(jù)實(shí)時接入；

2)制定數(shù)據(jù)序列化方案，利用ProtocolBuffer數(shù)據(jù)協(xié)議保證接入數(shù)據(jù)的正確性與完整性；

3)對數(shù)據(jù)接入程序的讀取數(shù)據(jù)、數(shù)據(jù)格式轉(zhuǎn)換過程進(jìn)行監(jiān)控，保證數(shù)據(jù)接入程序穩(wěn)定運(yùn)行。

5.5性能要求

針對省級以上電網(wǎng)，大數(shù)據(jù)平臺接入電網(wǎng)量測、仿真數(shù)據(jù)性能需滿足以下要求：

1)PMU數(shù)據(jù)接入速度需達(dá)到每秒接入五萬以上測點(diǎn)數(shù)據(jù)；

2)SCADA數(shù)據(jù)接入速度需達(dá)到每秒接入一個時間斷面下所有遙信、遙測數(shù)據(jù)；

3)文件型數(shù)據(jù)（電網(wǎng)運(yùn)行方式數(shù)據(jù)、生產(chǎn)計(jì)劃數(shù)據(jù)）接入速度需達(dá)到每秒接入一個時間斷面數(shù)

據(jù)。

上述功能性要求與性能要求針對大數(shù)據(jù)平臺與數(shù)據(jù)源系統(tǒng)均在生產(chǎn)管理區(qū)（安全區(qū)III）。

5.6安全性要求

針對省級以上電網(wǎng)，大數(shù)據(jù)平臺接入電網(wǎng)量測、仿真數(shù)據(jù)安全性需滿足以下要求：

1)當(dāng)數(shù)據(jù)接入程序出現(xiàn)異常時，應(yīng)及時排查原因，超過一定時長未解決，則需終止接入程序，

以免影響現(xiàn)有系統(tǒng)穩(wěn)定運(yùn)行；

2)通過API方式獲取數(shù)據(jù)時，應(yīng)禁止對數(shù)據(jù)庫進(jìn)行添加、修改、刪除操作。

6數(shù)據(jù)存儲方式

6.1結(jié)構(gòu)化數(shù)據(jù)存儲

3

T/CESXXX—XXXX

6.1.1PMU數(shù)據(jù)存儲

將PMU數(shù)據(jù)分為在線數(shù)據(jù)與歷史數(shù)據(jù)，將當(dāng)前時刻前五分鐘內(nèi)的PMU數(shù)據(jù)作為在線數(shù)據(jù)，存儲在分

布式內(nèi)存數(shù)據(jù)庫中；其余時刻數(shù)據(jù)作為歷史數(shù)據(jù)，存儲在分布式列式數(shù)據(jù)庫中。

在線PMU數(shù)據(jù)采用鍵值對的形式進(jìn)行存儲。如表1所示，鍵由PMU時標(biāo)、PMU測點(diǎn)地址以及每秒所

含數(shù)據(jù)幀數(shù)組成，值由N個數(shù)據(jù)幀對應(yīng)的數(shù)據(jù)組成。

表1在線PMU數(shù)據(jù)存儲格式

Key（鍵）Value（值）

時標(biāo)_PMU測點(diǎn)地址_數(shù)據(jù)幀數(shù)第一幀數(shù)據(jù)，第二幀數(shù)據(jù)，…，第N幀數(shù)據(jù)

歷史PMU數(shù)據(jù)以行列式進(jìn)行存儲。如表2所示，行鍵由PMU測點(diǎn)地址與PMU時標(biāo)組成，列簇表示所

有數(shù)據(jù)列的集合，數(shù)據(jù)列frame表示每秒所含數(shù)據(jù)幀數(shù)，value1，value2，…valueN分別為每一幀數(shù)

據(jù)。

表2歷史PMU數(shù)據(jù)存儲格式

RowKey（行鍵）ColumnFamily（列簇）

framevalue1value2value3valueN

PMU測點(diǎn)地址_時標(biāo)

每秒數(shù)據(jù)幀數(shù)第一幀數(shù)據(jù)第二幀數(shù)據(jù)第三幀數(shù)據(jù)第N幀數(shù)據(jù)

6.1.2SCADA數(shù)據(jù)存儲

將SCADA數(shù)據(jù)分為電網(wǎng)模型數(shù)據(jù)與電網(wǎng)運(yùn)行數(shù)據(jù)，電網(wǎng)模型數(shù)據(jù)主要包括設(shè)備拓?fù)?、設(shè)備靜態(tài)參數(shù)

信息，存儲在關(guān)系型數(shù)據(jù)庫中；電網(wǎng)運(yùn)行數(shù)據(jù)包括設(shè)備遙信信息、遙測信息，將當(dāng)前時刻前一小時內(nèi)的

電網(wǎng)運(yùn)行數(shù)據(jù)作為實(shí)時運(yùn)行數(shù)據(jù)，存儲在分布式內(nèi)存數(shù)據(jù)庫中，將其它時刻電網(wǎng)運(yùn)行數(shù)據(jù)作為歷史運(yùn)行

數(shù)據(jù)存儲在分布式列式數(shù)據(jù)庫中。

電網(wǎng)模型數(shù)據(jù)以設(shè)備類型進(jìn)行劃分，采用數(shù)據(jù)表的形式存儲在關(guān)系型數(shù)據(jù)庫中，同一類型設(shè)備的模

型數(shù)據(jù)存儲在一張數(shù)據(jù)表中。以母線型設(shè)備為例，其模型數(shù)據(jù)的數(shù)據(jù)表共包含九個字段，各字段含義如

表3所示。

表3母線型設(shè)備的模型數(shù)據(jù)存儲格式

idNamest_idvol_typerun_statenode_idbs_typevmaxvmin

設(shè)備ID設(shè)備名稱廠站ID電壓等級運(yùn)行狀態(tài)物理連接節(jié)點(diǎn)母線類型電壓上限電壓下限

電網(wǎng)實(shí)時運(yùn)行數(shù)據(jù)以鍵值對的形式存儲在分布式內(nèi)存數(shù)據(jù)庫中。如表4所示，鍵由SCADAId（SCADA

量測點(diǎn)唯一標(biāo)識）與時標(biāo)組成，值由對應(yīng)的量測值組成。

表4實(shí)時運(yùn)行數(shù)據(jù)存儲格式

Key（鍵）Value（值）

SCADAId_時標(biāo)量測值

電網(wǎng)歷史運(yùn)行數(shù)據(jù)以行列式進(jìn)行存儲。如表5所示，行鍵由SCADAId與時標(biāo)組成，列簇表示所有數(shù)

據(jù)列的集合，包括四個數(shù)據(jù)列，分別為有功功率、無功功率、電壓、電流的具體量測值。

表5歷史運(yùn)行數(shù)據(jù)存儲格式

RowKey（行鍵）ColumnFamily（列簇）

pqvi

SCADAId_時標(biāo)

有功功率無功功率電壓電流

6.1.3GIS數(shù)據(jù)存儲

采用關(guān)系型數(shù)據(jù)庫存儲GIS數(shù)據(jù)，數(shù)據(jù)表中包含五個字段，其字段含義如表6所示。

4

T/CESXXX—XXXX

表6GIS數(shù)據(jù)存儲格式

idstationNametypelnglat

序號廠站名稱廠站類型經(jīng)度緯度

其中廠站類型約定為電廠、變電站、開關(guān)站以及換流站四類。

6.1.4氣象數(shù)據(jù)存儲

采用關(guān)系型數(shù)據(jù)庫存儲氣象數(shù)據(jù)，數(shù)據(jù)表中包含七個字段，其字段含義如表7所示。

表7氣象數(shù)據(jù)存儲格式

idstationIdstationNameweatherDateweatherSpeedltemphtemp

序號站號站名天氣時間風(fēng)速最低溫度最高溫度

6.2非結(jié)構(gòu)化數(shù)據(jù)存儲

采用分布式文件系統(tǒng)存儲非結(jié)構(gòu)化數(shù)據(jù)，包括電網(wǎng)運(yùn)行方式、生產(chǎn)計(jì)劃數(shù)據(jù)，具體功能如下：

1)采用分布式文件存儲，支持文件多副本，分塊存儲；

2)根據(jù)數(shù)據(jù)時標(biāo)，按照“年/月/日”的層次結(jié)構(gòu)設(shè)計(jì)文件目錄，采用數(shù)據(jù)時標(biāo)作為文件名稱；

3)根據(jù)數(shù)據(jù)使用頻率進(jìn)行冷熱數(shù)據(jù)分區(qū)，將熱數(shù)據(jù)存儲在SSD中，冷數(shù)據(jù)存儲在HDD中，提高

數(shù)據(jù)訪問速度。

7數(shù)據(jù)訪問方式

7.1結(jié)構(gòu)化數(shù)據(jù)訪問方式

結(jié)構(gòu)化數(shù)據(jù)包括PMU數(shù)據(jù)、SCADA數(shù)據(jù)、氣象數(shù)據(jù)以及GIS數(shù)據(jù)。根據(jù)上層業(yè)務(wù)需求，提供結(jié)構(gòu)化

數(shù)據(jù)訪問接口，支持大數(shù)據(jù)平臺結(jié)構(gòu)化數(shù)據(jù)存取操作，結(jié)構(gòu)化數(shù)據(jù)訪問接口說明見附錄B。如圖5所示，

結(jié)構(gòu)化數(shù)據(jù)訪問接口實(shí)現(xiàn)方式如下：

1)大數(shù)據(jù)平臺根據(jù)查詢需求，創(chuàng)建數(shù)據(jù)索引，形成分布式檢索引擎；

2)大數(shù)據(jù)平臺獲取查詢條件，從分布式檢索引擎中獲取滿足條件的數(shù)據(jù)id；

3)大數(shù)據(jù)平臺利用數(shù)據(jù)id從底層數(shù)據(jù)庫中獲取滿足條件的數(shù)據(jù)；

4)大數(shù)據(jù)平臺將滿足條件的數(shù)據(jù)轉(zhuǎn)化成JSON格式返回給上層業(yè)務(wù)應(yīng)用。

分布式檢索

業(yè)務(wù)應(yīng)用底層數(shù)據(jù)庫

引擎

創(chuàng)建索引

查詢條件

查詢條件

返回?cái)?shù)據(jù)數(shù)據(jù)id

分布式檢索

業(yè)務(wù)應(yīng)用底層數(shù)據(jù)庫

引擎

圖5結(jié)構(gòu)化數(shù)據(jù)訪問接口實(shí)現(xiàn)方式

7.2非結(jié)構(gòu)化數(shù)據(jù)訪問方式

5

T/CESXXX—XXXX

非結(jié)構(gòu)化數(shù)據(jù)主要包括電網(wǎng)運(yùn)行方式、生產(chǎn)計(jì)劃等文本型數(shù)據(jù)。根據(jù)上層業(yè)務(wù)需求，提供非結(jié)構(gòu)化

數(shù)據(jù)訪問接口，支持上層業(yè)務(wù)應(yīng)用直接獲取文本型數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)訪問接口說明見附錄B。如圖6

所示，非結(jié)構(gòu)化數(shù)據(jù)訪問接口的實(shí)現(xiàn)方式如下：

1）根據(jù)查詢條件，從中篩選出待查詢數(shù)據(jù)的時間范圍；

2）根據(jù)時間范圍定位到滿足條件的數(shù)據(jù)文件所在目錄與文件名稱；

3）將滿足條件的數(shù)據(jù)文件以字符串的形式返回給上層業(yè)務(wù)應(yīng)用。

查詢條件

查詢請求時間范圍篩選

日期月份年份

時間索引

大數(shù)據(jù)平臺文件系統(tǒng)

圖6非結(jié)構(gòu)化數(shù)據(jù)訪問接口實(shí)現(xiàn)方式

6

T/CESXXX—XXXX

附錄A

（規(guī)范性）

實(shí)時數(shù)據(jù)流格式

A.1PMU數(shù)據(jù)流結(jié)構(gòu)定義應(yīng)符合表A.1。

表A.1PMU數(shù)據(jù)流結(jié)構(gòu)

結(jié)構(gòu)名稱字段名稱數(shù)據(jù)類型描述

package_typeint（整數(shù)類型）存儲數(shù)據(jù)的類型（遙測值、遙信值）

data_numint（整數(shù)類型）傳輸點(diǎn)的個數(shù)

消息頭

msg_per_secint（整數(shù)類型）每秒設(shè)定的子站上送報(bào)文的總幀數(shù)

secondtime_t（時間類型）當(dāng)前報(bào)文的子站上送時間

消息體meschar[]（字符數(shù)組）遙測/遙信值，前4字節(jié)為PMU測點(diǎn)地址

A.2SCADA數(shù)據(jù)流結(jié)構(gòu)定義應(yīng)符合表A.2。

表A.2SCADA數(shù)據(jù)流結(jié)構(gòu)

數(shù)據(jù)類型字段名稱數(shù)據(jù)類型描述

keyidlong（長整型）關(guān)鍵字，SCADA量測點(diǎn)唯一標(biāo)識

遙信valuechar（字符類型）遙信值

statusint（整數(shù)類型）遙信狀態(tài)

keyidlong（長整型）關(guān)鍵字，SCADA量測點(diǎn)唯一標(biāo)識

遙測valuefloat（浮點(diǎn)類型）遙測值

statusint（整數(shù)類型）遙測狀態(tài)

7

T/CESXXX—XXXX

附錄B

（資料性）

數(shù)據(jù)訪問接口說明

B.1結(jié)構(gòu)化數(shù)據(jù)訪問接口說明見表B.1.

表B.1結(jié)構(gòu)化數(shù)據(jù)訪問接口

數(shù)據(jù)接口名稱請求方式請求參數(shù)返回格式（JSON格式）

startTime：開始時間

endTime：結(jié)束時間status：請求狀態(tài)

PMU數(shù)據(jù)訪問接口POST

devname：設(shè)備名稱data：PMU數(shù)據(jù)

paraName：屬性名稱

startTime：開始時間

endTime：結(jié)束時間