《電力人工智能樣本存儲技術(shù)要求》

ICS國際標(biāo)準分類號

CCS中國標(biāo)準文獻分類號

團體標(biāo)準

T/CESXXX-XXXX

電力人工智能樣本存儲技術(shù)要求

Technicalrequirementsforsamplestorageofpowerartificialintelligence

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實施

中國電工技術(shù)學(xué)會發(fā)布

T/CESXXX—XXXX

電力人工智能樣本存儲技術(shù)要求

1范圍

本文件規(guī)定了電力行業(yè)人工智能樣本包含圖像、文本、音頻電力樣本處理技術(shù)中樣本存儲技術(shù)總

體架構(gòu)、基本要求和各項技術(shù)指標(biāo)。

本文件適用于電力行業(yè)人工智能平臺樣本存儲的建設(shè)、管理和使用。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T41867-2022信息技術(shù)人工智能術(shù)語

GB/T25000.51-2017軟件工程軟件產(chǎn)品質(zhì)量要求和評價體系(SQuaRE)質(zhì)量測量框架

Q/GDW12118—2021人工智能平臺架構(gòu)及技術(shù)要求

T/CES129-2022電力人工智能平臺樣本規(guī)范

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

樣本存儲系統(tǒng)Samplestoragesystem

指實現(xiàn)樣本存儲技術(shù)的軟硬件系統(tǒng)，包括樣本數(shù)據(jù)庫、樣本文件系統(tǒng)、樣本元數(shù)據(jù)管理系統(tǒng)等。

3.2

樣本存儲效率Samplestorageefficiency

指樣本存儲系統(tǒng)在存儲和訪問樣本數(shù)據(jù)時所消耗的時間、空間和資源的指標(biāo)。

3.3

樣本數(shù)據(jù)Sampledata

其具備的特征能夠反映總體數(shù)據(jù)情況的一部分個體數(shù)據(jù)

3.4

文件格式fileformat

存儲介質(zhì)對存儲信息制定的編碼方式，用于識別內(nèi)部儲存的資料。

4符號、代號和縮略語

下列符號、代號和縮略語適用于本文件。

4.1符號

無

4.2代號

無

4.3縮略語

JPEG：聯(lián)合圖像專家組(JointPhotographicExpertsGroup)

PNG：便攜式網(wǎng)絡(luò)圖型（PortableNetworkGraphics）

5電力人工智能樣本存儲總體架構(gòu)

3

T/CESXXX—XXXX

電力人工智能樣本存儲技術(shù)總體架構(gòu)包括：

a)樣本數(shù)據(jù)，指用于電力人工智能訓(xùn)練和應(yīng)用的原始數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)

構(gòu)化數(shù)據(jù)可以分為文本類、音頻類和圖像類三種類型，每種類型都有自己的格式和規(guī)范。樣本數(shù)據(jù)需要

被存儲在一個高性能、高可靠、高可用的樣本文件系統(tǒng)中，以便于快速地讀取和處理。

b)樣本元數(shù)據(jù)，指對樣本數(shù)據(jù)的描述性信息，包括但不限于編號、類型、來源、標(biāo)簽、質(zhì)量、時

間、位置等內(nèi)容。每個樣本數(shù)據(jù)都應(yīng)該有一個唯一的編號，用于標(biāo)識和關(guān)聯(lián)。樣本元數(shù)據(jù)需要被存儲在

一個高效、安全、靈活的樣本數(shù)據(jù)庫中，以便于進行增刪改查等操作。

c)樣本元數(shù)據(jù)管理系統(tǒng)，指用于實現(xiàn)樣本數(shù)據(jù)庫和樣本文件系統(tǒng)之間的關(guān)聯(lián)和協(xié)同的系統(tǒng)，主要有

三個功能：通過樣本編號建立一一對應(yīng)的關(guān)系，通過樣本元數(shù)據(jù)進行檢索和定位，通過樣本元數(shù)據(jù)進行

同步和更新。這個系統(tǒng)需要保證數(shù)據(jù)的一致性、完整性和可用性。

圖1電力人工智能樣本存儲技術(shù)總體架構(gòu)圖

6樣本存儲技術(shù)基本要求

6.1樣本數(shù)據(jù)格式

樣本數(shù)據(jù)應(yīng)采用統(tǒng)一的文件格式進行存儲，以便于后續(xù)的處理和分析。原則上同批次樣本文件

中，單個文件最大不得超過該批次樣本文件平均大小的200%，最小不得小于平均大小的50%。各類

型樣本數(shù)據(jù)具體格式如下：

a)文本類樣本數(shù)據(jù)應(yīng)采用TXT、JSON、XML、CSV等常見的文本文件格式進行存儲，每個文件應(yīng)包

含一段或多段文本。

b)音頻類樣本數(shù)據(jù)應(yīng)采用WAV、MP3、WMA、WAV、APE、FLAC、OGG、AAC等常見的音頻文件格式進

行存儲，每個文件應(yīng)包含一段或多段音頻。

c)圖像類樣本數(shù)據(jù)應(yīng)采用JPEG、PNG、BMP、SVG、WEBP、EPS等常見的圖像文件格式進行存儲，

每個文件應(yīng)包含一個圖像。

d)視頻類樣本數(shù)據(jù)應(yīng)采用MP4、M4V、WEBM、MOV、AVI、DIV等常見的視頻文件格式進行存儲，每

個文件應(yīng)包含一段視頻。

6.2樣本元數(shù)據(jù)

樣本元數(shù)據(jù)是對樣本數(shù)據(jù)的描述性信息，包括但不限于以下內(nèi)容：

a)樣本編號：唯一標(biāo)識每個樣本數(shù)據(jù)的編碼。

b)樣本類型：表示樣本數(shù)據(jù)屬于圖像、音頻或文本類。

c)樣本來源：表示樣本數(shù)據(jù)的獲取方式和來源渠道。

4

T/CESXXX—XXXX

d)樣本標(biāo)簽：表示樣本數(shù)據(jù)所屬的類別或?qū)傩浴?/p>

e)樣本質(zhì)量：表示樣本數(shù)據(jù)的清晰度、完整度、有效性等質(zhì)量屬性。

f)樣本時間：表示樣本數(shù)據(jù)的采集或生成時間。

g)樣本位置：表示樣本數(shù)據(jù)與電力系統(tǒng)中的設(shè)備或場景的關(guān)聯(lián)位置。

h)其他信息：根據(jù)不同的應(yīng)用場景，可以增加其他與樣本數(shù)據(jù)相關(guān)的信息。

6.3樣本數(shù)據(jù)庫

樣本數(shù)據(jù)庫是用于存儲和管理樣本元數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)，應(yīng)具備以下功能：

a)支持對樣本元數(shù)據(jù)進行增、刪、改、查等基本操作。

b)支持對樣本元數(shù)據(jù)進行分類、分組、排序、篩選等高級操作。

c)支持對樣本元數(shù)據(jù)進行備份、恢復(fù)、遷移等維護操作。

d)支持對樣本元數(shù)據(jù)進行安全、權(quán)限、審計等管理操作。

6.4樣本文件系統(tǒng)

樣本文件系統(tǒng)是用于存儲和管理樣本數(shù)據(jù)的文件系統(tǒng)，應(yīng)具備以下功能：

a)支持對樣本數(shù)據(jù)進行存儲、讀取、刪除等基本操作。

b)支持對樣本數(shù)據(jù)進行壓縮、加密、解密等高級操作。

c)支持對樣本數(shù)據(jù)進行備份、恢復(fù)、遷移等維護操作。

d)支持對樣本數(shù)據(jù)進行安全、權(quán)限、審計等管理操作。

e)支持對樣本數(shù)據(jù)進行格式轉(zhuǎn)換操作。

6.5樣本元數(shù)據(jù)管理系統(tǒng)

樣本元數(shù)據(jù)管理系統(tǒng)是用于實現(xiàn)樣本數(shù)據(jù)庫和樣本文件系統(tǒng)之間的關(guān)聯(lián)和協(xié)同的系統(tǒng)，應(yīng)具備以

下功能：

a)支持通過樣本編號在樣本數(shù)據(jù)庫和樣本文件系統(tǒng)之間建立一一對應(yīng)的關(guān)系。

b)支持通過樣本元數(shù)據(jù)在樣本數(shù)據(jù)庫和樣本文件系統(tǒng)之間進行檢索和定位。

c)支持通過樣本元數(shù)據(jù)在樣本數(shù)據(jù)庫和樣本文件系統(tǒng)之間進行同步和更新。

7樣本存儲技術(shù)技術(shù)指標(biāo)

7.1樣本存儲容量

指樣本存儲系統(tǒng)能夠存儲的最大樣本數(shù)據(jù)量，單位為GB或TB；原則上應(yīng)大于現(xiàn)有樣本量，同時

為滿足后續(xù)使用，應(yīng)按實際情況預(yù)備適宜富余量。

7.2樣本存儲速度

指樣本存儲系統(tǒng)在存儲或讀取樣本數(shù)據(jù)時的平均速度，單位為MB/s或GB/s；原則上平均讀寫速

度下限為100MB/s，不設(shè)上限。

7.3樣本存儲可靠性

指樣本存儲系統(tǒng)在正常運行條件下，能夠保證樣本數(shù)據(jù)不丟失、不損壞、不篡改的概率，單位

為%；原則上應(yīng)為100%。

7.4樣本存儲可用性

指樣本存儲系統(tǒng)在正常運行條件下，能夠正常響應(yīng)用戶請求的概率，單位為%；原則上應(yīng)大于

80%，盡可能達到100%。

7.5樣本存儲安全性

指樣本存儲系統(tǒng)在正常運行條件下，能夠保證樣本數(shù)據(jù)不被非法獲取和篡改的概率，單位為%；

原則上應(yīng)為100%。

7.6樣本存儲時效性

5

T/CESXXX—XXXX

對于部分存在時效性限制的樣本，應(yīng)依據(jù)實際場景和使用要求制定合適的時效限制，在選取樣本

時應(yīng)選取在規(guī)定可用時效限制內(nèi)的樣本，從而保證所選取的樣本的時效性以及實際訓(xùn)練任務(wù)的順利推

進。

6

T/CESXXX—XXXX

參考文獻

[1]GB/T41867-2022信息技術(shù)人工智能術(shù)語

[2]GB/T25000.51-2017軟件工程軟件產(chǎn)品質(zhì)量要求和評價體系(SQuaRE)質(zhì)量測量框架

[3]Q/GDW12118—2021人工智能平臺架構(gòu)及技術(shù)要求

[4