《電力人工智能平臺(tái)多級(jí)協(xié)同規(guī)范》征求意見(jiàn)稿_第1頁(yè)
《電力人工智能平臺(tái)多級(jí)協(xié)同規(guī)范》征求意見(jiàn)稿_第2頁(yè)
《電力人工智能平臺(tái)多級(jí)協(xié)同規(guī)范》征求意見(jiàn)稿_第3頁(yè)
《電力人工智能平臺(tái)多級(jí)協(xié)同規(guī)范》征求意見(jiàn)稿_第4頁(yè)
《電力人工智能平臺(tái)多級(jí)協(xié)同規(guī)范》征求意見(jiàn)稿_第5頁(yè)
已閱讀5頁(yè),還剩13頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

ICS號(hào)

中國(guó)標(biāo)準(zhǔn)文獻(xiàn)分類(lèi)號(hào)

CES

團(tuán)體標(biāo)準(zhǔn)

T/CESXXX?XXXX

人工智能平臺(tái)多級(jí)協(xié)同規(guī)范

Multilevelcollaborationspecificationofartificialintelligenceplatforminpower

industry

(征求意見(jiàn)稿)

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

T/CESXXX?XXXX

人工智能平臺(tái)多級(jí)協(xié)同規(guī)范

1范圍

本標(biāo)準(zhǔn)規(guī)定了面向輸電、變電、配電等電力領(lǐng)域的人工智能平臺(tái)多級(jí)協(xié)同規(guī)范,包括人工智能平臺(tái)

多級(jí)協(xié)同架構(gòu)、多級(jí)人工智能云平臺(tái)樣本協(xié)同要求、多級(jí)人工智能云平臺(tái)模型協(xié)同要求、邊端側(cè)樣本協(xié)

同要求、邊端側(cè)模型協(xié)同。

本標(biāo)準(zhǔn)適用于電工行業(yè)人工智能平臺(tái)多級(jí)云側(cè)、邊側(cè)、端側(cè)樣本、模型共享和管理的多級(jí)協(xié)同。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件,僅注日期的版本適用于本文件。

凡是不注日期的引用文件,其最新版本(包括所有的修改單)適用于本文件。

GB/T5271.1—2000信息技術(shù)詞匯第1部分:基本術(shù)語(yǔ)

DL∕T1731-2017電力信息系統(tǒng)非功能性需求規(guī)范

3術(shù)語(yǔ)和定義

GB/T5271.1—2000界定的以及下列術(shù)語(yǔ)和定義適用于本文件。為了便于使用,以下重復(fù)列出了GB/T

5271.1—2000中的某些術(shù)語(yǔ)和定義。

3.1人工智能平臺(tái)artificialintelligenceplatform

具備樣本管理、模型管理、平臺(tái)管理、服務(wù)接口管理、安全管理及跨域協(xié)同功能的人工智能軟件系

統(tǒng)。平臺(tái)包含面向電工領(lǐng)域的算法模型庫(kù)和樣本數(shù)據(jù)庫(kù),整合多種主流機(jī)器學(xué)習(xí)計(jì)算框架,支持從數(shù)據(jù)

集選擇樣本、模型創(chuàng)建、訓(xùn)練并部署運(yùn)行為服務(wù)的全流程統(tǒng)一管理。

3.2樣本中心samplecenter

統(tǒng)一管理和存儲(chǔ)樣本數(shù)據(jù),并提供樣本資源的調(diào)用服務(wù),包含樣本索引、樣本源文件、樣本標(biāo)注、

樣本管理等,為模型訓(xùn)練等提供支撐,在多級(jí)協(xié)同中負(fù)責(zé)樣本協(xié)同,實(shí)現(xiàn)樣本的共享。

3.3模型中心modelcenter

統(tǒng)一管理和存儲(chǔ)模型,并提供模型資源的調(diào)用服務(wù),包含模型索引、模型文件、模型訓(xùn)練、模型部

署、模型管理,在多級(jí)協(xié)同中負(fù)責(zé)模型協(xié)同,實(shí)現(xiàn)模型的共享。

3.4資源resource

執(zhí)行所要求的操作而必需的數(shù)據(jù)處理系統(tǒng)的任何組成部分。

[GB/T5271.1—2000,定義01.01.23]

3.5配置configuration

4

T/CESXXX?XXXX

信息處理系統(tǒng)中的硬件和軟件組織和互連起來(lái)的方式。

[GB/T5271.1—2000,定義01.01.26]

3.6接口interface

兩個(gè)功能單元共享的邊界,它由各種特征(如功能、物理互連、信號(hào)交換等)來(lái)定義。

[GB/T5271.1—2000,定義01.01.38]

3.7數(shù)據(jù)標(biāo)注dataannotation

對(duì)未經(jīng)處理的數(shù)據(jù),包括語(yǔ)音、圖片、文本、視頻等進(jìn)行加工處理,轉(zhuǎn)換為機(jī)器可識(shí)別信息的過(guò)程。

3.8樣本索引sampleindex

樣本邏輯存儲(chǔ)的位置信息,包含樣本路徑、索引、管理服務(wù),按樣本來(lái)源、領(lǐng)域分類(lèi)。

3.9模型索引modelindex

模型邏輯存儲(chǔ)的位置信息,包含模型路徑、索引、管理服務(wù),按模型來(lái)源、領(lǐng)域分類(lèi)。

3.10模型部署modeldeployment

提供模型部署接口,封裝模型的屬性和實(shí)現(xiàn)細(xì)節(jié),設(shè)置屬性的讀取和修改的訪(fǎng)問(wèn)權(quán)限。

3.11邊側(cè)edgeside

網(wǎng)絡(luò)運(yùn)營(yíng)商或者服務(wù)提供商的IT資源,對(duì)數(shù)據(jù)進(jìn)行匯聚、存儲(chǔ)和處理。

3.12端側(cè)terminalside

終端設(shè)備,如無(wú)人機(jī)、機(jī)器人、攝像頭、智能執(zhí)法儀、智能融合終端、移動(dòng)終端、聲音采集裝置等。

3.13邊緣物聯(lián)網(wǎng)關(guān)IoTedgeagent

部署于邊緣側(cè)的裝置或軟件模塊,利用本地通信網(wǎng)絡(luò)對(duì)(智能)傳感器、采集控制終端、表計(jì)、監(jiān)

測(cè)裝置等終端進(jìn)行統(tǒng)一接入,實(shí)現(xiàn)對(duì)多種通信方式和協(xié)議規(guī)約的適配,根據(jù)統(tǒng)一邊緣計(jì)算框架對(duì)數(shù)據(jù)進(jìn)

行邊緣處理和標(biāo)準(zhǔn)化建模,并接受來(lái)自云側(cè)的模型文件并進(jìn)行下發(fā),安全連接至物聯(lián)網(wǎng)平臺(tái)。

3.14物聯(lián)網(wǎng)平臺(tái)IoTPlatform

連接邊側(cè)設(shè)備與云側(cè)相關(guān)業(yè)務(wù)系統(tǒng),提供資源配置、數(shù)據(jù)匯集、基礎(chǔ)管理的信息系統(tǒng),支持連接管

理,網(wǎng)絡(luò)管理,設(shè)備管理、用戶(hù)管理等功能,一方面位于物聯(lián)網(wǎng)設(shè)備層、物聯(lián)網(wǎng)網(wǎng)關(guān)之間,另一方面位

于應(yīng)用程序之間。

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

FTP:文件傳輸協(xié)議(FileTransferProtocol)

FTPS:加密文件傳輸協(xié)議(FTPoverSSL)

HTTPS:超文本傳輸安全協(xié)議(HyperTextTransferProtocoloverSecureSocketLayer)

JSON:JS對(duì)象簡(jiǎn)譜(JavaScriptObjectNotation)

NFS:網(wǎng)絡(luò)文件系統(tǒng)(NetworkFileSystem)

5

T/CESXXX?XXXX

POSIX:可移植操作系統(tǒng)接口(PortableOperatingSystemInterface)

RESTful:表述性狀態(tài)傳遞(RepresentationalStateTransfer)

S3:簡(jiǎn)單存儲(chǔ)服務(wù)(SimpleStorageService)

SFTP:安全文件傳輸協(xié)議(SecureFileTransferProtocol)

URL:統(tǒng)一資源定位器(UniformResourceLocator)

5G:第五代移動(dòng)通信技術(shù)(5thGenerationMobileCommunicationTechnology)

5人工智能平臺(tái)多級(jí)協(xié)同架構(gòu)

人工智能平臺(tái)主要組成部分包含樣本中心、模型中心,其中樣本中心主要作用為樣本資源管理,模

型中心主要作用為模型算法管理、模型服務(wù)部署,包括模型訓(xùn)練、算法管理、算力管理等。與一般信息

系統(tǒng)相比更加關(guān)注人工智能相關(guān)能力的整合,并且關(guān)注在多層級(jí)的電力企業(yè)組織結(jié)構(gòu)中不同層級(jí)平臺(tái)之

間的協(xié)同。特別在模型相關(guān)部分能夠整合算力資源、管理樣本、統(tǒng)籌部署模型服務(wù),使得組織能夠更高

效地支撐電力領(lǐng)域輸電、變電、配電人工智能需求。

5.1協(xié)同框架

人工智能平臺(tái)多級(jí)協(xié)同架構(gòu)從框架上規(guī)范樣本、模型數(shù)據(jù)在云-邊-端模式下的數(shù)據(jù)協(xié)同、流轉(zhuǎn)機(jī)制,

平臺(tái)分為云側(cè)、邊側(cè)、端層,其中云側(cè)又細(xì)分為中心云、區(qū)域云,對(duì)應(yīng)多層級(jí)電力企業(yè)組織結(jié)構(gòu)中的總

部側(cè)、下級(jí)單位側(cè),人工智能平臺(tái)云、邊、端多級(jí)協(xié)同結(jié)構(gòu)如圖1所示,下列為具體協(xié)同內(nèi)容:

圖1人工智能平臺(tái)多級(jí)協(xié)同總體架構(gòu)

a)云側(cè)中心云、云側(cè)區(qū)域云之間協(xié)同管理應(yīng)包括樣本資源、樣本管理、模型資源、模型管理,樣

本中心包含樣本源文件、樣本標(biāo)注、樣本元信息、樣本索引之間的協(xié)同管理,模型中心包含模

型源文件、模型元信息、模型索引之間的協(xié)同管理,物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)模型發(fā)送、模型服務(wù)、模

型狀態(tài)信息的協(xié)同管理;

b)云側(cè)、邊側(cè)之間協(xié)同管理應(yīng)包括樣本、模型,模型包含樣模型推送、模型服務(wù)、模型狀態(tài)信息、

物聯(lián)網(wǎng)關(guān)的協(xié)同,樣本包含樣本源文件、樣本元信息的協(xié)同;

6

T/CESXXX?XXXX

c)邊側(cè)、端側(cè)之間協(xié)同管理應(yīng)包括樣本、模型,模型包含樣模型發(fā)送、模型服務(wù)、模型狀態(tài)信息

的協(xié)同,樣本包含樣本元信息、樣本源文件的協(xié)同;

5.2協(xié)同機(jī)制

5.2.1云側(cè)中心云與云側(cè)區(qū)域云之間

中心云與區(qū)域云之間的協(xié)同機(jī)制包括模型協(xié)同機(jī)制和樣本協(xié)同機(jī)制,詳細(xì)機(jī)制如下:

a)樣本協(xié)同機(jī)制,中心云和區(qū)域云通過(guò)接口服務(wù)實(shí)現(xiàn)樣本協(xié)同。中心云樣本中心應(yīng)具有樣本資源

管理功能,并對(duì)區(qū)域云開(kāi)放服務(wù)接口,區(qū)域云樣本中心具有調(diào)用中心云樣本資源服務(wù)接口能力。

1)區(qū)域云應(yīng)能夠通過(guò)樣本中心調(diào)用中心云開(kāi)放的服務(wù)接口實(shí)現(xiàn)樣本中心中樣本資源索引的

增、刪、改、查,中心云樣本中心應(yīng)具備樣本資源索引的增、刪、改、查的能力;區(qū)域云

應(yīng)具備調(diào)用中心云開(kāi)放的文件上傳、下載服務(wù)能力;應(yīng)能夠調(diào)用中心云查詢(xún)服務(wù)接口,展

示中心云中樣本資源信息,中心云需開(kāi)放樣本上傳、下載接口,樣本資源查詢(xún)接口;

2)中心云應(yīng)具備樣本資源審查功能,對(duì)上傳、下載的文件審查,對(duì)上傳下載請(qǐng)求進(jìn)行審查,

審核通過(guò)后,完成文件在樣本中心之間的上傳和下載。

b)模型協(xié)同機(jī)制,中心云和區(qū)域云通過(guò)接口服務(wù)實(shí)現(xiàn)模型協(xié)同。中心云的模型中心應(yīng)具有模型資

源索引、模型文件、模型訓(xùn)練、模型服務(wù)等功能,并對(duì)區(qū)域云開(kāi)放服務(wù)接口,區(qū)域云模型中心

應(yīng)具有調(diào)用中心云模型資源索引、模型文件、模型服務(wù)、模型訓(xùn)練接口的能力。

1)區(qū)域云應(yīng)能夠調(diào)用中心云開(kāi)放的服務(wù)接口實(shí)現(xiàn)模型中心模型資源索引的增、刪、改、查,

中心云模型中心應(yīng)具備模型資源索引的增、刪、改、查的能力;區(qū)域云應(yīng)能夠調(diào)用中心云模文

件上傳、下載接口,實(shí)現(xiàn)模型源文件、模型元信息上傳至中心云的模型中心和下載至區(qū)域云的

模型中心;應(yīng)能夠調(diào)用中心云查詢(xún)接口,展示中心云中模型資源信息,中心云需開(kāi)放模型上傳、

下載接口,模型資源查詢(xún);

2)中心云應(yīng)具備模型資源審查能力,對(duì)上傳、下載的文件審查,對(duì)上傳下載請(qǐng)求進(jìn)行審查,

審核通過(guò)后,實(shí)現(xiàn)文件在模型中心之間的上傳和下載;

3)區(qū)域云應(yīng)能夠調(diào)用中心云模型推理服務(wù)接口,實(shí)現(xiàn)模型的云端調(diào)用,中心云需具有模型部

署能力并提供接口,并審查服務(wù)接口調(diào)用請(qǐng)求;區(qū)域云應(yīng)能夠調(diào)用中心云模型狀態(tài)接收接口,

實(shí)現(xiàn)模型運(yùn)行信息的上傳,中心云應(yīng)提供狀態(tài)信息接收服務(wù)、請(qǐng)求審查服務(wù);

4)區(qū)域云應(yīng)能夠調(diào)用中心云模型訓(xùn)練接口,實(shí)現(xiàn)模型的云端訓(xùn)練,中心云應(yīng)具有模型訓(xùn)練能

力并提供接口,并審查服務(wù)接口調(diào)用請(qǐng)求;區(qū)域云應(yīng)能夠調(diào)用中心云訓(xùn)練狀態(tài)查詢(xún)接口,展示

中心云中模型訓(xùn)練狀態(tài)信息,中心云應(yīng)提供狀態(tài)信息查詢(xún)服務(wù)、請(qǐng)求審查服務(wù)。

5.2.2區(qū)域云側(cè)與邊側(cè)之間

云側(cè)與邊側(cè)之間的協(xié)同機(jī)制包括模型協(xié)同機(jī)制和樣本協(xié)同機(jī)制,詳細(xì)機(jī)制如下所示:

a)樣本協(xié)同機(jī)制,區(qū)域云側(cè)與邊側(cè)通過(guò)邊緣物聯(lián)網(wǎng)關(guān)實(shí)現(xiàn)樣本協(xié)同。區(qū)域云側(cè)的樣本中心應(yīng)具有

樣本接收、樣本采集配置下發(fā)等功能和服務(wù),邊側(cè)應(yīng)具有樣本采集配置接收、樣本上傳的功能

和服務(wù);邊側(cè)應(yīng)能夠通過(guò)邊緣物聯(lián)網(wǎng)關(guān)實(shí)現(xiàn)樣本源文件、樣本元信息上傳至區(qū)域云;

b)模型協(xié)同機(jī)制,區(qū)域云側(cè)與邊側(cè)通過(guò)邊緣物聯(lián)網(wǎng)關(guān)實(shí)現(xiàn)模型協(xié)同。

1)區(qū)域云應(yīng)具有模型發(fā)送、更新、模型狀態(tài)信息接收等功能和服務(wù),邊側(cè)應(yīng)具有模型接收、

模型運(yùn)行、模型狀態(tài)信息上傳服務(wù);

7

T/CESXXX?XXXX

2)邊側(cè)應(yīng)具備模型部署運(yùn)行能力,并具有模型運(yùn)行狀態(tài)信息上傳接口,區(qū)域云應(yīng)能夠通過(guò)模

型狀態(tài)信息接收服務(wù)收集模型運(yùn)行狀態(tài)信息。

5.2.3邊側(cè)與端側(cè)之間

邊側(cè)與側(cè)之間的協(xié)同機(jī)制包括模型協(xié)同機(jī)制和樣本協(xié)同機(jī)制,詳細(xì)機(jī)制如下所:

a)樣本協(xié)同機(jī)制;

1)邊側(cè)應(yīng)具有樣本接收、樣本采集配置下發(fā)等功能和服務(wù),端側(cè)應(yīng)具有樣本采集配置接收、

樣本上傳的功能和服務(wù),實(shí)現(xiàn)端側(cè)樣本源文件、樣本元信息上傳至邊側(cè);樣本傳輸宜支持5G

方式,傳輸應(yīng)具備加密能力;

b)模型協(xié)同機(jī)制;

1)邊側(cè)應(yīng)具有模型發(fā)送、更新、模型狀態(tài)信息接收等功能和服務(wù),端側(cè)應(yīng)具有模型接收、模

型運(yùn)行、模型狀態(tài)信息上傳服務(wù),模型傳輸宜支持5G方式,傳輸應(yīng)具備加密能力;

2)端側(cè)應(yīng)具備模型部署運(yùn)行能力,應(yīng)具備模型運(yùn)行狀態(tài)信息上傳接口,邊側(cè)應(yīng)能夠通過(guò)模型

狀態(tài)信息接收服務(wù)收集模型運(yùn)行狀態(tài)信息。

5.3技術(shù)規(guī)范

5.3.1樣本協(xié)同機(jī)制規(guī)范

樣本數(shù)據(jù)規(guī)范與接口規(guī)范:

a)樣本元數(shù)據(jù)采用宜采用JSON或XML格式;

b)接口協(xié)議宜采用HTTP/HTTPS、SFTP、FTPS,HTTP/HTTPS請(qǐng)求宜采用GET、POST、PUT、PATCH

和DELETE方法;

c)服務(wù)接口風(fēng)格可采用RESTful方式進(jìn)行設(shè)計(jì)。

5.3.2模型協(xié)同機(jī)制規(guī)范

模型規(guī)范與接口規(guī)范:

a)模型文件格式應(yīng)為模型參數(shù)和模型結(jié)構(gòu)文件或模型鏡像;

b)模型元數(shù)據(jù)采用宜采用JSON或XML格式;

c)接口協(xié)議宜采用HTTP/HTTPS、SFTP、FTPS,HTTP/HTTPS請(qǐng)求宜采用GET、POST、PUT、PATCH

或DELETE方法;

d)服務(wù)接口可采用RESTful方式進(jìn)行設(shè)計(jì)。

6多級(jí)人工智能云平臺(tái)樣本中心協(xié)同要求

6.1概覽

8

T/CESXXX?XXXX

圖2人工智能平臺(tái)樣本多級(jí)協(xié)同架構(gòu)

多級(jí)人工智能云平臺(tái)以中心云側(cè)的樣本審查為為關(guān)鍵點(diǎn)實(shí)現(xiàn)樣本的協(xié)同,在中心云側(cè)具有樣本資源

相關(guān)文件的物理存儲(chǔ)和樣本索引相關(guān)的邏輯存儲(chǔ)功能。物理存儲(chǔ)過(guò)程為區(qū)域云側(cè)將樣本源文件、樣本標(biāo)

注等樣本資源上傳,中心云審查通過(guò)后,中心云側(cè)更新樣本資源,包含樣本文件、樣本索引的協(xié)同;邏

輯存儲(chǔ)過(guò)程為區(qū)域云側(cè)上傳樣本索引,中心云審查通過(guò)后,中心云側(cè)更新樣本索引,包含樣本索引的協(xié)

同。

6.2樣本傳輸機(jī)制

樣本元信息宜采用http/https接口方式實(shí)現(xiàn)上傳和下載,數(shù)據(jù)應(yīng)使用JSON格式。樣本源文件、樣本

標(biāo)注等文件資源可使用S3存儲(chǔ)協(xié)議、掛載方式posix協(xié)議或hdfs接口方式,實(shí)現(xiàn)單個(gè)或批量的樣本按來(lái)

源和領(lǐng)域傳輸至對(duì)象存儲(chǔ)服務(wù)器分區(qū)存儲(chǔ)。

6.3樣本資源協(xié)同機(jī)制

樣本資源協(xié)同機(jī)制包括樣本元信息上傳與下載、樣本元信息查詢(xún)、樣本源文件上傳與下載、標(biāo)注樣

本上傳與下載等能力。中心云側(cè)提供樣本資源上傳、下載、查詢(xún)服務(wù)與接口。

a)樣本資源上傳與下載。區(qū)域云側(cè)調(diào)用中心云樣本資源上傳接口,實(shí)現(xiàn)將樣本中心的樣本資源上

傳至中心云的樣本中心,區(qū)域云側(cè)調(diào)用中心云樣本資源下載接口,實(shí)現(xiàn)將中心云樣本中心的樣

本資源下載至區(qū)域云的樣本中心,樣本資源包含樣本源信息、樣本源文件、樣本標(biāo)注;

b)樣本資源查詢(xún)。區(qū)域云調(diào)用中心云的樣本資源查詢(xún)接口,中心云審查后,實(shí)現(xiàn)對(duì)中心云樣本中

心樣本資源的查詢(xún)。

6.4樣本索引協(xié)同機(jī)制

樣本索引的協(xié)同管理機(jī)制中,中心云側(cè)應(yīng)具有樣本索引新增、刪除、修改、查詢(xún)、上傳等能力和服

務(wù)。

9

T/CESXXX?XXXX

a)樣本索引上傳與新增。區(qū)域云通過(guò)調(diào)用中心云側(cè)樣本索引上傳接口,實(shí)現(xiàn)將區(qū)域云側(cè)樣本索引

上傳至中心云樣本中心,中心側(cè)審查通過(guò)后判斷是否為新增索引;

b)樣本索引修改與刪除。區(qū)域云通過(guò)調(diào)用中心云側(cè)樣本索引修改或刪除接口,中心側(cè)審查通過(guò)后,

實(shí)現(xiàn)對(duì)區(qū)域云側(cè)樣本中心中樣本索引的修改或刪除;

c)樣本索引查詢(xún)。區(qū)域云調(diào)用中心云的樣本索引查詢(xún)接口,中心云審查后,獲得樣本索引信息,

實(shí)現(xiàn)對(duì)中心云樣本中心樣本索引的查詢(xún)。

6.5技術(shù)規(guī)范

6.5.1樣本元信息定義要求

樣本元信息應(yīng)包含字段屬性見(jiàn)附錄B.1表B.1.1。

6.5.2樣本資源格式和大小要求

樣本資源文件應(yīng)以壓縮包方式進(jìn)行協(xié)同,對(duì)要協(xié)同的所有樣本應(yīng)打包成一個(gè)壓縮文件,具體要求如

下:

a)壓縮包應(yīng)支持tar、zip格式,大小宜限制在5GB以?xún)?nèi);

b)單個(gè)樣本資源壓縮包包含的樣本宜在10萬(wàn)個(gè)以?xún)?nèi)。

7多級(jí)人工智能云平臺(tái)模型中心協(xié)同要求

7.1概覽

圖3人工智能平臺(tái)模型多級(jí)協(xié)同架構(gòu)

多級(jí)人工智能云平臺(tái)以中心云側(cè)的模型審查為為關(guān)鍵點(diǎn)實(shí)現(xiàn)模型的協(xié)同,在中心云側(cè)具有模型資源

相關(guān)文件的物理存儲(chǔ)和模型索引相關(guān)的邏輯存儲(chǔ)功能。物理存儲(chǔ)過(guò)程為區(qū)域云側(cè)將模型源文件、模型元

10

T/CESXXX?XXXX

信息等模型資源上傳,中心云審查通過(guò)后,中心云側(cè)更新模型資源,包含模型源文件、模型元信息、模

型索引的協(xié)同;邏輯存儲(chǔ)過(guò)程為區(qū)域云側(cè)上傳模型索引,中心云審查通過(guò)后,中心云側(cè)更新模型索引,

包含模型索引的協(xié)同。

7.2模型資源傳輸機(jī)制

模型元信息宜采用http/https接口方式實(shí)現(xiàn)上傳和下載,數(shù)據(jù)應(yīng)使用JSON格式。模型源文件資源

可使用S3存儲(chǔ)協(xié)議、掛載方式posix協(xié)議或hdfs接口方式,實(shí)現(xiàn)單個(gè)或批量的模型資源按來(lái)源和領(lǐng)域

傳輸至對(duì)象存儲(chǔ)服務(wù)器分區(qū)存儲(chǔ)。

7.3模型資源協(xié)同機(jī)制

模型資源協(xié)同機(jī)制包括模型資源上傳與下載、模型元信息查詢(xún)等能力。中心云側(cè)提供模型資源上傳、

下載、查詢(xún)服務(wù)與接口。

a)模型資源上傳與下載。區(qū)域云側(cè)調(diào)用中心云模型資源上傳接口,實(shí)現(xiàn)將模型中心的模型資源上

傳至中心云的模型中心,區(qū)域云側(cè)調(diào)用中心云模型資源下載接口,實(shí)現(xiàn)將中心云模型中心的樣

本資源下載至區(qū)域云的模型中心,模型資源包含模型元信息、模型文件;

b)模型元信息查詢(xún)。區(qū)域云調(diào)用中心云的模型資源查詢(xún)接口,中心云審查后,實(shí)現(xiàn)對(duì)中心云模型

中心模型資源的查詢(xún);

7.4模型索引協(xié)同機(jī)制

模型索引的協(xié)同管理機(jī)制中,中心云側(cè)應(yīng)具有模型索引新增、刪除、修改、查詢(xún)、上傳等能力和服

務(wù)。

a)模型索引上傳與新增。區(qū)域云通過(guò)調(diào)用中心云側(cè)模型索引上傳接口,實(shí)現(xiàn)將區(qū)域云側(cè)模型索引

上傳至中心云模型中心,中心側(cè)審查通過(guò)后判斷是否為新增索引;

b)模型索引修改與刪除。區(qū)域云通過(guò)調(diào)用中心云側(cè)模型索引修改或刪除接口,中心側(cè)審查通過(guò)后,

實(shí)現(xiàn)對(duì)區(qū)域云側(cè)模型中心中樣本索引的修改或刪除;

c)模型索引查詢(xún)。區(qū)域云調(diào)用中心云的模型索引查詢(xún)接口,中心云審查后,獲得模型索引信息,

實(shí)現(xiàn)對(duì)中心云模型中心模型索引的查詢(xún)。

7.5模型服務(wù)協(xié)同機(jī)制

模型服務(wù)的協(xié)同管理機(jī)制中,包括模型運(yùn)行、模型狀態(tài)信息上傳等能力,中心云側(cè)應(yīng)具有模型運(yùn)行、

模型狀態(tài)信息收集服務(wù)。

a)模型運(yùn)行。中心云側(cè)應(yīng)具有模型運(yùn)行能力,并提供模型推理調(diào)用接口,區(qū)域云具有模型推理接

口調(diào)用能力,實(shí)現(xiàn)模型服務(wù)云端調(diào)用;

b)模型狀態(tài)信息上傳。區(qū)域云側(cè)具有模型狀態(tài)信息上傳服務(wù),中心云側(cè)審查通過(guò)后,具有模型狀

態(tài)信息接受能力。

7.6技術(shù)規(guī)范

7.6.1模型元信息字段定義

模型元信息應(yīng)包含字段屬性見(jiàn)附錄B.1表B.1.2。

11

T/CESXXX?XXXX

7.6.2模型資源格式和大小要求

模型資源文件應(yīng)以壓縮包方式進(jìn)行協(xié)同,模型格式包括鏡像文件和模型文件兩種,具體要求如下:

a)鏡像文件壓縮包宜為tar、zip格式,大小不宜超過(guò)5GB;

b)模型文件壓縮包宜為tar、zip格式,大小不宜超過(guò)2GB。

8邊端側(cè)樣本協(xié)同要求

8.1樣本協(xié)同機(jī)制

樣本協(xié)同流程包括端設(shè)備與邊緣物聯(lián)網(wǎng)關(guān)、邊緣物聯(lián)網(wǎng)關(guān)與物聯(lián)網(wǎng)平臺(tái)、物聯(lián)網(wǎng)平臺(tái)與人工智能平

臺(tái)樣本上傳和參數(shù)設(shè)置協(xié)同組成。

圖4邊端側(cè)樣本協(xié)同框架

8.2樣本數(shù)據(jù)采集

端側(cè)樣本宜由無(wú)人機(jī)、機(jī)器人、攝像頭、智能執(zhí)法儀、布控球、智能融合終端、移動(dòng)終端、聲音采

集裝置等設(shè)備獲取,以圖像、視頻、音頻等存儲(chǔ)方式形成樣本,邊側(cè)應(yīng)具備匯聚端側(cè)設(shè)備或者智能裝置

樣本能力。樣本采集要求如下:

a)邊端側(cè)設(shè)備應(yīng)具備接收由人工智能平臺(tái)、物聯(lián)網(wǎng)平臺(tái)下發(fā)的樣本采集任務(wù)能力,邊側(cè)以及端側(cè)

智能設(shè)備應(yīng)按照設(shè)定的頻率開(kāi)展樣本采樣;

12

T/CESXXX?XXXX

b)邊端側(cè)設(shè)備應(yīng)具備添加樣本采集地點(diǎn)、時(shí)間、設(shè)備等屬性信息能力,屬性信息存儲(chǔ)格式可為

xml、json格式;

c)邊側(cè)設(shè)備應(yīng)具有樣本初級(jí)處理能力,對(duì)來(lái)自端側(cè)的設(shè)備檢查數(shù)據(jù)有效性,實(shí)現(xiàn)數(shù)據(jù)的初步篩選

與優(yōu)化。

8.3樣本數(shù)據(jù)上傳

邊側(cè)設(shè)備匯聚端側(cè)上傳的樣本,經(jīng)過(guò)物聯(lián)網(wǎng)平臺(tái)上傳到區(qū)域人工智能平臺(tái)。邊端樣本上傳要求如下;

a)邊端側(cè)設(shè)備可設(shè)置定時(shí)或者觸發(fā)條件,定期將本側(cè)樣本源文件及樣本屬性信息上傳;

b)邊側(cè)設(shè)備具備接收和處理端側(cè)上傳樣本的能力,宜將樣本壓縮成tar、zip、rar等格式,將樣

本上傳至物聯(lián)網(wǎng)平臺(tái)。

8.4樣本技術(shù)要求

8.4.1通信方式

a)邊緣物聯(lián)代理向物聯(lián)網(wǎng)平臺(tái)上報(bào)樣本數(shù)據(jù)應(yīng)采用MQTT協(xié)議;

b)邊緣物聯(lián)代理向物聯(lián)網(wǎng)平臺(tái)上報(bào)樣本數(shù)據(jù)的主題和交互字段內(nèi)容應(yīng)滿(mǎn)足附錄A.3要求;

c)物聯(lián)網(wǎng)平臺(tái)向區(qū)域人工智能平臺(tái)上報(bào)樣本數(shù)據(jù)應(yīng)采用消息隊(duì)列方式;

d)物聯(lián)網(wǎng)平臺(tái)向區(qū)域人工智能平臺(tái)上報(bào)樣本數(shù)據(jù)交互字段應(yīng)滿(mǎn)足附錄A.4要求。

8.4.2響應(yīng)時(shí)限

邊端樣本上傳宜具備消息傳輸失敗響應(yīng)機(jī)制,響應(yīng)時(shí)應(yīng)滿(mǎn)足DL/T1713-2017《信息系統(tǒng)非功能性需

求規(guī)范》的規(guī)定。

8.4.3可靠性

邊側(cè)和端側(cè)的網(wǎng)絡(luò)設(shè)備、通信線(xiàn)路和集群系統(tǒng)宜采用冗余,保證高可用性,在無(wú)不可抗力環(huán)境下應(yīng)

滿(mǎn)足7×24小時(shí)服務(wù)不中斷,具體要求為:

a)數(shù)據(jù)完整性:存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí),應(yīng)確保數(shù)據(jù)完整;

b)消息完整性:消息隊(duì)列節(jié)點(diǎn)發(fā)生故障時(shí),應(yīng)確保消息不丟失,且不影響消息正常提交和消費(fèi);

c)任務(wù)調(diào)度完整性:任務(wù)調(diào)度節(jié)點(diǎn)發(fā)生故障時(shí),應(yīng)不影響任務(wù)調(diào)度和執(zhí)行;

d)網(wǎng)絡(luò)完整性:網(wǎng)絡(luò)發(fā)生故障并恢復(fù)后,系統(tǒng)和任務(wù)、服務(wù)均可自動(dòng)繼續(xù)運(yùn)行。

8.4.4安全要求

人工智能樣本采集、處理、上傳的安全要求包括:

a)應(yīng)符合GB/T18336—2015《信息技術(shù)安全技術(shù)信息技術(shù)安全評(píng)估準(zhǔn)則》的規(guī)定;

b)應(yīng)符合GB/T22239-2019《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》的規(guī)定;

c)應(yīng)符合《中華人民共和國(guó)數(shù)據(jù)安全法》的規(guī)定。

13

T/CESXXX?XXXX

9邊端側(cè)模型協(xié)同要求

9.1模型協(xié)同機(jī)制

模型協(xié)同流程應(yīng)包括區(qū)域人工智能平臺(tái)向物聯(lián)網(wǎng)平臺(tái)進(jìn)行模型傳輸、物聯(lián)網(wǎng)平臺(tái)向邊緣物聯(lián)代理進(jìn)

行模型傳輸并收集運(yùn)行指標(biāo)、邊緣物聯(lián)代理向端側(cè)進(jìn)行模型傳輸并收集運(yùn)行指標(biāo)。

圖5邊端側(cè)模型協(xié)同框架

9.2模型部署

模型部署包括物聯(lián)網(wǎng)平臺(tái)向邊緣物聯(lián)網(wǎng)關(guān)、邊緣物聯(lián)網(wǎng)關(guān)向端側(cè)進(jìn)行模型部署、更新。具體要求如

下:

a)區(qū)域人工智能平臺(tái)應(yīng)根據(jù)邊端側(cè)設(shè)備類(lèi)型及特點(diǎn),支持將待部署模型進(jìn)行模型優(yōu)化、轉(zhuǎn)換和封

裝,實(shí)現(xiàn)模型與設(shè)備的匹配;

b)物聯(lián)網(wǎng)平臺(tái)向邊端側(cè)下發(fā)的模型部署時(shí)應(yīng)進(jìn)行身份鑒別和服務(wù)類(lèi)型校驗(yàn);

c)區(qū)域人工智能平臺(tái)可將模型的運(yùn)行指標(biāo)參數(shù)通過(guò)物聯(lián)網(wǎng)平臺(tái)發(fā)送至邊端側(cè),邊端側(cè)對(duì)模型部署

請(qǐng)求進(jìn)行校驗(yàn),校驗(yàn)通過(guò)后,邊端側(cè)接受模型并部署模型;

d)邊端側(cè)宜支持灰度更新模式,新模型部署前將舊模型進(jìn)行本地備份,待新模型運(yùn)行指標(biāo)滿(mǎn)足要

求后,進(jìn)行舊模型本地自動(dòng)刪除,并將更新信息寫(xiě)入日志文件;

e)邊側(cè)部署多個(gè)模型時(shí),應(yīng)支持多模型資源目錄服務(wù)和模型版本管理功能。

9.3模型運(yùn)行指標(biāo)上傳

14

T/CESXXX?XXXX

邊側(cè)設(shè)備匯聚端側(cè)模型運(yùn)行指標(biāo),經(jīng)過(guò)物聯(lián)網(wǎng)平臺(tái)上傳到區(qū)域人工智能平臺(tái)。模型運(yùn)行指標(biāo)上傳要

求如下:

a)邊側(cè)設(shè)備應(yīng)支持結(jié)構(gòu)化和非結(jié)構(gòu)化模型運(yùn)行指標(biāo)上傳物聯(lián)網(wǎng)平臺(tái);

b)邊端側(cè)完成模型部署后,應(yīng)具備上傳模型運(yùn)行時(shí)計(jì)算資源占用、存儲(chǔ)資源占用等信息的能力。

同時(shí),邊端側(cè)設(shè)備將模型運(yùn)行信息寫(xiě)入日志文件,日志應(yīng)支持本地存儲(chǔ),支持物聯(lián)網(wǎng)平臺(tái)召測(cè)

日志文件的能力

9.4模型技術(shù)要求

邊端側(cè)模型協(xié)同技術(shù)要求包括模型性能和兼容性,具體要求如下:

a)邊端側(cè)模型性能要求;

1)邊端側(cè)模型部署后,邊端側(cè)設(shè)備CPU利用率、內(nèi)存利用率應(yīng)滿(mǎn)足DL/T1713-2017《信息

系統(tǒng)非功能性需求規(guī)范》的規(guī)定;

2)邊端側(cè)模型部署后的單次推理響應(yīng)時(shí)間應(yīng)滿(mǎn)足DL/T1713-2017《信息系統(tǒng)非功能性需求

規(guī)范》的規(guī)定;

3)邊端側(cè)模型部署后,邊側(cè)設(shè)備承載全部模型的運(yùn)行性能應(yīng)能滿(mǎn)足各模型運(yùn)行要求,不發(fā)生

因計(jì)算資源沖突導(dǎo)致的運(yùn)行異常問(wèn)題。

b)邊端側(cè)模型兼容性要求。邊端側(cè)模型應(yīng)根據(jù)邊側(cè)設(shè)備的芯片、架構(gòu)(armv7l、arm64、amd64

等多種架構(gòu))平臺(tái)進(jìn)行模型轉(zhuǎn)換。

9.4.1安全要求

人工智能模型部署、處理、上傳的安全要求包括:

a)應(yīng)符合GB/T18336—2015《信息技術(shù)安全技術(shù)信息技術(shù)安全評(píng)估準(zhǔn)則》的規(guī)定;

b)應(yīng)符合GB/T22239-2019《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》的規(guī)定;

c)應(yīng)符合《中華人民共和國(guó)數(shù)據(jù)安全法》的規(guī)定。

15

T/CESXXX?XXXX

附錄A

(資料性附錄)

A.1人工智能平臺(tái)下發(fā)模型

功能說(shuō)明:人工智能平臺(tái)下發(fā)模型文件至物聯(lián)網(wǎng)平臺(tái)。

請(qǐng)求URL:/iot/task/model。

其中請(qǐng)求體中的參數(shù)如表A1.1所示:

表A1.1請(qǐng)求體body字段描述

名稱(chēng)類(lèi)型是否必選描述

taskNameString是任務(wù)名稱(chēng)

deviceListList<device>是設(shè)備列表

文件名稱(chēng)

enfileNameString是模型驗(yàn)證、安裝、升級(jí)時(shí)選擇

文件的英文名稱(chēng)

fileVersionString是文件版本

命令推送速率

pushCommandPolicyInt是

0,100,500,1000

重試間隔

”0”:立即重試;

retryIntervalString是“30”:隔30分鐘重試;

“60”:隔60分鐘重試;

“-1”:不重試;

retryLimitInt否重試上限,分1、3、5、10次

任務(wù)類(lèi)型

app_download:模型安裝

taskTypeString是

app_upgrade:模型升級(jí)

app_verify:模型驗(yàn)證

appEnvironmentConfigObject條件可選模型環(huán)境配置信息

其中,device定義如表A1.2所示:

表A1.2device參數(shù)描述

名稱(chēng)類(lèi)型是否必需描述

devIdlong否邊設(shè)備ID

devSnString是設(shè)備SN

outerIdString否外部系統(tǒng)設(shè)備id

productCodeString是設(shè)備類(lèi)型對(duì)應(yīng)的唯一編碼

16

T/CESXXX?XXXX

其中,appEnvironmentConfig定義如表A1.3所示:

表A1.3appEnvironmentConfig參數(shù)描述

名稱(chēng)類(lèi)型是否必需描述

cpuNumberInt否CPU核數(shù)

cpuLimitInt否CPU監(jiān)控閾值,例如50表示50%

memUnitInt否內(nèi)存限值,單位:以M為單位

memLimitInt否內(nèi)存監(jiān)控閾值,例如50表示50%

響應(yīng)參數(shù)如表A1.4所示:

表A1.4響應(yīng)參數(shù)描述

名稱(chēng)類(lèi)型描述

midsJsonArray命令數(shù)

A.2物聯(lián)網(wǎng)平臺(tái)下發(fā)模型

A2.1下發(fā)模型到邊側(cè)

功能說(shuō)明:物聯(lián)網(wǎng)平臺(tái)下發(fā)模型至邊側(cè)設(shè)備。

報(bào)文頭部參數(shù)具體字段補(bǔ)充說(shuō)明如下:

a)type字段取值為:CMD_APP_INSTALL;

b)param字段定義如表A2.1所示:

表A2.1param字段參數(shù)描述

字段類(lèi)型是否必選描述

jobIdnumber是任務(wù)ID

從接收到該安裝指令時(shí)間后開(kāi)始安裝

policynumber否的時(shí)間間隔(單位:秒),缺省或等于

0時(shí),表示立即升級(jí)

versionstring是應(yīng)用版本號(hào)

cpuobject否cpu資源配置參數(shù)

memobject否memory資源配置參數(shù)

appNameString是應(yīng)用名稱(chēng)

aiProcessorString否邊緣物聯(lián)代理AI加速卡類(lèi)型

gpuSharedString否是否使用GPU共享,是/否

gpuCapacityString否GPU共享分配顯存容量,單位MB

A2.2文件下載

功能說(shuō)明:通過(guò)文件下載路徑下載安裝文件

請(qǐng)求URL:/iot/files/{projectId}/up/{remoteFileName}

17

T/CESXXX?XXXX

其中projectId由物聯(lián)網(wǎng)平臺(tái)提供,remoteFileName為傳輸?shù)奈募?/p>

請(qǐng)求頭header里參數(shù)詳細(xì)說(shuō)明:

字段類(lèi)型是否必選描述

為空時(shí),認(rèn)為是全量下載;如果range:

rangeString否bytes=0-9,表示下載該文件的前10個(gè)

字節(jié)

A2.3部署結(jié)果上報(bào)

功能說(shuō)明:當(dāng)應(yīng)用安裝指令被執(zhí)行完畢后,邊側(cè)設(shè)備將執(zhí)行結(jié)果主動(dòng)上報(bào)給物聯(lián)網(wǎng)平臺(tái)。

邊設(shè)備發(fā)布Topic:/v1/${edgeId}/app/data。

報(bào)文頭部參數(shù)具體字段說(shuō)明如下:

a)type字段取值為:REP_JOB_RESULT;

b)param字段定義如表A2.2所示:

表A2.2param字段參數(shù)描述

字段類(lèi)型是否必選描述

jobIdnumber是安裝操作作為一個(gè)工作任務(wù),分配的ID

resultnumber是應(yīng)用安裝結(jié)果編碼

infostring否安裝失敗的描述,例如下載地址不可用

A.3邊緣物聯(lián)網(wǎng)關(guān)上報(bào)樣本數(shù)據(jù)

功能說(shuō)明:邊緣物理網(wǎng)關(guān)上報(bào)樣本數(shù)據(jù)至物聯(lián)網(wǎng)平臺(tái)。

報(bào)文頭部參數(shù)具體字段補(bǔ)充說(shuō)明如下:

a)type字段取值:

傳輸樣本數(shù)據(jù)時(shí)為:AI_SAMPLE

傳輸結(jié)果數(shù)據(jù)時(shí)為:AI_RESULT

b)param字段定義如表A3.1所示:

表A3.1param字段描述

字段類(lèi)型是否必選描述

methodstring是服務(wù)的命令名

datajson是數(shù)據(jù)以物模型規(guī)范的數(shù)據(jù)格式上報(bào)

A.4物聯(lián)網(wǎng)平臺(tái)推送樣本數(shù)據(jù)

功能說(shuō)明:物聯(lián)網(wǎng)平臺(tái)推送樣本數(shù)據(jù)至人工智能平臺(tái)。

交互主題:service_data

報(bào)文頭部參數(shù)具體字段補(bǔ)充說(shuō)明如下:

a)type字段取值,傳輸樣本數(shù)據(jù)時(shí)為:AI_SAMPLE,傳輸結(jié)果數(shù)據(jù)時(shí)為:AI_RESULT;

b)param字段定義如表A4.1所示:

18

T/CESXXX?XXXX

表A4.1param字段描述

字段類(lèi)型是否必選描述

cmdstring是服務(wù)的命令名

datajson是數(shù)據(jù)以物模型規(guī)范的數(shù)據(jù)格式上報(bào)

附錄B

B.1元信息字段

表B.1.1樣本資源元信息定義

序號(hào)字段名稱(chēng)字段描述

1樣本資源索引ID樣本所屬的上級(jí)索引。

2樣本名稱(chēng)樣本名稱(chēng)

3樣本描述樣本基本信息

4樣本大小以MB為單位

5樣本類(lèi)別

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論