DB14-T 2527-2022 云平臺(tái) 人工智能建模系統(tǒng)框架及功能要求

ICS35.080

CCSL76

14

山西省地方標(biāo)準(zhǔn)

DB14/T2527—2022

云平臺(tái)人工智能建模系統(tǒng)框架及功能要求

2022-08-18發(fā)布2022-11-18實(shí)施

山西省市場(chǎng)監(jiān)督管理局??發(fā)布

DB14/T2527—2022

云平臺(tái)人工智能建模系統(tǒng)功能要求

1范圍

本文件規(guī)定了云平臺(tái)人工智能建模系統(tǒng)的各組件功能要求。

本文件適用于云平臺(tái)上人工智能建模系統(tǒng)及解決方案的數(shù)據(jù)處理、算法設(shè)計(jì)、模型訓(xùn)練、模型管理

等功能要求，可作為云平臺(tái)上人工智能建模系統(tǒng)的規(guī)劃、設(shè)計(jì)、建設(shè)、評(píng)估及驗(yàn)收的依據(jù)。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T5271.31-2006信息技術(shù)詞匯第31部分：人工智能機(jī)器學(xué)習(xí)

GB/T5271.34-2006信息技術(shù)詞匯第34部分：人工智能神經(jīng)網(wǎng)絡(luò)

3術(shù)語(yǔ)和定義

GB/T5271.31-2006，GB/T5271.34-2006界定的以及下列術(shù)語(yǔ)和定義適用于本文件。

3.1

云平臺(tái)

本文件所指云平臺(tái)是面向全省域，為政府、社會(huì)團(tuán)體和企事業(yè)組織提供專業(yè)化服務(wù)的一體化云服務(wù)

體系。

3.2

人工智能建模系統(tǒng)

為數(shù)據(jù)分析人員、業(yè)務(wù)建模人員和模型管理人員提供數(shù)據(jù)處理、模型構(gòu)建與訓(xùn)練、模型部署與管理

解決方案的模型平臺(tái)。

3.3

算子

構(gòu)成人工智能建模算法的計(jì)算單元。

3.4

特征工程

利用領(lǐng)域知識(shí)從原始數(shù)據(jù)中提取特征的過(guò)程。

1

DB14/T2527—2022

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

AI：人工智能（ArtificialIntelligence）

DAG：有向無(wú)環(huán)圖（DirectedAcyclicGraph）

NLP：自然語(yǔ)言處理（NaturalLanguageProcessing）

JDBC：Java數(shù)據(jù)庫(kù)連接（JavaDatabaseConnectivity）

HDFS：Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem）

SQL：結(jié)構(gòu)化查詢語(yǔ)言（StructuredQueryLanguage）

API：應(yīng)用程序接口（ApplicationProgrammingInterface）

ROC：接收者操作特征（ReceiverOperatingCharacteristic）

PR：查全率（Precision-Recall）

REST：表述性狀態(tài)轉(zhuǎn)移（RepresentationalStateTransfer）

5功能要求

5.1概述

云平臺(tái)人工智能建模系統(tǒng)的功能框架見(jiàn)圖1，包括數(shù)據(jù)導(dǎo)入導(dǎo)出、數(shù)據(jù)預(yù)覽與探索、數(shù)據(jù)預(yù)處理、

特征工程、算法選擇、模型訓(xùn)練與評(píng)估、模型管理、模型市場(chǎng)、工作流調(diào)度等核心能力。

圖1云平臺(tái)人工智能建模系統(tǒng)的功能框架

5.2數(shù)據(jù)導(dǎo)入導(dǎo)出

5.2.1數(shù)據(jù)導(dǎo)入

支持多種數(shù)據(jù)源包括關(guān)系型數(shù)據(jù)庫(kù)、Hive、HBase、ElasticSearch、HDFS、文件格式、JDBC等，同

時(shí)支持?jǐn)?shù)據(jù)導(dǎo)入時(shí)轉(zhuǎn)換數(shù)據(jù)類型。數(shù)據(jù)源接入使用統(tǒng)一視圖及規(guī)范。

5.2.2數(shù)據(jù)導(dǎo)出

2

DB14/T2527—2022

支持將結(jié)果數(shù)據(jù)導(dǎo)出至關(guān)系型數(shù)據(jù)庫(kù)、Hive、HDFS、JDBC等，同時(shí)支持結(jié)果數(shù)據(jù)導(dǎo)出至數(shù)據(jù)源。

5.2.3數(shù)據(jù)樣例

人工智能平臺(tái)應(yīng)提供不同類型的樣例數(shù)據(jù)以供測(cè)試。

5.3數(shù)據(jù)預(yù)覽與探索

5.3.1數(shù)據(jù)質(zhì)量分析

支持對(duì)臟數(shù)據(jù)，數(shù)據(jù)缺失值、異常值等的檢查。

5.3.2數(shù)據(jù)統(tǒng)計(jì)分析

支持查看數(shù)據(jù)的分布情況和統(tǒng)計(jì)學(xué)指標(biāo)。支持圖形化自定義統(tǒng)計(jì)分析數(shù)據(jù)。

5.3.3數(shù)據(jù)特征分析

支持在數(shù)據(jù)集合進(jìn)行分布分析，對(duì)比分析，統(tǒng)計(jì)量分析和相關(guān)分析，為數(shù)據(jù)建模人員提供基本的特

征描述。

5.3.4復(fù)雜數(shù)據(jù)特征分析

支持交互式分析和探索的編程環(huán)境。包括R、Python等編程環(huán)境，用于復(fù)雜的數(shù)據(jù)特征分析。

5.4數(shù)據(jù)預(yù)處理

5.4.1數(shù)據(jù)清洗

支持按照預(yù)定義的清洗模式對(duì)全量數(shù)據(jù)進(jìn)行原始無(wú)效異常數(shù)據(jù)過(guò)濾和缺失數(shù)據(jù)補(bǔ)齊。

5.4.2數(shù)據(jù)變換

提供包括數(shù)據(jù)屬性轉(zhuǎn)換、新屬性生成在內(nèi)的處理能力。

5.4.3數(shù)據(jù)規(guī)約

提供對(duì)基本數(shù)據(jù)屬性的歸一化處理能力。

5.4.4自動(dòng)化預(yù)處理

支持?jǐn)?shù)據(jù)預(yù)處理自動(dòng)化，包括自動(dòng)填充、自動(dòng)清理、自動(dòng)轉(zhuǎn)換以及自動(dòng)歸一化等。

5.4.5預(yù)處理行業(yè)模板

人工智能平臺(tái)應(yīng)提供預(yù)處理操作算子樣例及常用模板。

5.5特征工程

5.5.1特征工程流程

特征工程流程包括特征變換、特征重要性評(píng)估、特征選擇、特征生成等。

5.5.2特征工程自動(dòng)化

特征工程自動(dòng)化包括自動(dòng)多表擴(kuò)展、自動(dòng)特征變換、自動(dòng)特征選擇以及自動(dòng)特征生成等。

3

DB14/T2527—2022

5.5.3特征提取模板

支持特征提取算子和模板配置。

5.6算法選擇

5.6.1基礎(chǔ)能力

支持多種優(yōu)化算法，算法參數(shù)可配置。

5.6.2支持但不限于以下的算法類型

特征權(quán)重、流處理、預(yù)處理、表操作、機(jī)器學(xué)習(xí)、圖嵌入、驗(yàn)證與評(píng)估、NLP、時(shí)間序列、統(tǒng)計(jì)、

集成學(xué)習(xí)、深度學(xué)習(xí)、圖計(jì)算、圖像處理、強(qiáng)化學(xué)習(xí)等。

5.6.3自定義算法

支持通過(guò)Python，R等實(shí)現(xiàn)自定義算法，支持用戶自定義持久化擴(kuò)展算子庫(kù)。

5.6.4實(shí)用工具庫(kù)

提供支持子流程、添加宏、提取宏、生成宏、刪除宏、循環(huán)，支持子流程的自定義封裝和命名，支

持自定義單機(jī)腳本算子快速實(shí)現(xiàn)分布式化等功能的實(shí)用工具。

5.6.5算法樣例庫(kù)

提供章節(jié)5.6.2、5.6.3所列算法的使用樣例。

5.7模型訓(xùn)練與評(píng)估

5.7.1訓(xùn)練過(guò)程

可以啟動(dòng)和停止訓(xùn)練任務(wù)，可以查看運(yùn)行日志。訓(xùn)練過(guò)程中支持調(diào)試功能，可進(jìn)行單步調(diào)試，斷點(diǎn)

調(diào)試。支持訓(xùn)練過(guò)程中間數(shù)據(jù)查看、導(dǎo)出。

5.7.2資源共享

支持多個(gè)用戶分組管理和共享計(jì)算資源。

5.7.3資源管控

支持對(duì)物理資源進(jìn)行虛擬化管控，可以動(dòng)態(tài)進(jìn)行資源的申請(qǐng)或釋放。

5.7.4復(fù)雜任務(wù)依賴

支持多任務(wù)之間圖形化構(gòu)建依賴，以構(gòu)建復(fù)雜的模型訓(xùn)練任務(wù)及數(shù)據(jù)分析任務(wù)。

5.7.5自動(dòng)調(diào)參與自動(dòng)建模

支持自動(dòng)調(diào)參和搜索網(wǎng)格，包括在給定命中率和覆蓋率的要求下搜索參數(shù)輸出結(jié)果，及在給定參數(shù)

下搜索最優(yōu)結(jié)果。

支持自動(dòng)建模，自動(dòng)選擇算法及參數(shù)。

5.7.6交叉驗(yàn)證

4

DB14/T2527—2022

支持按比例隨機(jī)分配訓(xùn)練與測(cè)試集，支持交叉檢驗(yàn)。

5.7.7評(píng)估指標(biāo)

支持多種評(píng)估指標(biāo)，如混淆矩陣，ROC曲線，PR曲線，加權(quán)召回率等。對(duì)于二分類，輸出包括評(píng)價(jià)

指標(biāo)的數(shù)目表格；對(duì)于多分類，輸出混淆矩陣。

5.7.8評(píng)估樣例庫(kù)

提供所有評(píng)估算子樣例。

5.8模型管理

5.8.1模型的版本管理

支持歷史、新建及外部導(dǎo)入模型的保存和版本管理，支持模型詳細(xì)查看，模型結(jié)果查看。

5.8.2模型導(dǎo)入導(dǎo)出

支持多種模型格式。支持導(dǎo)出Json模型，包括聚類、分類、回歸等類型。

5.8.3深度學(xué)習(xí)模型管理

支持深度學(xué)習(xí)模型導(dǎo)入導(dǎo)出和可視化查看，支持實(shí)驗(yàn)應(yīng)用。

5.9模型市場(chǎng)

5.9.1模型用戶管理

支持管理員對(duì)其所屬普通用戶項(xiàng)目情況及權(quán)限進(jìn)行管理。

5.9.2模型服務(wù)上架

支持任務(wù)/實(shí)驗(yàn)、代碼、自定義鏡像等在模型市場(chǎng)上架。

5.9.3模型服務(wù)上、下線

支持模型服務(wù)的上、下線與列表查看。

5.9.4模型服務(wù)更新

支持滾動(dòng)更新及灰度更新，且灰度升級(jí)支持分配流量權(quán)重。

5.9.5模型服務(wù)測(cè)試

支持服務(wù)上線后的API測(cè)試。

5.9.6模型服務(wù)管理

支持自定義模型部署,生成相應(yīng)RESTAPI，手動(dòng)增加實(shí)例數(shù)量提高服務(wù)的負(fù)載均衡；可查看當(dāng)前導(dǎo)

入平臺(tái)的API列表。

5.9.7模型服務(wù)監(jiān)控

支持線上模型服務(wù)監(jiān)控，可查看模型服務(wù)內(nèi)容、運(yùn)行狀態(tài)、實(shí)例詳情、資源設(shè)置等，后臺(tái)可以統(tǒng)計(jì)

API的調(diào)用情況和結(jié)果統(tǒng)計(jì)。

5

DB14/T2527—2022

5.9.8模型服務(wù)使用

API服務(wù)上線后，可通過(guò)RESTAPI調(diào)用，傳入?yún)?shù)并獲得預(yù)測(cè)值。

5.10工作流調(diào)度

5.10.1任務(wù)配置

支持可視化建模、代碼建模、特征和模型上架、上線等任務(wù)類型。支持對(duì)單個(gè)任務(wù)進(jìn)行資源配置，

如可視化建模、代碼建模等。

5.10.2設(shè)計(jì)工作流

任務(wù)定義成功后，確定各任務(wù)彼此間的邏輯依賴關(guān)系，任務(wù)會(huì)自上而下執(zhí)行。支持通過(guò)Cron表達(dá)式，

來(lái)設(shè)置整個(gè)工作流的調(diào)度周期。

5.10.3執(zhí)行工作流

支持對(duì)工作流進(jìn)行調(diào)試，確保整體流程可執(zhí)行，再進(jìn)行調(diào)度。設(shè)置工作流的調(diào)度周期后，工作流會(huì)

按照設(shè)置的周期定時(shí)調(diào)度。

5.10.4工作流上、下線

支持對(duì)工作流進(jìn)行上線、下線操作。

5.10.5工作流導(dǎo)入導(dǎo)出

支持從外部導(dǎo)入工作流，支持工作流導(dǎo)出到本地，導(dǎo)入導(dǎo)出文件為JSON格式。

5.10.6工作流詳情

支持查看單個(gè)工作流每次的執(zhí)行時(shí)間和執(zhí)行狀態(tài)。支持查看工作流下的單個(gè)任務(wù)每次的執(zhí)行時(shí)間、

狀