DB14-T2527-2022云平臺人工智能建模系統(tǒng)框架及功能要求

DB14/T2527—2022

云平臺人工智能建模系統(tǒng)功能要求

1范圍

本文件規(guī)定了云平臺人工智能建模系統(tǒng)的各組件功能要求。

本文件適用于云平臺上人工智能建模系統(tǒng)及解決方案的數據處理、算法設計、模型訓練、模型管理

等功能要求，可作為云平臺上人工智能建模系統(tǒng)的規(guī)劃、設計、建設、評估及驗收的依據。

2規(guī)范性引用文件

下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T5271.31-2006信息技術詞匯第31部分：人工智能機器學習

GB/T5271.34-2006信息技術詞匯第34部分：人工智能神經網絡

3術語和定義

GB/T5271.31-2006，GB/T5271.34-2006界定的以及下列術語和定義適用于本文件。

3.1

云平臺

本文件所指云平臺是面向全省域，為政府、社會團體和企事業(yè)組織提供專業(yè)化服務的一體化云服務

體系。

3.2

人工智能建模系統(tǒng)

為數據分析人員、業(yè)務建模人員和模型管理人員提供數據處理、模型構建與訓練、模型部署與管理

解決方案的模型平臺。

3.3

算子

構成人工智能建模算法的計算單元。

3.4

特征工程

利用領域知識從原始數據中提取特征的過程。

1

DB14/T2527—2022

4縮略語

下列縮略語適用于本文件。

AI：人工智能（ArtificialIntelligence）

DAG：有向無環(huán)圖（DirectedAcyclicGraph）

NLP：自然語言處理（NaturalLanguageProcessing）

JDBC：Java數據庫連接（JavaDatabaseConnectivity）

HDFS：Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem）

SQL：結構化查詢語言（StructuredQueryLanguage）

API：應用程序接口（ApplicationProgrammingInterface）

ROC：接收者操作特征（ReceiverOperatingCharacteristic）

PR：查全率（Precision-Recall）

REST：表述性狀態(tài)轉移（RepresentationalStateTransfer）

5功能要求

5.1概述

云平臺人工智能建模系統(tǒng)的功能框架見圖1，包括數據導入導出、數據預覽與探索、數據預處理、

特征工程、算法選擇、模型訓練與評估、模型管理、模型市場、工作流調度等核心能力。

圖1云平臺人工智能建模系統(tǒng)的功能框架

5.2數據導入導出

5.2.1數據導入

支持多種數據源包括關系型數據庫、Hive、HBase、ElasticSearch、HDFS、文件格式、JDBC等，同

時支持數據導入時轉換數據類型。數據源接入使用統(tǒng)一視圖及規(guī)范。

5.2.2數據導出

2

DB14/T2527—2022

支持將結果數據導出至關系型數據庫、Hive、HDFS、JDBC等，同時支持結果數據導出至數據源。

5.2.3數據樣例

人工智能平臺應提供不同類型的樣例數據以供測試。

5.3數據預覽與探索

5.3.1數據質量分析

支持對臟數據，數據缺失值、異常值等的檢查。

5.3.2數據統(tǒng)計分析

支持查看數據的分布情況和統(tǒng)計學指標。支持圖形化自定義統(tǒng)計分析數據。

5.3.3數據特征分析

支持在數據集合進行分布分析，對比分析，統(tǒng)計量分析和相關分析，為數據建模人員提供基本的特

征描述。

5.3.4復雜數據特征分析

支持交互式分析和探索的編程環(huán)境。包括R、Python等編程環(huán)境，用于復雜的數據特征分析。

5.4數據預處理

5.4.1數據清洗

支持按照預定義的清洗模式對全量數據進行原始無效異常數據過濾和缺失數據補齊。

5.4.2數據變換

提供包括數據屬性轉換、新屬性生成在內的處理能力。

5.4.3數據規(guī)約

提供對基本數據屬性的歸一化處理能力。

5.4.4自動化預處理

支持數據預處理自動化，包括自動填充、自動清理、自動轉換以及自動歸一化等。

5.4.5預處理行業(yè)模板

人工智能平臺應提供預處理操作算子樣例及常用模板。

5.5特征工程

5.5.1特征工程流程

特征工程流程包括特征變換、特征重要性評估、特征選擇、特征生成等。

5.5.2特征工程自動化

特征工程自動化包括自動多表擴展、自動特征變換、自動特征選擇以及自動特征生成等。

3

DB14/T2527—2022

5.5.3特征提取模板

支持特征提取算子和模板配置。

5.6算法選擇

5.6.1基礎能力

支持多種優(yōu)化算法，算法參數可配置。

5.6.2支持但不限于以下的算法類型

特征權重、流處理、預處理、表操作、機器學習、圖嵌入、驗證與評估、NLP、時間序列、統(tǒng)計、

集成學習、深度學習、圖計算、圖像處理、強化學習等。

5.6.3自定義算法

支持通過Python，R等實現(xiàn)自定義算法，支持用戶自定義持久化擴展算子庫。

5.6.4實用工具庫

提供支持子流程、添加宏、提取宏、生成宏、刪除宏、循環(huán)，支持子流程的自定義封裝和命名，支

持自定義單機腳本算子快速實現(xiàn)分布式化等功能的實用工具。

5.6.5算法樣例庫

提供章節(jié)5.6.2、5.6.3所列算法的使用樣例。

5.7模型訓練與評估

5.7.1訓練過程

可以啟動和停止訓練任務，可以查看運行日志。訓練過程中支持調試功能，可進行單步調試，斷點

調試。支持訓練過程中間數據查看、導出。

5.7.2資源共享

支持多個用戶分組管理和共享計算資源。

5.7.3資源管控

支持對物理資源進行虛擬化管控，可以動態(tài)進行資源的申請或釋放。

5.7.4復雜任務依賴

支持多任務之間圖形化構建依賴，以構建復雜的模型訓練任務及數據分析任務。

5.7.5自動調參與自動建模

支持自動調參和搜索網格，包括在給定命中率和覆蓋率的要求下搜索參數輸出結果，及在給定參數

下搜索最優(yōu)結果。

支持自動建模，自動選擇算法及參數。

5.7.6交叉驗證

4

DB14/T2527—2022

支持按比例隨機分配訓練與測試集，支持交叉檢驗。

5.7.7評估指標

支持多種評估指標，如混淆矩陣，ROC曲線，PR曲線，加權召回率等。對于二分類，輸出包括評價

指標的數目表格；對于多分類，輸出混淆矩陣。

5.7.8評估樣例庫

提供所有評估算子樣例。

5.8模型管理

5.8.1模型的版本管理

支持歷史、新建及外部導入模型的保存和版本管理，支持模型詳細查看，模型結果查看。

5.8.2模型導入導出

支持多種模型格式。支持導出Json模型，包括聚類、分類、回歸等類型。

5.8.3深度學習模型管理

支持深度學習模型導入導出和可視化查看，支持實驗應用。

5.9模型市場

5.9.1模型用戶管理

支持管理員對其所屬普通用戶項目情況及權限進行管理。

5.9.2模型服務上架

支持任務/實驗、代碼、自定義鏡像等在模型市場上架。

5.9.3模型服務上、下線

支持模型服務的上、下線與列表查看。

5.9.4模型服務更新

支持滾動更新及灰度更新，且灰度升級支持分配流量權重。

5.9.5模型服務測試

支持服務上線后的API測試。

5.9.6模型服務管理

支持自定義模型部署,生成相應RESTAPI，手動增加實例數量提高服務的負載均衡；可查看當前導

入平臺的API列表。

5.9.7模型服務監(jiān)控

支持線上模型服務監(jiān)控，可查看模型服務內容、運行狀態(tài)、實例詳情、資源設置等，后臺可以統(tǒng)計

API的調用情況和結果統(tǒng)計。

5

DB14/T2527—2022

5.9.8模型服務使用

API服務上線后，可通過RESTAPI調用，傳入參數并獲得預測值。

5.10工作流調度

5.10.1任務配置

支持可視化建模、代碼建模、特征和模型上架、上線等任務類型。支持對單個任務進行資源配置，

如可視化建模、代碼建模等。

5.10.2設計工作流

任務定義成功后，確定各任務彼此間的邏輯依賴關系，任務會自上而下執(zhí)行。支持通過Cron表達式，

來設置整個工作流的調度周期。

5.10.3執(zhí)行工作流

支持對工作流進行調試，確保整體流程可執(zhí)行，再進行調度。設置工作流的調度周期后，工作流會

按照設置的周期定時調度。

5.10.4工作流上、下線

支持對工作流進行上線、下線操作。

5.10.5工作流導入導出

支持從外部導入工作流，支持工作流導出到本地，導入導出文件為JSON格式。

5.10.6工作流詳情

支持查看單個工作流每次的執(zhí)行時間和執(zhí)行狀態(tài)。支持查看工作流下的單個任務每次的執(zhí)行時間、

狀態(tài)和日志詳情。

6

DB14/T2527—2022

參考文獻

[1]《國家新一代人工智能標準體系建設指南》國標委聯(lián)﹝2020﹞35

7

ICS35.080

CCSL76

14

山西省地方標準

DB14/T2527—2022

云平臺人工智能建模系統(tǒng)框架及功能要求

2022-08-18發(fā)布2022-11-18實施

山西省市場監(jiān)督管理局??發(fā)布

DB14/T2527—2022

云平臺人工智能建模系統(tǒng)功能要求

1范圍

本文件規(guī)定了云平臺人工智能建模系統(tǒng)的各組件功能要求。

本文件適用于云平臺上人工智能建模系統(tǒng)及解決方案的數據處理、算法設計、模型訓練、模型管理

等功能要求，可作為云平臺上人工智能建模系統(tǒng)的規(guī)劃、設計、建設、評估及驗收的依據。

2規(guī)范性引用文件

下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T5271.31-2006信息技術詞匯第31部分：人工智能機器學習

GB/T5271.34-2006信息技術詞匯第34部分：人工智能神經網絡

3術語和定義

GB/T5271.31-2006，GB/T5271.34-2006界定的以及下列術語和定義適用于本文件。

3.1

云平臺

本文件所指云平臺是面向全省域，為政府、社會團體和企事業(yè)組織提供專業(yè)化服務的一體化云服務

體系。

3.2

人工智能建模系統(tǒng)

為數據分析人員、業(yè)務建模人員和模型管理人員提供數據處理、模型構建與訓練、模型部署與管理

解決方案的模型平臺。

3.3

算子

構成人工智能建模算法的計算單元。

3.4

特征工程

利用領域知識從原始數據中提取特征的過程。

1

DB14/T2527—2022

4縮略語

下列縮略語適用于本文件。

AI：人工智能（ArtificialIntelligence）

DAG：有向無環(huán)圖（DirectedAcyclicGraph）

NLP：自然語言處理（Natural