信息技術(shù) 云計(jì)算 智能云服務(wù)要求 征求意見稿

1GB/TXXXX-XXXX信息技術(shù)云計(jì)算智能云服務(wù)通用要求本文件確立了智能云服務(wù)能力架構(gòu)，規(guī)定了智能云服務(wù)基礎(chǔ)設(shè)施、模型開發(fā)、模型服務(wù)、人工智能應(yīng)用開發(fā)和接口方面的能力要求。本文件適用于指導(dǎo)智能云服務(wù)的設(shè)計(jì)、開發(fā)、部署、使用和測(cè)評(píng)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T32400-2015信息技術(shù)云計(jì)算概覽與詞匯GB/T37736-2019信息技術(shù)云計(jì)算云資源監(jiān)控通用要求GB/T37938-2019信息技術(shù)云資源監(jiān)控指標(biāo)體系3術(shù)語和定義GB/T32400-2015界定的以及下列術(shù)語和定義適用于本文件。3.1云計(jì)算cloudcomputing一種通過網(wǎng)絡(luò)將可伸縮、彈性的共享物理和虛擬資源池以按需自服務(wù)的方式供應(yīng)和管理的模式。注：資源包括服務(wù)器、操作系統(tǒng)、網(wǎng)絡(luò)、軟件、應(yīng)用和存儲(chǔ)設(shè)備等。[來源：GB/T32400-2015，3.2.5]3.2云服務(wù)cloudservice通過云計(jì)算（3.1）已定義的接口提供的一種或多種能力。[來源：GB/T32400-2015，3.2.8]3.3智能云服務(wù)AIcloudservice支撐或提供人工智能能力的云服務(wù)。注：人工智能能力指模型開發(fā)、模型服務(wù)、人工智能應(yīng)用開發(fā)等。4縮略語下列縮略語適用于本文件。AI：人工智能（ArtificialIntelligence）API：應(yīng)用程序接口(ApplicationProgramInterface)2GB/TXXXX-XXXXASIC：專用集成電路(ApplicationSpecificIntegratedCircuit)CCIX：緩存一致性的加速器互聯(lián)（CacheCoherentInterconnectforAccelerators）CPU：中央處理器(CentralProcessingUnit)FPGA：現(xiàn)場(chǎng)可編程門陣列(FieldProgrammableGateArray)GPU：圖形處理器（GraphicsProcessingUnit）IDE：集成開發(fā)環(huán)境（IntegratedDevelopmentEnvironment）LMOps：大模型運(yùn)維（LargeModelOperations）MLOps：機(jī)器學(xué)習(xí)運(yùn)維（MachineLearningOperations）PCIe：高速外圍部件互連（PeripheralComponentInterconnectExpress）P2P：點(diǎn)對(duì)點(diǎn)（peer-to-peer）RDMA：遠(yuǎn)程直接內(nèi)存訪問（RemoteDirectMemoryAccess）ROC：接收者操作特征(ReceiverOperatingCharacteristic)RoCE：基于融合以太網(wǎng)的RDMA（RDMAoverConvergedEthernet）RAG：檢索增強(qiáng)生成（RetrievalAugmentedGeneration）ONNX：開放神經(jīng)網(wǎng)絡(luò)交換（OpenNeuralNetworkExchange）mAP：平均精度均值（meanaverageprecision）DPO：直接偏好優(yōu)化（DirectPreferenceOptimization）SFT：監(jiān)督微調(diào)（SupervisedFine-Tuning）RLHF：基于人類反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningwithHumanFeedback）LoRA：低秩自適應(yīng)（Low-RankAdaptation）5能力框架智能云服務(wù)通過云服務(wù)方式為用戶提供AI算力資源和人工智能能力，并支持人工智能應(yīng)用，幫助用戶高效、便捷、低成本獲取和使用人工智能云服務(wù)。智能云服務(wù)能力架構(gòu)見圖1，包括基礎(chǔ)設(shè)施、模型開發(fā)、模型即服務(wù)、人工智能應(yīng)用開發(fā)、人工智能應(yīng)用、運(yùn)維、運(yùn)營以及接口等能力，智能云服務(wù)提供其中一種或多種能力。其中，運(yùn)維、運(yùn)營、人工智能應(yīng)用等能力參照現(xiàn)有相關(guān)標(biāo)準(zhǔn)，本文件不作要求。智能云服務(wù)為用戶提供以下各層能力：a)基礎(chǔ)設(shè)施能力：提供面向人工智能的基礎(chǔ)設(shè)施能力，進(jìn)行創(chuàng)建和管理人工智能算力集群，提交和調(diào)度任務(wù)，基于加速庫使用異構(gòu)計(jì)算資源（包括裸金屬、虛擬機(jī)、容器等），支撐人工智能負(fù)載運(yùn)行；b)模型開發(fā)能力：提供模型開發(fā)工具鏈，包括數(shù)據(jù)處理、模型構(gòu)建、模型管理、模型部署、模型推理、數(shù)據(jù)閉環(huán)等模型開發(fā)通用能力，和提示工程、指令調(diào)優(yōu)等大模型開發(fā)能力，以及MLOps、LMOps工作流，支撐人工智能模型在云端的訓(xùn)練、優(yōu)化、管理和部署；c)模型即服務(wù)能力：提供多種模型的云服務(wù)能力，包括計(jì)算機(jī)視覺類、語音類、自然語言處理類、多模態(tài)類等，滿足用戶在云端使用預(yù)訓(xùn)練好的模型；d)人工智能應(yīng)用開發(fā)能力：提供AI應(yīng)用開發(fā)工具鏈，包括開發(fā)環(huán)境、應(yīng)用開發(fā)框架、應(yīng)用組件、應(yīng)用模板、知識(shí)管理、應(yīng)用管理等，降低人工智能應(yīng)用開發(fā)門檻，提升人工智能應(yīng)用開發(fā)效率，支撐用戶在具體業(yè)務(wù)場(chǎng)景中應(yīng)用人工智能技術(shù)。GB/TXXXX-XXXX圖1智能云服務(wù)能力框架6基礎(chǔ)設(shè)施能力要求6.1資源6.1.1計(jì)算資源6.1.1.1裸金屬裸金屬要求包括：a)應(yīng)支持不同類型的人工智能加速處理器，包括GPU、ASIC、FPGA等；b)應(yīng)支持不同數(shù)量的人工智能加速處理器，如1卡、2卡、4卡、8卡等；c)應(yīng)支持神經(jīng)網(wǎng)絡(luò)計(jì)算，如卷積計(jì)算、向量計(jì)算、標(biāo)量計(jì)算等；d)應(yīng)支持人工智能加速處理器的多卡P2P通信；e)應(yīng)支持人工智能加速處理器間互聯(lián)，如采用CCIX、PCIe等互聯(lián)方式。6.1.1.2虛擬機(jī)虛擬機(jī)要求包括：a)應(yīng)支持不同類型的人工智能加速處理器，包括GPU、ASIC、FPGA等；4GB/TXXXX-XXXXb)應(yīng)支持不同數(shù)量的人工智能加速處理器，如1卡、2卡、4卡、8卡等；c)應(yīng)支持神經(jīng)網(wǎng)絡(luò)計(jì)算，如卷積計(jì)算、向量計(jì)算、標(biāo)量計(jì)算等；d)應(yīng)支持人工智能加速處理器在單卡分片模式下多實(shí)例間計(jì)算單元、顯存單元的隔離；e)宜支持人工智能加速處理器在單卡分片模式下多實(shí)例間編解碼的隔離；f)應(yīng)支持人工智能加速處理器的多卡P2P通信；g)應(yīng)支持人工智能加速處理器間互聯(lián)，如采用CCIX、PCIe等互聯(lián)方式。6.1.1.3容器容器要求包括：a)應(yīng)支持不同類型的人工智能加速處理器，包括GPU、ASIC、FPGA等；b)應(yīng)支持不同數(shù)量的人工智能加速處理器，如1卡、2卡、4卡、8卡等；c)應(yīng)支持神經(jīng)網(wǎng)絡(luò)計(jì)算，如卷積計(jì)算、向量計(jì)算、標(biāo)量計(jì)算等；d)應(yīng)支持人工智能加速處理器的多卡P2P通信；e)應(yīng)支持單卡和多卡人工智能加速處理器共享和隔離；f)宜支持函數(shù)計(jì)算。6.1.2存儲(chǔ)資源存儲(chǔ)資源要求包括：a)應(yīng)支持塊存儲(chǔ)服務(wù)；b)應(yīng)支持并行文件存儲(chǔ)服務(wù)；c)應(yīng)支持對(duì)象存儲(chǔ)服務(wù)；d)宜支持對(duì)象存儲(chǔ)數(shù)據(jù)掛載到并行文件存儲(chǔ)。6.1.3網(wǎng)絡(luò)資源網(wǎng)絡(luò)資源要求包括：a)計(jì)算節(jié)點(diǎn)間和容器間應(yīng)支持RDMA網(wǎng)絡(luò)，如采用InfiniBand、RoCE等網(wǎng)絡(luò)協(xié)議；注：計(jì)算節(jié)點(diǎn)包括裸金屬和虛擬機(jī)。b)應(yīng)支持多租戶間RDMA網(wǎng)絡(luò)隔離；c)應(yīng)支持多租戶間性能隔離,如帶寬隔離、包速率隔離等。6.2資源管理6.2.1計(jì)算資源管理6.2.1.1裸金屬管理裸金屬管理要求包括：a)應(yīng)支持對(duì)裸金屬的生命周期管理，如創(chuàng)建、連接、關(guān)機(jī)、啟動(dòng)、重啟、釋放等；b)應(yīng)提供多種人工智能加速處理器驅(qū)動(dòng)程序的操作系統(tǒng)鏡像；c)應(yīng)支持裸金屬變配，如調(diào)整掛載的顯卡數(shù)量。6.2.1.2虛擬機(jī)管理虛擬機(jī)管理要求包括：GB/TXXXX-XXXXa)應(yīng)支持對(duì)虛擬機(jī)的生命周期管理，如創(chuàng)建、刪除、啟動(dòng)、停止、暫停、恢復(fù)、重啟等；b)應(yīng)提供多種人工智能加速處理器驅(qū)動(dòng)程序的操作系統(tǒng)鏡像；c)應(yīng)支持虛擬機(jī)變配，如調(diào)整掛載的顯卡數(shù)量。6.2.1.3容器管理容器管理要求包括：a)應(yīng)支持容器的生命周期管理，如創(chuàng)建、刪除等；b)應(yīng)提供多種人工智能加速處理器驅(qū)動(dòng)程序的操作系統(tǒng)鏡像；c)應(yīng)支持容器變配，如調(diào)整掛載的顯卡數(shù)量。6.2.2存儲(chǔ)資源管理存儲(chǔ)資源管理要求包括：a)應(yīng)支持塊存儲(chǔ)的創(chuàng)建、刪除、權(quán)限管理、訪問和查詢；b)應(yīng)支持并行文件存儲(chǔ)的掛載、卸載、權(quán)限管理、訪問和查詢；c)應(yīng)支持對(duì)象存儲(chǔ)的創(chuàng)建、刪除、權(quán)限管理、訪問和查詢；d)宜支持對(duì)象存儲(chǔ)的掛載管理。6.2.3網(wǎng)絡(luò)資源管理網(wǎng)絡(luò)資源管理應(yīng)支持配置RDMA網(wǎng)絡(luò)隔離。6.2.4集群資源管理集群資源管理要求包括：a)應(yīng)支持集群生命周期管理，如集群創(chuàng)建、刪除等；b)應(yīng)支持集群節(jié)點(diǎn)手動(dòng)、自動(dòng)擴(kuò)縮容；c)應(yīng)支持多種計(jì)算資源類型的集群，如裸金屬集群、虛擬機(jī)集群、容器集群等。6.3加速6.3.1計(jì)算加速計(jì)算加速要求包括:a)應(yīng)支持基礎(chǔ)算子加速，如ElementWise類算子、Tensor與矩陣計(jì)算類算子、Tensor變換類算子、池化類算子等；b)應(yīng)支持融合算子加速，如ConvolutionBiasRelu等；c)宜支持多種開源模型的訓(xùn)練和推理加速，如LLaMA、GLM、Galactica等；d)宜支持采用多種異構(gòu)計(jì)算芯片進(jìn)行訓(xùn)練和推理加速；e)可提供自適應(yīng)并行工具，根據(jù)環(huán)境配置自動(dòng)匹配并行策略；f)可提供模型權(quán)重格式轉(zhuǎn)換與切分工具，在不同訓(xùn)練框架中對(duì)模型權(quán)重進(jìn)行格式轉(zhuǎn)換與切分。6.3.2存儲(chǔ)加速存儲(chǔ)加速要求包括：a)應(yīng)支持對(duì)接不同類型的數(shù)據(jù)源，如對(duì)象存儲(chǔ)、文件存儲(chǔ)、分布式文件系統(tǒng)等；b)應(yīng)支持多種緩存數(shù)據(jù)方式，如內(nèi)存緩存、磁盤緩存等；6GB/TXXXX-XXXXc)應(yīng)支持以層級(jí)命名空間訪問數(shù)據(jù)源；d)應(yīng)支持配置數(shù)據(jù)緩存策略，如動(dòng)態(tài)加載、預(yù)加載等；e)宜支持人工智能加速處理器讀寫數(shù)據(jù)；f)可提供檢查點(diǎn)異步加速工具，減少檢查點(diǎn)存儲(chǔ)寫入時(shí)間。6.3.3通信加速通信加速要求包括：a)應(yīng)支持集合通信的語義，如send、recv、all-gather、allreduce、alltoall等；b)應(yīng)支持節(jié)點(diǎn)內(nèi)的拓?fù)涓兄?；c)應(yīng)支持節(jié)點(diǎn)間的拓?fù)涓兄?；d)應(yīng)支持感知網(wǎng)絡(luò)慢速的節(jié)點(diǎn)；e)宜支持通信算子卸載到硬件（如交換機(jī)、智能網(wǎng)卡等）。6.4任務(wù)管理和調(diào)度6.4.1任務(wù)管理任務(wù)管理要求包括：a)應(yīng)支持任務(wù)生命周期管理，如創(chuàng)建、刪除、啟動(dòng)、暫停、恢復(fù)等；b)應(yīng)支持多種任務(wù)提交方式，如命令行、控制臺(tái)、API等；c)應(yīng)支持多種類型的任務(wù)，包括訓(xùn)練任務(wù)、推理任務(wù)等；d)應(yīng)支持多種場(chǎng)景的任務(wù)資源配額配置；e)應(yīng)支持查看任務(wù)信息，如運(yùn)行狀態(tài)信息、監(jiān)控和日志信息等；f)應(yīng)支持任務(wù)使用計(jì)算資源的彈性擴(kuò)縮容；g)可支持多層級(jí)資源配額設(shè)置。6.4.2任務(wù)調(diào)度任務(wù)調(diào)度要求包括：a)應(yīng)支持拓?fù)涓兄{(diào)度,如人工智能加速處理器間拓?fù)涓兄{(diào)度、節(jié)點(diǎn)間網(wǎng)絡(luò)拓?fù)涓兄{(diào)度等；b)應(yīng)支持同一任務(wù)中多個(gè)實(shí)例的資源批量調(diào)度；c)應(yīng)支持按人工智能加速處理器的類型調(diào)度；d)應(yīng)支持共享與獨(dú)占任務(wù)調(diào)度；e)應(yīng)支持任務(wù)優(yōu)先級(jí)調(diào)度；f)應(yīng)支持搶占式調(diào)度，如隊(duì)列內(nèi)搶占、隊(duì)列間搶占等；g)應(yīng)支持任務(wù)調(diào)度時(shí)，本隊(duì)列在資源不足時(shí)向其他隊(duì)列借用資源；h)應(yīng)支持多種調(diào)度策略，如Binpack、Spread等；i)宜支持訓(xùn)練與推理任務(wù)混合調(diào)度；j)宜支持單一任務(wù)同時(shí)調(diào)度多種人工智能加速處理器進(jìn)行混合訓(xùn)練。6.4.3任務(wù)容錯(cuò)任務(wù)容錯(cuò)要求包括：a)應(yīng)支持多種故障判斷，如任務(wù)異常退出、假死等；b)應(yīng)支持多種任務(wù)恢復(fù)方式，如本地重啟恢復(fù)、自動(dòng)重調(diào)度恢復(fù)等。7GB/TXXXX-XXXX7模型開發(fā)能力要求7.1數(shù)據(jù)處理7.1.1數(shù)據(jù)接入數(shù)據(jù)接入要求包括：a)應(yīng)支持接入多種來源的數(shù)據(jù)，如塊存儲(chǔ)、文件存儲(chǔ)和對(duì)象存儲(chǔ)等；b)應(yīng)支持接入結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，如csv、tsv、txt、parquet等數(shù)據(jù)類型；c)應(yīng)支持接入非結(jié)構(gòu)化數(shù)據(jù)，包括圖片、語音、文本等數(shù)據(jù)類型；d)應(yīng)支持接入壓縮包文件；e)宜支持周期性接入數(shù)據(jù)，如按照設(shè)置的時(shí)間間隔定期接入數(shù)據(jù)等；f)宜支持接入加密數(shù)據(jù)/數(shù)據(jù)集。7.1.2數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理要求包括:a)應(yīng)支持結(jié)構(gòu)化數(shù)據(jù)的清洗，如數(shù)據(jù)拆分、異常值檢測(cè)、缺失值填充等；b)應(yīng)支持非結(jié)構(gòu)化數(shù)據(jù)的清洗，根據(jù)特定規(guī)則剔除不符合要求的非結(jié)構(gòu)化數(shù)據(jù)，如內(nèi)容去重等；c)應(yīng)支持自定義數(shù)據(jù)預(yù)處理功能，如用戶自定義預(yù)處理算法等；d)宜支持自動(dòng)預(yù)處理。7.1.3數(shù)據(jù)標(biāo)注數(shù)據(jù)標(biāo)注要求包括：a)應(yīng)支持多種文本類數(shù)據(jù)標(biāo)注工具或模板，如文本分類、命名實(shí)體等；b)應(yīng)支持多種圖片類數(shù)據(jù)標(biāo)注工具或模板，如圖像分類、目標(biāo)檢測(cè)、OCR等；c)應(yīng)支持多種音頻類數(shù)據(jù)標(biāo)注工具或模板，如聲音分類等；d)應(yīng)支持多種視頻類數(shù)據(jù)標(biāo)注工具或模板，如視頻分類等；e)應(yīng)支持多種表格類數(shù)據(jù)標(biāo)注工具或模板，如時(shí)序、結(jié)構(gòu)化表格數(shù)據(jù)等；f)應(yīng)支持對(duì)標(biāo)注標(biāo)簽、標(biāo)注屬性等標(biāo)注信息的管理，如編輯、刪除和查詢等；g)應(yīng)支持可視化標(biāo)注，標(biāo)注信息在原始數(shù)據(jù)直觀呈現(xiàn)；h)應(yīng)支持團(tuán)隊(duì)標(biāo)注的管理，如任務(wù)管理、人員管理等；i)應(yīng)支持標(biāo)注評(píng)估或質(zhì)檢，如評(píng)估標(biāo)注的準(zhǔn)確性、有效性等；j)應(yīng)支持對(duì)標(biāo)注數(shù)據(jù)、標(biāo)簽等標(biāo)注結(jié)果導(dǎo)出；k)宜支持智能標(biāo)注，如調(diào)用算法或外部服務(wù)自動(dòng)標(biāo)注數(shù)據(jù)、通過訓(xùn)練算法自動(dòng)標(biāo)注等。7.1.4數(shù)據(jù)管理數(shù)據(jù)管理要求包括:a)應(yīng)支持?jǐn)?shù)據(jù)集的生命周期管理，如創(chuàng)建、刪除、導(dǎo)入、導(dǎo)出、發(fā)布等；b)應(yīng)支持統(tǒng)一管理圖片、文本、音頻、視頻、表格等類型數(shù)據(jù)；c)應(yīng)支持有標(biāo)注數(shù)據(jù)和無標(biāo)注數(shù)據(jù)的導(dǎo)入、導(dǎo)出、查看；d)應(yīng)支持?jǐn)?shù)據(jù)集信息的展示和查詢，如原始數(shù)據(jù)、數(shù)據(jù)標(biāo)注信息、標(biāo)簽信息等；e)應(yīng)支持?jǐn)?shù)據(jù)集的管理，如權(quán)限管理、版本管理等；8GB/TXXXX-XXXXf)應(yīng)支持?jǐn)?shù)據(jù)集的共享。7.1.5數(shù)據(jù)分析數(shù)據(jù)分析要求包括：a)應(yīng)支持結(jié)構(gòu)化數(shù)據(jù)的預(yù)覽；b)應(yīng)支持非結(jié)構(gòu)化數(shù)據(jù)的預(yù)覽，如文本、圖片、視頻、音頻等類型數(shù)據(jù)；c)應(yīng)支持?jǐn)?shù)據(jù)集的分析，如數(shù)據(jù)集的統(tǒng)計(jì)特征分析、質(zhì)量特征分析等；d)應(yīng)支持?jǐn)?shù)據(jù)分析的可視化，如數(shù)據(jù)分布可視化、標(biāo)簽分布可視化等；e)宜支持?jǐn)?shù)據(jù)集重構(gòu)，如通過清洗、集合、填充、過濾等操作形成新的數(shù)據(jù)集；f)宜支持多種維度的數(shù)據(jù)質(zhì)檢，如樣本的數(shù)量、完整度、分布等。7.1.6數(shù)據(jù)增強(qiáng)數(shù)據(jù)增強(qiáng)要求包括：a)應(yīng)支持文本類數(shù)據(jù)的多種數(shù)據(jù)增強(qiáng)策略，如回譯、同義詞替換、非核心詞替換、基于生成對(duì)抗網(wǎng)絡(luò)的文本增強(qiáng)等；b)應(yīng)支持圖片類數(shù)據(jù)的多種數(shù)據(jù)增強(qiáng)策略，如幾何變換、扭曲圖像、加噪聲、色彩抖動(dòng)、調(diào)整亮度、調(diào)整對(duì)比度、基于生成對(duì)抗網(wǎng)絡(luò)的圖片增強(qiáng)等；c)宜支持音頻類數(shù)據(jù)的多種數(shù)據(jù)增強(qiáng)策略，如加噪聲、調(diào)整音量、調(diào)整混響等時(shí)域增強(qiáng)策略，或調(diào)整音高、調(diào)整播放速度、頻譜交換等頻域增強(qiáng)策略；d)可支持多種類型數(shù)據(jù)的自動(dòng)增強(qiáng)，如文本類數(shù)據(jù)、圖片類數(shù)據(jù)、音頻類、視頻類、表格類數(shù)據(jù)等；e)可支持對(duì)指令數(shù)據(jù)集和多輪會(huì)話數(shù)據(jù)集的數(shù)據(jù)擴(kuò)充和增強(qiáng)；f)可支持對(duì)提示詞數(shù)據(jù)集的轉(zhuǎn)換和增強(qiáng)。7.2模型構(gòu)建7.2.1算法倉庫算法倉庫要求包括：a)應(yīng)支持多種機(jī)器學(xué)習(xí)算法的存儲(chǔ)和查詢，如分類、回歸、聚類等；b)應(yīng)支持多種深度學(xué)習(xí)算法的存儲(chǔ)和查詢，如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等；c)應(yīng)支持多種計(jì)算機(jī)視覺類算法的存儲(chǔ)和查詢，如目標(biāo)檢測(cè)、圖像分類、文字識(shí)別等；d)應(yīng)支持多種語音類算法的存儲(chǔ)和查詢，如聲音分類等；e)應(yīng)支持多種自然語言處理類算法的存儲(chǔ)和查詢，如文本分類、文本實(shí)體抽取、情感分析等；f)應(yīng)支持自定義算法的存儲(chǔ)和查詢，如自定義名稱、唯一標(biāo)識(shí)、算法組件等；g)宜支持遷移學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等算法的存儲(chǔ)和查詢；h)宜支持時(shí)序狀態(tài)數(shù)據(jù)處理算法的存儲(chǔ)和查詢，如時(shí)序預(yù)測(cè)等。7.2.2算法管理算法管理要求包括：a)應(yīng)支持算法的生命周期管理，如設(shè)計(jì)、開發(fā)、測(cè)試、部署等；b)應(yīng)支持算法的版本管理，如版本號(hào)管理、版本發(fā)布等；c)應(yīng)提供算法相關(guān)信息（如算法效果、性能等）的說明；GB/TXXXX-XXXXd)宜支持管理同一算法的多種語言版本或運(yùn)行環(huán)境；e)宜提供算法適用場(chǎng)景的使用示例和說明。7.2.3特征工程特征工程要求包括:a)應(yīng)提供特征提取，如按照給定的定義提取特征；b)應(yīng)支持多種特征選擇方式，如Gini增益、信息增益、信息值等；c)應(yīng)支持特征組合，如將多個(gè)特征組織組合或衍生為新的特征等；d)應(yīng)支持特征轉(zhuǎn)換，如數(shù)據(jù)歸一化、標(biāo)準(zhǔn)化、分箱、數(shù)值替換等；e)應(yīng)支持?jǐn)?shù)據(jù)降維，如主成分分析、線性判別分析等；f)宜支持自定義特征工程方法；g)宜支持特征分析可視化，如特征指標(biāo)的圖表可視化等；h)宜支持特征異常評(píng)估，如基于統(tǒng)計(jì)方法、距離方法或譜方法等方法進(jìn)行異常點(diǎn)檢測(cè)；i)宜支持特征庫的管理，如特征存儲(chǔ)、分享、特征庫接入等；j)宜支持多種自動(dòng)特征工程，如自動(dòng)特征選擇、自動(dòng)特征衍生等。7.2.4開發(fā)環(huán)境開發(fā)環(huán)境要求包括：a)應(yīng)支持交互式編碼環(huán)境，如Notebook；b)應(yīng)支持對(duì)代碼的增加、刪除、修改和查看；c)應(yīng)支持線上IDE環(huán)境，如集成WebVSCode；d)應(yīng)支持多種機(jī)器學(xué)習(xí)框架，如Scikit-learn、XGBoost等；e)應(yīng)支持多種深度學(xué)習(xí)框架；f)應(yīng)支持開發(fā)環(huán)境的管理，如增加、刪除、查看、修改等；g)宜支持自定義開發(fā)環(huán)境，如以鏡像方式提供自定義的開發(fā)環(huán)境。7.2.5模型訓(xùn)練模型訓(xùn)練要求包括：a)應(yīng)支持單機(jī)多卡、多機(jī)多卡和跨地域多節(jié)點(diǎn)等分布式訓(xùn)練；b)應(yīng)支持配置訓(xùn)練資源，如CPU核數(shù)、GPU個(gè)數(shù)、內(nèi)存、GPU顯存等；c)應(yīng)支持自定義訓(xùn)練參數(shù)，如算法參數(shù)、運(yùn)行參數(shù)、訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)等；d)應(yīng)支持訓(xùn)練任務(wù)的生命周期管理，如創(chuàng)建、開啟、終止、刪除、重啟等；e)應(yīng)支持對(duì)訓(xùn)練任務(wù)的狀態(tài)進(jìn)行定時(shí)檢查點(diǎn)保存；f)應(yīng)支持查看訓(xùn)練任務(wù)的信息，如訓(xùn)練狀態(tài)、訓(xùn)練進(jìn)度、訓(xùn)練結(jié)果、訓(xùn)練失敗原因等；g)應(yīng)支持多種模型再訓(xùn)練方式，如基于預(yù)訓(xùn)練模型微調(diào)、算法選擇和參數(shù)調(diào)優(yōu)等；h)應(yīng)支持模型訓(xùn)練過程的可視化，如訓(xùn)練參數(shù)、訓(xùn)練指標(biāo)、模型圖的可視化；i)宜支持自定義代碼的模型訓(xùn)練，如上傳Notebook的ipynb文件等；j)宜提供自動(dòng)調(diào)參工具，根據(jù)模型及數(shù)據(jù)量自動(dòng)設(shè)定參數(shù)；k)宜支持人工智能加速處理器單卡虛擬化后多模型訓(xùn)練方式；l)宜支持對(duì)大規(guī)模無監(jiān)督數(shù)據(jù)的預(yù)訓(xùn)練任務(wù)，如千億規(guī)模語言模型的預(yù)訓(xùn)練。7.2.6模型調(diào)優(yōu)GB/TXXXX-XXXX模型調(diào)優(yōu)要求包括:a)應(yīng)支持機(jī)器學(xué)習(xí)類模型的效果和性能調(diào)優(yōu)，如分類模型、聚類模型、回歸模型、序列預(yù)測(cè)模型等；b)應(yīng)支持生成類模型調(diào)優(yōu)評(píng)估，對(duì)模型效果進(jìn)行對(duì)比；c)應(yīng)支持增加、刪除或修正訓(xùn)練數(shù)據(jù)集樣本，實(shí)現(xiàn)模型調(diào)優(yōu)和效果對(duì)比；d)應(yīng)支持設(shè)置多種模型超參數(shù)實(shí)現(xiàn)模型調(diào)優(yōu)和效果對(duì)比，如全量數(shù)據(jù)迭代數(shù)、批量樣本數(shù)量等；e)應(yīng)支持多種自動(dòng)模型調(diào)優(yōu)和效果對(duì)比的策略，如EarlyStopping方法、超參網(wǎng)格搜索等；f)宜支持異常樣本檢測(cè)，如通過修正數(shù)據(jù)標(biāo)簽、挖掘潛在噪聲樣本等優(yōu)化模型進(jìn)行檢測(cè)；g)宜支持設(shè)置模型權(quán)重，實(shí)現(xiàn)模型調(diào)優(yōu)和效果對(duì)比，如boosting模式等；h)宜支持通過編輯神經(jīng)網(wǎng)絡(luò)層結(jié)構(gòu)實(shí)現(xiàn)模型調(diào)優(yōu)和效果對(duì)比，如隱藏層節(jié)點(diǎn)數(shù)、數(shù)據(jù)塊大小、優(yōu)化方法等；i)宜支持生成式模型的有監(jiān)督精調(diào)、DPO對(duì)齊等優(yōu)化方法；7.3模型管理7.3.1模型倉庫模型倉庫要求包括：a)應(yīng)支持模型倉庫的管理和配置，如模型存儲(chǔ)、模型版本控制等；b)應(yīng)支持多種模型文件格式，如pdparams、infer.model、lite、onnx、ckpt、pth等；c)應(yīng)支持對(duì)模型文件的管理，如導(dǎo)入/導(dǎo)出、刪除、排序、分類等；d)應(yīng)支持模型文件的格式轉(zhuǎn)化，如以O(shè)NNX模型格式為中介進(jìn)行格式轉(zhuǎn)換；e)應(yīng)支持模型可視化，如模型結(jié)構(gòu)、網(wǎng)絡(luò)層級(jí)、網(wǎng)絡(luò)權(quán)重等的可視化；f)應(yīng)支持多種模型部署及測(cè)試策略，如滾動(dòng)更新、灰度測(cè)試、A/B測(cè)試等；g)應(yīng)支持面向業(yè)務(wù)場(chǎng)景的多模型編排；h)應(yīng)支持查看模型部署的信息，如部署狀態(tài)、失敗信息、日志等；i)宜支持可視化的模型編排交互方式；j)宜支持模型熱更新，如根據(jù)模型評(píng)估結(jié)果更新模型版本；k)宜支持模型信息溯源，如查看模型與數(shù)據(jù)集、算法間的關(guān)系等。7.3.2模型適配模型適配要求包括：a)應(yīng)支持用戶自定義推理服務(wù)使用的資源規(guī)格，如計(jì)算資源類型、資源數(shù)量等；b)應(yīng)支持模型的不同操作系統(tǒng)、依賴環(huán)境和容器環(huán)境適配；c)宜支持模型壓縮，如模型量化、模型剪枝、模型蒸餾、自動(dòng)加速等；d)宜支持模型與云端、邊緣端、終端等多種基礎(chǔ)設(shè)施適配。注：云端指云服務(wù)系統(tǒng)環(huán)境，終端指客戶端系統(tǒng)環(huán)境，邊緣端指介于云端和終端之間，與兩者相互通信的服務(wù)節(jié)7.3.3模型加速模型加速要求包括：a)應(yīng)支持對(duì)多種類型的模型進(jìn)行加速，如計(jì)算機(jī)視覺類、語音類、自然語言處理類、多模態(tài)類；b)應(yīng)支持多種機(jī)器學(xué)習(xí)或深度學(xué)習(xí)框架的模型加速；GB/TXXXX-XXXXc)應(yīng)支持多種模型加速策略，如量化壓縮、多種機(jī)器學(xué)習(xí)或深度學(xué)習(xí)框架間的轉(zhuǎn)換、模型蒸餾、模型剪枝、模型網(wǎng)絡(luò)精簡(jiǎn)等；d)應(yīng)支持適配多種架構(gòu)的人工智能模型推理加速庫的模型加速，如x86、ARM等；e)應(yīng)支持查看模型加速任務(wù)詳情，如加速狀態(tài)、任務(wù)日志、自動(dòng)評(píng)估結(jié)果等；f)宜支持模型加速評(píng)估，對(duì)比加速前后模型的效果、性能；g)宜支持面向請(qǐng)求特征的加速策略，如對(duì)流式序列生成的加速等；h)宜支持面向模型算子與人工智能加速處理器I/O特性結(jié)合的加速策略，如FlashAttention、PagedAttention等。7.3.4模型評(píng)估模型評(píng)估要求包括：a)應(yīng)支持模型效果評(píng)估，如準(zhǔn)確率、召回率、F1分?jǐn)?shù)、mAP等；b)應(yīng)支持模型性能評(píng)估，如CPU占用率、功耗、顯存占用率、推理時(shí)延等；c)應(yīng)支持多種類型的模型評(píng)估，如計(jì)算機(jī)視覺類、語音類、自然語言處理類、多模態(tài)類等；d)應(yīng)支持配置模型評(píng)估環(huán)境，如數(shù)據(jù)集、CPU、人工智能加速處理器、操作系統(tǒng)等；e)應(yīng)支持展示模型評(píng)估任務(wù)信息，如任務(wù)名稱、狀態(tài)、模型類型等信息；f)宜支持模型可解釋性評(píng)估，如PDP、特征重要性等；g)宜支持模型評(píng)估信息可視化，如模型效果指標(biāo)、模型性能指標(biāo)、評(píng)估環(huán)境配置信息等；h)宜支持多模型間的效果對(duì)比評(píng)估。7.3.5資產(chǎn)管理模型相關(guān)資產(chǎn)管理要求包括：a)應(yīng)支持模型相關(guān)資產(chǎn)的生命周期管理，如訂閱、發(fā)布、上架、下架等；b)應(yīng)支持模型相關(guān)資產(chǎn)的權(quán)限配置，如讀寫、增加、刪除、更新等權(quán)限；c)宜支持模型相關(guān)資產(chǎn)的關(guān)聯(lián)使用；d)宜支持模型相關(guān)資產(chǎn)的共享；注：模型相關(guān)資產(chǎn)指數(shù)據(jù)、模型代碼、配置等具有知識(shí)產(chǎn)權(quán)的數(shù)字化要素。7.4模型部署7.4.1云端部署云端部署要求包括：a)應(yīng)支持模型服務(wù)的生命周期管理，如啟動(dòng)、停止、測(cè)試等；b)應(yīng)支持模型服務(wù)的模型信息查詢及展示，如模型信息、推理方式、推理狀態(tài)等；c)應(yīng)支持模型服務(wù)的接口信息查詢及展示，如版本、實(shí)例數(shù)、接口格式等；d)應(yīng)支持模型服務(wù)的狀態(tài)信息查詢及展示，如運(yùn)行狀態(tài)、調(diào)用量、調(diào)用成功率等；e)應(yīng)支持部署多種人工智能模型推理加速庫和面向硬件適配的推理加速庫；f)應(yīng)支持自定義模型服務(wù)使用的資源規(guī)格，如計(jì)算資源類型、資源數(shù)量等；g)應(yīng)支持模型服務(wù)的手動(dòng)資源調(diào)度；h)宜支持模型服務(wù)的自動(dòng)資源調(diào)度，如按CPU占比、內(nèi)存占比、顯存占比等自定義策略進(jìn)行自動(dòng)擴(kuò)縮容；i)宜支持多模型動(dòng)態(tài)編排；GB/TXXXX-XXXXj)宜支持A/B測(cè)試，如按照不同分組策略對(duì)不同版本的服務(wù)流量進(jìn)行精準(zhǔn)分配和統(tǒng)計(jì)分析。7.4.2云邊端協(xié)同部署云邊端協(xié)同部署要求包括：a)應(yīng)支持邊緣端的模型部署，如邊緣服務(wù)器、邊緣一體機(jī)及邊緣智算盒等；b)應(yīng)支持部署云邊協(xié)同的模型服務(wù)，如云端向邊緣端、終端設(shè)備下發(fā)和更新模型服務(wù)；c)應(yīng)支持邊緣端的推理數(shù)據(jù)及日志等記錄回流云端；d)應(yīng)支持模型的多種異構(gòu)芯片云端和邊緣端部署，如CPU、GPU、ASIC等；e)宜支持模型的多種操作系統(tǒng)云端和邊緣端部署，如Linux、Windows；f)宜支持模型的多種異構(gòu)硬件終端部署，如CPU、GPU、FPGA開發(fā)板等；g)宜支持模型的多種操作系統(tǒng)終端部署，如Windows、Android。7.5模型推理模型推理要求包括：a)應(yīng)支持判別式模型的推理，如文本分類、目標(biāo)檢測(cè)等；b)應(yīng)支持生成式模型的推理，如文本續(xù)寫、問答、摘要、文生圖等；c)應(yīng)支持對(duì)模型推理服務(wù)的狀態(tài)查詢和展示，如內(nèi)存、顯存、I/O等指標(biāo)；d)應(yīng)支持保障數(shù)據(jù)隱私和安全的模型推理，如對(duì)請(qǐng)求數(shù)據(jù)加密等；e)宜支持流式推理；f)宜支持多模態(tài)模型推理；g)宜支持分布式高可用推理；h)宜支持離線批量推理。7.6數(shù)據(jù)閉環(huán)數(shù)據(jù)閉環(huán)要求包括：a)應(yīng)支持對(duì)模型請(qǐng)求數(shù)據(jù)日志和業(yè)務(wù)操作日志的管理，如對(duì)原始請(qǐng)求輸入和模型輸出數(shù)據(jù)及鏈路日志的查詢、存儲(chǔ)檢索等；b)應(yīng)支持對(duì)調(diào)用請(qǐng)求數(shù)據(jù)的分析篩選，如失敗案例提取、日志分析等；c)應(yīng)支持請(qǐng)求數(shù)據(jù)和日志篩選結(jié)果與訓(xùn)練數(shù)據(jù)對(duì)接；d)應(yīng)支持?jǐn)?shù)據(jù)加密、脫敏等安全策略；e)宜支持多維度的請(qǐng)求數(shù)據(jù)和調(diào)用日志管理，如時(shí)間維度、業(yè)務(wù)應(yīng)用維度等；f)宜支持定制的打點(diǎn)采集，如采集用戶對(duì)模型返回結(jié)果評(píng)價(jià)等；g)宜支持對(duì)請(qǐng)求數(shù)據(jù)日志和業(yè)務(wù)操作日志運(yùn)行自定義腳本，如執(zhí)行定時(shí)腳本等。7.7大模型提示工程大模型提示工程要求包括：a)應(yīng)具備提示模板庫進(jìn)行提示管理及可視化展示，如增刪改查、存儲(chǔ)檢索和調(diào)用、分類管理等；b)應(yīng)支持提示評(píng)估，通過評(píng)估模型對(duì)不同提示的響應(yīng)質(zhì)量，持續(xù)反饋和迭代改進(jìn)提示語；c)應(yīng)支持根據(jù)歷史記錄生產(chǎn)新的提示詞；d)應(yīng)支持提示模板定制開發(fā)、管理及可視化；e)應(yīng)支持提示模板可解釋，如添加注釋、說明、示例等；GB/TXXXX-XXXXf)宜支持提示增強(qiáng)，如思維鏈提示等；g)宜支持提示自動(dòng)優(yōu)化；h)宜支持多模態(tài)提示設(shè)計(jì)，如文本、圖像或音視頻等；i)宜支持個(gè)性化提示和專用提示庫，如根據(jù)用戶需求、行為特征等提供個(gè)性化提示；j)宜支持提示模板的分享、評(píng)價(jià)。7.8大模型指令調(diào)優(yōu)大模型指令調(diào)優(yōu)要求包括：a)應(yīng)具備指令庫支持指令集管理，如指令的增刪改查、存儲(chǔ)檢索等；b)應(yīng)支持對(duì)單輪格式的指令數(shù)據(jù)集進(jìn)行模型效果調(diào)優(yōu)；c)應(yīng)支持不同模型間指令格式的自動(dòng)轉(zhuǎn)換；d)應(yīng)支持指令調(diào)優(yōu)過程中配置超參數(shù)，如學(xué)習(xí)率、BatchSize等；e)應(yīng)支持指令集對(duì)應(yīng)的評(píng)估集管理，如評(píng)估數(shù)據(jù)、指標(biāo)和指標(biāo)計(jì)算腳本等；f)宜支持對(duì)指令數(shù)據(jù)集的增強(qiáng)，如指令數(shù)據(jù)清洗、自動(dòng)擴(kuò)增等；g)宜支持按應(yīng)用場(chǎng)景分類的多種預(yù)置指令數(shù)據(jù)集；h)宜支持對(duì)多輪格式的指令數(shù)據(jù)集進(jìn)行模型效果調(diào)優(yōu)；i)宜支持多模態(tài)的指令數(shù)據(jù)集。7.9MLOps工作流MLOps工作流要求包括：a)應(yīng)支持工作流的生命周期管理，如創(chuàng)建、停止、刪除等；b)應(yīng)支持多種工作流編排方式，如可視化編排、代碼編排等；c)應(yīng)支持模型開發(fā)全流程工作流，包含數(shù)據(jù)處理、模型構(gòu)建、模型管理、模型部署等；d)宜支持定制化執(zhí)行工作流節(jié)點(diǎn)，如一鍵運(yùn)行、定時(shí)執(zhí)行、信號(hào)文件觸發(fā)執(zhí)行等；e)宜支持自定義工作流算子；f)宜支持工作流執(zhí)行實(shí)例的對(duì)比，如對(duì)比同一任務(wù)在不同工作流實(shí)例中的模型性能、模型效果g)宜提供工作流模板，如模型訓(xùn)練、模型評(píng)估、模型發(fā)布等服務(wù)流程的模板；h)宜支持自動(dòng)化工作流，如模型的自動(dòng)化訓(xùn)練、服務(wù)自動(dòng)化發(fā)布、漂移監(jiān)控；i)宜提供自動(dòng)化工作流的案例模版，便于用戶學(xué)習(xí)和使用MLOps工作流。7.10LMOps工作流LMOps工作流要求包括：a)應(yīng)符合7.9中的MLOps工作流要求；b)應(yīng)支持將大模型的提示工程作為工作流節(jié)點(diǎn)，使工作流具備如提示模板、提示詞調(diào)試環(huán)境等能力；c)應(yīng)支持將大模型的指令調(diào)優(yōu)作為工作流節(jié)點(diǎn)，使工作流具備如全量參數(shù)SFT、部分參數(shù)高效率調(diào)優(yōu)LoRA等能力；d)宜支持將大模型生成內(nèi)容作為工作流節(jié)點(diǎn)，使工作流具備如RLHF、DPO等能力；e)宜支持將大模型效果評(píng)估作為工作流節(jié)點(diǎn)，使工作流具備如針對(duì)大模型的多種基準(zhǔn)評(píng)估數(shù)據(jù)集、多種基準(zhǔn)評(píng)估指標(biāo)、多種效果評(píng)估方法等效果評(píng)估能力。GB/TXXXX-XXXX8模型服務(wù)能力要求8.1計(jì)算機(jī)視覺類計(jì)算機(jī)視覺類模型服務(wù)能力要求包括:a)應(yīng)提供計(jì)算機(jī)視覺類模型服務(wù)，如圖像識(shí)別、文字識(shí)別、人臉與人體識(shí)別、圖像搜索、圖像內(nèi)容安全、圖像增強(qiáng)與生成、視頻內(nèi)容分析等；b)宜提供圖像識(shí)別服務(wù)；c)宜提供文字識(shí)別服務(wù)；d)宜提供人臉與人體識(shí)別服務(wù)；e)宜提供圖像搜索服務(wù)；f)宜提供圖像內(nèi)容安全服務(wù)；g)宜提供圖像增強(qiáng)與生成服務(wù)；h)宜提供視頻內(nèi)容分析服務(wù)；i)宜支持處理多種內(nèi)容形態(tài)，如圖片、視頻文件、視頻流等；j)宜支持多種服務(wù)形式，如在線、離線等；k)宜支持自定義計(jì)算機(jī)視覺類模型，定制調(diào)優(yōu)模型效果，如自定義圖像檢索底庫、自定義人臉庫、自定義細(xì)粒度圖像識(shí)別標(biāo)簽、自定義文字識(shí)別模板、自定義圖像審核黑白名單等；l)宜提供包括規(guī)范漢字在內(nèi)的不少于5種語言文字的計(jì)算機(jī)視覺類模型服務(wù)。8.2語音類語音類模型服務(wù)能力要求包括：a)應(yīng)提供語音類模型服務(wù)，如語音識(shí)別、語音合成、語音轉(zhuǎn)寫、語音喚醒、語音實(shí)時(shí)翻譯等；b)宜提供語音識(shí)別服務(wù)；c)宜提供語音合成服務(wù)；d)宜提供語音轉(zhuǎn)寫服務(wù)；e)宜提供語音喚醒服務(wù)；f)宜提供語音實(shí)時(shí)翻譯服務(wù)；g)宜支持處理多種內(nèi)容形態(tài)，如音頻文件、音頻流等；h)宜支持多種服務(wù)形式，如在線、離線等；i)宜支持自定義語音類模型，定制調(diào)優(yōu)模型效果，如自訓(xùn)練語音模型、自定義語音合成的語速/音調(diào)/音量等；j)宜提供包括規(guī)范漢字在內(nèi)的不少于2種語言文字的語音類模型服務(wù)。8.3自然語言處理類自然語言處理類模型服務(wù)能力要求包括：a)應(yīng)提供自然語言處理類模型服務(wù)，如語言理解、語言生成、機(jī)器翻譯等；b)宜提供語言理解服務(wù)；c)宜提供語言生成服務(wù)；d)宜提供機(jī)器翻譯服務(wù)；e)宜支持多種內(nèi)容形態(tài)的處理，如關(guān)鍵詞、文章、文本、文件等；f)宜支持多種服務(wù)形式，如在線、離線等；GB/TXXXX-XXXXg)應(yīng)支持自定義語言類模型，定制調(diào)優(yōu)模型效果，如自定義專有詞表、自訓(xùn)練文本分類、定制情感傾向分析、定制翻譯語料訓(xùn)練等。8.4多模態(tài)類多模態(tài)類模型服務(wù)能力要求包括：a)宜提供包括圖像、語音、文本類等多種模態(tài)混合的模型服務(wù)，如文生圖、文生視頻、圖生視頻等服務(wù)；b)應(yīng)支持生成類模型的參數(shù)或詞表配置，如提示模板、temperature、topK、安全模塊等。9人工智能應(yīng)用開發(fā)能力要求9.1開發(fā)環(huán)境開發(fā)環(huán)境要求包括：a)應(yīng)支持開發(fā)環(huán)境的鏡像，如應(yīng)用開發(fā)框架、應(yīng)用組件和應(yīng)用配置模板；b)宜支持云上IDE，具備不少于2種代碼編輯器，并提供內(nèi)置的開發(fā)鏡像。9.2應(yīng)用開發(fā)框架應(yīng)用開發(fā)框架要求包括：a)應(yīng)支持記憶存儲(chǔ)、智能體編排、多輪對(duì)話、函數(shù)調(diào)用等能力；b)應(yīng)兼容多種開發(fā)工具，如langchain、PromptFlow、LlamaIndex等；c)應(yīng)支持多種應(yīng)用配置，如配置描述、角色指令、組件、知識(shí)庫、推薦問等；d)應(yīng)提供應(yīng)用的