人工智能 預(yù)訓(xùn)練模型 第1部分：要求 征求意見稿

1GB/TXXXXX—XXXX人工智能預(yù)訓(xùn)練模型第1部分：通用要求本文件定義制備或使用預(yù)訓(xùn)練模型的參考架構(gòu)，描述了相關(guān)方及其活動(dòng)，并規(guī)定了預(yù)訓(xùn)練模型的通用技術(shù)要求。本文件適用于預(yù)訓(xùn)練模型的研究、制備、開發(fā)、部署和應(yīng)用。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語(yǔ)3術(shù)語(yǔ)和定義GB/T41867—2022界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1預(yù)訓(xùn)練模型pre-trainedmodel一種在廣泛領(lǐng)域數(shù)據(jù)集上訓(xùn)練得到的，供以專門領(lǐng)域數(shù)據(jù)微調(diào)，來(lái)滿足場(chǎng)景任務(wù)需求的深度學(xué)習(xí)模注：按訓(xùn)練數(shù)據(jù)模態(tài)，預(yù)訓(xùn)練模型一般相應(yīng)體現(xiàn)出對(duì)文本、圖像、音頻或視頻等模態(tài)任3.2預(yù)訓(xùn)練模型服務(wù)pre-trainedmodelservice通過(guò)應(yīng)用預(yù)訓(xùn)練模型為用戶提供價(jià)值的方法。[來(lái)源：ISO/IEC20000-1:2018,3.2.15，有修改]3.3作業(yè)job一個(gè)可被測(cè)試系統(tǒng)執(zhí)行的基本測(cè)試單元。[來(lái)源：ISO/IEC25023:2016，4.3，有修改]3.4任務(wù)task2GB/TXXXXX—XXXX被調(diào)度的訓(xùn)練或推理對(duì)象。3.5微調(diào)fine-tuning為提升人工智能模型的預(yù)測(cè)精確度，一種先以大型廣泛領(lǐng)域數(shù)據(jù)集訓(xùn)練，再以專門領(lǐng)域數(shù)據(jù)集繼續(xù)訓(xùn)練的附加訓(xùn)練技術(shù)。[來(lái)源：GB/T41867:2022，3.2.31，有修改]3.6提示語(yǔ)prompt使用預(yù)訓(xùn)練模型進(jìn)行微調(diào)或下游任務(wù)處理時(shí)，插入到輸入樣本中的指令或信息對(duì)象。3.7提示學(xué)習(xí)promptlearning在不修改預(yù)訓(xùn)練模型結(jié)構(gòu)和參數(shù)的情況下，通過(guò)向模型提供含特定任務(wù)指示性關(guān)鍵詞的提示語(yǔ)，引導(dǎo)預(yù)訓(xùn)練模型在特定任務(wù)上應(yīng)用其已有知識(shí)達(dá)到更好性能表現(xiàn)。3.8人工智能加速處理器artificialintelligenceacceleratingprocessor具備適配人工智能算法的運(yùn)算微架構(gòu)，能夠完成人工智能應(yīng)用加速運(yùn)算處理的集成電路元件。[來(lái)源：GB/T41867—2022，3.1.5，有修改]4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。FPGA：現(xiàn)場(chǎng)可編程邏輯門陣列（FieldProgrammableGateArray）GPU：圖形處理器（GraphicProcessingUnit）LACP：鏈路聚合控制協(xié)議（LinkAggregationControlProtocol）NPU：神經(jīng)網(wǎng)絡(luò)處理器（NeuralNetworkProcessingUnit）TPU：張量處理器（TensorProcessingUnit）UML：統(tǒng)一建模語(yǔ)言（UnifiedModelingLanguage）5概述支撐預(yù)訓(xùn)練模型的生態(tài)包括功能視角下的參考架構(gòu)和用戶視角下各相關(guān)方的技術(shù)活動(dòng)。功能視角下的預(yù)訓(xùn)練模型參考架構(gòu)見圖1，包括資源池、工具、數(shù)據(jù)資源、模型、行業(yè)應(yīng)用和服務(wù)平臺(tái)等。其中：——資源池包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、資源虛擬化及調(diào)度等；3GB/TXXXXX—XXXX——工具包括數(shù)據(jù)工具、模型工具；——數(shù)據(jù)資源包括通用數(shù)據(jù)、領(lǐng)域數(shù)據(jù)、私有數(shù)據(jù)；——模型包括預(yù)訓(xùn)練模型、定制化模型。其中預(yù)訓(xùn)練模型包括單模態(tài)和多模態(tài)兩種類型的模型，定制化模型是依據(jù)用戶需求對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)定制生產(chǎn)環(huán)境所需的模型；——行業(yè)應(yīng)用為為各行業(yè)場(chǎng)景用戶提供預(yù)訓(xùn)練模型下游任務(wù)匹配服務(wù)；——服務(wù)平臺(tái)/組件貫穿各層次提供支持大規(guī)模預(yù)訓(xùn)練模型和相關(guān)服務(wù)的編排、部署、模型推理、運(yùn)維和管理。圖1功能視角下的預(yù)訓(xùn)練模型參考架構(gòu)用戶視角下的預(yù)訓(xùn)練模型相關(guān)方見圖2，包括基礎(chǔ)設(shè)施提供者、數(shù)據(jù)提供者、模型提供者、應(yīng)用服務(wù)者、應(yīng)用消費(fèi)者和管理者。其中：——基礎(chǔ)設(shè)施提供者包括硬件資源提供者和軟件資源及工具提供者。硬件資源提供者的活動(dòng)包括提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等支撐硬件服務(wù)活動(dòng)。軟件資源及工具提供者的活動(dòng)包括提供數(shù)據(jù)處理、計(jì)算加速、模型訓(xùn)練、模型優(yōu)化、模型驗(yàn)證等支撐軟件服務(wù)活動(dòng)；——數(shù)據(jù)提供者進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)管理等數(shù)據(jù)相關(guān)服務(wù)活動(dòng)；——模型提供者負(fù)責(zé)模型設(shè)計(jì)開發(fā)、模型預(yù)訓(xùn)練、模型驗(yàn)證、模型優(yōu)化、模型部署等預(yù)訓(xùn)練模型相關(guān)服務(wù)活動(dòng)；——應(yīng)用服務(wù)者支持平臺(tái)服務(wù)、模型定制、模型推理、模型運(yùn)維和管理等應(yīng)用服務(wù)活動(dòng)；4GB/TXXXXX—XXXX——應(yīng)用消費(fèi)者的活動(dòng)包括使用模型和相關(guān)服務(wù)以及提供評(píng)估反饋；——管理者對(duì)預(yù)訓(xùn)練模型在生態(tài)鏈各環(huán)節(jié)的安全與合規(guī)性進(jìn)行管理，包括監(jiān)管、審計(jì)、測(cè)試評(píng)估等活動(dòng)。圖2預(yù)訓(xùn)練模型的利益相關(guān)方及其活動(dòng)6技術(shù)要求6.1資源池6.1.1計(jì)算資源為模型訓(xùn)練和推理提供計(jì)算和數(shù)據(jù)處理等能力的實(shí)體設(shè)備（如CPU、GPU，F(xiàn)PGA，NPU，TPU）或邏輯設(shè)備。計(jì)算資源符合以下要求：a)應(yīng)能執(zhí)行至少1種模態(tài)（如文本、圖像、語(yǔ)音）的模型的訓(xùn)練或推理；b)應(yīng)支持硬件加速的人工智能計(jì)算，配備分布式訓(xùn)練和推理計(jì)算加速庫(kù)；1)訓(xùn)練服務(wù)器：——應(yīng)支持不小于4個(gè)100GE網(wǎng)口；——應(yīng)支持電源模塊、風(fēng)扇模塊的熱插拔和備份（如2+2冗余，N+1冗余等）；2)推理服務(wù)器：——內(nèi)存總帶寬應(yīng)不小于800GB/s；——應(yīng)支持不小于2個(gè)PCIe擴(kuò)展槽位；——應(yīng)支持電源模塊、風(fēng)扇模塊的熱插拔和備份（如1+1冗余，N+1冗余等）；c)服務(wù)器集群?jiǎn)挝唬ㄈ鐧C(jī)柜）宜配備不小于64個(gè)人工智能處理器；d)宜支持基于硬件加速的預(yù)處理（如圖像、視頻編解碼）；e)應(yīng)支持鍵值對(duì)緩存。6.1.2存儲(chǔ)資源適用于大模型訓(xùn)練和推理的存儲(chǔ)資源，包含存儲(chǔ)服務(wù)器等。存儲(chǔ)資源用于提供數(shù)據(jù)存儲(chǔ)和模型存儲(chǔ)，符合以下要求：a)應(yīng)支持?jǐn)?shù)據(jù)集的分布式存儲(chǔ)與訪問(wèn)，并實(shí)現(xiàn)冗余備份機(jī)制；5GB/TXXXXX—XXXXb)宜支持分布式模型訓(xùn)練及推理；c)存儲(chǔ)帶寬宜不小于200GB/s，IOPS宜不小于200萬(wàn)；d)宜支持內(nèi)存計(jì)算；e)宜能以存儲(chǔ)服務(wù)器或硬磁盤為單元?jiǎng)?chuàng)建存儲(chǔ)池，存儲(chǔ)池宜能識(shí)別、管理固態(tài)盤、硬磁盤等不同類型存儲(chǔ)媒體。6.1.3網(wǎng)絡(luò)資源適用于大模型訓(xùn)練和推理的網(wǎng)絡(luò)資源，包含集群內(nèi)交換機(jī)和路由器。網(wǎng)絡(luò)資源符合以下要求：a)應(yīng)支持高速網(wǎng)絡(luò)通信協(xié)議（如100GRoCE等）b)應(yīng)具備模型自動(dòng)切分（如基于模型結(jié)構(gòu)）；c)轉(zhuǎn)發(fā)包率宜不小于4000Mpps；d)應(yīng)支持負(fù)載均衡；e)應(yīng)支持可靠性組網(wǎng)方案，如LACP鏈路聚合，M-LAG雙活等；f)宜支持服務(wù)器集群內(nèi)40GE/100GE/200GE/400GE全聯(lián)接網(wǎng)絡(luò)；g)宜支持物理交換機(jī)與邏輯交換機(jī)之間的映射，實(shí)現(xiàn)鏈路備份，單臺(tái)物理交換機(jī)故障不影響訓(xùn)練、推理任務(wù)執(zhí)行。6.1.4資源虛擬化及調(diào)度符合GB/T42018—2022中6.2的要求。6.2工具6.2.1數(shù)據(jù)工具數(shù)據(jù)采集工具數(shù)據(jù)工具提供數(shù)據(jù)采集功能，符合以下要求：a)應(yīng)確定數(shù)據(jù)采集的需求、數(shù)量、渠道、所采集數(shù)據(jù)的類別（如文本，語(yǔ)音、圖片和視頻等）和范圍（如話題、內(nèi)容等）；b)應(yīng)能采集原始數(shù)據(jù)的類型，包括但不限于文本、視頻、圖像、音頻等；c)應(yīng)支持從不同格式的原始數(shù)據(jù)（如TXT、JPEG/JPG、MP4、AVI、WMV等）中提取出模型訓(xùn)練所需的數(shù)據(jù)；d)應(yīng)能記錄采集數(shù)據(jù)的來(lái)源、時(shí)間和采集方式；e)應(yīng)支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)接入；f)應(yīng)支持多組數(shù)據(jù)或多個(gè)數(shù)據(jù)集的并行導(dǎo)入；g)宜支持?jǐn)?shù)據(jù)質(zhì)量檢測(cè)和初步清洗能力，如數(shù)據(jù)格式標(biāo)準(zhǔn)化等。數(shù)據(jù)準(zhǔn)備工具數(shù)據(jù)工具提供數(shù)據(jù)準(zhǔn)備功能，符合以下要求：a)數(shù)據(jù)標(biāo)注流程應(yīng)符合GB/T42755-2023中第6章和第7章的要求；b)應(yīng)支持?jǐn)?shù)據(jù)清洗，包括文本數(shù)據(jù)的敏感詞與特殊符號(hào)過(guò)濾、圖像數(shù)據(jù)重建與去模糊、視頻與音頻數(shù)據(jù)的特定片段截取等；c)應(yīng)支持?jǐn)?shù)據(jù)重組、數(shù)據(jù)標(biāo)簽格式轉(zhuǎn)換；d)應(yīng)支持?jǐn)?shù)據(jù)檢索、分析等功能；e)應(yīng)支持?jǐn)?shù)據(jù)增強(qiáng)及擴(kuò)充（如添加擾動(dòng)產(chǎn)生新數(shù)據(jù)）；6GB/TXXXXX—XXXXf)應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量檢驗(yàn)。數(shù)據(jù)存儲(chǔ)工具數(shù)據(jù)工具提供使用存儲(chǔ)資源的功能，符合以下要求：a)應(yīng)支持分布式并行存儲(chǔ)；b)應(yīng)支持在線彈性擴(kuò)展，滿足容量需求和性能的線性增長(zhǎng)；c)應(yīng)支持通過(guò)控制臺(tái)、API、SDK、命令行方式操作存儲(chǔ)資源，能按需求切換；d)應(yīng)支持標(biāo)準(zhǔn)文件系統(tǒng)接口，如POSIX；e)應(yīng)支持向量庫(kù)儲(chǔ)存。數(shù)據(jù)管理工具數(shù)據(jù)工具提供數(shù)據(jù)管理功能，符合以下要求：a)應(yīng)支持?jǐn)?shù)據(jù)集管理的要素，包含數(shù)據(jù)集名稱、版本、標(biāo)注類型、標(biāo)注標(biāo)簽、數(shù)據(jù)量、數(shù)據(jù)來(lái)源、特征版本、創(chuàng)建時(shí)間等；b)應(yīng)支持?jǐn)?shù)據(jù)集的創(chuàng)建、查詢、修改、刪除、導(dǎo)入、導(dǎo)出、發(fā)布等；c)應(yīng)支持?jǐn)?shù)據(jù)集狀態(tài)信息查詢，包含數(shù)據(jù)集名稱、版本、標(biāo)注類型、數(shù)據(jù)量、導(dǎo)入狀態(tài)、已標(biāo)注狀態(tài)和版本；d)宜支持?jǐn)?shù)據(jù)可視化分析和版本管理。6.2.2模型工具模型設(shè)計(jì)工具模型設(shè)計(jì)工具，符合以下要求：a)應(yīng)支持可視化圖形界面，允許用戶通過(guò)拖放、連接元素來(lái)創(chuàng)建模型；b)應(yīng)支持多種類型的模型設(shè)計(jì)，例如流程圖、UML（統(tǒng)一建模語(yǔ)言）圖、概念圖等；c)應(yīng)提供預(yù)定義的模型元素和模板，使用戶能夠快速構(gòu)建模型；d)應(yīng)支持對(duì)模型性能進(jìn)行模擬和分析，以評(píng)估其行為和性能；e)宜支持導(dǎo)出模型的多維度信息，如說(shuō)明文檔，模型代碼等。模型訓(xùn)練工具模型訓(xùn)練工具，符合以下要求：a)應(yīng)支持?jǐn)?shù)據(jù)并行，模型并行，混合并行等分布式訓(xùn)練技術(shù)；b)分布式協(xié)同訓(xùn)練集群在訓(xùn)練過(guò)程中出現(xiàn)節(jié)點(diǎn)故障（如宕機(jī)）時(shí)，應(yīng)支持從斷點(diǎn)繼續(xù)并完成訓(xùn)練任務(wù)；c)應(yīng)能至少使用2種數(shù)據(jù)源或知識(shí)庫(kù)，對(duì)訓(xùn)練任務(wù)實(shí)施集成和遷移；d)應(yīng)支持或可通過(guò)插件方式支持?jǐn)?shù)據(jù)可視化、訓(xùn)練可視化及模型評(píng)估可視化；e)應(yīng)支持基于訓(xùn)練數(shù)據(jù)的整體或部分特征，構(gòu)建預(yù)訓(xùn)練任務(wù)；f)應(yīng)支持模型歷史版本和微調(diào)迭代過(guò)程中的信息記錄和查詢，信息包含日志，準(zhǔn)確率、損失、參數(shù)等；g)應(yīng)支持預(yù)訓(xùn)練模型訓(xùn)練過(guò)程及應(yīng)用日志的留存及獲??；h)宜提供多種并行策略，包括算子切分、算子自動(dòng)并行、自定義通信算子等。模型優(yōu)化工具7GB/TXXXXX—XXXX模型優(yōu)化工具，符合以下要求：a)應(yīng)支持模型壓縮（如剪枝、量化、知識(shí)蒸餾等），云服務(wù)實(shí)現(xiàn)時(shí)宜提供調(diào)用接口；b)支持模型微調(diào)，包括：1)應(yīng)支持的數(shù)據(jù)類型包含如文本、語(yǔ)音、圖像、視頻等；2)應(yīng)支持任務(wù)類型包含單模態(tài)、多模態(tài)融合等；3)應(yīng)提供評(píng)價(jià)指標(biāo)體系，包含如準(zhǔn)確率、清晰度等；4)宜支持基于用戶反饋的微調(diào)（如基于用戶反饋的強(qiáng)化學(xué)習(xí)）。c)應(yīng)支持參數(shù)有效性學(xué)習(xí)、混合精度訓(xùn)練（自動(dòng)精度混合、手動(dòng)精度混合）等優(yōu)化訓(xùn)練方法，使用的精度如半精度浮點(diǎn)，四分之一精度整型或單精度浮點(diǎn)等；d)宜支持檢索增強(qiáng)生成功能。模型驗(yàn)證工具模型驗(yàn)證工具，符合以下要求：a)應(yīng)支持預(yù)訓(xùn)練模型的功能（如自然語(yǔ)言處理、圖像處理、多模態(tài)等）有效性評(píng)估；b)應(yīng)提供自動(dòng)化測(cè)試功能；c)應(yīng)允許用戶根據(jù)需要自定義測(cè)試參數(shù)和場(chǎng)景；d)應(yīng)能在測(cè)試過(guò)程中自動(dòng)檢測(cè)運(yùn)行異常情況并提供診斷信息；e)宜支持模型性能實(shí)時(shí)監(jiān)測(cè)和日志記錄。模型部署與推理工具模型部署和推理工具，符合以下要求：a)應(yīng)支持的部署方式包含在線部署、批量部署、離線部署等；b)應(yīng)支持本地服務(wù)器部署，云端部署，宜支持邊緣側(cè)和移動(dòng)端的模型部署；c)應(yīng)提供實(shí)現(xiàn)機(jī)制，支持在滿足一定吞吐量條件下的低延時(shí)推理；d)應(yīng)支持模型推理過(guò)程的監(jiān)控和日志記錄；e)宜支持在至少1種推理加速框架上部署模型；f)宜提供工具鏈，基于自然語(yǔ)言處理模型、視覺(jué)模型、多模態(tài)模型、科學(xué)計(jì)算模型，構(gòu)建下游任6.3數(shù)據(jù)資源6.3.1通用數(shù)據(jù)通用數(shù)據(jù)應(yīng)具有來(lái)源多樣性、高質(zhì)量、覆蓋面廣、完整性和真實(shí)性，宜盡量覆蓋各類應(yīng)用場(chǎng)景，確保大模型的訓(xùn)練數(shù)據(jù)具有高質(zhì)量和多樣性。6.3.2領(lǐng)域數(shù)據(jù)領(lǐng)域數(shù)據(jù)應(yīng)具備領(lǐng)域特征，宜盡量覆蓋領(lǐng)域中的使用場(chǎng)景。宜提供定制用數(shù)據(jù)庫(kù)，包含開源領(lǐng)域數(shù)據(jù)，具有專業(yè)性標(biāo)注且在本領(lǐng)域具有多樣性和覆蓋性。6.3.3私有數(shù)據(jù)私有數(shù)據(jù)應(yīng)符合隱私保護(hù)法規(guī)，確保數(shù)據(jù)安全性。數(shù)據(jù)所有者應(yīng)對(duì)數(shù)據(jù)使用具備控制權(quán)，包括訪問(wèn)權(quán)限管理和使用審計(jì)。數(shù)據(jù)需具備高質(zhì)量和完整性，避免缺失值和異常值，確保數(shù)據(jù)的準(zhǔn)確性和可靠性。6.4模型8GB/TXXXXX—XXXX6.4.1預(yù)訓(xùn)練模型通則預(yù)訓(xùn)練模型，符合以下要求：a)宜支持單模態(tài)、部分模態(tài)和全模態(tài)等訓(xùn)練方式；b)宜支持多種模態(tài)特征提取的方法（如單塔方法、雙塔方法等）；c)宜支持的數(shù)據(jù)類型包含文本、語(yǔ)音、圖像、視頻等；d)宜能提供相應(yīng)模態(tài)的處理接口（如文本生成、圖像理解等）；e)宜支持的交互模式和協(xié)議，包含同步、異步、批量、流式、事件驅(qū)動(dòng)等；單模態(tài)單模態(tài)預(yù)訓(xùn)練模型，符合以下要求：a）應(yīng)提供單模態(tài)數(shù)據(jù)的特征提取；b）應(yīng)支持模態(tài)補(bǔ)全、模態(tài)掩碼、模態(tài)增廣、模態(tài)擴(kuò)展等任務(wù)；c）應(yīng)具備至少1種單模態(tài)理解功能。其中，單模態(tài)理解功能可參照GB/TXXXX-XXXX《人工智能預(yù)訓(xùn)練模型第2部分：評(píng)測(cè)指標(biāo)與方法》；d）宜支持至少1種單模態(tài)生成功能。其中，單模態(tài)生成功能可參照GB/TXXXX-XXXX《人工智能預(yù)訓(xùn)練模型第2部分：評(píng)測(cè)指標(biāo)與方法》。多模態(tài)多模態(tài)預(yù)訓(xùn)練模型，符合以下要求：a)應(yīng)具備至少1種多模態(tài)理解功能，如圖文檢索、視覺(jué)定位、圖音檢索、文音檢索等；b)應(yīng)具備至少1種多模態(tài)預(yù)訓(xùn)練模型基礎(chǔ)架構(gòu)，如單塔、多塔架構(gòu)等；c)宜能提供至少1種多模態(tài)生成功能，如文本生成圖片、圖片生成文本、圖片生成視頻、圖片生成語(yǔ)音、文本生成視頻等；d)宜支持對(duì)大語(yǔ)言模型的橋接。6.4.2定制化模型基于預(yù)訓(xùn)練模型，定制生產(chǎn)環(huán)境所需模型，符合以下要求：a)應(yīng)支持定制模型的參數(shù)量大小、存儲(chǔ)容量、計(jì)算資源、網(wǎng)絡(luò)資源、性能評(píng)價(jià)指標(biāo)等；b)應(yīng)支持多種預(yù)訓(xùn)練模型微調(diào)方法，包含但不限于附錄A；c)應(yīng)提供模型版本管理功能，包含模型發(fā)布、版本回退等；d)應(yīng)提供并運(yùn)維預(yù)訓(xùn)練模型庫(kù)，實(shí)現(xiàn)用戶上傳、微調(diào)和使用模型；e)宜支持面向任務(wù)推薦定制化方法（如面向金融（銀行、證券、保險(xiǎn)）、能源、制造、消費(fèi)、通信等場(chǎng)景）；f)宜支持基于用戶數(shù)據(jù)和微調(diào)數(shù)據(jù)庫(kù)數(shù)據(jù)混合的模型定制。6.5行業(yè)應(yīng)用對(duì)每種預(yù)訓(xùn)練模型（自然語(yǔ)言處理，計(jì)算機(jī)視覺(jué)，多模態(tài)等），宜至少匹配1個(gè)下游任務(wù)。6.6服務(wù)平臺(tái)/組件預(yù)訓(xùn)練模型服務(wù)平臺(tái)/組件，符合以下要求：a)應(yīng)支持預(yù)訓(xùn)練模型插件開發(fā)，并提供開發(fā)協(xié)議以規(guī)定插件的規(guī)則和接口，如模型接口、輸入輸9GB/TXXXXX—XXXX出數(shù)據(jù)格式、插件元數(shù)據(jù)和插件運(yùn)行狀態(tài)碼等要求；b)應(yīng)支持部署服務(wù)升級(jí)、回滾；c)應(yīng)支持根據(jù)業(yè)務(wù)負(fù)載情況，對(duì)計(jì)算資源進(jìn)行彈性伸縮；d)宜支持預(yù)訓(xùn)練模型灰度發(fā)布、A/B測(cè)試、模型版本管理；e)預(yù)訓(xùn)練模型組件宜能夠自動(dòng)檢測(cè)和修復(fù)問(wèn)題，減少人工干預(yù)；f)宜支持插件運(yùn)行監(jiān)控和日志記錄。GB/TXXXXX—XXXX預(yù)訓(xùn)練的方法簡(jiǎn)述A.1預(yù)訓(xùn)練自監(jiān)督算法舉例由于大規(guī)模預(yù)訓(xùn)練模型需要龐大的訓(xùn)練數(shù)據(jù)規(guī)模，因此經(jīng)常使用無(wú)需數(shù)據(jù)標(biāo)注的自監(jiān)督算法。三種常見自監(jiān)督算法舉例如下：a)掩碼學(xué)習(xí)是一種通過(guò)隨機(jī)遮蓋輸入的部分內(nèi)容，訓(xùn)練模型以預(yù)測(cè)被遮蓋的內(nèi)容的方法，如BERT和BEiT。b)對(duì)比學(xué)習(xí)是一種通過(guò)構(gòu)造正負(fù)樣本對(duì)，訓(xùn)練模型以區(qū)分它們的方法。如SimCLR和MoCo。c)自回歸學(xué)習(xí)是一種通過(guò)按照順序預(yù)測(cè)輸入的下一個(gè)內(nèi)容的方法。如GPT和PixelRNN。A.2預(yù)訓(xùn)練常見模型結(jié)構(gòu)舉例由于大規(guī)模預(yù)訓(xùn)練模型需要龐大的訓(xùn)練數(shù)據(jù)規(guī)模，因此經(jīng)常需要從大量無(wú)標(biāo)注數(shù)據(jù)中學(xué)習(xí)有效特征表示的模型結(jié)構(gòu)。三種常見結(jié)構(gòu)舉例如下：a)Transformer是一種基于自注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)，可以并行處理序列中的所有位置，從而提高計(jì)算效率和模型泛化能力。b)Convnet是一種基于卷積層的網(wǎng)絡(luò)結(jié)構(gòu)，可以提取序列中的局部特征，從而適用于圖像、音頻等領(lǐng)域。在處理大規(guī)模圖像數(shù)據(jù)時(shí)訓(xùn)練效率較高，但往往對(duì)輸入數(shù)據(jù)的長(zhǎng)度和寬度有限制。c)RNN是一種基于循環(huán)層的網(wǎng)絡(luò)結(jié)構(gòu)，可以捕捉序列中的時(shí)序特征，從而適用于文本、音頻等領(lǐng)域。A.3預(yù)訓(xùn)練模型微調(diào)方法類別預(yù)訓(xùn)練模型由于在下游任務(wù)之前訓(xùn)練獲得，不能直接用于下游任