T-AII 008-2023 深度學(xué)習(xí)算法框架通用接口規(guī)范

團(tuán)體標(biāo)準(zhǔn)T/AII008—2023深度學(xué)習(xí)算法框架通用接口規(guī)范Generalinterfacespecificationfordeeplearningalgorithmframeworks深圳市人工智能行業(yè)協(xié)會(huì)發(fā)布I 2 3 3 3 6 6 6 20 21 22 24 4 5 表A.6get_parameter 表A.7get_module 表A.8load_state_dic 表B.1construct_datase 表B.3construct_sample 表B.4iterate_sampl 表B.5iterate_batc 表B.6construct_optimize 表B.7update_learnable_paramete 表B.8zero_gradien 表B.9construct_traine 表B.10train_one_batc 表B.12construct_inferenc 表B.13infer_one_sampl 表B.14infer_sample 表B.15construct_evalvate 表B.17construct_operato 本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定1intelligence—Artificiali24縮略語(yǔ)BERT：雙向語(yǔ)言表征注意力模型（BidirectionalEncoderRepresentationByteNet：一種基于CNN的機(jī)器翻譯模型（NeuralMachineTranslationbasedonCNN：卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNeSeparableConvolutionforSemanticEfficientNet：一種高效的卷積網(wǎng)絡(luò)模型（EfficieFasterRCNN：一種基于區(qū)域建議網(wǎng)絡(luò)的實(shí)時(shí)目標(biāo)檢測(cè)模型（TowwithRegionProposalNetworkHRNet：一種高分辨率的人體姿態(tài)評(píng)估的深度模型（DeepHigh-ResolutionRepresentationLearningforHumanPoseEstiOCR：光學(xué)字符識(shí)別（OpticalCharacterRecoPFLD：實(shí)用人臉關(guān)鍵點(diǎn)檢測(cè)器（APracticalFacialLandmarkDeteResNet：殘差網(wǎng)絡(luò)(ResidualNResnet3D：基于三維卷積的殘差網(wǎng)絡(luò)(ResidualNetworkwithRNNT：一種用于語(yǔ)音識(shí)別的RNN變換模型（Rnn-TranS3D：可分離三維卷積網(wǎng)絡(luò)（SeparabSSD：?jiǎn)尾蕉嗫驒z測(cè)器（SingleShotMultiBoxT5：文本到文本轉(zhuǎn)換注意力模型（Text-To-TextTransferTransfTextCNN：一種用于文本分類的卷積網(wǎng)絡(luò)模型（ConvolutionalNeuralNetworksforSentenceTransformer：基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)（NeuralNetworkbasedonAttentionMecTrOCR：基于注意力的光學(xué)字符檢測(cè)（Transformer-basedOpticalCharacterRecognVGGNet：由VGG組提出的圖像分類網(wǎng)絡(luò)模型（VisualGeometryGroupNetwWaveNet：一種用于生成原始音頻波形的神經(jīng)網(wǎng)絡(luò)模型（AGenerativeModelforRawAudiXLNet：一種自回歸預(yù)訓(xùn)練語(yǔ)言模型（GeneralizedAutoregressivePretrainingforLanguageYOLO：YOLO單階段目標(biāo)檢測(cè)器（YouOnlyLook3b）算法支持視覺(jué)、音頻、文本等不同數(shù)據(jù)處理的深度系統(tǒng)資源層的具體實(shí)現(xiàn)各個(gè)廠商有自己的方式，對(duì)此本4應(yīng)用層圖像處理圖像處理自然語(yǔ)言處理自然語(yǔ)言處理視頻處理視頻處理音頻處理音頻處理核心算法層數(shù)據(jù)結(jié)構(gòu)模型結(jié)構(gòu)模型規(guī)范數(shù)據(jù)解析數(shù)據(jù)增強(qiáng)數(shù)據(jù)集數(shù)據(jù)規(guī)范數(shù)據(jù)結(jié)構(gòu)模型結(jié)構(gòu)模型規(guī)范數(shù)據(jù)解析數(shù)據(jù)增強(qiáng)數(shù)據(jù)集數(shù)據(jù)規(guī)范訓(xùn)練和推理推理器訓(xùn)練器推理器訓(xùn)練器前處理后處理優(yōu)化器前處理后處理優(yōu)化器數(shù)據(jù)迭代數(shù)據(jù)迭代框架適配層統(tǒng)一接口定義統(tǒng)一接口定義接口實(shí)現(xiàn)接口實(shí)現(xiàn)1接口實(shí)現(xiàn)接口實(shí)現(xiàn)2……接口實(shí)現(xiàn)接口實(shí)現(xiàn)N系統(tǒng)資源層框架框架1框架框架2……框架框架N機(jī)器學(xué)習(xí)運(yùn)行環(huán)境機(jī)器學(xué)習(xí)運(yùn)行環(huán)境硬件設(shè)備和計(jì)算調(diào)度硬件設(shè)備和計(jì)算調(diào)度562）常用網(wǎng)絡(luò)主體模塊：多維CNN層、7b）支持該數(shù)據(jù)結(jié)構(gòu)的初始化，給定對(duì)應(yīng)內(nèi)容，使用內(nèi)容對(duì)該數(shù)據(jù)結(jié)構(gòu)進(jìn)f）支持維度變換功能reshape，給定新的維度與長(zhǎng)度，其元素總和與原元素總和一致，將Tena）支持前向計(jì)算，模型執(zhí)行一次前項(xiàng)計(jì)算，通過(guò)輸入經(jīng)過(guò)f）支持獲取子模塊，通過(guò)模塊名稱，獲取對(duì)應(yīng)的8a）支持多種文本數(shù)據(jù)文件格式的讀入和解析，如txt、jb）支持多種圖像數(shù)據(jù)文件格式的讀入和解析，如jpg、png、d）支持多種視頻數(shù)據(jù)文件格式的讀入和集的多樣性。數(shù)據(jù)增強(qiáng)接口應(yīng)采用基類與多個(gè)派生子類的設(shè)計(jì)模式，每種操作都應(yīng)詳細(xì)說(shuō)明其對(duì)數(shù)據(jù)的具體影響a）支持根據(jù)數(shù)據(jù)集路徑以及數(shù)據(jù)集相關(guān)的參c）支持從存儲(chǔ)設(shè)備或服務(wù)上讀取數(shù)據(jù)集的部分或全部數(shù)據(jù)，d）支持對(duì)數(shù)據(jù)進(jìn)行前處理操作，例如圖優(yōu)化器接口應(yīng)支持網(wǎng)絡(luò)模型優(yōu)化的功能，根據(jù)不同的優(yōu)化算法例如SGD、Adam、Momentum等，對(duì)模9b）實(shí)現(xiàn)step()函數(shù)，用于進(jìn)行一次輸出解析和轉(zhuǎn)換到有語(yǔ)言意義的數(shù)據(jù)結(jié)構(gòu)，接口Tensor是深度學(xué)習(xí)框架中所有數(shù)據(jù)的基礎(chǔ)結(jié)構(gòu)，所有操作傳遞的數(shù)據(jù)均為A.1.2.1初始化uint8、string、bool、compleA.1.2.2切片索引模型的類型一般為Module。構(gòu)建模型e）backward反向傳播函數(shù)不需要接口功能描述：加載模塊的狀態(tài)，包括模塊接口名稱：backward（grad_input，grad_功能描述：根據(jù)sampler_config一個(gè)典型的sampler_config包括批量化大小batch_size，是否進(jìn)行shuffle，是否在讀完數(shù)據(jù)集后重復(fù)開(kāi)始，以及是否在結(jié)束讀取后采樣器對(duì)象，類型Sampler，會(huì)記錄該采樣器的狀態(tài)，例如當(dāng)前迭代至哪一個(gè)樣本本數(shù)據(jù)集的批量樣本，類型為字典或元組列表。其元素?cái)?shù)量a）Config解析錯(cuò)誤：config無(wú)法解析或者接口名稱：update_learnable_pab）Model梯度錯(cuò)誤：深度學(xué)習(xí)模型梯度計(jì)算未完成或功能描述：基于深度學(xué)習(xí)模型model，將model一個(gè)典型的trainer_config包括優(yōu)化器optimizer，訓(xùn)練數(shù)據(jù)集train_dataset，訓(xùn)練循環(huán)數(shù)ea）Config解析錯(cuò)誤：config無(wú)法解析或者功能描述：對(duì)單批次數(shù)據(jù)data_batch，計(jì)算其損失函數(shù)，并自動(dòng)執(zhí)行反向傳播過(guò)程，包括使用a）Model梯度錯(cuò)誤：深度學(xué)習(xí)模型梯度計(jì)算b）Model更新錯(cuò)誤：optimizer定義策略無(wú)法正確更新模型的可學(xué)習(xí)參數(shù)，例如進(jìn)入N功能描述：對(duì)構(gòu)造過(guò)程中已說(shuō)明的訓(xùn)練數(shù)據(jù)train_dataset，計(jì)算其損失函數(shù)，并自動(dòng)執(zhí)行a）Model梯度錯(cuò)誤：深度學(xué)習(xí)模型梯度計(jì)算b）Model更新錯(cuò)誤：optimizer定義策略無(wú)法正確更新模型的可學(xué)習(xí)參數(shù)，例如進(jìn)入Na）Model梯度錯(cuò)誤：深度學(xué)習(xí)模型梯度計(jì)算b）Model更新錯(cuò)誤：optimizer定義策略無(wú)法正確更新模型的可學(xué)習(xí)參數(shù)，例如進(jìn)入N等a）Config解析錯(cuò)誤：config無(wú)法解析或者輸入數(shù)據(jù)，類型為列表，元素類型適配前處理步輸出，類型為列表，元素類型適配后處理步功能描述：根據(jù)op_config進(jìn)數(shù)據(jù)操作transformersforlanguageunderstanding[J].arXivpreprintarXiv:1810.0time[J].arXivpreprintarXiv:1610.speechrecognition[J].arXivpreprintarXiv:2convolutionforsemanticinetworks[C]//Internationalconferenceonmachinelearning.PMLR,2019:610regionproposalnetworks[J].Advancesinneuraposeestimation[C]//ProceedingsoftheIErecognition.2019:569Recognition.2018:654detection[C]//Proceedings