GYT 411-2024-數(shù)字虛擬人技術(shù)要求

GYTechnicalrequirementsfordi國(guó)家廣播電視總局發(fā)布I 1 1 1 1 2 2 2 3 3 3 3 4 4 4 5 5 6 6 7 7 7 7 8 8 8 8 9 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件由全國(guó)廣播電影電視標(biāo)準(zhǔn)化技術(shù)委員會(huì)（SAC/TC2請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。陳智、郟濤、孫琳、陳磊、劉晶、李洋、李晶晶、徐超、羅志文、艾斌、韓慶秋、1數(shù)字虛擬人技術(shù)要求本文件適用于廣播電視和網(wǎng)絡(luò)視聽行業(yè)數(shù)字虛擬人的系統(tǒng)建設(shè)、創(chuàng)作數(shù)字虛擬人應(yīng)用主體digitalhumanoperati4縮略語(yǔ)AI人工智能（ArtificialIntelligence）APaaS應(yīng)用平臺(tái)即服務(wù)（ApplicationPlatfoAPP應(yīng)用軟件（Applicationsoftware）ASR自動(dòng)語(yǔ)音識(shí)別技術(shù)（AutomaticSpeDurIAN基于告知時(shí)長(zhǎng)信息注意力網(wǎng)絡(luò)的多模態(tài)語(yǔ)音合成模型（DurationInNetworkForMultimodalSynthesis）FPS每秒幀數(shù)（FramesPerSecoH5超文本標(biāo)記語(yǔ)言5（HyperTextMaHiFi-GAN基于對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)的高效高保真語(yǔ)音合成模型（GenerativeAdversarialNetworksforEfficientandHighFidelitySpeec2HTTPS超文本傳輸安全協(xié)議（HypertextTransferJSONJS對(duì)象簡(jiǎn)譜（JavaScriptObjecPC個(gè)人計(jì)算機(jī)（PersonalComputSSML語(yǔ)音合成標(biāo)記語(yǔ)言（SpeechSynthesisMarkupLaUE虛幻引擎（UnrealEngiVAE變分自編碼器模型（Variat5.1數(shù)字虛擬人分類及應(yīng)用場(chǎng)景數(shù)字虛擬人按照人物形象分類，分為2D數(shù)字虛擬人和3D數(shù)字?jǐn)?shù)字虛擬人按照驅(qū)動(dòng)模式分類，分為算法驅(qū)5.2數(shù)字虛擬人總體技術(shù)架構(gòu)數(shù)字虛擬人形象包括2D真人、2D卡通、3D寫實(shí)、3D卡通和建數(shù)字虛擬人真人驅(qū)動(dòng)包含身體動(dòng)作捕捉、表情捕捉和3a)符合場(chǎng)景的任務(wù)設(shè)定，在人物形象、表情、服飾等方面得體a)支持真人形象復(fù)刻，形象逼真自然，語(yǔ)音b)支持通過照片、視頻等方式生成形象，保證面部五官、b)支持對(duì)形象的美型、加工和風(fēng)格化等。4a)模型網(wǎng)格線應(yīng)均勻、平滑，不應(yīng)出現(xiàn)d)骨骼系統(tǒng)設(shè)計(jì)應(yīng)符合生物生理及運(yùn)動(dòng)結(jié)構(gòu)，實(shí)現(xiàn)自然、真a)應(yīng)支持多種驅(qū)動(dòng)方式，包括文本驅(qū)動(dòng)、語(yǔ)音驅(qū)動(dòng)、視頻5b)至少支持中文普通話的語(yǔ)音輸入；a)支持端到端語(yǔ)音合成模型，支持HiFi-GAN、VAE、Diffusion（擴(kuò)散模型）、Gc)實(shí)現(xiàn)字詞級(jí)別的音量、時(shí)長(zhǎng)的細(xì)粒度控制，實(shí)現(xiàn)音量d)實(shí)現(xiàn)多情感高表現(xiàn)力的可控語(yǔ)音合成效果，根據(jù)文本內(nèi)容自動(dòng)切換合成不同e)支持文本語(yǔ)音合成、真人語(yǔ)音錄制、真人語(yǔ)音f)支持針對(duì)應(yīng)用場(chǎng)景（包括播報(bào)、解說、詩(shī)歌、閱讀、客服等生成多種語(yǔ)音合b)支持圖像增強(qiáng)技術(shù)，改善視頻質(zhì)量和用戶體驗(yàn)；6音長(zhǎng)、音量、重音等符合自然語(yǔ)言發(fā)音規(guī)律；語(yǔ)音語(yǔ)調(diào)舒適；常見多音字發(fā)音b)口型、唇形自然，與發(fā)音同步，符合發(fā)音的規(guī)律，具備飽滿度和表現(xiàn)力。用戶交互；支持通過對(duì)話樹等方式，完成不f)支持回答用戶提出的問題，包括基于檢索的問答系統(tǒng)和基于生成b)支持將運(yùn)動(dòng)數(shù)據(jù)應(yīng)用于虛擬人物角色的動(dòng)7c)攝像機(jī)數(shù)量和布局應(yīng)根據(jù)運(yùn)動(dòng)物體的特點(diǎn)和運(yùn)動(dòng)需求進(jìn)行合理設(shè)置，確保覆蓋面積和視角的a)支持使用慣性傳感器進(jìn)行運(yùn)動(dòng)捕捉，傳感器數(shù)量和布局根據(jù)捕捉物體的特點(diǎn)和運(yùn)動(dòng)需求進(jìn)行合理設(shè)置，通常包括加速度計(jì)、陀螺儀、磁力計(jì)等多種b)支持在攝像機(jī)采集畫面上添加標(biāo)記點(diǎn)，標(biāo)記點(diǎn)數(shù)量和布局根據(jù)運(yùn)動(dòng)物體的特點(diǎn)和運(yùn)動(dòng)需求進(jìn)d)支持將面部表情模型映射到虛擬人物的面部模型上，實(shí)現(xiàn)虛擬人物面部e)支持根據(jù)實(shí)際應(yīng)用需求對(duì)面部表情的映射效果進(jìn)行校準(zhǔn)和調(diào)整，使虛擬人物的面部表情更加a)能夠兼容捕捉數(shù)據(jù)文件的格式，以便進(jìn)行數(shù)據(jù)解析d)支持對(duì)動(dòng)作控制器的參數(shù)進(jìn)行調(diào)整，以便實(shí)現(xiàn)各種不9平臺(tái)能力要求9.1平臺(tái)基本要求8b)支持創(chuàng)作不同類型的數(shù)字虛擬人；j)真人驅(qū)動(dòng)型平臺(tái)技術(shù)支持真人驅(qū)動(dòng)9.2平臺(tái)部署要求a)應(yīng)支持公有云部署、私有云部署或本地化9.3平臺(tái)服務(wù)要求a)應(yīng)支持?jǐn)?shù)字虛擬人形象實(shí)時(shí)生成和動(dòng)態(tài)配置，支持實(shí)時(shí)視頻推流服務(wù)，支持云渲b)應(yīng)支持可視化的數(shù)字虛擬人配置，包括形e)應(yīng)支持?jǐn)?shù)字虛擬人形象、音色、服飾、姿h)應(yīng)支持視頻制作進(jìn)度、數(shù)字虛擬人資源的查數(shù)字虛擬人應(yīng)用主體對(duì)其所處理的數(shù)據(jù)及算