信息技術(shù) 客服型虛擬數(shù)字人基礎(chǔ)能力技術(shù)要求 征求意見稿

1GB/TXXXXX—XXXX信息技術(shù)客服型虛擬數(shù)字人基礎(chǔ)能力技術(shù)要求本文件規(guī)定了客服型虛擬數(shù)字人參考框架、功能要求和性能要求。本文件適用于指導客服型虛擬數(shù)字人的設(shè)計、開發(fā)、測試、應(yīng)用、管理等。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.13-2008信息技術(shù)詞匯第13部分：計算機圖形GB/T21023-2007中文語音識別系統(tǒng)通用技術(shù)規(guī)范GB/T21024-2007中文語音合成系統(tǒng)通用技術(shù)規(guī)范GB/T36341.1-2018信息技術(shù)形狀建模信息表示第1部分-框架和基本組件GB/T36464.1-2020信息技術(shù)智能語音交互系統(tǒng)第1部分：通用規(guī)范GB/T36464.3-2018信息技術(shù)智能語音交互系統(tǒng)第3部分：智能客服GB/T36464.4-2018信息技術(shù)智能語音交互系統(tǒng)第4部分：移動終端GB/T34083-2017中文語音識別互聯(lián)網(wǎng)服務(wù)接口規(guī)范GB/T38247-2019信息技術(shù)增強現(xiàn)實術(shù)語GB/T38665.1-2020信息技術(shù)手勢交互系統(tǒng)第1部分：通用技術(shù)要求GB/T41864-2022信息技術(shù)計算機視覺術(shù)語GB/T41772-2022信息技術(shù)生物特征識別人臉識別系統(tǒng)技術(shù)要求GB/T44020-2024信息技術(shù)計算機圖形圖像處理和環(huán)境數(shù)據(jù)表示混合與增強現(xiàn)實中實時人物肖像和實體的表示SJ/T11380-2008自動聲紋識別(說話人識別)技術(shù)規(guī)范3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1數(shù)字人digitalhuman通過計算機圖形學、計算機視覺和語音交互等技術(shù)，進行形象、聲音、動作等模型訓練后，借助真人或計算驅(qū)動、在多模態(tài)輸出設(shè)備呈現(xiàn)的虛擬人物。3.2客服型虛擬數(shù)字人servicedigitalhuman2GB/TXXXXX—XXXX面向特定行業(yè)應(yīng)用，具有開展客戶服務(wù)功能的數(shù)字人。3.32D數(shù)字人2Ddigitalhuman以二維平面形式呈現(xiàn)的數(shù)字人，包括2D擬真人、2D卡通等不同風格。注2：2D卡通數(shù)字人形象通常基于手繪或圖像處理軟3.43D數(shù)字人3Ddigitalhuman以三維立體形式呈現(xiàn)的數(shù)字人，包括3D超寫實、3D擬真人、3D卡通等不同風格。3.5語音喚醒speechwakeup;voicetrigger處于音頻流監(jiān)聽狀態(tài)的語音交互系統(tǒng)，在檢測到特定的特征或事件出現(xiàn)后，切換到命令字識別、連續(xù)語音識別等其他處理狀態(tài)的過程。[GB/T36464.1-2020，3.17]3.6端點檢測voiceactivitydetection一種用于分析、判斷連續(xù)音頻流中有效語音起始點和結(jié)束點的語音處理技術(shù)。[GB/T36464.1-2020，3.22]3.7語音增強speechenhancement當有效語音信號被各種噪聲干擾，甚至淹沒后，從含有噪聲背景的聲音信號中提取有效語音信號，抑制、降低噪聲干擾的技術(shù)。[GB/T36464.1-2020，3.24]3.8語音識別speechrecognition將人類的聲音信號轉(zhuǎn)化為文字或者指令的過程。[GB/T21023—2007，3.1]3.9語義理解semanticcomprehension理解數(shù)據(jù)符號的語義信息，或在具體業(yè)務(wù)場景下的需求表達，并按照要求輸出正確反饋結(jié)果的過程。3GB/TXXXXX—XXXX[GB/T36464.3—2018，3.6]3.10語音合成speechsynthesis通過機械的、電子的方法合成人類語言的過程。[GB/T21024—2007，3.1]3.11人臉識別facerecognition基于自然人的面部特征對該個體的自動識別。[GB/T44248-2024，3.1]3.12手勢識別gesturerecognition從輸入的手勢數(shù)據(jù)判別出手勢。[GB/T38665.1-2020，3.5]3.13肢體動作識別limbrecognition從輸入的肢體數(shù)據(jù)判別出肢體動作。3.14情感交互affectiveinteraction利用用戶情感或滿足用戶情感需求的人機交互過程。[GB/T40691-2021，3.3]3.15建模geometricmodeling以能加以操縱的形式創(chuàng)建表示三維形狀的模型的做法。[GB/T5271.13-2008，13.01.08]3.16渲染rendering從2D/3D模型中生成數(shù)據(jù)、更新模擬并渲染給定顯示設(shè)備的呈現(xiàn)輸出的過程。[GB/T44020-2024，9.1]3.17紋理texture4GB/TXXXXX—XXXX物體表面細節(jié)的一幅或幾幅二維圖形。[GB/T36341.1-2018，3.7]3.18光場重建lightfieldreconstruction基于光場相機對場景進行觀測并構(gòu)建三維模型的過程。[GB/T41864-2022，3.8.4]3.19虛擬環(huán)境virtualenvironment由計算機生成的具有動態(tài)感官信息表現(xiàn)（如雙眼立體視覺、三維聽覺、力觸覺、味覺及嗅覺等）的、多虛擬對象構(gòu)成的環(huán)境。[GB/T38247-2019，2.2.2]3.20動作捕捉actioncapture通過對視頻序列中目標動作進行跟蹤采樣，并利用該采樣信息對連續(xù)動作進行表示的方法。[GB/T41864-2022，3.6.3.11]4縮略語下列縮略語適用于本文件。ASR：自動語音識別（AutomaticSpeechRecognition）CG：計算機圖形（ComputerGraphics）FPS：每秒傳輸幀數(shù)(FramesPerSecond)MOS：平均意見得分（MeanOpinionScore）NLP：自然語言處理（NaturalLanguageProcessing）STA：語音動畫合成（SpeechtoAnimation）TTS：語音合成(TexttoSpeech)VAD：端點檢測（VoiceActivityDetection）5參考框架客服型虛擬數(shù)字人系統(tǒng)包括數(shù)字人形象、視覺交互、語音交互、情感交互和運營維護模塊，其a)數(shù)字人形象模塊包括形象生成、形象驅(qū)動等功能，其中形象生成包括2D形象生成和3D形象生成，形象驅(qū)動分別按照驅(qū)動方式和驅(qū)動范圍進行劃分；b)視覺交互模塊包括視覺采集、視覺喚醒、主體人識別、手勢識別、肢體動作識別等功能；c)語音交互模塊包括語音采集、語音喚醒、前端處理、語音識別、語義理解、語音合成等功d)情感交互模塊包括情感采集、情感識別、情感決策與表達等功能；5GB/TXXXXX—XXXXe)運營維護模塊包括后臺接入、關(guān)鍵詞維護、語料維護、服務(wù)流程維護等功能?？头吞摂M數(shù)字人系統(tǒng)參考框架見圖1。注：虛線表示的模塊單元為可選項圖1客服型虛擬數(shù)字人系統(tǒng)參考框架6功能要求6.1數(shù)字人形象6.1.1形象生成6.1.1.12D形象生成2D形象生成包括以下功能要求：a)2D擬真人形象通?；谡嫒诵蜗蟛杉柚斯ぶ悄芗夹g(shù)訓練生成：1)應(yīng)保證生成的數(shù)字人以半身或全身的形態(tài)完整呈現(xiàn)；2)應(yīng)保證生成的數(shù)字人形象臉部、嘴巴、牙齒等五官細節(jié)完整、清晰可見且靜態(tài)表情自然，光線均勻無陰影，并支持準確的口型驅(qū)動、面部表情模擬、自然肢體動作；3)應(yīng)支持對數(shù)字人形象美顏、服飾更換、裝飾添加、背景替換等二次編輯，宜支持基于語義的二次編輯。b)2D卡通形象通?；谑掷L或圖像處理軟件等方式繪制而成：1)應(yīng)使用手繪或圖像處理軟件，通過造型設(shè)計、繪制線稿、上色、添加細節(jié)編輯來創(chuàng)造；6GB/TXXXXX—XXXX2)生成的數(shù)字人形象應(yīng)符合角色的年齡、性別、性格、職業(yè)等身份設(shè)定，具備自然的面部表情和肢體動作。6.1.1.23D形象生成3D數(shù)字人形象通常基于3D建模軟件創(chuàng)建，并通過復雜的建模、材質(zhì)貼圖、綁定等操作生成，主要包括以下功能要求：a)應(yīng)支持3D超寫實、3D擬真人、3D卡通等不同風格中的一種或多種，并支持形象個性化定制；b)應(yīng)支持人物建模，通過CG建模、靜態(tài)掃描建模、動態(tài)光場重建等建模方式，在虛擬環(huán)境中，根據(jù)數(shù)字人的風格特征確定拓撲結(jié)構(gòu)建立虛擬人的形狀；c)應(yīng)支持面部骨骼綁定，通過面部骨骼與關(guān)鍵特征點進行綁定，控制角色的五官的位置和形狀，實現(xiàn)基于面部五官的調(diào)整的面部表情和口型驅(qū)動；d)應(yīng)支持肢體骨骼綁定，通過搭建肢體骨骼、創(chuàng)建骨骼聯(lián)動、繪制骨骼蒙皮，實現(xiàn)半身或全身的肢體驅(qū)動和手勢驅(qū)動；e)應(yīng)支持材質(zhì)匹配，針對不同形象風格的數(shù)字人模型，匹配相符的皮膚、毛發(fā)、妝容、服飾等材質(zhì)；f)應(yīng)支持光線制作，模擬自然界光線和人工光線；g)宜支持真實感效果渲染，包括數(shù)字人皮膚、毛發(fā)、妝容、服飾等逼真效果的渲染，以及各種特效的渲染等；h)宜支持智能生成，基于人工智能技術(shù)，通過采集目標對象的臉部、軀體、肢體等信息，生成不同形象風格的數(shù)字人模型。6.1.2形象驅(qū)動6.1.2.1驅(qū)動方式數(shù)字人形象應(yīng)支持以下一種或多種驅(qū)動方式：a)文本驅(qū)動：基于目標文本生成對應(yīng)的語音、口型、表情、手勢、肢體動作，將合成音視頻呈現(xiàn)給用戶；b)語音驅(qū)動：基于語音信息生成對應(yīng)的語音、口型、表情、手勢、肢體動作，并合成音視頻呈現(xiàn)給用戶；c)真人驅(qū)動：基于攝像頭捕捉真人的口型、表情、手勢、肢體動作，并遷移到數(shù)字人形象上，并合成音視頻呈現(xiàn)給用戶；d)視頻驅(qū)動：基于真人的視頻輸入進行數(shù)字人的驅(qū)動，捕捉視頻中的真人的口型、表情、手勢、肢體動作，并遷移到數(shù)字人形象上，并合成音視頻呈現(xiàn)給用戶；e)動畫驅(qū)動：應(yīng)支持基于提供的臉部表情和肢體動作等動畫文件信息遷移到數(shù)字人形象上，進行對應(yīng)的表情和動作的展示；f)穿戴設(shè)備驅(qū)動：支持通過穿戴設(shè)備進行數(shù)字人的驅(qū)動，通過傳感器獲得肢體動作和臉部捕捉的相關(guān)信息，遷移到數(shù)字人形象上，可以進行對應(yīng)的表情和動作的展示。注：數(shù)字人系統(tǒng)可支持一種或多種類型真人動作捕捉設(shè)備或技術(shù)，6.1.2.2驅(qū)動范圍數(shù)字人形象驅(qū)動范圍涉及口型、表情、手勢、肢體等，具體功能要求如下：7GB/TXXXXX—XXXXa)應(yīng)支持口型驅(qū)動：應(yīng)支持基于文本、語音和口型數(shù)據(jù)進行模型訓練的STA口型驅(qū)動，實現(xiàn)口型與語音同步；b)宜支持表情驅(qū)動，通過眉毛，眼皮、眼睛、眉毛、鼻子、嘴巴和臉部的肌肉組例如蘋果肌、法令紋、抬頭紋等局部表情細節(jié)聯(lián)動實現(xiàn)的面部表情驅(qū)動，實現(xiàn)表情與語音同步；c)宜支持手勢驅(qū)動：通過手指骨骼關(guān)鍵點聯(lián)動實現(xiàn)手勢驅(qū)動，包含手腕，五指所有關(guān)節(jié)的旋轉(zhuǎn)和位置信息，實現(xiàn)手勢動作與語音同步；d)宜支持肢體動作驅(qū)動：通過肢體骨骼關(guān)鍵點聯(lián)動實現(xiàn)肢體驅(qū)動，實現(xiàn)肢體動作與語音同步。6.2視覺交互6.2.1視覺采集應(yīng)支持通過攝像頭采集用戶的人臉、手勢、肢體動作，并將其轉(zhuǎn)換成計算機能處理的圖像或視頻數(shù)據(jù)信息。6.2.2視覺喚醒視覺喚醒包括以下功能要求：a)應(yīng)支持人體感知，通過人體感知實現(xiàn)系統(tǒng)喚醒，當感知到人體接近時，能夠主動招攬用戶，開啟語音交互；b)應(yīng)支持人臉感知，通過人臉感知實現(xiàn)系統(tǒng)喚醒，當感知到人臉注視時，能夠主動招攬用戶，開啟語音交互。6.2.3主體人識別主體人識別包括以下功能要求：a)應(yīng)支持主體人檢測，通過對用戶口型進行識別，判斷當前用戶是否說話，保證對話主體人的準確性；b)應(yīng)支持主體人追蹤，通過對主體人目標進行追蹤，當主體人移動、轉(zhuǎn)動時，系統(tǒng)能夠保持與主體人的交互狀態(tài)；c)應(yīng)支持主體人分離，能夠在復雜聲音環(huán)境下分離不同主體人的不同語言；d)應(yīng)支持主體人屬性識別，例如性別、年齡，是否佩戴口罩，是否戴眼鏡等，并根據(jù)不同屬性提供相應(yīng)的問候接待以及后續(xù)服務(wù)。6.2.4手勢識別手勢識別包括以下功能要求：a)宜支持手勢數(shù)據(jù)集預(yù)置，通過預(yù)先設(shè)置手勢數(shù)據(jù)集，定義每個手勢所代表的含義，手勢數(shù)據(jù)集應(yīng)滿足以下要求：1)手勢集中任意兩個手勢之間的相似程度應(yīng)盡可能低，以便區(qū)分；2)手勢集中的手勢宜簡單易行；3)手勢集中手勢易于被輸入設(shè)備感知，應(yīng)適應(yīng)于不同輸入設(shè)備，設(shè)計不同手勢集合數(shù)據(jù)集；b)宜支持提供與手勢數(shù)據(jù)集對應(yīng)的識別算法的程序集，使系統(tǒng)能對用戶輸入的手勢進行識6.2.5肢體動作識別8GB/TXXXXX—XXXX肢體動作識別包括以下功能要求：a)宜支持肢體動作數(shù)據(jù)集預(yù)置，通過預(yù)先設(shè)置肢體動作數(shù)據(jù)集，定義每個肢體動作所代表的含義，肢體動作數(shù)據(jù)集應(yīng)滿足以下要求：1)肢體動作集中任意兩個肢體動作之間的相似程度應(yīng)盡可能低，以便區(qū)分；2)肢體動作集中的肢體動作宜簡單易行；3)肢體動作集中肢體動作易于被輸入設(shè)備感知，應(yīng)適應(yīng)于不同輸入設(shè)備，設(shè)計不同肢體動作集合；b)宜支持提供與肢體動作數(shù)據(jù)集對應(yīng)的識別算法的程序集，使系統(tǒng)能對用戶輸入的肢體動作進行識別。6.3語音交互6.3.1語音采集語音采集應(yīng)符合GB/T36464.1-2020中5.1的要求。6.3.2語音喚醒語音喚醒應(yīng)符合GB/T36464.1-2020中7.1的要求。6.3.3前端處理前端處理應(yīng)符合GB/T36464.1-2020中第7章和第8章的有關(guān)要求。6.3.4語音識別語音識別包括以下功能要求：a)應(yīng)支持中文語音識別，面向特定場景和對象，提供中文關(guān)鍵詞語音識別和連續(xù)語音識別服b)宜支持多語種識別，面向特定場景和對象，提供英語、法語、西班牙語等多語種識別服務(wù)；f)宜支持多方言識別，面向特定場景和對象，提供粵語、滬語、閩南語等多方言識別服務(wù)；g)宜支持多語種混讀識別，針對中文語句中包含其它語種單詞、數(shù)字的進行識別服務(wù)；h)宜支持自定義識別，提供自定義語法、自定義熱詞、個性化識別等識別服務(wù)，并符合GB/T34083-2017中4.2和4.3的要求；i)宜支持識別結(jié)果處理，提供識別結(jié)果多候選、識別結(jié)果進階等服務(wù)，符合GB/T34083—2017中4.3的要求；j)宜支持語言信息識別，能夠給出語音所對應(yīng)的語言信息，如語種、方言種類等；k)宜支持說話者信息識別，能夠給出說話者信息，如性別、年齡段等。6.3.5語義理解語義理解包括以下功能要求：a)應(yīng)支持意圖理解，包括模糊識別、語義抽取、語義排序、意圖分類，能夠理解說話人的意b)宜支持命名實體識別，能夠?qū)θ嗣?、地名、機構(gòu)名、專有名詞、簡稱、別稱、縮寫等具有特定意義的實體進行識別；c)應(yīng)支持敏感信息識別，能夠根據(jù)上下文對輸入文本中的敏感內(nèi)容進行分辨；d)應(yīng)支持語義拒識，能夠?qū)o法處理或不應(yīng)當處理的無效文本輸入內(nèi)容進行分辨和拒識；9GB/TXXXXX—XXXXe)應(yīng)支持對話引導，能夠根據(jù)說話人的意圖和場景需求動態(tài)生成引導提示用語，引導用戶對其最終目的進行陳述；f)應(yīng)支持多輪對話，包括對話狀態(tài)跟蹤、對話策略管理、對話意圖切換、跳轉(zhuǎn)及歷史信息繼承，具備上下文相關(guān)的多輪會話的功能；g)應(yīng)支持自然語言生成，能夠根據(jù)語義理解結(jié)果生成自然語言文本，并符合說話人的意圖、滿足語音交互響應(yīng)；h)宜支持信息檢索，具備個性化詞典檢索、第三方信源檢索、自定義知識庫檢索等信息檢索的功能；i)宜支持文本相似度計算，能夠根據(jù)輸入的文本數(shù)據(jù)，計算其與已有文本的語義信息一致性程度；j)宜支持檢索結(jié)果排序，可利用信息檢索和文本相似度分別計算關(guān)聯(lián)系數(shù)，并對結(jié)果進行排序；k)宜支持文本修改，能夠?qū)υ捴械那耙痪湮谋具M行修改；l)宜支持語義修正，能夠?qū)φZ義理解錯誤的結(jié)果進行自動校正；m)宜支持邏輯推理，能夠?qū)ξ谋緝?nèi)容的邏輯計算和推導。6.3.6語音合成語音合成包括以下功能要求：a)應(yīng)支持中文語音合成，能夠?qū)⒁?guī)定格式的中文合成文本轉(zhuǎn)換成對應(yīng)的語音；b)應(yīng)支持流式語音合成，能夠?qū)⒍啻芜B續(xù)合成音頻進行拼接后得到完整的合成音頻；c)應(yīng)支持多種合成文本編碼，能夠提供多種字符編碼格式的合成文本；d)宜支持多語種合成，能夠提供其他語種的語音合成，如英語、法語、西班牙語等；e)宜支持多方言合成，能夠提供指定方言的語音合成，粵語、滬語、閩南語等；f)宜支持多語種混讀合成，能夠提供中文語音與英語的語音合成；g)宜支持多音色合成，能夠提供多種音色的音頻特征庫供用戶選擇，如青年男聲、青年女聲、童聲等；h)宜支持個性化合成，能夠提供訓練個性化音色庫并使用個性化音色庫進行語音合成；i)宜支持用戶自定義分詞，能夠按照用戶指定的合成文本分詞方式進行語音合成；j)宜支持用戶自定義讀音，能夠按照用戶指定的讀音或方式進行語音合成。6.3.7知識管理宜支持接入本地和在線的預(yù)置知識庫、知識圖譜、語言模型，由用戶自主配置觸發(fā)條件，具備知識調(diào)用、知識推理、知識檢索、知識維護、知識統(tǒng)計等功能，滿足符合業(yè)務(wù)場景需要。6.4情感交互6.4.1情感采集情感采集包括以下功能要求：a)宜支持表情采集，通過攝像頭采集用戶的表情，如微笑、皺眉等，并將其轉(zhuǎn)換成計算機能處理的圖像或視頻數(shù)據(jù)信息；b)宜支持姿態(tài)情感采集，通過攝像頭采集用戶的姿態(tài)情感，如點頭、搖頭等，并將其轉(zhuǎn)換成計算機能處理的圖像或視頻數(shù)據(jù)信息；c)宜支持語音情感采集，通過系統(tǒng)的拾音設(shè)備采集用戶語音情感，如語氣、語調(diào)、音量等，GB/TXXXXX—XXXX并將其轉(zhuǎn)換成計算機能處理的語音特征信息；d)宜支持文本情感挖掘，通過對用戶的語音對應(yīng)的文本信息，對用戶表達內(nèi)容的情感進行挖掘。6.4.2情感識別情感識別包括以下功能要求：a)宜支持表情識別，預(yù)先設(shè)置表情數(shù)據(jù)集，通過識別用戶輸入的表情信息，識別用戶的情感狀態(tài)，表情數(shù)據(jù)集應(yīng)滿足以下要求：1)表情數(shù)據(jù)集中任意兩個表情之間的相似程度應(yīng)盡可能低，以便區(qū)分；2)表情數(shù)據(jù)集中的表情宜簡單易行；3)表情數(shù)據(jù)集中表情易于被輸入設(shè)備感知。b)宜支持姿態(tài)情感識別，預(yù)先設(shè)置姿態(tài)情感數(shù)據(jù)集，通過識別用戶輸入的姿態(tài)數(shù)據(jù)，識別用戶的情感狀態(tài)，姿態(tài)情感數(shù)據(jù)集應(yīng)滿足以下要求：1)姿態(tài)情感數(shù)據(jù)集中任意兩