《智能語音交互質量評價測試數(shù)據(jù)集要求》編制說明

中國電子工業(yè)標準化技術協(xié)會

團體標準《智能語音交互質量評價測試數(shù)據(jù)集要求》

（征求意見稿）編制說明

一、工作簡況

根據(jù)中國電子工業(yè)標準化技術協(xié)會2023年第一批團體標準制修訂項目通知，

中國電子技術標準化研究院負責《智能語音交互質量評價測試數(shù)據(jù)集要求》（中

電標通【2023】002號，項目編號：CESA-2023-002）標準的制定工作。本標準

由中國電子技術標準化研究院提出，由中國電子技術標準化研究院、中國電子工

業(yè)標準化技術協(xié)會歸口。標準起草單位為中國電子技術標準化研究院、北京小米

移動軟件有限公司、北京百度網(wǎng)訊科技有限公司、思必馳科技股份有限公司、科

大訊飛股份有限公司、美的集團（上海）有限公司、中國移動通信集團有限公司、

華為終端有限公司、馬上消費金融股份有限公司、中國科學院軟件研究所、中科

南京軟件技術研究院等。

本標準的起草過程簡述如下：

2022年8月～2022年9月，中國電子技術標準化研究院牽頭組織有關單

位，在北京召開了本標準的立項籌備會。會議共有來自北京小米移動軟件有限公

司、美的集團（上海）有限公司、科大訊飛股份有限公司、思必馳科技股份有限

公司等4家單位的8位專家，對該標準的立項達成共識，共同收集相關資料，形

成標準草案大綱。

2022年10月～2022年12月，標準編制組成員多次組織專家進行討論，對

標準草案的技術內容和格式進行修改完善，同時向相關單位和專家發(fā)送郵件，征

求相關單位的意見和建議。針對搜集到的意見和建議，起草組成員進行了深入細

致的研討，形成了《智能語音交互質量評價測試數(shù)據(jù)集要求》標準草案。

2022年12月28日，中國電子工業(yè)標準化技術協(xié)會組織有關單位，在北

京召開了本標準的立項論證會。本次會議共有來自中國科學院聲學研究所、中國

科學院自動化研究所、青島海爾科技有限公司、上海小度技術有限公司等5家單

位的5名專家，對本標準進行了立項論證。專家組一致建議標準發(fā)起單位完善

標準立項建議書，盡快報請協(xié)會立項。該標準于2023年1月正式立項。

中國電子工業(yè)標準化技術協(xié)會

會后，標準起草工作組多次召開了標準討論會，對專家提出的意見、建議進

行了認真分析和總結，并進一步修改和完善標準草案，于2023年9月形成標準

征求意見稿。

二、標準編制原則和確定主要內容的論據(jù)及解決的主要問題

本標準的制定工作遵循“統(tǒng)一性、協(xié)調性、適用性、一致性、規(guī)范性”的原

則，本著先進性、科學性、合理性和可操作性的原則，按照GB/T1.1-2020《標

準化工作導則第1部分：標準化文件的結構和起草規(guī)則》給出的規(guī)則編寫。

本標準規(guī)定了智能語音交互服務在喚醒、語音識別、全雙工、意圖滿足、語

音合成等方面的測試集構建的規(guī)范和要求。

本標準適用于對智能語音交互服務的整體或部分方面的評價。

本標準中主要內容是語音交互質量評價測試數(shù)據(jù)集要求，主要依據(jù)是電子標

準院已開展的智能語音交互系統(tǒng)產品測試過程和測試數(shù)據(jù)。

本標準解決的主要問題是，由于智能語音交互的評價涉及到多個維度，每個

評價維度的要求和測試方法不盡相同，因此需要對不同的測試數(shù)據(jù)集制定規(guī)范化

的構建準則和方法。測試數(shù)據(jù)集直接影響智能語音交互技術指標的測試結果。大

部分智能語音交互的實施效果，需要通過成功率來評價，需要足夠多樣化及數(shù)量

的測試集才能保證評價的客觀性和準確性。

三、主要試驗[或驗證]情況分析

本標準研制過程中，編制組結合電子標準院已開展的語音交互系統(tǒng)產品測試

總體水平數(shù)據(jù)，以及行業(yè)內語音技術和產品發(fā)展現(xiàn)狀，論證技術要求的合理性。

四、知識產權情況說明

本標準不涉及知識產權。

五、產業(yè)化情況、推廣應用論證和預期達到的經(jīng)濟效果

隨著語音技術的不斷發(fā)展，對語音數(shù)據(jù)集的需求也在逐步增加。為了提高語

音識別的準確性和魯棒性，需要采集更大規(guī)模、更多元化的語音數(shù)據(jù)集。

智能語音交互技術廣泛使用了人工智能算法和模型，測試數(shù)據(jù)集直接影響智

能語音交互技術指標的測試結果。語音測試數(shù)據(jù)集是智能語音交互質量評價的基

礎和關鍵，對于不同的評價維度和測試方法，需要匹配相應的測試數(shù)據(jù)集。

中國電子工業(yè)標準化技術協(xié)會

本標準旨在規(guī)定喚醒、語音識別、全雙工、意圖滿足、語音合成等方面的測

試數(shù)據(jù)集要求，為智能語音交互質量評價過程中測試數(shù)據(jù)集規(guī)范化構建和選取提

供技術指引。

六、轉化國際標準和國外先進標準情況

無。

七、與現(xiàn)行相關法律、法規(guī)、規(guī)章及相關標準的協(xié)調性

本標準遵循現(xiàn)行法律、法規(guī)、規(guī)章及標準，與現(xiàn)有標準協(xié)調配套。

已有國家標準GB/T41813.1規(guī)定了語音測試集的分類方法，本標準將予以

參考和引用，但該國標對智能語音交互質量不同評價維度的測試數(shù)據(jù)集沒有明確

的詳細規(guī)定。

八、重大分歧意見的處理經(jīng)過和依據(jù)

無。

九、貫徹標準的要求和措施建議

該標準的有效實施將有助于為智能語音交互質量評價提供依據(jù)支撐，有效提

升智能語音交互質量評價的科學性和客觀性，從而帶動智能語音產業(yè)的高質量發(fā)

展，建議盡快實施。

十、替代或廢止現(xiàn)行相關標準的建議

無。

十一、其它應予說明的事項

無。

《智能語音交互質量評價測試數(shù)據(jù)集要求》