TISC 0034-2023 連續(xù)語音識(shí)別測評(píng)指南

Testandassessmentguidelinesforcontinuous-speechrecog中國互聯(lián)網(wǎng)協(xié)會(huì)發(fā)布 III 1 1 1 1 2 2 2 2 3 3 3 3 3 4 4 4 4 4 6 7請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。（上海）股份有限公司、小沃科技有限公司、車智互聯(lián)（北京）科技有限公司、本文件主要起草人：劉美辰、韓晗、計(jì)哲、王魯華、張夏、寶軍、馬金龍、崔婷婷、孫艷慶、周維、李成飛、劉根華、張超、劉玉星、T/ISC0034—20231連續(xù)語音識(shí)別測評(píng)指南本文件提供了連續(xù)語音識(shí)別測試集、測評(píng)方法、測評(píng)指標(biāo)和測評(píng)報(bào)告的指本文件適用于連續(xù)語音識(shí)別系統(tǒng)開發(fā)者、運(yùn)營者及第三方測評(píng)機(jī)構(gòu)對(duì)語音識(shí)別系統(tǒng)的連續(xù)語音識(shí)GB/T21023-2007中文語音識(shí)別系統(tǒng)通T/ISC0034—2023CER字錯(cuò)誤率（CharacterErCSR連續(xù)語音識(shí)別（ContinuousSpeechRWCR詞正確率（WordCorrecMER混合錯(cuò)誤率（MixedError4概述錄制、基于語音識(shí)別標(biāo)準(zhǔn)庫和現(xiàn)場口呼的測試方法以及測評(píng)指標(biāo)和報(bào)告等提出相關(guān)建5測試集5.1測試語料設(shè)計(jì)b)對(duì)于中小詞匯量（系統(tǒng)所能識(shí)別的詞匯量在128~1023之間的系統(tǒng)c)對(duì)于大中詞匯量（系統(tǒng)所能識(shí)別的詞匯量大），d)對(duì)在詞匯、語法、語義等受到限制的連續(xù)語音，宜充分考慮句型、詞匯、語義等的覆蓋性；T/ISC0034—202335.2測試語音錄制宜建立語音識(shí)別標(biāo)準(zhǔn)庫。標(biāo)準(zhǔn)庫建立宜參考GB/T21023-2007的要求開展，通過專業(yè)錄音麥克風(fēng)在消音室環(huán)境下組織錄制人員錄制，測試語音a)說話人的選擇宜在符合系統(tǒng)對(duì)說話人限制的條件下，盡可能選擇具有代表性和統(tǒng)計(jì)分布規(guī)律b)測試語音的發(fā)音人宜為30個(gè)人以上，每人發(fā)音測試語料中的一組或多組語料，不同發(fā)音人宜）；語音識(shí)別標(biāo)準(zhǔn)庫被測系統(tǒng)測評(píng)指標(biāo)計(jì)算識(shí)別結(jié)果導(dǎo)出被測系統(tǒng)連續(xù)語音識(shí)別的測評(píng)可采用基于語音識(shí)別標(biāo)準(zhǔn)庫或基于現(xiàn)場口呼的方式進(jìn)行?；谡Z音識(shí)別標(biāo)準(zhǔn)測試和基于現(xiàn)場口呼的測試環(huán)境為混響環(huán)境。測評(píng)時(shí)依實(shí)際情況選擇語音識(shí)別標(biāo)準(zhǔn)庫或現(xiàn)場口呼的方相關(guān)測評(píng)指標(biāo)并輸出測評(píng)報(bào)告。連續(xù)語音識(shí)別測評(píng)基本流程如圖1語音識(shí)別標(biāo)準(zhǔn)庫被測系統(tǒng)測評(píng)指標(biāo)計(jì)算識(shí)別結(jié)果導(dǎo)出被測系統(tǒng)提取語音文件高保真設(shè)備回放測評(píng)報(bào)告輸出現(xiàn)場口呼基于語音識(shí)別標(biāo)準(zhǔn)庫測試指采用錄制的語音數(shù)據(jù)對(duì)被測系統(tǒng)進(jìn)行直接或間接的測試，被測系統(tǒng)至a)直接測試指利用被測系統(tǒng)帶有的應(yīng)用程序輸入/輸出接口，直接利用語音識(shí)別標(biāo)準(zhǔn)庫中的語音b)間接測試指測評(píng)系統(tǒng)利用高保真回放設(shè)備把語音識(shí)別標(biāo)準(zhǔn)庫中的語音通過雙方認(rèn)可的方式輸T/ISC0034—20234現(xiàn)場口呼測試在參考5.1和5.2的基礎(chǔ)上，還宜對(duì)現(xiàn)場操作b)全部發(fā)音人測試結(jié)束后，統(tǒng)一按照性能標(biāo)準(zhǔn)進(jìn)行指標(biāo)評(píng)估，評(píng)估至少有兩個(gè)人以上參與；ErrorRate:WER），類似的語種還有俄語、維語等。中文存在分詞歧義的問題，因此一般統(tǒng)計(jì)字），T/ISC0034—2023語音識(shí)別測評(píng)后提交標(biāo)準(zhǔn)測評(píng)報(bào)告。報(bào)告宜由以下幾部1)被測系統(tǒng)所能處理的詞匯量等2)被測系統(tǒng)所能識(shí)別的說話人人群的具體限制及適用范圍；3)被測系統(tǒng)所屬領(lǐng)域及應(yīng)用場景相關(guān)說明，包括特定領(lǐng)域和應(yīng)用場景的語料設(shè)計(jì)說明；4)被測系統(tǒng)麥克風(fēng)與說話人的距離限制，麥克風(fēng)性能要求，支持的A/D轉(zhuǎn)換精度和采樣率b)按照GB/T21023-2007語音識(shí)別標(biāo)準(zhǔn)庫c)按照第7章定義的指標(biāo)，給出各測試語音識(shí)別d)測評(píng)過程的情況記錄，采用的測試方法及運(yùn)行過程的流暢性；T/ISC0034—2023當(dāng)語音錄制無法滿足各領(lǐng)域測評(píng)需求時(shí)，可通過對(duì)真實(shí)業(yè)務(wù)語音數(shù)據(jù)進(jìn)行采集和標(biāo)注來建立測試集。測試集內(nèi)容需要保證一定的詞匯量覆蓋和領(lǐng)域覆蓋，常見領(lǐng)域示例a)智能家電：包含智能音箱、智能電視、掃地機(jī)器人、陪伴機(jī)器人、可視門鈴、智能門鎖、智含“啟動(dòng)”，“打開”，“關(guān)閉”，“返回”，“確認(rèn)”，“調(diào)大”，“調(diào)小”等；b)娛樂直播：包含游戲直播，帶貨直播，線上KTV，語聊房，短/長視頻等泛娛樂內(nèi)容審核和語e)智能教育：包含一對(duì)一&一對(duì)多在線或線下課堂，涉及ASR的場景主要集中在口語測評(píng)和跟放”，“搜索”，“天氣”，“地址”，