粵語智能語音服務(wù)系統(tǒng)技術(shù)要求

1T/XXXX—XXXX本文件規(guī)定了粵語智能語音服務(wù)系統(tǒng)的功能要求、性能要求以及服務(wù)要求。本文件適用于使用粵語的智能客服領(lǐng)域及相關(guān)業(yè)務(wù)平臺實現(xiàn)粵語智能語音服務(wù)系統(tǒng)的設(shè)計、開發(fā)、應(yīng)用、測試和維護(hù)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款，其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.29-2006信息技術(shù)詞匯第29部分:人工智能語音識別與合成GB/T21023-2007中文語音識別系統(tǒng)通用技術(shù)規(guī)范GB/T21024-2007中文語音合成系統(tǒng)通用技術(shù)規(guī)范GB/T36464.3-2018信息技術(shù)智能語音交互系統(tǒng)第3部分：智能客服3術(shù)語和定義GB/T5271.29-2006以及GB/T21024-2007界定的術(shù)語和定義適用于本文件。4系統(tǒng)功能要求4.1系統(tǒng)功能構(gòu)成系統(tǒng)應(yīng)包含語音識別、語音合成、文本處理等服務(wù)組件，并具備對系統(tǒng)服務(wù)支撐、管理和運行監(jiān)控等功能。4.2語音識別服務(wù)4.2.1一般要求語音服務(wù)應(yīng)能實現(xiàn)下列功能：.關(guān)鍵詞語音識別；.連續(xù)語音識別；.數(shù)字識別；.多語種語音識別，一般包括漢語、英語；.方言的確差異語音識別；.針對特定方言進(jìn)行模型定制；.對待識別音頻的有效語音進(jìn)行前后端點檢測，從連續(xù)音頻流分離出有效語音；.對識別的音頻進(jìn)行干擾聲抑制，提高語音識別準(zhǔn)確率；.說話人識別；.混合語言識別。4.2.2專業(yè)要求2T/XXXX—XXXX除一般要求外，語音識別服務(wù)還應(yīng)依據(jù)不同地區(qū)的實際需求，提供以下功能：.自定義熱詞，并在語音識別中生效；.通用要素詞匯的語音識別優(yōu)化和個性化要素詞匯的語音識別拓展；.對呼叫中心的錄音或?qū)崟r對話內(nèi)容進(jìn)行語音識別，幫助呼叫中心快速發(fā)現(xiàn)服務(wù)中的問題；.根據(jù)實時語音識別內(nèi)容進(jìn)行客群畫像。4.3語音合成服務(wù)語音合成服務(wù)應(yīng)能實現(xiàn)下列功能：.多語種語音合成，一般包括漢語、英語等；.多方言語音合成，針對廣東不同地區(qū)粵語特點進(jìn)行語音合成；.多音色語音合成，一般包括青年男聲、青年女聲等，支持定制個性化音色語音合成。.按照指定的文本分詞方式或發(fā)音方式進(jìn)行語音合成。4.4文本處理服務(wù)文本處理服務(wù)應(yīng)能實現(xiàn)下列功能：.從文本中正確處理簡稱、別稱、代碼、數(shù)字以及典型錯別詞；.對符合預(yù)設(shè)格式的文本語義進(jìn)行抽取和結(jié)構(gòu)化處理，包括但不限于概念間語義理解（上下位關(guān)系理解）、部分整體關(guān)系理解、地理位置關(guān)系理解、因果關(guān)系理解、時序關(guān)系理解、近義關(guān)系理解；.從文本中提取服務(wù)要素，對照相應(yīng)的標(biāo)準(zhǔn)化要素信息庫進(jìn)行比對修正。4.5服務(wù)支撐系統(tǒng)服務(wù)支撐應(yīng)能實現(xiàn)下列功能：.可支持電話、網(wǎng)站、app等全渠道平臺覆蓋；.支持用戶體驗各類服務(wù)的應(yīng)用效果；.實現(xiàn)客服隊列調(diào)度及坐席分配，基于策略模型做到智能分流與智能分發(fā)；.為人工坐席提供話術(shù)推薦、業(yè)務(wù)指導(dǎo)與應(yīng)答提示等功能。4.6服務(wù)管理系統(tǒng)服務(wù)管理應(yīng)能實現(xiàn)下列功能：.對用戶進(jìn)行管理，支持用戶信息新增、修改和刪除等操作；.對服務(wù)進(jìn)行分類授權(quán)，支持限制其訪問服務(wù)類型、次數(shù)、使用期限；.對服務(wù)進(jìn)行認(rèn)證鑒權(quán)，符合用戶身份認(rèn)證體系要求。4.7運行監(jiān)控.支持對各服務(wù)組件全生命周期的運行狀態(tài)進(jìn)行監(jiān)控管理；.支持對服務(wù)次數(shù)、服務(wù)時間、服務(wù)高峰期、用戶使用總量等指標(biāo)進(jìn)行統(tǒng)計；.對系統(tǒng)服務(wù)的錄音或?qū)崟r對話內(nèi)容進(jìn)行語音分析，幫助快速發(fā)現(xiàn)服務(wù)中的問題；.根據(jù)業(yè)務(wù)需求人工增加、刪除、修改客服系統(tǒng)服務(wù)的提示用語；.提煉系統(tǒng)服務(wù)過程中的高績效優(yōu)質(zhì)話術(shù)，實現(xiàn)服務(wù)營銷策略推薦，幫助客服銷售人員復(fù)盤，對客戶溝通相關(guān)的話術(shù)、方式及策略給予指導(dǎo)。3T/XXXX—XXXX5系統(tǒng)性能要求5.1概述語音識別性能主要通過字準(zhǔn)確率、數(shù)字語音識別正確率、語音端點檢測正確率、語義理解正確率、語音交互成功率和語音識別平均響應(yīng)時間等指標(biāo)進(jìn)行評價；語音合成性能主要通過語音合成質(zhì)量進(jìn)行評價。5.2性能評價項5.2.1字準(zhǔn)確率字準(zhǔn)確率應(yīng)符合以下要求：.在低噪環(huán)境（噪聲強(qiáng)度在50dB以下）中，關(guān)鍵詞語音識別的字正確率宜在85％以上；在高噪環(huán)境（噪聲強(qiáng)度在60dB~65dB）中，關(guān)鍵詞語音識別的字正確率宜在85％以上。.在低噪環(huán)境（噪聲強(qiáng)度在50dB以下）中，連續(xù)語音識別的字正確率宜在85%以上；在高噪環(huán)境（噪聲強(qiáng)度在60dB~65dB）中，連續(xù)語音識別的字正確率宜在85％以上。5.2.2數(shù)字語音識別正確率數(shù)字語音識別正確率應(yīng)在99％以上。5.2.3語音端點檢測正確率語音端點檢測正確率應(yīng)為一段音頻中每一幀被標(biāo)注為語音幀或靜音幀的正確率，當(dāng)語音幀或靜音幀的標(biāo)準(zhǔn)結(jié)果和判斷結(jié)果相一致時，則該幀分類正確。語音端點檢測正確率的計算方法見式（1）。式中：CRVAD——語音端點檢測正確率；CVAD——對于該段音頻，分類正確的幀數(shù)；SVAD——音頻總幀數(shù)。5.2.4語義理解正確率語義理解能力經(jīng)過不同知識背景、不同年齡的多人、多輪次測試，客觀測試準(zhǔn)確率應(yīng)達(dá)到95％以上，主觀測試準(zhǔn)確率應(yīng)達(dá)到85％以上。語義理解正確率計算方式見式（2）。Rss=X100％............................................................................(2)式中：RSS——語義理解正確率，%;NSS——操作意圖及語義要素均被正確判斷的次數(shù)；N——輸入被正確識別出文本信息的總次數(shù)，或輸入正確文本的總次數(shù)。5.2.5語音交互成功率4T/XXXX—XXXX系統(tǒng)的交互過程中，用戶能夠在既定交互輪次內(nèi)獲得目標(biāo)結(jié)果，即可判定為本輪交互成功；反之則判定為本輪交互失敗。語音交互成功率應(yīng)在80％以上。交互成功率的計算方法見式（3）。PS=X100％.......................................................................式中：PS——交互成功率；S——交互成功的次數(shù)；F——交互失敗的次數(shù)。5.2.6語音識別平均響應(yīng)時間語音識別平均響應(yīng)時間的計算應(yīng)符合GB/T21023—2007中5.3的要求。5.2.7語音合成質(zhì)量語音合成質(zhì)量通過對合成語音同真人語音在音質(zhì)和自然度等方面的差異進(jìn)行主觀評測，采用平均意見得分進(jìn)行計算。主觀評測標(biāo)準(zhǔn)見表1。表1主管評測標(biāo)準(zhǔn)評分測定效果5優(yōu)秀，語音自然，音色接近真實4較好，僅能察覺若干不自然3尚可，能察覺到不自然但可以接受，評分分界線2較差，明顯察覺不自然并不愿意接受1極差，無法接受5.3性能評價要求按照5.2給出的評價項，根據(jù)各業(yè)務(wù)需要，挑選不低于1000條語料形成測試集，對系統(tǒng)性能進(jìn)行評價。系統(tǒng)性能指標(biāo)要求見表2。表2平臺性能評價要求語言類型評價項5T/XXXX—XXXX普通話表2（續(xù)）粵語英語6系統(tǒng)服務(wù)要求6.1系統(tǒng)服務(wù)流程各部門根據(jù)自身需要調(diào)用系統(tǒng)，實現(xiàn)語音識別、語音合成和文本處理等功能。6.2系統(tǒng)數(shù)據(jù)輸入在系統(tǒng)輸入的數(shù)據(jù)包括語音數(shù)據(jù)和文本數(shù)據(jù)，其中：.語音數(shù)據(jù)：用戶在語音采集端以說話的形式輸入語音；.文本數(shù)據(jù)：用戶在系統(tǒng)上輸入的文本資料。6.3系統(tǒng)服務(wù)輸出系統(tǒng)將語音識別、語音合成和文本處理結(jié)果返回系統(tǒng)儲存。7測試方法7.1概述測試方法的評價方式如下：a）系統(tǒng)測試分為機(jī)器測試和人工測試，其中：1）機(jī)器測試指應(yīng)用機(jī)器系統(tǒng),利用事先準(zhǔn)備好的測試數(shù)據(jù)進(jìn)行系統(tǒng)測試。2)人工測試指由不同知識水平、不同年齡階段的測試人員完成的人工測試。b）評價方式分為客觀測試方式和觀測試方式,其中：1）容觀測試方式,指事先定義好問題列表(可以是語音表達(dá)的問題，也可以是文字表達(dá)的問題)，并已經(jīng)知道每個問題對應(yīng)的答案。測試樣本所涉及的語法、語料經(jīng)過后臺系統(tǒng)學(xué)習(xí)后的測試。2）主觀測試方式,指事先不進(jìn)行問題列表定義，由測試者根據(jù)對測試場景、目的主觀理解進(jìn)行測試，目的是測試系統(tǒng)功能是否適應(yīng)不同學(xué)歷背景、不同年齡段的人群使用。測試結(jié)果由測試者主觀進(jìn)行評價。6T/XXXX—XXXX可以針對智能客服語音交互系統(tǒng)分模塊進(jìn)行測試,如單獨進(jìn)行語音識別、語音合成語義理解、智能搜索、維護(hù)能力測試;也可以針對人機(jī)交互全流程進(jìn)行測試．即不單獨考慮語音識別或語義理解的淮確率,只判別人機(jī)交互準(zhǔn)確成功的測試。7.2測試數(shù)據(jù)準(zhǔn)備7.2.1測試數(shù)據(jù)分類測試數(shù)據(jù)分為兩類：a）文本類型測試數(shù)據(jù)，指覆蓋智能客服服務(wù)范圍的文本類型信息的測試數(shù)據(jù),包含關(guān)鍵詞、問題文本和答案等。b）語音類型測試數(shù)據(jù),指針對覆蓋智能客服服務(wù)范用的文本類型信息的測試數(shù)據(jù)，選取不同性別、年齡、知識背景的測試人員正常發(fā)音的中文普通話語音數(shù)據(jù)，包含關(guān)鍵詞、問題文本的語音數(shù)據(jù)。7.2.2測試數(shù)據(jù)要求測試數(shù)據(jù)要求如下：a）為驗證智能容服的服務(wù)能力、智能水平、系統(tǒng)的易用性和可維護(hù)性，應(yīng)事先針對服務(wù)內(nèi)容和服務(wù)領(lǐng)城定義文本形式的問題、對應(yīng)答案等；測試語料應(yīng)從客服系統(tǒng)服務(wù)內(nèi)容的詞匯量覆蓋、已定義業(yè)務(wù)覆蓋、開放業(yè)務(wù)覆蓋以及常用性角度加以設(shè)計；b）測試語料宜覆蓋針對數(shù)字及字母的語料；c)對于關(guān)鍵詞識別的系統(tǒng),測試語料應(yīng)覆蓋典型業(yè)務(wù)場景的標(biāo)淮詞匯，宜覆蓋服務(wù)業(yè)務(wù)的所有詞匯,測試語料規(guī)模應(yīng)不少手500句；d)為實現(xiàn)系統(tǒng)測試的可再現(xiàn)性，比較不同系統(tǒng)之間的服務(wù)能力,宜提前錄制準(zhǔn)備測試交互場景定義、對應(yīng)語音數(shù)據(jù)(包含對應(yīng)識別結(jié)果標(biāo)準(zhǔn)數(shù)據(jù)、理解搜索結(jié)果標(biāo)淮數(shù)據(jù))和環(huán)境噪聲數(shù)據(jù)，形成測試標(biāo)準(zhǔn)庫，且測試語料、發(fā)音人以及噪音環(huán)境等設(shè)計應(yīng)保證與實際應(yīng)用場景的一致性；e）智能客服語音交互的測試數(shù)據(jù)應(yīng)具備對人機(jī)交互系統(tǒng)定義的垂直類問題進(jìn)行測試的音頻、背景噪音音頻、文本問題列表和答案列表等：f）對于連續(xù)語音識別的智能客服語音交互系統(tǒng)-測試語料應(yīng)覆蓋被測系統(tǒng)的常用詞匯量,應(yīng)從常用性角度挑選典型語料，每種開放業(yè)務(wù)的測試語料規(guī)模應(yīng)不少于500句；g)測試錄音的說話人的選擇應(yīng)在符合系統(tǒng)對交互人群要求的前提下,選擇具有代表性和統(tǒng)計分布規(guī)律的發(fā)音人，應(yīng)考慮中文普通話、不同年齡、不同性別、不同語速的測試，可考慮不同口音、不同教育背景和不同說話韻律等因素；h）錄音人數(shù)應(yīng)不低于60人，應(yīng)至少分老、中、青三個年齡組，分別為60歲以上、20歲~60歲、20歲以下，進(jìn)行錄音及人工測試。各發(fā)音人應(yīng)分別錄制全部的測試語料。7.2.3錄音過程要求錄制過程應(yīng)包括錄音、標(biāo)注和確認(rèn)三個步驟。7.2.4錄音設(shè)備要求錄音設(shè)備應(yīng)符合GB/T36464.3-2018《信息技術(shù)智能語音交互系統(tǒng)第3部分:智能客服》6.2.4的要求。7.2.5環(huán)境噪聲數(shù)據(jù)錄制7T/XXXX—XXXX環(huán)境噪聲應(yīng)符合合GB/T36464.3-2018《信息技術(shù)智能語音交互系統(tǒng)第3部分:智能客服》6.2.5的要求。7.3測試方法7.3.1概述應(yīng)采用機(jī)器和人工的方式,分別按照測試語料要求進(jìn)行客觀測試,判別系統(tǒng)返回結(jié)果是否與事先定義的結(jié)果一致。可采用機(jī)器和人工的方法，按照定義的場景進(jìn)行主觀測試，綜合兩種測試方法的結(jié)果對被測系統(tǒng)進(jìn)行主觀評價。7.3.2不同語音交互環(huán)境的測試不同交互環(huán)境的測試應(yīng)按如下要求：a）分為實驗室噢音背景下的測試，實際環(huán)境測試，在實際環(huán)境測試中，需記錄測試環(huán)境情況，并用測量儀器測量當(dāng)時環(huán)境噪音強(qiáng)度、信噪比；b)在一定時間內(nèi)記錄返回語音服務(wù)結(jié)果,記錄當(dāng)次語音交互會話是否成功和有效：c）分別在表2三種噪聲環(huán)境下按上述a)、b）步驟完成所有語料的測試,并按式(3)分別計算三種噪聲環(huán)境下的語音交互成功率(保留兩位小數(shù)點)。7.3.3語音識別測試在7.2.5規(guī)定的測試環(huán)境場景下，使用回放設(shè)備播放語音識別測試語料，或人工進(jìn)行測試語料的輸人，記錄低噪環(huán)境(噪聲強(qiáng)度在50dB以下)及高噪環(huán)境(噪聲強(qiáng)度在60dB~65dB)下智能客服的識別結(jié)果，與預(yù)期結(jié)果進(jìn)行比對,統(tǒng)計結(jié)果并給出正確率。使用以上測試方法，測試驗證被測系統(tǒng)是否滿足5.2.1以及5.2.2的要求。7.3.4語音合成測試語音合成測試采用平均意見得分的測試方式進(jìn)行評價。選取30個體驗人員，男女各15人,通過對智能客服語音合成結(jié)果的反饋,測聽合成語音同真人語音在音質(zhì)、可懂度和自然度等方面的差異,并以平均意見得分對主觀測評進(jìn)行數(shù)值量化，記錄平均結(jié)果。使用以上測試方法,測試驗證被測系統(tǒng)是否滿足4.3