《智能語音電子設備互聯互通評價技術規(guī)范》編制說明

《智能語音電子設備互聯互通評價技術規(guī)范》團體標準編制說明《智能語音電子設備互聯互通評價技術規(guī)范》標準制定工作組二零二四年一月工作簡況任務來源隨著互聯網的迅猛發(fā)展，互聯網和電子電器領域的企業(yè)紛紛建立了自己的智能家居開放互聯互通平臺。但由于缺少統(tǒng)一的行業(yè)標準，各平臺間無法實現快速兼容，智能語音交互功能實際效果的良莠不齊也阻礙了智能家居行業(yè)的良性發(fā)展。針對行業(yè)痛點和市場需求，本標準提出了智能語音電子設備互聯互通評價技術規(guī)范。目前，國內外智能產品企業(yè)已從智能語音需求出發(fā)，快速步入了全新的技術融合階段，整合多模式識別、大數據、物聯網、云服務等技術，形成綜合技術解決方案，多維度觸達行業(yè)核心需求，提供標準化行業(yè)解決方案成為智能語音服務商的破局之道。隨著智能語音的不斷發(fā)展，國內外的各個廠家均開始從不同維度布局智能語音相關的產業(yè)鏈。國外企業(yè)以谷歌和蘋果為例，谷歌打造開發(fā)者生態(tài)鏈，推出GoogleHome，試圖建立物聯網時代安卓系統(tǒng)。而蘋果基于智能硬件定標準，做平臺、獲數據，重視物聯網時代生態(tài)控制權。國內的科技巨頭則是通過開放語音生態(tài)系統(tǒng)，以產業(yè)內合作的方式，將語音技術植入產品和或應用于相關業(yè)務場景，構建全產業(yè)生態(tài)鏈廠。在廣州超高清視頻產業(yè)促進會的指導下，工業(yè)和信息化部電子第五研究所成立專門的標準工作小組起草《智能語音電子設備互聯互通評價技術規(guī)范》團體標準。本規(guī)范規(guī)定了智能語音電子設備的互聯互通性能及語音交互性能的評價方法。適用于單相設備額定電壓不超過250V，其他設備額定電壓不超過480V的應用了網絡技術的具備語音交互功能的智能語音電子設備和類似用途電器。工業(yè)和信息化部電子第五研究所、科大訊飛華南有限公司、科大訊飛華南人工智能研究院（廣州）有限公司、華南理工大學、廣州市新能源智能汽車發(fā)展促進會主要起草單位及起草人序號標準起草單位起草人備注1工業(yè)和信息化部電子第五研究所黃林軼、韋勝鈺、劉斌輝、蔡佳、趙凱、童國煒、劉惟凡、黃璇、周循道等負責標準制定工作，資料查詢、標準正文及編制說明草案、方法驗證、組織協(xié)調等工作。2廣州超高清視頻產業(yè)促進會/負責標準制定工作，資料查詢、標準正文及編制說明草案、方法驗證、組織協(xié)調等工作。3科大訊飛華南有限公司黃飛云，杜軼鋒，葉國偉等參與資料查詢、標準正文及編制說明草案修改、方法驗證等工作。4科大訊飛華南人工智能研究院（廣州）有限公司周國華，程大龍，杜倩云等參與資料查詢、標準正文及編制說明草案修改、方法驗證等工作。5華南理工大學邢曉芬等參與資料查詢、標準正文及編制說明草案修改、方法驗證等工作。6廣州市新能源智能汽車發(fā)展促進會柯研等參與資料查詢、標準正文及編制說明草案修改、方法驗證等工作。主要工作過程1、提案立項階段（2024年1月——2024年2月初）由工業(yè)和信息化部電子第五研究所牽頭，確定標準提案后，公開征集標準參編單位，成立標準起草小組，組織標準編制和協(xié)調工作，并收集和分析國內外相關標準和技術資料。2、預研起草階段（2024年2月）收集各類代表性文獻，征集專業(yè)資料，對技術指標和方法進行充分調查研究，并進行試驗驗證，確定相關技術指標及參數，形成標準草案。3、征求意見階段（2024年2月——2024年3月初）標準編制小組內部討論和廣泛征求全行業(yè)意見，匯總和處理反饋意見，修訂文稿。4、審查、報批階段（2024年3月）針對公開征求意見，標準小組對標準草案進行進一步修改完善，并形成標準送審稿。標準的編制原則和依據本標準編制遵循“統(tǒng)一性、實用性、一致性和規(guī)范性”的原則，盡可能的與國際通行標準接軌，注重標準的適用行和可操作性。本標準嚴格按照GB/T1.1-2020《標準化工作導則第一部分：標準化文件的結構和起草規(guī)則》的規(guī)定編制起草；充分考慮到本行業(yè)的發(fā)展現狀與特點，將技術限量指標控制在一個適宜的范圍與程度,從而提高標準貫徹實施的可操作性。本標準為首次制訂，沒有現行的相關國家、行業(yè)標準，使該標準在較長時間內，具有一定的先進性和前瞻性。標準的主要內容、技術論證與效果3.1標準的主要內容本標準規(guī)定了智能語音電子設備互聯互通評價技術的范圍、規(guī)范性引用文件、術語和定義、規(guī)格、技術要求、測試方法、標志、包裝、運輸、貯存。3.2技術指標測試項目滿分值得分指標取得分值分值比例合計分值配網成功率100λ≥90%10020%80%≤λ<90%8070%≤λ<80%6060%≤λ<70%40λ<60%判定不合格通信成功率100β≥95%10020%90%≤β<95%9080%≤β<90%7070%≤β<80%50β<70%判定不合格響應時間100參考5.6中的表320%重新聯機成功率100S≥90%10020%80%≤S<90%8070%≤S<80%60S<70%20總輻射功率和總全向靈敏度100參考5.8中的表4、表5總輻射功率和總全向靈敏度的得分值相加20%測試項目滿分值得分指標取得分值分值比例合計分值配網成功率100λ≥90%10015%80%≤λ<90%8070%≤λ<80%6060%≤λ<70%40λ<60%判定不合格互聯功能完整率100α≥80%10025%60%≤α<80%8040%≤α<60%5020%≤α<40%30α<20%判定不合格通信成功率100β≥95%10015%90%≤β<95%9080%≤β<90%7070%≤β<80%50β<70%判定不合格響應時間100參考5.6中的表315%重新聯機成功率100S≥90%10015%80%≤S<90%8070%≤S<80%60S<70%20總輻射功率和總全向靈敏度100參考5.8中的表4、表5總輻射功率和總全向靈敏度的得分值相加15%測試項目滿分值得分指標取得分值分值比例合計分值遠場語音識別能力100具備遠場語音接收功能10020%不具備遠場語音接收功能，需通過遙控器、手機等其他硬件作為語音接收媒介80低噪環(huán)境下語音喚醒準確率100Prl≥95%10020%95%＞Prl≥90%9090%＞Prl≥85%8090%＞Prl≥80%60Prl＜80%40高噪環(huán)境下語音喚醒準確率100Prh≥90%10020%90%＞Prh≥85%9085%＞Prh≥80%8080%＞Prh≥75%60Prh＜75%40誤喚醒率100Pw≤3次/24小時10020%5次/24小時≤Pw＜3次/24小時808次/24小時≤Pw＜5次/24小時60Pw＞8次/24小時20交互拒識率100Pf≤10%10020%10%＜Pf≤15%8015%＜Pf≤20%60Pf＞20%203.3測試方法3.1通信安全3.2電氣安全3.3配網成功率將設備置于通信信號良好的環(huán)境下并配網完成后，對設備進行以下測試：按照廠商提供的說明書進行配網并完成設備綁定，完成綁定后記為配網成功，在成功綁定后進行設備解綁。重復以上操作，則配網成功率。3.4互聯功能完整率將設備置于通信信號良好的環(huán)境下并配網完成后，對設備進行以下測試：使用公共控制終端對設備進行控制，同時可以在公共控制終端和廠商控制終端上實現的功能被稱為互聯功能，將原廠商的控制終端功能數目與公共控制終端功能數目進行對比，得到互聯功能完整率。3.5通信成功率將設備置于通信信號良好的環(huán)境下并配網完成后，對設備進行以下測試：使用控制終端對設備進行控制，對設備控制終端上提供的所有功能進行通信成功率測試，從控制終端發(fā)出控制命令后，可以觸發(fā)設備做出正確的響應，則通信成功。3.6響應時間將設備置于通信信號良好的環(huán)境下并配網完成后，對設備進行以下測試，并根據表3進行評分：(1)使用廠商控制終端對設備進行控制，從發(fā)出指令開始計時，到觸發(fā)設備響應停止計時，每個功能重復測試10次，計算出每個功能的平均耗時，若單個功能的平均耗時均不大于2s，則為符合要求的功能。(2)使用公共控制終端對設備進行控制，從發(fā)出指令開始計時，到觸發(fā)設備響應停止計時，每個功能重復測試10次，計算出每個功能的平均耗時，若單個功能的平均耗時均不大于3s，則為符合要求的功能。(3)公共控制終端停留在設備狀態(tài)界面，從使用廠商控制終端發(fā)出指令開始計時，到公共控制終端的設備狀態(tài)發(fā)生變化停止計時，每個互聯功能重復測試10次，計算出每個功能的平均耗時，若單個功能的平均耗時均不大于5s，則為符合要求的功能。3.7重新聯機成功率將設備置于通信信號良好的環(huán)境下并配網完成后，對設備進行以下測試：將設備成功配網后進行斷電操作，若設備重新上電后，在控制終端的設備列表中再次上線，則重新聯機成功。3.8總輻射功率和總全向靈敏度以設備主要的通訊方式為依據進行分類。主要通訊方式為WIFI的設備，其總輻射功率（TRP）和總全向靈敏度（TIS）應達到相應的等級要求，不同等級得分不同。.9遠場語音識別能力在低躁條件下，將智能語音電子設備調至待命狀態(tài)，在距離待測設備3m處使用回放設備播放10條語音識別測試語料，記錄被測系統(tǒng)是否給出正確響應，計算語音響應準確率。3.10低噪環(huán)境下語音喚醒準確率在低噪測試環(huán)境下，將智能語音電子設備調至待命狀態(tài)，在距離待測設備1m處使用回放設備20條播放條語音喚醒測試語料，記錄被測系統(tǒng)是否給出正確響應。3.11高噪環(huán)境下語音喚醒準確率在高噪測試環(huán)境下，將智能語音電子設備調至待命狀態(tài)，在距離待測設備1m處使用回放設備播放條語音喚醒測試語料，記錄被測系統(tǒng)是否給出正確響應。3.12誤喚醒率誤喚醒測試：將智能語音電子設備被測系統(tǒng)調至待命狀態(tài)，在距離待測設備1m處使用回放設備播放語音誤喚醒測試語料，測試時長為24h，記錄被測系統(tǒng)被誤喚醒的次數，統(tǒng)計誤喚醒頻度。誤喚醒測試集包含6小時電視節(jié)目，6小時新聞節(jié)目，6小時人聲對話（可選擇談話節(jié)目模擬），6小時音樂播放。3.13交互拒識率3.13.1交互方式智能語音電子設備宜實現多輪語音交互，即通過兩輪及兩輪以上的對話完成一個任務。3.13.2交互拒識率定義交互拒識率是指在智能語音電子設備在語音交互過程中，交互目的不能夠在既定交互輪次內完成，被判定為交互失敗的測試比率。5.13.3交互拒識率測試方法在低噪環(huán)境下，將智能語音電子設備調至待命狀態(tài)，使用回放設備在1m拾音距離內播放語音識別測試語料，記錄當次語音交互會話是否成功和有效，計算各測試場景下的語音交互拒識率。與有關的現行法律、法規(guī)和國家、行業(yè)標準的關系本標準符合現行相關法律、法規(guī)、規(guī)章及相關標準要求。對于智能語音電子設備互聯互通評價技術，無對應的國際標準或國外先進標準，無相關的國家或行業(yè)標準。