YDT 4394.5-2023自然語言處理技術(shù)及產(chǎn)品評估方法 第5部分：智能客服系統(tǒng)

ICS35.240

CCSL67

YD

中華人民共和國通信行業(yè)標(biāo)準(zhǔn)

YD/T××××—××××

自然語言處理技術(shù)及產(chǎn)品評估方法

第5部分：智能客服系統(tǒng)

Naturallanguageprocessingtechnologyandproductevaluationmethod

—Part5:intelligentcustomerservicesystem

（報批稿）

××××-××-××發(fā)布××××-××-××實施

中華人民共和國工業(yè)和信息化部發(fā)布

YD/T××××—××××

前言

本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》

給出的規(guī)定起草。

本文件是《自然語言處理技術(shù)及產(chǎn)品評估方法》系列標(biāo)準(zhǔn)之一，該系列標(biāo)準(zhǔn)的結(jié)構(gòu)和名

稱如下：

——第1部分：基礎(chǔ)服務(wù)平臺；

——第2部分：對話系統(tǒng)；

——第3部分：智能翻譯機(jī)；

——第4部分：機(jī)器同傳系統(tǒng)；

——第5部分：智能客服系統(tǒng)；

——第6部分：客服質(zhì)檢系統(tǒng)。

請注意本文件的某些內(nèi)容可能涉及專利，本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任。

本文件由中國通信標(biāo)準(zhǔn)化協(xié)會提出并歸口。

本文件起草單位：中國信息通信研究院、南京新一代人工智能研究院有限公司、深圳市

騰訊計算機(jī)系統(tǒng)有限公司、北京百度網(wǎng)訊科技有限公司、北京中科匯聯(lián)科技股份有限公司、

北京聲智科技有限公司、思必馳科技股份有限公司、中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司、科大

訊飛股份有限公司、上海智臻智能網(wǎng)絡(luò)科技股份有限公司、中國移動通信集團(tuán)有限公司、中

國電信集團(tuán)有限公司、北京理工大學(xué)。

本文件主要起草人：張學(xué)強(qiáng)、董曉飛、張丹、王浩、曹峰、陸鐵文、胡嘉璇、王品、孫

叔琦、耿彪、吳華、李笑如、游世學(xué)、吳金妹、陳孝良、李良斌、龍夢竹、陳輝龍、繆慶亮、

包景全、李培、王建成、葉靜、何永春、程鳴、陳喆、白翠琴、李強(qiáng)、張偉、楊陽、趙龍剛、

楊震、孫佩霞、屈少杰。

II

YD/T××××—××××

引言

0.1編制目的及標(biāo)準(zhǔn)結(jié)構(gòu)

智能客服是指基于自然語言處理、語音識別、語音合成等人工智能核心技術(shù)，通過單輪

或多輪對話識別用戶問題的語義，并依靠所維護(hù)的后臺知識庫及接口組件實現(xiàn)智能問答的客

戶服務(wù)形式。過去近十年，移動互聯(lián)、云計算、大數(shù)據(jù)和人工智能等技術(shù)的發(fā)展將傳統(tǒng)呼叫

中心和客服行業(yè)帶入了軟件即服務(wù)和智能化時代。一方面，全新軟件即服務(wù)模式使得企業(yè)搭

建客服中心的成本大大降低，產(chǎn)品功能更加豐富，應(yīng)用場景也從服務(wù)延伸到了銷售、營銷、

售后等多個環(huán)節(jié)；另一方面，智能客服通過輔助人工以及回答簡單的重復(fù)性問題，大大提高

了人工客服的工作效率。為引導(dǎo)智能客服產(chǎn)業(yè)健康發(fā)展，營造良好的市場環(huán)境，開展智能客

服系統(tǒng)評估標(biāo)準(zhǔn)的制定。

自然語言處理技術(shù)及產(chǎn)品評估方法系列標(biāo)準(zhǔn)由以下六個部分組成。

——第1部分：基礎(chǔ)服務(wù)平臺。目的在于提供詞法分析、句法分析、語義分析等NLP基

礎(chǔ)技術(shù)，可提供情感分析、機(jī)器翻譯、對話系統(tǒng)等NLP應(yīng)用技術(shù)的服務(wù)平臺，從基

礎(chǔ)技術(shù)、應(yīng)用技術(shù)、服務(wù)能力等三個維度對NLP服務(wù)平臺進(jìn)行評估。

——第2部分：對話系統(tǒng)。目的在于集成了對話系統(tǒng)功能的產(chǎn)品或服務(wù)，從對話類型、

對話功能、對話性能、對話體驗四個維度進(jìn)行評估。

——第3部分：智能翻譯機(jī)。目的在于可實現(xiàn)語音輸入、自動翻譯和語音輸出的智能翻

譯機(jī)，從基礎(chǔ)功能、AI核心技術(shù)支持能力、安全性與可靠性和附加業(yè)務(wù)功能等四

個維度對智能翻譯機(jī)進(jìn)行評估。

——第4部分：機(jī)器同傳系統(tǒng)。目的在于提供語音輸入、自動分句、機(jī)器翻譯、語音輸

出或譯文投屏的機(jī)器同傳系統(tǒng)，從基礎(chǔ)功能、AI核心技術(shù)支持能力、工程實現(xiàn)能

力、附加業(yè)務(wù)能力等四個維度對機(jī)器同傳系統(tǒng)進(jìn)行評估。

——第5部分：智能客服系統(tǒng)。目的在于提供語音客服機(jī)器人、文本客服機(jī)器人等多種

產(chǎn)品形態(tài)的智能客服系統(tǒng)，從基礎(chǔ)功能、AI核心技術(shù)支持能力、企業(yè)服務(wù)能力和

系統(tǒng)成熟度等四個維度對智能客服進(jìn)行評估。

——第6部分：客服質(zhì)檢系統(tǒng)。目的在提供人工客服和智能客服的質(zhì)檢系統(tǒng)，從智能語

音、自然語言理解、基礎(chǔ)能力、質(zhì)檢能力四個維度進(jìn)行評估。

本文件是“自然語言處理技術(shù)及產(chǎn)品評估方法”系列文件第5部分：智能客服系統(tǒng)，是

為智能客服系統(tǒng)的研發(fā)者和選型者提供評估參考規(guī)范。

0.2相關(guān)專利情況說明

本文件的發(fā)布機(jī)構(gòu)提請注意，聲明符合本文件時，可能涉及到5和6.3.2中如下2項和

智能客服系統(tǒng)相關(guān)的專利使用。專利名稱如下：

CN201911010911.1，語音合成的評估方法、裝置、電子設(shè)備及可讀存儲介質(zhì)；

CN201810713093.0，用于跨類型對話的方法、裝置、設(shè)備以及計算機(jī)可讀存儲介質(zhì)。

本文件的發(fā)布機(jī)構(gòu)對于該專利的真實性、有效性和范圍無任何立場。

該專利持有人已向本文件的發(fā)布機(jī)構(gòu)承諾，他愿意同任何申請人在合理且無歧視的條款

和條件下，就專利授權(quán)許可進(jìn)行談判。該專利持有人的聲明已在本文件的發(fā)布機(jī)構(gòu)備案，相

III

YD/T××××—××××

關(guān)信息可以通過以下聯(lián)系方式獲得：

專利持有人姓名：北京百度網(wǎng)訊科技有限公司

地址：北京市海淀區(qū)上地十街10號百度大廈2層

請注意除上述專利外，本文件的某些內(nèi)容仍可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識

別這些專利的責(zé)任。

IV

YD/T××××—××××

自然語言處理技術(shù)及產(chǎn)品評估方法

第5部分：智能客服系統(tǒng)

1范圍

本文件規(guī)定了外呼、呼入、語音導(dǎo)航、在線咨詢等智能客服的指標(biāo)和評估方法，主要包

括基礎(chǔ)功能、AI核心技術(shù)支持能力、企業(yè)服務(wù)能力、系統(tǒng)成熟度等四個維度。

本文件適用于指導(dǎo)第三方測評機(jī)構(gòu)開展智能客服系統(tǒng)評估、驗收等工作，同時適用于外

呼、呼入、語言導(dǎo)航、在線智能咨詢系統(tǒng)等多種智能客服產(chǎn)品形態(tài)。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本

適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T5271.28-2001信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)

GB/T21023-2007中文語音識別系統(tǒng)通用技術(shù)規(guī)范

GB/T21024-2007中文語音合成系統(tǒng)通用技術(shù)規(guī)范

GB/T36464.3-2018信息技術(shù)智能語音交互系統(tǒng)第3部分：智能客服

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

客服系統(tǒng)customerservicesystem

企業(yè)為用戶提供客服服務(wù)的系統(tǒng)，傳統(tǒng)上由人工完成客戶服務(wù)的功能。

[來源：GB/T36464.3-2018，3.1]

3.2

智能客服系統(tǒng)intelligentcustomerservicesystem

由語音識別、語義理解、智能搜索、語音合成等部分或全部人工智能技術(shù)能力元素組

成的，具有智能能力的客戶服務(wù)系統(tǒng)。

[來源：GB/T36464.3-2018，3.2]

3.3

自然語言理解naturallanguageunderstanding

通過對功能單元從已傳入的功能單元中的自然語言形式的文本或語音中的提取信息，

并產(chǎn)生對給定文本或語音及其表示的描述。

[來源：GB/T5271.28-2001，28.01.18]

1

YD/T××××—××××

3.4

語音識別speechrecognition

將人類的聲音信號轉(zhuǎn)化為文字或者指令的技術(shù)。

[來源：GB/T21023-2007，3.1]

3.5

語音合成texttospeech

通過機(jī)械的、電子的方法合成人類語言的過程。

[來源：GB/T21024-2007，3.1]

3.6

應(yīng)用編程接口applicationprogramminginterface

預(yù)先定義的函數(shù)，或指軟件系統(tǒng)不同組成部分銜接的約定。

3.7

客戶關(guān)系管理customerrelationshipmanagement

企業(yè)為提高核心競爭力，利用信息技術(shù)和互聯(lián)網(wǎng)技術(shù)提升管理方式，向客戶提供個性化

交互和服務(wù)的過程。

3.8

知識管理knowledgemanagement

對大量有價值的方案、策劃、成果、經(jīng)驗等知識進(jìn)行分類存儲和管理，積累知識資產(chǎn)避

免流失，促進(jìn)知識的學(xué)習(xí)、共享、培訓(xùn)、再利用和創(chuàng)新的技術(shù)。

4縮略語

下列縮略語適用于本文件：

CRM客戶關(guān)系管理CustomerRelationshipManagement

KM知識管理KnowledgeManagement

NLG自然語言生成NaturalLangaugeGeneration

NLP自然語言處理NaturalLanguageProcessing

NLU自然語言理解NaturalLanguageUnderstanding

TTS語音合成TextToSpeech

5智能客服系統(tǒng)框架

智能客服系統(tǒng)與用戶的交互流程見圖1，包含下列步驟：

a)多渠道接入模塊：用戶通過網(wǎng)頁、APP、小程序、公眾號等多種渠道與智能客服產(chǎn)

2

YD/T××××—××××

品建立連接；

b)識別模塊：用戶通過文本、語音、圖片、圖像、表情、自定義消息等多媒體消息與

智能客服系統(tǒng)進(jìn)行溝通，系統(tǒng)將其識別為文本、語義元組或意圖；

c)中控模塊：對文本、語義元組或意圖進(jìn)行分析，并送達(dá)搜索模塊進(jìn)行答案匹配，并

將處理結(jié)果反饋給用戶；

d)智能對話管理及人工客服模塊：在人機(jī)對話過程中綜合應(yīng)用NLU、NLG、TTS等人工

智能技術(shù)。如有系統(tǒng)無法回答問題或提出相關(guān)要求，將交由人工客服進(jìn)行交互；

e)工單管理模塊：無論用戶問題是否得到解決，都將提交至工單管理模塊，用于后續(xù)

問題追溯或質(zhì)量檢查；

f)CRM和KM模塊：客服流程數(shù)據(jù)經(jīng)過處理輸入到CRM系統(tǒng)和KM系統(tǒng)，用于客戶關(guān)系管理

與知識系統(tǒng)維護(hù)、升級和自學(xué)習(xí)；

g)系統(tǒng)運(yùn)營分析模塊：采集埋點數(shù)據(jù)以監(jiān)控智能客服系統(tǒng)的運(yùn)營情況，以達(dá)到控制運(yùn)

營風(fēng)險、管理運(yùn)營對象、評估運(yùn)營績效、為智能客服系統(tǒng)管理者提供決策建議的目

的。

多渠道接入模塊

識別模塊

中控模塊系

統(tǒng)

運(yùn)

營

智能對話管理模塊分

人工客服

析

模塊

NLUNLGTTS語料知識模

庫塊

工單管理模塊

CRM系統(tǒng)KM系統(tǒng)

圖1智能客服產(chǎn)品工作原理

6指標(biāo)及評估方法

6.1通則

本文件從基礎(chǔ)功能、AI核心技術(shù)支持能力、企業(yè)服務(wù)能力和系統(tǒng)成熟度等四個維度對智

能客服系統(tǒng)進(jìn)行評估，表1給出了評估指標(biāo)。

3

YD/T××××—××××

表1智能客服系統(tǒng)評估指標(biāo)

維度指標(biāo)細(xì)分指標(biāo)

多渠道管理-

富媒體消息互動-

智能會話-

身份識別-

基礎(chǔ)功能知識庫管理-

工單管理-

人機(jī)協(xié)作-

智能質(zhì)檢-

會話異常管理-

語音識別字錯率、句錯率

智能語音

語音合成MOS評分

單輪對話意圖識別率、精準(zhǔn)識別率

AI核心技術(shù)

自然語言處理多輪對話任務(wù)完成率、下文識別率

支持能力

多語言交互可理解度、BLEU分

OCR準(zhǔn)確率

計算機(jī)視覺

圖片內(nèi)容推薦相關(guān)度

技術(shù)支撐-

企業(yè)服務(wù)能人員配備-

力定制化服務(wù)-

服務(wù)反饋-

報表功能-

接口開放程度-

部署方式-

易用性-

系統(tǒng)成熟度可靠性-

計量準(zhǔn)確性-

安全性-

可維護(hù)性-

可審查性-

6.2基礎(chǔ)功能

6.2.1全渠道管理

智能客服系統(tǒng)應(yīng)支持電話、短信、桌面網(wǎng)站、移動網(wǎng)站、APP、小程序、公眾號、郵件

等多種接入渠道，以保證用戶可以獲取及時有效的服務(wù)。

評估目的：本指標(biāo)是為了評估智能客服系統(tǒng)支持接入渠道的豐富程度。

評估方法：

a)依次驗證智能客服系統(tǒng)是否能夠通過以下渠道接入：

1)電話；

2)短信；

3)桌面網(wǎng)站；

4

YD/T××××—××××

4)移動網(wǎng)站；

5)APP；

6)小程序；

7)公眾號；，

8)郵件。

b)驗證智能客服系統(tǒng)是否支持上述渠道以外的渠道。

6.2.2富媒體消息互動

智能客服系統(tǒng)應(yīng)支持語音、文字、圖片、視頻、表情、自定義消息等多媒體消息類型，

以提升交互過程的友好性、趣味性、用戶體驗。

評估目的：本指標(biāo)是為了評估智能客服系統(tǒng)支持交互消息類型的豐富程度。

評估方法：

a)依次驗證智能客服系統(tǒng)是否支持以下消息類型：

1)語音；

2)文字；

3)圖片；

4)視頻；

5)表情，

6)自定義消息。

b)驗證智能客服系統(tǒng)是否支持上述類型以外的消息類型。

6.2.3智能對話

當(dāng)用戶進(jìn)入會話時，智能客服系統(tǒng)應(yīng)具備問題推送、焦點問題自動排序等功能。

評估目的：本指標(biāo)是為了評估智能客服系統(tǒng)與用戶會話的智能程度。

評估方法：

a)用戶初次進(jìn)入會話界面，觀察智能客服系統(tǒng)能否根據(jù)用戶行為軌跡預(yù)測用戶意圖，

從而推送相關(guān)問題；

b)用戶多次進(jìn)入會話界面或與系統(tǒng)進(jìn)行多次對話，觀察智能客服系統(tǒng)能否依據(jù)歷史

提問記錄、熱門提問等信息預(yù)測用戶意圖，從而推送相關(guān)問題；

c)用戶在輸入問題過程中，觀察系統(tǒng)能否對已經(jīng)輸入的內(nèi)容進(jìn)行自動補(bǔ)全、提示或

校正。

6.2.4身份識別

智能客服系統(tǒng)在支付等特定場景下應(yīng)具備識別用戶身份的能力，以針對性的提供個性化

服務(wù)。

評估目的：本指標(biāo)是為了評估智能客服系統(tǒng)是否支持識別用戶身份的能力。

評估方法：

a)審查智能客服產(chǎn)品說明書、技術(shù)文檔，判斷智能客服是否支持身份識別功能；

b)登錄智能客服系統(tǒng)后臺，結(jié)合身份識別類話題交互，依次測試系統(tǒng)是否能通過以

下方式正確識別用戶身份：

1)聲紋識別；

2)人臉識別；

3)指紋識別；

4)短信驗證碼。

5

YD/T××××—××××

6.2.5知識庫管理

智能客服系統(tǒng)應(yīng)具備大規(guī)模知識庫、問答庫等相關(guān)語料庫的管理能力，提供知識庫的增、

刪、改、查等能力。

評估目的：本指標(biāo)是為了評估智能客服系統(tǒng)的知識庫管理能力。

評估方法：

a)審查智能客服產(chǎn)品說明書和技術(shù)文檔等材料，判斷智能客服是否支持知識庫管理

功能；

b)登錄智能客服系統(tǒng)后臺，驗證系統(tǒng)是否支持對知識庫進(jìn)行增、刪、改、查等常用操

作。

6.2.6工單管理

智能客服系統(tǒng)應(yīng)具備工單管理的能力。當(dāng)智能客服不能解決用戶問題時，系統(tǒng)應(yīng)及時創(chuàng)

建工單，并支持工單靈活配置、優(yōu)先級排序、工單狀態(tài)追蹤等功能。

評估目的：本指標(biāo)是為了評估智能客服是否具備工單管理的能力。

評估方法：

a)審查智能客服產(chǎn)品說明書和技術(shù)文檔等材料，判斷智能客服是否支持工單管理功

能；

b)登錄智能客服系統(tǒng)后臺，依次驗證系統(tǒng)是否以下功能：

1)快速創(chuàng)建工單；

2)靈活配置工單；

3)一鍵轉(zhuǎn)工單；

4)工單優(yōu)先級排序；

5)工單狀態(tài)追蹤。

c)判斷智能客服系統(tǒng)是否支持上述功能以外的工單管理功能。

6.2.7人機(jī)協(xié)作

客服系統(tǒng)應(yīng)具備人機(jī)協(xié)作的能力，由智能客服和人工客服相互配合為用戶提供及時有效

的服務(wù)。

評估目的：本指標(biāo)是為了評估智能客服與人工客服協(xié)同解決用戶問題的能力。

評估方法：

a)構(gòu)建轉(zhuǎn)人工話術(shù)、需人工介入話術(shù)，測試智能客服系統(tǒng)能否及時轉(zhuǎn)接人工客服；

b)登錄智能客服系統(tǒng)后臺，向客服系統(tǒng)詢問常見問題，觀察是否由智能客服進(jìn)行快

速應(yīng)答；

c)登錄智能客服系統(tǒng)后臺，觀察智能客服能否在交互過程中為人工客服提供流程記

錄、問題推送等輔助。

6.2.8智能質(zhì)檢

客服系統(tǒng)應(yīng)具備智能質(zhì)檢的能力，基于語音識別、語義理解等技術(shù)對人工客服或智能客

服的交互內(nèi)容（包括文本、語音、圖片等）進(jìn)行智能化檢測和監(jiān)控。

評估目的：本指標(biāo)是為了評估客服系統(tǒng)是否具備智能質(zhì)檢的能力。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，判斷客服系統(tǒng)是否具備智能質(zhì)檢功能；

6

YD/T××××—××××

b)登錄客服系統(tǒng)后臺或客服質(zhì)檢系統(tǒng)，審查系統(tǒng)的質(zhì)檢日志、報表，判斷智能質(zhì)檢的

范圍和強(qiáng)度。例如：質(zhì)檢范圍是人工客服還是包括智能客服，質(zhì)檢內(nèi)容是全檢還是

抽檢。

6.2.9會話異常管理

智能客服系統(tǒng)應(yīng)具備會話異常管理的能力，以應(yīng)對會話過程中出現(xiàn)斷線、斷網(wǎng)等異常情

況。智能客服系統(tǒng)應(yīng)實時保存交互記錄，并判斷異常原因，嘗試重連。當(dāng)重新聯(lián)系上用戶，

應(yīng)當(dāng)能夠接續(xù)出現(xiàn)異常前的話題。

評估目的：本指標(biāo)是為了評估智能客服是否能檢測到會話時長異常、連接狀態(tài)異常等情

況，并實施相應(yīng)的對策。

評估方法：

a)在會話過程中，中斷提問或回復(fù)，驗證智能客服系統(tǒng)能否檢測出會話時長異常，對

用戶進(jìn)行提醒或詢問（如“你還在嗎？”“你的問題得到解決了嗎？”）

b)在會話過程中，關(guān)閉網(wǎng)絡(luò)連接，驗證智能客服系統(tǒng)能否檢測出會話網(wǎng)絡(luò)異常、時長

異常，并嘗試重新連接，如切換渠道；

c)驗證智能客服系統(tǒng)在上述兩種異常情況下，會話重新連接后能否接續(xù)斷點記錄。

6.3AI核心技術(shù)支持能力

6.3.1語音識別

外呼、呼入、語音導(dǎo)航等語音客服系統(tǒng)應(yīng)具備語音識別的能力。通過分析和識別，把語

音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或指令。

評估目的：本指標(biāo)是為了測試智能客服系統(tǒng)語音識別的能力，主要通過技術(shù)測試得出識

別準(zhǔn)確率。

評估方法：

a)構(gòu)建語音測試數(shù)據(jù)集，通過接口批量獲取語音識別的文本；

b)字錯率：以字符為單位比對識別序列和標(biāo)準(zhǔn)序列，依據(jù)識別錯誤的字?jǐn)?shù)和標(biāo)準(zhǔn)序

列中的總字?jǐn)?shù)計算字錯率。字錯率計算方法可參見公式（1）：

R

Y=WER×100%…………………（1）

WERR

式中：

YWER——字錯率；

RWER——錯誤識別的字?jǐn)?shù)；

R——總字?jǐn)?shù)。

c)句錯率：比對識別序列和標(biāo)準(zhǔn)序列，兩者相同則該句視為識別正確，否則視為識別

錯誤。依據(jù)識別錯誤的句子數(shù)和測試集總句數(shù)計算句錯率，計算方法可參見公式

（2）：

Q

Y=SER×100%…………………（2）

SERQ

式中：

YSER——句錯率；

QSER——錯誤識別的句子數(shù)；

Q——總句數(shù)。

6.3.2語音合成

7

YD/T××××—××××

外呼、呼入、語音導(dǎo)航等語音客服系統(tǒng)應(yīng)當(dāng)具備將文本轉(zhuǎn)換成語音的能力。通過參評系

統(tǒng)分析與合成，把輸入的文本數(shù)據(jù)轉(zhuǎn)換為相應(yīng)的語音信號。

評估目的：本指標(biāo)是為了測試智能客服系統(tǒng)語音合成的效果，綜合采用技術(shù)測試和主觀

評分對該項指標(biāo)進(jìn)行評價。

評估方法：

a)構(gòu)建文本測試數(shù)據(jù)集，通過接口批量獲取語音合成的音頻文件；

b)由3~5名測試人員采用MOS指標(biāo)對語音自然度進(jìn)行評分，MOS評分說明見表2；

c)評分過程應(yīng)考慮，人工錄音和語音合成拼接的整體流暢度；

d)評分過程應(yīng)考慮，合成音色的可定制性和種類的多樣性。

表2MOS評分說明

分值等級說明

5優(yōu)流暢自然，可完全放松，不需要注意力

4良失真不明顯，需要注意，但不需明顯集中

3一般明顯失真，需要中等程度的注意力

2差嚴(yán)重失真，需要集中注意力

1很差語音質(zhì)量極差，即使努力去聽，也很難聽懂

6.3.3單輪對話

智能客服系統(tǒng)應(yīng)當(dāng)具備單論對話的能力。單輪對話是指一問一答的交互模式，即問答均

不依賴上下文語境。

評估目的：本指標(biāo)是為了測試智能客服系統(tǒng)單輪對話的交互能力。

評估方法：

a)構(gòu)建單輪對話測試數(shù)據(jù)集，通過接口批量獲取意圖識別結(jié)果和對話結(jié)果；

b)綜合比對識別意圖和對話內(nèi)容，將識別情況分為：精準(zhǔn)識別、模糊推薦正確、模糊

推薦錯誤、未識別。其中：

1)精準(zhǔn)識別是指系統(tǒng)正確識別意圖并提供了正確解答；

2)模糊推薦正確是指系統(tǒng)依據(jù)識別的意圖推薦多個答案并且包含正確答案；

3)模糊推薦錯誤是指系統(tǒng)依據(jù)識別的意圖推薦多個答案但不包含正確答案；

4)未識別是指系統(tǒng)錯誤識別意圖并提供了錯誤解答。

c)計算意圖識別率和精準(zhǔn)識別率，計算公式分別參見公式（3）、（4）：

B

P=1×100%…………………（3）

B1B

式中：

PB1——意圖識別率；

B1——精準(zhǔn)識別或模糊推薦正確的數(shù)量；

B——測試總量；

B

P=2×100%…………………（4）

B2B

式中：

PB2——精準(zhǔn)識別率；

B2——精準(zhǔn)識別的數(shù)量；

8

YD/T××××—××××

B——測試總量。

6.3.4多輪對話

當(dāng)用戶需求復(fù)雜或提問不清時，智能客服需要通過多輪詢問、澄清或確認(rèn)來收集多維度

信息以為用戶提供準(zhǔn)確的結(jié)果。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)多輪對話的能力。

評估方法：

a)構(gòu)建多輪對話測試數(shù)據(jù)集，通過接口批量獲取對話數(shù)據(jù)；

b)多輪對話所有輪次均正確解答視為任務(wù)完成，任務(wù)完成率的計算方法參見公式（5）：

C

P=1×100%…………………（5）

CC

式中：

PC——任務(wù)完成率；

C1——任務(wù)完成量；

C——測試總量；

c)多輪對話某個輪次正確則視為下文識別正確，下文識別率的計算方法參見公式（6）：

D

P=1×100%…………………（6）

DD

式中：

PD——下文識別率；

D1——正確識別的輪次量；

D——測試總輪次量。

6.3.5多語言交互

智能客服應(yīng)具備多語言、多語種交互的能力，即可以通過機(jī)器翻譯自動進(jìn)行雙語轉(zhuǎn)換。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)是否具備多語言交互的能力。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，判斷智能客服系統(tǒng)是否具備多語言交互的

能力；

b)構(gòu)建多種方言、外語測試數(shù)據(jù)集，通過接口批量獲取翻譯結(jié)果；

c)分別對智能客服系統(tǒng)翻譯譯文進(jìn)行主觀評分和客觀評分，主觀指標(biāo)為可理解度，客

觀指標(biāo)為BLEU分。

6.3.6OCR

智能客服系統(tǒng)應(yīng)具備光學(xué)字符識別（OCR）能力，以輔助智能客服系統(tǒng)接收和處理圖片

類消息類型。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)是否具備圖像文字識別的能力。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，判斷智能客服系統(tǒng)是否具備識別圖片中文

字的能力；

b)構(gòu)建圖片測試數(shù)據(jù)集，通過接口批量獲取識別結(jié)果；

c)根據(jù)正確識別的圖片數(shù)量和總的圖片數(shù)量計算OCR準(zhǔn)確率，計算方法可參見公式（7）：

E

P=1×100%…………………（7）

EE

9

YD/T××××—××××

式中：

PE——OCR準(zhǔn)確率；

E1——正確識別的圖片數(shù)量；

E——總的圖片數(shù)量。

6.3.7圖片內(nèi)容推薦

智能客服系統(tǒng)在電商等特定領(lǐng)域應(yīng)具備識別圖片內(nèi)容并進(jìn)行相同、相似物品推薦的能力。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)是否具備圖片相關(guān)內(nèi)容推薦的能力。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，判斷智能客服系統(tǒng)是否具備圖片相關(guān)內(nèi)

容推薦的能力；

b)構(gòu)建物品圖片測試數(shù)據(jù)集，通過接口批量獲取推薦結(jié)果；

c)由3~5名測試人員對推薦圖片按照相關(guān)度進(jìn)行五分制評分，計算平均分。

6.4企業(yè)服務(wù)能力

6.4.1技術(shù)支撐

技術(shù)支撐作為企業(yè)為用戶提供售后服務(wù)的一種形式，能夠幫助用戶診斷并解決產(chǎn)品使用

過程中的技術(shù)故障。

評估目的：本指標(biāo)為了評估企業(yè)對產(chǎn)品售后的技術(shù)支撐能力。

評估方法：

判斷企業(yè)提供的服務(wù)中是否具有完善的技術(shù)支持機(jī)制，包括：

a)系統(tǒng)安裝及監(jiān)控培訓(xùn)；

b)主機(jī)參數(shù)設(shè)置和優(yōu)化；

c)數(shù)據(jù)庫安裝配置、備份、優(yōu)化；

d)運(yùn)行環(huán)境搭建；

e)系統(tǒng)平臺及工作原理；

f)系統(tǒng)操作培訓(xùn)；

g)版本及時升級更新。

6.4.2人員配備

企業(yè)應(yīng)保證參與智能客服服務(wù)相關(guān)人員數(shù)量，配備的人員具有較好的服務(wù)能力，特定技

術(shù)崗位應(yīng)持有相應(yīng)的技術(shù)從業(yè)證書。

評估目的：本指標(biāo)為了評估企業(yè)的人員配備及提供服務(wù)的合理性和科學(xué)性。

評估方法：

a)遠(yuǎn)程服務(wù)評估：審查企業(yè)能否提供7×24小時遠(yuǎn)程支持服務(wù)，能否通過電話、電子

郵件或者其他有效方式進(jìn)行實時溝通，能否協(xié)助用戶解決相關(guān)問題及系統(tǒng)故障；

b)現(xiàn)場服務(wù)評估：審查當(dāng)遠(yuǎn)程服務(wù)無法解決問題時，企業(yè)能否派出專業(yè)技術(shù)人員到

用戶現(xiàn)場解決問題，以保證系統(tǒng)的正常運(yùn)行；

c)審查企業(yè)提供的定期現(xiàn)場維護(hù)服務(wù)內(nèi)容的記錄手冊。

6.4.3定制化服務(wù)

企業(yè)應(yīng)具備提供定制化服務(wù)的能力，根據(jù)用戶需求對智能客服的服務(wù)場景、服務(wù)內(nèi)容、

功能模塊進(jìn)行定制優(yōu)化，以滿足用戶的個性化需求。

10

YD/T××××—××××

評估目的：本指標(biāo)為了評估企業(yè)能否依據(jù)不同用戶、不同場景、不同需求對智能客服系

統(tǒng)進(jìn)行定制優(yōu)化的能力。

評估方法：

a)對于外呼、呼入、語音導(dǎo)航等智能客服產(chǎn)品，測試其能否對交互話術(shù)、語音音色、

方言種類等方面進(jìn)行定制服務(wù)；

b)對于文本在線智能客服產(chǎn)品，測試其能否集成特定知識庫，實現(xiàn)特定領(lǐng)域場景的

問答。

6.4.4服務(wù)反饋

企業(yè)應(yīng)設(shè)置多種接受用戶服務(wù)反饋的渠道，以優(yōu)化改進(jìn)服務(wù)質(zhì)量，提升用戶體驗。

評估目的：

本指標(biāo)為了判斷企業(yè)是否具有接收服務(wù)反饋的渠道，以及渠道的豐富程度。

評估方法：

a)驗證企業(yè)是否具有以下可接收用戶反饋的渠道：

1)電話，

2)短信，

3)郵件。

b)審查企業(yè)是否具備及時收集用戶反饋、改進(jìn)系統(tǒng)問題、定期進(jìn)行回訪等規(guī)章制度。

6.5系統(tǒng)成熟度

6.5.1報表功能

智能客服系統(tǒng)應(yīng)具備自動對業(yè)務(wù)數(shù)據(jù)進(jìn)行分析報表的功能，以幫助企業(yè)提高經(jīng)營效率，

輔助管理者決策。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)對業(yè)務(wù)數(shù)據(jù)的分析和可視化能力。

評估方法：

a)判斷能客服系統(tǒng)是否可以實時針對業(yè)務(wù)數(shù)據(jù)生成可視化的報表；

b)判斷能客服系統(tǒng)是否可以根據(jù)報表，自動生成分析結(jié)果和文檔；

c)判斷能客服系統(tǒng)是否可以導(dǎo)出業(yè)務(wù)數(shù)據(jù)、分析數(shù)據(jù)和文檔報表。

6.5.2接口開放程度

智能客服系統(tǒng)應(yīng)開放多種接口，供用戶在生產(chǎn)、部署和經(jīng)營過程中根據(jù)具體業(yè)務(wù)場景對

系統(tǒng)進(jìn)行二次開發(fā)。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)的接口開放程度。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，枚舉其提供的可二次開發(fā)的接口；

b)審查上述材料中是否提供接口開發(fā)用例，并判斷能否依據(jù)用例編寫代碼實現(xiàn)二次

開發(fā)。

6.5.3部署方式

智能客服系統(tǒng)應(yīng)支持公有云、私有云、混合云、本地等常見的部署方式。

評估目的：本指標(biāo)為了評估智能客服支持部署方式的多樣性。

評估方法：

依次判斷智能客服系統(tǒng)是否支持以下部署方式：

a)公有云部署；

11

YD/T××××—××××

b)私有云部署；

c)混合云部署；

d)本地化部署。

6.5.4易用性

智能客服系統(tǒng)應(yīng)遵守友好、易用原則。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)是否易用。

評估方法：

a)審查應(yīng)答消息能否在一定時間內(nèi)完成，且有類似“客服回復(fù)中”“猜您想問”等提

示；

b)審查系統(tǒng)能否引導(dǎo)用戶無障礙的使用業(yè)務(wù)流程；

c)檢查界面設(shè)計是否充分考慮用戶體驗，是否友好清晰、操作簡單、功能點顯而易

見，主要功能是否處于突出的位置，常用的功能是否處于容易操作的位置。

6.5.5可靠性

智能客服系統(tǒng)應(yīng)遵守穩(wěn)定、可靠原則。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)是否成熟可靠。

評估方法：

a)檢查是否采用穩(wěn)定可靠的成熟技術(shù)，能否保證系統(tǒng)長期安全運(yùn)行；

b)檢查系統(tǒng)中的硬、軟件及信息資源是否滿足可靠性設(shè)計要求；

c)檢查系統(tǒng)是否具有容錯能力，能否使管理和維護(hù)更加方便；

d)檢查是否對網(wǎng)絡(luò)的設(shè)計、選型、安裝、調(diào)試等各環(huán)節(jié)進(jìn)行統(tǒng)一規(guī)劃和分析，系統(tǒng)是

否運(yùn)行可靠；

e)檢查系統(tǒng)是否具有提供多層次安全控制的手段，是否建立完善的安全管理體系，

能否確保數(shù)據(jù)的安全性、完整性并同時具有可靠的防病毒措施；

f)檢查系統(tǒng)是否具有故障恢復(fù)功能；

g)檢查系統(tǒng)是否具有日志管理功能；

h)檢查系統(tǒng)是否具有容災(zāi)備份功能；

i)檢查系統(tǒng)是否具有更新功能。

6.5.6計量準(zhǔn)確性

智能客服系統(tǒng)應(yīng)具有明確的計量方法，保證計量準(zhǔn)確。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)的計量準(zhǔn)確性。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，審查系統(tǒng)的計量方式；

b)根據(jù)計量方式，對智能客服系統(tǒng)進(jìn)行測試，審查系統(tǒng)計量是否準(zhǔn)確。

6.5.7安全性

智能客服產(chǎn)品在提供智能服務(wù)的同時，也應(yīng)保證數(shù)據(jù)的安全性和交互的合規(guī)性。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)的安全性。

評估方法：

a)檢查用戶程序安全，包括用戶權(quán)限、密碼管理、隱私保護(hù)等；

b)檢查系統(tǒng)網(wǎng)絡(luò)安全，包括攻擊防護(hù)、漏洞檢測、木馬查殺等；

c)檢查數(shù)據(jù)庫安全，包括備份、數(shù)據(jù)加密等；

12

YD/T××××—××××

d)檢查傳輸安全，包括數(shù)據(jù)加密傳輸?shù)龋?/p>

e)檢查話術(shù)安全，包括禁用詞過濾、圖片過濾等；

f)檢查部署安全，包括兩網(wǎng)分離、出口防護(hù)墻防護(hù)等。

6.5.8可維護(hù)性

智能客服系統(tǒng)應(yīng)具備一整套的自動化運(yùn)維工具。

評估目的：本指標(biāo)為了評估智能客服的可維護(hù)性。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，檢查是否具有自動化運(yùn)維技術(shù)；

b)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，檢查是否有運(yùn)行監(jiān)控，能否快速定位系

統(tǒng)運(yùn)行問題。

6.5.9可審查性

智能客服系統(tǒng)運(yùn)行數(shù)據(jù)應(yīng)做到可審查、可溯源。

評估目的：本指標(biāo)為了評估智能客服系統(tǒng)是否具有可審查性。

評估方法：

a)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，檢查是否支持人員權(quán)限管理；

b)審查客服產(chǎn)品說明書和技術(shù)文檔等材料，檢查是否支持操作審計。

13

YD/T××××—××××

目次

前言.....................................................................II

引言....................................................................III

1范圍......................................................................1

2規(guī)范性引用文件.............................................................1

3術(shù)語和定義.................................................................1

4縮略語.....................................................................2

5智能客服系統(tǒng)框架...........................................................2

6指標(biāo)及評估方法.............................................................3

6.1通則.................................................................3

6.2基礎(chǔ)功能.............................................................4

6.3AI核心技術(shù)支持能力..................................................7

6.4企業(yè)服務(wù)能力........................................................10

6.5系統(tǒng)成熟度..........................................................11

I

YD/T××××—××××

自然語言處理技術(shù)及產(chǎn)品評估方法

第5部分：智能客服系統(tǒng)

1范圍

本文件規(guī)定了外呼、呼入、語音導(dǎo)航、在線咨詢等智能客服的指標(biāo)和評估方法，主要包

括基礎(chǔ)功能、AI核心技術(shù)支持能力、企業(yè)服務(wù)能力、系統(tǒng)成熟度等四個維度。

本文件適用于指導(dǎo)第三方測評機(jī)構(gòu)開展智能客服系統(tǒng)評估、驗收等工作，同時適用于外

呼、呼入、語言導(dǎo)航、在線智能咨詢系統(tǒng)等多種智能客服產(chǎn)品形態(tài)。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本

適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T5271.28-2001信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)

GB/T21023-2007中文語音識別系統(tǒng)通用技術(shù)規(guī)范

GB/T21024-2007中文語音合成系統(tǒng)通用技術(shù)規(guī)范

GB/T36464.3-2018信息技術(shù)智能語音交互系統(tǒng)第3部分：智能客服

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

客服系統(tǒng)customerservicesystem

企業(yè)為用戶提供客服服務(wù)的系統(tǒng)，傳統(tǒng)上由人工完成客戶服務(wù)的功能。

[來源：GB/T36464.3-2018，3.1]

3.2

智能客服系統(tǒng)intelligentcustomerservicesystem

由語音識別、語義理解、智能搜索、語音合成等部分或全部人工智能技術(shù)能力元素組

成的，具有智能能力的客戶服務(wù)系統(tǒng)。

[來源：GB/T36464.3-2018，3.2]

3.3

自然語言理解naturallanguageunderstanding

通過對功能單元從已傳入的功能單元中的自然語言形式的文本或語音中的提取信息，

并產(chǎn)生對給定文本或語音及其表示的描述。

[來源：GB/T5271.28-2001，28.01.18]

1

YD/T××××—××××

3.4

語音識別speechrecognition

將人類的聲音信號轉(zhuǎn)化為文字或者指令的技術(shù)。

[來源：GB/T21023-2007，3.1]

3.5

語音合成texttospeech

通過機(jī)械的、電子的方法合成人類語言的過程。

[來源：GB/T21024-2007，3.1]

3.6

應(yīng)用編程接口applicationprogramminginterface

預(yù)先定義的函數(shù)，或指軟件系統(tǒng)不同組成部分銜接的約定。

3.7

客戶關(guān)系管理customerrelationshipmanagement

企業(yè)為提高核心競爭力，利用信息技術(shù)和互聯(lián)網(wǎng)技術(shù)提升管理方式，向客戶提供個性化

交互和服務(wù)的過程。

3.8

知識管理knowledgemanagement

對大量有價值的方案、策劃、成果、經(jīng)驗等知識進(jìn)行分類存儲和管理，積累知識資產(chǎn)避

免流失，促進(jìn)知識的學(xué)習(xí)、共享、培訓(xùn)、再利用和創(chuàng)新的技術(shù)。

4縮略語

下列縮略語適用于本文件：

CRM客戶關(guān)系管理CustomerRelationshipManagement

KM知識管理KnowledgeManagement

NLG自然語言生成NaturalLangaugeGeneration

NLP自然語言處理NaturalLanguageProcessing

NLU自然語言理解NaturalLanguageUnderstanding

TTS語音合成TextToSpeech

5智能客服系統(tǒng)框架

智能客服系統(tǒng)與用戶的交互流程見圖1，包含下列步驟：

a)多渠道接入模塊：用戶通過網(wǎng)頁、APP、小程序、公眾號等多種渠道與智能客服產(chǎn)

2

YD/T××××—××××

品建立連接；

b)識別模塊：用戶通過文本、語音、圖片、圖像、表情、自定義消息等多媒體消息與

智能客服系統(tǒng)進(jìn)行溝通，系統(tǒng)將其識別為文本、語義元組或意圖；

c)中控模塊：對文本、語義元組或意圖進(jìn)行分析，并送達(dá)搜索模塊進(jìn)行答案匹配，并

將處理結(jié)果反饋給用戶；

d)智能對話管理及人工客服模塊：在人機(jī)對話過程中綜合應(yīng)用NLU、NLG、TTS等人工

智能技術(shù)。如有系統(tǒng)無法回答問題或提出相關(guān)要求，將交由人工客服進(jìn)行交互；

e)工單管理模塊：無論用戶問題是否得到解決，都將提交至工單管理模塊，用于后續(xù)

問題追溯或質(zhì)量檢查；

f)CRM和KM模塊：客服流程數(shù)據(jù)經(jīng)過處理輸入到CRM系統(tǒng)和KM系統(tǒng)，用于客戶關(guān)系管理

與知識系統(tǒng)維護(hù)、升級和自學(xué)習(xí)；

g)系統(tǒng)運(yùn)營分析模塊：采集埋點數(shù)據(jù)以監(jiān)控智能客服系統(tǒng)的運(yùn)營情況，以達(dá)到控制運(yùn)

營風(fēng)險、管理運(yùn)營對象、評估運(yùn)營績效、為智能客服系統(tǒng)管理者提供決策建議的目

的。

多渠道接入模塊

識別模塊

中控模塊系

統(tǒng)

運(yùn)

營

智能對話管理模塊分

人工客服

析

模塊

NLUNLGTTS語料知識模

庫塊

工單管理模塊

CRM系統(tǒng)KM系統(tǒng)

圖1智能客服產(chǎn)品工作原理

6指標(biāo)及評估方法

6.1通則

本文件從基礎(chǔ)功能、AI核心技術(shù)支持能力、企業(yè)服務(wù)能力和系統(tǒng)成熟度等四個維度對智

能客服系統(tǒng)進(jìn)行評估，表1給出了評估指標(biāo)。

3

YD/T××××—××××

表1智能客服系統(tǒng)評估指標(biāo)

維度指標(biāo)細(xì)分指標(biāo)

多渠道管理