T∕CBA 220-2021 遠程銀行人工智能客服評價指標規(guī)范

1、 ICS03.060CCSA11團 體 標 準T /CBA2202021遠程銀行人工智能客服評價指標規(guī)范Specification for evaluating indicators of AI customer service of the remote banking2021-09-16發(fā)布2021-09-16實施 GB/TCBA2202021目次前言.II引言.III1范圍.12規(guī)范性引用文件.13術(shù)語和定義.14評價指標的范圍、方法及內(nèi)容.24.1評價指標的范圍.24.2評價指標的方法.24.2.1抽樣法.24.2.2報表法.34.3評價指標的內(nèi)容.34.3.1語音識別準確率.34.3

2、.2問題識別率.44.3.3意圖理解準確率.44.3.4交互準確率.54.3.5問題解決率.54.3.6智能分流率.55綜合評價指標權(quán)重.6參考文獻.7I GB/TCBA2202021前言中國銀行業(yè)協(xié)會(ChinaBankingAssociation，CBA)成立于2000年5月，是經(jīng)中國人民銀行和民政部批準成立，并在民政部登記注冊的全國性非營利社會團體，是中國銀行業(yè)自律組織。2003年中國銀監(jiān)會成立后，中國銀行業(yè)協(xié)會主管單位由中國人民銀行變更為中國銀監(jiān)會。2018年3月，中國銀行保險監(jiān)督管理委員會成立后，中國銀行業(yè)協(xié)會主管單位由中國銀監(jiān)會變更為中國銀行保險監(jiān)督管理委員會。凡經(jīng)業(yè)務主管單位批準

3、設立的、具有獨立法人資格的銀行業(yè)金融機構(gòu)(含在華外資銀行業(yè)金融機構(gòu))和經(jīng)相關(guān)監(jiān)管機構(gòu)批準、具有獨立法人資格、在民政部門登記注冊的各省(自治區(qū)、直轄市、計劃單列市)銀行業(yè)協(xié)會以及相關(guān)監(jiān)管機構(gòu)批準設立，具有獨立法人資格的依法與銀行業(yè)金融機構(gòu)開展相關(guān)業(yè)務合作的其他類型金融機構(gòu)，以及銀行業(yè)專業(yè)服務機構(gòu)均能申請加入中國銀行業(yè)協(xié)會成為會員單位。中國銀行業(yè)協(xié)會日常辦事機構(gòu)為秘書處。秘書處設秘書長1名，副秘書長若干名。根據(jù)工作需要，中國銀行業(yè)協(xié)會設立32個專業(yè)委員會，其中銀行業(yè)產(chǎn)品和服務標準化專業(yè)委員會旨在開展銀行業(yè)產(chǎn)品和服務標準化工作，包括制定和發(fā)布銀行業(yè)的產(chǎn)品和服務標準，積極參與制定國家標準、行業(yè)規(guī)劃，參

4、與制定有關(guān)政策和法律法規(guī)，不斷提高銀行業(yè)產(chǎn)品和服務質(zhì)量。本文件按照T/CBA12021中國銀行業(yè)協(xié)會團體標準化文件的結(jié)構(gòu)和起草規(guī)則的規(guī)定起草。II GB/TCBA2202021引言在通過遠程銀行向銀行客戶提供優(yōu)質(zhì)服務的過程中，人工智能設施發(fā)揮著越來越重要的作用。而在目前的情況下，對人工智能客服的評價指標在不同的機構(gòu)各有側(cè)重，難以全面對人工智能客服在銀行業(yè)務數(shù)字化轉(zhuǎn)型中的作用進行完整和全面的評估。本文件歸納了人工智能客服當前提供服務的實際情況，給出了一組在當前技術(shù)發(fā)展和業(yè)務現(xiàn)狀下的人工智能評價指標。這些指標相對均衡地考慮了技術(shù)和業(yè)務的方面，給出的評價方法則為目前業(yè)界通用的評價方法。本文件給出的對

5、人工智能客服的評價方式，是從銀行業(yè)金融機構(gòu)內(nèi)部視角出發(fā)的。實施本文件規(guī)定的評價，將對推進“線上化”業(yè)務實現(xiàn)數(shù)字化轉(zhuǎn)型發(fā)展，推動人工智能客服能力持續(xù)提升，為客戶提供智能、便捷、安全、優(yōu)質(zhì)的服務新體驗，具有重要意義。III GB/TCBA2202021遠程銀行人工智能客服評價指標規(guī)范1范圍本文件規(guī)定了銀行業(yè)遠程銀行與客服中心人工智能客服評價的指標范圍及內(nèi)容、指標體系與指標計本文件適用于遠程銀行與客服中心人工智能客服能力和服務效果的評價與管理。算。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件

6、，其最新版本（包括所有的修改單）適用于本文件。GB/T216642008工作抽樣方法3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1人工智能客服 AI customer service以自動語音識別、自然語言理解和大數(shù)據(jù)運算等多種技術(shù)為基礎，通過即時通訊工具，以語音、文字、圖片等富媒體形式，為客戶提供業(yè)務答疑、服務提醒、信息修改、消費交易等各類服務的設施。術(shù)語條目注1：人工智能客服目前主要包括文本服務機器人、語音導航機器人和智能外呼機器人。3.2文本交互AI AI on textual interaction主要以文字方式響應服務請求的人工智能客服（3.1）。術(shù)語條目注1：文本交互AI支持文字交

7、互、語音識別文字交互和圖像識別文字交互等交互形式。術(shù)語條目注2：在銀行業(yè)遠程銀行服務部門，往往稱其為文本服務機器人。3.3語音交互AI AI on oral interaction以語音方式響應服務請求的人工智能客服（3.1）。術(shù)語條目注1：在銀行業(yè)遠程銀行服務部門，往往將應用于電話渠道，為客戶提供菜單導航及語音問答交互服務的語音交互AI稱為語音導航機器人；將通過電話或其它支持語音方式的交互，根據(jù)預設的業(yè)務場景流程自動發(fā)起語音外呼，收集業(yè)務結(jié)果或?qū)崿F(xiàn)外呼業(yè)務目標的語音交互AI稱為智能外呼機器人。3.4語音識別 speech recognition由一個功能單元將語音信號轉(zhuǎn)換為語音內(nèi)容的表示形式

8、術(shù)語條目注1：被識別的內(nèi)容能夠表示為一個適當?shù)脑~匯或音素序列。來源：ISO/TR24291:2021，3.18，有修改未將“automaticspeechrecognition”作為許用術(shù)語3.51 GB/TCBA2202021銀行客戶 banks customer在銀行經(jīng)營的全生命周期中，已經(jīng)或可能與銀行發(fā)生業(yè)務關(guān)系的當事人。術(shù)語條目注1：當事人可能是自然人，也可能是法律認可的組織。術(shù)語條目注2：在本文件中，采用“客戶”一詞描述與銀行聯(lián)系的自然人或組織的代表。來源：GB/T31186.12014，3.1，有修改增加術(shù)語條目注23.6客戶意圖 customers intent銀行客戶（3.5）

9、在與人工智能客服（3.1）的交互（3.7）過程中，通過語音、文字、圖片及其他內(nèi)容符號表達的希望達到某種目標的打算。3.7交互 transaction由銀行客戶（3.5）與人工智能客服（3.1）之間的信息交換構(gòu)成的活動最小單位示例：人機一問一答、銀行客戶點擊菜單后系統(tǒng)回復銀行客戶。術(shù)語條目注1：由銀行業(yè)遠程銀行服務部門的視角看，交互往往指一次信息的輸入及輸出，如銀行客戶與人工智能客服之間信息輸入輸出的操作、交流、互動；交互方式包括文字交互、語音交互、圖片交互、按鍵交互等。術(shù)語條目注2：在ISO30300:2020，3.1.29的原文是“smallestunitofanactivityconsis

10、tingofanexchangebetweentwoormoreparticipantsorsystems”。來源：ISO30300:2020，3.1.29，有修改增加術(shù)語條目注23.8會話 session由銀行客戶（3.5）與人工智能客服（3.1）之間可執(zhí)行多個交互（3.7）且持續(xù)維護交互數(shù)據(jù)的一段時間術(shù)語條目注1：由銀行業(yè)遠程銀行服務部門的視角看，會話指銀行客戶與人工智能客服之間不中斷的請求響應過程。通常情況下，會話數(shù)也稱為進線量。會話結(jié)束的標志為客戶明確結(jié)束會話或人工智能客服達到預設結(jié)束條件。術(shù)語條目注2：在ISO/IECTR10032:2003，2.63的原文是“aperiodofti

11、meduringwhichaclientmayhavemanyinteractionswithaserverandboththeclientandservermaintaindataabouteachother”。來源：ISO/IECTR10032:2003，2.63，有修改增加術(shù)語條目注24評價指標的范圍、方法及內(nèi)容4.1評價指標的范圍4.1.1性能指標，用于衡量人工智能客服語音識別及語義理解能力，主要包括語音識別準確率、問題識別率、意圖理解準確率等。4.1.2運營效果指標，用于衡量人工智能客服在客戶體驗提升、服務分流等方面的能力，主要包括交互準確率、問題解決率、智能分流率等。4.2評價指標

12、的方法4.2.1抽樣法2 GB/TCBA2202021根據(jù)交互樣本標注數(shù)據(jù)推算人工智能客服評價指標的方法。按照GB/T21664-2008規(guī)定，假設事項發(fā)生率為50%、絕對誤差為1%時，所需的必要樣本量為1萬。完成樣本抽取后，與標注人員對本單位業(yè)務流程判定的結(jié)果進行對比，一致即為正確。4.2.2報表法根據(jù)系統(tǒng)運營數(shù)據(jù)計算人工智能客服評價指標的方法。典型的系統(tǒng)運營數(shù)據(jù)包括進線量、交互數(shù)、客戶評價數(shù)、轉(zhuǎn)人工進線量。4.3評價指標的內(nèi)容4.3.1語音識別準確率4.3.1.1指標釋義標注有效交互中，語音識別正確的字數(shù)在人工智能客服轉(zhuǎn)寫總字數(shù)中的占比。該指標主要適用于語音交互AI。4.3.1.2計算口徑

13、4.3.1.2.1適用語種主要為中華人民共和國國家通用語言文字（普通話和規(guī)范漢字），包含阿拉伯數(shù)字及常用英文。在測算時，阿拉伯數(shù)字、單獨英文字母（如：e繳費、ETC），一個數(shù)字或字母按一個文字計算；英文單詞（如：card），一個單詞按一個文字計算；標點符號不計算在內(nèi)。注：中華人民共和國國家通用語言文字必須符合中華人民共和國國家通用語言文字法的要求。4.3.1.2.2計算方法語音識別準確率采用抽樣法計算。4.3.1.2.3標注有效交互標注有效交互指抽樣標注交互中剔除無效語音后的交互。無效語音由標注人員在測聽過程中參考判定規(guī)則進行判斷，詳見表1。表1無效語音判定規(guī)則無效語音類型背景音釋義客戶不是與

14、語音交互AI對話，或旁邊背景有人聲,或在系統(tǒng)不支持打斷的情況下，客戶與機器人在同一時間說話的聲音。模糊音雜音客戶發(fā)聲比較模糊，導致標注人員無法準確標注。周圍環(huán)境存在雜音，用戶說話聲音過小，導致音頻不清晰。無聲音，標注人員聽不到任何聲音。靜音噪音純噪音，無人說話。如：嘟嘟聲、電話接入前的“滴”聲、公交車報站聲、電視聲音等。4.3.1.3計算公式語音識別準確率按照如下公式計算：語音識別準確率=（轉(zhuǎn)寫總數(shù)-替換字數(shù)-刪除字數(shù)-插入字數(shù)）/轉(zhuǎn)寫總數(shù)100%.(1)式中：3 GB/TCBA2202021轉(zhuǎn)寫總數(shù)語音交互AI轉(zhuǎn)寫出的文字的總字數(shù)；替換字數(shù)語音交互AI轉(zhuǎn)寫結(jié)果中的錯誤字數(shù)；刪除字數(shù)系統(tǒng)未轉(zhuǎn)寫

15、出的內(nèi)容；插入字數(shù)系統(tǒng)額外轉(zhuǎn)寫的內(nèi)容。示例1：如客戶說“賬戶余額查詢”，系統(tǒng)轉(zhuǎn)寫為“賬戶余額差詢”，將“查”替換為“差”，則計為一個替換字數(shù)。示例2：如客戶說“我想查一下賬戶還有多少錢”，系統(tǒng)轉(zhuǎn)寫為“我想查一下賬戶還有多少”，未轉(zhuǎn)寫出“錢”，則計為一個刪除字數(shù)。示例3：如客戶說“我想查一下賬戶還有多少錢”，系統(tǒng)轉(zhuǎn)寫為“我想查一下賬戶還有了多少錢”，額外轉(zhuǎn)寫“了”，則計為一個插入字數(shù)。4.3.2問題識別率4.3.2.1指標釋義人工智能客服已識別提問數(shù)在客戶提問總數(shù)的占比。該指標主要適用于文本交互AI。4.3.2.2計算口徑問題識別率采用報表法計算。4.3.2.3計算公式問題識別率按照如下公式計算

16、：問題識別率=（客戶提問總數(shù)-未識別提問數(shù)）/客戶提問總數(shù)100%.(2)式中：客戶提問總數(shù)銀行客戶向文本交互AI提問的總數(shù)；未識別提問數(shù)包括文本交互AI未能匹配客戶問題且未推送相似引導問的提問數(shù)之和。其中，相似引導問是指經(jīng)系統(tǒng)計算，并與客戶問題具有一定關(guān)聯(lián)性的引導問題。4.3.3意圖理解準確率4.3.3.1指標釋義人工智能客服對客戶意圖理解準確的交互數(shù)在語音識別正確交互數(shù)中的占比。該指標主要適用于語音交互AI。4.3.3.2計算口徑意圖理解準確率采用抽樣法計算。4.3.3.3計算公式意圖理解準確率按照如下公式計算：意圖理解準確率=（1-標注意圖理解錯誤交互數(shù)/標注語音識別正確交互數(shù)）100%

17、.(3)式中：標注意圖理解錯誤交互數(shù)語音識別正確的前提下，語音交互AI意圖識別結(jié)果與人工標注意圖結(jié)果不一致的交互條數(shù)；標注語音識別正確交互數(shù)標注有效交互中，所有文字語音識別正確的交互條數(shù)。4 GB/TCBA22020214.3.4交互準確率4.3.4.1指標釋義人工智能客服根據(jù)客戶意圖，結(jié)合業(yè)務場景流程設計準確回應的情況。該指標主要適用于語音交互AI。4.3.4.2計算口徑交互準確率采用抽樣法計算。4.3.4.3計算公式交互準確率按照如下公式計算：交互準確率=（1-標注交互錯誤數(shù)/標注有效交互數(shù)）100%.(4)式中：標注交互錯誤數(shù)標注有效交互中，語音交互AI實際交互結(jié)果與人工標注交互結(jié)果不一

18、致的數(shù)量，包括因語音識別錯誤導致的交互錯誤，以及語音交互AI意圖理解錯誤而導致的交互錯誤；標注有效交互數(shù)按照本文件4.3.1.2.3確定的有效交互。4.3.5問題解決率4.3.5.1指標釋義衡量人工智能客服解決客戶問題的效果，以客戶評價結(jié)果作為判斷準則，即客戶對人工智能客服“是否有效解決客戶問題”的評價，該指標主要適用于文本交互AI。4.3.5.2計算口徑問題解決率采用報表法計算。4.3.5.3計算公式問題解決率按照如下公式計算：問題解決率=（1-客戶評價未解決數(shù)/能評價客戶提問總數(shù)）100%.(5)式中：客戶評價未解決數(shù)客戶與文本交互AI交互完成后，選擇未解決或沒幫助等選項的總數(shù)；能評價客戶

19、提問總數(shù)開通了評價功能渠道的客戶提問數(shù)總和。4.3.6智能分流率4.3.6.1指標釋義在遠程銀行服務客戶的過程中，由人工智能客服處理且未轉(zhuǎn)人工的業(yè)務量在總進線量中的占比。4.3.6.2計算口徑智能分流率采用報表法計算。4.3.6.3計算公式智能分流率按照如下公式計算：智能分流率=（1-所有服務渠道轉(zhuǎn)人工會話數(shù)/所有服務渠道進線會話總量）100%.(6)5 GB/TCBA2202021式中：所有服務渠道轉(zhuǎn)人工會話數(shù)遠程銀行為客戶提供服務的所有渠道（不含呼出）進入人工服務排隊的進線量；所有服務渠道進線會話總量遠程銀行為客戶提供服務的所有渠道（不含呼出）的進線量總和，包含電話、移動終端或互聯(lián)網(wǎng)頁面等渠道。5綜合評價指標權(quán)重對