(高清版)GBT 40691-2021 人工智能 情感計(jì)算用戶界面 模型

人工智能情感計(jì)算用戶界面模型國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)GB/T40691—2021前言 I 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4模型 24.1情感特性 24.2通用模型 24.3基于情感計(jì)算用戶界面的交互模型 34.4情感表示 4.4.1概述 4.4.2離散情感類別 44.4.3情感空間維度 44.5情感數(shù)據(jù)采集 54.5.1概述 54.5.2情感數(shù)據(jù) 54.6情感識(shí)別 4.6.1概述 74.6.2情感識(shí)別功能 74.6.3情感特性識(shí)別 74.6.4識(shí)別結(jié)果 4.7情感決策 84.7.1概述 84.7.2使用語(yǔ)境 84.7.3推理 8 94.8情感表達(dá) 4.8.1概述 4.8.2表達(dá)的模態(tài) 9附錄A(資料性)情感計(jì)算用戶界面應(yīng)用實(shí)例 附錄B(資料性)情感計(jì)算用戶界面標(biāo)準(zhǔn)化的內(nèi)容 參考文獻(xiàn) I本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。本文件起草單位：中國(guó)科學(xué)院軟件研究所、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、上海智臻智能網(wǎng)絡(luò)科技股份有限公司、中國(guó)科學(xué)院自動(dòng)化研究所、中國(guó)科學(xué)院心理研究所、深圳市優(yōu)必選科技股份有限公司、科大訊飛股份有限公司、北京科技大學(xué)、中國(guó)電信集團(tuán)有限公司、北京師范大學(xué)、哈爾濱工業(yè)大學(xué)、上海天臣微納米股份有限公司、中科訊飛互聯(lián)(北京)信息科技有限公司、北京電信規(guī)劃設(shè)計(jì)院有限公司、北京中科院軟件中心有限公司、上海木木機(jī)器人技術(shù)有限公司、南京云問(wèn)網(wǎng)絡(luò)技術(shù)有限公司、天津師范大學(xué)、涇豐科技(深圳)有限公司、浪潮軟件科技有限公司、北京九天微星科技發(fā)展有限公司、中國(guó)醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)工程研究所、東南大學(xué)、南京工程學(xué)院、安徽淘云科技有限公司、南京師范大學(xué)心理學(xué)院、江西中醫(yī)藥大學(xué)、中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院、維知科技張家口有限責(zé)任公司、阿利昂斯汽車研發(fā)(上海)有限公司。1人工智能情感計(jì)算用戶界面模型本文件給出了基于情感計(jì)算用戶界面的通用模型和交互模型，描述了情感表示、情感數(shù)據(jù)采集、情感識(shí)別、情感決策和情感表達(dá)等模塊。本文件適用于情感計(jì)算用戶界面的設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用。2規(guī)范性引用文件本文件沒(méi)有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。用戶對(duì)感知信息產(chǎn)生的主觀感覺(jué)所產(chǎn)生的反應(yīng)。注1:情感是多種感覺(jué)、思想和行為綜合產(chǎn)生的心理和生理狀態(tài)。注2:情感產(chǎn)生于內(nèi)部動(dòng)機(jī)和外部環(huán)境刺激。注3:情感有三個(gè)成分：主觀體驗(yàn)、外部表現(xiàn)和生理喚醒。注4:情感有四個(gè)特性：通用特性、文化特性、個(gè)體特性與情境特性。注5:情感可以描述用戶的情緒、傾向、喜好、個(gè)性等。人在某種事件或情境的影響下，在一定時(shí)間內(nèi)所產(chǎn)生的主觀體驗(yàn)或表達(dá)。注：情緒是多種復(fù)雜的感覺(jué)、思維和行為表現(xiàn)綜合產(chǎn)生的生理與心理狀態(tài)。利用用戶情感或滿足用戶情感需求的人機(jī)交互過(guò)程。情感計(jì)算affectivecomputing在人機(jī)情感交互過(guò)程中，信息系統(tǒng)對(duì)用戶情感的采集、識(shí)別、決策和表達(dá)。用戶與信息系統(tǒng)進(jìn)行情感交互的界面。情感表示affectiverepresentation對(duì)情感進(jìn)行形式化描述的方法。2情感類別affectivecategory某種可被信息系統(tǒng)識(shí)別或表達(dá)的情感種類。多個(gè)可表示為一組情感特性的組合。情感維度affectivedimension用于描述情感的主觀體驗(yàn)的基本特性。情感數(shù)據(jù)affectivedata從用戶處采集的、參與情感計(jì)算的數(shù)據(jù)。情感識(shí)別affectiverecognition通過(guò)分析和處理情感數(shù)據(jù)，得到用戶情感狀態(tài)的過(guò)程和方法。將情感數(shù)據(jù)分成情感類別的過(guò)程。情感表達(dá)affectiveexpression信息系統(tǒng)進(jìn)行情感生成并呈現(xiàn)的過(guò)程。使用語(yǔ)境contextofuse注2:“用戶”包括用戶基本信息資料等，通過(guò)用戶配置體現(xiàn)。注3:“資源”包括采集設(shè)備(如攝像頭和麥克風(fēng))、存儲(chǔ)設(shè)備(如硬盤等),以及計(jì)算設(shè)備等。4模型4.1情感特性在與信息通信技術(shù)系統(tǒng)交互的過(guò)程中，一系列情感特性(包括文化和情緒)決定著用戶的行為和需求。本文件提供的模型適用于所有類型的情感特性，并沒(méi)有具體限定某種特定的情感特性。4.2通用模型情感計(jì)算用戶界面是一種與用戶情感需求和情感特性進(jìn)行交互的用戶界面。情感計(jì)算用戶界面處理過(guò)程包括情感特性數(shù)據(jù)的收集、識(shí)別、決策和表達(dá)。用戶根據(jù)基于情感的系統(tǒng)提供的反饋調(diào)整情感，并與系統(tǒng)展開(kāi)進(jìn)一步的交互(見(jiàn)圖1)。情感表示提供了情感計(jì)算用戶界面中對(duì)于情感的統(tǒng)一描述。圖1由三部分組成：認(rèn)知空間、情感計(jì)算用戶界面組件和信息空間。認(rèn)知空間包括至少一位用戶。情感計(jì)算用戶界面組成部分包括四個(gè)組件，分別為情感特性數(shù)據(jù)的收集、識(shí)別、決策和表達(dá)。通過(guò)情感計(jì)算用戶界面各個(gè)組成部分，認(rèn)知空間和信息空間進(jìn)行交互。其中，3一種交互由用戶指向計(jì)算系統(tǒng)，表示由用戶向系統(tǒng)進(jìn)行輸入。另一種交互由計(jì)算系統(tǒng)指向用戶，表達(dá)系統(tǒng)為用戶提供反饋。情感表示為情感計(jì)算用戶界面模型的四大組件提供了基礎(chǔ)?；谇楦斜硎镜那楦杏?jì)算用戶界面組件基于情感表示的情感計(jì)算用戶界面組件數(shù)據(jù)采集情感識(shí)別情感表達(dá)情感決策用戶計(jì)算系統(tǒng)圖1情感計(jì)算用戶界面的通用模型4.3基于情感計(jì)算用戶界面的交互模型情感計(jì)算用戶界面可以支持基于情感計(jì)算的交互過(guò)程。圖2展示的人機(jī)交互模型運(yùn)用了情感計(jì)算用戶界面，涉及兩個(gè)環(huán)路。其中，圖2a)給出了計(jì)算系統(tǒng)視角下的用戶流程，圖2b)為用戶視角下的計(jì)算系統(tǒng)流程。情感特性數(shù)據(jù)情感特性數(shù)據(jù)情感識(shí)別被識(shí)別的情感情感行動(dòng)認(rèn)知空間(用戶)計(jì)算系統(tǒng)a)環(huán)路1:計(jì)算系統(tǒng)視角下的用戶流程圖2基于情感計(jì)算用戶界面的交互模型4理解被認(rèn)知的理解情感(情感識(shí)別)(情感識(shí)別)被埋解的情感決定的情感決定決定(情感表達(dá))(情感決策)信息空間(計(jì)算系統(tǒng))用戶b)環(huán)路2:用戶視角下的計(jì)算系統(tǒng)流程注1:環(huán)路1:如圖2a)所示，“計(jì)算系統(tǒng)視角下的用戶流程”展示了在信息空間中看待和處理人類情感的方式。用戶的信息輸入有多種類型，例如語(yǔ)音、表情和手勢(shì)。計(jì)算系統(tǒng)首先在采集環(huán)節(jié)收集來(lái)自用戶的情感特性數(shù)據(jù)，然后在識(shí)別環(huán)節(jié)識(shí)別各種人類情感，在決策環(huán)節(jié)產(chǎn)生情感行動(dòng)，最后在表達(dá)環(huán)節(jié)執(zhí)行上述行動(dòng)。注2:環(huán)路2:如圖2b)所示，“用戶視角下的計(jì)算系統(tǒng)流程”展示了用戶如何看待來(lái)自計(jì)算系統(tǒng)的輸出。在認(rèn)知空間，用戶處理系統(tǒng)輸出，用以感知和理解情感，然后決定采取某種情感來(lái)采取行動(dòng)，作為對(duì)于系統(tǒng)的反饋，以開(kāi)啟新一輪情感計(jì)算用戶界面交互。這一循環(huán)中的認(rèn)知、理解、決定和行為分別對(duì)應(yīng)環(huán)路1中的采集、識(shí)別、決策和表達(dá)。注3:附錄A提供了一個(gè)情感計(jì)算交互模型應(yīng)用實(shí)例。注4:附錄B給出了實(shí)現(xiàn)該模型的可能的標(biāo)準(zhǔn)化主題。圖2基于情感計(jì)算用戶界面的交互模型(續(xù))4.4情感表示情感表示對(duì)人機(jī)交互過(guò)程中可以被信息系統(tǒng)處理的用戶情感進(jìn)行規(guī)范化統(tǒng)一描述。情感可以由離散情感類別和情感空間維度來(lái)描述。4.4.2離散情感類別離散情感類別可以按照多種分類方法進(jìn)行分類。示例1:如果按照情緒進(jìn)行分類，情感可以分為開(kāi)心、悲傷、驚訝等；如果按照態(tài)度進(jìn)行分類，情感可以分為支持和反對(duì)；如果按照注意力進(jìn)行分類，情感可以分為關(guān)注和走神等。離散情感類別可以由任何一個(gè)離散情感類別或多個(gè)離散情感類別的組合來(lái)描述。示例2:喜極而泣是開(kāi)心和哭泣兩種情感類別的組合。不同的離散情感類別或不同離散情感類別的組合都會(huì)導(dǎo)致不同的用戶行為和需求。4.4.3情感空間維度不同的情感維度的組合對(duì)應(yīng)不同的情感空間。每個(gè)情感空間維度應(yīng)具有取值范圍，情感空間維度數(shù)值可位于該取值范圍內(nèi)的任意位置。任何情感可以通過(guò)一組數(shù)值進(jìn)行表示。這組數(shù)值代表了這個(gè)情感在情感空間中的位置。不同情感之間是連續(xù)過(guò)渡的，利用空間中的距離可以度量不同情感之間的差異度與相似度，而且可以度量相同情5感的不同程度的強(qiáng)弱。示例：在VA(Valence-Arousal)情感空間中，Valence是效價(jià)，代表情感的正負(fù)特性即情感的積極或消極程度，喜歡或不喜歡程度，這個(gè)維度體現(xiàn)了情感的極性，一般的取值范圍在[-1,1],值“—1”代表非常消極，相反，“非常興奮。VA空間中的數(shù)值點(diǎn)(0.82,0.43)是基于VA情感空間中連續(xù)表示的效價(jià)(Valence)與喚醒度(Arousal)的數(shù)值來(lái)表示的。4.5情感數(shù)據(jù)采集情感數(shù)據(jù)采集是情感計(jì)算用戶界面通過(guò)多模態(tài)的傳感器或者其他設(shè)備獲取用戶的行為數(shù)據(jù)以及神經(jīng)生理和心理數(shù)據(jù)的過(guò)程。情感數(shù)據(jù)包括反映用戶外部表現(xiàn)的行為數(shù)據(jù)，以及反映用戶生理狀態(tài)數(shù)據(jù)與心理的數(shù)據(jù)。情感數(shù)據(jù)包括反映用戶外部表現(xiàn)的行為數(shù)據(jù)，以及反映用戶生理狀態(tài)數(shù)據(jù)與心理的數(shù)據(jù)。情感數(shù)據(jù)類型包括靜態(tài)情感數(shù)據(jù)和動(dòng)態(tài)情感數(shù)據(jù)。靜態(tài)情感數(shù)據(jù)可以記錄某一時(shí)刻用戶的情感，例如靜態(tài)圖像。動(dòng)態(tài)情感數(shù)據(jù)可以記錄用戶在一段時(shí)期內(nèi)的連續(xù)行為，例如視頻或音頻。動(dòng)態(tài)情感數(shù)據(jù)流反映了情感的動(dòng)態(tài)變化過(guò)程。情感數(shù)據(jù)模態(tài)主要包括行為數(shù)據(jù)模態(tài)、神經(jīng)生理和心理數(shù)據(jù)，其中行為數(shù)據(jù)模態(tài)主要包括視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)。每種模態(tài)可以采用多種媒體類型，情感數(shù)據(jù)可基于一種或多種模態(tài)。表1和表2中分別給出了采用特定模態(tài)的信息和媒體類型描述。表1信息輸入的模態(tài)和媒體類型采用特定模態(tài)的信息模態(tài)包括以下《全部}或一種或多種：《視覺(jué)，聽(tīng)覺(jué)，觸覺(jué)，神經(jīng)生理和心理數(shù)據(jù)}6表1信息輸入的模態(tài)和媒體類型(續(xù))采用特定模態(tài)的信息媒體類型包括以下{全部}或一種或多種：{圖像，視頻，姿態(tài)，書面文字，口頭文字，觸覺(jué)文字，面部表情，音樂(lè)，語(yǔ)音，其他聲音，基于電信號(hào)的神經(jīng)生理與心理信號(hào)，基于非電信號(hào)的神經(jīng)生理與心理信號(hào)}表2媒體類型和描述媒體類型描述圖像由系統(tǒng)展示或由用戶載入系統(tǒng)的靜態(tài)圖像(包括用戶面部表情圖像、姿勢(shì)和文字)視頻由系統(tǒng)展示或由用戶載入系統(tǒng)的動(dòng)態(tài)圖像序列姿態(tài)用戶表達(dá)觀點(diǎn)或意思的動(dòng)作書面文字以靜態(tài)或動(dòng)態(tài)的書面符號(hào)呈現(xiàn)的基于語(yǔ)言的文字媒體，通常由系統(tǒng)通過(guò)屏幕輸出或由用戶通過(guò)鍵盤輸入口頭文字一種由用戶或系統(tǒng)口述的基于文字的媒體觸覺(jué)文字一種以靜態(tài)或動(dòng)態(tài)方式呈現(xiàn)的基于語(yǔ)言的觸覺(jué)符號(hào)媒體，通常由系統(tǒng)通過(guò)屏幕輸出或由用戶通過(guò)鍵盤輸入面部表情經(jīng)觀察得到的反映一種或多種面部皮膚下肌肉運(yùn)動(dòng)或位置的面部活動(dòng)音樂(lè)由系統(tǒng)或用戶發(fā)出的、具有一定旋律、和聲或節(jié)奏并按照時(shí)間順序排列的聲音語(yǔ)音某一給定自然語(yǔ)言的話音模式，或模擬這類模式的聲學(xué)信號(hào)其他聲音除音樂(lè)和語(yǔ)音外，任何能被系統(tǒng)或用戶聽(tīng)見(jiàn)的媒體，不一定有對(duì)應(yīng)意義基于電信號(hào)的神經(jīng)生理與心理信號(hào)對(duì)生物細(xì)胞、組織或器官的電壓變化、電流變化或操縱的測(cè)量基于非電信號(hào)的神經(jīng)生理與心理信號(hào)除基于電信號(hào)的神經(jīng)生理與心理信號(hào)之外的神經(jīng)生理與心理信號(hào)，通常包括機(jī)械、光學(xué)、聲學(xué)、化學(xué)和熱力學(xué)生物信號(hào)等74.6情感識(shí)別情感識(shí)別是通過(guò)分析情感數(shù)據(jù)的模式和規(guī)律對(duì)用戶情感進(jìn)行識(shí)別的過(guò)程。圖3展示了情感識(shí)別的流程。情感類別基于聽(tīng)覺(jué)數(shù)據(jù)多模態(tài)融合基于觸覺(jué)數(shù)據(jù)的情感識(shí)別情感數(shù)值基于神經(jīng)生理與心理數(shù)據(jù)的情感識(shí)別情感數(shù)據(jù)視賞/視頻數(shù)據(jù)聽(tīng)覺(jué)/音頻數(shù)據(jù)觸覺(jué)/力觸覺(jué)數(shù)據(jù)神經(jīng)生理和心理數(shù)據(jù)度量分類情感數(shù)據(jù)識(shí)別注：圖3包括三個(gè)部分：情感數(shù)據(jù)、情感識(shí)別和已識(shí)別的情感狀態(tài)。情感數(shù)據(jù)涉及四種數(shù)據(jù)模態(tài)：視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)與神經(jīng)生理和心理數(shù)據(jù)。在情感識(shí)別過(guò)程中，各種識(shí)別方法基于數(shù)據(jù)模態(tài)處理情感數(shù)據(jù)。已識(shí)別的情感狀態(tài)可通過(guò)情感分類進(jìn)行歸類，或通過(guò)度量得到維度情感空間中的數(shù)值。圖3情感識(shí)別流程圖4.6.2情感識(shí)別功能情感識(shí)別模塊識(shí)別用戶情感特性。這些模塊通過(guò)不同模態(tài)處理情感數(shù)據(jù)。注1:針對(duì)不同的模態(tài)，情感識(shí)別過(guò)程可能隨特定的媒體類型而變化。情感識(shí)別通過(guò)分析處理情感數(shù)據(jù)，識(shí)別用戶的情感狀態(tài)。情感識(shí)別模塊的功能包括：a)情感分類：在離散空間中將用戶情感歸于某個(gè)或多個(gè)情感類別。注2:輸入信息是情感數(shù)據(jù)(見(jiàn)4.5.2),輸出信息是一種或多種情感類別。b)情感度量：在維度情感空間中對(duì)用戶情感進(jìn)行賦值。注3:輸入信息是情感數(shù)據(jù)(見(jiàn)4.5.2),輸出信息是維度情感空間中的情感數(shù)值。情感分類和情感度量相互獨(dú)立，可以單獨(dú)選擇情感分類或情感度量進(jìn)行情感識(shí)別，也可以同時(shí)通過(guò)情感分類和情感度量進(jìn)行情感識(shí)別。4.6.3情感特性識(shí)別情感特性識(shí)別可能涉及：a)情感特性分類：識(shí)別所有信息輸入并將其歸入情感特性類別。注1:信息輸入是情感數(shù)據(jù)(見(jiàn)4.5.2)。信息輸出是指定情感特性類別的一種或多種類別。b)情感特性度量：在維度情感空間中對(duì)所有信息輸入賦值。注2:信息輸入是情感數(shù)據(jù)(見(jiàn)4.5.2)。信息輸出是維度情感空間中的值。情感特性的分類和度量應(yīng)該相互獨(dú)立，并且通常只選擇其中一種。情感識(shí)別有兩種可能的結(jié)果：8a)情感特性類別；b)維度情感空間中的值。4.7情感決策情感決策旨在信息系統(tǒng)通過(guò)決策模塊選擇表達(dá)的情感，從而進(jìn)行情感表達(dá)。決策模塊將已識(shí)別情感和使用語(yǔ)境作為輸入。決策模塊由推理和決定兩個(gè)部分組成，見(jiàn)圖4?！脩糍Y料——口標(biāo)——采集設(shè)備——環(huán)境推理推理出的意圖次定選擇的表達(dá)情感注：進(jìn)入決策模塊的輸入包括已識(shí)別的情感狀態(tài)和使用語(yǔ)境。情感計(jì)算用戶界面中最常用的使用語(yǔ)境要素有：用戶資料、目標(biāo)、采集設(shè)備和環(huán)境。決策模塊通過(guò)“推理”子模塊產(chǎn)生推理出的意圖，然后在“決定”子模塊中，根據(jù)推理出的意圖和使用語(yǔ)境產(chǎn)生要進(jìn)行的活動(dòng)。決策模塊的輸出是通過(guò)信息系統(tǒng)執(zhí)行的情感生成，為情感表達(dá)提供輸入。圖4決策模塊在情感計(jì)算用戶界面中，使用語(yǔ)境主要關(guān)注用戶資料、目標(biāo)、采集設(shè)備和環(huán)境。a)用戶資料：與特定個(gè)體用戶相關(guān)的個(gè)人數(shù)據(jù)。c)采集設(shè)備：采集情感數(shù)據(jù)的輸入設(shè)備。推理的核心是根據(jù)識(shí)別的用戶情感和使用語(yǔ)境得到用戶意圖。推理得到的意圖是一組用戶需求。9推理得到的意圖可能是交互意圖或情感意圖或兩者兼有。a)交互意圖：用戶的一種明確的行為需求(例如用戶問(wèn)一個(gè)特定的問(wèn)題或要求一種特定的服務(wù))。b)情感意圖：用戶對(duì)情感回應(yīng)或情感調(diào)節(jié)的需求(例如，如果用戶緊張地咨詢一個(gè)問(wèn)題，他/她期望的情感回應(yīng)可能是撫慰)。決定是一種根據(jù)推理出的意圖、使用語(yǔ)境識(shí)別和選擇執(zhí)行活動(dòng)以實(shí)現(xiàn)特定目標(biāo)的過(guò)程。注1:不同的活動(dòng)組合可以為實(shí)現(xiàn)同一目標(biāo)提供不同方式。決定旨在選擇可供信息系統(tǒng)執(zhí)行的一系列表達(dá)情感，以進(jìn)行情感表達(dá)。注2:選擇的表達(dá)情感需得到廣泛認(rèn)可和理解。4.8情感表達(dá)情感表達(dá)的目標(biāo)是為了根據(jù)選擇表達(dá)的情感通過(guò)輸出設(shè)備以不同的情感呈現(xiàn)方式向用戶傳達(dá)與表達(dá)情感。情感表達(dá)包含情感的生成與呈現(xiàn)兩個(gè)步驟。情感生成的輸入情感決策的結(jié)果：待生成的情感，結(jié)果為情感的表達(dá)方式。情感呈現(xiàn)的輸入情感的表達(dá)方式，通過(guò)情感生成接口控制參數(shù)，并使用呈現(xiàn)設(shè)備向用戶輸出相應(yīng)的情感。4.8.2表達(dá)的模態(tài)表達(dá)的模態(tài)包括視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)。每一個(gè)模態(tài)的數(shù)據(jù)或者媒體類型可以通過(guò)輸出設(shè)備呈現(xiàn)，例如，視頻和圖片可以在顯示器等設(shè)備上展示，而聲音可以通過(guò)揚(yáng)聲器表現(xiàn)(如表3所示)。表3表達(dá)的輸出方式模態(tài)設(shè)備媒體類型視覺(jué)顯示器圖片，視頻，姿態(tài)，面部表情，書面文字，仿生機(jī)器人等聽(tīng)覺(jué)揚(yáng)聲器音樂(lè)，聲響，語(yǔ)音，口頭文字觸覺(jué)電刺激器或振動(dòng)裝置基于電信號(hào)的神經(jīng)生理與心理信號(hào)，基于非電信號(hào)的神經(jīng)生理與心理信號(hào)注1:表達(dá)模態(tài)和媒體類型的選擇是場(chǎng)景相關(guān)的。注2:其他的模態(tài)和媒體類型在某些情況下也可以用于呈現(xiàn)，例如，觸覺(jué)模態(tài)和觸覺(jué)文字媒體類型。注3:設(shè)備包含但不限于表3內(nèi)容。(資料性)情感計(jì)算用戶界面應(yīng)用實(shí)例A.1概覽本附錄展示了一款基于情感計(jì)算用戶界面交互模型的應(yīng)用程序，闡述了所有情感計(jì)算用戶界面模塊如何統(tǒng)一協(xié)作的方式，并且說(shuō)明了情感計(jì)算用戶界面標(biāo)準(zhǔn)在某個(gè)特定的情境下的定義方式和應(yīng)用方法。本附錄詳細(xì)說(shuō)明了一款以用戶情緒體驗(yàn)為基礎(chǔ)的情感計(jì)算用戶界面模型在某聊天工具虛擬客服(一種實(shí)施在智能手機(jī)上的即時(shí)通信平臺(tái))的應(yīng)用。情感計(jì)算用戶界面應(yīng)用實(shí)例見(jiàn)圖A.1。A.2用戶用戶是在該聊天工具上使用某金融機(jī)構(gòu)或公司虛擬客戶服務(wù)來(lái)接受微笑服務(wù)的客戶。用戶可以通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)或者神經(jīng)生理或心理學(xué)信號(hào)等模態(tài)來(lái)與該系統(tǒng)交互，其媒體類型可以為書面文字、口注：用來(lái)交互的模態(tài)根據(jù)當(dāng)前應(yīng)用場(chǎng)景的不同而變化。在此例中，交互模態(tài)和媒體類型僅為該平臺(tái)支持的類型。在該聊天工具上的虛擬客服的情感表示可以為離散情感類別。在此應(yīng)用場(chǎng)景中，其情感類別可以A.4數(shù)據(jù)集該應(yīng)用數(shù)據(jù)集在實(shí)際使用前對(duì)整個(gè)系統(tǒng)進(jìn)行測(cè)試、驗(yàn)證、訓(xùn)練，以確保用戶和計(jì)算機(jī)之間情感的一對(duì)于該應(yīng)用上支持的每一種模態(tài)，都有相應(yīng)的已經(jīng)在數(shù)據(jù)采集、標(biāo)注和數(shù)據(jù)結(jié)構(gòu)等方面有統(tǒng)一規(guī)定的數(shù)據(jù)集。以面部表情數(shù)據(jù)集為例，圖像的標(biāo)準(zhǔn)為使用相機(jī)在專業(yè)光照條件下拍攝的，分辨率不低于250×250像素的圖像。每張圖像中僅僅允許有一張人臉，數(shù)據(jù)集的被試者要求性別平衡，并且能覆蓋其用戶的主要年齡群。采集到的圖像以JPEG的格式保存，并根據(jù)識(shí)別模塊中的輸出結(jié)果進(jìn)行特定類型的標(biāo)不同模態(tài)下的數(shù)據(jù)集將由數(shù)據(jù)集標(biāo)準(zhǔn)定義和規(guī)范。A.5情感數(shù)據(jù)的采集情感計(jì)算用戶界面系統(tǒng)能夠通過(guò)該平臺(tái)支持的模態(tài)來(lái)進(jìn)行情感數(shù)據(jù)的獲取和采集，例如，通過(guò)鍵情感數(shù)據(jù)在不同設(shè)備上的采集方式與數(shù)據(jù)結(jié)構(gòu)將由情感數(shù)據(jù)采集標(biāo)準(zhǔn)定義和規(guī)范。A.6情緒識(shí)別情感數(shù)據(jù)將在識(shí)別模塊進(jìn)行處理與分析，來(lái)識(shí)別用戶的情緒狀態(tài)。假設(shè)情感計(jì)算用戶界面系統(tǒng)捕捉到一個(gè)緊張客戶的語(yǔ)音片段，經(jīng)過(guò)數(shù)據(jù)處理和分析，識(shí)別模塊將用戶的情緒識(shí)別為“憤怒”,這是金融注：目標(biāo)情緒類別是情景相關(guān)的。識(shí)別標(biāo)準(zhǔn)將規(guī)范在不同模態(tài)下識(shí)別用戶情緒類別的分類流程，和已識(shí)別情緒的數(shù)據(jù)結(jié)構(gòu)。A.7決策根據(jù)已識(shí)別的情緒“憤怒”和應(yīng)用場(chǎng)景，“推理”子模塊可以推理出用戶的交互意圖(例如，該客戶丟失了信用卡，并且想上報(bào)損失，或者客戶忘記了銀行卡密碼并且想重置密碼等)。同時(shí)，“推理”模塊由此推斷出用戶的情感意圖，例如“這個(gè)生氣的用戶可能需要安慰”。推斷的意圖允許選擇適當(dāng)?shù)哪B(tài)，媒體類型和輸出設(shè)備來(lái)決定對(duì)用戶的回復(fù)方式，并產(chǎn)生情感動(dòng)塊來(lái)調(diào)用相關(guān)的功能來(lái)達(dá)到客戶的預(yù)期目標(biāo)。A.8情緒表達(dá)呈現(xiàn)模塊接受并執(zhí)行情感操作，在該聊天工具的具體場(chǎng)景中，通過(guò)視覺(jué)和聽(tīng)覺(jué)的模態(tài)，以如面部表情、文字、聲音和音樂(lè)的媒體類型向客戶進(jìn)行呈現(xiàn)。呈現(xiàn)的具體事項(xiàng)將由呈現(xiàn)標(biāo)準(zhǔn)來(lái)進(jìn)行定義與規(guī)范。金融客戶服務(wù)來(lái)白客戶的語(yǔ)音片段別扭心，我們會(huì)幫您通過(guò)語(yǔ)音進(jìn)行“安撫”“安撫”+行“安撫”發(fā)送客戶注：在某金融虛擬客服場(chǎng)景中，呈現(xiàn)方式包括視覺(jué)和聽(tīng)覺(jué)，媒體類型包括該平臺(tái)支持的文字，語(yǔ)音，表情，符號(hào)或者其組合。圖A.1在某金融虛擬客服場(chǎng)景中，情感計(jì)算用戶界面呈現(xiàn)的示例(資料性)情感計(jì)算用戶界面標(biāo)準(zhǔn)化的內(nèi)容為了實(shí)現(xiàn)情感計(jì)算用戶界面(AUI)的模型，以下的內(nèi)容對(duì)于未來(lái)的標(biāo)準(zhǔn)化非常重要。a)可以用于情感計(jì)算的情感特性：1)普遍特性，2)文化特性，3)個(gè)體特性，4)情境特性。b)為您的應(yīng)用程序選擇一組最佳的情感特性：1)尋找情感特性，2)限定情感特性的集合，3)優(yōu)化情感特性的集合。c)情感計(jì)算用戶界面情感表示方法：1)情感特性的類別，2