基于智能Agent的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型眼動追蹤與表情識別技術(shù)支持下的耦合.pdf

基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型 基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感 與認(rèn)知識別模型 * 眼動追蹤與表情識別技術(shù)支持下的耦合 詹澤慧 摘要:情感與認(rèn)知狀態(tài)的準(zhǔn)確識別是實現(xiàn)遠(yuǎn)程學(xué)習(xí)者與教學(xué) Agent 有效互動的基礎(chǔ)。只有有效識別出學(xué) 習(xí)者的情感與認(rèn)知狀態(tài)，教學(xué) Agent 在改變學(xué)習(xí)者行為態(tài)度、幫助學(xué)習(xí)者獲取和理解知識、支持學(xué)習(xí)者認(rèn)知發(fā)展 方面才能取得預(yù)期的效果?，F(xiàn)有的教學(xué) Agent 普遍存在兩方面問題: 一是缺乏情感交互性，容易使遠(yuǎn)程學(xué)習(xí)者產(chǎn) 生厭倦情緒; 二是認(rèn)知推斷功能薄弱，對學(xué)習(xí)效果的促進(jìn)作用不穩(wěn)定。這主要是由于 Agent 對學(xué)習(xí)者狀態(tài)的識別 不夠充分造成的。已有的學(xué)習(xí)者狀態(tài)識別方法雖然在學(xué)習(xí)者情緒狀態(tài)的識別方面各有優(yōu)勢，但卻無法同時檢測 學(xué)習(xí)者的視域、學(xué)習(xí)情緒與認(rèn)知狀態(tài)。學(xué)習(xí)者的眼動追蹤數(shù)據(jù)是判斷學(xué)習(xí)者實時狀態(tài)的重要指標(biāo)，也是學(xué)習(xí)者 與 Agent 進(jìn)行情感交互的重要依據(jù)。結(jié)合表情識別和眼動追蹤技術(shù)構(gòu)建的基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn) 知識別模型，將眼動追蹤與表情監(jiān)控迭代識別、情感與認(rèn)知識別過程相耦合，以提高遠(yuǎn)程學(xué)習(xí)者狀態(tài)的識別準(zhǔn) 確率，改進(jìn) Agent 對學(xué)習(xí)者的情感和認(rèn)知支持，為智能教學(xué) Agent 與遠(yuǎn)程學(xué)習(xí)者交互機(jī)制的研究提供新的思路和 方法。 關(guān)鍵詞:智能 Agent; 遠(yuǎn)程學(xué)習(xí)者; 情感識別; 認(rèn)知識別; 眼動追蹤; 表情識別 中圖分類號:G434文獻(xiàn)標(biāo)識碼:A文章編號:1009 5195( 2013) 05 0100 06 doi10.3969/j. issn.1009 5195.2013.05.013 * 基金項目:國家自然科學(xué)基金青年項目 ( 61305144) ; 教育部人文社科青年基金項目 ( 13YJC880105) ; 廣州市哲學(xué)社會科學(xué)發(fā)展 “十二五”規(guī)劃青年課題 ( 13Q18) ; 廣東省優(yōu)秀博士學(xué)位論文作者資助項目 ( SYBZZXM201226) ; 廣東省自然科學(xué)基金博士啟動項目 ( S2011040001730) 。 作者簡介:詹澤慧，博士，副教授，華南師范大學(xué)教育信息技術(shù)中心 ( 廣東廣州510631) 。 一、引言 師生和生生間的準(zhǔn)分離狀態(tài)是E Learning 不可 忽視的基本特征之一。由于時空分離，教師豐富的 面部表情、抑揚(yáng)頓挫的話語和恰到好處的姿勢動作 所帶來的情感信息容易在傳播過程中減弱甚至丟失， 學(xué)習(xí)者難以感受到教師對他們的關(guān)注，在學(xué)習(xí)中容 易產(chǎn)生孤獨(dú)無助和迷茫懶散的情緒。為了彌補(bǔ)時空 分離的缺陷，教學(xué)代理 ( Pedagogical Agent)應(yīng)運(yùn)而 生。它以鮮活的動畫人物或擬人形象出現(xiàn)在計算機(jī) 輔助教學(xué)過程中，有利于增加學(xué)習(xí)過程的趣味性和 減輕學(xué)習(xí)者的認(rèn)知負(fù)荷。( 詹澤慧，2011)然而，現(xiàn)有 的教學(xué) Agent 普遍缺乏情感交互性，容易使遠(yuǎn)程學(xué) 習(xí)者產(chǎn)生厭倦情緒。此外，各類 Agent 對 E Learn- ing 中學(xué)習(xí)者的認(rèn)知促進(jìn)效果并不穩(wěn)定，一些學(xué)習(xí)者 甚至認(rèn)為 Agent 的頻繁反饋干擾了他們正常的瀏覽 和閱讀。出現(xiàn)這一問題的關(guān)鍵原因在于 Agent 對學(xué) 習(xí)者狀態(tài)的識別不充分。如果對學(xué)習(xí)者當(dāng)前的學(xué)習(xí) 狀態(tài)缺乏準(zhǔn)確的判斷，就必然會影響到 Agent 的表 現(xiàn)，更談不上向?qū)W習(xí)者實時提供有效的幫助和學(xué)習(xí) 支持。因此，對 E Learning 中遠(yuǎn)程學(xué)習(xí)者情感狀態(tài) 與認(rèn)知狀態(tài)識別過程進(jìn)行深入研究，已經(jīng)成為遠(yuǎn)程 教育實現(xiàn)智能化人機(jī)互動亟待解決的重要問題。 目前對學(xué)習(xí)者狀態(tài)的識別方法主要有人臉表情 的識別、人體姿態(tài)的識別、語音語調(diào)的識別以及人 體生理信號 ( 如肌肉電、皮膚電、脈搏波、血壓、 呼吸等)的識別。( 解迎剛等，2011)這些方法在學(xué) 習(xí)者情緒狀態(tài)的識別方面各有優(yōu)勢，然而卻無法同 時檢測學(xué)習(xí)者的視域、學(xué)習(xí)情緒與認(rèn)知狀態(tài)，尤其 是在認(rèn)知狀態(tài)的跟蹤方面較為薄弱。由于 E Learning 中學(xué)習(xí)者主要依靠視覺來獲取信息，因此 學(xué)習(xí)者的眼動追蹤數(shù)據(jù)是判斷其實時狀態(tài)的重要指 標(biāo)，也是學(xué)習(xí)者與 Agent 進(jìn)行情感交互的重要依 據(jù)。本研究嘗試在已有表情識別的基礎(chǔ)上加入眼動 追蹤技術(shù)，以提高遠(yuǎn)程學(xué)習(xí)者狀態(tài)的識別準(zhǔn)確率， 改進(jìn) Agent 對學(xué)習(xí)者的情感和認(rèn)知支持，為智能教 學(xué) Agent 與遠(yuǎn)程學(xué)習(xí)者交互機(jī)制的研究提供新的思 路和方法。 二、研究進(jìn)展 1. 通過眼動追蹤識別學(xué)習(xí)者狀態(tài) 人的認(rèn)知加工過程很大程度上依賴于視覺系 001 基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型 統(tǒng)，約有 80% 90% 的外界信息是通過人眼獲取 的。( Rayner et al. ，2008) 基于眼動追蹤的人機(jī)交互 方式具有直接和自然的特性，已成為最有發(fā)展前景 的新一代人機(jī)交互方式之一。在人機(jī)交互領(lǐng)域中， 視覺還具有雙向性的特點(diǎn)。一方面，學(xué)習(xí)者眼動狀 態(tài)和視點(diǎn)路徑具有很強(qiáng)的表意功能，Agent 可以通 過對眼動狀態(tài)和路徑的追蹤來識別學(xué)習(xí)者的認(rèn)知和 情感狀態(tài);另一方面，Agent 也可以通過自身的眼 動狀態(tài)來表達(dá)情感，從而影響學(xué)習(xí)者的認(rèn)知和情 緒。對于前者的研究，主要是用眼動儀監(jiān)測 Agent 作用下的學(xué)習(xí)者行為。例如 DMello 等( 2012)開 發(fā)的針對學(xué)習(xí)者注視的智能導(dǎo)師系統(tǒng)，首先使用眼 動儀監(jiān)測學(xué)習(xí)者的注視模式，識別出學(xué)習(xí)者處于 “無聊 ” 、 “不參與”還是 “分神”狀態(tài);然后用 智能教學(xué) Agent 來引導(dǎo)學(xué)習(xí)者進(jìn)入積極參與的狀 態(tài)。實證研究表明，教學(xué) Agent 可以有效地把學(xué)習(xí) 者的注意力引導(dǎo)到界面上的關(guān)鍵區(qū)域，并且增加學(xué) 習(xí)者對重點(diǎn)問題的深入思考，但對于提高學(xué)習(xí)者學(xué) 習(xí)興趣和自我反省的參與度方面效果不明顯，且該 效果對不同的學(xué)習(xí)者存在差異。又如 Prendinger 等 ( 2007)通過眼動儀分析界面 Agent 對用戶界面認(rèn)知 的影響，結(jié)果發(fā)現(xiàn) Agent 的肢體動作對于引導(dǎo)用戶 的注意力比文字和語音更有效果，但也會略微影響 到用戶的專注程度，有時候可能會使用戶分神去注 意 Agent 的行為。此外，Agent 的存在使得用戶與 界面的交互變多，用戶社會存在感顯著增強(qiáng)。Li 和 Mao( 2012) 基于瑞士日內(nèi)瓦大學(xué)的 Scherer ( 2005)提出的情感輪模型對 50 名被試的眼動數(shù)據(jù) 進(jìn)行分析發(fā)現(xiàn):在正負(fù)刺激源的刺激下，刺激的強(qiáng) 度越大，用戶的瞳孔直徑越大，眨眼速率則越低; 在正向刺激源的刺激下，眼球運(yùn)動多傾向于上下運(yùn) 動;而在負(fù)向刺激源的刺激下，眼球運(yùn)動多傾向于 對角線運(yùn)動;據(jù)此 Li 和 Mao 獲得 6 種基本情感和 14 種由基本情感混合而成的派生情感的面部動畫 參數(shù)。 在國內(nèi)，基于眼動追蹤的人機(jī)交互技術(shù)及其相 關(guān)應(yīng) 用 的 研 究 工 作 起 步 稍 晚，已 有 沈 模 衛(wèi) 等 ( 2003)、屠大維等( 2004)、郭北苑等( 2004)、劉瑞 安等( 2006)、王志良等( 2009)、毛峽等( 2011)學(xué) 者提出眼動追蹤實現(xiàn)方案以及在成型的眼動追蹤產(chǎn) 品基礎(chǔ)上面向交互所做的大量工作。例如黃瑩等 ( 2008)開發(fā)出一個基于視線追蹤及有意眼動命令 的識別方法，提出了人機(jī)雙方均通過視覺方式來與 對方互動的仿真原型。屠大維等( 2004)通過對 “視覺 眼動 ” 、 “語音 聽覺” 、機(jī)械接觸式按鈕 等人機(jī)交互效應(yīng)通道及其協(xié)同工作模式的研究，建 立了多通道自然人機(jī)交互界面，并對人、界面、機(jī) 器 ( 人) 、以及環(huán)境之間的信息感知與反饋機(jī)制進(jìn) 行了初步研究，最后系統(tǒng)地建立了具有多種信息感 知與反饋功能的 “人 界面 機(jī)器 ( 人) ”實驗系 統(tǒng)，初步實現(xiàn)了彼此之間協(xié)同工作的機(jī)制。 2. 通過表情追蹤識別學(xué)習(xí)者狀態(tài) 表情識別主要基于對學(xué)習(xí)者面部特征的跟蹤。 Kapoor( 2004)等人采用 Ekman 的面部運(yùn)動編碼系 統(tǒng) ( FACS)建立基于概率和誤差修正的多分類器 組合模型對興趣進(jìn)行多模態(tài)的識別。Neji 等( 2007) 進(jìn)行表情識別時首先識別人臉，分別提取出眼睛、 眉毛、嘴巴的輪廓，進(jìn)而分析并對表情進(jìn)行分類， 定義出 6 種間距，通過間距的變化規(guī)律來識別表 情，其識別率達(dá)到 80%。Zakharov( 2007)則通過 計算人臉器官的 3 項比率來分析人的情緒，這三項 比率是眼角到嘴巴的距離同兩眼之間距離的比率、 嘴巴間距同兩眼距離的比率、眉毛間距同兩眼距離 的比率。用 K 時刻 3 個比率同初始比率的差值來 確定情緒的正負(fù)向，如皺眉或微笑。這種方法易于 識別情緒的正負(fù)極性，但是卻難以識別復(fù)雜的情緒 狀態(tài)。吳彥文等( 2008)提出了根據(jù)嘴角和嘴中心 連線與眉心和嘴中心連線之間的夾角大小來判斷情 緒的方法:如果夾角基本等于 90 度，則表情為平 靜;夾角小于 90 度，則是高興;夾角大于 90 度， 則是悲傷。 3. 基于認(rèn)知評價的情緒識別 基于認(rèn)知評價的情緒識別主要是通過描述引發(fā) 情感的認(rèn)知過程解釋情感的誘因。Ortony、Clore 和 Colins( 1988)構(gòu)建的 OCC 模型是這一理論的重要 成果，也因其良好的可計算性被情感計算領(lǐng)域廣泛 應(yīng)用。該模型認(rèn)為情感是作為認(rèn)知評估的結(jié)果而出 現(xiàn)的，所以情感能夠通過對事件、Agent、對象等 要素的評估來測量。評估遵循 3 種價值結(jié)構(gòu):目 的、標(biāo)準(zhǔn)和態(tài)度。學(xué)習(xí)者對事件的評價主要看是促 進(jìn)還是阻礙自身目的的實現(xiàn);標(biāo)準(zhǔn)是指評估 Agent 的活動是否符合個體所持的社會道德標(biāo)準(zhǔn)或行為標(biāo) 準(zhǔn);態(tài)度則用以評估對象的屬性是否與學(xué)習(xí)者的態(tài) 度相一致。Jaques 等人( 2004)采用 OCC 模型，通 過對學(xué)習(xí)者的可觀察行為 ( 如完成練習(xí)的時間、 任務(wù)的成功與失敗、請求或拒絕幫助等)進(jìn)行認(rèn) 知評價而推斷學(xué)生的情感，包括愉快與苦惱、滿意 與失望、感激與生氣、驕傲與羞恥等。根據(jù) OCC 模型，學(xué)習(xí)者的認(rèn)知狀態(tài)與情感狀態(tài)是相互影響且 可以相互推斷的。眼動追蹤數(shù)據(jù)所識別出來的認(rèn)知 狀態(tài)和情感狀態(tài)是存在相互作用的。 101 基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型 三、模型建構(gòu) 1. 指標(biāo)篩選 學(xué)習(xí)者的情感狀態(tài)可以通過眼動追蹤數(shù)據(jù)和表 情數(shù)據(jù)進(jìn)行分析和識別，因此有必要篩選出合適 的、敏感性高的眼動指標(biāo)和表情指標(biāo)，并設(shè)計出合 理的對照驗證邏輯，將眼動分析結(jié)果與表情分析結(jié) 果耦合，識別出學(xué)習(xí)者的情感狀態(tài)。 ( 1)眼動指標(biāo) 眼動追蹤技術(shù)可以記錄人眼球運(yùn)動的基本形式 在時間和空間上的數(shù)據(jù)，包括注視時間、注視次 數(shù)、注視概率、眨眼頻率、眼跳潛伏期、回視次 數(shù)、回視概率、瞳孔大小、向右眼跳次數(shù)、眼跳距 離、掃視頻率和閱讀速度等。其中，瞳孔大小、眨 眼頻率、注視時間和掃視頻率可以作為識別學(xué)習(xí)者 狀態(tài)的主要指標(biāo)。 瞳孔大小主要反映學(xué)習(xí)者的疲勞程度和對某一 學(xué)習(xí)內(nèi)容的感興趣程度。研究表明，當(dāng)一個人在充 分休息之后，其瞳孔直徑最大;而當(dāng)一個人疲勞 時，瞳孔直徑變小，在入睡前瞳孔直徑最小。( Lo- wenstein et al. ， 1964)人們在面對有趣和令人愉快的 刺激時瞳孔會放大，而在遇到令人厭惡的刺激時瞳 孔會收縮。( Hess et al. ，1965) 連續(xù)呈現(xiàn)刺激或閱讀 時間過長也會使學(xué)習(xí)者產(chǎn)生疲勞，最終導(dǎo)致瞳孔直 徑縮小。( Hess，1972) 瞳孔大小還可以反映學(xué)習(xí)者 感知的任務(wù)難度，( Kahneman et al. ，1971) 當(dāng)任務(wù)難 度增加時，被試瞳孔擴(kuò)大的幅度會變大。同時，瞳 孔擴(kuò)大也是心理努力的敏感指標(biāo)。心理加工負(fù)荷越 大，瞳孔直徑的變化幅度也會越大。Beatty( 1982) 還發(fā)現(xiàn)，瞳孔的擴(kuò)大反映了神經(jīng)系統(tǒng)激活的變化， 這種激活伴隨有知覺的加工活動。 眨眼頻率、注視時間和掃視頻率主要反映興趣 和愉悅程度。眨眼頻率提高通常與消極的情緒相聯(lián) 系 ( 如緊張、焦慮和疲勞) ，而眨眼頻率降低則與 較愉悅的心理狀態(tài)相關(guān)。( 閆國利等，2012)眨眼頻 率和持續(xù)時間通常與被試的認(rèn)知活動有關(guān)聯(lián):在安 靜、放松的狀態(tài)下，人的平均眨眼頻率是每分鐘 15 20 次;( Tecce，1992)而當(dāng)一項任務(wù)需要被試 高度注意時，眨眼頻率會變低，譬如人在閱讀過程 中的眨眼頻率可以降低到每分鐘 3 次;人在回答問 題或進(jìn)行交談時，眨眼頻率會提高。 ( 2)表情指標(biāo) 臉部表情也是反映學(xué)習(xí)者情感狀態(tài)的重要表現(xiàn) 方式。人臉中眼睛、嘴巴、眉毛的輪廓較容易識 別，因此在表情識別中有著廣泛的應(yīng)用。本研究以 眼睛大小、身體姿勢、眉毛和嘴部狀態(tài)作為識別學(xué) 習(xí)者狀態(tài)的主要指標(biāo)。 根據(jù) Mota( 2003)的研究結(jié)果，當(dāng)學(xué)習(xí)者學(xué)習(xí) 興趣較高時，很可能會發(fā)生身體前傾;而對某一內(nèi) 容厭煩時，身體很可能會后仰。根據(jù)吳彥文等 ( 2008)的研究，學(xué)習(xí)者感到愉快時，嘴角和嘴中 心的連線與眉心和嘴中心連線之間的夾角會小于 90 度;反之當(dāng)學(xué)習(xí)者感到不愉快時，該夾角會大 于 90 度。 2. 概念框架 ( 1)情感狀態(tài)識別 本研究參考王志良等( 2009)的學(xué)生三維情 緒空間模型和解迎剛等( 2011)的學(xué)生三維學(xué)習(xí) 狀態(tài)模型，構(gòu)建了情感狀態(tài)識別的概念框架 ( 如 表 1 所示) 。 表 1 學(xué)習(xí)者情感狀態(tài)識別框架 情感狀 態(tài)識別 類別表情識別特征描述眼動識別特征描述 喚醒維度 緊張 眼睛睜大 ( 眼睛 區(qū)域面積增大) 瞳孔變大 睡眠 眼睛閉合 ( 眼睛 區(qū)域面積減小) 瞳孔變小 興趣維度 感興趣 身體向前傾 ( 臉 部區(qū)域面積增大) 眨眼減少，注視時 間長，瞳孔變大 不感興趣 身體向后仰 ( 臉 部區(qū)域面積減小) 眨眼增加，眼跳增 加，掃視頻率增加 愉快維度 愉快 不愉快 微笑 ( 嘴巴的狀 態(tài): 變小) 皺眉 ( 眉心區(qū)域 的紋理特征) 撅嘴 ( 嘴巴的狀 態(tài): 變大) 眨眼頻率降低 眨眼頻率增加 在情感狀態(tài)識別框架下，表情識別和眼動識別 二者同時進(jìn)行，結(jié)果相互驗證。情感狀態(tài)分為三個 維度。喚醒維度表征學(xué)習(xí)者的疲勞程度，以眼睛區(qū) 域面積變化和瞳孔大小的變化來識別。興趣維度表 征某一學(xué)習(xí)內(nèi)容對學(xué)習(xí)者的吸引程度，以學(xué)習(xí)者臉 部區(qū)域的面積變化以及眨眼頻率、注視時間、掃視 頻率來識別。愉快維度表征學(xué)習(xí)過程的愉悅程度， 主要以攝像頭中學(xué)習(xí)者嘴巴和眉心區(qū)域的狀態(tài)來識 別，再以眼動追蹤數(shù)據(jù)中的眨眼頻率輔助驗證。在 三個維度中，喚醒維度的表情與眼動指標(biāo)通常有著 較高的一致性;而在興趣維度和愉快維度中，表情 與眼動指標(biāo)可能會出現(xiàn)不同的指向，導(dǎo)致情感狀態(tài) 識別結(jié)論發(fā)生分歧。在這種情況下，興趣維度以眼 動指標(biāo)為主要參考，輔以表情指標(biāo);而愉快維度則 以表情指標(biāo)為主要參考，輔以眼動指標(biāo)。 ( 2)認(rèn)知狀態(tài)識別 在學(xué)習(xí)者情感狀態(tài)識別的基礎(chǔ)上，研究利用眼 201 基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型 動追蹤數(shù)據(jù)和行為數(shù)據(jù)，識別出需要向?qū)W習(xí)者提供 幫助的知識點(diǎn)，并據(jù)此提供有效反饋。 表 2 學(xué)習(xí)者認(rèn)知狀態(tài)識別框架 認(rèn)知狀態(tài)識別識別方法 知識點(diǎn)內(nèi)容 將每一分屏劃分出若干熱點(diǎn)區(qū)域，結(jié)合情感數(shù) 據(jù)識別學(xué)習(xí)過程中的敏感區(qū)域，并提取相應(yīng)知 識點(diǎn)。 幫助需求 由智能 Agent 呈現(xiàn)單選框，學(xué)習(xí)者根據(jù)自身狀 況選擇 “需要幫助”或 “不要打擾” ，以此判 斷學(xué)習(xí)者對智能 Agent 提供幫助的需求程度 掌握程度 每一個章節(jié)結(jié)束后，Agent 給出相關(guān)的測試題 目，根據(jù)題目得分情況判斷學(xué)習(xí)者對相應(yīng)知識 點(diǎn)的掌握程度 Agent 對學(xué)習(xí)者認(rèn)知狀態(tài)的干預(yù)需要以知識點(diǎn) 為單位，以判斷學(xué)習(xí)者對某一內(nèi)容的情感反應(yīng)和認(rèn) 知反應(yīng)。因此在認(rèn)知狀態(tài)識別過程中應(yīng)綜合考慮學(xué) 習(xí)者的情感數(shù)據(jù)、眼動數(shù)據(jù)和行為數(shù)據(jù)。屏幕上的 視線軌跡顯示注視時間較長、回視頻率較高的區(qū)域 為認(rèn)知狀態(tài)識別的熱點(diǎn)區(qū)域。對熱點(diǎn)區(qū)域進(jìn)行文字 識別，確定相關(guān)知識點(diǎn)，然后在事先構(gòu)建好的專業(yè) 知識庫中提取相關(guān)的知識點(diǎn)解釋、測試或拓展內(nèi) 容。當(dāng)認(rèn)知識別結(jié)果顯示學(xué)習(xí)者狀態(tài)為困難時，詢 問是否需要幫助，以及需要哪些方面的幫助 ( 如 概念界定、擴(kuò)展內(nèi)容、知識點(diǎn)注釋等) ;當(dāng)學(xué)習(xí)者 狀態(tài)顯示為輕松時，則不作干擾。在每一章節(jié)內(nèi)容 學(xué)習(xí)完畢時，將提供知識點(diǎn)相關(guān)測試。 3. 人機(jī)交互環(huán)境 對學(xué)習(xí)者狀態(tài)識別的人機(jī)交互環(huán)境示意圖如 圖 1所示，兩臺電腦分別作為被試端和主控端，眼 動儀和攝像頭均放置在被試端電腦前方，用以實時 采集學(xué)習(xí)者的眼動數(shù)據(jù)和表情數(shù)據(jù)。在主控端對數(shù) 據(jù)進(jìn)行分析，識別出情感狀態(tài)和認(rèn)知狀態(tài)，編碼傳 送至被試端，由被試端計算出 Agent 的情感表現(xiàn)和 認(rèn)知支持方式，并反饋給學(xué)習(xí)者。 圖 1人機(jī)交互環(huán)境示意圖 4. 交互模型 遠(yuǎn)程學(xué)習(xí)者與智能教學(xué) Agent 的交互模型如 圖 2所示。系統(tǒng)同步采集學(xué)習(xí)者的表情數(shù)據(jù)和眼動 數(shù)據(jù)，并根據(jù)需要采集學(xué)習(xí)者行為數(shù)據(jù)從而識別學(xué) 習(xí)者的情感狀態(tài)和認(rèn)知狀態(tài)。 圖 2遠(yuǎn)程學(xué)習(xí)者與智能教學(xué) Agent 的交互模型 如圖 2 所示，學(xué)習(xí)者的情感狀態(tài)識別結(jié)論由學(xué) 習(xí)者表情數(shù)據(jù)和眼動數(shù)據(jù)共同推理得出。這兩類數(shù) 據(jù)分別由攝像頭和眼動儀采集。根據(jù)情感狀態(tài)的三 個維度將兩類數(shù)據(jù)相互比對和驗證，從而提高情感 識別的可靠性。情感識別的目的主要是區(qū)分學(xué)習(xí)者 的疲勞、興趣與愉悅狀態(tài)，以此來判斷智能教學(xué) Agent 是否需要對學(xué)習(xí)者的學(xué)習(xí)過程進(jìn)行干預(yù)。判 斷依據(jù)以表情數(shù)據(jù)為主，眼動數(shù)據(jù)為輔。若二者均 超出閾值顯示負(fù)面消極，則直接進(jìn)行干預(yù);若二者 之一超出閾值顯示負(fù)面消極，則詢問學(xué)習(xí)者是否需 要幫助;若二者皆在正常閾值范圍內(nèi)，則保持沉 默，不作干擾。 學(xué)習(xí)者的認(rèn)知狀態(tài)識別結(jié)論由學(xué)習(xí)者眼動數(shù)據(jù) 和行為數(shù)據(jù)共同推理得出。眼動儀所采集到的數(shù)據(jù) 分三部分:( 1)眼動狀態(tài)編碼后用以識別學(xué)習(xí)者的 情感狀態(tài);( 2)學(xué)習(xí)者的視線路徑用以判斷學(xué)習(xí)者 感知到的某一知識點(diǎn)的難易程度;( 3)視線內(nèi)容即 通過對屏幕熱點(diǎn)區(qū)域的識別提取出來的知識點(diǎn)，用 以作為智能教學(xué) Agent 向?qū)W習(xí)者提供幫助的依據(jù)。 如果眼動數(shù)據(jù)顯示學(xué)習(xí)者感知到的學(xué)習(xí)內(nèi)容很容易， 則 Agent 不作干擾;如果學(xué)習(xí)者感知到的難度超出 正常閾值，則由 Agent 向?qū)W習(xí)者提供練習(xí)題，測試 其真實的認(rèn)知狀態(tài)，或詢問學(xué)習(xí)者是否需要幫助， 根據(jù)行為結(jié)果選擇進(jìn)行知識點(diǎn)提示或不作干擾。 情感與認(rèn)知狀態(tài)的識別結(jié)果最終提交給智能教 學(xué) Agent，然后由 Agent 進(jìn)行情感和認(rèn)知反饋。情 301 基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型 感反饋主要通過 Agent 的形象和語言:Agent 愉悅 或滑稽的表情、姿勢和語言可以讓學(xué)習(xí)者得到放 松，緩解其緊張、乏味或憋悶的心理狀態(tài)。同時， Agent 可以根據(jù)認(rèn)知識別結(jié)果，為學(xué)習(xí)者提供有針 對性的知識點(diǎn)提示或?qū)W習(xí)建議。 四、小結(jié) 智能教學(xué) Agent 與學(xué)習(xí)者的情感交互和認(rèn)知支 持近年來受到越來越多國內(nèi)外學(xué)者的重視。只有有 效識別出學(xué)習(xí)者的情感與認(rèn)知狀態(tài)，教學(xué) Agent 在 改變學(xué)習(xí)者行為態(tài)度、幫助學(xué)習(xí)者獲取和理解知 識、支持學(xué)習(xí)者認(rèn)知發(fā)展方面才能取得預(yù)期的效 果。本研究將眼動追蹤與表情識別技術(shù)相結(jié)合，提 出基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模 型。該模型主要在兩個方面作了創(chuàng)新性的嘗試: ( 1)眼動追蹤與表情監(jiān)控迭代識別。由于目前通 過眼動追蹤分析學(xué)習(xí)者情感狀態(tài)和認(rèn)知狀態(tài)的技術(shù) 并不成熟，識別準(zhǔn)確率不高，本模型提出眼動追蹤 技術(shù)和表情識別技術(shù)相結(jié)合，將眼動追蹤數(shù)據(jù)分析 得到的情感狀態(tài)結(jié)論與表情監(jiān)控數(shù)據(jù)得到的情感狀 態(tài)結(jié)論相比對驗證，用以識別遠(yuǎn)程學(xué)習(xí)者的情感狀 態(tài)，并與認(rèn)知狀態(tài)的識別過程相迭代驗證，使模式 識別的結(jié)果更加精確，為人工智能情感識別研究提 供了新途徑和新思路。 ( 2)情感與認(rèn)知識別過程 相耦合。學(xué)習(xí)者的情感狀態(tài)與認(rèn)知狀態(tài)是相互作用 和相互影響的，所以單一的情感模型或者單一的認(rèn) 知模型都難以準(zhǔn)確客觀地描述學(xué)習(xí)者的狀態(tài)。本模 型提出將情感識別與認(rèn)知識別過程相耦合，在此基 礎(chǔ)上優(yōu)化 Agent 的反饋，使其在提高學(xué)習(xí)者的興趣 和愉悅感的同時，更有針對性地提供知識點(diǎn)提示和 學(xué)習(xí)方法建議，促進(jìn)學(xué)習(xí)者的認(rèn)知發(fā)展。 參考文獻(xiàn): 1 郭北苑， 方衛(wèi)寧( 2004) . 人機(jī)交互中的基于眼動儀 的輸入技術(shù)研究 J . 儀器儀表學(xué)報，( S1) : 55 57. 2 黃瑩， 王志良， 戚穎( 2008) . 基于視線追蹤的人機(jī)交互 仿真系統(tǒng)的研制與應(yīng)用 J . 系統(tǒng)仿真學(xué)報， ( 24) : 6678 6682. 3 劉瑞安 . 靳世久， 宋維等( 2006) . 單攝像機(jī)視線追 蹤 J . 計算機(jī)應(yīng)用， ( 9) : 2101 2104. 4 毛峽， 薛雨麗( 2011) . 人機(jī)情感交互 M . 北京: 科 學(xué)出版社 . 5 沈模衛(wèi)， 馮成志， 蘇輝( 2003) . 用于人計算機(jī)界面設(shè)計的 眼動時空特性研究 J . 航天醫(yī)學(xué)與醫(yī)學(xué)工程， ( 4) : 304 306. 6 屠大維， 趙其杰， 尹海榮 ( 2004) . 自動適應(yīng)用戶頭 部位置變化的眼睛盯視輸入系統(tǒng) J . 儀器儀表學(xué)報， ( 6) : 828 831. 7 王志良， 祝長生， 解侖( 2009) . 人工情感M. 北 京: 機(jī)械工業(yè)出版社 . 8 吳彥文， 劉偉， 張昆明( 2008) . 基于情感識別的智能 教學(xué)系統(tǒng)研究 J . 計算機(jī)工程與設(shè)計，( 9) : 2350 2352. 9 解迎剛， 王志良( 2011) . 遠(yuǎn)程教育中情感計算技術(shù) M . 北京: 機(jī)械工業(yè)出版社 . 10 閆國利， 白學(xué)軍( 2012) . 眼動研究心理學(xué)導(dǎo)論揭 開心靈之窗奧秘的神奇科學(xué) M . 北京: 科學(xué)出版社 . 11 詹澤慧( 2011) . 遠(yuǎn)程教育中的智能教學(xué)代理: 角色、 設(shè) 計要素與應(yīng)用方式 J . 現(xiàn)代遠(yuǎn)程教育研究， ( 4) : 76 82. 12 Beatty，J. ( 1982)Task Evoked Papillary Respon- ses，Processing Load，and the Structure of Processing Resources J . Psychological Bulletin， 91( 2) : 276 292. 13D Mello，S. ，Olney，A. Williams，C. et al. ( 2012) . Gaze Tutor: A Gaze Reactive Intelligent Tutoring Sys- tem J . International Journal of Human Computer Studies， 70 ( 5) : 377 398. 14Hess，E.H.( 1972)Pupillometrics. Greenfield， N. S. Sternbach， R. A. AHandbook of Psychophysiology M . New York:Holt，Rinehart Winston: 491 531. 15Hess，E.H. ，Seltzer，A.L. Shien，J.M. ( 1965) . Pupil Responses of Hetero and Homosexual Males to Pictures of Men and Women:A Pilot Study J . Journal of Ab- normal Psychology， 70( 3) : 165 168. 16Jaques，P.A. ， Vicari， R. M. Pesty， S.et al. ( 2004) . Applying Affective Tactics for a Better LearningA . The Proceedings of the European Conference on Artificial Intelli- gence ( ECAI) C : 22 27. 17 Kahneman，D. Wright，P. ( 1971) . Changes of Pupil Size and Rehearsal Strategies in A Short Term Memory Task J . Quarterly Journal of Experimental Psychology， 23( 2) : 187 196 18Kapoor，A. ， Picard，R. W. Ivanov， Y. ( 2004) . Probabilistic Combination of Multiple Modalities to Detect Inter- est A . ICPR04 Proceedings of the Pattern Recognition C : 969 972. 19Li，Z. Mao，X. ( 2012) . Emotional Eye Movement Generation Based on Geneva Emotion Wheel for Virtual Agents J . Journal of Visual Languages and Computing， 23( 5) : 299 310. 20Lowenstein，O. Loewenfeld，I. E. ( 1964) The Sleep Waking Cycle and Papillary Activity J . Annals of the New York Academy of Sciences， 117: 142 156. 21 Mota， S. Picard， R. W. ( 2003) . Automated Pos- ture Analysis for Detecting Learners Interest LevelA. MIT Media Lab. Computer Vision and Pattern Recognition Workshop Z . 22Neji，M. Ben Ammar，M.( 2007) .Agent Based Collaborative Affective E Learning Framework J . The Electronic Journal of E Learning， 5( 2) : 123 134. 23 Ortony，A. ，Clore，G. L. Collins，A. ( 1988) . The Cognitive Structure of Emotions M . Cambridge，UK: Cam- bridge University Press: 8 19. 401 基于智能 Agent 的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識別模型 24Prendinger，H. ，Ma，C. Ishizuka，M. ( 2007) . Eye Movements as Indices for The Utility of Life Like Inter- face Agents:A Pilot StudyJ. Interacting with Computers 19 ( 2) : 281 292. 25 Rayner，K. ，Shen，D. Bai，X. ( 2008) . Cognitive and Cultural Influences on Eye Movements M . Tianjin:Tian- jin People s Publishing House: 122 124. 26Scherer，K. R. ( 2005) . What Are Emotions?And How Can They Be Measured?J . Social Science Information， 44( 4) : 693 727. 27Tecce，J.J.( 1992) . Psychology，Physiology and ExperimentalA.McGraw Hill. Yearbook of Science and Technology M . New York:McGraw Hill: 375 377. 28Zakharov，K. ( 2007) . Affect Recognition and Sup- port in Intelligent Tutoring Systems D . Christchurch: The Uni- versity of Canterbury. 收稿日期2013 08 13責(zé)任編輯汪燕 An Emotional and Cognitive Recognition Model for Distance learners Based on Intelligent Agent The Coupling of Eye Tracking and Expression Recognition Techniques Zhan Zehui Abstract:The accurate recognition of emotional and cognitive status is a significant foundation for effective interaction between instructional agents and distance learners Only when learners emotional and cognitive status were successfully identified，can instructional agents can achieve desired effects on