基于情感識(shí)別的智能教學(xué)系統(tǒng)研究

1、第29卷第9期Vol.29No.9計(jì)算機(jī)工程與設(shè)計(jì)ComputerEngineeringandDesign2008年5月May2008基于情感識(shí)別的智能教學(xué)系統(tǒng)研究吳彥文，劉摘偉，張昆明(華中師范大學(xué)信息技術(shù)系，湖北武漢430079)要：針對(duì)傳統(tǒng)的智能教學(xué)系統(tǒng)(ITS)在情感方面的缺失，提出了基于情感識(shí)別技術(shù)的ITS模型。該系統(tǒng)模型在傳統(tǒng)的教學(xué)系統(tǒng)上新增情感識(shí)別模塊，利用人臉表情識(shí)別以及文本識(shí)別等技術(shù)所構(gòu)建，可以獲取和識(shí)別學(xué)生的學(xué)習(xí)情感，并根據(jù)學(xué)習(xí)情感進(jìn)行相應(yīng)的情感激勵(lì)策略，實(shí)現(xiàn)情感化的教學(xué)。關(guān)鍵詞：智能教學(xué)系統(tǒng);情感;學(xué)習(xí)評(píng)價(jià);人臉表情識(shí)別;情感激勵(lì)中圖法分類號(hào)：TP391.41文獻(xiàn)標(biāo)識(shí)碼：

2、A文章編號(hào)：1000-7024(2008)09-2350-03StudyofintelligenttutoringsystembasedonaffectiverecognitionWUYan-wen,LIUWei,ZHANGKun-ming(DepartmentofInformationTechnology,HuazhongNormalUniversity,Wuhan430079,China)Keywords：intelligenttutoringsystem;emotion;tutoringevaluation;facialexpressionrecognition;affectivesti

3、mulation0引言11.1傳統(tǒng)的ITS及其情感缺失傳統(tǒng)的ITS結(jié)構(gòu)網(wǎng)絡(luò)教學(xué)是指在現(xiàn)代學(xué)習(xí)理論的指導(dǎo)下，利用計(jì)算機(jī)化智能教學(xué)系統(tǒng)(intelligenttutoringsystem，ITS)是一種開放式人機(jī)交互教學(xué)系統(tǒng)，它引入了人工智能的各種技術(shù)，模擬人類教師教學(xué)，可以更好地實(shí)現(xiàn)因材施教并進(jìn)行有針對(duì)性的指導(dǎo)。盡管ITS在教學(xué)模式和教學(xué)觀念上有了明顯的變化，能夠很好的在Web環(huán)境下實(shí)現(xiàn)個(gè)性化教學(xué)，但卻缺失了學(xué)習(xí)者的情感信息。心理學(xué)的研究表明：情感能夠促進(jìn)或阻止記憶工作、推理操作和問題解決等，因?yàn)橛汕楦畜w驗(yàn)所構(gòu)成的心理背景或心理狀態(tài)可以影響和調(diào)節(jié)知覺、記憶和思維等認(rèn)知過程2。因此，情緒情感必然影

4、響人的學(xué)習(xí)和工作效率，悲傷的，消極的情緒肯定會(huì)影響學(xué)習(xí)效率的降低。本文將建立具有一定情感激勵(lì)功能的ITS，采用人臉面部表情識(shí)別技術(shù)構(gòu)建一個(gè)情感模型，通過捕捉和識(shí)別學(xué)習(xí)者的面部表情，來判斷其情感狀態(tài)，然后根據(jù)學(xué)習(xí)者特定的情感狀態(tài)給出相應(yīng)的情感鼓勵(lì)和情感補(bǔ)償策略，從而解決智能教學(xué)中學(xué)習(xí)者情感的缺失，以達(dá)到認(rèn)知與情感相互協(xié)調(diào)的個(gè)性化教學(xué)。1的媒體和網(wǎng)絡(luò)通訊技術(shù)來組織教學(xué)、實(shí)施教學(xué)和進(jìn)行交流，從而完成教學(xué)過程的各個(gè)環(huán)節(jié)。傳統(tǒng)的ITS通常由知識(shí)庫(kù)、學(xué)生模塊、專家模塊、教學(xué)模塊和用戶接口5個(gè)模塊組成，其中知識(shí)庫(kù)主要是存放與教學(xué)的內(nèi)容有關(guān)的專業(yè)知識(shí)；學(xué)生模塊是表示學(xué)生對(duì)知識(shí)的理解程度，用來反饋學(xué)生的學(xué)習(xí)情況

5、；專家模塊是用來評(píng)價(jià)學(xué)生當(dāng)前的知識(shí)水平，主要用來為教師進(jìn)行下一步的教學(xué)提供信息和依據(jù)；教學(xué)模塊是用來存儲(chǔ)與教學(xué)內(nèi)容有關(guān)的專業(yè)知識(shí)，以及與教師解決問題的有關(guān)求解知識(shí)，在適當(dāng)?shù)慕虒W(xué)策略指導(dǎo)下選擇適當(dāng)?shù)慕虒W(xué)內(nèi)容呈現(xiàn)給學(xué)生；用戶接口模塊是學(xué)生和系統(tǒng)之間交流信息的橋梁，為學(xué)生提供了表達(dá)知識(shí)和信息的手段。1.2傳統(tǒng)的ITS情感缺失傳統(tǒng)的ITS具有可以實(shí)現(xiàn)資源共享、互動(dòng)性、智能化和個(gè)性化教學(xué)的優(yōu)點(diǎn)，但是將文本形式的教材生吞活剝的照搬到網(wǎng)絡(luò)上，用簡(jiǎn)單乏味的文字資料信息傳輸代替了原本多姿多作者簡(jiǎn)介：吳彥文(1971)，女，上海人，博士，副教授，碩士生導(dǎo)師，研究方向?yàn)槿斯ぶ悄芙逃龖?yīng)用、計(jì)算智能、移動(dòng)教育與移動(dòng)學(xué)習(xí)

6、的研究等；劉偉(1982)，男，湖北武漢人，碩士研究生，研究方向?yàn)榍楦杏?jì)算、表情識(shí)別、數(shù)據(jù)挖掘；張昆明(1957)，男，湖北武漢人，實(shí)驗(yàn)工程師，研究方向?yàn)楣芾硇畔⑾到y(tǒng)。2350彩的“課堂教學(xué)”，丟失了教師人性化的教學(xué)，對(duì)學(xué)生來說是冷漠的，是缺乏情感的，這樣勢(shì)必引起學(xué)生的反感，從而不會(huì)產(chǎn)生良好的學(xué)習(xí)效果3。實(shí)際上，一個(gè)真正的個(gè)性化教學(xué)系統(tǒng)，不僅應(yīng)當(dāng)具備認(rèn)知方面的個(gè)性化教學(xué)功能，而且還應(yīng)該具有情感方面的個(gè)性化教學(xué)功能。2基于情感識(shí)別的ITS模型情感是人與環(huán)境之間某種關(guān)系的維持或者改變，當(dāng)客觀事物或情境與人的需要和愿望符合時(shí)會(huì)引起人積極肯定的情感，而不符合時(shí)則會(huì)引起人消極否定的情感4。在教與學(xué)活動(dòng)中

7、，人類的表情是相當(dāng)豐富的，當(dāng)教學(xué)內(nèi)容是他們能夠理解和接受的時(shí)候，學(xué)習(xí)者會(huì)用微笑等表情來表現(xiàn)情緒高漲的狀態(tài)；反之，學(xué)習(xí)者會(huì)用眉頭緊縮、嘴角下垂、低沉喪氣的表情來表示無法理解教學(xué)內(nèi)容。為了能夠讓學(xué)習(xí)者更有效的自主學(xué)習(xí)，教師可以通過捕捉這些情感信息，適當(dāng)?shù)恼{(diào)整教學(xué)策略，以提高教學(xué)質(zhì)量。因此，我們?cè)趥鹘y(tǒng)的ITS中加入了情感信息模塊，提出了基于人臉識(shí)別技術(shù)的ITS，該系統(tǒng)通過捕捉和識(shí)別學(xué)習(xí)者的情感信息，來判定學(xué)習(xí)者對(duì)所學(xué)知識(shí)的理解和接受情況，從而給出情感激勵(lì)或情感補(bǔ)償策略，以提高學(xué)習(xí)者的學(xué)習(xí)效果。根據(jù)以上討論，給出了基于情感識(shí)別的ITS模型(如圖1所示)。該系統(tǒng)在ITS的基礎(chǔ)上增加了情感識(shí)別模塊、情感信

8、息處理模塊和學(xué)習(xí)評(píng)價(jià)，教學(xué)者可以根據(jù)學(xué)習(xí)者的情感變化，適當(dāng)?shù)倪M(jìn)行情感激勵(lì)，使教學(xué)質(zhì)量達(dá)到最佳，系統(tǒng)模型的主要功能如下：(1)情感識(shí)別模塊：在傳統(tǒng)的ITS上增加了情感識(shí)別模塊，該模塊主要是由人臉表情識(shí)別技術(shù)、文本識(shí)別技術(shù)組成，主要對(duì)學(xué)生的面部表情特征和文本情感特征進(jìn)行獲取，并提取有效的情感信息傳遞到情感信息處理模塊。(2)情感信息處理模塊：情感信息處理模塊主要是對(duì)獲取的情感信息進(jìn)行分析、建模和識(shí)別，是為了正確的選擇情感信號(hào)，計(jì)算出學(xué)生在學(xué)習(xí)過程中的表情、語音和姿態(tài)的情感反饋數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和融合，識(shí)別出學(xué)生的整體情感反應(yīng)，并做出適當(dāng)?shù)膶W(xué)習(xí)評(píng)價(jià)。(3)學(xué)習(xí)評(píng)價(jià)：通過對(duì)學(xué)生的情感反應(yīng)，系統(tǒng)在

9、認(rèn)知心理學(xué)的支持下形成評(píng)價(jià)結(jié)果，給出相應(yīng)的情感激勵(lì)，同時(shí)分析和記錄學(xué)生不同時(shí)期的學(xué)習(xí)情況和學(xué)習(xí)情感的變化，并寫入到學(xué)生特征信息庫(kù)中，以便專家根據(jù)學(xué)生的特征調(diào)整教學(xué)策略。(4)學(xué)生特征信息庫(kù)：主要用來對(duì)學(xué)生的信息、學(xué)習(xí)情況、學(xué)習(xí)特征和情感信息等進(jìn)行記錄，使用過的系統(tǒng)的學(xué)生都會(huì)在學(xué)生資料庫(kù)中有一條記錄，用來記錄和跟蹤他們的學(xué)習(xí)狀態(tài)和學(xué)習(xí)情感的變化。3關(guān)鍵技術(shù)的實(shí)現(xiàn)3.1人臉的表情識(shí)別技術(shù)人的臉部表情是人類情感的一種外在表現(xiàn)形式，常常通過臉部表情來表達(dá)內(nèi)心的情感。人臉的表情是多種多樣的，一般對(duì)表情的分析可以從維量分析和分類這兩種角度來研究，人類的表情學(xué)家Ekman等人經(jīng)過研究將人類的表情劃分為6類，

10、即高興、憤怒、厭惡、恐懼、悲傷、驚奇，在心理學(xué)界和工程界占有主體地位，人類所有的情緒表情都是在以上6種表情的基礎(chǔ)上，經(jīng)過復(fù)雜的融合之后產(chǎn)生的5。人臉表情識(shí)別就是指計(jì)算機(jī)系統(tǒng)通過對(duì)人臉的表情信息進(jìn)行特征提取，根據(jù)心理學(xué)、認(rèn)知學(xué)的基本理論加以分析和理解，使計(jì)算機(jī)具有思考和推理情感信息的能力，進(jìn)而從人臉信息中分析理解人的情緒。它主要包括3種步驟，首先必須檢測(cè)和定位人臉，然后提取面部表情數(shù)據(jù)，最后進(jìn)行表情分類識(shí)別。本文就對(duì)基本的3種表情(平靜、高興、悲傷)粗略的進(jìn)行分類和識(shí)別，根據(jù)嘴角和嘴中心的連線與眉心和嘴中心連線之間的夾角不同提出了一種人臉表情識(shí)別的算法，先是面部特征點(diǎn)的標(biāo)注，對(duì)所標(biāo)注的特征點(diǎn)進(jìn)行

11、精確定位，利用貝塞爾曲線來進(jìn)行特征點(diǎn)表情重構(gòu)的二維圖像，貝塞爾曲線數(shù)學(xué)表達(dá)式如下=¡Ü1)(1)=0,1,2,¡ª¡ª¶þÏîʽϵͳ=3時(shí)有=3113¡¢×ìÖÐÐĵ㣬ͨ¹ýÁ½µã¼ä¾

12、4;À빫ʽ£¬Ëã³öÁ½µã¼äµÄ¾àÀ룬ÓÐÁË3邊的距離再用三角形余弦定理見式(4)，就可以算出嘴角和嘴中心的連線和眉心與嘴中心連線的中軸線之間夾角+¡ª¡ªÁ½ÖÐÖáÏ

13、ßÖ®¼äµÄ¼Ð½Ç¡£Èç¹û¼Ð½ÇСÓÚ90°則是高興，而夾角2351x角ayz圖2表情識(shí)別算法在學(xué)習(xí)過程中，當(dāng)學(xué)習(xí)者開始對(duì)新知識(shí)進(jìn)行學(xué)習(xí)時(shí)，可能會(huì)表現(xiàn)出正面或負(fù)面的學(xué)習(xí)情感，對(duì)學(xué)生的情感狀態(tài)進(jìn)行檢測(cè)和分析，并判斷學(xué)生的情感狀態(tài)，如果學(xué)習(xí)者是處于正面的情感，這樣的狀態(tài)是積極的，有助于學(xué)習(xí)者繼續(xù)進(jìn)行知識(shí)的學(xué)習(xí)。如果學(xué)習(xí)者是處于負(fù)面

14、的情感狀態(tài)，使他停止學(xué)習(xí)，判斷其負(fù)面情感類型，并對(duì)其進(jìn)行相應(yīng)的情感激勵(lì)，比如隨著學(xué)習(xí)過程的推進(jìn)，學(xué)習(xí)者在解決一個(gè)問題的時(shí)候，屢次失敗，他會(huì)產(chǎn)生灰心的情感狀態(tài)，系統(tǒng)會(huì)監(jiān)視和定位此種狀態(tài)，及時(shí)的給出鼓勵(lì)的情感激勵(lì)，讓他能充滿對(duì)學(xué)習(xí)的向往，對(duì)下一個(gè)知識(shí)點(diǎn)產(chǎn)生興趣。我們對(duì)學(xué)習(xí)者情感的變化進(jìn)行監(jiān)測(cè)和分析，采用情感激勵(lì)策略對(duì)學(xué)生的情感狀態(tài)進(jìn)行調(diào)整，使學(xué)習(xí)者對(duì)知識(shí)的學(xué)習(xí)產(chǎn)生興趣，實(shí)現(xiàn)情感化的教學(xué)。該情感激勵(lì)策略的流程圖如圖3所示。在具體的實(shí)現(xiàn)過程中，情感激勵(lì)主要是指教學(xué)內(nèi)容與學(xué)生積極情緒經(jīng)驗(yàn)相一致，能夠激發(fā)學(xué)生的求知欲，同時(shí)提高學(xué)習(xí)者積極的情緒的策略；針對(duì)學(xué)生的個(gè)性和學(xué)習(xí)方式的不同，也可以通過文本、語音的情

15、感分析對(duì)學(xué)習(xí)者進(jìn)行情感激勵(lì)，生成情感激勵(lì)策略，并可以把它們存放在教學(xué)策略庫(kù)中，系統(tǒng)可以動(dòng)態(tài)的添加或者更新庫(kù)，并且可以采用視頻或者文本圖片的方式給學(xué)生選擇最適合的情感激勵(lì)。3.3實(shí)驗(yàn)結(jié)果分析為了測(cè)試情感模型在ITS中能夠促進(jìn)學(xué)習(xí)者的學(xué)習(xí)效果，我們選取了華中師范大學(xué)自修學(xué)院的46名計(jì)算機(jī)專業(yè)的學(xué)2352生對(duì)某一課程的學(xué)習(xí)進(jìn)行實(shí)驗(yàn)，對(duì)其分成兩組，其中一組加入情感模型來訓(xùn)練，對(duì)學(xué)生的情感信息進(jìn)行識(shí)別和激勵(lì)，實(shí)驗(yàn)結(jié)果如表1所示。17(降低)(降低)25.5實(shí)驗(yàn)結(jié)果表明：加入情感模型的第一組的每人平均成績(jī)變化量的相對(duì)值是處于正數(shù)，該組的成績(jī)明顯有所提高，可見，情感信息的識(shí)別和激勵(lì)對(duì)促進(jìn)學(xué)生的學(xué)習(xí)效果的有一

16、定的幫助。4結(jié)束語情感計(jì)算作為剛剛興起的技術(shù)得到了廣泛的關(guān)注，把情感技術(shù)引入到ITS中必將使學(xué)習(xí)方式產(chǎn)生巨大的變革。本文在ITS上加入了情感識(shí)別技術(shù)，通過捕捉和識(shí)別學(xué)習(xí)者的情感信息，給出相應(yīng)的情感激勵(lì)，為學(xué)習(xí)者提供個(gè)性化的學(xué)習(xí)環(huán)境，提出了基于人臉識(shí)別技術(shù)的ITS，以達(dá)到認(rèn)知與情感相互協(xié)調(diào)的個(gè)性化教學(xué)。但是，在很多方面還需要進(jìn)一步的改進(jìn)和完善，比如人臉識(shí)別的特征點(diǎn)的提取以及識(shí)別分類算法，提高表情識(shí)別的精度，建立更加適應(yīng)于情感識(shí)別的智能教學(xué)模型，研究更加符合學(xué)生心理和認(rèn)知的情感教學(xué)策略模型。參考文獻(xiàn):1李靜,周竹榮.智能教學(xué)系統(tǒng)新進(jìn)展J.計(jì)算機(jī)應(yīng)用研究,2005,22(12):15-20.2張春興.現(xiàn)代心理學(xué)M.上海:上海人民出版社,2005.3劉景福,鐘志賢.網(wǎng)絡(luò)教育的情感缺失現(xiàn)狀及其對(duì)策J.中國(guó)遠(yuǎn)程教育,2001(6):15-17.4傅小蘭.電子學(xué)習(xí)中的情感計(jì)算J.計(jì)算機(jī)教育,2004(12):27-30.5楊國(guó)亮,王志良.情感建模研究進(jìn)展J.自動(dòng)化技術(shù)與應(yīng)用,2004,23(11):1-4.6王國(guó)江,王志良,楊國(guó)亮,等.人工情感研究綜述J.計(jì)算機(jī)應(yīng)用研究,2006,23(11):7-11.7JuanMartínez-Miranda,ArantzaAldea.Emotionsinhumanandarti