應(yīng)用Kinect構(gòu)建英語課堂虛擬教學(xué)情境研究

1、    應(yīng)用kinect構(gòu)建英語課堂虛擬教學(xué)情境研究    摘要：語言習(xí)得在真實的情境中發(fā)生才更有效，英語課堂教學(xué)的出發(fā)點應(yīng)該是情境。針對當(dāng)前英語課堂的去情境化或弱情境化教學(xué)現(xiàn)狀，提出利用kinect體感交互技術(shù)構(gòu)建課堂虛擬教學(xué)情境來增強語言沉浸。以情境認(rèn)知學(xué)習(xí)理論為指導(dǎo)，對大學(xué)英語課堂虛擬教學(xué)情境要素進(jìn)行分析與設(shè)計，實現(xiàn)了kinect虛擬情境創(chuàng)設(shè)系統(tǒng)。大學(xué)英語課堂教學(xué)應(yīng)用案例表明，該系統(tǒng)在創(chuàng)設(shè)情境、體驗情境、演繹情境和反思評價等教學(xué)環(huán)節(jié)中具有積極輔助作用。關(guān)鍵詞：虛擬教學(xué)情境，kinect體感交互，語言沉浸，英語課堂教學(xué)引言情境認(rèn)知理論認(rèn)為，知識是在一

2、定的情境中創(chuàng)建并且在一定的情境下獲得意義，學(xué)習(xí)應(yīng)該在真實應(yīng)用情境下發(fā)生才更有效。語言學(xué)習(xí)同樣對同樣情境具有重要依賴性，布魯諾認(rèn)為1：“成功的外語課堂教學(xué)應(yīng)當(dāng)在課內(nèi)創(chuàng)設(shè)更多的情境，讓學(xué)生有機會運用已學(xué)到的語言材料。”情境的重要性使得情境教學(xué)很早就成為外語教學(xué)研究的熱點，至今已提出了不少的情境教學(xué)模式和方法，并且也卓有成效的指導(dǎo)了外語教學(xué)實實踐23。 教學(xué)情境是對真實情境加工提煉后影響學(xué)習(xí)者的，教學(xué)情境應(yīng)盡可能的還原語言運用的真實情境。在當(dāng)前課堂教學(xué)實踐中，大多采用多媒體課件創(chuàng)設(shè)教學(xué)情境，如ppt、flash演示和音視頻播放等，這些能形象直觀地展示教學(xué)內(nèi)容，在一定程度上可以營造語言習(xí)得情境，但還是

3、存在沉浸感不強、教學(xué)活動互動性差、學(xué)生多處于被動接受和旁觀者角色導(dǎo)致語言輸出不足等問題。部分高校建設(shè)的專用外語情境教學(xué)實驗室，如商務(wù)英語實訓(xùn)室，是集成了藍(lán)屏摳像、高清攝像、情境融合等技術(shù)為一體的專用系統(tǒng)，設(shè)備成本高，對場地也有特殊要求，不便在普通課堂教學(xué)中使用。 去情境化或弱情境化的英語教學(xué)使課堂缺乏語言的真實運用環(huán)境，學(xué)生對原本充滿生活氣息、活生生的語言學(xué)習(xí)容易感到枯燥乏味。而我們對106位大學(xué)英語教師關(guān)于“課堂情境教學(xué)制約條件”的網(wǎng)絡(luò)調(diào)查顯示4，“缺乏足夠的輔助和實驗設(shè)備、道具”選項占到41%。 為此，本文探索采用虛擬現(xiàn)實和體感交互技術(shù)，在傳統(tǒng)普通課室多媒體系統(tǒng)的基礎(chǔ)上，通過usb接口連接

4、一臺低成本的kinect體感器，并安裝情境合成軟件，架構(gòu)一種交互式、沉浸式虛擬情境系統(tǒng)，創(chuàng)設(shè)高度擬真的英語學(xué)習(xí)情境，提高學(xué)習(xí)的沉浸感。而國內(nèi)現(xiàn)行的大多數(shù)教材，如新視野大學(xué)英語和新編大學(xué)英語等都采用了“以學(xué)生為中心的主題教學(xué)模式”，每一個單元主題的情境往往具有相似性，會話題材能反映在非常具體、生動的交際情景或者活動情境里，這為創(chuàng)設(shè)相應(yīng)的題材情境進(jìn)行教學(xué)提供了條件。 一基于kinect的虛擬教學(xué)情境設(shè)計1kinect功能與原理介紹 kinect原本是微軟的一款游戲體感外設(shè)，其強大的功能及強烈的用戶需求使微軟將其拓展到pc機應(yīng)用，至今已發(fā)布并不斷更新了多個windows下的開發(fā)包，基于pc桌面的各種

5、kinect應(yīng)用不斷涌現(xiàn)。 kinect外觀及工作原理如圖1所示，主要部件由紅外線發(fā)射器、rgb彩色攝像頭、紅外線cmos攝像頭所構(gòu)成的3d深度傳感器以及麥克風(fēng)陣列組成。底座馬達(dá)可驅(qū)動kinect左右旋轉(zhuǎn)27度，具有追焦功能，陣列式麥克風(fēng)可捕獲聲音信號。 kinect的深度傳感器可以收集視野范圍內(nèi)的每一點，形成一幅代表周圍環(huán)境的景深圖像，并以每秒30幀的速度生成深度圖像流，實時3d地再現(xiàn)周圍環(huán)境，然后再通過先進(jìn)的算法對3d圖像進(jìn)行人物識別、場景識別、骨骼節(jié)點跟蹤、手勢識別甚至面部表情識別等，從而完成三維輸入輸出5。kinect作為一種三維交互技術(shù)，開始在游戲、智能機器人控制、視頻會議、虛擬教學(xué)

6、等方面得到較廣泛的應(yīng)用。為了促進(jìn)kinect研發(fā)與課程建設(shè)的深入整合，微軟亞洲研究院不定期舉辦面向全國高校教師的kinect for windows研討會6，為高校教師提供一個交流和探討kinect研發(fā)的平臺，讓更多的師生受益于這一先進(jìn)的技術(shù)，目前完成了智能機器人控制、手語識別與教學(xué)、空中書寫等成功教學(xué)應(yīng)用案例7。 利用kinect構(gòu)建虛擬課堂教學(xué)情境具有以下優(yōu)勢： （1）場景的三維性與高仿真性。相對于傳統(tǒng)ppt、音視頻播放類多媒體課件，kinect捕獲的是實時3d場景，并且能方便與unity3d等三維引擎虛擬場景立體融合，可以360度查看場景，具有更好的擬真度、更高的沉浸感和構(gòu)想性。 （2）

7、情境活動的高參與性與交互性。kinect的人體識別功能可以將課堂師生身體及動作融合到預(yù)設(shè)的三維虛擬情境，實現(xiàn)虛實結(jié)合、虛實交互。聲音識別功能可以采集來自不同方位的聲音，并支持多種語言，語言指令可驅(qū)動虛擬3d場景中的對象，從而提高情境教學(xué)活動中學(xué)生的參與性與交互性。 2kinect構(gòu)建虛擬教學(xué)情境要素分析與設(shè)計 （1）教學(xué)情境要素分析 情境是對學(xué)習(xí)新知能產(chǎn)生影響的、在時間和空間上特定的各種具體情形。語言使用情境（即語境）是指具體的、超語言的表現(xiàn)某種信息的因素的總和，它促使學(xué)習(xí)者參加語言交際活動，并規(guī)定其言語行為在一定交際活動范圍內(nèi)進(jìn)行8。通過對英語教學(xué)考察和相關(guān)文獻(xiàn)資料研究，英語教學(xué)情境應(yīng)包含的

8、關(guān)鍵因素有： 文化語境：是指與語言運用相關(guān)的文化習(xí)俗、社會規(guī)范、價值觀念、行為規(guī)則、文化結(jié)構(gòu)等。語言習(xí)得就是對這些要素的文化適應(yīng)過程。 情景語境：是指與話語有關(guān)的環(huán)境因素，它包含了交際場景、話語范圍、話語基調(diào)、話語方式、交際對象、對象關(guān)系，交談起因等。 英語課堂教學(xué)情境應(yīng)該既包涵情景語境，也包涵文化語境，但由于課堂教學(xué)條件的制約，一些隱性的情境要素不便直觀有效地展示，只有借助虛擬化技術(shù)來輔助實現(xiàn)，虛實結(jié)合共同增強語言沉浸，將學(xué)習(xí)者拋錨在一個真實的英語情境中去體驗語言，對持續(xù)不斷的語言輸入進(jìn)行感知，并引導(dǎo)語言輸出。 （2）kinect輔助創(chuàng)設(shè)虛擬教學(xué)情境的設(shè)計 在分析了英語教學(xué)情境要素之后，需要

9、根據(jù)kinect的技術(shù)特點，基于這些情境要素來創(chuàng)設(shè)可交互的模擬情境，并使其與真實情境距離縮減到最小限度。 針對當(dāng)前英語課堂教學(xué)中缺乏語言文化背景知識輸入、學(xué)生語言輸出不足等問題，筆者在運用kinect構(gòu)建課堂教學(xué)情境時遵循了以下兩點： 其一，提供可理解性輸入材料。知識獲取是一個在舊信息基礎(chǔ)上通過一系列的認(rèn)知活動構(gòu)建意義并獲取新知識的過程，因此在語言學(xué)習(xí)中，要通過大量的輸入材料將學(xué)生帶入到一個與社會生活密切相關(guān)的情境中，輸入材料可以通過教師和學(xué)生的雙渠道輸入，并且輸入材料要盡可能具備直觀性、易理解性和趣味性特點。 其二，保持語言輸入與輸出的平衡性。在可理解輸入的基礎(chǔ)上，給學(xué)生提供更多的語言輸出機

10、會和情境，使學(xué)生在原有知識及語言的基礎(chǔ)上對所獲得的新知識與內(nèi)容進(jìn)行加工、重組、表達(dá)。 根據(jù)以上原則，筆者設(shè)計了以下幾種使用kinect創(chuàng)設(shè)的虛擬情境類型。 類型一：參與現(xiàn)場解說。 教師或?qū)W生在課前收集或制作與教學(xué)主題相關(guān)的情境素材（圖片、音視頻、3d場景），并對內(nèi)容進(jìn)行英文解說，kinect捕獲解說員的身姿和語音，并通過背景識別和人物摳像將解說員融合到虛擬場景中。解說可以在課堂進(jìn)行，也可以課前錄制課堂播放。這種扮演“新聞主播”或“解說員”的身份進(jìn)行現(xiàn)場講解，能使師生產(chǎn)生身臨其境的感覺。 類型二：情境會話。 一臺kinect可以同時追蹤兩人的肢體運動，并將兩套身體動作與語言輸入融合到預(yù)設(shè)的會話場

11、境中，實現(xiàn)情境會話。 類型三：實時現(xiàn)場配音訓(xùn)練。 陣列式麥克風(fēng)可以清晰捕獲來自不同方位的聲音信息，教師通過播放卡通英文動漫劇或經(jīng)典電影片段，并給學(xué)生分配演員角色，學(xué)生在前排座位即可根據(jù)劇情實現(xiàn)配音或?qū)Π妆硌荨?類型四：虛擬人偶與角色表演。 虛擬人偶（avatar）是虛擬場景中學(xué)習(xí)者的化身，學(xué)習(xí)者可以通過自己的想法來操作人偶，除基本的手勢動作外，還可以辨識細(xì)微的臉部表情，如嘴巴開合或眉毛挑動，并將之反應(yīng)在虛擬人偶上。學(xué)生可以在自編的情境劇中舉辦生動鮮活的虛擬人偶脫口秀，或操控不同人偶完成角色表演等。 類型五：游戲式協(xié)作學(xué)習(xí)。 是前面幾種情境類型的綜合應(yīng)用，把教學(xué)內(nèi)容按情境分解成一系列關(guān)卡，學(xué)生分

12、組協(xié)同活動來完成不同的關(guān)卡任務(wù)和活動序列。 二kinect構(gòu)建課堂虛擬教學(xué)情境系統(tǒng)的實現(xiàn)1kinect情境創(chuàng)設(shè)系統(tǒng) 系統(tǒng)結(jié)構(gòu)如圖2所示，在傳統(tǒng)多媒體教學(xué)系統(tǒng)中接入一臺kinect和安裝相應(yīng)的情境合成軟件實現(xiàn)虛擬情境創(chuàng)建。   kinect捕獲課堂中學(xué)生的語音、肢體動作等實時情境，并通過情境合成軟件將實時情境與預(yù)設(shè)情境實時融合，再通過投影和音響系統(tǒng)輸出。 2情境合成軟件結(jié)構(gòu) kinect情境合成軟件系統(tǒng)包括三層：情境輸入層，中間件層，情境應(yīng)用層，如圖3所示。   （1）情境輸入層 包括實時情境和預(yù)設(shè)情境輸入。預(yù)設(shè)情境是根據(jù)教學(xué)主題的需要，由教師或教學(xué)設(shè)計人員課前制作的情境，包

13、括靜態(tài)會話場景、虛擬人偶情境、動態(tài)協(xié)作情境等。實時情境是在課堂教學(xué)現(xiàn)場生成的情境，如聲音、動作，教學(xué)活動等。 （2）中間件層 包括底層驅(qū)動和相關(guān)開發(fā)包。目前開發(fā)kinect應(yīng)用主要基于微軟官方發(fā)布的sdk和開源社區(qū)的開源驅(qū)動，如openni（開放自然交互聯(lián)盟）的openni framework9。openni開發(fā)包提供了kinect在unity3d引擎中的應(yīng)用接口，而unity3d作為當(dāng)前的主流三維引擎，能較好的滿足教學(xué)情境的創(chuàng)建與管理要求，比如三維場景創(chuàng)建與管理的便捷性、渲染效果逼真、對機器性能要求較低等。所以筆者選用了openni的nite中間件來實現(xiàn)手勢偵測、手部分析、全身分析、場景分析

14、等核心模塊功能10，采用的開發(fā)環(huán)境為windows7kinect for windows sdkopenni2（nite2）unity3dopencv。 （3）情境應(yīng)用層 open ni的nite中間件對外提供了一系列api接口，為構(gòu)建面向教學(xué)的情境應(yīng)用提供了基礎(chǔ)，在本系統(tǒng)中主要涉及到以下三類應(yīng)用。 虛實情境融合 虛實情境融合是將課堂真實情境（一般是活動人像）與預(yù)設(shè)的虛擬情境合成形成新的完整情境，其主要是利用了kinect的摳像功能，kinect通過讀取深度圖像和骨骼節(jié)點，并通過一定的算法，可以實現(xiàn)將活動人物從任意背景中分離出來，并合成到虛擬3d場景中。這大大降低了傳統(tǒng)綠屏摳像的純色背景要求，

15、在復(fù)雜的課堂場景中具有更好的適應(yīng)性。 語音識別 kinect麥克風(fēng)陣列捕獲的音頻數(shù)據(jù)流通過音頻增強效果算法處理來屏蔽背景噪聲，并可以實時錄制到虛擬場景中播放，進(jìn)而在“語音命令、聲音特征識別、語種識別、情境會話、語氣語調(diào)情感探測等多個方面開展應(yīng)用，目前支持英語（5個區(qū)域）、日語、法語、西班牙語等多個語種。 表情識別與驅(qū)動 表情識別和驅(qū)動是指使用面部追蹤的數(shù)據(jù)來改變虛擬人偶的動畫參數(shù)實現(xiàn)模擬臉部表情。借助基于kinect的第三方插件如faceshift可以實現(xiàn)精確復(fù)制人臉的表情，并且無延時的驅(qū)動3d場景中人偶的面部表情。 三英語虛擬情境教學(xué)應(yīng)用案例筆者以新視野大學(xué)英語（第二版）讀寫教程的第三冊第四

16、單元“five famous symbols of american culture（美國文化的五大象征）”為例，采用kinect輔助構(gòu)建虛擬教學(xué)情境，實施課堂情境教學(xué)。教學(xué)過程主要分為“創(chuàng)設(shè)情境、體驗情境、演繹情境和反思評價”四個環(huán)節(jié)，在每個環(huán)節(jié)中分別采用了現(xiàn)場解說、情境會話、人偶脫口秀等虛擬情境互動，如圖4所示。   情境創(chuàng)設(shè)：教師通過布置課前作業(yè)“中國的文化象征”導(dǎo)入課程，并分小組完成有關(guān)文化象征的場景資料（圖片、音視頻）收集整理、解說詞準(zhǔn)備等。課堂上每組選派一名或兩名代表完成“參與現(xiàn)場主題講解”。學(xué)生通過資料收集和現(xiàn)場解說來感性了解中美文化差異。圖5為虛擬融合的課堂現(xiàn)場解說場

17、景。 情境體驗：每種文化象征元素通過相關(guān)視頻或三維場景展示，學(xué)生通過觀摩體驗，部分環(huán)節(jié)學(xué)生可融入場景進(jìn)行簡短情境會話來深度體驗。 情境演繹：學(xué)生對美國文化的五大象征了解后，可以將自己的理解用英語總結(jié)表達(dá)輸出，為此教師制作或下載了“自由女神”、“芭比娃娃”、“山姆大叔”等人偶模型及相關(guān)場景，小組選派代表操控虛擬人偶，以第一人稱完成“自我介紹”脫口秀表演，其他同學(xué)觀摩并評價。圖6是“芭比娃娃”來到熟悉的校園作“自我介紹”。   反思評價：在每個教學(xué)環(huán)節(jié)結(jié)束后，學(xué)生對自己的課堂表現(xiàn)進(jìn)行反思，同時根據(jù)“小組成員評價表”和“小組互評表”對其他同學(xué)進(jìn)行評價，發(fā)現(xiàn)并學(xué)習(xí)其他同學(xué)的優(yōu)點，進(jìn)行優(yōu)勢互補

18、。 評述：相比傳統(tǒng)課堂教學(xué)，kinect創(chuàng)設(shè)的虛擬交互情境及給師生帶來了較新的學(xué)習(xí)體驗，學(xué)生的學(xué)習(xí)興趣明顯提高，課題氣氛活躍，學(xué)習(xí)沉浸感有所增強；學(xué)生參與度增加對學(xué)生提出了更高的要求，尤其是需要學(xué)生課前完成更多的知識準(zhǔn)備。而教師在課堂中主要是處于組織與引導(dǎo)角色，但課前的教學(xué)準(zhǔn)備是一個不小的挑戰(zhàn)。 四結(jié)語kinect體感交互技術(shù)能為課堂教學(xué)營造擬真的情境，對改善傳統(tǒng)課堂的去情境化與抽象化、增強學(xué)生學(xué)習(xí)動機和學(xué)習(xí)互動，具有實踐意義。相比專業(yè)情境教學(xué)系統(tǒng)，kinect成本低廉，且與現(xiàn)有的多媒體系統(tǒng)或語言教學(xué)系統(tǒng)集成非常容易。 現(xiàn)行外語教學(xué)仍以按線性結(jié)構(gòu)設(shè)計的靜態(tài)教材為主，留給教師和學(xué)生的余地都比較少，而虛擬現(xiàn)實及體感交互技術(shù)的發(fā)展為體感教材（課件）開發(fā)及主控式體感教學(xué)模式、