基于AR的互動(dòng)式教育App設(shè)計(jì)與實(shí)現(xiàn)

1、    基于ar的互動(dòng)式教育app設(shè)計(jì)與實(shí)現(xiàn)    孫海鵬徐秀全王琳袁藝孫功玉摘 要 目前針對幼兒的教育大部分還只停留在傳統(tǒng)的紙質(zhì)書本上，針對這種教育方式，幼兒在學(xué)習(xí)時(shí)學(xué)習(xí)的效率和樂趣并不高。增強(qiáng)現(xiàn)實(shí)技術(shù)是一門新興的技術(shù)，它能夠把傳統(tǒng)紙質(zhì)讀物和虛擬的3d模型緊密的結(jié)合起來，來達(dá)到虛實(shí)結(jié)合的目的。本文將增強(qiáng)現(xiàn)實(shí)技術(shù)同幼兒的英語教育相結(jié)合，設(shè)計(jì)開發(fā)了基于ar技術(shù)的互動(dòng)式教育app軟件，該軟件改善了傳統(tǒng)教育的方式，使英語的學(xué)習(xí)更加有趣且更有效率。關(guān)鍵詞 增強(qiáng)現(xiàn)實(shí) 英語啟蒙教育 app1可行性分析根據(jù)市場調(diào)查，目前，大部分的幼兒英語教學(xué)仍然采用的是以紙質(zhì)課本為主

2、體的教學(xué)方式，而對于幼兒而言，這種學(xué)習(xí)方式特別枯燥，所以幼兒的學(xué)習(xí)興趣不高，學(xué)習(xí)的效率也較為低下。增強(qiáng)現(xiàn)實(shí)技術(shù)是目前眾多科學(xué)研究機(jī)構(gòu)研究的熱點(diǎn)，隨著智能手機(jī)的普及，以智能手機(jī)為運(yùn)行平臺的ar應(yīng)用不斷涌現(xiàn)，但是由于ar技術(shù)還沒有被廣泛普及，所以國內(nèi)ar應(yīng)用的數(shù)量和質(zhì)量并不高?；谝陨鲜袌鰬?yīng)用背景，本文設(shè)計(jì)開發(fā)了基于ar技術(shù)的互動(dòng)式教育app軟件，將ar這種新興的技術(shù)與傳統(tǒng)紙質(zhì)載體相結(jié)合，讓學(xué)習(xí)過程更有趣、更有效率。2需求分析與設(shè)計(jì)該app需要實(shí)現(xiàn)的是要達(dá)到虛實(shí)結(jié)合的目的，用戶在使用該app的時(shí)候，用安卓手機(jī)自帶的攝像頭掃描紙質(zhì)的英文單詞，然后在屏幕上就會看到與英文單詞相對應(yīng)的三維模型存在于真實(shí)的

3、場景中，這樣用戶就可以直觀的看到并理解了這個(gè)單詞的意思并且可以聽到該單詞的中文和英文的發(fā)音。用戶還可以通過語音來控制三維模型做出相應(yīng)的動(dòng)作動(dòng)畫。2.1設(shè)計(jì)原則根據(jù)軟件工程的理念，將設(shè)計(jì)與實(shí)現(xiàn)規(guī)范化，抽象和模塊化。然后再對每個(gè)模塊進(jìn)行細(xì)化和關(guān)聯(lián)。保證各個(gè)模塊按照“低耦合，高內(nèi)聚”的原則進(jìn)行設(shè)計(jì)。2.2模塊設(shè)計(jì)基于ar技術(shù)的互動(dòng)式教育app軟件可分為識別模塊、消息模塊，模型管理模塊和系統(tǒng)調(diào)度模塊。識別模塊又分為識別資源加載卸載模塊、識別圖追蹤模塊和圖像疊加模塊。消息模塊分為消息接收模塊和消息發(fā)送模塊。模型管理模塊分為模型資源匹配模塊和模型資源調(diào)度模塊。系統(tǒng)調(diào)度模塊分為語音系統(tǒng)模塊，場景管理模塊和交

4、互模塊。系統(tǒng)功能模塊如圖1所示：（1）識別模塊：識別模塊達(dá)到的目的就是識別特殊的識別圖，當(dāng)用戶用手機(jī)攝像頭掃描特殊的識別圖后就會出現(xiàn)相應(yīng)的三維模型。（2）消息模塊：消息傳送模塊是各個(gè)模塊之間的通信最重要的模塊，所有模塊之間的交流都需要消息傳送模塊來接收信息并發(fā)送給各個(gè)模塊并且按照需要來驅(qū)動(dòng)接收信息的事件方法。（3）模型管理模塊：模型管理模塊的設(shè)計(jì)原理是首先把所有的資源按照不同的模型進(jìn)行匹配和裝載，然后在不同的情況下調(diào)度資源，如果用戶用語音操作模型的動(dòng)作，那么這個(gè)模塊就會根據(jù)傳過來的消息來對該模型裝載的資源進(jìn)行調(diào)出運(yùn)用。（4）系統(tǒng)調(diào)度模塊：該模塊是用來啟動(dòng)語音系統(tǒng)，還有c#語言與安卓java語言

5、的交互和一般ui的交互，并且管理場景的切換。3系統(tǒng)實(shí)現(xiàn)3.1系統(tǒng)開發(fā)平臺該app基于puremvc框架的更輕量級的框架、unity3d游戲引擎和安卓系統(tǒng)進(jìn)行的設(shè)計(jì)與實(shí)現(xiàn)，在圖像識別方面運(yùn)用的是高通vuforia的增強(qiáng)現(xiàn)實(shí)引擎，在語音識別方面來源訊飛語音的支持，用應(yīng)用于unity3d的puremvc框架把圖像識別引擎、語音識別引擎和unity3d的渲染引擎緊密的結(jié)合在一起，最終由unity3d強(qiáng)大的跨平臺能力把整套系統(tǒng)借助androidsdk轉(zhuǎn)換為可以在安卓手機(jī)上運(yùn)行的軟件。3.2技術(shù)實(shí)現(xiàn)該app的實(shí)現(xiàn)中最主要的技術(shù)就是增強(qiáng)現(xiàn)實(shí)技術(shù)，然而增強(qiáng)現(xiàn)實(shí)技術(shù)還包括物體檢測技術(shù)、跟蹤定位技術(shù)等。首先先對標(biāo)

6、識圖進(jìn)行灰度處理，然后進(jìn)行標(biāo)識點(diǎn)的分析和圖像特征提取，并將這些信息存入數(shù)據(jù)庫。在運(yùn)行時(shí)通過相應(yīng)算法實(shí)時(shí)的對現(xiàn)實(shí)場景進(jìn)行采樣分析，并與標(biāo)識點(diǎn)數(shù)據(jù)庫進(jìn)行比對，如果對比成功，那么就會成為跟蹤的目標(biāo)。在識別成功之后需要進(jìn)行跟蹤定位，通過模版匹配的方式，不斷的與預(yù)先存在的訓(xùn)練數(shù)據(jù)進(jìn)行比對，并解析當(dāng)前的位姿，然后獲得攝像機(jī)的光感等參數(shù)，還有目標(biāo)真實(shí)的世界坐標(biāo)和虛擬物體的3d世界坐標(biāo)，通過相應(yīng)的算法計(jì)算出與對應(yīng)的相機(jī)的二維坐標(biāo)，然后對虛擬的模型進(jìn)行渲染和融合圖像，達(dá)到虛實(shí)結(jié)合的效果。為了達(dá)到“高內(nèi)聚，低耦合”的原則，系統(tǒng)的框架設(shè)計(jì)運(yùn)用到了消息機(jī)制，每個(gè)功能模塊都需要通過傳達(dá)和接收消息來執(zhí)行相應(yīng)的功能，這樣確保了某個(gè)模塊出了問題不會牽扯到整個(gè)程序，并且在運(yùn)行效率上也得到了提高。3.3運(yùn)行結(jié)果良好的視覺感受和合理正確的設(shè)計(jì)才會使得產(chǎn)品更受歡迎，所以軟件界面的設(shè)計(jì)也是非常重要的。界面設(shè)計(jì)遵循簡潔明了的原則，運(yùn)行時(shí)效果如下圖2所示：4總結(jié)本文介紹了基于ar的互動(dòng)式教育app軟件的設(shè)計(jì)與開發(fā)過程，該app軟件改善了傳統(tǒng)教育的方式，使英語的學(xué)習(xí)更加有趣且更有效率。參考文獻(xiàn)1