增強(qiáng)現(xiàn)實(shí)的解決方案

1、移動(dòng)增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)及研究增強(qiáng)現(xiàn)實(shí)是隨著計(jì)算機(jī)圖形技術(shù)、可視化技術(shù)以及光電成像技術(shù)等一系列技術(shù)的發(fā)展在近年出現(xiàn)的，虛擬現(xiàn)實(shí)營造一個(gè)和用戶周圍環(huán)境完全不同的由計(jì)算機(jī)生成的虛擬場景，而增強(qiáng)現(xiàn)實(shí)則是把計(jì)算機(jī)生成的虛擬物體或文字信息疊加到真實(shí)的環(huán)境中，增強(qiáng)現(xiàn)實(shí)在 虛擬環(huán)境和真實(shí)環(huán)境之間搭起了一個(gè)橋梁。是一個(gè)典型的增強(qiáng)現(xiàn)實(shí)場景，用戶借助手機(jī)、平板電腦等智能終端顯示設(shè)備自帶的攝像頭觀察周圍的真實(shí)環(huán)境，在其手持的智能終端顯示屏上除了可以看到其周圍的真實(shí)環(huán)境之外，還可以看到由計(jì)算機(jī)生成的虛擬輔助信息，如最近的麥當(dāng)勞在哪個(gè)位置，這可以通過在周圍環(huán)境上疊加一個(gè)漢堡來表示附近有一家麥當(dāng)勞店。當(dāng)用戶來到一個(gè)陌生城市，

2、如果要找最近的地鐵站，可以通過手機(jī)攝像頭掃描周圍環(huán)境來得知最近的地鐵站或其他一些感興趣的地點(diǎn)在哪個(gè)位置。除了在工業(yè)、醫(yī)療等領(lǐng)域具有十分廣泛的應(yīng)用，近年來增強(qiáng)現(xiàn)實(shí)在軍事領(lǐng)域也有非常廣泛的應(yīng)用。在本次國防電子展上展出了一套單兵作戰(zhàn)系統(tǒng)，借助攝像機(jī)和頭盔顯示器士兵在觀察戰(zhàn)場環(huán)境時(shí)可以看到例如敵方的火力點(diǎn)等很多提示信息。在夜晚和惡劣天氣情況下這套系統(tǒng)具有重要作用，可以更好的保護(hù)士兵，使 得士兵能夠更好地地完成作戰(zhàn)任務(wù)。近年來增強(qiáng)現(xiàn)實(shí)技術(shù)得到了很大的發(fā)展，圖2 是一些典型的增強(qiáng)現(xiàn)實(shí)應(yīng)用，在體育轉(zhuǎn)播時(shí)，借助增強(qiáng)現(xiàn)實(shí)技術(shù)可以把運(yùn)動(dòng)員的名字或者所做國家的國旗疊加在跑道上，由于事先已經(jīng)獲取了攝像機(jī)以及賽場環(huán)境的

3、準(zhǔn)確參數(shù)，可以保證在實(shí)時(shí)轉(zhuǎn)播時(shí)由計(jì)算機(jī)所添加的虛擬物體或者文字信息天衣無縫的融合到當(dāng)前環(huán)境中。除了體育轉(zhuǎn)播以外，現(xiàn)在很多 的演出中也應(yīng)用了增強(qiáng)現(xiàn)實(shí)技術(shù)。增強(qiáng)現(xiàn)實(shí)的另外一個(gè)典型應(yīng)用是運(yùn)行在手機(jī)上的一個(gè)智能感知系統(tǒng)。例如借助增強(qiáng)現(xiàn)實(shí)技術(shù)，當(dāng)用戶到達(dá)一個(gè)陌生的環(huán)境需要獲取信息時(shí)，通過舉起手機(jī)拍攝周圍環(huán)境，所有的陌生文字都可以變成其熟悉的語言。在商業(yè)區(qū)舉起手機(jī)拍攝就可以很快找到最近的快 餐店的地址。當(dāng)想知道天氣時(shí)，只需要拍攝一下天空，就可以獲得天氣的信息。移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)所需要解決的一系列關(guān)鍵技術(shù)移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)由硬件和軟件兩部分構(gòu)成。硬件部分主要包括可以把用戶當(dāng)前所處的真實(shí)環(huán)境和計(jì)算機(jī)所生成的虛擬物

4、體以及文字同時(shí)進(jìn)行顯示的顯示載體，這既可以是單兵作戰(zhàn)系統(tǒng)中的頭盔顯示器，也可以是用戶手持的智能手機(jī)或者是平板電腦。除了融合顯示裝置外，還需要了解用戶意圖的人機(jī)交互設(shè)備，因?yàn)橄到y(tǒng)需要知道用戶現(xiàn)在的需求 是什么，采用傳統(tǒng)的鍵盤鼠標(biāo)無法實(shí)現(xiàn)這樣的人機(jī)交互，需要采用包括語音識(shí)別、眼動(dòng) 跟蹤、身體動(dòng)作跟蹤等一系列的自然交互手段。此外還需要硬件計(jì)算平臺(tái)來完成融合顯 示、虛擬物體的繪制以及人機(jī)交互等一系列的復(fù)雜運(yùn)算。除了上述硬件平臺(tái)之外還需要 一系列軟件的支撐，包括識(shí)別當(dāng)前用戶所看到的場景中的物體種類以及物體具體位置的 識(shí)別和跟蹤軟件，把虛擬的三維物體進(jìn)行實(shí)時(shí)的繪制和融合顯示的三維圖形渲染繪制軟 件，這些硬

5、件和軟件平臺(tái)一起構(gòu)成了移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。目前有三種方式可以實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括基于頭盔式顯示器的移動(dòng)增強(qiáng)現(xiàn)實(shí)系 統(tǒng)、基于手持投影儀的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)以及基于智能手機(jī)、平板電腦等便攜智能終端 的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。盡管移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)已經(jīng)顯示出了在諸多領(lǐng)域中廣泛的應(yīng)用前景，但是由于技術(shù)條件 和成本的限制，和大規(guī)模的推廣應(yīng)用尚有一定的距離，目前比較成熟的應(yīng)用大多集中在 軍事、醫(yī)療等對(duì)價(jià)格不是特別敏感的領(lǐng)域。目前制約移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)性能的因素主要包括以下兩個(gè)方面，一是移動(dòng)計(jì)算平臺(tái)的計(jì) 算資源、電池的壽命和重量的限制。二是戶外場景復(fù)雜多變的因素，由于戶外存在光照 的變化以及遮擋等問題， 同時(shí)用戶在

6、戶外的場景中自由移動(dòng)，事先無法預(yù)測(cè)用戶的軌跡,而環(huán)境又會(huì)有陰晴雨雪變化，所有這些不可控的因素制約了移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用。開發(fā)移動(dòng)增強(qiáng)現(xiàn)實(shí)需要攻克以下六項(xiàng)關(guān)鍵技術(shù)：一、高效便攜的終端定位系統(tǒng)，為了獲得用戶在環(huán)境中的準(zhǔn)確位置，完成對(duì)用戶在環(huán)境 中的準(zhǔn)確定位，目前有幾種方法可以實(shí)現(xiàn)，當(dāng)用戶攜帶手機(jī)時(shí)，通過移動(dòng)網(wǎng)絡(luò)可以對(duì)用 戶進(jìn)行粗略定位，可以記錄用戶在網(wǎng)絡(luò)中的一個(gè)歷史軌跡，通過這樣的一系列的歷史數(shù) 據(jù)，在服務(wù)器端可以對(duì)用戶當(dāng)前的位置有一個(gè)相對(duì)精確的估計(jì)，這些的復(fù)雜運(yùn)算是在服 務(wù)器端實(shí)現(xiàn)的，借助服務(wù)器端強(qiáng)大的計(jì)算能力，可以在不占用移動(dòng)端過多資源的情況下 獲取準(zhǔn)確的定位。二、移動(dòng)終端和多核工作站之間不

7、同計(jì)算能力設(shè)備間的任務(wù)協(xié)同。為了實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn) 實(shí)系統(tǒng)，要完成非常多復(fù)雜的運(yùn)算，包括對(duì)用戶位置的跟蹤、渲染、繪制等，這些復(fù)雜 的運(yùn)算任務(wù)要在移動(dòng)終端和系統(tǒng)的服務(wù)器中進(jìn)行協(xié)調(diào)，目前的解決方案是把一部分工作 放在手機(jī)端由手機(jī)實(shí)現(xiàn)，而將另外一部分復(fù)雜運(yùn)算放在服務(wù)器中實(shí)現(xiàn)。三、海量目標(biāo)的精確識(shí)別。在生活中有時(shí)我們希望能夠知道用戶面前的建筑物是什么， 用戶面前的車是什么型號(hào)，目前有多種方式實(shí)現(xiàn)這樣的功能。為了識(shí)別出這些物體，可 以通過提取對(duì)象的輪廓特征、紋理特征等來辨識(shí)。由于戶外環(huán)境的復(fù)雜多變，單一的特征很難實(shí)現(xiàn)百分之百的識(shí)別，為此在移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，通過多特征融合進(jìn)行物體識(shí)別，例如對(duì)于同一個(gè)用戶眼前

8、的建筑物，首先提取它的多種特征，通過融合多種特征來更加詳盡的對(duì)目標(biāo)加以識(shí)別和描述。四、六自由度跟蹤定位，即知道用戶在環(huán)境中是在向哪個(gè)方向看以及確定用戶所處的位置，所采用的方法是事先在計(jì)算機(jī)存儲(chǔ)部分已經(jīng)標(biāo)好的圖像，當(dāng)實(shí)際用戶使用的時(shí)候，通過將拍攝到場景中的圖像和事先存儲(chǔ)的圖像進(jìn)行匹配可以獲得準(zhǔn)確的六自由度信息。五、多傳感器數(shù)據(jù)融合。目前移動(dòng)智能終端帶有多種傳感器，在實(shí)際使用中即可以通過計(jì)算機(jī)視覺技術(shù)對(duì)攝像頭所拍攝的環(huán)境物體進(jìn)行跟蹤，也可以采用慣性傳感器進(jìn)行姿態(tài)跟蹤，通過融合多個(gè)傳感器的輸出可以獲取更加準(zhǔn)確的跟蹤結(jié)果。六、真實(shí)、高效的3D 渲染。為了實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，還需要把生成的三維物體準(zhǔn)確

9、的繪制到當(dāng)前的場景中，考慮到移動(dòng)終端資源的限制，需要繪制算法能夠盡可能簡化，解決的方法之一就是簡化傳輸數(shù)據(jù)的冗余性，從而實(shí)現(xiàn)真實(shí)高效的三維渲染。下面介紹國外的典型應(yīng)用。圖3 所示是增強(qiáng)現(xiàn)實(shí)瀏覽器，用戶只需要在手機(jī)上選擇一個(gè)頻道，在拍攝周圍環(huán)境的時(shí)候，用戶所有感興趣的信息都會(huì)自動(dòng)出現(xiàn)在屏幕上。比如在選擇餐飲的時(shí)候，周圍的所有的飯店的符號(hào)都會(huì)出現(xiàn)在屏幕上，用戶可以通過點(diǎn)擊屏幕看到對(duì)應(yīng)的評(píng)價(jià)，甚至可以下載飯店的優(yōu)惠券。移動(dòng)增強(qiáng)現(xiàn)實(shí)在博物館導(dǎo)覽方面也有很好的應(yīng)用。博物館提供了非常多的展品，但目前所有展品的標(biāo)簽所提供的信息都是有限的，用戶到博物館參觀時(shí)希望知道展品背后的故事。借助移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)，用戶進(jìn)

10、入到博物館時(shí)可以在手機(jī)上下載一個(gè)軟件，當(dāng)用戶在博物館內(nèi)進(jìn)行游覽時(shí)當(dāng)用戶看到感興趣的展品，通過手機(jī)屏幕呈現(xiàn)和這個(gè)展品有關(guān)的文字、圖片以及視頻等信息可以增強(qiáng)用戶對(duì)展品的認(rèn)識(shí)。移動(dòng)增強(qiáng)現(xiàn)實(shí)在電子商務(wù)方面也有很多的應(yīng)用，例如近年來在北京地鐵站出現(xiàn)的虛擬購物超市，消費(fèi)者只要通過手機(jī)拍攝想要購買的物品并發(fā)送給服務(wù)商，就可以享受到送貨上門的服務(wù)。移動(dòng)增強(qiáng)現(xiàn)實(shí)在教學(xué)培訓(xùn)上也有廣泛的應(yīng)用，國外開發(fā)了一款在iPhone 上的運(yùn)行的軟件，可以在實(shí)際的電路上通過三維顯示的方式來疊加學(xué)生需要搭建的電子元器件來指導(dǎo)學(xué)生進(jìn)行電路的搭建。在化學(xué)、地理等等一些教學(xué)中，通過對(duì)三維的分子結(jié)構(gòu)以及三維的空間星系進(jìn)行增強(qiáng)顯示可以加深對(duì)

11、這些知識(shí)的理解。在導(dǎo)航導(dǎo)覽方面增強(qiáng)現(xiàn)實(shí)具有更加廣的應(yīng)用，目前國外新開發(fā)的GPsa件上已經(jīng)應(yīng)用了增強(qiáng)現(xiàn)實(shí)，當(dāng)把這樣一款GPS安放在駕駛的車輛上，就會(huì)看到前方的道路地面疊加出了方向箭頭，可以實(shí)時(shí)指引駕駛員，通過這樣的可視化手段為用戶提供了非常好的使用 感受。在本屆國防電子展上也有多款產(chǎn)品應(yīng)用了增強(qiáng)現(xiàn)實(shí)技術(shù)，例如晚上駕駛照明條件不好時(shí)，可以借助紅外傳感器觀察周圍環(huán)境，然后把增強(qiáng)后的路況借助增強(qiáng)現(xiàn)實(shí)技術(shù)顯示在風(fēng)擋玻璃并后準(zhǔn)確的疊加在駕駛員前方的道路上，從而增強(qiáng)用戶對(duì)環(huán)境的理解。增強(qiáng)現(xiàn)實(shí)在商業(yè)廣告方面也有很多的應(yīng)用，Ibutterfly是一款下載在iPhone上的AR應(yīng)用，是旅游和餐飲業(yè)的一個(gè)很好的宣傳平臺(tái)。在娛樂游戲方面，增強(qiáng)現(xiàn)實(shí)可以把用戶周圍的真實(shí)場景變?yōu)橛螒驁鼍?，而在社交網(wǎng)絡(luò)應(yīng)用上，增強(qiáng)現(xiàn)實(shí)技術(shù)可以方便用戶與好友 進(jìn)行在線交流。近年來增強(qiáng)現(xiàn)實(shí)在古跡重建及導(dǎo)覽方面也有很多的應(yīng)用，例如用戶到圓明園進(jìn)行游覽時(shí) 可以通過增強(qiáng)現(xiàn)實(shí)技術(shù)看到圓明園被燒毀之前的壯美建筑，加深對(duì)古跡現(xiàn)場的理解。發(fā)展方向移動(dòng)增強(qiáng)現(xiàn)實(shí)的一個(gè)發(fā)展方向是基于投影儀的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。盡管目前手機(jī)屏幕越來越大，但是不可能無限增大，同時(shí)大的顯示屏幕對(duì)于電池是一個(gè)非常大的考驗(yàn)。美國MIT開發(fā)的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)借助微型的投影儀把增強(qiáng)信息投到用戶手上以及用戶閱讀的報(bào)紙上，同時(shí)用戶可以通過不同的手部動(dòng)作和投射出的影