AR增強現(xiàn)實的技術(shù)實現(xiàn)及案例全解

-

89

--

91

-AR圖片來源：AUTONET-

92

-ARAR其實一直在我們的生活中

購物比價軟件；

點讀筆；

谷歌的對譯；

語音翻譯軟件APP；

導航軟件APP；

旅游景區(qū)介紹景點的APP；-

93

-ARAR有兩類，一類是不融合現(xiàn)實，只從旁提示信息用，像GoogleGlass，一類是與現(xiàn)實融合，而融合方式又分兩種，一種是透明AR〔opticalsee-through)：透過鏡片直接看到現(xiàn)實世界；另一種是視頻疊加AR〔videosee-through或videooverlay〕：通過攝像頭捕捉前方現(xiàn)實世界，以視頻加其它增強信息共同呈現(xiàn)給用戶。AR可以看成VR的超集，鏡片前面一遮就成了VR，不過目前AR的FOV還是太小了，反過來，VR加個前置攝像頭也可實現(xiàn)視頻疊加型AR，現(xiàn)在和平板上已經(jīng)出現(xiàn)了很多videooverlay的APP，比方上海的小熊尼奧〔15年獲紀源資本GGVCapital領(lǐng)投、高通等跟投的1.2億人民幣〕。兩種融合AR遭遇的挑戰(zhàn)都是刷新延遲，視頻疊加AR相比透明AR，優(yōu)勢在于算法簡單、劣勢在于多為2D視頻，如果是3D沉浸式的，延遲問題更大。視頻疊加AR的兩大底層引擎，德國Metaio于15年5月22日被蘋果收購后暫停對外服務(wù)，Vuforia于隨后的10月12日被高通賣給了物聯(lián)網(wǎng)公司PTC還對外效勞，其它引擎還有法國TOTAL

IMMERSION的D‘Fusion、國內(nèi)的Realmax、亮風臺HiScene等。圖片來源：小熊尼奧?口袋動物園?-

94

-AR·?Sight?〔以色列2021〕導演兼編?。旱つ釥柪?

95

-Google

Glass谷歌眼鏡最初在2021年4月5日發(fā)布，13年10月30日又發(fā)布了第二代，加了微型耳塞〔前代骨傳感耳機在嘈雜背景下聽不清〕，并對小型近視眼鏡架做了適配處理，14年4月15日正式限量以1500美元出售，7月正式開放直播功能。GoogleGlass可抬頭喚醒或者“OKglass〞語音喚醒、摘除鎖屏，可手勢L型比劃或眨眼拍照、可錄像分享、收發(fā)短信、上網(wǎng)、處理電郵、查詢天氣路況等，只是應(yīng)用市場Glassware中的APP不到50款，均免費。-

96

-Google

Glass圖片來源：謝煜，知乎-

97

-Google

Glass-

98

-Google

Glass谷歌眼鏡應(yīng)用：Emotient通過表情分析情緒，雖然有認為GoogleGlass的應(yīng)用場景太少，但類似Emotient這樣的系統(tǒng)在商業(yè)營銷分析中還是很有幫助。第三方Emotient2021年3月7日推出了一體驗款全新應(yīng)用，可以利用谷歌眼鏡分析其他人的心理感受。Emotient起源于加州大學的“機器感知實驗室〞(MachinePerceptionLab)，它能分辨出類似于喜悅、憤怒、悲傷、驚訝等等基礎(chǔ)表情，以及焦慮、沮喪等復雜表情，普通網(wǎng)絡(luò)攝像頭就能支持分析。這家公司已經(jīng)于2021年1月8日被蘋果收購。-

99

-Google

Glass·谷歌眼鏡的工作被分配至托尼法戴爾(TonyFadell)領(lǐng)導的消費類硬件部門〔Nest〕智能家居，Tony是iPod之父。2021年5月原Glass工程負責人AdrianWong投奔OculusVR，由曾在博士倫擔任高管負責太陽鏡OutlookEyewear設(shè)計推廣的營銷人才IvyRoss接任。眼鏡研究并未停止，未來可能更關(guān)注用戶需求，新款GoogleGlass可能不久就會面世，15年6月Google又公開招聘Glass工程高級生-

100

-微軟HOLOLENS微軟HoloLens于北京時間2021年1月22日凌晨與Window10同時發(fā)布，迅速贏得輿論關(guān)注，6月15日微軟在E3游戲展上展示更完整的現(xiàn)實增強版?Minecraft?游戲。HoloLens利用3D投射，在現(xiàn)實場景之上疊加一層立體的虛擬展示界面，通過手勢、語音、藍牙點擊配件Clicker交互，支持眼球追蹤，可以在墻上獲取消息、“Becausewhenyouchangethewayyouseetheworld,youcanchangetheworldyousee.〞Hololens不認為自己是AR，而認為自己是MR〔MixReality〕-

101

-微軟HOLOLENS微軟Hololens工程由前Xbox孵化工程總經(jīng)理、被譽為Kinect之父的AlexKipman負責，他是巴西裔，2001年參加微軟后成為100多項專利的第一創(chuàng)造者，被譽為美國高科技行業(yè)25位最具創(chuàng)新人才之一?？岙a(chǎn)品Kinect是微軟在2021年6月2日E3大展上發(fā)布的Xbox360的體感外設(shè)，2021年6月14日更現(xiàn)名，11月4日在北美正式出售。它是一種3D體感攝影機，可即時動態(tài)捕捉、影像辨識、語音辨識、社群互動。2021年5月28日的XboxOne發(fā)布會上，微軟展示了第二代Kinect，11月22日正式出售，捆綁銷售。-

102

-微軟HOLOLENS做到飛秒級的快門，據(jù)說他們在芯片中用到砷化鎵，使其時鐘頻率提高到上百G，但這樣做本錢太高。兩代Kinect都是兩個傳感器，一個是紅外傳感器，主要用來監(jiān)視人體的動作、深度和溫度，另一個那么是用來識別顏色的RGB攝像頭，兩代都有人臉檢測，3維重建等功能。Kinect一代，彩色攝像頭為640*480，深度攝像頭為320*240，只能識別兩個人的骨骼數(shù)據(jù)；K二代，彩色為1080P，深度攝像頭為512*424，能識別六個人的骨骼、手指的靈活運動，甚至能監(jiān)控用戶的脈搏，識別穩(wěn)定精度更高。一代二代微軟HOLOLENSKinect上市之初微軟5億美元營銷，邀請美國脫口秀女王OprahWinfrey在節(jié)目中說“Youarethecontroller〞標語，贏巨大關(guān)注。消費者可以150美元單買Kinect1，或以299美元同時購置Xbox360和Kinect1，銷售一度良好。但是，Kinect叫好不叫座，2021年停產(chǎn)！XboxOne上市后與Kinect2捆綁499美元銷售，問題是一直配套游戲多屬家庭娛樂與健身，并且體感游戲?qū)蛷d空間有要求，缺重型游戲。難敵399美元的索尼PS4，銷售比拉開到1:3，微軟只得于2021年6月9日放開捆綁銷售，可以399美元購置XboxOne，主機銷售雖稍稍追回，因為價錢低了，且沒有了Kinect的資源占用，圖像性能提升了10%，而Kinect那么慢慢滑向深淵。微軟為了擴大應(yīng)用，還曾于2021年2月推出第一代KinectforWindows，售價為249美元，2021年7月推出第二代KinectforWindows，售價為199美元，不過，最后到2021年4月初宣布停產(chǎn)。Kinect家族累計賣出2900萬部。Kinect團隊轉(zhuǎn)戰(zhàn)Hololens，是新生，還是會重蹈覆轍？ -103--

104

-微軟HOLOLENSHoloLens是一款基于深度攝像頭，高性能處理器和雙屏幕顯示的頭戴式計算機設(shè)備，可以獨立使用，支持WiFi和藍牙，內(nèi)置CPU、GPU和一顆首創(chuàng)的HPU全息處理器，具備立體音效系統(tǒng)以及一整套傳感器實現(xiàn)各種功能。不過Hololens不像GoogleGlass那樣在室外用，而是設(shè)定為室內(nèi)用，防止了GoogleGlass的隱私爭議，我們認為一是室內(nèi)光線較暗、利于其展現(xiàn)，二是Hololens室內(nèi)預建模的需要。圖片來源：Imgur，作者不詳微軟HOLOLENS資料來源：聶崇嶺，36氪；徐浩，知乎

-

105

--

106

-微軟HOLOLENS藍光柵置于一個波導內(nèi)部，綠色置于另一波導內(nèi)部，微軟應(yīng)該是全部獨立了?！操Y料來源：中科院長春光學所曾飛〕微投光柵1光柵2-

107

-微軟HOLOLENS微軟在13年底1.5億美元向軍工企業(yè)ODG收購了幾十項智能眼鏡方面的專利，應(yīng)該有所憑借，而ODG自己還在做眼鏡，針對2B市場15年6月預售一款R-7的眼鏡，16年二季度開始發(fā)貨，售價2750美元，重約125g，效果相當于在房間里看65寸電視。資料來源：刻度網(wǎng)-

108

-微軟HOLOLENS微軟2021年1月對少數(shù)媒體開放的原型機體驗，到達震撼效果，雖然是線路板裸露的很大很沉重的產(chǎn)品，但性能上比Kinect要強大，能耗要相對較低，其左右各二的深度攝像頭的視角到達120x120度，投影也是全視野。不過，5月Build大會開放體驗的開發(fā)者版反而tradeoff成40度的視窗，就像在兩英尺外觀看15英寸的顯示屏，被輿論一頓痛扁！公司稱，因為制造全息投影所需要的玻璃十分復雜，視野越寬、玻璃越大，廢品率會提升不少，本錢顯著提高，另外電量也跟不上。該窄版在一般情況下續(xù)航最高可達5.5小時，但重度玩家可能撐不到2.5小時。微軟HOLOLENS200萬像素照片，720P視頻；電池：2-3小時活潑使用電池壽命，2周待機時間，被動冷卻；OS：Win10。 -109--

110

-微軟HOLOLENSHololens到底有什么用？有人說有了Hololens就不用買電視了，甚至開玩笑說家里也不用裝修了，只要一張沙發(fā)床就能入住。目前Hololens的問題包括價格昂貴、室內(nèi)使用、視野窄。3000美元價格使得只能限于2B業(yè)務(wù)，如果要2C的話，價格要砍剩一成才適宜。我們認為AR的價格應(yīng)低于VR，AR不適合像VR一樣玩重型游戲，在家中真實環(huán)境下打怪、日久會形成精神障礙，AR的作用更多的就是對現(xiàn)實的增強，而非對現(xiàn)實的虛幻。這樣AR可以降低性能要求、降低本錢與價格。盡量應(yīng)做到室外使用，室外對AR有剛需，實時3D建模對室外非2B工程非必需可簡化，并可根據(jù)外部光線強弱自動調(diào)節(jié)亮度。窄視場、沉浸感差的問題可以將就，把它當做雙目版GoogleGlass就好了，至少不會有“GG眼〞〔右圖〕。耗電量：計算視覺、SLAM，以及反向3D建模，都很消耗計算量，需要簡化。總之我們認為，目前可以將就Hololens的窄視場版本，但價格最好在300美元以內(nèi)。寬視場版本要出來估計沒有三年、五年不行，電池、鏡片材料并不遵循摩爾定律。-

111

-GoogleGlass可能之還擊當然，谷歌也不是吃素的，谷歌3D建模神器ProjectTango2021年2月從GoogleX畢業(yè)，谷歌還成功為該工程研發(fā)出一款Android原型機，配備了一系列攝像頭、傳感器和芯片，它能在你走動時，自動掃描四周繪制出周圍世界的3D模型，每秒進行1500萬次3D測量。工程其實是摩托羅拉移動此前的研發(fā)團隊負責，工程負責人JonnyLee曾在微軟的Kinect工程工作，2021年參加Google。谷歌也是內(nèi)嵌Kinect使用的PrimeSense深度處理芯片，矢量處理器使用硅谷創(chuàng)業(yè)公司Movidius的芯片，后者已經(jīng)發(fā)布了核數(shù)量從8個增加到12個的“Myriad2〞。Magic

Leap的游戲，微軟透露?RoboRaid?由一支8人團體用了短短12個星期就開發(fā)出來了，以顯示其開發(fā)環(huán)境之友好

。MagicLeap宣傳語：Yournewwaytobringmagicbackintotheworld.MagicLeap也不認為自己是AR，而認為自己是CR〔CinematicReality〕電影級現(xiàn)實。 -112--

113

-Magic

Leap-

114

-Magic

Leap··桑達爾皮查伊〔1972-〕，印度裔，2021年8月就任谷歌CEO-

116

-

創(chuàng)始人Rony

Abovitz覺工具庫)，他還是Stanford參謀教授〔可惜此人于16年5月正與公司互訴公堂〕，碼寶典?、?巴洛克記?等經(jīng)典科幻小說的作者。Magic

LeapMagicLeap產(chǎn)品原理分為四個步驟：1、數(shù)字光場拍攝〔光場相機〕；2、3D信息感知-SLAM-3D場景識別-3D反向建模-實時CG圖像渲染；3、光場顯示；4、交互。第2步在微軟Hololens中做過介紹，MagicLeap露了一手，初始的校準、傳統(tǒng)方法是對著國際象棋棋盤反復校準，他們對著一個特制奇形怪狀物體一次快速校準；第4步前文介紹較多，MagicLeap開發(fā)了手套，申請了一些手勢指令的專利。MagicLeap光場顯示想到達的效果：1、從眼鏡中看出去無法辨真假，因為所見都是從真實光場中采集的光線集，傳統(tǒng)顯示沒有保存光線方向信息，屏幕是漫反射的，從屏幕上某一點發(fā)出的所有射線都是相同顏色的，而光場顯示要求從同一點出發(fā)的不同射線具有不同的顏色；2、眼睛長時間不疲勞，因為光場信息完整、人眼想看哪里、哪里就能自動對焦，而不是屏顯3D、眼睛始終聚焦屏幕上。公司稱，他們開發(fā)了一種全新的光場芯片，并將在佛羅里達用廢棄的摩托羅拉工廠做生產(chǎn)。 資料來源：顧險峰 -117--

118

-Magic

Leap資料來源：顧險峰-

119

-Magic

Leap光場相機〔Camera3.0，1代是膠片相機，2代是數(shù)碼相機〕代表產(chǎn)品Lytro可先拍照、后取焦，2006年斯坦福畢業(yè)的吳義仁(Yi-RenNg，馬來西亞裔，1979年9月21日－)創(chuàng)辦，博士論文終孵化出2021年2月第一代產(chǎn)品，價格399.99美元〔后折價到139.99美元〕，玩具型產(chǎn)品，2021年7月第二代Illum，價格1599美元，有點專業(yè)派頭。二代4000萬像素光場解析度〔40-megaray光場感應(yīng)器〕，一代為1100萬像素。鏡頭與傳感器中間有9萬顆微鏡頭陣列，記錄的全部光場原始信息包含大量不同方向的光信號疊加在一起，Ng利用傅立葉變換把不同的信號分解開，再根據(jù)使用者的需要重新組合，名為“傅立葉切片攝影〞的后期處理方式合成出聚焦于任意一點的照片。吳義仁與Lytro第一代產(chǎn)品Magic

Leap不過也要先解決光場信息壓縮問題，目前已有MIT的Tesseract等研究壓縮感知，類似于唱片-WAV-MP3等有損壓縮-FLAC等無損壓縮。且等著！

-

120

-Lytro第二代Illum-

121

-Magic

LeapMagicLeapMagicLeap光場呈像方式采用光纖投影顯示(Fiberopticprojector)，負責人BrianSchowengerdt，導師是華盛頓大學EricSeibel教授，導師團隊研究內(nèi)窺鏡數(shù)十載，Brian的想法很聰明，把過程倒過來可以做成一個高分辨率的投影儀，他早在2004年就發(fā)了相關(guān)論文，2021年曾公開展示一種直徑1毫米、基于光纖掃描的內(nèi)窺鏡，原理是微電腦通過基于微機電系統(tǒng)MEMS的驅(qū)動器Actuator，精確控制超細光纖末端，在1毫米直徑的管子中高速旋轉(zhuǎn)，由小變大畫同心圓來完成掃描，1mm寬9mm長的光纖能投射幾寸大的高清蝴蝶圖像，有人發(fā)現(xiàn)它現(xiàn)在已經(jīng)在為美國國防部研制分辨率到達4K級別的光纖掃描顯示設(shè)備。視頻鏈接：://t/RqOntaZ

資料來源：聶崇嶺，36氪；胡伯濤，知乎

-

122

--

123

-Magic

Leap光場顯示主要是兩種方法：空間復用〔spacemultiplexing〕和時間復用〔timemultiplexing〕。有研究說明用6個聚焦距離加上一種線性混合〔linearblending〕的渲染算法就根本能實現(xiàn)從約30厘米到無窮遠讓人眼自然對焦。“空間復用〞用一根光線實現(xiàn)不同聚焦距離，Nvidia做的原型屬于這種，MagicLeap公布的專利也是這種，因為光纖輸出的只是2D畫面，要復原光場，MagicLeap在光纖外端放上一個彎曲微鏡陣列，鏡面受光線方向2維數(shù)字信號控制磁場來快速調(diào)整，每個小單元反射光纖2D光的一局部來生成3D空間中一個特定點的光場，最大問題是分辨率大打折扣； “時間復用〞就是用高速原件快速產(chǎn) 生不同的聚焦距離，這樣分辨率不損 失。此外用光纖束的位置差來得到不 同聚焦距離效率更高，光纖