AR--增強現(xiàn)實的技術(shù)實現(xiàn)與案例課件(PPT 43頁)

1、-89-AR增強現(xiàn)實的技術(shù)實現(xiàn)及案例第1頁，共43頁。AR先烈：谷歌眼鏡（Google Glass）2012年4月發(fā)布，它可以通過聲音控制拍照、視頻通話和辨明方向，以及上網(wǎng)沖浪、處理文字信息和電子郵件等。先鋒：微軟HoloLens全息眼鏡于北京時間2015年1月22日凌晨與Window10同時發(fā)布，6月15日微軟在E3游戲展上展示更完整的現(xiàn)實增強版Minecraft游戲。新銳：Magic Leap成立于2011年，2014年獲得谷歌領(lǐng)投的5.42億美元投資，Magic Leap曾在2015年9月發(fā)布過一段“直接利用Magic Leap技術(shù)”實現(xiàn)的視頻，沒有添加任何特效，但樣品一直沒有曝光。第2

2、頁，共43頁。- 91 -AR提到AR，可能想到的應(yīng)用： 戰(zhàn)斗機的平視顯示器 汽車的HUD（Head Up Display）抬頭顯示（或稱平視顯示器）（寶馬汽車高端車型均已應(yīng)用此類技術(shù)）圖片來源：AUTONET第3頁，共43頁。- 92 -ARAR其實一直在我們的生活中 購物比價軟件； 點讀筆； 谷歌的對譯； 語音翻譯軟件APP； 導(dǎo)航軟件APP； 旅游景區(qū)介紹景點的APP；等等國內(nèi)企業(yè)的機會不在于平臺，而在于找到用戶痛點，從小功能突破。汽車后裝HUD生產(chǎn)商Navdy2014年8月眾籌引起轟動效應(yīng)，目前國內(nèi)在汽車HUD領(lǐng)域創(chuàng)業(yè)的正如火如荼，可以連接汽車OBD接口顯示汽車狀態(tài)數(shù)據(jù)、可連手機接電話

3、及語音回短信、可導(dǎo)航、可語音或手勢交互，漸漸將成為汽車智能平臺。該領(lǐng)域技術(shù)難點在于臺式機的散熱、強日光下的呈像清晰度，或者要拋棄Navdy路線。Navdy采用DLP技術(shù)， 配備了5.1英寸透明HUD“Feels Like Driving In The Future”第4頁，共43頁。- 93 -ARAR有兩類，一類是不融合現(xiàn)實，只從旁提示信息用，像Google Glass，一類是與現(xiàn)實融合，而融合方式又分兩種，一種是透明AR（optical see-through)：透過鏡片直接看到現(xiàn)實世界；另一種是視頻疊加AR（video see-through或videooverlay）：通過攝像頭捕捉前

4、方現(xiàn)實世界，以視頻加其它增強信息共同呈現(xiàn)給用戶。AR可以看成VR的超集，鏡片前面一遮就成了VR，不過目前AR的FOV還是太小了，反過來，VR加個前置攝像頭也可實現(xiàn)視頻疊加型AR，現(xiàn)在手機和平板上已經(jīng)出現(xiàn)了很多video overlay的APP，比如上海的小熊尼奧（15年獲紀源資本GGV Capital領(lǐng)投、高通等跟投的1.2億人民幣）。兩種融合AR遭遇的挑戰(zhàn)都是刷新延遲，視頻疊加AR相比透明AR，優(yōu)勢在于算法簡單、劣勢在于多為2D視頻，如果是3D沉浸式的，延遲問題更大。視頻疊加AR的兩大底層引擎，德國Metaio于15年5月22日被蘋果收購后暫停對外服務(wù)，Vuforia于隨后的 10月12日被

5、高通賣給了物聯(lián)網(wǎng)公司PTC還對外服務(wù)，其它引擎還有法國TOTAL IMMERSION的DFusion、國內(nèi)的Realmax、亮風(fēng)臺HiScene等。圖片來源：小熊尼奧口袋動物園第5頁，共43頁。- 94 -ARSight（以色列2012）導(dǎo)演兼編?。旱つ釥?拉索第6頁，共43頁。- 95 -Google Glass谷歌眼鏡最初在2012年4月5日發(fā)布，13年10月30日又發(fā)布了第二代，加了微型耳塞（前代骨傳感耳機在嘈雜背景下聽不清），并對小型近視眼鏡架做了適配處理，14年4月15日正式限量以1500美元發(fā)售，7月正式開放直播功能。GoogleGlass可抬頭喚醒或者“OK glass” 語音喚

6、醒、摘除鎖屏，可手勢L型比劃或眨眼拍照、可錄像分享、收發(fā)短信、上網(wǎng)、處理電郵、查詢天氣路況等，只是應(yīng)用市場Glassware中的APP不到50款，均免費。第7頁，共43頁。- 96 -Google GlassLCOS 硅基液晶微投影技術(shù)。Google Glass實際上就是微型投影儀+攝像頭+傳感器+存儲傳輸+操控設(shè)備的結(jié)合體，用的是Himax的Color Sequential LCOS顯示器（類似于DLP，用硅基液晶反射光線），型號HX7309，分辨率640 x360 ，顯示區(qū)尺寸4.8*2.7毫米，經(jīng)曲面鍍膜棱鏡反射后，顯示效果如同2.4米外的25英寸16:9屏幕，攝像頭像素為500萬，可拍

7、攝 720p視頻，16G內(nèi)存，支持WiFi與藍牙連接；全鏡重50g，電池570mAh，藏于右鏡架腳， 一次充電6小時可用，但拍照只能用2小時，拍視頻撐不到40分鐘。圖片來源：謝煜，知乎第8頁，共43頁。- 97 -Google Glass2015年1月19日，谷歌正式停止了谷歌眼鏡的“探索者”項目，雖然成了先烈，索尼、三星、聯(lián)想以及國內(nèi)很多初創(chuàng)企業(yè)也在跟進發(fā)展自己的Glass。Google Glass得到了外科醫(yī)生、建筑工人、機修工程師等技術(shù)人才的認可，但失敗的原因有三點：1、1500美元的價格太貴，應(yīng)用少顯得性價比不高；2、掛在右眼上方的小屏幕，與現(xiàn)實世界分離，斜眼分散注意力，容易有出行風(fēng)險

8、；3、助長了偷拍、偷錄等不法行為，觸及了隱私與版權(quán)的底線，有些酒吧、餐廳、影院等公共場合明確禁止使用，用戶甚至得到了“眼鏡混蛋”（Glassholes）的不雅稱呼，有人認為正是谷歌的極端限售造成了擁有眼鏡的人成為少數(shù)派，所以被社會孤立。第9頁，共43頁。- 98 -Google Glass谷歌眼鏡應(yīng)用：Emotient通過表情分析情緒，雖然有認為Google Glass的應(yīng)用場景太少，但類似Emotient這樣的系統(tǒng)在商業(yè)營銷分析中還是很有幫助。第三方Emotient2014年3月7日推出了一體驗款全新應(yīng)用，可以利用谷歌眼鏡分析其他人的心理感受。Emotient 起源于加州大學(xué)的 “機器感知實

9、驗室”(Machine Perception Lab)，它能分辨出類似于喜悅、憤怒、悲傷、驚訝等等基礎(chǔ)表情，以及焦慮、沮喪等復(fù)雜表情，普通網(wǎng)絡(luò)攝像頭就能支持分析。這家公司已經(jīng)于2016年1月8日被蘋果收購。第10頁，共43頁。- 99 -Google Glass谷歌眼鏡的工作被分配至托尼 法戴爾(Tony Fadell)領(lǐng)導(dǎo)的消費類硬件部門（Nest）智能家居，Tony是iPod之父。2014年5月原Glass項目負責(zé)人Adrian Wong投奔Oculus VR，由曾在博士倫擔任高管負責(zé)太陽鏡Outlook Eyewear設(shè)計推廣的營銷人才Ivy Ross接任。眼鏡研究并未停止，未來可能更關(guān)

10、注用戶需求，新款Google Glass 可能不久就會面世，15年6月Google又公開招聘Glass項目高級生產(chǎn)技術(shù)工程師，16年1月?lián)A盛頓郵報報道，有人在FCC（聯(lián)邦通信委員會）網(wǎng)站上找到了Google Glass 的材料，增設(shè)了錄制視頻的閃爍提示燈以規(guī)避隱私侵犯問題，另有消息稱，眼鏡復(fù)出將主打2B路線，以盡量規(guī)避隱私爭議。不過看圖還是單目的！第11頁，共43頁。- 100 -微軟HOLOLENS微軟HoloLens于北京時間2015年1月22日凌晨與Window10同時發(fā)布，迅速贏得輿論關(guān)注，6月15日微軟在E3游戲展上展示更完整的現(xiàn)實增強版Minecraft游戲。HoloLens利用

11、3D投射，在現(xiàn)實場景之上疊加一層立體的虛擬展示界面，通過手勢、語音、藍牙點擊配件Clicker交互，支持眼球追蹤，可以在墻上獲取消息、查找聯(lián)系人，在客廳墻上直接進行Skype視頻通話、觀看球賽，在地上、家具間玩Minecraft等游戲，甚至于可以將創(chuàng)造的虛擬物品通過3D打印變?yōu)閷嵨铩！癇ecause when you changethe way you see the world, youcan change the world you see.”Hololens不認為自己是AR，而認為自己是MR（Mix Reality）第12頁，共43頁。- 101 -微軟HOLOLENS微軟Hololen

12、s項目由前 Xbox 孵化項目總經(jīng)理、被譽為 Kinect 之父的 Alex Kipman負責(zé)，他是巴西裔，2001年加入微軟后成為100多項專利的第一發(fā)明者，被譽為美國高科技行業(yè)25位最具創(chuàng)新人才之一?？岙a(chǎn)品Kinect是微軟在2009年6月2日E3大展上發(fā)布的Xbox 360的體感外設(shè)， 2010年6月14日更現(xiàn)名， 11月4日在北美正式發(fā)售。它是一種3D體感攝影機，可即時動態(tài)捕捉、影像辨識、語音辨識、社群互動。 2013年5月28日的XboxOne發(fā)布會上，微軟展示了第二代Kinect，11月22日正式發(fā)售，捆綁銷售。第13頁，共43頁。- 102 -微軟HOLOLENSHololens

13、借用了Kinect的核心技術(shù)，準確說應(yīng)該是頭戴版Kinect+微投影。Kinect一代是基于測量紅外光斑來進行深度檢測，Kinect二代是基于time-of-flight技術(shù)。一代采用的是以色列PrimeSense的三維測量技術(shù)，該公司后來被蘋果收購，而二代采用的ToF技術(shù)是09年微軟收購的以色列公司3DV的，微軟之所以沒有在一代產(chǎn)品中采用3DV的技術(shù)，主要是3DV的感光芯片要測量光飛行時間，須做到飛秒級的快門，據(jù)說他們在芯片中用到砷化鎵，使其時鐘頻率提高到上百G，但這樣做成本太高。兩代Kinect都是兩個傳感器，一個是紅外傳感器，主要用來監(jiān)視人體的動作、深度和溫度，另一個則是用來識別顏色的R

14、GB攝像頭，兩代都有人臉檢測，3維重建等功能。 Kinect一代，彩色攝像頭為640*480，深度攝像頭為320*240，只能識別兩個人的骨骼數(shù)據(jù)；K二代，彩色為1080P，深度攝像頭為512*424，能識別六個人的骨骼、手指的靈活運動，甚至能監(jiān)控用戶的脈搏，識別穩(wěn)定精度更高。一代二代第14頁，共43頁。微軟HOLOLENSKinect上市之初微軟5億美元營銷，邀請美國脫口秀女王Oprah Winfrey在節(jié)目中說“You are the controller”標語，贏巨大關(guān)注。消費者可以150美元單買Kinect1，或以299美元同時購買Xbox 360和Kinect1，銷售一度良好。但是，

15、Kinect叫好不叫座，2015年停產(chǎn)！Xbox One上市后與Kinect2捆綁499美元銷售，問題是一直配套游戲多屬家庭娛樂與健身，并且體感游戲?qū)蛷d空間有要求，缺重型游戲。難敵399美元的索尼PS4，銷售比拉開到1:3，微軟只得于2014年6月9日放開捆綁銷售，可以399美元購買Xbox One，主機銷售雖稍稍追回，因為價錢低了，且沒有了Kinect的資源占用，圖像性能提升了10%，而Kinect則慢慢滑向深淵。微軟為了擴大應(yīng)用，還曾于2012年2月推出第一代Kinect for Windows，售價為249美元，2014年7月推出第二代Kinect forWindows，售價為199美

16、元，不過，最后到2015年4月初宣布停產(chǎn)。Kinect家族累計賣出2900萬部。Kinect團隊轉(zhuǎn)戰(zhàn)Hololens，是新生，還是會重蹈覆轍？- 103 -第15頁，共43頁。- 104 -微軟HOLOLENSHoloLens是一款基于深度攝像頭，高性能處理器和雙屏幕顯示的頭戴式計算機設(shè)備，可以獨立使用，支持WiFi和藍牙，內(nèi)置CPU、GPU和一顆首創(chuàng)的HPU全息處理器，具備立體音效系統(tǒng)以及一整套傳感器實現(xiàn)各種功能。不過Hololens不像Google Glass那樣在室外用，而是設(shè)定為室內(nèi)用，避免了Google Glass的隱私爭議，我們認為一是室內(nèi)光線較暗、利于其展現(xiàn)，二是Hololens

17、室內(nèi)預(yù)建模的需要。圖片來源：Imgur，作者不詳?shù)?6頁，共43頁。微軟HOLOLENSHoloLens原理如下圖：微軟憑借積累深厚的Kinect深度攝像頭技術(shù)，以及基于SLAM（實時定位與地圖構(gòu)建）技術(shù)打造的Kinect Fushion 3D建模技術(shù)，從原型機試用報告看，3D渲染達到720P畫質(zhì)、刷新無延遲、定位精準。再下圖，感覺Hololens在識別方面用的還是Kinect1的光編碼技術(shù)，如果能用上Kinect2的ToF技術(shù)，產(chǎn)品就可以用于戶外，但是，成本！功耗！資料來源：聶崇嶺，36氪；徐浩，知乎- 105 -第17頁，共43頁。- 106 -微軟HOLOLENS全息波導(dǎo)呈像原理，國內(nèi)也

18、有論文研究（），乃微投產(chǎn)生圖像經(jīng)透鏡后變平行光，在光柵1的衍射效應(yīng)下滿足全反射條件并沿波導(dǎo)方向無損前行，到達光柵2后從波導(dǎo)射出進入人眼成像，這種垂直偏轉(zhuǎn)傳播方法減少了傳播距離、減少了折鏡使用，有利于簡潔輕型化。為了保障圖像的完整并給眼睛一些活動空間，需要擴展出瞳技術(shù)，即分多次出射并多次成像。需要克服的是復(fù)雜的像差形式與嚴重色散。Kipman則透露：“光粒子會在設(shè)備的光引擎中跳動數(shù)百萬次，然后進入頭盔的兩個透鏡，在里面的藍綠紅玻璃層之間跳躍，而后進入你的眼球后方”。據(jù)悉Hololens微投采用的是雙LCoS方案，也是Himax產(chǎn)品。這里借用Sony在研的全色體全息波導(dǎo)眼戴顯示技術(shù)圖來說明，Son

19、y把紅藍光柵置于一個波導(dǎo)內(nèi)部，綠色置于另一波導(dǎo)內(nèi)部，微軟應(yīng)該是全部獨立了。（資料來源：中科院長春光學(xué)所曾飛）微投光柵1光柵2第18頁，共43頁。- 107 -微軟HOLOLENS微軟在13年底1.5億美元向軍工企業(yè)ODG收購了幾十項智能眼鏡方面的專利，應(yīng)該有所憑借，而ODG自己還在做眼鏡，針對2B市場15年6月預(yù)售一款R-7的眼鏡，16年二季度開始發(fā)貨，售價2750美元，重約125g，效果相當于在房間里看65寸電視。資料來源：刻度網(wǎng)第19頁，共43頁。- 108 -微軟HOLOLENS微軟2015年1月對少數(shù)媒體開放的原型機體驗，達到震撼效果，雖然是線路板裸露的很大很沉重的產(chǎn)品，但性能上比Ki

20、nect要強大，能耗要相對較低，其左右各二的深度攝像頭的視角達到120 x 120度，投影也是全視野。不過，5月Build大會開放體驗的開發(fā)者版反而trade off成40度的視窗，就像在兩英尺外觀看15英寸的顯示屏，被輿論一頓痛扁！公司稱，因為制造全息投影所需要的玻璃十分復(fù)雜，視野越寬、玻璃越大，廢品率會提升不少，成本顯著提高，另外電量也跟不上。該窄版在一般情況下續(xù)航最高可達5.5小時，但重度玩家可能撐不到2.5小時。第20頁，共43頁。微軟HOLOLENSHololens開發(fā)者套件于2016年2月29日開始預(yù)訂，并于3月30日舊金山Build開發(fā)者大會正式推出，售價3000美元。套件包括開

21、發(fā)工具及HoloStudio、Skype、HoloTour等軟件，配套新游戲也被曝光，其中包括Fragments、YoungConker、RoboRaid三款游戲。Fragments犯罪游戲，玩家在起居室中調(diào)查案件并詢問游戲角色；Young Conker將松鼠帶到玩家房間；RoboRaid第一視角射擊游戲，消滅墻面上出現(xiàn)的入侵外星人。購買者還將獲得數(shù)百款Windows商店UWP應(yīng)用，UWP通用應(yīng)用平臺，一次編譯、可在各類微軟系終端運行。參數(shù)：顯示屏：透明全息透鏡；2xHD 16:9光學(xué)引擎；自動校準瞳孔距離；2.3全光點全息分辨率；2.5K流明全息密度。內(nèi)存：2GB；存儲：64GB；重量：57

22、9g；相機：200萬像素照片，720P視頻；電池：2-3小時活躍使用電池壽命，2周待機時間，被動冷卻；OS：Win10。- 109 -第21頁，共43頁。- 110 -微軟HOLOLENSHololens到底有什么用？有人說有了Hololens就不用買電視了，甚至開玩笑說家里也不用裝修了，只要一張沙發(fā)床就能入住。目前Hololens的問題包括價格昂貴、室內(nèi)使用、視野窄。3000美元價格使得只能限于2B業(yè)務(wù)，如果要2C的話，價格要砍剩一成才合適。我們認為AR的價格應(yīng)低于VR，AR不適合像VR一樣玩重型游戲，在家中真實環(huán)境下打怪、日久會形成精神障礙，AR的作用更多的就是對現(xiàn)實的增強，而非對現(xiàn)實的虛

23、幻。這樣AR可以降低性能要求、降低成本與價格。盡量應(yīng)做到室外使用，室外對AR有剛需，實時3D建模對室外非2B項目非必需可簡化，并可根據(jù)外部光線強弱自動調(diào)節(jié)亮度。窄視場、沉浸感差的問題可以將就，把它當做雙目版GoogleGlass就好了，至少不會有“GG眼”（右圖）。耗電量：計算視覺、SLAM，以及反向3D建模，都很耗費計算量，需要簡化?？傊覀冋J為，目前可以將就Hololens的窄視場版本，但價格最好在300美元以內(nèi)。寬視場版本要出來估計沒有三年、五年不行，電池、鏡片材料并不遵循摩爾定律。第22頁，共43頁。- 111 -Google Glass可能之反擊當然，谷歌也不是吃素的，谷歌3D建模神

24、器Project Tango2014年2月從GoogleX畢業(yè)，谷歌還成功為該項目研發(fā)出一款A(yù)ndroid手機原型機，配備了一系列攝像頭、傳感器和芯片，它能在你走動時，自動掃描四周繪制出周圍世界的 3D 模型，每秒進行1500萬次3D測量。項目其實是摩托羅拉移動此前的研發(fā)團隊負責(zé)，項目負責(zé)人Jonny Lee曾在微軟的 Kinect 項目工作，2011年加入Google。谷歌也是內(nèi)嵌Kinect使用的PrimeSense深度處理芯片，矢量處理器使用硅谷創(chuàng)業(yè)公司Movidius的芯片，后者已經(jīng)發(fā)布了核數(shù)量從8個增加到12個的“Myriad2”。第23頁，共43頁。Magic LeapMagic

25、Leap成立于2011年，2014年2月完成5000萬美元A輪融資，2014年10月得到谷歌投資，2015年3月公司發(fā)布過一段AR辦公室打怪的第一人稱射擊游戲視頻，這是比微軟更領(lǐng)先的創(chuàng)意，一下子吸引了業(yè)界的注意，不過該公司當時并沒有附帶真實性聲明。順帶說一下，此舉倒是刺激了微軟不斷去開發(fā)配套Hololens的游戲，微軟透露RoboRaid由一支8人團體用了短短12個星期就開發(fā)出來了，以顯示其開發(fā)環(huán)境之友好 。Magic Leap宣傳語：Your new way to bring magic backinto the world.Magic Leap也不認為自己是AR，而認為自己是CR（ Cin

26、ematicReality）電影級現(xiàn)實。- 112 -第24頁，共43頁。- 113 -Magic LeapMagic Leap于2015年10月20號華爾街日報 WSJD展會上展示了一個視頻，辦公桌下緊張的機器人、辦公桌上的太陽系，視頻注腳特別強調(diào)，這是利用Magic Leap技術(shù)實現(xiàn)并實拍的視頻，沒有添加任何特效。第25頁，共43頁。- 114 -Magic LeapMagic Leap隨后不久又公布了一條新視頻，體育館中躍起大鯨魚，視頻中的觀眾是裸眼的，讓人震驚裸眼全息時代的到來，Magic Leap總是用一個個視頻撩撥大眾的神經(jīng)，但產(chǎn)品為何至今尚未揭曉，引發(fā)無數(shù)質(zhì)疑，特效！騙子？這次的

27、確是特效，Magic Leap是需要佩戴眼鏡的，視網(wǎng)膜呈像，它還是給公眾帶來了新的概念，數(shù)字光場技術(shù)(Digital Lightfield），也是與Hololens最大的不同。第26頁，共43頁。Magic LeapMagic Leap2014年10月獲得由谷歌領(lǐng)投的5.42億美元B輪融資，高通資本、KPCB、Andreessen Horowitz等大牌投資機構(gòu)跟投，請注意是谷歌自己，而非其風(fēng)險投資部門Google Capital和Google Ventures，谷歌新任CEO桑達爾 皮查伊(Sundar Pichai)（俗稱劈柴）甚至出任了該公司董事。2016年2月完成 7.935 億美元

28、C 輪融資，阿里巴巴2億美元領(lǐng)投，Wellington Management, T. Rowe Price,JP Morgan, Morgan Stanley, Fidelity Investments,Warner Bros., Qualcomm Ventures, Google 跟投， 蔡崇信入董事會，估值達 45 億美元（非之前傳說的120億美元）。有人質(zhì)疑谷歌投資這是給微軟Hololens逼急了亂投醫(yī)，難道這么多大佬捧場竟遭遇了皇帝的新裝？- 115 -桑達爾 皮查伊（1972-），印度裔，2015年8月就任谷歌CEO第27頁，共43頁。- 116 -Magic LeapMagic L

29、eap的團隊堪稱夢幻。創(chuàng)始人兼CEO，Rony Abovitz曾是MAKO外科手術(shù)機器人公司的聯(lián)合創(chuàng)始人，這家公司最后作價16.5億美元賣掉。朋友們評價Rony風(fēng)趣幽默、思維活躍、善于說服人，也常會做出一些讓人意想不到的事情。創(chuàng)始人Rony AbovitzMagic Leap其實聚集了很多計算視覺、數(shù)字光場技術(shù)的大牛，比如感知研究的高級副總裁 Gary Bradski，他于1999年在Intel時就創(chuàng)立了OpenCV(開源計算機視覺工具庫)，他還是Stanford顧問教授（可惜此人于16年5月正與公司互訴公堂），再比如計算視覺的技術(shù)負責(zé)人Jean-Yves Bouguet，原來在Google負

30、責(zé)谷歌街景車的制造。團隊還有知名游戲設(shè)計師Graeme Devine、著名科技市場首席營銷官Brian Wallace、Beats公司前CFO Scott Henry，還有一位科幻傳奇小說作家Neal Stephenson被任命為“chief futurist”，他是雪崩、鉆石年代、編碼寶典、巴洛克記等經(jīng)典科幻小說的作者。第28頁，共43頁。Magic LeapMagic Leap產(chǎn)品原理分為四個步驟：1、數(shù)字光場拍攝（光場相機）；2、3D信息感知-SLAM-3D場景識別-3D反向建模-實時CG圖像渲染；3、光場顯示；4、交互。第2步在微軟Hololens中做過介紹，Magic Leap露了一

31、手，初始的校準、傳統(tǒng)方法是對著國際象棋棋盤反復(fù)校準，他們對著一個特制奇形怪狀物體一次快速校準；第4步前文介紹較多， Magic Leap開發(fā)了手套，申請了一些手勢指令的專利。Magic Leap光場顯示想達到的效果：1、從眼鏡中看出去無法辨真假，因為所見都是從真實光場中采集的光線集，傳統(tǒng)顯示沒有保留光線方向信息，屏幕是漫反射的，從屏幕上某一點發(fā)出的所有射線都是相同顏色的，而光場顯示要求從同一點出發(fā)的不同射線具有不同的顏色；2、眼睛長時間不疲勞，因為光場信息完整、人眼想看哪里、哪里就能自動對焦，而不是屏顯3D、眼睛始終聚焦屏幕上。公司稱，他們開發(fā)了一種全新的光場芯片，并將在佛羅里達用廢棄的摩托羅

32、拉工廠做生產(chǎn)。資料來源：顧險峰- 117 -第29頁，共43頁。- 118 -Magic Leap數(shù)字光場拍攝：描述一個光場需要7個維度：3個三維坐標，2個極坐標表示這個點上通過的光的方向，1個波長表示光的顏色，還有1個是時間t。如果只考慮光場被投射到二維平面（如視網(wǎng)膜）的話，關(guān)鍵維度只有4個：2個是平面上點的坐標，2個是入射光的方向，相比2D拍攝多了后2維。光場魔盒解釋：假設(shè)用一個玻璃盒子罩住一只兔子，我們記錄下盒子表面任意一點向三維空間任意一個方向發(fā)出的一條射線，這時即使挪走這只兔子，我們觀察光場信息還是會以為兔子在原處。早期光場采集的方法簡單粗暴，就是用大規(guī)模相機陣列，隨著數(shù)字相機技術(shù)的

33、成熟，開始密集針孔相機，最后是按照仿生學(xué)的昆蟲復(fù)眼來獲得光場。資料來源：顧險峰第30頁，共43頁。- 119 -Magic Leap光場相機（Camera 3.0，1代是膠片相機，2代是數(shù)碼相機）代表產(chǎn)品Lytro可先拍照、后取焦，2006年斯坦福畢業(yè)的吳義仁(Yi-Ren Ng，馬來西亞裔，1979年9月21日)創(chuàng)辦，博士論文終孵化出2012年2月第一代產(chǎn)品，價格399.99美元（后折價到139.99美元），玩具型產(chǎn)品，2014年7月第二代Illum，價格1599美元，有點專業(yè)派頭。二代4000萬像素光場解析度（40-megaray光場感應(yīng)器），一代為1100萬像素。鏡頭與傳感器中間有9萬顆

34、微鏡頭陣列，記錄的全部光場原始信息包含大量不同方向的光信號疊加在一起，Ng利用傅立葉變換把不同的信號分解開，再根據(jù)使用者的需要重新組合，名為“傅立葉切片攝影”的后期處理方式合成出聚焦于任意一點的照片。吳義仁與Lytro第一代產(chǎn)品第31頁，共43頁。Magic Leap但是，Lytro至今銷售不佳，原因：1、單看2D畫質(zhì)僅4百萬像素，還不如手機鏡頭（2D照片大小5M，RAW格式則是50M，xRAW格式142M），因為要儲存多個深度層面信息，單層分辨率就低了；2、用途有限，后取焦的需求少，媒體記者暗光偷拍、抓拍算是一種小眾需求；3、光場信息量大，抓拍時又容易因成像時間長而錯過最佳時機；4、沒有可變

35、焦的視頻錄制功能，因為信息量太大了；5、先拍照后對焦功能被對手快速模仿并推出廉價替代品，比如有軟件一次拍多張不同焦點的畫面、松下推出一次拍1秒的不同景深4K視頻，以及谷歌推出的免費拍照應(yīng)用可調(diào)節(jié)照片景深?？傊?，我們認為Lytro嫁接上Magic Leap才有望帶來需求井噴，不過也要先解決光場信息壓縮問題，目前已有MIT的Tesseract等研究壓縮感知，類似于唱片-WAV-MP3等有損壓縮-FLAC等無損壓縮。且等著！- 120 -Lytro第二代Illum第32頁，共43頁。- 121 -Magic LeapLytro2011年6月獲得5000萬美元A輪投資，2013年11月獲得4000萬美

36、元投資，2015年2月獲得5000萬美元投資，愷英網(wǎng)絡(luò)16年2月18日公告稱擬400萬美元投資Lytro，持股1.27%，總估值3.15億美元。但目前Lytro每年都要虧損掉4000萬美元。Lytro2015年宣布轉(zhuǎn)戰(zhàn)虛擬現(xiàn)實，11月發(fā)布了全新的可拍攝360全景的光場相機Lytro Immerge，產(chǎn)品尚未正式發(fā)售。第33頁，共43頁。Magic LeapMagic Leap光場呈像方式采用光纖投影顯示(Fiber optic projector)，負責(zé)人BrianSchowengerdt ，導(dǎo)師是華盛頓大學(xué)Eric Seibel教授，導(dǎo)師團隊研究內(nèi)窺鏡數(shù)十載，Brian的想法很聰明，把過程倒

37、過來可以做成一個高分辨率的投影儀，他早在2004年就發(fā)了相關(guān)論文，2013 年曾公開展示一種直徑 1 毫米、基于光纖掃描的內(nèi)窺鏡，原理是微電腦通過基于微機電系統(tǒng)MEMS的驅(qū)動器 Actuator，精確控制超細光纖末端，在1毫米直徑的管子中高速旋轉(zhuǎn)，由小變大畫同心圓來完成掃描，1mm寬9mm長的光纖能投射幾寸大的高清蝴蝶圖像 ，有人發(fā)現(xiàn)它現(xiàn)在已經(jīng)在為美國國防部研制分辨率達到 4K 級別的光纖掃描顯示設(shè)備。視頻鏈接：資料來源：聶崇嶺，36氪；胡伯濤，知乎- 122 -第34頁，共43頁。- 123 -Magic Leap光場顯示主要是兩種方法：空間復(fù)用（space multiplexing）和時間

38、復(fù)用（timemultiplexing）。有研究表明用6個聚焦距離加上一種線性混合（linear blending）的渲染算法就基本能實現(xiàn)從約30厘米到無窮遠讓人眼自然對焦?！翱臻g復(fù)用”用一根光線實現(xiàn)不同聚焦距離，Nvidia做的原型屬于這種，Magic Leap公布的專利也是這種，因為光纖輸出的只是2D畫面，要還原光場，Magic Leap在光纖外端放上一個彎曲微鏡陣列，鏡面受光線方向2維數(shù)字信號控制磁場來快速調(diào)整，每個小單元反射光纖2D光的一部分來生成3D空間中一個特定點的光場，最大問題是分辨率大打折扣；“時間復(fù)用”就是用高速原件快速產(chǎn)生不同的聚焦距離，這樣分辨率不損失。此外用光纖束的位置

39、差來得到不同聚焦距離效率更高，光纖束也能實現(xiàn)更大的FOV。Magic Leap可能實際上用后種。資料來源：谷歌吳博士，鈦媒體；胡伯濤，知乎圖片來源：金色葡萄，果殼網(wǎng)第35頁，共43頁。- 124 -Magic Leap光場顯示的難點：這是很多技術(shù)派人士關(guān)心的，目前釋放出來的視頻都是在昏暗環(huán)境中，用3D圖像的高亮來遮擋真實環(huán)境。如何能在一個明亮的環(huán)境中渲染黑色的圖像？或者說，如何將真實環(huán)境的物體完全替換掉？Magic Leap也申請了相關(guān)專利，用凸鏡形成虛像、同時遮蔽現(xiàn)實實像。圖片來源：金色葡萄，果殼網(wǎng)第36頁，共43頁。Magic Leap 總之，Magic Leap原理中的技術(shù)都有多年的學(xué)術(shù)

40、界研究，并被證明是可行的，Magic Leap把它們組合起來，有創(chuàng)新之處，但比Hololens還要大一個數(shù)量級的計算量怎樣才能做到小型化，這是最大的問題，目前體驗者反映的一個詞是“Bulky”，所以我們認為Magic Leap開發(fā)者版本要出來至少需要五年以上、甚至十年時間，Magic Leap連續(xù)融資就是為了打好持久戰(zhàn)。 光場技術(shù)解決的是真3D、眼部無疲勞，目前的技術(shù)達到的是假3D、無眩暈，性價比上也不差，用戶真的會為價格昂貴的光場顯示買單嗎？ 光場其實是一個古老的概念， 1846年法拉第給出的定義，光場拍攝早在1936年就有開始研究，光場顯示在1996年被微軟和斯坦福學(xué)者引進到計算機圖形學(xué)領(lǐng)

41、域，發(fā)展到今天已經(jīng)20年了。 據(jù)悉微軟曾經(jīng)出過一版基于光場的游戲，類似孤島尋寶，所有場景都是從真實自然中采集，非常逼真，但是最后沒有引起任何反響，無疾而終。我們認為微軟的光場試驗失敗于當時還沒有沉浸式頭盔設(shè)備的配合，現(xiàn)在有些不同了，如果這條路能成功，我們估計微軟利用技術(shù)積淀追上來的機率也存在。- 125 -第37頁，共43頁。- 126 -全息3D投影3D全息投影因為是裸眼3D被人看好，該技術(shù)利用光線干涉原理記錄物體光波信息，再利用光線衍射原理再現(xiàn)物體光波信息實現(xiàn)成象，1947年英國物理學(xué)家蓋伯發(fā)明，1962年蘇聯(lián)科學(xué)家丹尼蘇克拍攝得第一張實際記錄了三維物體的光學(xué)全息投影照片，技術(shù)發(fā)展并不快，

42、目前有些應(yīng)用如在博物館中的展示、舞臺晚會表演如羊年春晚李宇春表演的蜀繡、日本初音未來的演唱會等，但直到目前所有的全息成像都需要一個成像介質(zhì)，比如透度很高的成像膜、紗、霧氣、塑料、玻璃等，所以被稱作偽全息。網(wǎng)友DIY的成像罩子，利用手機實現(xiàn)全息投影全息展示柜第38頁，共43頁。- 127 -全息3D投影Bleen號稱是“世界上第一款真正意義上的全息3D投影儀”，可在上方8.3英尺的范圍內(nèi)投影出實時動態(tài)全息影像，并能觸摸實時交互，Bleen稱不是噴水霧做介質(zhì)。它在Indiegogo上眾籌，225美元預(yù)定，擬2015年10月上市，價格400美元，但是它跳票了！日本Aerial Burton研發(fā)了一套系統(tǒng)，使用了一系列精準調(diào)節(jié)的激光發(fā)射器，有選擇地電離空氣分子全息成像，并能觸摸交互，產(chǎn)品也是原型，像素低?？纱┐鞯?、高清晰度、空氣介質(zhì)的真全息投影技術(shù)要走入生活還需要相當長時間。Bleen效果圖Aerial Burton的觸摸交互演示第39頁，共43頁。- 128 -VR/AR二合一（VR+視頻疊加式AR）Oculus于15年5月收購英國一家計算機視覺公司Surreal Vision，擅長3D場景