3D深度相機助力智能人機交互進入新時代即將迎來快速發(fā)展后置前景廣闊

3D深度相機助力智能人機交互進入新時代，即將迎來快速發(fā)展，后置前景廣闊

一、3D深度相機助力智能人機交互進入新時代

在科技與需求的雙輪驅動下，人機交互從鼠標、多點觸控，發(fā)展到了今天的體感技術。每一次交互的變革，都會帶來新的突破和體驗。DOS系統(tǒng)+鍵盤形成一維人機交互；Windows+鼠標形成了PC二維人機交互；觸摸屏和攝像頭形成了智能手機二維人機交互；體感游戲機、手機3D成像技術實現(xiàn)三維人機交互。利用體感技術，人們可以直接使用肢體動作與手機、電腦等設備進行互動，無需使用鼠標、鍵盤、觸控屏等任何控制設備，即可以達到自然舒適的用戶體驗。體感交互將取代鼠標、觸屏，成為智能設備人機交互的未來方向。

3D深度相機指的是可以測量物體到相機距離（深度）的相機。這類相機不僅可以拍攝到場景的二維圖像，而且能獲取物體之間的位置關系，再經(jīng)過進一步深化處理，還能完成三維建模等應用。

但是傳統(tǒng)的人機交互是在2D平面圖像的基礎上進行處理的，普通攝像頭只能實現(xiàn)影像的記錄和平面圖像的采集，分析算法難度大，功能十分有限；而3D成像技術，利用光學攝像頭和紅外深度傳感器確定人體空間位置。1）普通光學攝像頭，實現(xiàn)人體的二維捕捉；2）紅外深度傳感器，通過發(fā)出或接收紅外光來確定深度信息；二者結合即可獲得人體的三維空間位置。

隨著硬件端技術的不斷進步，算法與軟件層面的不斷優(yōu)化，3D深度視覺的精度和實用性得到大幅提升?；?D視覺的手勢/人臉識別將對現(xiàn)有的消費電子產品產生顛覆性的變化，在大型設備（如智能電腦、智能電視等）中得到了廣泛應用（體育類游戲、虛擬樂器彈奏、3D雕塑、機器人控制等），掀起了體感技術的熱潮。

二、深度3D相機具有立體視覺，迎來快速發(fā)展

2020年3月18日蘋果發(fā)布了新的iPadPro，搭載3DdToF技術（蘋果稱為LiDAR），在納秒的極短時間內測量室內或室外環(huán)境中從最遠五米處反射回來的光子。LiDAR與Pro級攝像頭、運動傳感器和iPadOS內的架構協(xié)同合作，硬件、軟件與突破性創(chuàng)新技術的結合，為AR增強現(xiàn)實及更廣泛的領域開啟無盡可能。

蘋果新iPadPro配備了大量增強現(xiàn)實類功能，真實感強烈：能即時完成放置虛擬物體，具有逼真的物體遮擋效果，可讓虛擬物體在現(xiàn)實場景結構中前后穿插。動作捕捉和人物遮擋效果也經(jīng)過優(yōu)化，精準度更高。新款iPadPro還能實現(xiàn)身高測量、AR游戲、AR裝修、豐富視頻動畫等。媒體報道，即將在今年9月發(fā)布的iPhone12系列手機也有望采用3DTOF技術。相比此前安卓手機廠商采用的3DiToF技術，蘋果采用的3DdToF技術響應快、功耗低、功能完善。此外，當前只有較少的應用app支持ToF技術，蘋果的采用有望加速ToF生態(tài)的建設，讓ToF的滲透率快速提升。

相機創(chuàng)新是消費者購買手機最大動力之一。相機創(chuàng)新是消費者選購手機的主要考慮因素之一。根據(jù)中關村在線2019Q1發(fā)布的報告，在處理器、相機、屏幕、游戲體驗等諸多方面，相機功能是消費者最為關注和看重的，占據(jù)29%的關注度，同比提升5%。大大高于第二名處理器的17%。各個手機廠商都極為重視相機的創(chuàng)新。

3D深度相機成為下一階段相機創(chuàng)新的重點方向之一。從2000年夏普首次將相機和手機相結合以后，手機相機的創(chuàng)新一直以驚人的速度在前進，主要可分為以下4個階段：1）相機和手機相結合，手機具備照相功能，此后相機模組尺寸不斷減小，像素不斷提高；2）前置攝像頭添加，像素不斷提高，自拍功能不斷完善；3）雙攝和三攝突破單相機瓶頸，夜視暗拍、大光圈、潛望式、超廣角功能不斷提升相機性能；4）3D深度相機帶來立體視覺，增加了臉部解鎖、支付、測距等功能。蘋果在2017年開創(chuàng)了前置3D深度相機的先例，各大手機廠商不斷嘗試后置3D相機的應用，蘋果新款iPadPro正加速后置3D相機的推進。

《2020-2026年中國虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)行業(yè)市場分析預測及投資前景分析報告》顯示：全球5G和AI商用時代已經(jīng)開啟，3D深度相機作為AR的基礎，有望迎來快速滲透。5G時代，寬帶增強和實時通信等特點有助于AR/VR走向云端，能降低設備的要求，同時AI算法和硬件的成熟，將會進一步助推內容的完善。TOF能提供3D拍照、3D識別和3D建模等功能，是AR的基礎。全球AR/VR支出規(guī)模在2019年達到168億美元，在2023年將達到1600億美元，AR/VR支出規(guī)模在2019到2023年間復合年增長率（CAGR）將達78%。預測中國市場AR/VR支出規(guī)模增長更快，2023年，中國AR/VR市場支出規(guī)模將達到652.1億美元，較2019年的預測（65.3億美元）有顯著增長。2018-2023年CAGR將達到85%。ToF有望享受AR成長帶來的紅利。

2018年3D傳感技術市場規(guī)模為37.43億美元，預測2023年為186.14億美元，CAGR為38%。其中增長最快的屬于消費電子，主要歸功于幾大手機廠商的應用。消費電子領域，2018年市場規(guī)模為18.1億美元，預計2023年為137.7億美元，CAGR超過50%。

三、3DToF技術優(yōu)勢突出，后置前景廣闊

深度3D傳感技術根據(jù)工作原理可以分為三種：RGB雙目、TOF和結構光。RGB雙目技術算法要求高，并容易受光線影響，在較暗或者高度曝光的情況下效果都非常差，因此很少被采用。目前應用比較多的是TOF和結構光。

TOF（timeofflight）技術工作原理是通過泛光照明器（固態(tài)激光器或者LED）發(fā)射近紅外（~850nm或940nm）的脈沖波，脈沖波遇到物體以后反射回來，被傳感器（sensor）收集到。系統(tǒng)通過計算sensor上每個像素脈沖波之間的頻率差或時間差，再通過算法得到每個位置的精確3維深度。結構光技術的基本原理是，通過近紅外激光器，將具有一定結構特征的光線投射到被拍攝物體上，再由專門的紅外攝像頭進行采集。這種具備一定結構的光線，會因被攝物體的不同深度區(qū)域，而采集不同的圖像相位信息，然后通過運算單元將這種結構的變化換算成深度信息，以此來獲得三維結構。簡單來說就是，通過光學手段獲取被拍攝物體的三維結構，再將獲取到的信息進行更深入的應用。

TOF傳感技術測距范圍可調節(jié)，具有更遠的探測能力。TOF傳感技術通過計算紅外光的飛行時間來計算物體的深度信息，誤差主要來自裝置的系統(tǒng)誤差，誤差較為恒定。而結構光的精度取決于反射光，在近距離誤差較小，但是隨著距離的增加，誤差呈現(xiàn)指數(shù)增加。TOF測量距離可以調節(jié)，只要改變光學強度、光學視角、發(fā)射器脈沖頻率，適合遠距離體感識別，例如身體動作、手勢等，也適合導航、監(jiān)控、移動機器人等應用場景，潛在應用場景廣闊

TOF傳感技術對算法要求低、響應更快、支持更高幀率。結構光因為需要對編碼的結構光進行解碼，所以復雜度要比直接測距的TOF高一些。TOF不需要后續(xù)處理，因此可以避免延遲，同時對算法要求更低。另外，TOF方案可以達到非常高的幀率，支持上百fps。結構光方案幀率會低一些，典型的是30fps。如：MelexisMLX75023的TOF傳感器支持135fps。汽車輔助駕駛要求快速響應、遠距離探測，3DTOF傳感技術具備以上特點，因而也更適合汽車輔助駕駛，例如Melexis的MLX75027采用3DTOF技術對車內人員和物品進行監(jiān)控，并具有手勢檢測功能。TOF結構簡單、模組尺寸更小，材料成本更低。在紅外發(fā)射端，TOF基本不需要使用光學棱鏡，而結構光需要形成特定的光學圖案，因此需要添加DOE（衍射光柵）和lens（光學棱鏡）。因此TOF的模組尺寸更小，材料成本也更低。結構光的BOM成本大約20美元，而ToF約為15美元，中低端ToF甚至在10美元以下,ToF更具成本優(yōu)勢。

2017年蘋果發(fā)布的iPhoneX采用結構光FaceID用于人臉識別，開啟了3D深度相機在手機的應用先例，在隨后的iPhoneXS和iPhone11系列手機中延續(xù)了這一設計，但是結構光技術占用較大屏幕正面區(qū)域，且應用場景較少，該項技術一直未獲得其他廠商的采用。新款iPadPro的dToF發(fā)射的點光源密度遠低于iPhone前置的結構光，也說明了兩個技術的不同用途。ToF技術更適用于遠距離識別場景，如：智能手機后置攝像頭、VR/AR手勢交互、汽車電子ADAS、安防監(jiān)控以及新零售等等領域。未來隨著技術的進一步成熟、生態(tài)逐步完善，TOF產業(yè)有望進一步提升。

3DToF技術在2018年就被VIVO、OPPO、榮耀的部分旗艦機所采用，隨后LG、華為、三星高端旗艦機接連加入。

目前OPPO、榮耀、華為和三星的TOF深度傳感器大都是索尼的IMX316芯片。IMX316傳感器尺寸為1/6英寸，有效像素僅為4.32萬。

軍事和無人駕駛汽車上用的工業(yè)級激光雷達（LiDAR）也采用到了ToF技術，利用激光束來探測目標的位置、速度等特征量，結合了激光、全球定位系統(tǒng)GPS和慣性測量裝置（InertialMeasurementUnit,IMU）三者的作用，進行逐點掃描來獲取整個探測物體的深度信息。

而從全球領先的高性能模擬技術巨頭ADI近日在臺北舉行的智慧物聯(lián)應用方案巡展上的展示可窺，目前隨著各大應用市場對ToF深度視覺技術需求的日益增長，外加越來越多的國內外半導體大廠們持續(xù)的“推波助瀾”，ToF產業(yè)及應用市場有望開啟新一輪的加速發(fā)展。以現(xiàn)階段體量最大的智能手機與汽車電子兩個領域來看，產品存量的持續(xù)擴大帶來微創(chuàng)新模式的加速滲透，對深度攝像技術的強烈需求加之智能手機交互方式的不斷變化正促進全球ToF市場快速擴張；而汽車電子領域以ADAS滲透率不斷提高為代表的汽車智能化趨勢也正加速演進，作為激光雷達、智能攝像頭等深度測距傳感器領域最主流的方案，ToF市場正持續(xù)受益。

四、蘋果3DdToF加速ToF成熟

蘋果iPadPro搭載3DdToF技術，相比其他廠商采用的3DiToF技術具有諸多優(yōu)勢，有望加速ToF應用的成熟。ToF技術根據(jù)發(fā)射光的調制形式，分為直接飛行時間測量（Direct-TOF，即dToF）和間接飛行時間測量(Indirect-TOF，即iToF)，直接飛行時間測量采用脈沖調制，而間接飛行時間測量采用連續(xù)波調制。

dToF技術要求更高，測量精度更高。dTOF需要采用高精密時鐘進行測量且需要產生短時間、高頻率、高強度的激光，對硬件的要求較高。其優(yōu)點也比較顯著，省電、成像速度高，由于發(fā)射端能量較高，所以一定程度上降低了背景光的干擾，探測更遠的距離。

當前，ST和AMS的1DToF基本采用dToF技術，而安卓廠商的3DToF全部采用iToF技術。

2020年3月13日消息，2020年至少有一款iPhone會在背后安裝三維深度攝像頭，用以提升手機照片和視頻效果，還能提供更好的增強現(xiàn)實（AR）效果。

據(jù)稱，iPhone的工程師們已經(jīng)花了至少兩年的時間研究后置三維深度相機，就目前而言，它還在設計中，不考慮新冠肺炎疫情的影響，有望在今年秋天首次看到它。Lumentum是為蘋果提供前置攝像頭的FaceID功能的供應商，但該公司表示，還沒有和蘋果探討在未發(fā)布設備中使用其三維視覺技術。

去年發(fā)布的iPhone11Pro和iPhone11ProMax有三個攝像頭，可以為拍攝場景的寬度提供更多選擇，而三維相機系統(tǒng)將增加深度信息?，F(xiàn)在，iPhone的主要深度效果是豎屏模式，可以有背景虛化效果。在增加了深度相機后，背景虛化效果會更加真實。在編輯模式下，可以調整照片中的不同圖層，改變哪些圖層聚焦哪些模糊。

深度相機系統(tǒng)背后的核心技術是后置垂直腔面發(fā)射激光器（VCSEL），該激光器以恒定的速率發(fā)出光波，然后測量每次反射從環(huán)境中物體反彈回傳感器的時間。從手機附近的物體返回的光具有較短的“飛行時間”，而從較遠的物體返回的光具有較長的飛行時間。

深度相機可能會對AR應用的質量產生最大的影響。Lumentum公司的三維傳感副總裁AndreWong說：“當你使用沒有深度信息的AR應用時，它常會出現(xiàn)一些小故障，效果總是欠一些?，F(xiàn)在蘋果ARKit框架和谷歌的ARCore都已經(jīng)上市一段時間了，你會看到新的AR應用程序出現(xiàn)，它們在空間中呈現(xiàn)對象的方式更加精確。”

據(jù)9to5Mac的BenjaminMayo報道，蘋果公司目前正在為iOS14系統(tǒng)開發(fā)一款AR應用，用戶可以將iPhone對準蘋果商店和星巴克的商品，從而在手機屏幕上看到商品的更多信息，以AR疊層形式顯現(xiàn)。

在蘋果之前，已經(jīng)有多家手機在后攝上用了三維視覺，比如三星GalaxyNote10+、GalaxyS20+和GalaxyS20Ultra。但蘋果可能能會找到一些更新穎的方式來提升用戶體驗，并且更擅長包裝營銷。

后置三維傳感技術能否對今年的第一代5GiPhone產生的影響，人們持懷疑態(tài)度。但可以預測的是，照片效果優(yōu)化可能會比AR功能得到更多的關注。AR開發(fā)者不僅需要掌握更好的技術，還需要創(chuàng)造消費者喜歡并經(jīng)常使用的體驗，讓AR需求足夠“硬”。

手機作為觀看AR的載體還是有很大限制，但這種情況可能不會持續(xù)太久。這是硅谷最不為人知的秘密之一，蘋果正在研發(fā)一款AR耳機或眼鏡，從長遠來看，它可能會成為蘋果公司主要的空間計算設備。

五、AR生態(tài)逐步完善，促進ToF共成長

AR是未來最重要的一大科技創(chuàng)新，全球科技巨頭都積極參與，包括蘋果、谷歌、微軟、華為、亞馬遜等。早在2012年，谷歌就曾發(fā)布拓展現(xiàn)實的GoogleGlass產品，微軟在2015年發(fā)布了HoloLens全息頭盔，但是由于硬件技術不成熟和生態(tài)不完善，AR市場一直不溫不火。

科技巨頭深度布局完善AR生態(tài)，有望打開AR消費級市場。從蘋果的ARSDK（軟件開發(fā)工具包）ARKit到安卓的ARSDKARCore，再到2019年華為推出的cyberverse數(shù)字平臺，這些平臺極大地降低了應用軟件的開發(fā)難度，推動AR生態(tài)發(fā)展，帶動應用場景的繁榮，從而打開AR的消費級市場。

蘋果于2017年WWDC大會上首次發(fā)布了基于iOS版本的ARKit。初代ARKit可實現(xiàn)穩(wěn)定快速的運動定位、平面和邊界的估計、光照估計和尺度估計，并且支持各個開發(fā)平臺或引擎。此后蘋果在每年的WWDC大會上更新ARKit版本。在2018年的ARKit2版本中，增加了、環(huán)境紋理、圖像跟蹤和物體檢測等功能，提升后的ARKit2可對真實場景中的2D圖像和3D物體進行跟蹤，渲染更逼真的增強現(xiàn)實場景。2019年發(fā)布的ARKit3增加了對人物遮擋、動作捕捉、多面部追蹤、同時使用前后攝像頭等功能的支持。

3D視覺交互成為ARKit中重要的應用場景。在ARKit2中，蘋果加入了對真實場景中的3D物體進行跟蹤，在最新的ARKit3中，更是加入了實時捕捉人的動作、人物遮擋、多元化AR交互等功能。

TOF相機作為最優(yōu)的3D交互輸入端，能大幅提升AR體驗感。3D輸入能提供3維信息，減少AR的算法難度以及計算量，能顯著提升AR體驗的精準度和流暢度，另外功耗也會大大降低。具備TOF相機的iPadpro能提供更真實、流暢的AR游戲體驗，甚至可以利用AR玩逼真的在線游戲。具備TOF相機的iPadpro能提供學習和工作上的便利，例如進行3D掃描和建模，可以讓用戶更直觀的學習模型，配合其他軟件，甚至可以做修改裝飾為了促進AndroidAR生態(tài)的發(fā)展，谷歌在2017年推出了第一款ARSDK：ARCore。ARCore不需要額外的硬件支持，在現(xiàn)有的Android系統(tǒng)上就能實現(xiàn)AR功能；谷歌在2018年2月發(fā)布了ARCore1.0版本，使用運動跟蹤、環(huán)境理解和光照估測三個主要技術來實現(xiàn)AR功能。僅在3個月后谷歌就發(fā)布了ARCore1.2，增加了Sceneform、AugmentedImages和CloudAnchors三大功能，并對某些iOS設備提供有限支持。谷歌在2019年2月也更新了ARCore版本至ARCore1.7，引入了AugmentedFaces（臉部增強）API，并發(fā)布了用于基本原理學習的ARCoreElements應用程序。

基于Android的ARCore應用場景逐步豐富，3D應用成為新亮點

3D應用場景成為新ARCore中重要的應用場景之一。ARCore1.2中AugmentedImages部分功能的實現(xiàn)就需要利用以3D方式對它們進行跟蹤和移動。在ARCore1.7版本中3D應用場景更加富，此次更新加入了自拍AR濾鏡和動畫API：AugmentedFaces，以及優(yōu)化的應用UX。AugmentedFaces支持前置鏡頭，它可生成一種高質量的3D人臉網(wǎng)格，支持468點追蹤，開發(fā)者可以在網(wǎng)格上加入有趣的特效，如動畫面具、眼鏡、虛擬帽子，它還支持皮膚潤色。開發(fā)者只需要操控網(wǎng)格上的坐標和特定區(qū)域的錨狀點，就可以加入特效。華為也加入了AR生態(tài)的建設。2019華為發(fā)布了Cyberverse數(shù)字平臺。該平臺為AR實景地圖服務平臺，可使用手機進行厘米級定位,Cyberverse是開放平臺，其中的AR部分是全面開放的，可以接入Google的ARCore和蘋果的AR