全息視頻VR通信技術(shù)

“全息”(Holography)即“全部信息”,這一概念是在1947年由英國(guó)匈牙利裔物理學(xué)家丹尼斯?蓋伯首次提出，他也因此獲得了1971年的諾貝爾物理學(xué)獎(jiǎng)。全息技術(shù)是一種利用干涉和衍射原理來(lái)記錄物體的反射，透射光波中的振幅相位信息進(jìn)而再現(xiàn)物體真實(shí)三維圖像的技術(shù)。它與物理學(xué)、計(jì)算機(jī)科學(xué)、電子通信及人機(jī)交互等學(xué)科領(lǐng)域有著密切的聯(lián)系。廣義上說(shuō)，全息通信業(yè)務(wù)是高沉浸、多維度交互應(yīng)用場(chǎng)景數(shù)據(jù)的采集、編碼、傳輸、渲染及顯示的整體應(yīng)用方案，包含了從數(shù)據(jù)采集到多維度感官數(shù)據(jù)還原的整個(gè)端到端過(guò)程，是一種高沉浸式、高自然度交互的業(yè)務(wù)形態(tài)。結(jié)合6G技術(shù)，進(jìn)行擴(kuò)展與挖掘可獲得包括數(shù)字?jǐn)伾⒏哔|(zhì)量全息、沉浸XR、新型智慧城市、全域應(yīng)急通信搶險(xiǎn)、智能工廠、網(wǎng)聯(lián)機(jī)器人等相關(guān)全息通信場(chǎng)景與業(yè)務(wù)形態(tài)，體現(xiàn)“人-機(jī)-物-境”的完美協(xié)作。傳統(tǒng)光學(xué)全息:光學(xué)全息的全部過(guò)程分為信息數(shù)據(jù)采集與信息圖像重構(gòu)兩個(gè)階段，采集階段相當(dāng)于照相機(jī)的拍攝過(guò)程，而信息圖像重構(gòu)階段相當(dāng)于洗照片的過(guò)程。數(shù)字全息：由于全息圖只是對(duì)物體的物光束和參考光波進(jìn)行相干疊加時(shí)產(chǎn)生的一些列干涉條紋進(jìn)行了記錄，而要得到物體的再現(xiàn)像，就必須對(duì)全息圖進(jìn)行重新處理，數(shù)字全息是利用電荷耦合器件來(lái)代替?zhèn)鹘y(tǒng)的光學(xué)記錄材料來(lái)記錄全息圖,將物體的物光信息數(shù)字化記錄，便于存儲(chǔ)、數(shù)字處理以及重現(xiàn)。它最早是由Goodman在1967年提出的。計(jì)算全息：計(jì)算全息最早是由Kozma和Kelly提出，但是限于當(dāng)時(shí)計(jì)算機(jī)技術(shù)水平的不足，計(jì)算全息一直沒(méi)有發(fā)展起來(lái)，直到21世紀(jì)初期數(shù)碼照相機(jī)的普及和計(jì)算機(jī)技術(shù)的發(fā)展成熟才又進(jìn)入了發(fā)展時(shí)期。計(jì)算全息是一種數(shù)字全息領(lǐng)域的分支，這種新型的方法是利用計(jì)算機(jī)去模擬物體的光場(chǎng)分布，用算法去進(jìn)行全息圖的制作，該方法可以不依賴實(shí)物，而是基于該物體的數(shù)學(xué)描述進(jìn)行全息圖制作，實(shí)現(xiàn)了全息術(shù)從實(shí)際物體到虛擬物體的突破。計(jì)算全息三維顯示技術(shù)是近年來(lái)將全息術(shù)、光電技術(shù)及計(jì)算機(jī)高速計(jì)算技術(shù)相結(jié)合發(fā)展起來(lái)的最具潛力的三維顯示技術(shù)，與傳統(tǒng)光學(xué)全息術(shù)相比具有靈活、可重復(fù)性好的特點(diǎn)。目前，遠(yuǎn)程通信用戶面臨的痛點(diǎn)主要為：語(yǔ)音通話、視頻通話存在著臨場(chǎng)感差和交互通道單一等弊端；受限于通信網(wǎng)絡(luò)性能，視頻通話常存在網(wǎng)絡(luò)波動(dòng)影響通訊質(zhì)量等問(wèn)題；傳輸高質(zhì)量的視覺(jué)通訊內(nèi)容受制于傳輸帶寬而難以實(shí)現(xiàn)的問(wèn)題。線跟蹤法光線跟蹤算法可以生成質(zhì)量很高的全息圖像，直接加載至二維顯示面板或投影機(jī)上即可顯示。光線跟蹤算法一般由三部分構(gòu)成［10］,即光線的生成、光線的碰撞和像素的著色。傳統(tǒng)顯示設(shè)備的光線跟蹤與全息顯示設(shè)備的光線跟蹤區(qū)別在于光線的生成部分。如圖8所示，光線從虛擬攝影機(jī)出發(fā)經(jīng)透鏡到達(dá)基元圖像像素，像素和光線滿足一一對(duì)應(yīng)的關(guān)系。通過(guò)顯示器的像素生成光線，之后是碰撞檢測(cè)，最后通過(guò)著色程序就可以生成相應(yīng)的光場(chǎng)圖像。光線跟蹤具有天然的并行性，可以很方便地提高光線跟蹤的效率。光線跟蹤的計(jì)算復(fù)雜度與屏幕的分辨率大小正相關(guān)，現(xiàn)有的實(shí)時(shí)光線跟蹤硬件管線基本面向2K以下的顯示設(shè)備且可繪制的場(chǎng)景有限［7］。基于深度信息的超多視點(diǎn)渲染基于深度信息的渲染(Depth-Image-BasedRendering,DIBR)在虛擬場(chǎng)景的渲染過(guò)程中十分常用。DIBR算法是利用深度信息和其他附加信息通過(guò)插值產(chǎn)生其他視點(diǎn)的圖像。它有效地降低了圖形渲染的復(fù)雜度，渲染速度大大加快，缺點(diǎn)是造成渲染質(zhì)量的下降。根據(jù)參考視點(diǎn)的數(shù)目，可分兩類：一類為單參考視點(diǎn)的DIBR,一類為多參考視點(diǎn)的DIBRo單參考視點(diǎn)的DIBR可以只使用一幅深度參考圖像和彩色圖像就可以生成場(chǎng)景所需要的全部視點(diǎn)，當(dāng)視角較大時(shí)空洞較大，填補(bǔ)困難，適用于10°以內(nèi)觀看視角的光場(chǎng)顯示設(shè)備。多參考視點(diǎn)的DIBR需要多個(gè)深度參考視點(diǎn)，能夠有效地增大視角，消除空洞。多參考視點(diǎn)一般使用左右兩個(gè)視點(diǎn)來(lái)插值出中間視點(diǎn)。DIBR技術(shù)具有帶寬需求小、輸入圖像數(shù)量少和繪制速度快的優(yōu)點(diǎn)。單參考視點(diǎn)的DIBR技術(shù)映射速度快,雙參考視點(diǎn)的DIBR技術(shù)能夠利用左右視圖實(shí)現(xiàn)對(duì)遮擋區(qū)域的信息互補(bǔ)?；趲缀蜗嚓P(guān)性的超多視點(diǎn)渲染假設(shè)由三個(gè)點(diǎn)場(chǎng)景組成的三維場(chǎng)景，虛擬攝影機(jī)陣列為錯(cuò)切式排列，如圖9所示，其對(duì)應(yīng)的EPI圖像為三條直線。則對(duì)應(yīng)的EPI的圖像是斜率為正的直線；若點(diǎn)位于零平面外，則對(duì)應(yīng)的EPI圖像是斜率為負(fù)的直線。因此，點(diǎn)的渲染就可以轉(zhuǎn)化最左側(cè)虛擬相機(jī)和最右側(cè)相機(jī)對(duì)這一點(diǎn)的渲染，并在EPI圖像上由這兩視點(diǎn)生成相應(yīng)的EPI直線，最終再轉(zhuǎn)換為視點(diǎn)圖像，這樣就會(huì)大大簡(jiǎn)化渲染的流程。多平面圖像渲染技術(shù)多平面圖像渲染技術(shù)是一種基于圖像渲染環(huán)境復(fù)雜真實(shí)場(chǎng)景的技術(shù)。例如在渲染具有遮擋或鏡面反射等具有挑戰(zhàn)性的復(fù)雜場(chǎng)景時(shí)，這種表示比傳統(tǒng)的3D網(wǎng)格渲染更有效。多平面圖像（multi-planeimage,MP1）能夠表示幾何體和紋理（包括遮擋元素），并且使用alpha通道可以處理部分反射或透明對(duì)象以及處理柔軟邊界。增加平面數(shù)可以使MPI表示更寬的深度范圍，并允許更大程度的相機(jī)移動(dòng)。此外，從MPI渲染生成新視點(diǎn)非常高效，并且可以支持實(shí)時(shí)應(yīng)用程序?；赟FM或基于RGB-D相機(jī)的新視圖生成方法完全依賴于精確的幾何估計(jì),然后從附近的視圖重投影到新視圖并混合紋理。這些方法側(cè)重于輸入視圖之間的差值而不能預(yù)測(cè)場(chǎng)景中被遮擋的內(nèi)容?；诠鈭?chǎng)渲染的方法通常需要使用數(shù)十個(gè)相機(jī)來(lái)對(duì)場(chǎng)景進(jìn)行非常密集的采樣。MPI具有精度高，渲染速度快，輸入視角少等特點(diǎn)。相比于其他基于深度學(xué)習(xí)的新視圖生成方法，例如DeepStereo.NeRF等，MPI具有更強(qiáng)的泛化性和更快的訓(xùn)練速度以及渲染速度，以滿足實(shí)時(shí)應(yīng)用的需求。5顯示技術(shù)全息視頻的展示方式分為穿戴式設(shè)備和裸眼3D顯示設(shè)備兩種。基于全息通信的特點(diǎn)，人們更傾向于使用裸眼3D設(shè)備構(gòu)成解決方案。穿戴式設(shè)備VR頭顯是“虛擬現(xiàn)實(shí)頭戴式顯示器設(shè)備”的簡(jiǎn)稱，VR頭顯不是通過(guò)過(guò)濾來(lái)自外部屏幕的內(nèi)容來(lái)工作的，而是生成自己的雙眼圖像，并直接呈現(xiàn)給相應(yīng)的眼睛。VR頭顯通常包含兩個(gè)微型顯示器（左眼一個(gè)，右眼一個(gè)），經(jīng)過(guò)光學(xué)元件的放大和調(diào)整，顯示在用戶眼前的特定位置上。AR眼鏡，又稱作“增強(qiáng)現(xiàn)實(shí)頭顯”。當(dāng)前增強(qiáng)現(xiàn)實(shí)頭顯變得越來(lái)越普遍，增強(qiáng)現(xiàn)實(shí)技術(shù)可以把數(shù)字世界和現(xiàn)實(shí)世界融合在一起。為了確保真實(shí)感，增強(qiáng)現(xiàn)實(shí)系統(tǒng)不僅需要追蹤用戶在真實(shí)世界的頭部運(yùn)動(dòng)，同時(shí)也要考慮自己所在的現(xiàn)實(shí)3D環(huán)境。現(xiàn)實(shí)世界的光線從不同的方向進(jìn)入瞳孔之中，這樣我們雙眼可以看到真實(shí)的世界。裸眼3D顯示設(shè)備如果不想利用這些穿戴式設(shè)備，又想同時(shí)以多個(gè)視角看到全息影像，則需要用到裸眼全息屏。目前主流的裸眼全息屏技術(shù)有基于雙目視差和視覺(jué)暫留效應(yīng)的狹縫光柵技術(shù)、柱狀透鏡技術(shù)和人眼追蹤技術(shù)，以及基于空間中三維物體光場(chǎng)重構(gòu)的體三維技術(shù)和光場(chǎng)立體顯示技術(shù)。狹縫光柵技術(shù)的原理是在屏幕前加了一個(gè)狹縫式光柵，應(yīng)該由左眼看到的圖像顯示在液晶屏上時(shí)，不透明的條紋會(huì)遮擋右眼；同理，應(yīng)該由右眼看到的圖像顯示在液晶屏上時(shí)，不透明的條紋會(huì)遮擋左眼，通過(guò)將左眼和右眼的可視畫(huà)面分開(kāi)，使觀者看到3D影像。柱狀透鏡技術(shù)的原理是通過(guò)透鏡的折射，將左右眼對(duì)應(yīng)的像素點(diǎn)分別投射在左右眼中，實(shí)現(xiàn)圖像分離。對(duì)比狹縫光柵技術(shù)，其最大的優(yōu)點(diǎn)是透鏡不會(huì)遮擋光線，所以亮度有了很大改善［14］。傳統(tǒng)的狹縫光柵及柱狀透鏡全息屏技術(shù)只在空間中形成有限的最佳視點(diǎn)，當(dāng)用戶頭部移動(dòng)到最佳視點(diǎn)之外時(shí)，雙眼會(huì)看到串?dāng)_的立體圖像，影響了立體視覺(jué)體驗(yàn)。針對(duì)這種問(wèn)題，通過(guò)人眼追蹤技術(shù)實(shí)時(shí)定位人眼的空間坐標(biāo)，再由人眼坐標(biāo)對(duì)圖像像素進(jìn)行重新排布改變最佳視點(diǎn)的區(qū)域很好的擴(kuò)展了全息視野不過(guò)，由人眼追蹤的技術(shù)原理可知，目前帶有人眼追蹤技術(shù)的裸眼全息屏只能支持單人觀看，即使多人同時(shí)看,也只能追蹤到一人的視線。而傳統(tǒng)的狹縫光柵等技術(shù)實(shí)現(xiàn)的全息屏則在可視范圍內(nèi)可以多人多視點(diǎn)觀看。體三維顯示是一種全新的三維圖像顯示技術(shù)通過(guò)適當(dāng)方式激勵(lì)點(diǎn)亮位于顯示空間內(nèi)的物質(zhì)，利用可見(jiàn)輻射的產(chǎn)生、吸收或散射形成大量的體像素，從而構(gòu)建出三維圖像［15］o體三維顯示技術(shù)呈現(xiàn)的圖像就像是一個(gè)真實(shí)的三維物體一樣,符合人類觀察普通三維圖像的任何特點(diǎn)，幾乎能滿足所有的生理和心理深度暗示,可實(shí)現(xiàn)多人、多角度、同一時(shí)間裸眼觀察。光場(chǎng)三維顯示技術(shù)如圖11所示，這種技術(shù)的原理是利用帶有方向的光束來(lái)構(gòu)建空間三維物體的光場(chǎng)空間中任意一個(gè)三維物體都可以看作是由無(wú)數(shù)個(gè)發(fā)光點(diǎn)組成任意一個(gè)點(diǎn)能夠主動(dòng)或者被動(dòng)地向空間中各個(gè)方向發(fā)出攜帶自身特性的光線［16］。通過(guò)設(shè)計(jì)控光單元的結(jié)構(gòu)、對(duì)2D顯示設(shè)備上加載圖像進(jìn)行有規(guī)律的編碼等方式，調(diào)制有控光單元出射的攜帶三維場(chǎng)景信息的方向光，使其能夠在空間中會(huì)聚并構(gòu)建出向不同方向投射不同空間信息的體像素，用這些體像素來(lái)模擬真實(shí)物體的發(fā)光點(diǎn)，從而實(shí)現(xiàn)裸眼觀看真三維的顯示技術(shù),使人眼獲得更真實(shí)，自然的3D影像。其中全息通信主要解決第一個(gè)問(wèn)題，而諸如6G等高性能網(wǎng)絡(luò)主要解決后兩個(gè)問(wèn)題，賦能全息通信應(yīng)用。基于全息通信具有真實(shí)度高、參與感強(qiáng)和沉浸感佳的特點(diǎn)，全息通信可以應(yīng)用于以下三類場(chǎng)景：一對(duì)多場(chǎng)景、一對(duì)一場(chǎng)景和多對(duì)多場(chǎng)景。全息通信的關(guān)鍵技術(shù)包括內(nèi)容采集、算法處理、傳輸、渲染和顯示。1內(nèi)容采集全息通信所需的動(dòng)態(tài)三維內(nèi)容又稱作“體積視頻”(VolumetricVideo),其采集方式可以分為純彩色相機(jī)陣列采集和深度相機(jī)+彩色相機(jī)陣列采集。彩色相機(jī)用幾十甚至上百個(gè)彩色相機(jī)從多個(gè)角度捕捉人像和其動(dòng)作，為了后期方便數(shù)據(jù)提取，通常會(huì)在周圍布置綠幕。拍攝時(shí)，通過(guò)時(shí)間控制器控制相機(jī)陣列同步啟動(dòng)拍攝。根據(jù)應(yīng)用場(chǎng)景等不同，彩色相機(jī)陣列又可分為局部圍繞式和360°圍繞式。當(dāng)僅需采集單面人體時(shí)，可以搭建小于180。的相機(jī)陣列，僅用單反相機(jī)圍成半圈甚至更小的范圍。如果要采集人體3600全方位的數(shù)據(jù)，需要將相機(jī)陣列圍成一圈，做成影棚的形態(tài)，這樣可以同時(shí)采集人體各個(gè)角度的影像。深度相機(jī)+彩色相機(jī)陣列相較于純彩色相機(jī)陣列，目前市場(chǎng)上的主流做法是通過(guò)深度相機(jī)搭載彩色相機(jī)陣列來(lái)完成。和單純用彩色相機(jī)相比，加上深度相機(jī)后，生成的人物三維數(shù)據(jù)更加精細(xì)，細(xì)節(jié)表現(xiàn)會(huì)更好。例如臉部的三維效果更明顯，可以清晰看到鼻梁的高度、嘴唇的輪廓等細(xì)節(jié)。2算法處理非三維重建處理主要指自由視點(diǎn)技術(shù)，自由視點(diǎn)技術(shù)對(duì)于不同的視角顯示不同的圖像，是一種相對(duì)“粗糙”的處理方式。三維重建處理包括基于深度學(xué)習(xí)的三維重建和傳統(tǒng)的三維重建。近年來(lái)，基于深度學(xué)習(xí)的三維重建算法的發(fā)展有雨后春筍之勢(shì)，在某種程度上，它們預(yù)示著未來(lái)全息通信技術(shù)的發(fā)展方向一一實(shí)時(shí)重建+減少對(duì)多相機(jī)的依賴，更加“輕便”、“快捷”。而傳統(tǒng)三維重建方式比基于深度學(xué)習(xí)的三維重建更加穩(wěn)定成熟,但也更依賴于硬件結(jié)構(gòu)，如相機(jī)陣列等。當(dāng)然，將深度學(xué)習(xí)與傳統(tǒng)三維重建算法相結(jié)合，可以提高其性能和效果，這也是未來(lái)發(fā)展的可能方向之一。非三維重建自由視點(diǎn)技術(shù)一般采用此種方式處理，可以理解成多相機(jī)之間的“切換”，也就是切換成觀看者想要看到的視角。當(dāng)然，也會(huì)通過(guò)生成“虛擬視角”的方式以彌補(bǔ)相機(jī)的密集度不足。“虛擬視角合成”是指利用已知的參考相機(jī)拍攝的圖像合成出參考相機(jī)之間的虛擬相機(jī)位置拍攝的圖像，這樣能夠獲取更多視角下的圖片，是讓自由視點(diǎn)觀看方式變得“自由”的關(guān)鍵。其合成方式為利用相鄰兩個(gè)相機(jī)成像上的差異一一即視差圖，在同一行上平移虛擬相機(jī)位置，從而生成新的視角圖像。假設(shè)相鄰兩個(gè)相機(jī)拍攝的圖像像素點(diǎn)的視差值為1,我們要生成兩個(gè)相機(jī)正中間虛擬相機(jī)的視角，則可以將左邊相機(jī)拍攝圖像的像素點(diǎn)均向右移0.5,或者將右邊相機(jī)拍攝圖像的像素點(diǎn)向左移動(dòng)0.5。以此類推。合成虛擬視圖既可以利用左參考圖像和對(duì)應(yīng)的左視差圖，也可以利用右參考圖像和對(duì)應(yīng)的右視差圖，更好的是都利用上得到兩幅虛擬視點(diǎn)圖像，然后做圖像融合，比如基于距離的線性融合等。傳統(tǒng)三維重建算法傳統(tǒng)三維重建算法可分為兩大類：純彩色相機(jī)陣列的被動(dòng)式和深度相機(jī)加彩色相機(jī)的主動(dòng)式。被動(dòng)式三維重建算法是直接根據(jù)2D圖片信息，不依靠發(fā)射信號(hào)，對(duì)物體進(jìn)行重建。傳統(tǒng)的被動(dòng)式三維重建算法，如SFM主要是通過(guò)還原點(diǎn)云進(jìn)行三維重建。SFM是一種全自動(dòng)相機(jī)標(biāo)定離線算法，以一系列無(wú)序的圖像集作為輸入，估計(jì)出的相機(jī)參數(shù)矩陣和稀疏點(diǎn)云為輸出。由于SFM算法得到的點(diǎn)云是稀疏的，因此需要再進(jìn)行MVS算法對(duì)稀疏點(diǎn)云進(jìn)行處理，轉(zhuǎn)換為稠密點(diǎn)云。主動(dòng)式三維重建算法需要通過(guò)傳感器對(duì)物體發(fā)射信號(hào)，然后通過(guò)解析返回的信號(hào)對(duì)物體進(jìn)行重建。代表性的算法有結(jié)構(gòu)光、T0F等。其中，以紅外結(jié)構(gòu)光為例，依靠紅外投射器將編碼的紅外光投射到被拍攝物體上，然后由紅外相機(jī)進(jìn)行拍攝，獲取被拍攝物體上編碼紅外光的變化，將其轉(zhuǎn)換為深度信息，進(jìn)而獲取物體三維輪廓；T0F法通過(guò)投射器向目標(biāo)連續(xù)發(fā)送光脈沖，然后依據(jù)傳感器接收到返回光的時(shí)間或相位差來(lái)計(jì)算距離目標(biāo)的距離。主動(dòng)式算法如結(jié)構(gòu)光法和T0F法能夠精準(zhǔn)構(gòu)建3D模型，但二者都需要較為精密的傳感器。動(dòng)式三維重建算法SFMSFM,StructurefromMotion,顧名思義，用于從“動(dòng)作”中重建3D結(jié)構(gòu)，也就是從時(shí)間系列的2D圖像中推算3D信息。人的大腦可以從動(dòng)的物體中取得其三維的信息，是因?yàn)榇竽X在動(dòng)的2D圖像中找到了匹配的地方，即重疊區(qū)域。然后通過(guò)匹配點(diǎn)之間的視差得到相對(duì)的深度信息，在這一點(diǎn)上，原理和基于雙目視覺(jué)的三維重建相同。SFM的輸入是一段動(dòng)作或者一時(shí)間系列的2D圖群，然后通過(guò)2D圖之間的匹配可以推斷出相機(jī)的各項(xiàng)參數(shù)。重疊點(diǎn)可以用SIFT,SURF來(lái)匹配，也可以用最新的AKAZE(SIFT的改進(jìn)版)來(lái)匹配。在SFM中，誤匹配會(huì)造成較大的錯(cuò)誤，所以要對(duì)匹配進(jìn)行篩選，目前流行的方法是RANSAC(RandomSampleConsensus)。2D的誤匹配點(diǎn)可以應(yīng)用3D的幾何特征來(lái)進(jìn)行排除。Bundler[2]就是一種SFM的方法，Bundler使用了基于SIFT的匹配算法，并且對(duì)匹配進(jìn)行了過(guò)濾去噪處理。動(dòng)式三維重建算法MVSSFM的重建成果是稀疏三維點(diǎn)云，為了得到更好的深度結(jié)果，需要使用多視角立體視覺(jué)(MultipleViewStereo,MVS)算法。某種意義上講,SFM其實(shí)和MVS是類似的，只是前者是攝像頭運(yùn)動(dòng)，后者是多個(gè)攝像頭視角。也可以說(shuō)，前者可以在環(huán)境里面“穿行”，而后者更像在環(huán)境外“旁觀”。SFM中我們用來(lái)做重建的點(diǎn)是由特征匹配提供的，這些圖像特征的表示為圖像中的一個(gè)小區(qū)域(即一堆相鄰像素)。而MVS則幾乎對(duì)照片中的每個(gè)像素點(diǎn)都進(jìn)行匹配，幾乎重建每一個(gè)像素點(diǎn)的三維坐標(biāo)，這樣得到的點(diǎn)的密集程度可以較接近圖像為我們展示出的清晰度。其實(shí)現(xiàn)的理論依據(jù)在于，多視圖照片間對(duì)于拍攝到的相同的三維幾何結(jié)構(gòu)部分存在極線幾何約束。主動(dòng)式三維重建算法結(jié)構(gòu)光算法結(jié)構(gòu)光(StructuredLight)三維成像的硬件主要由相機(jī)和投射器組成，結(jié)構(gòu)光就是通過(guò)投射器投射到被測(cè)物體表面的主動(dòng)結(jié)構(gòu)信息，如激光條紋、格雷碼、正弦條紋等，然后通過(guò)單個(gè)或多個(gè)相機(jī)拍攝被測(cè)表面即得結(jié)構(gòu)光圖像，最后基于三角測(cè)量原理經(jīng)過(guò)圖像三維解析計(jì)算從而實(shí)現(xiàn)三維重建。結(jié)構(gòu)光技術(shù)就是使用提前設(shè)計(jì)好的具有特殊結(jié)構(gòu)的圖案(比如離散光斑、條紋光、編碼結(jié)構(gòu)光等)，將圖案投影到三維空間物體表面上，使用另外一個(gè)相機(jī)觀察在三維物理表面成像的畸變情況。如果結(jié)構(gòu)光圖案投影在該物體表面是一個(gè)平面，那么觀察到的成像中結(jié)構(gòu)光的圖案就和投影的圖案類似，沒(méi)有變形，只是根據(jù)距離遠(yuǎn)近產(chǎn)生一定的尺度變化。但是，如果物體表面不是平面，那么觀察到的結(jié)構(gòu)光圖案就會(huì)因?yàn)槲矬w表面不同的幾何形狀而產(chǎn)生不同的扭曲變形，而且根據(jù)距離的不同而不同，根據(jù)已知的結(jié)構(gòu)光圖案及觀察到的變形，就能根據(jù)算法計(jì)算被測(cè)物的三維形狀及深度信息。結(jié)構(gòu)光3D成像技術(shù)主要由4大部分組成：1）不可見(jiàn)光紅外線發(fā)射模組（IRProjector）：用于發(fā)射經(jīng)過(guò)特殊調(diào)制的不可見(jiàn)紅外光至被拍攝物體；2）不可見(jiàn)光紅外線接收模組（IR）：接收由被拍攝物體反射回來(lái)的不可見(jiàn)紅外光；3）彩色相機(jī)模組（RGB）：采用普通彩色鏡頭模組，用于2D彩色圖片拍攝；4）圖像處理芯片（非必須，有些結(jié)構(gòu)光供應(yīng)商提供的解決方案可利用主機(jī)CPU,如手機(jī)AP處理）：將紅外相機(jī)拍攝得到的紅外照片通過(guò)計(jì)算，得到被拍物體的深度信息。主動(dòng)式三維重建算法T0F算法TOF（TimeofFlight）（光）飛行時(shí)間，字面理解就是通過(guò)光的飛行時(shí)間來(lái)計(jì)算距離。T0F的基本原理是通過(guò)紅外發(fā)射器發(fā)射調(diào)制過(guò)的光脈沖，遇到物體反射后,用接收器接收反射回來(lái)的光脈沖，并根據(jù)光脈沖的往返時(shí)間計(jì)算與物體之間的距離。由于光的速度快，這種調(diào)制方式對(duì)發(fā)射器和接收器的要求較高，對(duì)于時(shí)間的測(cè)量有極高的精度要求。直接測(cè)量光飛行時(shí)間的T0F算法又叫DTOF（DirectTOF）o在實(shí)際應(yīng)用中,通常調(diào)制成脈沖波（一般是正弦波），當(dāng)遇到障礙物發(fā)生漫反射，再通過(guò)特制的CMOS傳感器接收反射的正弦波，這時(shí)波形已經(jīng)產(chǎn)生了相位偏移，通過(guò)相位偏移可以計(jì)算物體到深度相機(jī)的距離。這種TOF算法又叫做ITOF（IndirectTOF）o基于深度學(xué)習(xí)的三維重建除了上述傳統(tǒng)的被動(dòng)和主動(dòng)三維重建，利用深度學(xué)習(xí)模型對(duì)數(shù)據(jù)集的學(xué)習(xí)獲取先驗(yàn)知識(shí)，再在少量圖片的基礎(chǔ)上進(jìn)行重建，相比原先傳統(tǒng)算法，可以大大減少對(duì)圖片的依賴。早期Saxena等提出了利用監(jiān)督學(xué)習(xí)的辦法去預(yù)測(cè)照片的像素對(duì)應(yīng)的深度。同樣，ECCV2022收錄的來(lái)自Niantic和UCL等機(jī)構(gòu)的研究者關(guān)于“沒(méi)有3D卷積的3D重建方法”則是基于前者的提升，無(wú)論從效果到性能均顯著優(yōu)于前者。近期，華盛頓大學(xué)計(jì)算機(jī)科學(xué)院的GRAIL圖形和成像實(shí)驗(yàn)室發(fā)布了一項(xiàng)基于NeRF合成的新技術(shù)HumanNeRF,該方案的最大特點(diǎn)就是利用AI算法將2D視頻合成高保真3D全身模型，該論文被收錄在CVPR2022。無(wú)3D卷積實(shí)時(shí)三維重建從姿態(tài)圖像重建3D室內(nèi)場(chǎng)景通常分為兩個(gè)階段：圖像深度估計(jì)，深度合并(DepthMerging)和表面重建(SurfaceReconstruction)。過(guò)去的研究依賴于昂貴的3D卷積層，限制了其在資源受限環(huán)境中的應(yīng)用。來(lái)自Niantic和UCL等機(jī)構(gòu)的研究者利用強(qiáng)大的圖像先驗(yàn)以及平面掃描特征量和幾何損失，設(shè)計(jì)了一個(gè)2DCNN。所提方法(SimpleRecon)在深度估計(jì)方面效果顯著，更重要的是允許在線實(shí)時(shí)低內(nèi)存重建，每幀僅用約70ms。而實(shí)時(shí)三維重建正是全息通信的關(guān)鍵技術(shù)之一。該研究的關(guān)鍵是將現(xiàn)有的元數(shù)據(jù)與典型的深度圖像特征一起注入到代價(jià)體積(CostVolume)中，以允許網(wǎng)絡(luò)訪問(wèn)有用的信息，如幾何和相對(duì)相機(jī)姿態(tài)信息。通過(guò)整合這些之前未開(kāi)發(fā)的信息，該研究的模型能夠在深度預(yù)測(cè)方面顯著優(yōu)于之前的方法，而無(wú)需昂貴的3D卷積層、復(fù)雜的時(shí)間融合以及高斯過(guò)程。從2D視頻提取動(dòng)態(tài)人像，并轉(zhuǎn)換為3D模型NeRF方法是2020年ECCV的論文提出的。僅僅過(guò)去不到2年，關(guān)于NeRF的論文數(shù)量已經(jīng)十分可觀。NeRF是NeuralRadianceFields的縮寫(xiě)，中文譯作神經(jīng)輻射場(chǎng)，它是一種小型神經(jīng)網(wǎng)絡(luò)，可通過(guò)2D圖片來(lái)學(xué)習(xí)3D建模和渲染。把GRAIL實(shí)驗(yàn)室的研究HumanNeRF提出來(lái)，是因?yàn)樗腿⑼ㄐ畔⑾⑾嚓P(guān)——人物三維重建。HumanNeRF解決了3D人像渲染的兩大難題：神經(jīng)網(wǎng)絡(luò)渲染動(dòng)態(tài)對(duì)象和對(duì)于多攝像頭方案的依賴。此外還可學(xué)習(xí)人體T型姿態(tài)，并通過(guò)運(yùn)動(dòng)場(chǎng)來(lái)學(xué)習(xí)剛性骨骼運(yùn)動(dòng)和非剛性運(yùn)動(dòng)。運(yùn)動(dòng)場(chǎng)和姿態(tài)預(yù)測(cè)學(xué)習(xí)信息可根據(jù)2D視頻中的姿態(tài)去修改3D模型，并在NeRF中渲染。當(dāng)然，目前該技術(shù)還需繼續(xù)優(yōu)化，譬如環(huán)境光變化對(duì)結(jié)果的影響等。HumanNeRF方法將稀疏圖像作為輸入，在大型人類數(shù)據(jù)集上使用預(yù)先訓(xùn)練的網(wǎng)絡(luò)，然后就可以從一個(gè)新的視角有效地合成一個(gè)照片級(jí)的真實(shí)感圖像。通過(guò)一小時(shí)對(duì)特定數(shù)據(jù)的微調(diào)，即可生成改進(jìn)后的結(jié)果。3傳輸全息通信本身并不帶來(lái)新的傳輸技術(shù)，但是由于三維顯示帶來(lái)的高真實(shí)性和沉浸感以及對(duì)實(shí)時(shí)性的需求，導(dǎo)致了對(duì)網(wǎng)絡(luò)提出了更高的要求，主要表現(xiàn)為以下四個(gè)方面：高帶寬、低時(shí)延、強(qiáng)安全和大算力。-4+b*與傳統(tǒng)高清或雙目立體視頻相比，全息通信傳輸?shù)牧髅襟w對(duì)網(wǎng)絡(luò)帶寬的需求將達(dá)數(shù)百M(fèi)bps。例如一個(gè)包含10個(gè)攝像頭傳感器的全息通信系統(tǒng)，每個(gè)攝像頭輸出1080P彩色圖像，每個(gè)像素有32位的彩色數(shù)據(jù)，輸出分辨率為512dpiX424dpi的深度圖像，每個(gè)像素有16位的深度數(shù)據(jù)。按照60的幀率和100倍的壓縮率計(jì)算，需要上行帶寬約為420Mbps。隨著對(duì)圖像精度的提升，傳感器數(shù)量、視點(diǎn)數(shù)量和幀率也會(huì)隨之增加，對(duì)網(wǎng)絡(luò)帶寬的要求將更高。目前實(shí)現(xiàn)全息采集傳輸顯示的技術(shù)路線有多條，不同的技術(shù)方案所需要的網(wǎng)絡(luò)帶寬也不同,從幾百M(fèi)到幾個(gè)G。使用更高效的圖像壓縮技術(shù)和編解碼方案（例如H.266）,在一定程度上可以緩解全息通信的帶寬需求，但仍需未來(lái)網(wǎng)絡(luò)具有超高的帶寬。對(duì)毫米波、太赫茲、可見(jiàn)光等更高工作頻段的研究表明，未來(lái)網(wǎng)絡(luò)可提供的用戶體驗(yàn)速率可以有效的滿足全息通信的帶寬需求。時(shí)延全息通信中的時(shí)延可以分為數(shù)據(jù)處理時(shí)延和網(wǎng)絡(luò)傳輸時(shí)延。為了減少整體時(shí)延，需要處理節(jié)點(diǎn)具有高算力，并進(jìn)一步縮減網(wǎng)絡(luò)本身的傳輸時(shí)延。全息通信的過(guò)程可描述為,首先通過(guò)采集端設(shè)備獲取對(duì)象信息,計(jì)算處理后，經(jīng)過(guò)編碼壓縮進(jìn)行網(wǎng)絡(luò)傳輸，在終端側(cè)解碼渲染并顯示全息圖像。獲取真實(shí)度高的全息圖像往往需要很高的算力，當(dāng)前的主要矛盾集中在處理帶來(lái)的時(shí)延往往直接帶來(lái)了非實(shí)時(shí)性的感受，而實(shí)時(shí)性稍好的處理方式又往往導(dǎo)致真實(shí)感偏差。因此對(duì)于處理算法的優(yōu)化研究是當(dāng)前的熱門方向。對(duì)于網(wǎng)絡(luò)本身的傳輸時(shí)延，5G端到端傳輸時(shí)延可以控制在20ms以內(nèi)，隨著未來(lái)網(wǎng)絡(luò)的研究和部署，6G網(wǎng)絡(luò)的傳輸時(shí)延會(huì)進(jìn)一步減少。安全通過(guò)全息通信傳輸?shù)臄?shù)據(jù)中含有大量的信息數(shù)據(jù)，包括人臉特征、聲音等敏感信息，需要網(wǎng)絡(luò)提供絕對(duì)安全的保障，而現(xiàn)有安全技術(shù)的使用會(huì)增加端到端時(shí)延。對(duì)時(shí)延和安全性的折中考慮是未來(lái)網(wǎng)絡(luò)需要面對(duì)的難題之一。算力由于全息通信包含的信息和數(shù)據(jù)量巨大，計(jì)算時(shí)間過(guò)長(zhǎng)，除了會(huì)帶來(lái)極大的帶寬負(fù)擔(dān)外，還會(huì)造成很大的MTP時(shí)延。隨著云計(jì)算和MEC技術(shù)的快速發(fā)展，未來(lái)網(wǎng)絡(luò)可通過(guò)云端和邊緣端的快速部署解決全息通信的算力需求。4渲染技術(shù)通過(guò)采集設(shè)備獲取的圖像數(shù)據(jù)經(jīng)過(guò)算法處理后,生成的數(shù)據(jù)模型使用渲染技術(shù)在顯示設(shè)備上展示。目前，全息技術(shù)涉及的渲染方法主要有多視圖立體渲染技術(shù)、超多視點(diǎn)的虛擬立體內(nèi)容渲染技術(shù)和多平面圖像技術(shù)。在以上三類渲染技術(shù)中，多視圖立體渲染技術(shù)作為已經(jīng)成熟的技術(shù)被廣泛應(yīng)用于VR商業(yè)市場(chǎng)，超多視點(diǎn)的虛擬立體內(nèi)容渲染技術(shù)和多平面圖像技術(shù)多應(yīng)用于裸眼3D顯示設(shè)備。基于全息通信的特點(diǎn)，人們更傾向于使用裸眼3D設(shè)備構(gòu)成解決方案。多視圖立體渲染技術(shù)多視圖立體渲染技術(shù)主要用于虛擬現(xiàn)實(shí)(VR)設(shè)備的圖像渲染。當(dāng)圖像通過(guò)虛擬現(xiàn)實(shí)眼鏡等設(shè)備呈現(xiàn)在人眼前，設(shè)備呈現(xiàn)的畫(huà)面質(zhì)量直接決定用戶的觀看感受。在該類設(shè)備上，圖形硬件廠商在提升畫(huà)面視野，降低圖形畸變，提高圖形質(zhì)量等方面不斷努力，并推出一系列技術(shù)與解決方案。虛擬現(xiàn)實(shí)圖形管道原理圖形應(yīng)用程序?yàn)轱@示設(shè)備渲染一個(gè)3D場(chǎng)景時(shí)將在3D空間中創(chuàng)建一個(gè)虛擬攝像機(jī)并根據(jù)攝像機(jī)的位置對(duì)場(chǎng)景中的幾何圖形執(zhí)行計(jì)算。渲染引擎執(zhí)行像素陰影，并將單幀投影到顯示設(shè)備上。虛擬現(xiàn)實(shí)的圖形管道則不同，它需要渲染多個(gè)視圖。一個(gè)典型的VR設(shè)備有兩個(gè)鏡頭。每個(gè)鏡頭都會(huì)在觀看者的左右眼中投射出一個(gè)單獨(dú)的視圖，即3D應(yīng)