基于人眼特性的分區(qū)時分復(fù)用3D視網(wǎng)膜投影顯示

1、基于人眼特性的分區(qū)時分復(fù)用3D視網(wǎng)膜投影顯示為解決近眼顯示產(chǎn)品存在的3D實體感不強(qiáng)、暈眩、易視覺疲勞等問題，研發(fā)人員開始探索將全息1、光場顯示2和視網(wǎng)膜投影顯示3等技術(shù)應(yīng)用于近眼顯示，用以改善視覺效果、提升使用舒適度。其中視網(wǎng)膜投影顯示技術(shù)因其具有方案簡單、結(jié)構(gòu)緊湊、易于集成等優(yōu)點(diǎn)而備受矚目。視網(wǎng)膜投影顯示技術(shù)基于麥克斯韋視圖原理4，通過直接在人眼視網(wǎng)膜上投影清晰的圖像來避免調(diào)焦模糊。可以有效緩解輻輳調(diào)焦矛盾（Vergence Accommodation Conflict， VAC）問題5。傳統(tǒng)視網(wǎng)膜投影顯示系統(tǒng)的出瞳直徑僅為一個像點(diǎn)的大小，系統(tǒng)可獲得極大的景深6，但存在著出瞳面積小、無法提供

2、準(zhǔn)確的深度信息、計算量較大等問題。針對以上問題，YUUKI A等設(shè)計了一種結(jié)合蠅眼透鏡和小孔陣列的顯示方案7，將實驗系統(tǒng)的出瞳面積提高到24 mm24 mm，但是光效和分辨率較低。之后KIM S B等用全息光學(xué)元件（Holographic Optical Elements，HOE）將顯示系統(tǒng)的出瞳面積擴(kuò)大至9 mm3 mm8。HEDILI M K等利用光源陣列和低延遲動態(tài)瞳孔跟蹤裝置將出瞳面積擴(kuò)大到14 mm10 mm9。CHAN C等構(gòu)建了一種無透鏡的多視點(diǎn)顯示系統(tǒng)10，出瞳面積為3 mm3 mm，但是系統(tǒng)計算量較大。SHI X等提出了一種虛擬視點(diǎn)倍增技術(shù)11，利用HOE和偏振光柵產(chǎn)生了12

3、 mm的水平出瞳區(qū)域。TAKAHASHI H等利用HOE和視差圖為觀察者提供了單眼調(diào)焦深度信息12，但是無法提供平滑的運(yùn)動視差和正確的調(diào)焦刺激。隨后JANG C等提出了一種瞳孔跟蹤光場顯示系統(tǒng)13，但是存在圖像丟失的問題。UENO T等設(shè)計了一種全視差近眼顯示系統(tǒng)14，可在人眼調(diào)節(jié)范圍內(nèi)提供單眼調(diào)焦深度信息，但是只能單色顯示。2022年，他們又提出了一種近似密集視點(diǎn)的顯示方法15，改善了系統(tǒng)的景深和分辨率。NVIDIA設(shè)計了一種實用的中央凹渲染系統(tǒng)16，降低了渲染成本和計算時間，但無法實現(xiàn)3D顯示。JU Y J等結(jié)合計算全息和麥克斯韋視圖技術(shù)提出了一種分區(qū)域顯示的方案17，在減少了數(shù)據(jù)量的同時

4、消除了VAC，但是顯示效果受到全息技術(shù)的限制。HUA J等提出了一種變信息密度裸眼3D顯示技術(shù)，利用人眼的中央凹特性降低了信息冗余18，但是尚未能用于近眼顯示。在上述工作的基礎(chǔ)上，本文提出了一種基于分區(qū)時分復(fù)用的3D視網(wǎng)膜投影顯示技術(shù)，利用人眼特性將虛擬場景分為邊緣背景區(qū)域和中心注視區(qū)域，對中心注視區(qū)域采用時分復(fù)用的密集視網(wǎng)膜投影顯示技術(shù)，實現(xiàn)具有單眼調(diào)焦響應(yīng)的真3D顯示，同時增大出瞳面積。對邊緣背景區(qū)域則采用短焦目鏡和液晶顯示屏實現(xiàn)大視角顯示。最后，利用半透半反鏡實現(xiàn)邊緣和中心區(qū)域的圖像融合，實現(xiàn)了寬視角的雙目彩色真三維視網(wǎng)膜投影顯示。1 分區(qū)時分復(fù)用的3D視網(wǎng)膜投影顯示原理1.1密集視點(diǎn)視

5、網(wǎng)膜投影系統(tǒng)的單眼調(diào)焦深度信息重建原理為觀察者構(gòu)造密集視點(diǎn)是實現(xiàn)3D顯示的重要技術(shù)方案。密集視點(diǎn)視網(wǎng)膜投影顯示系統(tǒng)通過空間、角度或者時間復(fù)用技術(shù)在系統(tǒng)的出瞳處形成多個視點(diǎn)，在擴(kuò)大系統(tǒng)出瞳的同時為每個視點(diǎn)輸入正確的視差圖像信息19，當(dāng)視點(diǎn)間隔小于人眼瞳孔直徑時，觀察者即可獲得單眼調(diào)焦深度信息，從而實現(xiàn)3D視網(wǎng)膜投影顯示。密集視點(diǎn)的3D視網(wǎng)膜投影系統(tǒng)的成像過程示意圖如圖1所示。假設(shè)系統(tǒng)在眼睛瞳孔平面處形成三個視點(diǎn)，分別與三個視差圖像相對應(yīng)，遠(yuǎn)處的3D像點(diǎn)F由視差圖像上的F1、F2、F3三個像素合成，近處的3D像點(diǎn)N由對應(yīng)圖像上的N1、N2、N3三個像素合成。如圖1（a），當(dāng)單眼調(diào)焦深度A位于點(diǎn)F所

6、在深度平面ZF時，F(xiàn)1、F2、F3三個像素對應(yīng)的光線將匯聚在視網(wǎng)膜平面上形成一個清晰的像點(diǎn)。而像素N1、N2和N3對應(yīng)的光線在視網(wǎng)膜后方重合，所以近處的像點(diǎn)N會在視網(wǎng)膜上形成一個模糊的圖像。同理，A位于點(diǎn)N所在深度平面ZN時，如圖1（b）所示，像素N1、N2和N3對應(yīng)的光線在視網(wǎng)膜上形成一個聚焦的像點(diǎn)，而遠(yuǎn)處的物點(diǎn)F在視網(wǎng)膜前聚焦，在視網(wǎng)膜上形成一個模糊的圖像。所以，密集視點(diǎn)的3D視網(wǎng)膜投影顯示技術(shù)可為觀察者提供單眼調(diào)焦深度信息。圖1密集視點(diǎn)視網(wǎng)膜投影系統(tǒng)的成像過程Fig. 1The imaging processes of the retinal projection system with

7、 dense viewpoints如圖1（a）所示，將顯示屏所在平面Z0作為參考平面。在密集視點(diǎn)3D視網(wǎng)膜投影系統(tǒng)的成像模型中，同一物點(diǎn)發(fā)出的不同方向的光線將分別依次穿過顯示平面上不同的像素點(diǎn)和瞳孔平面上不同的視點(diǎn)，這些不同方向的光線被眼睛聚焦后形成像點(diǎn)。對像點(diǎn)F或者N點(diǎn)來說，其成像位置由相似三角形可推出，即Z=Z0+dv(ZZpupil)（1）式中，d為視差圖像上同一物點(diǎn)對應(yīng)像素的間距，v為視點(diǎn)間距，Z為像點(diǎn)深度，Zpupil為瞳孔平面深度。對于給定的系統(tǒng)，參數(shù)Zpupil、v、Z0一定，所以像點(diǎn)深度Z是關(guān)于d的函數(shù)，即可以通過調(diào)制參數(shù)d重建不同深度位置的圖像。1.2分區(qū)時分復(fù)用的3D視網(wǎng)膜

8、投影顯示系統(tǒng)人眼在觀察景物時，光信號從眼睛傳入大腦神經(jīng)形成視覺形象，需經(jīng)過一段短暫的時間。同樣，光的作用結(jié)束后，視覺形象并不立即消失，也需經(jīng)過一段時間后才消失，這一現(xiàn)象被稱為“視覺暫留”。時分復(fù)用技術(shù)利用人眼的視覺暫留特性，采用大于人眼時間分辨率的頻率對圖像組進(jìn)行高頻顯示，可以讓人眼感受到多幅圖像信息疊加的效果，所以可利用視覺暫留形成3D效果。人眼的單眼視角可達(dá)150以上，但是只有投射到中央凹區(qū)域的圖像才能夠被精確分辨，而外圍區(qū)域的圖像分辨率明顯降低。人眼的這種特性在實現(xiàn)高分辨率聚焦的同時有利于壓縮冗余的周邊數(shù)據(jù)。通常情況下中央凹區(qū)域的視角約為5，中央凹區(qū)域外又分為有效視域和誘導(dǎo)視域。有效視域

9、一般小于30，超過30則是誘導(dǎo)視域，也稱為余光區(qū)域。中央凹區(qū)域也是對深度信息最敏感的區(qū)域。根據(jù)上述特性，提出了分區(qū)時分復(fù)用的3D視網(wǎng)膜投影顯示系統(tǒng)，在中心注視區(qū)域采用3D視網(wǎng)膜投影顯示技術(shù)，實現(xiàn)具有單眼調(diào)焦深度信息的真3D顯示。對邊緣背景區(qū)域采用短焦目鏡和液晶顯示器件實現(xiàn)大視角顯示。圖2為所提出的分區(qū)時分復(fù)用的3D視網(wǎng)膜投影顯示系統(tǒng)示意圖。該系統(tǒng)由三個子系統(tǒng)構(gòu)成，分別為：采用3D視網(wǎng)膜投影技術(shù)的中心注視區(qū)域顯示子系統(tǒng)（綠色虛線框區(qū)域）、邊緣背景區(qū)域顯示子系統(tǒng)（紅色虛線框區(qū)域）、光源陣列子系統(tǒng)（藍(lán)色虛線框區(qū)域）。光源陣列子系統(tǒng)由三色發(fā)光二極管（Light Emitting Diode，LED）陣

10、列和準(zhǔn)直透鏡構(gòu)成。LED陣列發(fā)出的光束通過準(zhǔn)直透鏡后形成平行光束，進(jìn)入中心注視區(qū)域顯示子系統(tǒng)。圖2實驗系統(tǒng)成像光路示意圖Fig. 2Schematic diagram of the imaging light path of the experimental system中心注視區(qū)域顯示子系統(tǒng)包括：全內(nèi)反射（Total Internal Reflection， TIR）棱鏡、高刷新率數(shù)字微鏡器件（Digital Micro mirror Device，DMD）顯示器、分束器（Beam splitte）、反射鏡（Reflector）、目鏡（Eyepiece）。光源陣列（LED array）子系統(tǒng)

11、發(fā)出的平行光通過TIR棱鏡耦合后照明DMD顯示屏，光線通過DMD反射后透過TIR棱鏡，被分束器分為左右兩部分，分別對應(yīng)左右兩個觀察通道。左/右通道的光線通過反射鏡和目鏡1后在左/右眼瞳孔附近形成多個視點(diǎn)。DMD顯示屏位于目鏡1的一倍焦距以內(nèi)，其顯示區(qū)域分為左右兩部分，分別通過左右通道的目鏡1形成虛像。LED陣列、DMD與控制系統(tǒng)連接?？刂葡到y(tǒng)按照時序控制DMD刷新顯示，同時控制LED陣列中的點(diǎn)光源按照相同的時序依次同步照明。DMD刷新的圖像為各個視角對應(yīng)的視圖，這些視圖與點(diǎn)光源的照明角度對應(yīng)的視角相匹配。形成利用時分復(fù)用技術(shù)投影的多視角圖像。當(dāng)系統(tǒng)控制時序的頻率足夠高時，利用人眼的視覺暫留效應(yīng)

12、即可在出瞳處形成密集視點(diǎn)的觀察窗口，實現(xiàn)3D視網(wǎng)膜投影顯示。該子系統(tǒng)的DMD屏幕和目鏡1之間的距離（物距）s=s1+s2+s3。目鏡1到DMD的虛擬圖像的距離（像距）為s=（1/f1-1/s）-1。由于DMD需要同時顯示左眼和右眼圖像，左眼使用的半塊DMD顯示區(qū)域的寬度用w表示，虛擬圖像尺寸為W=w f1/（f1-s）。中心區(qū)域橫向最大視場角FOV1=2arctan（w/f1）。LED陣列中LED的間隔為V，子系統(tǒng)產(chǎn)生的視點(diǎn)的間隔為v，其大小為v=V f1 / f2。DMD的幀速率為FDMD，視點(diǎn)的數(shù)量為n，系統(tǒng)顯示的3D圖像的幀速率為F3D=FDMD/n。邊緣背景顯示子系統(tǒng)由液晶顯示器（Li

13、quid Crystal Display，LCD）、目鏡2和作為光學(xué)合成器（Optical combiner）的半透半反射鏡構(gòu)成。其中目鏡2為短焦目鏡，用于獲得大的邊緣視角。LCD位于目鏡2的一倍焦距以內(nèi)，目鏡2的光軸和出瞳通過半透半反鏡后與目鏡1的光軸和出瞳重合。邊緣背景顯示區(qū)域的半徑約等于目鏡2的半徑r，從而背景區(qū)域的視場角FOV2=2arctan（r/f3）。人眼可以通過重合的出瞳同時看到中心注視區(qū)域的3D圖像和邊緣背景區(qū)域的廣角圖像信息。這種分區(qū)域顯示的方法可以在保證人眼視覺中心區(qū)域獲得精確3D顯示的同時，獲得大視角的邊緣信息，從而優(yōu)化顯示效果，降低計算負(fù)載。2 實驗驗證2.1實驗系統(tǒng)

14、實物圖為驗證技術(shù)方案的可行性搭建了分區(qū)域時分復(fù)用的3D視網(wǎng)膜投影顯示系統(tǒng)。由于左右觀察通道的對稱性，圖3以左眼觀察通道為例展示了實驗系統(tǒng)實物。系統(tǒng)的光源陣列由間距V=3.0 mm的44的彩色LED陣列構(gòu)成，每個LED由紅綠藍(lán)三個發(fā)光區(qū)組成，發(fā)光面積為1.5 mm2。準(zhǔn)直透鏡的焦距為f2=130 mm。中心注視區(qū)域顯示系統(tǒng)中，DMD的幀速率設(shè)定為FDMD=4 800 Hz，分辨率為1 9201 080，像素大小為10.8 m，屏幕尺寸為20.7 mm11.7 mm。目鏡1的焦距為f1=90 mm。DMD與目鏡1之間的物距為79.6 mm，即s=s1+s2+s3=79.6 mm。DMD的虛像和目鏡

15、1的距離為s= 685 mm。中心注視區(qū)域的橫向視場角為FOV1=7.41。視點(diǎn)的間隔為v2.0 mm。出瞳面積為7 mm7 mm。由于系統(tǒng)分時復(fù)用產(chǎn)生16個視點(diǎn)的信息，且每個視點(diǎn)包含紅綠藍(lán)三色子圖，所以當(dāng)DMD幀頻設(shè)置為4 800 Hz時，中心注視區(qū)域3D圖像的幀速率為F3D= 100 Hz，在利用人眼時間暫留效應(yīng)的同時，可以有效避免圖像閃爍的問題。為確保照明和顯示的嚴(yán)格同步，使用計算機(jī)軟件對基于FPGA的DMD和基于單片機(jī)的LED陣列進(jìn)行協(xié)調(diào)控制。邊緣背景區(qū)域顯示系統(tǒng)中，目鏡2的焦距為f3=63 mm，透鏡半徑r=20 mm。LCD的分辨率為2 5601 440，像素大小為47.3 m，屏

16、幕尺寸為68.0 mm121.0 mm。邊緣背景區(qū)域的視場角FOV2=32。半透半反射鏡的厚度為1.1 mm，其中一面鍍增透膜，一面鍍半透半反射膜，以最大限度減小重影。通過半透半反鏡將目鏡1和目鏡2的光軸和出瞳精確重合形成系統(tǒng)出瞳，在系統(tǒng)出瞳處即可看到顯示效果。圖3實驗系統(tǒng)實物圖Fig. 3Photo of the experimental system2.2實驗結(jié)果與分析2.2.1中心注視區(qū)域的3D顯示效果為驗證中心注視區(qū)域的3D顯示效果，首先使用3dsMax或Blender等商業(yè)軟件建模獲得兩個位于不同深度的模型，其中紅色汽車中心位于（-7，-5，101）坐標(biāo)、紫色茶壺中心位于（21，0，

17、131）坐標(biāo)。然后利用44個虛擬相機(jī)渲染16個不同視角的視差圖像。相機(jī)矩陣的中心坐標(biāo)為（0，-3，0）。該視差圖像的視點(diǎn)方位和分布與顯示系統(tǒng)的實際視點(diǎn)方位和分布一致。再將16個視差圖像分色，二值化形成圖像序列。上位機(jī)軟件將圖像序列輸入DMD內(nèi)存，并控制DMD按照時序顯示圖像序列，同時協(xié)調(diào)LED陣列進(jìn)行同步照明。圖4即是相機(jī)聚焦在不同深度位置時拍攝的成像效果。圖4（a）顯示當(dāng)相機(jī)聚焦在近處的小車上時小車清晰，遠(yuǎn)處的茶壺因離焦而模糊。圖4（b）顯示當(dāng)相機(jī)聚焦在遠(yuǎn)處的茶壺上時茶壺清晰，近處的小車因離焦而模糊。由此可以證明本系統(tǒng)實現(xiàn)了具有單眼調(diào)焦深度信息的真3D視網(wǎng)膜投影顯示。圖4中心注視區(qū)域不同深度

18、模型的成像效果Fig. 4Imaging results of different depth models in central gaze area為了實現(xiàn)精確的深度顯示，設(shè)計實驗對計算機(jī)中設(shè)定的深度值和實際顯示的深度位置進(jìn)行了標(biāo)定20。首先將相機(jī)聚焦在虛擬圖像上，然后挪動標(biāo)定板使虛擬圖像和標(biāo)定板圖像同時清晰，由此測量出虛擬圖像的實際深度。實驗效果如圖5所示，圖5（a）聚焦在字母NEAR處，其設(shè)定的虛擬深度為90 mm，距離相機(jī)鏡頭的實際深度為685 mm。圖5（b）聚焦在字母FAR上，其設(shè)定的虛擬深度為215.5 mm，距離相機(jī)鏡頭的實際深度為2 000 mm。圖5深度標(biāo)定顯示效果Fig.

19、 5Display effects of depth calibration圖6為實際深度Za與虛擬深度Z的關(guān)系。通過數(shù)據(jù)分析擬合可得，實際深度和虛擬深度的關(guān)系為圖6虛擬深度和重建圖像的實際深度之間的關(guān)系Fig. 6Relationship of virtual depth and actual depth of the reconstructed imagesZa=685+10.5Z（2）由式（2）可知實際深度與虛擬深度符合線性關(guān)系，利用該函數(shù)關(guān)系可進(jìn)行準(zhǔn)確的深度重建。由于顯示器的像素是離散的，視差圖像上同一物點(diǎn)對應(yīng)像素的間距變化并不連續(xù)，故而無法實現(xiàn)連續(xù)任意位置的深度重建。但是，隨著顯示技

20、術(shù)的不斷發(fā)展，像素尺寸會越來越小，會更利于模型的精確深度重建。2.2.2分區(qū)域顯示效果為驗證分區(qū)顯示效果，設(shè)計了如圖7所示的場景：中心注視區(qū)域包括位于不同深度位置的四個立方體模型，其中模型a中心位于坐標(biāo)（-7.4，3.5，0）、模型b中心位于（6.7，3.5，10.5）、模型c中心位于（-12.3，-12.3，23.7）、模型d中心位于（6.6，-14.7，41.0）。四個模型對應(yīng)的參數(shù)d分別為0 mm， 0.209 mm， 0.416 mm， 0.625 mm。場景中相機(jī)矩陣的中心坐標(biāo)為（0，0，-90），焦平面位于示意圖中XOY平面。圖7用于顯示的場景Fig. 7Scene to be d

21、isplayed中心注視區(qū)域采用與2.2.1節(jié)相同的方法進(jìn)行顯示。背景區(qū)域通過調(diào)節(jié)目鏡2到LCD的距離為59 mm，將LCD的虛像設(shè)置在與模型c中心共面的平面Za=934 mm處。圖8是分區(qū)顯示時相機(jī)聚焦在不同深度位置時拍攝的成像效果。圖8（a）顯示當(dāng)相機(jī)聚焦在模型a時，聚焦位置處的模型a清晰，其他位置模型和背景因離焦而模糊。圖8（b）顯示當(dāng)相機(jī)聚焦在模型b上時模型b清晰，其他模型和背景因離焦而模糊。圖8（c）顯示當(dāng)相機(jī)聚焦在模型c時，模型c和與其共面的背景區(qū)域同時清晰，其他模型因離焦而模糊。圖8（d）顯示當(dāng)相機(jī)聚焦在模型d時，模型d清晰，其他模型和背景因離焦而模糊。圖8分區(qū)顯示時聚焦在不同深

22、度的圖像（聚焦的模型用紅框標(biāo)出）Fig. 8Images focused on different depths in partition display mode， and the focused model has been marked with a red frame上述實驗驗證了分區(qū)域顯示的成像效果，中心區(qū)域采用3D視網(wǎng)膜投影成像技術(shù)獲得了具有單眼調(diào)焦暗示的真3D顯示，聚焦離焦效果明顯。邊緣區(qū)域利用LCD和短焦目鏡實現(xiàn)了寬視角的顯示，而且中心和邊緣的圖像融合較好。由于目鏡2邊緣像差影響，系統(tǒng)的總視角約為32，可覆蓋人眼的有效視域。對于邊緣區(qū)域顯示系統(tǒng)其顯示深度Ze為Ze=s4f3s4

23、f3（3）式中，f3為目鏡2的焦距，通過控制短焦透鏡到LCD的距離s4，靈活設(shè)置背景區(qū)域深度Ze。表1展示了視場角相等時，傳統(tǒng)3D和分區(qū)3D視網(wǎng)膜投影顯示所需的計算量。傳統(tǒng)技術(shù)需要計算16個視角的圖像的全部像素，總彩色像素數(shù)為24.4106，其中包括DMD顯示區(qū)域的15.8106和LCD顯示區(qū)域的8.6106。分區(qū)3D視網(wǎng)膜投影顯示所需的計算量，只需渲染一個16個視角圖像的中心區(qū)域和一個邊緣區(qū)域，總共需要計算的彩色像素數(shù)目為16.4106，其中包括DMD顯示區(qū)域的15.8106和LCD顯示區(qū)域的0.6106。所以相比于傳統(tǒng)3D渲染技術(shù)，本文方法的計算量減小了33%。在以后的研究中可以進(jìn)一步使用圖像壓縮算法減小計算量21。表1分區(qū)域3D視網(wǎng)膜顯示和傳統(tǒng)3D視網(wǎng)膜顯示數(shù)據(jù)量對比Table 1Comparison of pixel data between partitive 3D retina display and traditional 3D retina displayDataPartitive 3D retina displayTraditional 3D retina displayDMD area pixel data15.810615.8106LCD area pixel data0.61068.6106T