張?；ńY(jié)構(gòu)光視覺(jué)測(cè)量系統(tǒng)的計(jì)算機(jī)仿真

1、結(jié)構(gòu)光三維成像系統(tǒng)的計(jì)算機(jī)仿真張海花 李勇國(guó)家自然科學(xué)基金項(xiàng)目資助（60702078）張海花（1983年9月），女，河北邯鄲人，現(xiàn)為浙江師范大學(xué)信息光學(xué)研究所碩士研究生，主要研究方向?yàn)樾畔⒐鈱W(xué)，E-mail：*通信作者 許富洋 金可有（浙江師范大學(xué)信息光學(xué)研究所，浙江 金華 321004）摘要 以相位測(cè)量輪廓術(shù)為例，由攝像機(jī)模型出發(fā)，提出一個(gè)結(jié)構(gòu)照明三維成像系統(tǒng)的高精度計(jì)算機(jī)仿真算法。對(duì)于給定的物體三維模型，首先根據(jù)系統(tǒng)結(jié)構(gòu)，采用z緩沖技術(shù)消除遮擋和陰影部分，得到與攝像機(jī)像素點(diǎn)對(duì)應(yīng)的物體表面采樣點(diǎn)三維坐標(biāo)。其次基于投影是攝像的逆過(guò)程這一事實(shí)，使用統(tǒng)一的數(shù)學(xué)模型和方法處理投影過(guò)程。根據(jù)攝像機(jī)及投

2、影儀的內(nèi)、外參數(shù)，最終得到了攝像機(jī)像素點(diǎn)、物體表面采樣點(diǎn)和投影儀像素坐標(biāo)三者之間的對(duì)應(yīng)關(guān)系。從而實(shí)現(xiàn)了結(jié)構(gòu)照明三維成像系統(tǒng)仿真，為實(shí)際系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)、調(diào)整和參數(shù)校正提供了新的途徑。關(guān)鍵詞 光學(xué)三維傳感、結(jié)構(gòu)照明、相位測(cè)量輪廓術(shù)中圖分類(lèi)號(hào) TN206 文獻(xiàn)標(biāo)識(shí)碼 Computer Simulation to Measurement System Using Structured IlluminationZHANG Haihua LI Yong XU Fuyang JIN Keyou（Institute of Information Optics, Zhejiang Normal Universi

3、ty, Jinhua 321004）Abstract A method with high precision is proposed to simulate measurement system using structured illumination. Phase measuring profilometry (PMP) is taken as an example to simulate measurement system. Above all, according to the intrinsic and extrinsic parameters of camera, 3D coo

4、rdinates of sampling points on the object surface are calculated from the corresponding pixels of camera. Z buffering technique is used to eliminate the shadow and occlusion. Then projector is regarded as camera acting in reverse in accordance with the reversibility of light path principle. Uniformm

5、odel is used to process the projector. Finally, the result shows the corresponding relations among camera coordinate, sampling point of object, projector coordinate. Therefore, 3D structured illumination system is simulated. A new way is provided to design and adjust practical system.Keywords Optica

6、l 3D sensor, Structured illumination, Phase measuring profilometry1 引 言基于結(jié)構(gòu)光照明的三維成像技術(shù)是目前廣泛應(yīng)用的一種非接觸測(cè)量技術(shù)1 2，在檢測(cè)工業(yè)產(chǎn)品質(zhì)量、物體識(shí)別、虛擬現(xiàn)實(shí)、文物修復(fù)等方面都有廣闊的應(yīng)用前景。利用計(jì)算機(jī)對(duì)測(cè)量系統(tǒng)進(jìn)行仿真，可以減少系統(tǒng)設(shè)計(jì)的工作量，為優(yōu)化系統(tǒng)提供了便利。梁、蘇等3提出了一種結(jié)構(gòu)照明三維成像系統(tǒng)的仿真方法。該方法采用反向光線(xiàn)追跡方法，實(shí)現(xiàn)了無(wú)畸變的、投影光軸和成像光軸共面情況下的測(cè)量系統(tǒng)仿真，取得了很好的結(jié)果。本文從攝像機(jī)的數(shù)學(xué)模型出發(fā)，考慮攝像機(jī)和投影儀的畸變之后，提出一種結(jié)構(gòu)照明三維

7、成像系統(tǒng)的高精度計(jì)算機(jī)仿真算法，可實(shí)現(xiàn)多種結(jié)構(gòu)的系統(tǒng)仿真。本文還討論了仿真的原理、方法及結(jié)果。2 仿真系統(tǒng)原理2.1 攝像機(jī)數(shù)學(xué)模型如圖1所示，理想情況下攝像機(jī)的成像模型可以用針孔模型表示4。其中XwYwZw為世界坐標(biāo)系，XcYcZc為攝像機(jī)坐標(biāo)系，uv為圖像坐標(biāo)系。世界坐標(biāo)系中一點(diǎn)p(Xw,Yw,Zw)的攝像機(jī)坐標(biāo)(Xc,Yc,Zc)可以表示為： （1）其中R為世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣，T為平移向量。成像系統(tǒng)投影系統(tǒng)待測(cè)物體參考平面圖2 PMP測(cè)量原理圖Fig.2 Sketch diagram of PMPuv(u0, v0)(u, v)XcZcYcXwYwZwpf圖1 攝像機(jī)模型

8、Fig.1 Model of camera由于攝像機(jī)存在光學(xué)系統(tǒng)的加工誤差和裝配誤差，實(shí)際成像系統(tǒng)與理想的針孔模型之間存在光學(xué)畸變誤差。鏡頭畸變主要有徑向畸變和切向畸變。因此在模擬結(jié)構(gòu)光三維成像系統(tǒng)時(shí)，需要考慮攝像機(jī)畸變。令x=Xc/Zc,y=Yc/Zc，對(duì)攝像機(jī)坐標(biāo)歸一化，則攝像機(jī)的徑向畸變可表示為： （2）其中 r2=x2+y2,k1,k2為徑向畸變參量。攝像機(jī)的切向畸變可表示為 （3）其中 p1,p2為切向畸變參量?？紤]攝像機(jī)畸變之后，p點(diǎn)在歸一化攝像機(jī)坐標(biāo)系中的實(shí)際坐標(biāo)可表示為： （4）再由透視變換可以得到p點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)： （5）其中fu、fv分別為u、v兩個(gè)方向的歸一化焦距

9、，s為坐標(biāo)軸的傾斜因子，u0、v0分別為主點(diǎn)的圖像坐標(biāo)。在結(jié)構(gòu)照明三維成像系統(tǒng)仿真中，除了成像外還需要由uv坐標(biāo)求XWYWZW坐標(biāo)。這是一個(gè)后向投影問(wèn)題，由于畸變模型（2）、（3）兩式為非線(xiàn)性方程，一般無(wú)法求出x，y。因此需要其他方法，常用的有疊代法、多項(xiàng)式近似等方法5。本文采用疊代法求解。2.2 對(duì)應(yīng)點(diǎn)求解原理圖2為結(jié)構(gòu)照明三維成像系統(tǒng)的原理示意圖。系統(tǒng)主要由投影儀、攝像機(jī)組成。由投影儀投射編碼結(jié)構(gòu)光，攝像機(jī)拍攝被物體表面反射的圖案，通過(guò)分析圖案得到攝像機(jī)和投影儀的對(duì)應(yīng)點(diǎn)對(duì)。根據(jù)三角關(guān)系得到物體表面三維形貌。仿真中，我們將攝像機(jī)看成投影儀。從攝像機(jī)像面坐標(biāo)（u,v）出發(fā)，根據(jù)攝像機(jī)內(nèi)參數(shù)，由

10、(6)式求出其對(duì)應(yīng)的有畸變得歸一化坐標(biāo)(xd,yd)。 （6）然后根據(jù)攝像機(jī)的畸變系數(shù)，采用疊代法求出消除畸變后的歸一化坐標(biāo)(x,y)。最后根據(jù)攝像機(jī)外參數(shù)，采用光線(xiàn)追跡法得到攝像機(jī)像面坐標(biāo)（u,v）對(duì)應(yīng)的物體表面采樣點(diǎn)坐標(biāo)（XW,YW,ZW）和亮度。獲得物體表面采樣點(diǎn)坐標(biāo)后再根據(jù)投影儀參數(shù)，應(yīng)用公式（1）到（5）計(jì)算得到對(duì)應(yīng)的投影儀圖像坐標(biāo)。這樣就完成了攝像機(jī)圖像坐標(biāo)、物體表面采樣點(diǎn)和投影儀圖像坐標(biāo)之間的對(duì)應(yīng)點(diǎn)計(jì)算。2.3 陰影及隱藏面消除方法測(cè)量系統(tǒng)參數(shù)物體描述設(shè)置光源、攝像機(jī)位置求解攝像機(jī)圖像坐標(biāo)（u,v）對(duì)應(yīng)的物點(diǎn)（XW,YW,ZW）求解物點(diǎn)（XW,YW,ZW）對(duì)應(yīng)的投影儀圖像坐標(biāo)圖3

11、 仿真流程圖Fig.3 Flow chart of simulation圖4 模型三維數(shù)據(jù)Fig.4 3D data of model陰影是指在投影儀視線(xiàn)方向上被遮擋的待測(cè)物體表面。將投影儀看成光源，我們利用OpenGL在投影儀位置處設(shè)置與投影儀屬性相同的光源，得到陰影區(qū)域。隱藏面是指在攝像機(jī)視線(xiàn)方向上被遮擋的待測(cè)物體表面。我們利用OpenGL的Z緩沖技術(shù)來(lái)消除隱藏面。即在OpenGL中設(shè)置攝像機(jī)位置，進(jìn)行渲染后讀取其z-buffer中的數(shù)據(jù)，得到的就是消除隱藏面和陰影后的物體表面采樣點(diǎn)。3 計(jì)算機(jī)模擬流程及結(jié)果我們采用OpenGL進(jìn)行仿真，程序設(shè)計(jì)的流程如圖3所示。首先給出測(cè)量系統(tǒng)結(jié)構(gòu)參數(shù)并

12、選擇物體描述；其次根據(jù)系統(tǒng)結(jié)構(gòu)參數(shù)設(shè)置光源、攝像機(jī)位置；再讀取其z-buffer中的數(shù)據(jù)，得到消除隱藏面和陰影后的物體表面采樣點(diǎn)的Z軸坐標(biāo)Zw和物體的反射率；最后由攝像機(jī)像面坐標(biāo)（u,v）及對(duì)應(yīng)的世界坐標(biāo)Zw出發(fā)，根據(jù)系統(tǒng)參數(shù)建立攝像機(jī)像素點(diǎn)、物體表面采樣點(diǎn)和投影儀像素坐標(biāo)三者之間的對(duì)應(yīng)關(guān)系。圖4為采用3d建模軟件得到的仿真用三維模型。圖5為模型的反射率。系統(tǒng)的結(jié)構(gòu)參數(shù)如下：攝像機(jī)到世界坐標(biāo)系的旋轉(zhuǎn)向量Rc-0.0103,0.9902,0.1389; 0.9996,0.0066,0.0270; 0.0259,0.1392,-0.9899,平移向量為: Tc=-115.0183;-214.512

13、8;583.9590; 攝像機(jī)的內(nèi)部畸變參數(shù)為kc1=-0.11514; kc2=-0.27057; pc1=-0.00175; pc2=-0.00061;投影儀到世界坐標(biāo)系的旋轉(zhuǎn)向量Rp-0.0314, 0.9933, -0.1113; 0.9989, 0.0272, -0.0392; -0.0359, -0.1124, -0.9930,平移向量Tp=-108.7161; -69.4706;887.7411;投影儀的內(nèi)部畸變參數(shù)為kp1=-0.09364; kp2=0.07413; 圖5 模型反射率Fig.5 Reflectivity of model圖6 變形條紋Fig.6 Deforme

14、d patternspp1=-0.00265; pp2=-0.00122;攝像機(jī)到投影儀的旋轉(zhuǎn)向量om=-0.06774,0.24509,0.01897,平移向量T=-147.19253, 105.14389, 274.74243。用設(shè)計(jì)的仿真軟件對(duì)相位測(cè)量輪廓術(shù)系統(tǒng)進(jìn)行仿真，根據(jù)測(cè)量系統(tǒng)結(jié)構(gòu)參數(shù)，模擬系統(tǒng)的成像過(guò)程，計(jì)算得出投影儀的圖像坐標(biāo)。考慮了模型的反射率之后，得到了圖6所示的變形條紋，其中條紋周期為8個(gè)像素。4 結(jié) 論利用計(jì)算機(jī)進(jìn)行結(jié)構(gòu)照明三維成像系統(tǒng)的仿真，可以減少系統(tǒng)設(shè)計(jì)的工作量，為測(cè)量系統(tǒng)的結(jié)構(gòu)優(yōu)化提供方便。根據(jù)光路可逆原理，從攝像機(jī)數(shù)學(xué)模型出發(fā)，采用統(tǒng)一的模型處理成像和投影過(guò)程

15、，設(shè)計(jì)了結(jié)構(gòu)照明三維成像系統(tǒng)的高精度計(jì)算機(jī)仿真軟件。利用該軟件及3d建模得到的數(shù)據(jù)，對(duì)PMP測(cè)量系統(tǒng)進(jìn)行了仿真，達(dá)到了預(yù)期目的，為實(shí)際PMP系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)和參數(shù)校正提供了新的途徑。參考文獻(xiàn)：1 F. Chen, G. M. Brown, M. Song. Overview of three-dimensional shape measurement using optical methodsJ. Opt. Engng., 2000, 39(1):10-22.2 Su Xianyu, Bally G. V. , Vukicevic D. Phase stepping grating profilometry : Utilization of intensity modulation analysis in complex objects evaluationJ. Opt. Commun., 1993 , 98 (1) : 141-150.3 梁曉萍,蘇顯渝. 物體面形對(duì)結(jié)構(gòu)光場(chǎng)的空間調(diào)制:計(jì)算機(jī)模擬J. 光電工程，1994，2