雙目立體視覺(jué)系統(tǒng)的標(biāo)定

雙目立體視覺(jué)系統(tǒng)的標(biāo)定葛動(dòng)元;姚錫凡;李凱南【摘要】基本矩陣的估計(jì)是機(jī)器視覺(jué)中一項(xiàng)重要的研究課題，在立體視覺(jué)與圖像運(yùn)動(dòng)分析中是一個(gè)很重要的矩陣;在雙目視覺(jué)系統(tǒng)的標(biāo)定時(shí)，常規(guī)的方法需要將單攝像機(jī)的投影矩陣分解成旋轉(zhuǎn)矩陣和平移向量.通過(guò)反對(duì)稱矩陣，求得圖像投影點(diǎn)的極線方程，以及雙目立體視覺(jué)系統(tǒng)的基本矩陣，得到兩個(gè)攝像機(jī)之間的相對(duì)位置關(guān)系.【期刊名稱】《機(jī)械設(shè)計(jì)與制造》【年(卷)，期】2010(000)006【總頁(yè)數(shù)】2頁(yè)(P188-189)【關(guān)鍵詞】雙目立體視覺(jué)系統(tǒng);基本矩陣;反對(duì)稱矩陣;極線【作者】葛動(dòng)元;姚錫凡;李凱南【作者單位】華南理工大學(xué)機(jī)械與汽車工程學(xué)院廣州,510640;邵陽(yáng)學(xué)院機(jī)械與能源工程系邵陽(yáng),422004;華南理工大學(xué)機(jī)械與汽車工程學(xué)院廣州,510640;邵陽(yáng)學(xué)院電氣工程系,邵陽(yáng),422004【正文語(yǔ)種】中文【中圖分類】TH16;TP151.211引言在立體視覺(jué)系統(tǒng)中，三維重建的先決條件是要建立兩幅圖像的對(duì)應(yīng)關(guān)系，其中一個(gè)重要的約束條件為極線約束，兩攝像機(jī)之間的關(guān)系可以用基本矩陣表示，它在機(jī)器視覺(jué)中具有重要的作用，比如基于結(jié)構(gòu)光的深度信息的獲取、機(jī)器人視覺(jué)伺服控制等［1-2］。2攝像機(jī)透視投影模型在機(jī)器視覺(jué)系統(tǒng)中，大多數(shù)采用針孔模型，將攝像機(jī)的非線性模型轉(zhuǎn)換為線性模型，如圖1所示。OUV表示以像素為單位的圖像坐標(biāo)系，O1xy表示以毫米為單位的圖像坐標(biāo)系，OCXCYCZC為攝像機(jī)坐標(biāo)系，OWXWYWZW為世界坐標(biāo)系。x，y軸分別與u，v軸XC，YC軸平行，ZC軸為攝像機(jī)的光軸，攝像機(jī)焦距f為OCO1，O1在OUV坐標(biāo)系中的坐標(biāo)為（u0，v0），每一個(gè)像素在x軸與y軸方向上的物理尺寸分別為dx和dy，攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系用旋轉(zhuǎn)矩陣R與平移向量t來(lái)描述。設(shè)某點(diǎn)P在世界坐標(biāo)系下的齊次坐標(biāo)為（Xw，Yw，Zw，1），其投影點(diǎn)在以像素為單位的圖像坐標(biāo)系的齊次坐標(biāo)為（u，v，1），則它們的關(guān)系可表示為［3~5］:圖1攝像機(jī)透視投影模型3雙目立體視覺(jué)系統(tǒng)3.1立體視覺(jué)系統(tǒng)模型如圖2所示，假設(shè)兩個(gè)攝像機(jī)各自的內(nèi)外參數(shù)已經(jīng)標(biāo)定，其外參數(shù)分別用正交單位矩陣和平移向量R1、t1、R2、t2表示雙目視覺(jué)系統(tǒng)中兩攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的相對(duì)位置。對(duì)于任意一點(diǎn)P,如果它在世界坐標(biāo)系、C1坐標(biāo)系與坐標(biāo)系下的非齊次坐標(biāo)分別為Xw、Xc1、Xc2，則消除Xw化簡(jiǎn)，兩個(gè)攝像機(jī)之間的幾何關(guān)系可用式（4）表示通過(guò)式(4),視覺(jué)系統(tǒng)中雙攝像機(jī)的相對(duì)幾何位置R與t可由上式計(jì)算?，F(xiàn)根據(jù)反對(duì)稱矩陣的基本性質(zhì)，采用基本矩陣，以及極線方程的方法來(lái)描述雙攝像機(jī)相對(duì)位置，只要已知相應(yīng)攝像機(jī)的投影矩陣，不需要分解其的外部參數(shù)。在立體視覺(jué)系統(tǒng)中，I1與I2為兩個(gè)攝像機(jī)的圖像平面，p1、p2是空間同一點(diǎn)P在兩個(gè)圖像上的投影點(diǎn)，p2為p1的對(duì)應(yīng)點(diǎn)；同理p1是p2的對(duì)應(yīng)點(diǎn)，如圖2所示。在圖2中，空間點(diǎn)P與兩攝像機(jī)光心01、02組成的三角形在平面n上，由于p1、p2在直線01P與02P上，所以p1、p2也在n上。設(shè)n與圖像I2平面的交線為12，則p1點(diǎn)的對(duì)應(yīng)點(diǎn)p2必然在12上；12被稱為圖像I2上對(duì)應(yīng)點(diǎn)的極線。同理，I2上的點(diǎn)p2,11為圖像I1上對(duì)應(yīng)于p2點(diǎn)的極線。由于極線給出了對(duì)應(yīng)點(diǎn)的重要約束條件，在基于結(jié)構(gòu)光的三維重建中具有重要的作用，若雙目視覺(jué)系統(tǒng)的兩個(gè)攝像機(jī)的投影矩陣M1與M2已知，則可采用反對(duì)稱矩陣求解極線與基本矩陣。圖2雙目立體視覺(jué)系統(tǒng)設(shè)xp為空間某點(diǎn)P在世界坐標(biāo)系下的齊次坐標(biāo)，即xp=(Xwp,Ywp,Zwp,1)記作xp=(XT,1)T,其中x=(Xwp,Ywp,Zwp,1)T;u1、u2分別為空間點(diǎn)P投影于左右圖像平面I1與I2的p1、p2點(diǎn)的圖像齊次坐標(biāo)。將M1、M2矩陣中左面的3x3部分記作Mi1(i=1,2),右邊的3x1部分記作mi(i=1,2);則由式(1)可得：化簡(jiǎn)可得將上式右邊的向量記作m，即假設(shè)向量m=[mx,my,mz]T，將由m定義的反對(duì)稱矩陣記作[m]x,則：將反對(duì)稱矩陣[m]x左乘式（7）兩邊，由于[m]xm=0T,則其中，0T=[000]T，將上式兩邊除以Zc2,記，得式（10）右邊向量為[m]xu2=mxu2,該向量與u2正交，將左乘上式兩邊，并將所得式兩邊除以Zc后得到雙目立體視覺(jué)系統(tǒng)中兩攝像機(jī)的位置關(guān)系：式中：[m]x一反對(duì)稱矩陣一基本矩陣，由雙目立體視覺(jué)系統(tǒng)中兩個(gè)攝像機(jī)的相對(duì)位置決定。3.2標(biāo)定實(shí)驗(yàn)假設(shè)在雙目視覺(jué)系統(tǒng)中，兩攝像機(jī)的投影矩陣已知，即攝像機(jī)C1、C2的投影矩陣分別為M1、M2,如表1、表2所示。表1C1的投影矩陣M1表2的投影矩陣則可得基本矩陣，如表3所示。表3基本矩陣在給定u1的情況下，式（11）是一個(gè)關(guān)于u2的線性方程，即I2圖像上的極線方程；同樣，在給定u2的情況下，式（11）是一個(gè)關(guān)于u1的線性方程，即I1圖像上的極線方程；即在給定u1（或u2）時(shí)，極線方程只與M1與M2矩陣有關(guān)。通過(guò)圖像處理，可得空間某點(diǎn)P在圖像平面11、I2的投影點(diǎn)p1、p2的齊次坐標(biāo)分別為（153.5822,92.1907,1）、（148.8456,94.6513,1）,則點(diǎn)p1的對(duì)應(yīng)極線12為：0.26u+1.14v-1464.2=0;點(diǎn)p2對(duì)應(yīng)的極線11為：-2.1675u+9.7353v-564.6213=0。由于任意位于O2P上的點(diǎn)（例如點(diǎn)P'）在I2上的投影都是p2，對(duì)I2上的任一點(diǎn)p2，它在I1上的對(duì)應(yīng)點(diǎn)不能完全由約束唯一確定，只能求出與其對(duì)應(yīng)的極線l2，具體位置則與空間點(diǎn)P'在O2P直線上的位置有關(guān)。因此，式（11）給出了兩個(gè)攝像機(jī)對(duì)應(yīng)點(diǎn)pl、p2的齊次坐標(biāo)u1與u2所必須滿足的關(guān)系；將對(duì)應(yīng)的齊次坐標(biāo)（153.5822,92.1907,1）、（148.8456,94.6513,1），以及基本矩陣代入式（11），可得=8.3260x10-4，基本滿足約束條件。4結(jié)論對(duì)立體雙目視覺(jué)系統(tǒng)，只需要已知兩個(gè)攝像機(jī)的投影矩陣M1與M2,則描述雙攝像機(jī)相對(duì)位置的基本矩陣和極線方程均可從M1與M2矩陣求出，基于基礎(chǔ)矩陣與極線約束的立體匹配，是三維數(shù)據(jù)擬合的一個(gè)新方法與基礎(chǔ)。參考文獻(xiàn)【相關(guān)文獻(xiàn)】1林學(xué)訚，陳向榮，朱志剛等.基于雙外極線的結(jié)構(gòu)光深度信息快速獲取[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)