計(jì)算機(jī)視覺中的攝像定標(biāo)

計(jì)算機(jī)視覺中的攝像定標(biāo)

1圖像非量測定標(biāo)技術(shù)計(jì)算機(jī)視覺的基本任務(wù)之一是從攝像頭獲得的圖像信息開始計(jì)算和識別三維圖像中的幾何信息，并重建和識別對象。圖像中的點(diǎn)的三維幾何位置與圖像中的對應(yīng)點(diǎn)之間的關(guān)系是由攝像頭成像的幾何模型決定的。這些幾何模型的參數(shù)是攝像頭的參數(shù)。在大多數(shù)情況下，這些參數(shù)必須通過實(shí)驗(yàn)和計(jì)算獲得。這個過程被稱為攝像頭校正。考慮到同時期攝影測量中的相同問題，我們在這一方向上取得了許多研究成果。從計(jì)算機(jī)視覺的角度來看，考慮到攝像頭校正在理論和實(shí)踐中的重要價值，學(xué)術(shù)界在過去10年的研究中進(jìn)行了大量的研究，在不同的出發(fā)點(diǎn)和思路上取得了一些成果。在不同的問題背景下，它們具有各自的應(yīng)用價值。我們認(rèn)為，對現(xiàn)有方法進(jìn)行分類、比較和分類對于闡明兩者之間的關(guān)系非常重要。攝像機(jī)定標(biāo)技術(shù)早就應(yīng)用于攝影測量學(xué)[1～3].攝影測量學(xué)中所使用的方法是數(shù)學(xué)解析分析的方法,在定標(biāo)過程中通常要利用數(shù)學(xué)方法對從數(shù)字圖像中獲得的數(shù)據(jù)進(jìn)行處理.通過數(shù)學(xué)處理手段,攝像機(jī)定標(biāo)提供了專業(yè)測量攝像機(jī)與非量測攝像機(jī)的聯(lián)系.而所謂的非量測攝像機(jī)是指這樣一類攝像機(jī),其內(nèi)部參數(shù)完全未知、部分未知或者原則上不穩(wěn)定.攝像機(jī)的內(nèi)部參數(shù)指的是攝像機(jī)成像的基本參數(shù),如主點(diǎn)(圖像中心)、焦距、徑向鏡頭畸變、偏軸鏡頭畸變以及其它系統(tǒng)誤差參數(shù).對于計(jì)算機(jī)視覺研究而言,在利用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)對三維景物的描述、識別和理解這一任務(wù)時,CCD攝像機(jī)是對物理世界進(jìn)行三維重建的一種基本測量工具,這時攝像機(jī)定標(biāo)被認(rèn)為是實(shí)現(xiàn)三維歐氏空間立體視覺的基本而又關(guān)鍵的一步.總體來說,其計(jì)算方法與攝影測量學(xué)中所使用基本相同.這些問題在計(jì)算機(jī)視覺中得到了進(jìn)一步研究,這是因?yàn)橛?jì)算機(jī)視覺中的問題與攝影測量學(xué)中的問題相比,有著顯著不同的特點(diǎn):1)計(jì)算機(jī)視覺系統(tǒng)中使用CCD攝像機(jī)作為價格低廉的非量測攝像機(jī).攝像機(jī)參數(shù)未知或者不穩(wěn)定,從而導(dǎo)致成像過程不穩(wěn)定,并且CCD攝像機(jī)數(shù)字化圖像分辨率低,存在量化誤差,存在較大的非線性鏡頭畸變.2)計(jì)算機(jī)視覺中所測量的一般為近景,為了使系統(tǒng)小巧,兩攝像機(jī)之間的基線長度不可能很長,從而使得系統(tǒng)計(jì)算誤差較大.3)在計(jì)算機(jī)視覺中,進(jìn)行三維重建需要大數(shù)量的圖像點(diǎn),有時要求實(shí)時地處理數(shù)據(jù)并給出結(jié)果.此外,不同的應(yīng)用背景也對定標(biāo)技術(shù)提出了不同的要求.在立體計(jì)算機(jī)視覺中,如果系統(tǒng)的任務(wù)是物體識別,則物體相對于某一個參考坐標(biāo)系的絕對定位顯得并不特別重要,更重要的是物體特征點(diǎn)間相對位置的精度.舉例來說,在一個基于CAD的物體識別系統(tǒng)中,所研究的物體上的特征的相對位置必須具有足夠高的精度,才能進(jìn)行有效的匹配和識別.如果系統(tǒng)的任務(wù)是物體的定位,相對于某一個參考坐標(biāo)系的絕對定位精度就特別重要.例如,在一個自主車輛導(dǎo)航系統(tǒng)中.自主式移動機(jī)器人必須準(zhǔn)確地知道其自身的位置、工作空間中障礙物的位置、以及障礙物的運(yùn)動情況,才能有效地、安全地進(jìn)行導(dǎo)航.CCD攝像機(jī)的上述特點(diǎn)和應(yīng)用問題的要求使得定標(biāo)技術(shù)、精度和實(shí)時性等問題的研究顯得特別重要,同時也導(dǎo)致了研究成果的多樣性.攝像機(jī)參數(shù)總是相對于某種幾何成像模型的,這個模型是對光學(xué)成像過程的簡化,比如最常用的針孔模型,它是攝像機(jī)定標(biāo)研究的基本模型.然而很多情況下這種線性模型不能準(zhǔn)確描述攝像機(jī)成像的幾何關(guān)系,如在近距、廣角時的情形,因此還需要考慮線性或非線性的畸變補(bǔ)償后,才能更合理地看作針孔模型成像過程.利用校正后的模型進(jìn)行三維重建才能得到更高的精度.因此成像模型和畸變補(bǔ)償成為計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)研究的重點(diǎn).上述這些內(nèi)容構(gòu)成了傳統(tǒng)攝像機(jī)定標(biāo)研究的主要問題.其基本方法是,在一定的攝像機(jī)模型下基于特定的實(shí)驗(yàn)條件如形狀尺寸已知的定標(biāo)參照物經(jīng)過對其圖像進(jìn)行處理利用一系列數(shù)學(xué)變換和計(jì)算方法,求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù),大致有基于單幀圖像的基本方法和基于多幀已知對應(yīng)關(guān)系的立體視覺方法.另一種重要的應(yīng)用背景是,在很多情況下,由于存在經(jīng)常性調(diào)整攝像機(jī)的要求,而且設(shè)置已知的定標(biāo)參照物也不現(xiàn)實(shí),這時就需要一種不依賴定標(biāo)參照物的所謂攝像機(jī)自定標(biāo)方法,成為目前攝像機(jī)定標(biāo)研究的重點(diǎn).總的來看,現(xiàn)有的攝像機(jī)定標(biāo)技術(shù)大體可以歸結(jié)為兩類:傳統(tǒng)的攝像機(jī)定標(biāo)方法和攝像機(jī)自定標(biāo)方法.2畸變補(bǔ)償?shù)亩?biāo)方法從計(jì)算思路的角度上看,傳統(tǒng)的攝像機(jī)定標(biāo)方法可以分成四類,即利用最優(yōu)化算法的定標(biāo)方法,利用攝像機(jī)變換矩陣的定標(biāo)方法,進(jìn)一步考慮畸變補(bǔ)償?shù)膬刹椒ê筒捎酶鼮楹侠淼臄z像機(jī)成像模型的雙平面定標(biāo)方法.文中按照求解算法的特點(diǎn)將它分為直接非線性最小化方法(迭代法)、閉式求解方法和兩步法,也不失為一種好的劃分方法.2.1定標(biāo)過程中的問題這一類攝像機(jī)定標(biāo)方法的優(yōu)點(diǎn)是,可以假設(shè)攝像機(jī)的光學(xué)成像模型非常復(fù)雜,包括成像過程中各種因素.然而由此帶來的問題是:1)攝像機(jī)定標(biāo)的結(jié)果取決于攝像機(jī)的初始給定值,如果初始值給得不恰當(dāng),很難通過優(yōu)化程序得到正確的定標(biāo)結(jié)果.2)優(yōu)化程序非常費(fèi)時,無法實(shí)時地得到定標(biāo)結(jié)果.2.1.1fa空間方程的實(shí)現(xiàn)文的定標(biāo)方法是這一類定標(biāo)技術(shù)的典型代表.他考慮了攝像機(jī)成像過程中的各種因素,精心設(shè)計(jì)了攝像機(jī)成像模型.對于每一幅圖像,利用了至少17個參數(shù)來描述其與三維物體空間的約束關(guān)系,計(jì)算量非常大.由于引進(jìn)的參數(shù)比較多,并使用了特殊的專業(yè)量測像機(jī)(其所攝取的照片的分辨率比普通的固態(tài)成像感光陣列高4倍以上),在圖像投射和三維重建時取得了很高的精度.對于Faig所使用的方法,我們還要提及注意的一點(diǎn)是,他利用的約束條件是針孔攝像機(jī)模型的共面約束條件.他所使用的方法實(shí)際上是一種自定標(biāo)方法.我們要指出這一點(diǎn)的原因是,攝像機(jī)自定標(biāo)技術(shù)的討論也是本文的一個重要內(nèi)容.2.1.2直接線性變換方法的含義直接線性變換方法是Abdel-Aziz和Karara首先于1971年提出的.通過求解線性方程的手段就可以求得攝像機(jī)模型的參數(shù),這是直接線性變換方法的吸引力之所在.然而這種方法完全沒有考慮攝像機(jī)過程中的非線性畸變問題,為了提高定標(biāo)精度,非線性最優(yōu)化算法仍不可避免.正如Karara自己所指出的那樣,當(dāng)我們首先提出直接線性變換方法時,我們給出了一組基本的線性約束方程,用來表示攝像機(jī)坐標(biāo)系與三維物體空間坐標(biāo)系之間的線性變換關(guān)系,沒有考慮成像時任何的非線性補(bǔ)償問題并將相應(yīng)的參數(shù)引入約束方程.然而到后來,直接線性變換方法改進(jìn)擴(kuò)充到能包括這些非線性因素,并使用非線性的手段求解時,直接線性變換方法這個術(shù)語卻沒有改變.這段說明指出了直接線性變換方法具有兩種含義,一種含義是直接通過求解一組線性方程得到攝像機(jī)的有關(guān)參數(shù);另一種含義是求解的過程不排除使用非線性優(yōu)化算法直接線性變換方法是對攝影測量學(xué)中的傳統(tǒng)方法的一種簡化.盡管從得到的直接線性變換矩陣可以求取攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù),但也可以不必這樣做.與攝影測量學(xué)中的傳統(tǒng)方法相比,更符合計(jì)算機(jī)視覺中應(yīng)用問題的要求和所使用的CCD攝像機(jī)的特點(diǎn),成為連接攝影測量學(xué)的計(jì)算機(jī)視覺之間的橋梁.兩個領(lǐng)域都可以使用直接線性變換方法對攝像進(jìn)行標(biāo)定.直接線性變換方法所使用的模型是其中(xw,yw,zw)是三維物體空間中控制點(diǎn)的坐標(biāo),(u,v)是圖像上對應(yīng)于三維控制點(diǎn)的圖像點(diǎn)的坐標(biāo),lij是直接線性變換方法的待定參數(shù).不失一般性,我們可以令l23=1.如果知道N(N>5)個標(biāo)準(zhǔn)參照物的控制點(diǎn)的坐標(biāo)(xw,yw,zw)及其對應(yīng)的圖像上的坐標(biāo)(u,v),11個參數(shù)就可以用線性最小二乘算法計(jì)算.當(dāng)不考慮攝像機(jī)成像過程鏡頭的非線性畸變時,直接線性變換方法可以劃分為我們下面將要討論的一類定標(biāo)方法.當(dāng)考慮非線性畸變時,直接線性變換方法中圖像點(diǎn)與三維空間中控制點(diǎn)的對應(yīng)關(guān)系則是在這里,(xwi,ywi,zwi)是標(biāo)準(zhǔn)參照物上的控制點(diǎn)坐標(biāo),且(ui,vi)是標(biāo)準(zhǔn)參照物上控制點(diǎn)對應(yīng)的實(shí)際圖像坐標(biāo).這些圖像點(diǎn)利用數(shù)字圖像處理技術(shù)獲得.(ui～,vi～)是校正后的圖像點(diǎn)坐標(biāo).Δui(ui,vi)和Δvi(ui,vi)是在圖像點(diǎn)(ui,vi)處的鏡頭畸變校正.由此我們可以看出,在直接線性變換方法中,非線性畸變因素的引入是非常方便的.Dainis和Juberts在文中給出了利用直接線性變換方法進(jìn)行攝像機(jī)定標(biāo)的結(jié)果,他們的系統(tǒng)是為了準(zhǔn)確的測量機(jī)器人的運(yùn)動軌跡.該系統(tǒng)能夠?qū)崟r地測量出機(jī)器人的運(yùn)動軌跡,但并不要求定標(biāo)算法對系統(tǒng)的標(biāo)定是實(shí)時的.2.2基于機(jī)械壓射的圖像定標(biāo)方法從攝影測量學(xué)中的傳統(tǒng)方法可以看出,刻劃三維空間坐標(biāo)系與二維圖像坐標(biāo)系關(guān)系的方程一般說來是攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的非線性方程.如果忽略攝像機(jī)鏡頭的非線性畸變并且把透視變換矩陣中的元素作為未知數(shù),給定一組三維控制點(diǎn)和對應(yīng)的圖像點(diǎn),就可以利用線性方法求解透視變換矩陣中的各個元素.嚴(yán)格來說,基于攝像機(jī)針孔模型的透視變換矩陣方法與直接線性變換方法沒有本質(zhì)的區(qū)別,而且透視變換矩陣與直接線性變換矩陣之間只相差一個比例因子.基于兩者都可以計(jì)算攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)這一類定標(biāo)方法的優(yōu)點(diǎn)是不需利用最優(yōu)化方法來求解攝像機(jī)的參數(shù).從而運(yùn)算速度快,能夠?qū)崿F(xiàn)攝像機(jī)參數(shù)的實(shí)時的計(jì)算.缺點(diǎn)是:1)定標(biāo)過程中不考慮攝像機(jī)鏡頭的非線性畸變,定標(biāo)精度受到影響;2)線性方程中未知參數(shù)的個數(shù)大于要求解的獨(dú)立的攝像機(jī)模型參數(shù)的個數(shù),線性方程中未知數(shù)不是相互獨(dú)立的.這種過分參數(shù)化的缺點(diǎn)是,在圖像含有噪音的情況下,解得線性方程中的未知數(shù)也許能很好的符合這一組線性方程,但由此分解得到的參數(shù)值卻未必與實(shí)際情況很好地符合.利用透視變換矩陣的攝像機(jī)定標(biāo)方法被廣泛應(yīng)用于實(shí)際的系統(tǒng),并取得了滿意的結(jié)果[7～10].Ganapathy在文中首先給出了一個由透視變換矩陣求解攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的方法,并對分解過程作了詳細(xì)的分析.2.3攝像機(jī)橫向間距和外部因果關(guān)系攝影測量學(xué)中的傳統(tǒng)方法要使用最優(yōu)化算法求解未知參數(shù),求解的結(jié)果常常取決于給定的初始值.如果初始值給定不合適,就很難得到正確的結(jié)果.直接線性變換方法或者透視變換矩陣方法可以利用線性方法求解攝像機(jī)參數(shù),其缺點(diǎn)是沒有考慮鏡頭的非線性畸變、精度不高.如果先利用直接線性變換方法或者透視變換矩陣方法求解攝像機(jī)參數(shù),再以求得的參數(shù)為初始值,考慮畸變因素,并利用最優(yōu)化算法進(jìn)一步提高定標(biāo)精度,這就形成了所謂的兩步法.Tsai在他的論文中所使用的是典型的兩步法.在他的方法中,CCD陣列中感光元的橫向間距和縱向間距被認(rèn)為是已知,其數(shù)值是靠攝像機(jī)廠家提供的.他所假設(shè)的攝像機(jī)內(nèi)部和外部參數(shù)分別是:1)f等效焦距;2)k1,k2鏡頭畸變參數(shù);3)sx非確定性標(biāo)度因子,它是有攝像機(jī)橫向掃描與采樣定時誤差引起的;4)(Cx,Cy)圖像中心或主點(diǎn);5)t三維空間坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量.Tsai的兩步法基于以下幾點(diǎn)觀察,參照圖1.1)假設(shè)攝像機(jī)鏡頭的畸變是徑向的,無論畸變?nèi)绾巫兓?從圖像中心點(diǎn)i到圖像點(diǎn)(xd,yd)的向量OiPd的方向保持不變,且與PozP平行.如圖1所示,Poz是光軸上的一點(diǎn),其Z坐標(biāo)與物點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)值相同;2)等效焦距f對xd和yd產(chǎn)生同樣的影響,所以f的大小不影響向量OiPd的方向;3)當(dāng)世界坐標(biāo)系沿著x和y軸放置和平移,使得在每一點(diǎn)有OiPd平行于PozP,然后坐標(biāo)系沿著z方向平移時,對xu和yu的影響相同,從而向量OiPd的方向保持不變;4)在每一點(diǎn)處向量OiPd與PozP的約束條件與徑向畸變表達(dá)式的系數(shù)、等效焦距、三維空間平移向量t的z分量無關(guān).這一約束條件對于確定三維空間的旋轉(zhuǎn)矩陣R、從三維世界坐標(biāo)系到攝像機(jī)坐標(biāo)系平移向量的x和y分量、非確定性標(biāo)度因子sx是充分的.Tsai說明了上面的平行約束條件對參數(shù)的確是很有利的.它不僅對唯一的確定外部參數(shù)和內(nèi)部參數(shù)中的標(biāo)度因子sx是充分的,而且對這些參數(shù)的求解歸結(jié)為求解具有五至七個參數(shù)的線性方程.Tsai的方法只考慮了徑向畸變,沒有考慮切向畸變.在文中同時考慮了切向畸變,并給出了相應(yīng)的算法,是對兩步發(fā)的重要發(fā)展,此外,他的工作還提出了定標(biāo)精度的分析方法.2.4圖像點(diǎn)的獲取研究人員在傳統(tǒng)攝像機(jī)定標(biāo)研究的另一方向也作了深入的探討.這就是尋找更合理的攝像機(jī)模型,使之更全面、更有效地表示CCD攝像機(jī)實(shí)際成像過程.Martins等首先提出了雙平面模型(two-planemodel).馬頌德和魏國慶在利用雙平面模型標(biāo)定攝像機(jī)參數(shù)方面做了大量的研究工作[14～16].這種方法的優(yōu)點(diǎn)是利用線性方法就可以解有關(guān)參數(shù);缺點(diǎn)是要求解大量的未知參數(shù),存在過分參數(shù)化的傾向.雙平面模型與針孔模型的基本區(qū)別在于,雙平面模型不像針孔模型那樣要求所有投射到面像平面上的光線必須經(jīng)過光心.給定成像平面上的任意一個圖像點(diǎn),便能夠計(jì)算出兩個定標(biāo)平面上的相應(yīng)點(diǎn),從而確定了投射到成像平面上產(chǎn)生該圖像點(diǎn)的光線.雙平面模型示于圖2中.對每一個定標(biāo)平面,利用一組定標(biāo)點(diǎn)建立彼此獨(dú)立的插值公式.雖然插值公式是可逆的,但其逆過程需要一個搜索算法,所以所建立的模型一般只用于從圖像到定標(biāo)平面的映射過程.在文中,提出了三種插值方法:線性插值、二次插值和線性樣條插值.線性近似時,定標(biāo)平面上相應(yīng)點(diǎn)坐標(biāo)表示成圖像點(diǎn)坐標(biāo)的線性組合.計(jì)算公式為這里L(fēng)=(u,v,1)T是圖像點(diǎn)的齊次坐標(biāo);pi=(xi,yi,zi)T是第i個定標(biāo)平面上的相應(yīng)點(diǎn);Ai是一個3×3的回歸參數(shù)矩陣.要確定所有的參數(shù)值,對于每一個平面應(yīng)該知道至少三點(diǎn).當(dāng)已知N(N>3)個定標(biāo)點(diǎn)時,Ai可以利用最小二乘技術(shù)求解,求解T公式為T-1其中P和L是3×N階矩陣,其第j列分別是向量pi和Li所對應(yīng)的第j個定標(biāo)點(diǎn).在一般情況下,Ai總共有18個特定參數(shù).當(dāng)兩個定標(biāo)平面平行于XY平面時,兩個回歸參數(shù)矩陣的第三行具有(0,0,zi)的形式,故此未知數(shù)目減至12個.利用兩次插值對兩個定標(biāo)平面進(jìn)行二階近似,Q=(u2,v2,uv,u,v,1)T;Pi=(Xi,Yi,Zi)T是第i個定標(biāo)平面上的相應(yīng)點(diǎn);Ai是一個3×6的回歸參數(shù)矩陣.要確定所有的參數(shù)值,對于每一個平面應(yīng)該至少知道6點(diǎn).當(dāng)已知N(N>6)個定標(biāo)點(diǎn)時,Ai同樣可以利用最小二乘技術(shù)求解.與第一種情況相似,在一般情況下,總共有36個待定參數(shù).當(dāng)兩個定標(biāo)平面平行于XY平面時,兩個回歸參數(shù)矩陣的未知參數(shù)數(shù)目可以減少24個.使用線性樣條插值近似兩個定標(biāo)平面時,定標(biāo)點(diǎn)越多,近似結(jié)果就越準(zhǔn)確.對于每一個線性樣條平面近似時至少需要三個點(diǎn).每三個相鄰的最近點(diǎn)定義一個插值平面.對每一個近似插值平面的求解與第一種情況相似.馬頌德和魏國慶在他們的文章中,通過對成像過程的分析,并考慮了鏡頭畸變因素,提出了利用下式作為從圖像到兩個定標(biāo)平面的回歸模型并進(jìn)行實(shí)驗(yàn)驗(yàn)證,該方法的優(yōu)點(diǎn)是全部非線性模型參數(shù)可以用線性方法求解.3射影意義下的定標(biāo)和所做的定義在小孔模型下,攝像機(jī)自定標(biāo)可以在三個層次上進(jìn)行.在對外參數(shù)一無所知的條件下,即對空間結(jié)構(gòu)不作任何假設(shè),攝像機(jī)的運(yùn)動也不能量化描述,這時的定標(biāo)只能給出投影矩陣M,而不能從中分解出攝像機(jī)內(nèi)外參數(shù),這是射影意義下的定標(biāo).如果假設(shè)成像深度足夠大,即滿足平行投影條件,這是可以進(jìn)行仿射意義下的定標(biāo),其結(jié)果是由無窮遠(yuǎn)點(diǎn)引入的同形(Homography)矩陣.如果能精確得到攝像機(jī)運(yùn)動的外參數(shù),投影矩陣的分解就可能是唯一的,這時可以得到攝像機(jī)內(nèi)參數(shù),這是最理想的自定標(biāo).關(guān)于這個問題的詳細(xì)論述請參閱文,本節(jié)我們講述目前自定標(biāo)研究的幾種主要結(jié)果.3.1利用點(diǎn)對應(yīng)求運(yùn)動的tionofpo2004問題假設(shè)攝像機(jī)的光學(xué)成像模型為針孔模型,基本矩陣所定義的是基于兩幅圖像上點(diǎn)的對應(yīng)關(guān)系的基本幾何約束關(guān)系.這個基本的幾何約束關(guān)系表示如下:其中E=TR稱為本質(zhì)矩陣,R是旋轉(zhuǎn)矩陣,T是由平移向量元素構(gòu)成的斜對稱矩陣,它們描述了兩個攝像機(jī)坐標(biāo)系之間的位置關(guān)系.本質(zhì)矩陣是由Longuet-Higgins教授首先引入的.因?yàn)楸举|(zhì)矩陣只包含攝像機(jī)外部參數(shù)信息,即兩個攝像機(jī)坐標(biāo)系之間相對運(yùn)動關(guān)系,所以根據(jù)本質(zhì)矩陣能夠求得攝像機(jī)的外部參數(shù).這就是所謂的通過點(diǎn)對應(yīng)求運(yùn)動的(tionfrompointmatches)問題.O.D.Faugeras和S.Maybank在文中詳細(xì)地分析了Motionfrompointmatches問題的解的性質(zhì),證明了該問題的多解性.他們通過代數(shù)幾何和傳統(tǒng)射影幾何兩種途徑給出了此問題解的性質(zhì)的證明.記本質(zhì)矩陣為E,則矩陣E滿足下列關(guān)系:由上式得到九個三次多項(xiàng)式方程.這九個多項(xiàng)式方程是線性獨(dú)立的,它們定義了矩陣E的一個代數(shù)流形M.在給定5對對應(yīng)點(diǎn)時,M的維數(shù)是5,度數(shù)是10,E的解的最大個數(shù)是10.在給定足夠多對對應(yīng)點(diǎn)時,E的解的最大個數(shù)是3.假設(shè)攝像機(jī)的內(nèi)部參數(shù)是fx,fy,u0,v0,圖像點(diǎn)P1和P2的齊次坐標(biāo)分別是u1=(u1v1)T和u2=(u2v21)T,則方程(3)的向量m1和m2可以表示成這里把方程式(3)和(4)代入方程(2),則有其中就是基本矩陣.可見,基本矩陣不僅包含了攝像機(jī)的外部參數(shù)信息,而且也包含了攝像機(jī)的內(nèi)部參數(shù)信息.求得基本矩陣后,由此可以進(jìn)一步求解內(nèi)部參數(shù)或者外部參數(shù)或者兩者.另外,基于基本矩陣也可以求取外極線變換的參數(shù)[19～21].3.2次運(yùn)動相聯(lián)的外極限.文獻(xiàn)對利用絕對二次曲線和外極線變換性質(zhì)的攝像機(jī)定標(biāo)方法進(jìn)行了研究,其主要思想如下:Kruppa方程將外極線變換與絕對二次曲線K的圖像k聯(lián)系起來.k仍然是攝像機(jī)成像平面上的二次曲線,其確定了攝像機(jī)的內(nèi)部參數(shù).Kruppa方程提供了從外極線變換求取攝像機(jī)的內(nèi)部參數(shù)的途徑,而這些外極線變換與攝像機(jī)的運(yùn)動相聯(lián)系.為了確定絕對二次曲線K的圖像k,攝像機(jī)必須至少運(yùn)動三次、求得三個外極線變換.絕對二次曲線是無窮遠(yuǎn)平面上的一個特殊的二次曲線,其與空間的歐氏性質(zhì)緊密相關(guān).在射影空間P3的笛卡爾坐標(biāo)系下,絕對二次曲線K的方程是絕對二次曲線K在剛體運(yùn)動下不變的性質(zhì),使得其圖像k與攝像機(jī)的方位無關(guān).它只決定于攝像機(jī)的內(nèi)部參數(shù)矩陣A.攝像機(jī)從位置a移動到位置b,k是連接a處到b處攝像機(jī)光心的連線,P和P′是與此次運(yùn)動相聯(lián)的外極點(diǎn).實(shí)際上,外極點(diǎn)和在第一個成像平面上的投影;外極點(diǎn)′是k在第二個平面上的投影.C是過k的任一平面,其在第一個成像平面和第二個成像平面上的投影分別為l和l′.外極線變換定義了一個從經(jīng)過P的直線到經(jīng)過P′的直線的一個同形(homography),且滿足上面定義的l和l′的對應(yīng)關(guān)系.符號Λ-表示同形對應(yīng),例如由于攝像機(jī)成像平面上的K的圖像k與攝像機(jī)的位置無關(guān),如果平面C與絕對二次曲線K相切,則C在兩個成像平面上的投影1和1′都與k相切.由此進(jìn)一步我們可以得到,經(jīng)過P與k相切的兩條切線通過外極線變換和經(jīng)過P′與k相切的兩條線對應(yīng).與k相切的外極線相對應(yīng)這個條件給出了兩個約束關(guān)系,它們將外極線變換與圖像k聯(lián)系起來.Kruppa方程是這兩個束關(guān)系的代數(shù)形式描述.在第一個像平面上使用射影坐標(biāo)(y1,y2,y3).利用外極線與定直線y3=0相交的關(guān)系可以把相應(yīng)的外極線參數(shù)化.設(shè)〈p,y〉為過點(diǎn)P和y的一條外極線,任意一點(diǎn)X落在〈p,y〉上當(dāng)且僅當(dāng)(p×y)X=0.又設(shè)D是二次曲線k的對偶二次曲線,根據(jù)D的定義,〈p,y〉與k相切當(dāng)且僅當(dāng)它落在這條二次曲線上,即其中D的定義為上式一共含6個參數(shù),由k確定D時存在一個比例因子.如果把這個標(biāo)度因子也考慮在內(nèi),D有5個自由度.令y3=0并將(8)式代入(7)式,有其中同樣,根據(jù)攝像機(jī)第二個成像平面上的外極線〈p′,y′〉與圖像k相切約束關(guān)系可以得到一個與(9)式類似的約束關(guān)系:其中系數(shù)的計(jì)算關(guān)系式也與(1)式相類似.外極線變換規(guī)定了一個從直線y3=0到直線y′3=0的一個雙線性變換N.如果y=(y1,y2,0)T且y′=(y1,y2,0)T,則〈p,y〉Λ-〈p′,y′〉成立,當(dāng)且僅當(dāng)y′=Ny.令f=y2/y1,f′=y′2/y′1,則雙線性變換N可表示為已知兩個外極點(diǎn)p,p′(關(guān)于利用對應(yīng)點(diǎn)求取外極點(diǎn)的問題請參閱文獻(xiàn)[19～21])和一組對應(yīng)點(diǎn)qiq′i,1≤i≤n,利用并對方程(12)應(yīng)用最小二乘技術(shù),即可求得參數(shù),,,.已知參數(shù)a,b,c,d之后,由方程(9),(11)和(12)可得下面的關(guān)系:方程(14)中的每一個方程是f的二次方程,兩個方程只相差一個比例因子,具有相同的根.兩個方程的系數(shù)之比對應(yīng)相等,我們得到Kruppa方程如下:由攝像機(jī)的每一次運(yùn)動,我們可以得到如(15)式的兩個約束關(guān)系.從而三次攝像機(jī)運(yùn)動給出六個約束關(guān)系.利用這六個約束關(guān)系即可求得對偶曲線D.D與攝像機(jī)內(nèi)部參數(shù)矩陣的關(guān)系是3.3機(jī)械手末端積分球中的旋轉(zhuǎn)矩陣馬頌德提出了利用主動視覺系統(tǒng)控制攝像機(jī)做兩組互垂直的運(yùn)動,進(jìn)行手-眼定標(biāo)的方法.通常,用于手-眼定標(biāo)的基本約束關(guān)系是這里R和t是攝像機(jī)坐標(biāo)系相對于機(jī)械手末端關(guān)節(jié)附體坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量;Rc1和tc1是用攝像機(jī)坐標(biāo)表示的攝像機(jī)或者機(jī)械手的運(yùn)動;Rp1和tp1是用機(jī)械手末端關(guān)節(jié)附體坐標(biāo)表示的機(jī)械手運(yùn)動.如果機(jī)械手只做平移運(yùn)動,即Rc1=Rp1=E,則式(17)可以寫成如果攝像機(jī)只做平移運(yùn)動,由連結(jié)運(yùn)動前后兩幅圖像上的對應(yīng)點(diǎn)得到的向量相交于一點(diǎn),該點(diǎn)稱為FocusofExpansion(FOE).并且,連接攝像機(jī)光心O(與FOE)的連線平行于攝像機(jī)運(yùn)動的方向.3.3.1化向量的圖像攝像機(jī)在三個不共面方向tp1,tp2,tp3上做平移運(yùn)動,tp1,tp2,tp3都是規(guī)一化向量.F1,F2,F3分別是三幅圖像上相應(yīng)的FOE.故有OF1,OF2,OF3分別平行于tp1,tp2,tp3.設(shè)Fi(i=1,2,3)的圖像坐標(biāo)是(Ui,Vi)(i=1,2,3),則有設(shè)Fi(i=1,2,3)的規(guī)一化向量是tci(i=1,2,3),則可以通過下式求得3.3.2攝像機(jī)參數(shù)的線性方程求取攝像機(jī)內(nèi)部參數(shù)時,要求機(jī)械手控制攝像機(jī)在三個相互垂直的方向上做平移運(yùn)動.所以有(OFi)T(OFj)=0,(i,j=1,2,3,i≠j),利用(19)式將此式展開得到把(20)分別減去(21),(22),并且令x=u0,y=v0fx2/fy2,z=fx2/fy2,可以得到下列兩個x,y,z的線性方程:要解得x,y,z機(jī)械手需控制攝像機(jī)做另一組相互正交的運(yùn)動,從而得到另外兩個與(23)式和(24)式類似的線性方程.攝像機(jī)內(nèi)部參數(shù)能夠進(jìn)一步由x,y,z計(jì)算得到.3.3.3動態(tài)切變線檢測如果攝像機(jī)的運(yùn)動不是純粹的平移,可以利用(17)式求解平移向量t.在式(17)中,R,Rp1,tp1已知,若能解得tc1,問題就得以解決.求解tc1的步驟如下:1)攝像機(jī)處于位置A時,其坐標(biāo)系原點(diǎn)為O1,重建任意三維物點(diǎn)P.作為一種重建P的簡單情況,