計(jì)算機(jī)視覺(jué)中的攝像定標(biāo)

計(jì)算機(jī)視覺(jué)中的攝像定標(biāo)

1圖像非量測(cè)定標(biāo)技術(shù)計(jì)算機(jī)視覺(jué)的基本任務(wù)之一是從攝像頭獲得的圖像信息開(kāi)始計(jì)算和識(shí)別三維圖像中的幾何信息，并重建和識(shí)別對(duì)象。圖像中的點(diǎn)的三維幾何位置與圖像中的對(duì)應(yīng)點(diǎn)之間的關(guān)系是由攝像頭成像的幾何模型決定的。這些幾何模型的參數(shù)是攝像頭的參數(shù)。在大多數(shù)情況下，這些參數(shù)必須通過(guò)實(shí)驗(yàn)和計(jì)算獲得。這個(gè)過(guò)程被稱為攝像頭校正?？紤]到同時(shí)期攝影測(cè)量中的相同問(wèn)題，我們?cè)谶@一方向上取得了許多研究成果。從計(jì)算機(jī)視覺(jué)的角度來(lái)看，考慮到攝像頭校正在理論和實(shí)踐中的重要價(jià)值，學(xué)術(shù)界在過(guò)去10年的研究中進(jìn)行了大量的研究，在不同的出發(fā)點(diǎn)和思路上取得了一些成果。在不同的問(wèn)題背景下，它們具有各自的應(yīng)用價(jià)值。我們認(rèn)為，對(duì)現(xiàn)有方法進(jìn)行分類、比較和分類對(duì)于闡明兩者之間的關(guān)系非常重要。攝像機(jī)定標(biāo)技術(shù)早就應(yīng)用于攝影測(cè)量學(xué)[1～3].攝影測(cè)量學(xué)中所使用的方法是數(shù)學(xué)解析分析的方法,在定標(biāo)過(guò)程中通常要利用數(shù)學(xué)方法對(duì)從數(shù)字圖像中獲得的數(shù)據(jù)進(jìn)行處理.通過(guò)數(shù)學(xué)處理手段,攝像機(jī)定標(biāo)提供了專業(yè)測(cè)量攝像機(jī)與非量測(cè)攝像機(jī)的聯(lián)系.而所謂的非量測(cè)攝像機(jī)是指這樣一類攝像機(jī),其內(nèi)部參數(shù)完全未知、部分未知或者原則上不穩(wěn)定.攝像機(jī)的內(nèi)部參數(shù)指的是攝像機(jī)成像的基本參數(shù),如主點(diǎn)(圖像中心)、焦距、徑向鏡頭畸變、偏軸鏡頭畸變以及其它系統(tǒng)誤差參數(shù).對(duì)于計(jì)算機(jī)視覺(jué)研究而言,在利用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)對(duì)三維景物的描述、識(shí)別和理解這一任務(wù)時(shí),CCD攝像機(jī)是對(duì)物理世界進(jìn)行三維重建的一種基本測(cè)量工具,這時(shí)攝像機(jī)定標(biāo)被認(rèn)為是實(shí)現(xiàn)三維歐氏空間立體視覺(jué)的基本而又關(guān)鍵的一步.總體來(lái)說(shuō),其計(jì)算方法與攝影測(cè)量學(xué)中所使用基本相同.這些問(wèn)題在計(jì)算機(jī)視覺(jué)中得到了進(jìn)一步研究,這是因?yàn)橛?jì)算機(jī)視覺(jué)中的問(wèn)題與攝影測(cè)量學(xué)中的問(wèn)題相比,有著顯著不同的特點(diǎn):1)計(jì)算機(jī)視覺(jué)系統(tǒng)中使用CCD攝像機(jī)作為價(jià)格低廉的非量測(cè)攝像機(jī).攝像機(jī)參數(shù)未知或者不穩(wěn)定,從而導(dǎo)致成像過(guò)程不穩(wěn)定,并且CCD攝像機(jī)數(shù)字化圖像分辨率低,存在量化誤差,存在較大的非線性鏡頭畸變.2)計(jì)算機(jī)視覺(jué)中所測(cè)量的一般為近景,為了使系統(tǒng)小巧,兩攝像機(jī)之間的基線長(zhǎng)度不可能很長(zhǎng),從而使得系統(tǒng)計(jì)算誤差較大.3)在計(jì)算機(jī)視覺(jué)中,進(jìn)行三維重建需要大數(shù)量的圖像點(diǎn),有時(shí)要求實(shí)時(shí)地處理數(shù)據(jù)并給出結(jié)果.此外,不同的應(yīng)用背景也對(duì)定標(biāo)技術(shù)提出了不同的要求.在立體計(jì)算機(jī)視覺(jué)中,如果系統(tǒng)的任務(wù)是物體識(shí)別,則物體相對(duì)于某一個(gè)參考坐標(biāo)系的絕對(duì)定位顯得并不特別重要,更重要的是物體特征點(diǎn)間相對(duì)位置的精度.舉例來(lái)說(shuō),在一個(gè)基于CAD的物體識(shí)別系統(tǒng)中,所研究的物體上的特征的相對(duì)位置必須具有足夠高的精度,才能進(jìn)行有效的匹配和識(shí)別.如果系統(tǒng)的任務(wù)是物體的定位,相對(duì)于某一個(gè)參考坐標(biāo)系的絕對(duì)定位精度就特別重要.例如,在一個(gè)自主車輛導(dǎo)航系統(tǒng)中.自主式移動(dòng)機(jī)器人必須準(zhǔn)確地知道其自身的位置、工作空間中障礙物的位置、以及障礙物的運(yùn)動(dòng)情況,才能有效地、安全地進(jìn)行導(dǎo)航.CCD攝像機(jī)的上述特點(diǎn)和應(yīng)用問(wèn)題的要求使得定標(biāo)技術(shù)、精度和實(shí)時(shí)性等問(wèn)題的研究顯得特別重要,同時(shí)也導(dǎo)致了研究成果的多樣性.攝像機(jī)參數(shù)總是相對(duì)于某種幾何成像模型的,這個(gè)模型是對(duì)光學(xué)成像過(guò)程的簡(jiǎn)化,比如最常用的針孔模型,它是攝像機(jī)定標(biāo)研究的基本模型.然而很多情況下這種線性模型不能準(zhǔn)確描述攝像機(jī)成像的幾何關(guān)系,如在近距、廣角時(shí)的情形,因此還需要考慮線性或非線性的畸變補(bǔ)償后,才能更合理地看作針孔模型成像過(guò)程.利用校正后的模型進(jìn)行三維重建才能得到更高的精度.因此成像模型和畸變補(bǔ)償成為計(jì)算機(jī)視覺(jué)中攝像機(jī)定標(biāo)研究的重點(diǎn).上述這些內(nèi)容構(gòu)成了傳統(tǒng)攝像機(jī)定標(biāo)研究的主要問(wèn)題.其基本方法是,在一定的攝像機(jī)模型下基于特定的實(shí)驗(yàn)條件如形狀尺寸已知的定標(biāo)參照物經(jīng)過(guò)對(duì)其圖像進(jìn)行處理利用一系列數(shù)學(xué)變換和計(jì)算方法,求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù),大致有基于單幀圖像的基本方法和基于多幀已知對(duì)應(yīng)關(guān)系的立體視覺(jué)方法.另一種重要的應(yīng)用背景是,在很多情況下,由于存在經(jīng)常性調(diào)整攝像機(jī)的要求,而且設(shè)置已知的定標(biāo)參照物也不現(xiàn)實(shí),這時(shí)就需要一種不依賴定標(biāo)參照物的所謂攝像機(jī)自定標(biāo)方法,成為目前攝像機(jī)定標(biāo)研究的重點(diǎn).總的來(lái)看,現(xiàn)有的攝像機(jī)定標(biāo)技術(shù)大體可以歸結(jié)為兩類:傳統(tǒng)的攝像機(jī)定標(biāo)方法和攝像機(jī)自定標(biāo)方法.2畸變補(bǔ)償?shù)亩?biāo)方法從計(jì)算思路的角度上看,傳統(tǒng)的攝像機(jī)定標(biāo)方法可以分成四類,即利用最優(yōu)化算法的定標(biāo)方法,利用攝像機(jī)變換矩陣的定標(biāo)方法,進(jìn)一步考慮畸變補(bǔ)償?shù)膬刹椒ê筒捎酶鼮楹侠淼臄z像機(jī)成像模型的雙平面定標(biāo)方法.文中按照求解算法的特點(diǎn)將它分為直接非線性最小化方法(迭代法)、閉式求解方法和兩步法,也不失為一種好的劃分方法.2.1定標(biāo)過(guò)程中的問(wèn)題這一類攝像機(jī)定標(biāo)方法的優(yōu)點(diǎn)是,可以假設(shè)攝像機(jī)的光學(xué)成像模型非常復(fù)雜,包括成像過(guò)程中各種因素.然而由此帶來(lái)的問(wèn)題是:1)攝像機(jī)定標(biāo)的結(jié)果取決于攝像機(jī)的初始給定值,如果初始值給得不恰當(dāng),很難通過(guò)優(yōu)化程序得到正確的定標(biāo)結(jié)果.2)優(yōu)化程序非常費(fèi)時(shí),無(wú)法實(shí)時(shí)地得到定標(biāo)結(jié)果.2.1.1fa空間方程的實(shí)現(xiàn)文的定標(biāo)方法是這一類定標(biāo)技術(shù)的典型代表.他考慮了攝像機(jī)成像過(guò)程中的各種因素,精心設(shè)計(jì)了攝像機(jī)成像模型.對(duì)于每一幅圖像,利用了至少17個(gè)參數(shù)來(lái)描述其與三維物體空間的約束關(guān)系,計(jì)算量非常大.由于引進(jìn)的參數(shù)比較多,并使用了特殊的專業(yè)量測(cè)像機(jī)(其所攝取的照片的分辨率比普通的固態(tài)成像感光陣列高4倍以上),在圖像投射和三維重建時(shí)取得了很高的精度.對(duì)于Faig所使用的方法,我們還要提及注意的一點(diǎn)是,他利用的約束條件是針孔攝像機(jī)模型的共面約束條件.他所使用的方法實(shí)際上是一種自定標(biāo)方法.我們要指出這一點(diǎn)的原因是,攝像機(jī)自定標(biāo)技術(shù)的討論也是本文的一個(gè)重要內(nèi)容.2.1.2直接線性變換方法的含義直接線性變換方法是Abdel-Aziz和Karara首先于1971年提出的.通過(guò)求解線性方程的手段就可以求得攝像機(jī)模型的參數(shù),這是直接線性變換方法的吸引力之所在.然而這種方法完全沒(méi)有考慮攝像機(jī)過(guò)程中的非線性畸變問(wèn)題,為了提高定標(biāo)精度,非線性最優(yōu)化算法仍不可避免.正如Karara自己所指出的那樣,當(dāng)我們首先提出直接線性變換方法時(shí),我們給出了一組基本的線性約束方程,用來(lái)表示攝像機(jī)坐標(biāo)系與三維物體空間坐標(biāo)系之間的線性變換關(guān)系,沒(méi)有考慮成像時(shí)任何的非線性補(bǔ)償問(wèn)題并將相應(yīng)的參數(shù)引入約束方程.然而到后來(lái),直接線性變換方法改進(jìn)擴(kuò)充到能包括這些非線性因素,并使用非線性的手段求解時(shí),直接線性變換方法這個(gè)術(shù)語(yǔ)卻沒(méi)有改變.這段說(shuō)明指出了直接線性變換方法具有兩種含義,一種含義是直接通過(guò)求解一組線性方程得到攝像機(jī)的有關(guān)參數(shù);另一種含義是求解的過(guò)程不排除使用非線性優(yōu)化算法直接線性變換方法是對(duì)攝影測(cè)量學(xué)中的傳統(tǒng)方法的一種簡(jiǎn)化.盡管從得到的直接線性變換矩陣可以求取攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù),但也可以不必這樣做.與攝影測(cè)量學(xué)中的傳統(tǒng)方法相比,更符合計(jì)算機(jī)視覺(jué)中應(yīng)用問(wèn)題的要求和所使用的CCD攝像機(jī)的特點(diǎn),成為連接攝影測(cè)量學(xué)的計(jì)算機(jī)視覺(jué)之間的橋梁.兩個(gè)領(lǐng)域都可以使用直接線性變換方法對(duì)攝像進(jìn)行標(biāo)定.直接線性變換方法所使用的模型是其中(xw,yw,zw)是三維物體空間中控制點(diǎn)的坐標(biāo),(u,v)是圖像上對(duì)應(yīng)于三維控制點(diǎn)的圖像點(diǎn)的坐標(biāo),lij是直接線性變換方法的待定參數(shù).不失一般性,我們可以令l23=1.如果知道N(N>5)個(gè)標(biāo)準(zhǔn)參照物的控制點(diǎn)的坐標(biāo)(xw,yw,zw)及其對(duì)應(yīng)的圖像上的坐標(biāo)(u,v),11個(gè)參數(shù)就可以用線性最小二乘算法計(jì)算.當(dāng)不考慮攝像機(jī)成像過(guò)程鏡頭的非線性畸變時(shí),直接線性變換方法可以劃分為我們下面將要討論的一類定標(biāo)方法.當(dāng)考慮非線性畸變時(shí),直接線性變換方法中圖像點(diǎn)與三維空間中控制點(diǎn)的對(duì)應(yīng)關(guān)系則是在這里,(xwi,ywi,zwi)是標(biāo)準(zhǔn)參照物上的控制點(diǎn)坐標(biāo),且(ui,vi)是標(biāo)準(zhǔn)參照物上控制點(diǎn)對(duì)應(yīng)的實(shí)際圖像坐標(biāo).這些圖像點(diǎn)利用數(shù)字圖像處理技術(shù)獲得.(ui～,vi～)是校正后的圖像點(diǎn)坐標(biāo).Δui(ui,vi)和Δvi(ui,vi)是在圖像點(diǎn)(ui,vi)處的鏡頭畸變校正.由此我們可以看出,在直接線性變換方法中,非線性畸變因素的引入是非常方便的.Dainis和Juberts在文中給出了利用直接線性變換方法進(jìn)行攝像機(jī)定標(biāo)的結(jié)果,他們的系統(tǒng)是為了準(zhǔn)確的測(cè)量機(jī)器人的運(yùn)動(dòng)軌跡.該系統(tǒng)能夠?qū)崟r(shí)地測(cè)量出機(jī)器人的運(yùn)動(dòng)軌跡,但并不要求定標(biāo)算法對(duì)系統(tǒng)的標(biāo)定是實(shí)時(shí)的.2.2基于機(jī)械壓射的圖像定標(biāo)方法從攝影測(cè)量學(xué)中的傳統(tǒng)方法可以看出,刻劃三維空間坐標(biāo)系與二維圖像坐標(biāo)系關(guān)系的方程一般說(shuō)來(lái)是攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的非線性方程.如果忽略攝像機(jī)鏡頭的非線性畸變并且把透視變換矩陣中的元素作為未知數(shù),給定一組三維控制點(diǎn)和對(duì)應(yīng)的圖像點(diǎn),就可以利用線性方法求解透視變換矩陣中的各個(gè)元素.嚴(yán)格來(lái)說(shuō),基于攝像機(jī)針孔模型的透視變換矩陣方法與直接線性變換方法沒(méi)有本質(zhì)的區(qū)別,而且透視變換矩陣與直接線性變換矩陣之間只相差一個(gè)比例因子.基于兩者都可以計(jì)算攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)這一類定標(biāo)方法的優(yōu)點(diǎn)是不需利用最優(yōu)化方法來(lái)求解攝像機(jī)的參數(shù).從而運(yùn)算速度快,能夠?qū)崿F(xiàn)攝像機(jī)參數(shù)的實(shí)時(shí)的計(jì)算.缺點(diǎn)是:1)定標(biāo)過(guò)程中不考慮攝像機(jī)鏡頭的非線性畸變,定標(biāo)精度受到影響;2)線性方程中未知參數(shù)的個(gè)數(shù)大于要求解的獨(dú)立的攝像機(jī)模型參數(shù)的個(gè)數(shù),線性方程中未知數(shù)不是相互獨(dú)立的.這種過(guò)分參數(shù)化的缺點(diǎn)是,在圖像含有噪音的情況下,解得線性方程中的未知數(shù)也許能很好的符合這一組線性方程,但由此分解得到的參數(shù)值卻未必與實(shí)際情況很好地符合.利用透視變換矩陣的攝像機(jī)定標(biāo)方法被廣泛應(yīng)用于實(shí)際的系統(tǒng),并取得了滿意的結(jié)果[7～10].Ganapathy在文中首先給出了一個(gè)由透視變換矩陣求解攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的方法,并對(duì)分解過(guò)程作了詳細(xì)的分析.2.3攝像機(jī)橫向間距和外部因果關(guān)系攝影測(cè)量學(xué)中的傳統(tǒng)方法要使用最優(yōu)化算法求解未知參數(shù),求解的結(jié)果常常取決于給定的初始值.如果初始值給定不合適,就很難得到正確的結(jié)果.直接線性變換方法或者透視變換矩陣方法可以利用線性方法求解攝像機(jī)參數(shù),其缺點(diǎn)是沒(méi)有考慮鏡頭的非線性畸變、精度不高.如果先利用直接線性變換方法或者透視變換矩陣方法求解攝像機(jī)參數(shù),再以求得的參數(shù)為初始值,考慮畸變因素,并利用最優(yōu)化算法進(jìn)一步提高定標(biāo)精度,這就形成了所謂的兩步法.Tsai在他的論文中所使用的是典型的兩步法.在他的方法中,CCD陣列中感光元的橫向間距和縱向間距被認(rèn)為是已知,其數(shù)值是靠攝像機(jī)廠家提供的.他所假設(shè)的攝像機(jī)內(nèi)部和外部參數(shù)分別是:1)f等效焦距;2)k1,k2鏡頭畸變參數(shù);3)sx非確定性標(biāo)度因子,它是有攝像機(jī)橫向掃描與采樣定時(shí)誤差引起的;4)(Cx,Cy)圖像中心或主點(diǎn);5)t三維空間坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量.Tsai的兩步法基于以下幾點(diǎn)觀察,參照?qǐng)D1.1)假設(shè)攝像機(jī)鏡頭的畸變是徑向的,無(wú)論畸變?nèi)绾巫兓?從圖像中心點(diǎn)i到圖像點(diǎn)(xd,yd)的向量OiPd的方向保持不變,且與PozP平行.如圖1所示,Poz是光軸上的一點(diǎn),其Z坐標(biāo)與物點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)值相同;2)等效焦距f對(duì)xd和yd產(chǎn)生同樣的影響,所以f的大小不影響向量OiPd的方向;3)當(dāng)世界坐標(biāo)系沿著x和y軸放置和平移,使得在每一點(diǎn)有OiPd平行于PozP,然后坐標(biāo)系沿著z方向平移時(shí),對(duì)xu和yu的影響相同,從而向量OiPd的方向保持不變;4)在每一點(diǎn)處向量OiPd與PozP的約束條件與徑向畸變表達(dá)式的系數(shù)、等效焦距、三維空間平移向量t的z分量無(wú)關(guān).這一約束條件對(duì)于確定三維空間的旋轉(zhuǎn)矩陣R、從三維世界坐標(biāo)系到攝像機(jī)坐標(biāo)系平移向量的x和y分量、非確定性標(biāo)度因子sx是充分的.Tsai說(shuō)明了上面的平行約束條件對(duì)參數(shù)的確是很有利的.它不僅對(duì)唯一的確定外部參數(shù)和內(nèi)部參數(shù)中的標(biāo)度因子sx是充分的,而且對(duì)這些參數(shù)的求解歸結(jié)為求解具有五至七個(gè)參數(shù)的線性方程.Tsai的方法只考慮了徑向畸變,沒(méi)有考慮切向畸變.在文中同時(shí)考慮了切向畸變,并給出了相應(yīng)的算法,是對(duì)兩步發(fā)的重要發(fā)展,此外,他的工作還提出了定標(biāo)精度的分析方法.2.4圖像點(diǎn)的獲取研究人員在傳統(tǒng)攝像機(jī)定標(biāo)研究的另一方向也作了深入的探討.這就是尋找更合理的攝像機(jī)模型,使之更全面、更有效地表示CCD攝像機(jī)實(shí)際成像過(guò)程.Martins等首先提出了雙平面模型(two-planemodel).馬頌德和魏國(guó)慶在利用雙平面模型標(biāo)定攝像機(jī)參數(shù)方面做了大量的研究工作[14～16].這種方法的優(yōu)點(diǎn)是利用線性方法就可以解有關(guān)參數(shù);缺點(diǎn)是要求解大量的未知參數(shù),存在過(guò)分參數(shù)化的傾向.雙平面模型與針孔模型的基本區(qū)別在于,雙平面模型不像針孔模型那樣要求所有投射到面像平面上的光線必須經(jīng)過(guò)光心.給定成像平面上的任意一個(gè)圖像點(diǎn),便能夠計(jì)算出兩個(gè)定標(biāo)平面上的相應(yīng)點(diǎn),從而確定了投射到成像平面上產(chǎn)生該圖像點(diǎn)的光線.雙平面模型示于圖2中.對(duì)每一個(gè)定標(biāo)平面,利用一組定標(biāo)點(diǎn)建立彼此獨(dú)立的插值公式.雖然插值公式是可逆的,但其逆過(guò)程需要一個(gè)搜索算法,所以所建立的模型一般只用于從圖像到定標(biāo)平面的映射過(guò)程.在文中,提出了三種插值方法:線性插值、二次插值和線性樣條插值.線性近似時(shí),定標(biāo)平面上相應(yīng)點(diǎn)坐標(biāo)表示成圖像點(diǎn)坐標(biāo)的線性組合.計(jì)算公式為這里L(fēng)=(u,v,1)T是圖像點(diǎn)的齊次坐標(biāo);pi=(xi,yi,zi)T是第i個(gè)定標(biāo)平面上的相應(yīng)點(diǎn);Ai是一個(gè)3×3的回歸參數(shù)矩陣.要確定所有的參數(shù)值,對(duì)于每一個(gè)平面應(yīng)該知道至少三點(diǎn).當(dāng)已知N(N>3)個(gè)定標(biāo)點(diǎn)時(shí),Ai可以利用最小二乘技術(shù)求解,求解T公式為T(mén)-1其中P和L是3×N階矩陣,其第j列分別是向量pi和Li所對(duì)應(yīng)的第j個(gè)定標(biāo)點(diǎn).在一般情況下,Ai總共有18個(gè)特定參數(shù).當(dāng)兩個(gè)定標(biāo)平面平行于XY平面時(shí),兩個(gè)回歸參數(shù)矩陣的第三行具有(0,0,zi)的形式,故此未知數(shù)目減至12個(gè).利用兩次插值對(duì)兩個(gè)定標(biāo)平面進(jìn)行二階近似,Q=(u2,v2,uv,u,v,1)T;Pi=(Xi,Yi,Zi)T是第i個(gè)定標(biāo)平面上的相應(yīng)點(diǎn);Ai是一個(gè)3×6的回歸參數(shù)矩陣.要確定所有的參數(shù)值,對(duì)于每一個(gè)平面應(yīng)該至少知道6點(diǎn).當(dāng)已知N(N>6)個(gè)定標(biāo)點(diǎn)時(shí),Ai同樣可以利用最小二乘技術(shù)求解.與第一種情況相似,在一般情況下,總共有36個(gè)待定參數(shù).當(dāng)兩個(gè)定標(biāo)平面平行于XY平面時(shí),兩個(gè)回歸參數(shù)矩陣的未知參數(shù)數(shù)目可以減少24個(gè).使用線性樣條插值近似兩個(gè)定標(biāo)平面時(shí),定標(biāo)點(diǎn)越多,近似結(jié)果就越準(zhǔn)確.對(duì)于每一個(gè)線性樣條平面近似時(shí)至少需要三個(gè)點(diǎn).每三個(gè)相鄰的最近點(diǎn)定義一個(gè)插值平面.對(duì)每一個(gè)近似插值平面的求解與第一種情況相似.馬頌德和魏國(guó)慶在他們的文章中,通過(guò)對(duì)成像過(guò)程的分析,并考慮了鏡頭畸變因素,提出了利用下式作為從圖像到兩個(gè)定標(biāo)平面的回歸模型并進(jìn)行實(shí)驗(yàn)驗(yàn)證,該方法的優(yōu)點(diǎn)是全部非線性模型參數(shù)可以用線性方法求解.3射影意義下的定標(biāo)和所做的定義在小孔模型下,攝像機(jī)自定標(biāo)可以在三個(gè)層次上進(jìn)行.在對(duì)外參數(shù)一無(wú)所知的條件下,即對(duì)空間結(jié)構(gòu)不作任何假設(shè),攝像機(jī)的運(yùn)動(dòng)也不能量化描述,這時(shí)的定標(biāo)只能給出投影矩陣M,而不能從中分解出攝像機(jī)內(nèi)外參數(shù),這是射影意義下的定標(biāo).如果假設(shè)成像深度足夠大,即滿足平行投影條件,這是可以進(jìn)行仿射意義下的定標(biāo),其結(jié)果是由無(wú)窮遠(yuǎn)點(diǎn)引入的同形(Homography)矩陣.如果能精確得到攝像機(jī)運(yùn)動(dòng)的外參數(shù),投影矩陣的分解就可能是唯一的,這時(shí)可以得到攝像機(jī)內(nèi)參數(shù),這是最理想的自定標(biāo).關(guān)于這個(gè)問(wèn)題的詳細(xì)論述請(qǐng)參閱文,本節(jié)我們講述目前自定標(biāo)研究的幾種主要結(jié)果.3.1利用點(diǎn)對(duì)應(yīng)求運(yùn)動(dòng)的tionofpo2004問(wèn)題假設(shè)攝像機(jī)的光學(xué)成像模型為針孔模型,基本矩陣所定義的是基于兩幅圖像上點(diǎn)的對(duì)應(yīng)關(guān)系的基本幾何約束關(guān)系.這個(gè)基本的幾何約束關(guān)系表示如下:其中E=TR稱為本質(zhì)矩陣,R是旋轉(zhuǎn)矩陣,T是由平移向量元素構(gòu)成的斜對(duì)稱矩陣,它們描述了兩個(gè)攝像機(jī)坐標(biāo)系之間的位置關(guān)系.本質(zhì)矩陣是由Longuet-Higgins教授首先引入的.因?yàn)楸举|(zhì)矩陣只包含攝像機(jī)外部參數(shù)信息,即兩個(gè)攝像機(jī)坐標(biāo)系之間相對(duì)運(yùn)動(dòng)關(guān)系,所以根據(jù)本質(zhì)矩陣能夠求得攝像機(jī)的外部參數(shù).這就是所謂的通過(guò)點(diǎn)對(duì)應(yīng)求運(yùn)動(dòng)的(tionfrompointmatches)問(wèn)題.O.D.Faugeras和S.Maybank在文中詳細(xì)地分析了Motionfrompointmatches問(wèn)題的解的性質(zhì),證明了該問(wèn)題的多解性.他們通過(guò)代數(shù)幾何和傳統(tǒng)射影幾何兩種途徑給出了此問(wèn)題解的性質(zhì)的證明.記本質(zhì)矩陣為E,則矩陣E滿足下列關(guān)系:由上式得到九個(gè)三次多項(xiàng)式方程.這九個(gè)多項(xiàng)式方程是線性獨(dú)立的,它們定義了矩陣E的一個(gè)代數(shù)流形M.在給定5對(duì)對(duì)應(yīng)點(diǎn)時(shí),M的維數(shù)是5,度數(shù)是10,E的解的最大個(gè)數(shù)是10.在給定足夠多對(duì)對(duì)應(yīng)點(diǎn)時(shí),E的解的最大個(gè)數(shù)是3.假設(shè)攝像機(jī)的內(nèi)部參數(shù)是fx,fy,u0,v0,圖像點(diǎn)P1和P2的齊次坐標(biāo)分別是u1=(u1v1)T和u2=(u2v21)T,則方程(3)的向量m1和m2可以表示成這里把方程式(3)和(4)代入方程(2),則有其中就是基本矩陣.可見(jiàn),基本矩陣不僅包含了攝像機(jī)的外部參數(shù)信息,而且也包含了攝像機(jī)的內(nèi)部參數(shù)信息.求得基本矩陣后,由此可以進(jìn)一步求解內(nèi)部參數(shù)或者外部參數(shù)或者兩者.另外,基于基本矩陣也可以求取外極線變換的參數(shù)[19～21].3.2次運(yùn)動(dòng)相聯(lián)的外極限.文獻(xiàn)對(duì)利用絕對(duì)二次曲線和外極線變換性質(zhì)的攝像機(jī)定標(biāo)方法進(jìn)行了研究,其主要思想如下:Kruppa方程將外極線變換與絕對(duì)二次曲線K的圖像k聯(lián)系起來(lái).k仍然是攝像機(jī)成像平面上的二次曲線,其確定了攝像機(jī)的內(nèi)部參數(shù).Kruppa方程提供了從外極線變換求取攝像機(jī)的內(nèi)部參數(shù)的途徑,而這些外極線變換與攝像機(jī)的運(yùn)動(dòng)相聯(lián)系.為了確定絕對(duì)二次曲線K的圖像k,攝像機(jī)必須至少運(yùn)動(dòng)三次、求得三個(gè)外極線變換.絕對(duì)二次曲線是無(wú)窮遠(yuǎn)平面上的一個(gè)特殊的二次曲線,其與空間的歐氏性質(zhì)緊密相關(guān).在射影空間P3的笛卡爾坐標(biāo)系下,絕對(duì)二次曲線K的方程是絕對(duì)二次曲線K在剛體運(yùn)動(dòng)下不變的性質(zhì),使得其圖像k與攝像機(jī)的方位無(wú)關(guān).它只決定于攝像機(jī)的內(nèi)部參數(shù)矩陣A.攝像機(jī)從位置a移動(dòng)到位置b,k是連接a處到b處攝像機(jī)光心的連線,P和P′是與此次運(yùn)動(dòng)相聯(lián)的外極點(diǎn).實(shí)際上,外極點(diǎn)和在第一個(gè)成像平面上的投影;外極點(diǎn)′是k在第二個(gè)平面上的投影.C是過(guò)k的任一平面,其在第一個(gè)成像平面和第二個(gè)成像平面上的投影分別為l和l′.外極線變換定義了一個(gè)從經(jīng)過(guò)P的直線到經(jīng)過(guò)P′的直線的一個(gè)同形(homography),且滿足上面定義的l和l′的對(duì)應(yīng)關(guān)系.符號(hào)Λ-表示同形對(duì)應(yīng),例如由于攝像機(jī)成像平面上的K的圖像k與攝像機(jī)的位置無(wú)關(guān),如果平面C與絕對(duì)二次曲線K相切,則C在兩個(gè)成像平面上的投影1和1′都與k相切.由此進(jìn)一步我們可以得到,經(jīng)過(guò)P與k相切的兩條切線通過(guò)外極線變換和經(jīng)過(guò)P′與k相切的兩條線對(duì)應(yīng).與k相切的外極線相對(duì)應(yīng)這個(gè)條件給出了兩個(gè)約束關(guān)系,它們將外極線變換與圖像k聯(lián)系起來(lái).Kruppa方程是這兩個(gè)束關(guān)系的代數(shù)形式描述.在第一個(gè)像平面上使用射影坐標(biāo)(y1,y2,y3).利用外極線與定直線y3=0相交的關(guān)系可以把相應(yīng)的外極線參數(shù)化.設(shè)〈p,y〉為過(guò)點(diǎn)P和y的一條外極線,任意一點(diǎn)X落在〈p,y〉上當(dāng)且僅當(dāng)(p×y)X=0.又設(shè)D是二次曲線k的對(duì)偶二次曲線,根據(jù)D的定義,〈p,y〉與k相切當(dāng)且僅當(dāng)它落在這條二次曲線上,即其中D的定義為上式一共含6個(gè)參數(shù),由k確定D時(shí)存在一個(gè)比例因子.如果把這個(gè)標(biāo)度因子也考慮在內(nèi),D有5個(gè)自由度.令y3=0并將(8)式代入(7)式,有其中同樣,根據(jù)攝像機(jī)第二個(gè)成像平面上的外極線〈p′,y′〉與圖像k相切約束關(guān)系可以得到一個(gè)與(9)式類似的約束關(guān)系:其中系數(shù)的計(jì)算關(guān)系式也與(1)式相類似.外極線變換規(guī)定了一個(gè)從直線y3=0到直線y′3=0的一個(gè)雙線性變換N.如果y=(y1,y2,0)T且y′=(y1,y2,0)T,則〈p,y〉Λ-〈p′,y′〉成立,當(dāng)且僅當(dāng)y′=Ny.令f=y2/y1,f′=y′2/y′1,則雙線性變換N可表示為已知兩個(gè)外極點(diǎn)p,p′(關(guān)于利用對(duì)應(yīng)點(diǎn)求取外極點(diǎn)的問(wèn)題請(qǐng)參閱文獻(xiàn)[19～21])和一組對(duì)應(yīng)點(diǎn)qiq′i,1≤i≤n,利用并對(duì)方程(12)應(yīng)用最小二乘技術(shù),即可求得參數(shù),,,.已知參數(shù)a,b,c,d之后,由方程(9),(11)和(12)可得下面的關(guān)系:方程(14)中的每一個(gè)方程是f的二次方程,兩個(gè)方程只相差一個(gè)比例因子,具有相同的根.兩個(gè)方程的系數(shù)之比對(duì)應(yīng)相等,我們得到Kruppa方程如下:由攝像機(jī)的每一次運(yùn)動(dòng),我們可以得到如(15)式的兩個(gè)約束關(guān)系.從而三次攝像機(jī)運(yùn)動(dòng)給出六個(gè)約束關(guān)系.利用這六個(gè)約束關(guān)系即可求得對(duì)偶曲線D.D與攝像機(jī)內(nèi)部參數(shù)矩陣的關(guān)系是3.3機(jī)械手末端積分球中的旋轉(zhuǎn)矩陣馬頌德提出了利用主動(dòng)視覺(jué)系統(tǒng)控制攝像機(jī)做兩組互垂直的運(yùn)動(dòng),進(jìn)行手-眼定標(biāo)的方法.通常,用于手-眼定標(biāo)的基本約束關(guān)系是這里R和t是攝像機(jī)坐標(biāo)系相對(duì)于機(jī)械手末端關(guān)節(jié)附體坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量;Rc1和tc1是用攝像機(jī)坐標(biāo)表示的攝像機(jī)或者機(jī)械手的運(yùn)動(dòng);Rp1和tp1是用機(jī)械手末端關(guān)節(jié)附體坐標(biāo)表示的機(jī)械手運(yùn)動(dòng).如果機(jī)械手只做平移運(yùn)動(dòng),即Rc1=Rp1=E,則式(17)可以寫(xiě)成如果攝像機(jī)只做平移運(yùn)動(dòng),由連結(jié)運(yùn)動(dòng)前后兩幅圖像上的對(duì)應(yīng)點(diǎn)得到的向量相交于一點(diǎn),該點(diǎn)稱為FocusofExpansion(FOE).并且,連接攝像機(jī)光心O(與FOE)的連線平行于攝像機(jī)運(yùn)動(dòng)的方向.3.3.1化向量的圖像攝像機(jī)在三個(gè)不共面方向tp1,tp2,tp3上做平移運(yùn)動(dòng),tp1,tp2,tp3都是規(guī)一化向量.F1,F2,F3分別是三幅圖像上相應(yīng)的FOE.故有OF1,OF2,OF3分別平行于tp1,tp2,tp3.設(shè)Fi(i=1,2,3)的圖像坐標(biāo)是(Ui,Vi)(i=1,2,3),則有設(shè)Fi(i=1,2,3)的規(guī)一化向量是tci(i=1,2,3),則可以通過(guò)下式求得3.3.2攝像機(jī)參數(shù)的線性方程求取攝像機(jī)內(nèi)部參數(shù)時(shí),要求機(jī)械手控制攝像機(jī)在三個(gè)相互垂直的方向上做平移運(yùn)動(dòng).所以有(OFi)T(OFj)=0,(i,j=1,2,3,i≠j),利用(19)式將此式展開(kāi)得到把(20)分別減去(21),(22),并且令x=u0,y=v0fx2/fy2,z=fx2/fy2,可以得到下列兩個(gè)x,y,z的線性方程:要解得x,y,z機(jī)械手需控制攝像機(jī)做另一組相互正交的運(yùn)動(dòng),從而得到另外兩個(gè)與(23)式和(24)式類似的線性方程.攝像機(jī)內(nèi)部參數(shù)能夠進(jìn)一步由x,y,z計(jì)算得到.3.3.3動(dòng)態(tài)切變線檢測(cè)如果攝像機(jī)的運(yùn)動(dòng)不是純粹的平移,可以利用(17)式求解平移向量t.在式(17)中,R,Rp1,tp1已知,若能解得tc1,問(wèn)題就得以解決.求解tc1的步驟如下:1)攝像機(jī)處于位置A時(shí),其坐標(biāo)系原點(diǎn)為O1,重建任意三維物點(diǎn)P.作為一種重建P的簡(jiǎn)單情況,