（模式識別與智能系統(tǒng)專業(yè)論文）攝像機陣列標定方法研究.pdf

摘要摘要攝像機陣列具有較大視場，在視覺監(jiān)控、基于真實場景圖像的虛擬漫游與三維重建等方面具有廣泛的應用。攝像機標定是從二維圖像獲取三維信息必不可少的步驟，并由此重建和識別物體。目前對單個攝像機標定的研究已經比較成熟，并且能夠得到較好的標定結果。因此，在單攝像機標定方法的基礎上，研究攝像機陣列的標定，具有重要的理論研究意義和實際應用價值。為了實現攝像機陣列的標定，本文研究了單個攝像機的標定，選用合適的標定方法，將其擴展至攝像機陣列的標定。首先使用基于平面模板的標定方法對每個攝像機進行標定，然后再通過一定的方法，標定出所有攝像機之間的相對位置關系。針對其中的各個環(huán)節(jié)，本文所做的工作如下：1 ) 通過研究國內外主流攝像機標定方法，采用基于平面模板的標定方法對單個攝像機進行標定，實驗結果較好。2 ) 利用標定模板平面和攝像機圖像平面之間的單應性矩陣的性質，使用矩陣分解的方法得到所有攝像機的投影矩陣和模板平面參數。加入標定模板的幾何約束，將分解得到的結果變換為同一參考坐標系下的攝像機之間的相對位置關系。3 ) 本文提出了一種基于逐步優(yōu)化的攝像機陣列標定方法，該方法是對基于平面模板的單攝像機標定方法的擴展。使用基于平面模板的方法求解出各個攝像機的內參數以及各個攝像機相對于模板的位置關系。選定一個攝像機作為參考攝像機，再逐步地標定出其它的攝像機相對于參考攝像機的位置，最后得到所有的攝像機在同一個世界坐標系中的位置關系。對攝像機陣列標定的實驗結果表明，所提出的方法可得到準確的攝像機內外參數以及相互之間的位置關系。關鍵詞：攝像機陣列標定三維重建矩陣分解逐步優(yōu)化a b s t r a c tw i t hal a r g e rf i e l do fv i e w ，c a m e r aa r r a yi sw i d e l yu s e di nv i r t u a lr e a l i t y ，s u r v e i l l a n c e i m a g e b a s e dr e n d e r i n ga n d3 dr e c o n s t r u c t i o n t h ec a m e r ac a l i b r a t i o ni sa ni n d i s p e n s a b l es t e pf o rr e c o v e r i n g3 di n f o r m a t i o nf r o m2 di m a g e sa n dp r o v i d e st h eu n d e r l y i n gb a s i sf o ro b j e c tr e c o n s t r u c t i o na n dr e c o g n i t i o n t h ec u r r e n ts t u d yo ns i n g l ec a m e r ac a l i b r a t i o ni sr e l a t i v e l ym a t u r e ，a n dc a l lg e tg o o dr e s u l t s t h e r e f o r e ，c a l i b r a t i o no fc a m e r aa r r a yb a s e do i lt h es i n g l ec a m e r ac a l i b r a t i o nm e t h o dh a si m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n dp r a c t i c a lv a l u e i no r d e rt oc a l i b r a t ec a m e r aa r r a y s ，w ec h o o s ea p p r o p r i a t es i n g l ec a m e r ac a l i b r a t i o nm e t h o d ，a n de x t e n di tt ot h ec a m e r aa r r a yc a l i b r a t i o n e a c hc a m e r ai sc a l i b r a t e db a s e do np l a n a r b a s e dc a l i b r a t i o nm e t h o d ，a n dt h e n ，t h er e l a t i v ep o s i t i o n sb e t w e e na l lt h ec a m e r a sa r ec a l i b r a t e d h e r ea l et h ed e t a i l so fs e v e r a lp a r t sm e n t i o n e da b o v e ：l 、t h r o u g hs t u d y i n gt h em a i nm e t h o d so fc a m e r ac a l i b r a t i o n ，w ec h o o s ep l a n a r - b a s e dc a l i b r a t i o nm e t h o dt oc a l i b r a t es i n g l ec a m e r a , a n dt h er e s u l t sa r eg o o d 2 ) u s i n gt h eh o m o g r a p h ym a t r i xb e t w e e np l a n a ra n di m a g ep l a n e ，a l lt h ec a m e r a sp r o j e c t i o nm a t r i xa n dt h et e m p l a t ep a r a m e t e r sa r eo b t a i n e dv i af a c t o r i z a t i o n t h e n t h er e s u l t so ff a c t o r i z a t i o na r et r a n s f o r m e di n t ot h es a l l l er e f e r e n c ec o o r d i n a t es y s t e mt og e tr e l a t i v ep o s i t i o nb e t w e e nc a m e r a s 3 ) w ep r o p o s eas t e p w i s er e f i n e m e n tc a m e r aa r r a yc a l i b r a t i o nm e t h o d s e l e c tac 鋤e r aa sar e f e r e n c e a n dt h e nt h er e l a t i v ep o s i t i o no fo t h e rc a m e r a st ot h er e f e r e n c ec 砸n e ma r eo b t a i n e ds t e pb ys t e p f i n a l l y , w ec a ng e ta l lc a m e r a s p o s i t i o ni nt h ew o r l dc o o r d i n a t es y s t e m t h ec a l i b r a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a no b t a i na c c u r a t ei n t e r n a la n de x t e r n a lc a m e r ap a r a m e t e r sa n dr e l a t i v ep o s i t i o nb e t w e e nc a m e r a s k e yw o r d s ：c a m e r aa r r a y ，c a l i b r a t i o n ，3 dr e c o n s t r u c t i o n ，f a c t o r i z a t i o n ，s t e p w i s er e f i n e m e n ti i插圖目錄插圖目錄圖1 - 1 若干攝像機陣列2圖2 1 參考坐標系- 5圖2 2 透視投影模型示意圖6圖2 3 攝像機的鏡頭畸變9圖3 1 用于標定實驗的平面模板。2 2圖3 2 用于標定實驗的一組實際圖像2 2圖3 3 角點檢測結果2 3圖3 4 攝像機外參數示意圖2 4圖3 5 重投影誤差2 4圖4 1多攝像機成像示意圖_ 2 7圖4 2 模板平面參考點在坐標系中的位置示意圖”2 8圖4 3 相對單應性矩陣2 9圖4 4 攝像機陣列拍攝的真實圖像3 2圖4 5 攝像機陣列標定實驗重投影誤差3 4圖5 1 標定流程圖3 6圖5 2 立體視覺中雙攝像機幾何關系3 7圖5 3 攝像機陣列外參數示意圖4 2圖5 4 攝像機陣列標定實驗重投影誤差4 2v i表格目錄表格目錄表3 1基于平面標定板的標定法仿真實驗”2 1表3 2 真實圖像實驗得到的攝像機參數結果2 3表4 1 攝像機的內參數實驗結果3 3表4 2 攝像機的外參數實驗結果3 3表5 1 攝像機的內參數實驗結果4 1表5 2 攝像機的外參數實驗結果”4 1中國科學技術大學學位論文原刨性聲明本人聲明所呈交的學位論文，是本人在導師指導下進行研究工作所取得的成果。除已特別加以標注和致謝的地方外，論文中不包含任何他人已經發(fā)表或撰寫過的研究成果。與我一同工作的同志對本研究所做的貢獻均己在論文中作了明確的說明。作者簽名：簽字日期：中國科學技術大學學位論文授權使用聲明作為申請學位的條件之一，學位論文著作權擁有者授權中國科學技術大學擁有學位論文的部分使用權，即：學校有權按有關規(guī)定向國家有關部門或機構送交論文的復印件和電子版，允許論文被查閱和借閱，可以將學位論文編入有關數據庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編學位論文。本人提交的電子文檔的內容和紙質論文的內容相一致。保密的學位論文在解密后也遵守此規(guī)定?？诠_口保密( 年)作者簽名：簽字日期：導師簽名：簽字日期：緒論1 1引言第一章緒論視覺是人類最重要的感覺，人類對外界信息的獲取，8 0 以上是通過視覺得到的。人類通過視覺感知外界獲取信息，對于正常人來說是一件非常簡單的事情，然而視覺系統(tǒng)獲取信息的過程卻是十分復雜的。隨著信息時代的到來，計算機的應用越來越廣泛，人們希望計算機也和人類一樣具有視覺，于是便催生了一門新興的綜合學科計算機視覺。計算機視覺的研究目標( 馬頌德等，1 9 9 8 ) 是使計算機可以通過二維圖像和圖像序列來識別和認知三維世界，并且得到三維世界中物體的位置，形狀，運動和姿態(tài)等信息。計算機視覺的發(fā)展得益于神經科學，心理科學和認知科學對動物視覺系統(tǒng)的研究。但目前的研究對視覺系統(tǒng)原理的認識還非常有限，尤其是對大腦皮層處理視覺信息的過程的研究還是十分膚淺的。大腦的神經網絡是極其復雜的，與當前的計算機體系結構有很大的差別，因此計算機視覺無法通過對人類大腦的仿真來實現，而是發(fā)展出一套獨立的計算理論與算法。這些算法廣泛的應用于工業(yè)自動化，移動機器人的視覺導航，醫(yī)學圖像分析，遙感圖像分析，安防系統(tǒng)，虛擬現實等領域，并且研究者們不斷地改進和完善舊算法，提出新算法。當今計算機視覺領域的基本理論框架是由麻省理工學院的d a v i dm a n 教授在二十世紀八十年代初提出的。m a r r 的視覺計算理論( 馬爾，1 9 8 8 ) 立足于計算機科學，系統(tǒng)地概括了神經生理學、心理學和認知科學等方面的研究成果。m a r t 建立的視覺計算理論，使計算機視覺研究有了一個比較明確的理論體系，并且大大推動了計算機視覺研究的發(fā)展。雖然該理論不是十分完善，許多方面還有爭議，引發(fā)了研究者的質疑和批評，但是到目前為止，該理論在計算機視覺領域仍然占據統(tǒng)治地位。m a r t 的視覺計算理論( 賈云得，2 0 0 0 ) 將視覺看作是一個信息處理系統(tǒng)，認為對此系統(tǒng)的研究應該分為三個層次：計算理論層次，表示與算法層次，硬件實現層次。m a r r 將視覺過程劃分為自下而上的三個階段，第一階段是對輸入的原始圖像進行處理，抽取圖像的基本特征如角點、邊緣、線條、紋理等，得到基元圖；第二階段是由原始圖像和基元圖得到場景可見部分的法向、深度、輪廓等組成的2 5 維圖；第三階段是在某個坐標系下得到物體的三維信息。從攝像機獲取的二維圖像信息出發(fā)計算場景和物體的三維信息，并由此重建和識別物體是計算機視覺的主要目的之一( 張廣軍，2 0 0 5 ) 。而三維世界中物體表面某點的三維幾何位置與其在圖像中對應點之問的相互天系是由攝像機幾何成像的模型決定的幾何模型的參數就是攝像機的參數。通常情況f 這些參數必須經過計算得到，通過實驗計算求解這些參數的過程就稱為攝像機標定。攝像機標定時三維重建必不可少的步驟，攝像機標定的精度大小直接影響著三維重建的精度。12 攝像機陣列簡介近年來，隨著立體視覺技術和數字成像設各的發(fā)展，攝像機陣列系統(tǒng)開始應用于虛擬現實、娛樂和監(jiān)控等領域。將多個攝像機通過一定的連接方式組成陣列的結構，能夠同時采集圖像。相比于單目視覺系統(tǒng)攝像機陣列組成的多目視覺系統(tǒng)能夠同時獲取場景的信息，具有更_ 大的視場范圍，通過完整的場景信息能夠對場景進行精確的三維重建。目前，國外在攝像機陣列方面的研究很多，而且已經應用于娛樂，安全監(jiān)控等領域。斯坦福大學的w i l b u m 等人使用9 6 個c m o s 圖像傳感器組成一個攝像機陣列系統(tǒng)( w i l b u r ne ta l2 0 0 2 ) ，使用f p g a 對攝像機獲取的數據進行壓縮然后傳送到計算機上進行處理。該系統(tǒng)能夠提高成像性能獲得高動態(tài)范圍和高分辨率的視頻，并能對視頻合成獲得高速視頻。圈1 1 若干攝像機陣列麻省理工學院的y a n g 等人使用6 4 個o r a n g e m i e r o i b o t 攝像機組成一個稠密的攝像機陣列系統(tǒng)( y a n ge ta l2 0 0 2 ) ，并提出一種分布式光場繪制算法，對各攝像機獲得的信息進行分布式處理，然后再傳輸到計算機上，從而減少了帶寬的使用能夠實時完成基于圖像的繪制。卡內基梅隆大學的z h a n g 等人使用4 8 個a x i s 2 0 5 網絡攝像機組成一個攝像機陣列系統(tǒng)( z h a n ga n dc h e n2 0 0 4 ) ，攝像機安裝在一個移動部件上，能夠旋轉和側移。該系統(tǒng)使用一個高效的圖像繪制算法，能夠實時生成新視角的合成圖像。并且該系統(tǒng)具有自重構功能，通過算法對攝像機進行旋轉和側移的控制獲得最緒論優(yōu)的圖像繪制結果。目前國內對攝像機陣列的研究較少，國防科技大學的譚樹人等使用c m o s傳感器與f p g a ，d s p 相結合自制攝像機單元( t a ne ta 1 2 0 0 7 ) ，并使用1 6 個攝像機組成一個陣列系統(tǒng)。該系統(tǒng)完成了對數據的采集，壓縮及同步功能，具有分辨率高，易擴展等優(yōu)點。1 3 攝像機陣列標定攝像機陣列系統(tǒng)的標定不僅需要對單個攝像頭的參數進行標定，還需要標定出各個攝像機之間的相對位置關系。攝像機陣列的標定方法( c u ie ta 1 2 0 0 7 ) 主要可以分為兩類，一類是基于攝像機自標定，同時對攝像機陣列的所有攝像機的內部參數和外部參數進行標定，另一類通常是先使用一定的方法對單個攝像機進行標定，得到內部參數，然后再對整個系統(tǒng)進行標定得到各個攝像機之間的相對位置關系即外部參數( w a n g2 0 0 5 ) 。近年來，研究者們提出了很多基于矩陣分解和全局約束的多攝像機標定方法。u e s h i b a 和t o m i t a 提出了一種基于平面標定模板的分解算法( u e s h i b aa n dt o m i t a2 0 0 3 ) ，將一塊幾何信息已知的二維平面標定板放在不同的位置，分別用攝像機陣列采集圖像。確定角點和圖像投影點之間的對應關系，計算出標定板平面和圖像之間的單應性矩陣，得到攝像機的投影矩陣和平面參數矩陣。利用所有攝像機和標定板平面得到的單應性矩陣構造系統(tǒng)的測量矩陣，對該矩陣進行分解得到攝像機陣列的投影矩陣，最后得到各攝像機的參數。s t u r m 提出了一種基于多個平面模板的標定方法( s t u r m2 0 0 0 ) ，在視場范圍重疊很小的情況下也能使用。該方法建立了一個一般模型，首先通過計算得到缺失的數據，使得每個平面模板在所有的攝像機的視場范圍內都是可見的，然后通過單應性矩陣分解得到各攝像機的參數和相對位置關系。還有研究者提出其他的方法，使用一維標定物體( w ue ta 1 2 0 0 5 ) 或虛擬標定物體，來代替二維標定模板得到點之間的對應關系，再通過矩陣分解得到標定結果。上述方法要求標定物體對所有的攝像機同時可見，在實際的應用中存在一定的局限性。在攝像機陣列的標定過程中，每個攝像機的內部參數不會發(fā)生變化，因此使用一定的標定算法先標定出每個攝像機的內部參數，然后再利用一些約束條件和坐標變換的方法，計算出各個攝像機之間的相對位置關系。s l u s a l l e k 等人使用s f m 算法得到攝像機對的相互關系( c h e ne ta 1 2 0 0 0 ) ，然后使用迭代三角化方法將所有的攝像機標定到一個坐標系下。i h r k e 等人提出一種基于極線約束的方法( i h r k ee ta 1 2 0 0 4 ) ，先估計出攝像機之間的相對位置關系，然后使用圖3緒論論的方法計算出所有攝像機間的旋轉矩陣和位移向量。c u i 等人( c u ie ta 1 2 0 0 7 )在上述方法的基礎上，引入隱式正交約束，從而保證了計算得出的旋轉矩陣是正交矩陣，結果更加準確。1 4 本文的主要內容和結構本文在參考國內外已有的攝像機陣列標定算法的基礎上，研究分析了標定過程中需要解決的一系列問題，并將算法應用于實際的系統(tǒng)。本文的結構如下：第一章是緒論，主要介紹攝像機陣列標定方法的研究背景和意義，國內外的研究現狀，論文內容和結構安排。第二章研究了攝像機的成像模型和各種攝像機標定方法。第三章使用一種基于平面標定板的標定方法對攝像機進行標定，并給出實驗結果。第四章提出一種基于矩陣分解的攝像機陣列標定方法。第五章提出一種基于逐步優(yōu)化的攝像機陣列標定方法。第六章總結并評價了本文的研究，并對未來的研究方向進行展望。4攝像機成像模型及標定方法第二章攝像機成像模型及標定方法2 1攝像機針孑l 模型及成像原理2 1 1 參考坐標系計算機視覺中經常需要對坐標進行變換，涉及到四個參考坐標系( g e y e ra n dd a n i i l i d i s1 9 9 8 ) ，如圖2 1 所示( t s a i1 9 8 7 ) 。圖2 1 參考坐標系x ，如墨p ( 鬻即，跚)( 1 ) 世界坐標系( w o r l dc o o r d i n a t es y s t e m )圖2 1 中的o w x w y w z 、】v 坐標系被稱為世界坐標系，該坐標系中的坐標值( x w ，y w ，z w ) 是客觀世界的絕對坐標。世界坐標系用來描述場景中攝像機和物體的位置，通?？梢杂捎脩暨x定。( 2 ) 攝像機坐標系( c a m e r ac o o r d i n a t es y s t e m )圖2 1 中的o x y z 坐標系被稱為攝像機坐標系，其中o 點稱為攝像機的光心，x 軸和y 軸與成像平面坐標系的坐標軸平行，z 軸為攝像機的光軸，與成像平面垂直。攝像機成像模型及標定方法( 3 ) 成像平面坐標系( r e t i n a lc o o r d i n a t es y s t e m )圖2 1 中的o l x y 坐標系被稱為成像平面坐標系，其中o l 點是光軸與成像平面的交點，稱為主點( p r i n c i p a lp o i n t ) ，該點一般位于圖像中心處，但由于攝像機制造工藝問題，也會有些偏離，o o l 為攝像機的焦距( f o c a l ) 。該坐標系中的坐標值( x ，y ) 表示圖像中的像素點在圖像中的物理位置。( 4 ) 圖像坐標系( p i x e lc o o r d i n a t es y s t e m )固定在圖像上的以像素為單位的坐標系被稱為圖像坐標系，通常情況下，其原點位于圖像的左上角，u 軸和v 軸分別平行于成像平面坐標系的x 軸和y 軸，對應于行方向和列方向，分別向右和向下為正。圖像中像素的坐標( u ，v ) 表示像素在圖像的列數和行數。2 1 2 攝像機模型攝像機采集得到的圖像上每一點的亮度反映了空間物體表面某點反射光的強度，而該點在圖像中的位置與物體表面點在三維世界中的位置有關。攝像機成像模型( b a k e ra n d n a y a r1 9 9 8 ) 將三維空間的點與圖像平面上的點對應起來，可以用一個從三維空間到二維空間的映射來表示：f ：r 3 啼r 2，o1 、( 瓦，匕，乙) 專( 甜，v )透視投影是最常用的成像模型，可以用針孔成像模型來近似表示，如圖2 2所示( 馬頌德等，1 9 9 8 ) 。針孔成像模型中，所有來自于場景的光線均通過一個投影中心，即攝像機的光心，投影到成像平面上。圖2 2 透視投影模型示意圖z )其中，( ) ( ，y ，z ) 是空間點p 在攝像機坐標系下的坐標，( x ，y ) 是點p 在成像平面坐標系下的坐標，光心到成像平面的距離是攝像機的焦距。為了計算方便，假設在攝像機鏡頭前方有一個虛擬成像平面，虛擬成像平面到光心的距離為焦6攝像機成像模型及標定方法距，與成像平面平行，坐標軸方向相反。2 1 3 坐標變換關系f 喜 = r 莖 + r = 莖i 差耋 萋 + 乏c 2 2 ，x】廠z1= 翱x w匕乙l( 2 3 )其中，( ) ( w ，y w ，z w ) 是世界坐標系的坐標，( x ，y ，z ) 是攝像機坐標系的坐標，t 是世界坐標系原點在攝像機坐標系中的坐標，矩陣r 是正交旋轉矩陣，矩陣元素滿足下式：。，：，。+ ，：。：+ ，乃，= 三：三二( 2 4 )正交旋轉矩陣實際上只有3 個獨立變量，再加上t 的3 個變量，一共有6個參數決定了攝像機光軸在世界坐標系中的位置，這6 個參數被稱為攝像機的外部參數。( 2 ) 攝像機坐標系到成像平面坐標系的變換攝像機坐標系到成像平面坐標系的變換是一個透視投影變換，可以由圖2 2中的相似三角形關系可以得到下面的關系式：用齊次坐標的形式可以表示為：、xx2 。z1 ，y = 1 =么( 2 5 )攝像機成像模型及標定方法000 2i廠o ol010jx】，zl( 2 。6 )其中，( ) ( ，y ，z ) 是攝像機坐標系的坐標，( x ，y ) 是成像平面坐標系的坐標，f 是攝像機的焦距。( 3 ) 成像平面坐標系到圖像坐標系的變換成像平面坐標系到圖像坐標系的變換是圖像數字化的過程，將像素點的物理坐標變換為圖像的像素坐標。設主點在圖像坐標系中的坐標為( u o ，v o ) ，每一個像素在x 軸和y 軸方向上的物理尺寸為d x ，d y ，則圖像坐標變換關系可由下式表示： i = 吲 i 弦8 ，z i = 喜丟辜 喜詈；量 ；：x 。匕乙l( 2 9 )上面的關系式是在假設圖像坐標軸互相垂直的情況下推導得出的，但是通常情況下，兩個坐標軸之間并不是嚴格垂直的，引入傾斜因子s 描述圖像坐標軸的傾斜程度。最終得到針孔成像模型的數學表達式如下：z 案1 1 _ jlos， ，0“0 1小丁】jx 。匕乙1= k f rt 1ljx 。匕z 。1= px 匕z 。1( 2 1 0 )其中，和f y 分別為x 和y 方向的等效焦距，k 稱為攝像機的內部參數矩陣8，o0，。l=1jxy 。，。lz力互xy蹦杪=三出旦砂=一一攝像機成像模型及標定方法或攝像機矩陣( r ，t ) 稱為攝像機的外部參數矩陣，p 稱為投影矩陣22 非線性模型上面推導出的模型是在理想情況下得出的，由于攝像機存在鏡頭畸變，光學系統(tǒng)并不是按理想的針孔成像原理工作，物體點在成像平面上實際所成的像與理想像點之間有一定的誤差。主要的畸變誤差( w e n g1 9 9 2 ) 分為三類：徑向畸變，偏心畸變和薄棱鏡畸變，徑向畸變只產生徑向位置的偏差，偏心畸變和薄棱鏡畸變既產生徑向偏差，也產生切向偏差。由畸變引起的非線性模型可由下式表示：j 7 2 。+ 正( t y ( 2 1 i )眵2 ，+ t ( y )其中( x ，y ) 是成像平面坐標系的實際坐標，( 置力是理想坐標值，t 是x方向的畸變，民是y 方向的畸變。( a ) 畸變一一一一一一一一一一一一一一一( b ) 理想圈2 3 攝像機的鏡頭畸變徑向畸變主要是由光學鏡頭徑向曲率的變化引起的，這種畸變使得真實圖像點沿徑向移動，離中心點越遠，畸變越大。正的徑向畸變使圖像點向遠離圖像中心的方向移動，負的徑向畸變使圖像點向靠近圖像中心的方向移動。徑向畸變的數學模型可由下式表示：艇器：篇菇：茹億l “= 與y ( ，+ y 。) + 也y ( 一+ y ) 2偏心畸變主要是由于裝配誤差組成光學系統(tǒng)的多個光學鏡頭的光軸不可能完全共線引起的，由徑向形變分量和切向形變分量共同構成，數學模型可由下式表示：一一一一一一一一一一一一一一一一一一一一一一-一一一一_一攝像機成像模型及標定方法 如8 , d ：= p l ( 3 x 2 + y 2 ) + ：2 p 2 x ：y 2 p 。x y + p 2 ( x + 3 y )像1 3 )l 如=2。)薄棱鏡畸變是由光學鏡頭制造誤差和成像敏感陣列制造誤差引起的，這類畸變相當于在光學系統(tǒng)中附加了一個薄棱鏡，由徑向形變分量和切向形變分量共同構成，數學模型可由下式表示：屯6xp：=sl(x2+yy2s2：j( 2 1 4 )【= ( x 2 + y 2 )、非線性畸變主要是上述三種畸變的疊加，可由下式表示：囂霧：老億【= 妨+ + 7一般情況下，徑向畸變已能足夠描述非線性畸變，對引入徑向畸變后的模型進行標定已能滿足精度要求。非線性模型可由下式表示：j 二2 x + 島x ( x 2 + y 2 ) + 乞x ( x 2 + y 2 ) 2( 2 1 6 )【y = y + l q y ( x 2 + y 2 ) + 乞y ( x 2 + y 2 ) 22 3 攝像機標定方法2 3 1 傳統(tǒng)標定方法傳統(tǒng)的攝像機標定方法是在定的攝像機模型下，采集形狀和尺寸已知的標定物的圖像，對圖像進行處理，得到標定物的特征點在圖像中的對應點的位置，通過空間點和圖像點的對應關系來建立約束條件，從而對攝像機模型進行求解得出其內部參數和外部參數。典型的傳統(tǒng)標定方法有f a i g 的基于最優(yōu)化算法的標定方法( f a i g1 9 7 5 ) ，該方法引入了攝像機針孔成像模型的共面約束條件，考慮了攝像機成像過程中的各種因素。該方法建立了一個至少包含1 7 個參數的模型，描述了每幅圖像與三維空間的約束關系，計算量非常大。a b d e l a z i z 和k a r a r a 在1 9 7 1 年提出了直接線性變換法d l t ( d i r e c tl i n e a rt r a n s f o r m a t i o n ) ，該方法( a b d e l a z i za n dk a r a r a1 9 7 1 ) 在不考慮畸變的情況下，通過求解線性方程得到攝像機模型的參數，標定結果的精度不高。t s a i 給出了種基于徑向約束的兩步法標定方法( t s a i1 9 8 7 ) ，該方法的核心思想是第一步先利用徑向一致約束條件，求解除了攝像機在光軸方向的平移之外的所有其它的攝像機外參數，第二步再求出內參數和攝像機在光軸方向的平1 0攝像機成像模型及標定方法移。該方法的精度比較高，適用于精密的測量。m a r t i n s 提出了雙平面標定法( m a r t i n se ta 1 1 9 8 1 ) ，該方法并不明確的使用某種攝像機模型，而是利用世界坐標系下從工作場景前后兩個平面出發(fā)到圖像上某點的連線，用插值的方法計算出視線向量。在圖像中用三角形標畫標定格和頂點的交點，在三角形內用線性樣條插值，再利用線性方法解出有關參數。該方法存在過分參數化的傾向，需要求解大量的未知參數。h 【h 和k l a a s e n 提出了利用透視變換矩陣的攝像機標定方法( l u ha n dk l a a s e n1 9 8 5 ) ，該方法忽略了鏡頭畸變的非線性因素，將透視變換矩陣中的元素作為未知參數。在給定一組對應的圖像點與三維物體點的情況下，利用線性方法直接求解透視變換矩陣中的元素，在本質上與直接線性變換方法，沒有區(qū)別。馬頌德等提出了一種基于直線的攝像機標定方法( m ae ta 1 1 9 9 3 ) ，首先提取圖像中的一些直線，然后利用這些直線相交來獲得其交點，利用交點的信息來求解攝像機投影矩陣p 。該方法直接使用標定參考物上的直線與它們在圖像上對應的投影來標定攝像機，避免了在使用點信息標定攝像機時由直線求交點引入的誤差。d e b e v e c 也對傳統(tǒng)的攝像機標定方法做了一些改進( d e b e v e ca n dm a l i k1 9 9 7 ) 。他將攝像機標定分為兩步：第一步，用棋盤格作為標定參考物，通過對攝像機拍攝的圖像進行處理，來獲得攝像機鏡頭的徑向畸變系數，對該攝像機拍攝的圖像進行校正，使校正后的圖像成為真正的透視投影圖像，即保持三維空間中的直線在圖像上的投影仍為直線。第二步，對兩個垂直相交的平面標定參考物從不同的角度拍攝圖像，并校正圖像的徑向形變，恢復攝像機的內、外部參數。由于預先已經知道標定參考物的幾何信息和幾何結構，因此可以解出含有1 1 個參數的攝像機投影矩陣，從而獲得攝像機的內、外部參數。傳統(tǒng)標定方法的優(yōu)點( 邱茂林等，2 0 0 0 ) 在于可以獲得較高的精度，但是通常算法比較復雜，并且依賴于高精度的標定塊，而實際應用中很多情況下無法方便地使用標定塊。因此，當攝像機的參數不發(fā)生變化，而且要求的精度很高時，應當選用傳統(tǒng)的標定方法。2 3 2 自標定方法不依賴于標定參照物或某些三維信息已知的參考點的標定方法稱為自標定方法( 雷成等，2 0 0 1 ) 。攝像機的自標定僅僅利用圖像與圖像之間的對應關系，確定攝像機參數之間的約束關系，從而標定出參數，與場景和攝像機的運動無關。這類標定方法具有巨大的靈活性，在許多實際的應用中，攝像機的參數需要經常改變，因此需要實時標定，在這些情況下，需要借助于特殊的標定物的傳統(tǒng)標定攝像機成像模型及標定方法方法已經不再適合。f a u g e r a u s 和m a y b a n k 在1 9 9 2 年提出攝像機的自標定方法( m a y b a n ka n df a u g e r a u s1 9 9 2 ) ，基本思想是利用絕對二次曲線a c ( a b s o l u t ec o n i c ) 和絕對二次曲面( a b s o l u t eq u a d r i c ) l 拘像在攝像機做剛體運動時的不變性，建立關于攝像機內參數矩陣的k r u p p a 方程。然后利用k r u p p a 方程求得多幅圖像上的像點到對應極線的距離之和，并對這個距離采用l m 算法求最小值，就可求出攝像機的內參數。t r i g g s 最早將絕對二次曲面的概念引入攝像機的自標定( t r i g g s1 9 9 7 ) ，在本質上與基于k r u p p a 方程的方法是一致的。由于絕對二次曲面包含了絕對二次曲線和無窮遠平面的所有信息，在對所有圖像做射影重建的基礎上計算絕對二次曲面，保證了所有圖像中無窮遠平面的一致性。由于直接求解k r u p p a 方程是十分困難的，又提出了分層逐步標定的方法。該方法的核心思想是在對圖像序列做射影重建的基礎上，以某一幅圖像為基準做射影對齊，從而減少未知參數的數量，再進行仿射標定和歐氏標定，通過非線性優(yōu)化算法同時解出所有未知參數。分層逐步標定法的初值只能通過預估得到，不能保證收斂性?？臻g中的平行線經過一定的投影變換后，在圖像中可能不再保持平行，它們的交點被稱為消失點( v a n i s hp o i n t ) ，由所有消失點組成的直線被稱為消失線( v a n i s hl i n e ) 。利用消失點的攝像機標定方法的一般步驟是找到空間中三組平行線在圖像中的投影，求解其交點從而獲得消失點，然后根據消失點來計算攝像機的內、外部參數。利用消失線的攝像機標定方法的一般步驟是在獲得多個消失點的基礎上，進一步計算出消失線，根據消失線對攝像機進行標定。這種方法可以在只有一幅圖像的情況下標定出攝像機的參數，不需要迭代，算法速度快。但是該方法所使用的信息量少，如果不引入其它約束條件或借助其它技術，標定出的攝像機參數的準確性較低，有時不能得到全部的參數。w a n g 等人對一個正六邊形拍攝圖像( w a n ge ta 1 1 9 9 1 ) ，由于正六邊形有三組互相平行的邊，使用這些邊在圖像中的投影來得到消失點，從而對攝像機進行標定，得到攝像機的位置、方向和焦距。該方法由于使用了對邊平行的六邊形作為標定物，簡化了整個標定的過程，但并未獲得攝像機所有的內部參數。c i p o l l a 等人提出了一種改進的標定方法( c i p o l l ae ta 1 1 9 9 9 ) ，將消失點和圖像中的其它線特征結合起來，計算出攝像機的投影矩陣，然后利用內極線約束和其它約束條件對標定結果進行優(yōu)化。目前主要的自標定方法還有基于攝像機可變參數的自標定方法( p o l l e f e y sa n dg o o l1 9 9 9 ) ，基于特殊攝像機運動或特殊場景的自標定方法等。通常情況下，攝像機成像模型及標定方法攝像機的自標定方法需要估計的參數比較多，精度不太高，魯棒性較差。2 3 3 基于主動視覺的標定方法主動視覺是指觀察者以確定或不確定的方式運動來跟蹤環(huán)境中的目標物體，從而感知物體的技術和方法。在主動視覺中，觀察者和目標物體可以同時運動，觀察者的運動為研究目標的運動、距離和形狀提供了附加條件。主動視覺是任務驅動的，根據任務需求和外部環(huán)境，控制攝像機的運動，使攝像機進行參數已知的平移運動或旋轉運動，從而獲取關于周圍環(huán)境中的與任務相關的信息。基于主動視覺的標定方法，通過控制攝像機的運動，獲取多幅圖像，利用圖像的對應點進行標定，求解出攝像機的內參數。目前主要的方法有基于攝像機純平移運動的標定方法，基于攝像機純旋轉運動的標定方法，基于攝像機正交運動的標定方法等。h a r t l e y 提出了基于攝像機純旋轉運動的標定方法( h a r t l e y1 9 9 4 ) ，該算法的核心思想是控制攝像機至少做兩次繞光心的旋轉軸不互相平行的旋轉運動，在每次旋轉下通過圖像間的對應點求解相應的單應性矩陣，然后通過c h o l e s k y 分解得到攝像機的內參數矩陣。由于在實際的標定過程中攝像機光心的具體位置事先并不知道，因此很難控制攝像機做繞光心的純旋轉運動。李華等人提出了基于攝像機平面正交運動的標定方法( 李華等，2 0 0 0 ) ，該方法需要控制攝像機做多組( 大于等于5 ) 兩次互相正交的純平移運動，每組純平移運動前后得到的兩幅圖像的極點相同。然后解線性約束方程，再做c h o l e s k y 分解即可求得攝像機的內參數矩陣。這種方法的穩(wěn)定性比較高，但是對設備的要求也比較高，而且對于多組正交運動之間應該滿足的條件還未很好解決。m a 等人提出了基于攝像機三正交平移運動的標定方法( m a1 9 9 6 ) ，該方法需要控制攝像機做兩組兩兩正交的三次平移運動，根據圖像的對應點求出對應的六個極點。根據極點的性質可以得到四個關于內參數的約束方程，并且證明當六次平移運動中任意四次不共面時，可以得到內參數的唯一解。這種方法只有在傾斜因子s 為0 的情況下才成立，因此只能求得四個內參數，而且對噪聲比較敏感。基于主動視覺的標定方法由于在標定過程中已知關于攝像機的運動信息，攝像機的參數可以線性求解，且計算簡單，魯棒性較高，不足之處在于必須精確的控制攝像機的移動。2 4 本章小結1 3攝像機成像模型及標定方法本章主要介紹了攝像機的針孔成像模型，得出了理想情況下空間物體點與圖像對應點之間的坐標轉換關系。由于攝像機鏡頭存在畸變，引入非線性模型加以描述，使其更符合實際應用的情況。攝像機成像模型是攝像機標定的基礎，求解模型參數的過程即是攝像機標定。然后對目前已有的攝像機標定方法進行了分類介紹，包括傳統(tǒng)的攝像機標定方法，自標定方法和基于主動視覺的標定方法，并比較了各類方法的優(yōu)缺點及適用范圍。1 4基于平面標定板的標定方法第三章基于平面標定板的標定方法3 。1 標定方法簡介張正友提出了一種介于傳統(tǒng)標定與自標定之間的標定方法( z h a n g1 9 9 9 ) ，這種方法也使用了針孔成像模型。將平面標定板放置在不同的位置，攝像機從不同的角度拍攝若干張模板圖像，檢測出圖像中的特征點。假設標定板平面在世界坐標系中z = 0 ，通過線性模型分析計算得出攝像機參數的近似解，然后進行非線性優(yōu)化得到攝像機的內外參數和畸變系數。具體的流程由下所示：( 1 ) 選取并打印合適的模板，貼在一個平面上；( 2 ) 將平面模板放置在不同的位置，拍攝若干張圖像；( 3 ) 檢測出圖像中的特征點，得到特征點與圖像投影點之間的對應關系；( 4 ) 估計單應性矩陣，求出攝像機的內參和外參：( 5 ) 利用非線性模型求出畸變系數；( 6 ) 使用l m 算法對參數進行優(yōu)化。這種標定方法不需要制作昂貴的標定塊，且具有較好的魯棒性，很有實用性。但是由于假定模板平面上的直線經透視投影后在圖像上仍然得到直線，進而進行圖像處理，檢測得到亞像素精度的角點坐標，實際上引入了誤差。3 2 基本方程3 2 1 單應性矩陣記三維空間中的一點m 的坐標為 x ，y ，z r ，其對應的圖像點m 的坐標記為陋，1 ，】r ，對應的其次坐標分別記為【x ，y ，z ，1 1 r 和 甜，v ，1 7 。根據第二章的成像模型將公式( 2 1 0 ) 改寫為：s i v = k rr l m( 3 1 )其中s 是尺度因子，k 是內參數矩陣，r 是旋轉矩陣，t 是平移矩陣，上面的公式反應了空間點與圖像點之間的坐標變換關系。假設將平面模板在世界坐標系中z = 0 的平面上，即平面模板上所有點的z 坐標值為o ，則式( 3 。1 ) 可以簡化為：1 5基于平面標定板的標定方法j i = k c l 吒島丁，xyo1鋼，闡慨2 ，s m = 研1r 2t m = h m( 3 3 )其中和吒表示由旋轉矩陣尺的第一列和第二列組成的向量，h 是一個3 x 3的矩陣，稱為單應性矩陣( z h a n g2 0 0 0 ) ，它表示空間平面上的點到圖像平面上的點之間的映射關系。3 2 2 攝像機內參數約束平面單應性矩陣在攝像機標定和三維重建方面有著重要的作用( l i e b o w i t za n dz i s s e r m a n1 9 9 8 ) ，世界坐標系的z = 0 平面與圖像平面之間的單應性矩陣可以提供兩個關于攝像機內參數的線性約束。假設單應性矩陣h 的三個列向量為h l ，h 2 ，h 3 ，從式( 3 3 ) 可以得到：【7 i l 紅吃】= 兄k 【吃t 】( 3 4 )其中，五是一個常數因子。由旋轉矩陣r 的正交性可以得到7 眨= 0 ，l = 恢i i ，因此得到下面的公式：k t k - h 22 0( 3 5 )【啊r k j k j = 7 k 丁k j 。其中，k 叮k 。是絕對二次曲線的像，設m 是絕對二次曲線上點的像點，則根據成像模型可以得到：所r k r k 一1 m = 0( 3 6 )這說明絕對二次曲線的像也是圖像空間里的一條二次曲線，無窮遠直線與空間上一張有限遠平面上的圓的交點為圓環(huán)點( 1 ，f ，0 ，0 ) 7 和( 1 ，一f ，0 ，0 ) 7 ，位于絕對二次曲線上。圓環(huán)點的像滿足式( 3 6 ) ，代入方程并化簡得到：( 啊f ) 7 k 一7 k 。1 ( 7 j i + i h 2 ) = 0( 3 7 )虛部和實部分別為o ，也能得到兩個對攝像機內參數的約束方程，上面的推導過程也是對式( 3 5 ) 的幾何解釋。當攝像機至少在3 個不同的方位，獲得至少3 幅圖像時，每幅圖像可以提供兩個約束方程，對方程組進行求解就能夠得到攝像機的內參數。1 6基于平面標定板的標定方法3 3 標定算法3 3 1角點檢測在標定前首先要對圖像進行角點檢測，獲得圖像點與標定板上點的對應關系。角點是圖像的重要局部特征，它決定了目標在圖像中的位置以及輪廓信息。角點一般定義為圖像中梯度值和梯度變化率都比較高的點，或者是圖像邊界方向變化不連續(xù)的點。目前的角點檢測方法主要可以分為兩類，一類是基于圖像邊緣特征進行檢測，算法性能依賴于邊緣檢測的效果，并且計算量較大，因此使用范圍較?。涣硗庖活愂侵苯永脠D像的灰度信息，計算曲率及梯度來進行角點檢測。在計算機視覺領域中使用非常廣泛的角點檢測算法是h a r r i s 角點檢測算法，該算法過程簡單，檢測結果穩(wěn)定，而且能夠在噪聲干擾、灰度變化以及圖像旋轉等情況下準確地提取出角點。h a r r i s 角點檢測算法是在m o r a v e c 算法的基礎上提出的一種基于信號自相關函數的點特征提取算子( h a r r i sa n ds t e p h e n s1 9 8 8 ) ，基本思想是在圖像中設計一個局部檢測窗口，當該窗口沿各個方向做微小移動時，考查窗口內的平均能量變化。提前設定一個閾值，當能量變化值超過閾值時，就認為窗口的中心像素點是一個角點。記圖像像素點( x ，y ) 的灰度值為f ( x ，y ) ，用微分算子計算窗口內灰度強度的變化，這樣使得角點檢測算子具有旋轉不變的性質。窗口內的灰度強度變化可用下式表示：e ，( x ，少) = 嘸， 廠o + “，y + ，) 一f ( x ，州2：妻睨，t x 篆+ y 萬o f + c x ：+ y z ，z( 3 8 )其中，睨，是高斯窗口在位置( “，v ) 處的系數，為了提高抗噪能力，對圖像窗口進行了高斯平滑，選用了如下的高斯窗口：嘸，= e x p 一去( 甜2 + v 2 ) 萬2 】( 3 9 )z在實際的應用中，需要選擇合適的高斯窗口( t i s s a i n a y a g a ma n ds u t e r2 0 0 4 ) ，若高斯窗口的尺寸較小，則