《攝像機(jī)標(biāo)定》PPT課件.ppt

1、1、引言：什么是攝像機(jī)標(biāo)定 2、攝像機(jī)標(biāo)定方法的分類 3、傳統(tǒng)攝像機(jī)標(biāo)定方法,攝像機(jī)標(biāo)定,攝像機(jī)標(biāo)定的目的：三維重建,三維重建：攝像機(jī)標(biāo)定的主要目的，也是計(jì)算機(jī)視覺的最主要的研究方向. (Marr 1982)，所謂三維重建就是指從圖象出發(fā)恢復(fù)出空間點(diǎn)三維坐標(biāo)的過程。 攝像機(jī)標(biāo)定：建立攝像機(jī)圖像像素位置與場(chǎng)景點(diǎn)位置之間的關(guān)系，其途徑是根據(jù)攝像機(jī)模型，由已知特征點(diǎn)的圖像坐標(biāo)求解攝像機(jī)的模型參數(shù)。 三維重建的三個(gè)關(guān)鍵步驟 攝像機(jī)標(biāo)定：單個(gè)像機(jī) 圖象對(duì)應(yīng)點(diǎn)的確定：雙目 二圖象間攝像機(jī)運(yùn)動(dòng)參數(shù)的確定：單個(gè)像機(jī)運(yùn)動(dòng),1、引言,1、世界坐標(biāo)系： 2、攝像機(jī)坐標(biāo)系： 3、圖像坐標(biāo)系:,坐標(biāo)系,在 中的坐標(biāo)為

2、象素在軸上的物理尺寸為,Affine Transformation :,圖像數(shù)字化,U,C,V,齊次坐標(biāo)形式:,其中,攝像機(jī)的內(nèi)參數(shù)矩陣 K,傳統(tǒng)攝像機(jī)標(biāo)定方法 基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定,2、攝相機(jī)標(biāo)定方法分類,1）傳統(tǒng)的攝像機(jī)標(biāo)定方法,特點(diǎn) 利用已知的景物結(jié)構(gòu)信息。常用到標(biāo)定塊。,1）傳統(tǒng)的攝像機(jī)標(biāo)定方法,優(yōu)點(diǎn) 可以使用于任意的攝像機(jī)模型，標(biāo)定精度高 不足 標(biāo)定過程復(fù)雜，需要高精度的已知結(jié)構(gòu)信息。 在實(shí)際應(yīng)用中很多情況下無法使用標(biāo)定塊。,2）基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定,特點(diǎn)：將畸變參數(shù)單獨(dú)進(jìn)行標(biāo)定 優(yōu)點(diǎn)：算法簡單，與其它內(nèi)外部參數(shù)分離 缺點(diǎn)：誤差受樣本點(diǎn)的影響,3、攝像機(jī)傳統(tǒng)標(biāo)

3、定方法,3.1、DLT方法 3.2、RAC方法 3.3、張正友的平面標(biāo)定方法(ICCV, 1999),Abdal-Aziz和Karara于70年代初提出了直接線性變換像機(jī)定標(biāo)的方法，他們從攝影測(cè)量學(xué)的角度深入的研究了像機(jī)圖像和環(huán)境物體之間的關(guān)系，建立了像機(jī)成像幾何的線性模型，這種線性模型參數(shù)的估計(jì)完全可以由線性方程的求解來實(shí)現(xiàn)。,3.1、直接線性變換（DLT變換）,直接線性變換是將像點(diǎn)和物點(diǎn)的成像幾何關(guān)系在齊次坐標(biāo)下寫成透視投影矩陣的形式：,DLT變換,其中 為圖像坐標(biāo)系下的點(diǎn)的齊次坐標(biāo)， 為 世界坐標(biāo)系下的空間點(diǎn)的歐氏坐標(biāo)， 為 的透視投影矩 陣， 為未知尺度因子。,DLT變換,消去 ，可以

4、得到方程組:,當(dāng)已知 個(gè)空間點(diǎn)和對(duì)應(yīng)的圖像上的點(diǎn)時(shí)，可以得到一個(gè)含有2* 個(gè)方程的方程組：,DLT變換,其中 為 的矩陣， 為透視投影矩陣元素組成的 向量 。,DLT變換,像機(jī)定標(biāo)的任務(wù)就是尋找合適的 ，使得 為最小，即,給出約束：,為 的前11個(gè)元素組成的向量， 為 前11列組成的矩陣， 為 第12列組成的向量。,向量的比例有意義,攝像機(jī)內(nèi)外參數(shù)求解,是正交單位矩陣的第三行，行列式為1,攝像機(jī)內(nèi)外參數(shù)求解,DLT變換,是否合理？,約束 不具有旋轉(zhuǎn)和平移的不變性,解將隨著世 界坐標(biāo)系的選取不同而變化.,證明： 世界坐標(biāo)系作剛性坐標(biāo)變換,則,顯然在一般的情況下,另一個(gè)約束 具有旋轉(zhuǎn)和平移的不變性

5、,DLT變換,由,向量 , , 是兩兩 垂直的單位向量,3.2、R. Tsai 的 RAC的定標(biāo)算法,80年代中期Tsai提出的基于RAC的定標(biāo)方法是計(jì)算機(jī)視覺像機(jī)定標(biāo)方面的一項(xiàng)重要工作，該方法的核心是利用徑向一致約束來求解除 （像機(jī)光軸方向的平移）外的其它像機(jī)外參數(shù)，然后再求解像機(jī)的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過程快捷，準(zhǔn)確。,像機(jī)模型 徑向一致約束 定標(biāo)算法,理想圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換（只考慮徑向偏差）,像機(jī)模型,(ud, vd)為一個(gè)點(diǎn)的數(shù)字化實(shí)際坐標(biāo)，（u, v）為理想的數(shù)字化坐標(biāo)，（u0, v0）為畸

6、變中心,（u0, v0）,(ud, vd),（u, v）,徑向一致約束,在圖像平面上，點(diǎn) ， 共線，與 直線 平行或斜率相等.,理想透視投影成像坐標(biāo),真實(shí)透視投影成像坐標(biāo),攝像機(jī)中坐標(biāo),世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系,像機(jī)模型,u,v,由徑向約束,移項(xiàng)得：,同除以 得：,寫成矢量形式得：,定標(biāo)算法,定標(biāo)算法步驟一,1.求解像機(jī)外參數(shù)旋轉(zhuǎn)矩陣 和 、 方向上的平移和,（1）,（2）,（3）,（4）,（5）,確定 的符號(hào)并得到,假定 為正，在標(biāo)定點(diǎn)中任意選取一個(gè)點(diǎn)，進(jìn)行如下計(jì)算,若,計(jì)算,定標(biāo)算法步驟二,2. 求解Tz, f, k,（1）,（2）,3.3、基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定,對(duì)于空間

7、中同一直線上的四個(gè)點(diǎn)：,交比：,空間點(diǎn)透視關(guān)系：,對(duì)于空間四個(gè)點(diǎn)對(duì)應(yīng)的理想圖像點(diǎn)為：,對(duì)于空間四個(gè)點(diǎn)對(duì)應(yīng)的實(shí)際圖像點(diǎn)為：,張正友方法,3.4、張正友的平面標(biāo)定方法,張正友方法,基本原理：,在這里假定模板平面在世界坐標(biāo)系 的平面上 其中， 為攝像機(jī)的內(nèi)參數(shù)矩陣， 為模板平面上點(diǎn)的齊次坐標(biāo)， 為模板平面上點(diǎn)投影到圖象平面上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)， 和 分別是攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量,H,根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即 和 ，每幅圖象可以獲得以下兩個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束,由于攝像機(jī)有5個(gè)未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時(shí)，就可以線性唯一求解出,張正友方法,張正友方法所用的平

8、面模板,張正友方法,算法描述,張正友方法,打印一張模板并貼在一個(gè)平面上 從不同角度拍攝若干張模板圖象 檢測(cè)出圖象中的特征點(diǎn) 求出攝像機(jī)的內(nèi)參數(shù)和外參數(shù) 求出畸變系數(shù) 優(yōu)化求精,張正友方法,張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法。它既避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣等缺點(diǎn)，又較自標(biāo)定方法精度高，符合辦公、家庭使用的桌面視覺系統(tǒng)(DVS)的標(biāo)定要求。 張的方法是需要確定模板上點(diǎn)陣的物理坐標(biāo)以及圖像和模板之間的點(diǎn)的匹配，這給不熟悉計(jì)算機(jī)視覺的使用者帶來了不便。,孟胡方法,3.5、孟曉橋、胡占義的圓標(biāo)定方法,孟胡方法,從至少三個(gè)不同方位拍攝模板圖象，根據(jù)射影不變性計(jì)算出每幅

9、圖象上的圓環(huán)點(diǎn)像的坐標(biāo)，得到關(guān)于內(nèi)參數(shù)矩陣的至少六個(gè)方程，即可解出所有內(nèi)參數(shù)。,孟胡方法,計(jì)算圓環(huán)點(diǎn)像的原理：,圓環(huán)點(diǎn)為無窮遠(yuǎn)點(diǎn)，它是絕對(duì)二次曲線上的一對(duì)共軛點(diǎn),(1,i,0,0) (1,-i,0,0) 是一對(duì)圓環(huán)點(diǎn),孟胡方法,在圖像上，兩個(gè)圓環(huán)點(diǎn)的圖像 被計(jì)算出， 則有：,孟胡方法,孟胡的方法與張的方法相比： 過程相似； 所用的模版不同，孟胡的方法基于曲線擬合（穩(wěn)定），并且不需要任何匹配，而張的方法基于點(diǎn)，需要匹配模版的點(diǎn)和圖像點(diǎn)。,吳等的標(biāo)定方法,平行圓：同一個(gè)平面上的圓、或平行平面上的圓。 原理：利用攝像機(jī)成像的準(zhǔn)仿射不變性，計(jì)算圖像上二此曲線的交點(diǎn)，得到圓環(huán)點(diǎn)的圖像,進(jìn)而：,3.6、吳

10、等的平行圓標(biāo)定方法,該方法從平行圓的最小個(gè)數(shù)出發(fā)，基于準(zhǔn)仿射不變性，分析了所有可能情況的計(jì)算圓環(huán)點(diǎn)的方法,吳等的標(biāo)定方法,共面分布：,吳等的標(biāo)定方法,以上可進(jìn)行推廣到非共面的平行圓的情形,吳等的標(biāo)定方法,利用K重建一個(gè)垂直角；重建平行線之間的交角,吳等的標(biāo)定方法,該方法和以往的基于圓的標(biāo)定方法相比: (1). 從最小個(gè)數(shù)出發(fā); (2). 計(jì)算圓環(huán)點(diǎn)圖像簡單; (3).只需要從擬合的二次曲線出發(fā), 不需要任何匹配, 不需要計(jì)算圓心; (4). 應(yīng)用場(chǎng)合廣泛, 不僅僅限于平面的情形. 可應(yīng)用基于轉(zhuǎn)盤的重構(gòu)。,H. Wu, Q. Chen, T. Wada, Visual Line Estimati

11、on from a Single Image of Two Eyes. ICPR (3) 2004.,應(yīng)用于:,G. Jiang, L. Quan, H.T. Tsui, Circular motion geometry by minimal 2 points in 4 images, ICCV2003.,自動(dòng)化所一角,(1)視線定位,(2)基于轉(zhuǎn)盤的重建,(3) 車輛機(jī)器人等的定位,胡占義等的主動(dòng)視覺標(biāo)定方法,基于平面單應(yīng)矩陣的正交運(yùn)動(dòng)方法 基于外極點(diǎn)的正交運(yùn)動(dòng)方法,4、主動(dòng)視覺標(biāo)定方法,胡主動(dòng)視覺標(biāo)定方法,基于平面單應(yīng)矩陣的正交運(yùn)動(dòng)方法原理 是攝像機(jī)一組正交的平移運(yùn)動(dòng)，兩個(gè)單應(yīng)矩陣： 滿足

12、：,胡主動(dòng)視覺標(biāo)定方法,基于平面單應(yīng)矩陣的正交運(yùn)動(dòng)方法原理 即： ，其中 五組兩正交運(yùn)動(dòng)可完全求解5個(gè)內(nèi)參數(shù)。,胡主動(dòng)視覺標(biāo)定方法,第1、2幅圖像在第0幅圖像的外極點(diǎn)分別是： 則：,基于外極點(diǎn)的正交運(yùn)動(dòng)方法原理,0,1,2,胡主動(dòng)視覺標(biāo)定方法,基于外極點(diǎn)的正交運(yùn)動(dòng)方法原理 從而： 五組兩正交運(yùn)動(dòng)可完全求解5個(gè)內(nèi)參數(shù)。,胡主動(dòng)視覺標(biāo)定方法,這兩種主動(dòng)視覺標(biāo)定方法與最經(jīng)典的主動(dòng)視覺標(biāo)定方法（馬頌德的三正交運(yùn)動(dòng)法）相比，具有如下優(yōu)點(diǎn)： 照相機(jī)的二正交運(yùn)動(dòng)比三正交運(yùn)動(dòng)更容易實(shí)現(xiàn)。 可以求解攝像機(jī)的所有5個(gè)內(nèi)參數(shù)，馬頌德的 方法可以求解4個(gè)內(nèi)參數(shù)。,5.1、預(yù)備知識(shí)： 什么是攝像機(jī)自標(biāo)定 ？ 為什么要對(duì)

13、攝像機(jī)進(jìn)行自標(biāo)定 ？ 對(duì)極幾何 5.2、基于Kruppa方程的自標(biāo)定方法 5.3、基于絕對(duì)二次曲面、無窮遠(yuǎn)平面的自標(biāo)定方法 5.4、幾種自標(biāo)定方程的關(guān)系,5、攝像機(jī)自標(biāo)定方法,攝像機(jī)自標(biāo)定是指不需要標(biāo)定塊，僅僅通過圖象點(diǎn)之間的對(duì)應(yīng)關(guān)系對(duì)攝像機(jī)進(jìn)行標(biāo)定的過程。,什么是自標(biāo)定？,為什么要進(jìn)行自標(biāo)定？,實(shí)際應(yīng)用的需求，主要應(yīng)用場(chǎng)所的轉(zhuǎn)移,優(yōu)缺點(diǎn)：,優(yōu)點(diǎn)：靈活，方便 缺點(diǎn)：精度不太高，魯棒性不足,5.1、預(yù)備知識(shí),自標(biāo)定的基本假設(shè)及任務(wù),1、假定圖象點(diǎn)之間的對(duì)應(yīng)關(guān)系已經(jīng)確定。 2、一般來說，認(rèn)為在拍攝不同圖象時(shí)，攝像機(jī)的內(nèi)參數(shù)沒有發(fā)生變化,3、所謂的自標(biāo)定，就是要標(biāo)定攝像機(jī)的內(nèi)參數(shù)矩陣K,一些預(yù)備知識(shí)

14、,1、點(diǎn)的齊次坐標(biāo) 二個(gè)齊次坐標(biāo)如相差一個(gè)非零因子，則這二個(gè)齊次坐標(biāo)相同,2、無窮遠(yuǎn)直線上的點(diǎn) 如點(diǎn) 為無窮遠(yuǎn)直線上的點(diǎn)，則 t =0,一些預(yù)備知識(shí),3、通過二點(diǎn)的直線 如果 為二圖象點(diǎn)，則通過 該二點(diǎn)的直線的參數(shù)向量為：,L,x1,x2,一些預(yù)備知識(shí),反對(duì)稱矩陣（Anti-symmetric or Skew-Symmetric matrix),給定向量 ，其對(duì)應(yīng)的反對(duì)稱矩陣定義為：,則對(duì)應(yīng)任意的向量 b, 有,一些預(yù)備知識(shí),對(duì)偶原理,如果 C為一非退化的圖象二次曲線，即：,則,過x 處的切線參數(shù)向量為：,則 , 代入上式可得：,對(duì)偶線坐標(biāo)曲線,點(diǎn)坐標(biāo)曲線,一些預(yù)備知識(shí),對(duì)偶曲線示意圖,C,點(diǎn)

15、坐標(biāo)曲線,對(duì)偶線坐標(biāo)曲線,x1,x2,x3,一些預(yù)備知識(shí),歐幾理得空間下的投影矩陣,如果X 為空間某一點(diǎn)，兩攝像機(jī)間的坐標(biāo)變換為：,則歐幾理得空間下的兩投影矩陣為：,K 為攝像機(jī)的內(nèi)參數(shù)矩陣,其中 X為空間點(diǎn)，ml, mr 對(duì)應(yīng)于X 的一對(duì)圖象對(duì)應(yīng)點(diǎn),投影關(guān)系,一些預(yù)備知識(shí),對(duì)極幾何（Epipolar Geometry),N,一些預(yù)備知識(shí),基本矩陣的推導(dǎo)及形式,F 的秩為2，F(xiàn)在相差一個(gè)常數(shù)因子下是唯一確定的。F 可以通過8對(duì)圖象對(duì)應(yīng)點(diǎn)線性確定。,一些預(yù)備知識(shí),對(duì)極幾何的一些代數(shù)性質(zhì),基本矩陣和外極點(diǎn)的關(guān)系,所有的外極線都過對(duì)應(yīng)的外極點(diǎn)，外極點(diǎn)是光心連線與圖象平面的交點(diǎn)。對(duì)應(yīng)外極線束構(gòu)成一射影

16、變換,如果 m位于極線l上，n 位于極線l上，m, n不一定是對(duì)應(yīng)點(diǎn),下述關(guān)系仍然成立：,一些預(yù)備知識(shí),一些預(yù)備知識(shí),中心投影下，如果射影平面與空間曲線相切，則射影平面與圖象平面的交線必與空間曲線在圖象平面上的投影曲線相切,圖象平面,空間曲線,一些預(yù)備知識(shí),絕對(duì)二次曲線 攝像機(jī)自標(biāo)定的參考標(biāo)定物,絕對(duì)二次曲線是無窮遠(yuǎn)平面上的一條二次曲線，它的數(shù)學(xué)定義為：,一些預(yù)備知識(shí),絕對(duì)二次曲線在圖象上投影的性質(zhì),絕對(duì)二次曲線的象僅與攝像機(jī)的內(nèi)參數(shù)有關(guān)，與攝像機(jī)的運(yùn)動(dòng)參數(shù)無關(guān),從定義 XTX0 知，,給定正定矩陣 ，則 K 可以通過Cholesky 分解唯一確定,自標(biāo)定的基本思路,通過絕對(duì)二次曲線建立關(guān)于攝

17、像機(jī)內(nèi)參數(shù)矩陣的約束方程，稱之為Kruppa 方程,求解Kruppa 方程確定 矩陣C,通過Cholesky分解得到矩陣K,如何進(jìn)行,推導(dǎo)Kruppa 方程的示意圖,5.2、基于Kruppa方程的自標(biāo)定方法,Kruppa 方程,x 為位于 ll 上的任意一點(diǎn)，則 ,則,則,對(duì)偶,w 的組成形式,對(duì)偶曲線,關(guān)于Kruppa 方程的幾點(diǎn)說明,1、在Kruppa方程中，F(xiàn),e 為已知數(shù)，w 為未知數(shù),2、 w 有5個(gè)獨(dú)立未知變量,3、每個(gè)Kruppa方程最多可以提供2個(gè)關(guān)于未知變量的獨(dú)立約束，約束方程為5元二次方程,4、每對(duì)圖象可以得到一個(gè)Kruppa方程，故至少需要3對(duì)圖象來標(biāo)定攝像機(jī)，且攝像機(jī)的內(nèi)參數(shù)必須保持不變,5、假定內(nèi)參數(shù)都在變，任意兩幅圖像間有兩個(gè)獨(dú)立的Kruppa方程，則 N (=3) 幅圖像之間有N(N-1)個(gè)Kruppa方程，其中只有5N-9個(gè)方程是獨(dú)立的。,絕對(duì)二次曲面,將世界坐標(biāo)系取作第一個(gè)攝像機(jī)的坐標(biāo)系，則絕對(duì)二次曲面是：,其中 K1 是第