攝像機(jī)標(biāo)定張正友課件

張正友標(biāo)定算法

及其改進(jìn)算法組員：張正友標(biāo)定算法

及其改進(jìn)算法組員：1 攝像機(jī)標(biāo)定簡介2 成像變換與攝像機(jī)模型、參數(shù)3 張正友標(biāo)定算法原理4 程序?qū)崿F(xiàn)5 改進(jìn)型算法（基于三個(gè)非共線點(diǎn)的標(biāo)定

方法）1 攝像機(jī)標(biāo)定簡介1 攝像機(jī)標(biāo)定:求解攝像機(jī)參數(shù)的過程，建立攝像機(jī)圖像像素位置與場景點(diǎn)位置之間的關(guān)系，其途徑是根據(jù)攝像機(jī)模型，由已知特征點(diǎn)的圖像坐標(biāo)求解攝像機(jī)的模型參數(shù)。2攝像機(jī)標(biāo)定的目的：三維重建，就是指從圖象出發(fā)恢復(fù)出空間點(diǎn)三維坐標(biāo)的過程。

1攝像機(jī)標(biāo)定簡介

世界坐標(biāo)系Ou攝像機(jī)坐標(biāo)系xyv圖像坐標(biāo)系1 攝像機(jī)標(biāo)定:求解攝像機(jī)參數(shù)的過程，建立攝像機(jī)圖像像素位置坐標(biāo)系三個(gè)坐標(biāo)系：1、世界坐標(biāo)系：

2、攝像機(jī)坐標(biāo)系：3、圖像坐標(biāo)系:

x,y,zXw,Yw,Zwx,y,zu,vx,yx’y’Z=0考慮徑向失真坐標(biāo)系三個(gè)坐標(biāo)系：1、世界坐標(biāo)系：x,y,zXw,Yw,Z3幾種標(biāo)定方法的介紹： 1.傳統(tǒng)的攝像機(jī)標(biāo)定方法

利用已知的景物結(jié)構(gòu)信息，與圖片坐標(biāo)對(duì)比，常用到標(biāo)定塊。

精度高，過程復(fù)雜，需要高精度已知信息。 2.主動(dòng)視覺攝像機(jī)標(biāo)定方法

已知攝像機(jī)的某些運(yùn)動(dòng)信息。可線性求解，魯棒性高，但大多數(shù)場合不能得到攝像機(jī)運(yùn)動(dòng)信息。 3.攝像機(jī)自標(biāo)定方法

靠多幅圖像之間的關(guān)系進(jìn)行標(biāo)定，靈活性強(qiáng)，非線性標(biāo)定，

魯棒性不高。3幾種標(biāo)定方法的介紹：

2成像變換與攝像機(jī)模型、參數(shù)

圖像數(shù)字化

在中的坐標(biāo)為象素在軸上的物理尺寸為

AffineTransformation:CV齊次坐標(biāo)形式:其中

2成像變換與攝像機(jī)模型、參數(shù)

圖像數(shù)字化在成像模型與參數(shù)二維坐標(biāo)任意數(shù)內(nèi)參矩陣旋轉(zhuǎn)矩陣平移矩陣三維坐標(biāo)圖像二維坐標(biāo)世界三維坐標(biāo)S為深度比例因子，方便計(jì)算，可消去。成像模型與參數(shù)二維坐標(biāo)任意數(shù)內(nèi)參矩陣旋轉(zhuǎn)矩陣平移矩陣三維坐標(biāo)

攝像機(jī)的內(nèi)參數(shù)矩陣A

攝像機(jī)外參數(shù)矩陣[Rt]

攝像機(jī)的內(nèi)參數(shù)矩陣A

攝像機(jī)外參數(shù)矩陣[Rt]

3張正友方法簡述單應(yīng)性矩陣H

假如世界坐標(biāo)與攝像機(jī)坐標(biāo)的XY平面重合，即Z=0，有：我們假定：則原式可化為：這里，矩陣H就是從世界坐標(biāo)系到圖像坐標(biāo)系的3×3大小的單應(yīng)性矩陣。對(duì)H再次進(jìn)行變形，假設(shè)h1,h2,h3是H的列向量，有：3張正友方法簡述單應(yīng)性矩陣H我們假定：旋轉(zhuǎn)矩陣R=[r1,r2.r3];分別為xyz方向的旋轉(zhuǎn)向量；我們將用上述性質(zhì)得到求解內(nèi)置參數(shù)矩陣的約束方程。上式中包含XY兩個(gè)方程；H為3乘3矩陣，包含一個(gè)齊次坐標(biāo)與8個(gè)未知數(shù)，要求出H，至少需要8個(gè)方程，也就是說，一幅圖片至少需要已知的4個(gè)點(diǎn)才能求出H。旋轉(zhuǎn)矩陣R=[r1,r2.r3];分別為xyz方向的旋轉(zhuǎn)向量求解內(nèi)置參數(shù)矩陣A求出后，可應(yīng)用上述的約束矩陣來求解內(nèi)置參數(shù)矩陣A。A中有5個(gè)未知數(shù)，我們需要至少5個(gè)方程，也就是說至少需要3幅圖片求解Ａ。求解內(nèi)置參數(shù)矩陣A求出很顯然，B是一個(gè)對(duì)稱矩陣，我們假定：我們假定：很顯然，B是一個(gè)對(duì)稱矩陣，我們假定：我們假定：設(shè)H矩陣中第i列的向量為帶入到中有：解得：設(shè)H矩陣中第i列的向量為帶入到中有：解得：Ｂ矩陣的解出，相機(jī)內(nèi)參矩陣A也就求解出，從而每張圖像的R，t也迎刃而解Ｂ矩陣的解出，相機(jī)內(nèi)參矩陣A也就求解出，從而每張圖像的R，t畸變校正模型由于透鏡的中心對(duì)稱性，所以式中考慮x方向上與y方向上的徑向畸變率是相同的畸變校正模型由于透鏡的中心對(duì)稱性，所以式中考慮x方向上與y方然后，通過線性最小二乘的方法求出徑向畸變系數(shù)：然后，通過線性最小二乘的方法求出徑向畸變系數(shù)：４程序?qū)崿F(xiàn)張正友標(biāo)定方法流程1.打印一張標(biāo)定板，然后附加到一個(gè)平坦的表面上。2.通過移動(dòng)相機(jī)或者平面拍攝標(biāo)定板各種角度的圖片。3.檢測圖片中的特征點(diǎn)4.計(jì)算5個(gè)內(nèi)部參數(shù)和所有的外部參數(shù)5.通過最小二乘法先行求解徑向畸變系數(shù)。6.通過求最小參數(shù)值，優(yōu)化所有的參數(shù)４程序?qū)崿F(xiàn)張正友標(biāo)定方法流程1.打印一張標(biāo)定板，然后附加到５改進(jìn)型算法以上講述張的方法為基于匹配的方法，它是張?jiān)?999年的論文《AFlexibleNewTechniqueforCameraCalibration》提出來的，目前已經(jīng)得到廣泛應(yīng)用。它至少需要4個(gè)已知點(diǎn)來求解每張圖片的單應(yīng)性矩陣H，至少需要3張圖片求解內(nèi)置參數(shù)矩陣A。那么能不能以更少的已知匹配點(diǎn)來求解參數(shù)呢？張正友等人在2008年的一篇論文 《CameraCalibrationWithThreeNoncollinearPointsUnderSpecialMotions》中提出了至少只需要3個(gè)已知非共線的點(diǎn)，和2幅圖片的方法。５改進(jìn)型算法以上講述張的方法為基于匹配的方法，它是張?jiān)?9

基于三個(gè)非共線點(diǎn)在特殊運(yùn)動(dòng)下的攝像機(jī)標(biāo)定

我們知道至少三點(diǎn)可以確定一個(gè)平面，而張正友的標(biāo)定方法正是基于兩個(gè)平面的匹配，所以三個(gè)非共線點(diǎn)的標(biāo)定方法理論是可行的。該方法步驟：1旋轉(zhuǎn)3個(gè)非共線點(diǎn)2得到中心點(diǎn)O與o坐標(biāo)3根據(jù)約束條件建立方程4求解內(nèi)參矩陣K5求解外參[R，t]

圖像的成像模式：

基于三個(gè)非共線點(diǎn)在特殊運(yùn)動(dòng)下的攝像機(jī)標(biāo)定

我們知道至少三點(diǎn)三個(gè)非共線點(diǎn)旋轉(zhuǎn)1.假如我們已知世界坐標(biāo)中三個(gè)非共線的點(diǎn)（A，B，C）和圖像坐標(biāo)中對(duì)應(yīng)的點(diǎn)（a,b,c）坐標(biāo)。

（A,B,C）可以得到一個(gè)向量（l1,l2,θ），如圖：該方法求解參數(shù)的約束方程將從上述向量得到。三個(gè)非共線點(diǎn)旋轉(zhuǎn)1.假如我們已知世界坐標(biāo)中三個(gè)非共線的點(diǎn)（A旋轉(zhuǎn)軸的選取：1.三個(gè)非共線點(diǎn)繞垂直于支持平面的軸旋轉(zhuǎn)180度2.將非共線點(diǎn)繞某條邊轉(zhuǎn)第一種情況：

軸L為可以由（A,B,C）所表示的垂直于平面的直線，點(diǎn)O為軸交平面的交點(diǎn)。旋轉(zhuǎn)前為（A(i),B(i),C(i)）,旋轉(zhuǎn)后為（A(j),B(j),C(j)）對(duì)應(yīng)的圖像坐標(biāo)點(diǎn)為（a(i),b(i),c(i)）,（a(j),b(j),c(j)）與點(diǎn)o.旋轉(zhuǎn)軸的選?。狠SL為可以由（A,B,C）所表示的垂直于平面的按圖（a）的情況，則o的坐標(biāo)可表示為：

其中

因?yàn)樵肼暤挠绊?，圖片中三條線不會(huì)準(zhǔn)確的交于某個(gè)點(diǎn)，所以需要用最小二乘法計(jì)算。按圖（b）的情況，則有：與o的坐標(biāo)：

Zo為比例因子，計(jì)算可消去。按圖（a）的情況，則o的坐標(biāo)可表示為：Zo為比例因子，計(jì)算可上式兩端分別叉乘a,b,c上式兩端分別叉乘a,b,c約束條件：由右圖可得：、根據(jù)上式轉(zhuǎn)化：約束條件：由右圖可得：將（8）（9）（10）帶入上式有：其中現(xiàn)在只有K內(nèi)含有5個(gè)未知數(shù)，所以至少只需要兩幅圖片即可求出K將（8）（9）（10）帶入上式有：現(xiàn)在只有K內(nèi)含有5個(gè)未知數(shù)第二種情況將非共線點(diǎn)繞某條邊轉(zhuǎn)：O點(diǎn)坐標(biāo)可表示為：O坐標(biāo)可表示為：第二種情況將非共線點(diǎn)繞某條邊轉(zhuǎn)：按第一種情況相同的方法可以得到:其中h1,h2與第一種情況有相同結(jié)構(gòu)。將三式代入約束條件，得到按第一種情況相同的方法可以得到:將三式代入約束條件，得到求解內(nèi)參矩陣K的方法和張正友的前期方法相同，不再介紹。攝像機(jī)標(biāo)定張正友課件外參矩陣的求解根據(jù)并且已知K，我們可以得到（A(i),B(i),C(i)）用G表示.用(8)(9)(10)或者(16)(17)(18)式代替

得到:m1,m2m3取決于旋轉(zhuǎn)軸的選取。得到外參矩陣：外參矩陣的求解根據(jù)改進(jìn)算法只需要至少3個(gè)非共線點(diǎn)與2幅圖片即可求出參數(shù)，并且避免了大規(guī)模矩陣運(yùn)算。

基于該算法的特點(diǎn)，常用鐘表盤與三角形進(jìn)行標(biāo)定。實(shí)驗(yàn)表明該算法在圖片大于6幅圖、cos介于[-0.5,0.5]時(shí)，結(jié)果較精準(zhǔn)。θ改進(jìn)算法只需要至少3個(gè)非共線點(diǎn)與2幅圖片即可θThanksThanks張正友標(biāo)定算法

及其改進(jìn)算法組員：張正友標(biāo)定算法

及其改進(jìn)算法組員：1 攝像機(jī)標(biāo)定簡介2 成像變換與攝像機(jī)模型、參數(shù)3 張正友標(biāo)定算法原理4 程序?qū)崿F(xiàn)5 改進(jìn)型算法（基于三個(gè)非共線點(diǎn)的標(biāo)定

方法）1 攝像機(jī)標(biāo)定簡介1 攝像機(jī)標(biāo)定:求解攝像機(jī)參數(shù)的過程，建立攝像機(jī)圖像像素位置與場景點(diǎn)位置之間的關(guān)系，其途徑是根據(jù)攝像機(jī)模型，由已知特征點(diǎn)的圖像坐標(biāo)求解攝像機(jī)的模型參數(shù)。2攝像機(jī)標(biāo)定的目的：三維重建，就是指從圖象出發(fā)恢復(fù)出空間點(diǎn)三維坐標(biāo)的過程。

1攝像機(jī)標(biāo)定簡介

世界坐標(biāo)系Ou攝像機(jī)坐標(biāo)系xyv圖像坐標(biāo)系1 攝像機(jī)標(biāo)定:求解攝像機(jī)參數(shù)的過程，建立攝像機(jī)圖像像素位置坐標(biāo)系三個(gè)坐標(biāo)系：1、世界坐標(biāo)系：

2、攝像機(jī)坐標(biāo)系：3、圖像坐標(biāo)系:

x,y,zXw,Yw,Zwx,y,zu,vx,yx’y’Z=0考慮徑向失真坐標(biāo)系三個(gè)坐標(biāo)系：1、世界坐標(biāo)系：x,y,zXw,Yw,Z3幾種標(biāo)定方法的介紹： 1.傳統(tǒng)的攝像機(jī)標(biāo)定方法

利用已知的景物結(jié)構(gòu)信息，與圖片坐標(biāo)對(duì)比，常用到標(biāo)定塊。

精度高，過程復(fù)雜，需要高精度已知信息。 2.主動(dòng)視覺攝像機(jī)標(biāo)定方法

已知攝像機(jī)的某些運(yùn)動(dòng)信息?？删€性求解，魯棒性高，但大多數(shù)場合不能得到攝像機(jī)運(yùn)動(dòng)信息。 3.攝像機(jī)自標(biāo)定方法

靠多幅圖像之間的關(guān)系進(jìn)行標(biāo)定，靈活性強(qiáng)，非線性標(biāo)定，

魯棒性不高。3幾種標(biāo)定方法的介紹：

2成像變換與攝像機(jī)模型、參數(shù)

圖像數(shù)字化

在中的坐標(biāo)為象素在軸上的物理尺寸為

AffineTransformation:CV齊次坐標(biāo)形式:其中

2成像變換與攝像機(jī)模型、參數(shù)

圖像數(shù)字化在成像模型與參數(shù)二維坐標(biāo)任意數(shù)內(nèi)參矩陣旋轉(zhuǎn)矩陣平移矩陣三維坐標(biāo)圖像二維坐標(biāo)世界三維坐標(biāo)S為深度比例因子，方便計(jì)算，可消去。成像模型與參數(shù)二維坐標(biāo)任意數(shù)內(nèi)參矩陣旋轉(zhuǎn)矩陣平移矩陣三維坐標(biāo)

攝像機(jī)的內(nèi)參數(shù)矩陣A

攝像機(jī)外參數(shù)矩陣[Rt]

攝像機(jī)的內(nèi)參數(shù)矩陣A

攝像機(jī)外參數(shù)矩陣[Rt]

3張正友方法簡述單應(yīng)性矩陣H

假如世界坐標(biāo)與攝像機(jī)坐標(biāo)的XY平面重合，即Z=0，有：我們假定：則原式可化為：這里，矩陣H就是從世界坐標(biāo)系到圖像坐標(biāo)系的3×3大小的單應(yīng)性矩陣。對(duì)H再次進(jìn)行變形，假設(shè)h1,h2,h3是H的列向量，有：3張正友方法簡述單應(yīng)性矩陣H我們假定：旋轉(zhuǎn)矩陣R=[r1,r2.r3];分別為xyz方向的旋轉(zhuǎn)向量；我們將用上述性質(zhì)得到求解內(nèi)置參數(shù)矩陣的約束方程。上式中包含XY兩個(gè)方程；H為3乘3矩陣，包含一個(gè)齊次坐標(biāo)與8個(gè)未知數(shù)，要求出H，至少需要8個(gè)方程，也就是說，一幅圖片至少需要已知的4個(gè)點(diǎn)才能求出H。旋轉(zhuǎn)矩陣R=[r1,r2.r3];分別為xyz方向的旋轉(zhuǎn)向量求解內(nèi)置參數(shù)矩陣A求出后，可應(yīng)用上述的約束矩陣來求解內(nèi)置參數(shù)矩陣A。A中有5個(gè)未知數(shù)，我們需要至少5個(gè)方程，也就是說至少需要3幅圖片求解Ａ。求解內(nèi)置參數(shù)矩陣A求出很顯然，B是一個(gè)對(duì)稱矩陣，我們假定：我們假定：很顯然，B是一個(gè)對(duì)稱矩陣，我們假定：我們假定：設(shè)H矩陣中第i列的向量為帶入到中有：解得：設(shè)H矩陣中第i列的向量為帶入到中有：解得：Ｂ矩陣的解出，相機(jī)內(nèi)參矩陣A也就求解出，從而每張圖像的R，t也迎刃而解Ｂ矩陣的解出，相機(jī)內(nèi)參矩陣A也就求解出，從而每張圖像的R，t畸變校正模型由于透鏡的中心對(duì)稱性，所以式中考慮x方向上與y方向上的徑向畸變率是相同的畸變校正模型由于透鏡的中心對(duì)稱性，所以式中考慮x方向上與y方然后，通過線性最小二乘的方法求出徑向畸變系數(shù)：然后，通過線性最小二乘的方法求出徑向畸變系數(shù)：４程序?qū)崿F(xiàn)張正友標(biāo)定方法流程1.打印一張標(biāo)定板，然后附加到一個(gè)平坦的表面上。2.通過移動(dòng)相機(jī)或者平面拍攝標(biāo)定板各種角度的圖片。3.檢測圖片中的特征點(diǎn)4.計(jì)算5個(gè)內(nèi)部參數(shù)和所有的外部參數(shù)5.通過最小二乘法先行求解徑向畸變系數(shù)。6.通過求最小參數(shù)值，優(yōu)化所有的參數(shù)４程序?qū)崿F(xiàn)張正友標(biāo)定方法流程1.打印一張標(biāo)定板，然后附加到５改進(jìn)型算法以上講述張的方法為基于匹配的方法，它是張?jiān)?999年的論文《AFlexibleNewTechniqueforCameraCalibration》提出來的，目前已經(jīng)得到廣泛應(yīng)用。它至少需要4個(gè)已知點(diǎn)來求解每張圖片的單應(yīng)性矩陣H，至少需要3張圖片求解內(nèi)置參數(shù)矩陣A。那么能不能以更少的已知匹配點(diǎn)來求解參數(shù)呢？張正友等人在2008年的一篇論文 《CameraCalibrationWithThreeNoncollinearPointsUnderSpecialMotions》中提出了至少只需要3個(gè)已知非共線的點(diǎn)，和2幅圖片的方法。５改進(jìn)型算法以上講述張的方法為基于匹配的方法，它是張?jiān)?9

基于三個(gè)非共線點(diǎn)在特殊運(yùn)動(dòng)下的攝像機(jī)標(biāo)定

我們知道至少三點(diǎn)可以確定一個(gè)平面，而張正友的標(biāo)定方法正是基于兩個(gè)平面的匹配，所以三個(gè)非共線點(diǎn)的標(biāo)定方法理論是可行的。該方法步驟：1旋轉(zhuǎn)3個(gè)非共線點(diǎn)2得到中心點(diǎn)O與o坐標(biāo)3根據(jù)約束條件建立方程4求解內(nèi)參矩陣K5求解外參[R，t]

圖像的成像模式：

基于三個(gè)非共線點(diǎn)在特殊運(yùn)動(dòng)下的攝像機(jī)標(biāo)定

我們知道至少三點(diǎn)三個(gè)非共線點(diǎn)旋轉(zhuǎn)1.假如我們已知世界坐標(biāo)中三個(gè)非共線的點(diǎn)（A，B，C）和圖像坐標(biāo)中對(duì)應(yīng)的點(diǎn)（a,b,c）坐標(biāo)。

（A,B,C）可以得到一個(gè)向量（l1,l2,θ），如圖：該方法求解參數(shù)的約束方程將從上述向量得到。三個(gè)非共線點(diǎn)旋轉(zhuǎn)1.假如我們已知世界坐標(biāo)中三個(gè)非共線的點(diǎn)（A旋轉(zhuǎn)軸的選?。?.三個(gè)非共線點(diǎn)繞垂直于支持平面的軸旋轉(zhuǎn)180度2.將非共線點(diǎn)繞某條邊轉(zhuǎn)第一種情況：

軸L為可以由（A,B,C）所表示的垂直于平面的直線，點(diǎn)O為軸交平面的交點(diǎn)。旋轉(zhuǎn)前為（A(i),B(i),C(i)）,旋轉(zhuǎn)后為（A(j),B(j),C(j)）對(duì)應(yīng)的圖像坐標(biāo)點(diǎn)為（a(i),b(i),c(i)）,（a(j),b(j),c(j)）與點(diǎn)o.旋轉(zhuǎn)軸的選取：軸L為可以由（A,B,C）所表示的垂直于平面的按圖（a）的情況，則o的坐標(biāo)可表示為：

其中

因?yàn)樵肼暤挠绊懀瑘D片中三條線不會(huì)準(zhǔn)確的交于某個(gè)點(diǎn)，所以需要用最小二乘法計(jì)算。按圖（b）的情況，則有：與o的坐標(biāo)：

Zo為比例因子，計(jì)算可