張正友相機(jī)標(biāo)定法課件

張正友相機(jī)標(biāo)定方法曲峰2022/11/3張正友相機(jī)標(biāo)定方法曲峰2022/11/211相機(jī)畸變鏡頭畸變實際上是光學(xué)透鏡固有的透視失真的總稱枕形畸變：又稱鞍形畸變，視野中邊緣區(qū)域的放大率遠(yuǎn)大于光軸中心附近區(qū)域放大率。常出現(xiàn)在遠(yuǎn)攝鏡頭中。桶形畸變：同枕形相反，視野中光軸中心附近區(qū)域放大率遠(yuǎn)大于邊緣區(qū)域。常出現(xiàn)于廣角鏡頭和魚眼鏡頭。線性畸變：光軸同所拍攝的如建筑物類物體的垂平面不正交，則本應(yīng)相互平行的遠(yuǎn)端一側(cè)同近端一側(cè)，以不相同的角度匯聚產(chǎn)生畸變。這種畸變本質(zhì)上是一種透視變換，即在某一特定角度，任何鏡頭都會產(chǎn)生相似的畸變。1相機(jī)畸變鏡頭畸變實際上是光學(xué)透鏡固有的透視失真的總稱2枕形畸變桶形畸變線性畸變枕形畸變桶形畸變線性畸變31針孔模型和透視投影針孔模型：1/f=1/u+1/v透視投影：中心投影法將形體投射到投影面上1針孔模型和透視投影針孔模型：1/f=1/u+1/v4坐標(biāo)系世界坐標(biāo)系（XwYwZw）

用戶定義的空間三維坐標(biāo)系，用來描述三維空間中的物體和相機(jī)之間的坐標(biāo)位置，滿足右手法則攝像機(jī)坐標(biāo)系（XcYcZc）

以相機(jī)的光心作為原點，Zc軸與光軸重合，并垂直于成像平面，且取攝影方向為正方向，Xc、Yc軸與圖像物理坐標(biāo)系的x,y軸平行，且OcO為攝像機(jī)的焦距f圖像坐標(biāo)系

是以圖像的左上方為原點，的圖像坐標(biāo)系（uv）（此坐標(biāo)以像素為單位），這里我們建立了圖像物理坐標(biāo)系（xy）為xoy坐標(biāo)系（此坐標(biāo)系以毫米為單位）。坐標(biāo)系世界坐標(biāo)系（XwYwZw）5一個二維點坐標(biāo)被表示為 ，一個三維點被表示為，我們使用去表示通過在矩陣最后面的元素加一個1的向量：和 ，相機(jī)通常都是針孔模型：它的3D點M和它的圖像投影點m的關(guān)系為：二維坐標(biāo)任意數(shù)內(nèi)參矩陣旋轉(zhuǎn)矩陣平移矩陣三維坐標(biāo)一個二維點坐標(biāo)被表示為 ，一個三維61坐標(biāo)變換首先從二維坐標(biāo)變換進(jìn)行理解矩陣表示齊次坐標(biāo)1坐標(biāo)變換首先從二維坐標(biāo)變換進(jìn)行理解矩陣表示齊次坐標(biāo)71坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩個步驟來推算從世界坐標(biāo)系到相機(jī)坐標(biāo)系的坐標(biāo)變換，1坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩81坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩個步驟來推算從世界坐標(biāo)系到相機(jī)坐標(biāo)系的坐標(biāo)變換1坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩9

在中的坐標(biāo)為象素在軸上的物理尺寸為

AffineTransformation:圖像數(shù)字化UCV齊次坐標(biāo)形式:其中在中的坐標(biāo)為AffineTran101坐標(biāo)變換第二個階段，空間點向像點轉(zhuǎn)化：第三個階段，像點向像素坐標(biāo)轉(zhuǎn)化：1坐標(biāo)變換第二個階段，空間點向像點轉(zhuǎn)化：第三個階段，像點向像11展開Z=0平面展開Z=0平面12我們假定則原式可化為：這里，矩陣H就是從世界坐標(biāo)系到圖像坐標(biāo)系的3×3大小的單應(yīng)性矩陣。對H再次進(jìn)行變形，假設(shè)h1,h2,h3是H的列向量，有：2單應(yīng)性矩陣推導(dǎo)我們假定則原式可化為：這里，矩陣H就是從世界坐標(biāo)系到圖像坐標(biāo)13張正友相機(jī)標(biāo)定法課件14對單應(yīng)性矩陣H的估算H就是我們常說的單應(yīng)性矩陣，在這里描述的是空間中平面三維點和相機(jī)平面二維點之間的關(guān)系。因為相機(jī)平面中點的坐標(biāo)可以通過圖像處理的方式（哈里斯角點，再基于梯度搜索的方式精確控制點位置）獲取，而空間平面中三維點可以通過事先做好的棋盤獲取。所以也就是說每張圖片都可以計算出一個H矩陣。對單應(yīng)性矩陣H的估算H就是我們常說的單應(yīng)性矩陣，在這里描述的15假設(shè)令假設(shè)令16張正友相機(jī)標(biāo)定法課件17很顯然，B是一個對稱矩陣，我們假定：3閉合形解很顯然，B是一個對稱矩陣，我們假定：3閉合形解18設(shè)H矩陣中第i列的向量為帶入到中有：解得：設(shè)H矩陣中第i列的向量為帶入到中有：解得：19V矩陣是2*6矩陣，也就是說每張照片可建立起兩個方程組，6個未知數(shù)。根據(jù)線性代數(shù)知識可知，解6個未知數(shù)需至少6個方程組，所以也就是說我們至少需要三張照片才能求解未知數(shù)。b矩陣的解出，相機(jī)內(nèi)參矩陣A也就求解出，從而每張圖像的R，t也迎刃而解。V矩陣是2*6矩陣，也就是說每張照片可建立起兩個方程組，6個20最大似然估計以上求解旋轉(zhuǎn)矩陣R的方法是基于最小距離的，不具備物理意義。接下對上面得到結(jié)果用最大似然估計來進(jìn)行優(yōu)化。轉(zhuǎn)動標(biāo)定模板，從不同的角度拍攝棋盤標(biāo)定模板的n幅圖像，設(shè)每幅圖像都具有相同的標(biāo)定點，標(biāo)定點的個數(shù)為m，并假設(shè)每個標(biāo)定點的坐標(biāo)都有獨(dú)立同分布的噪聲，因為初始的參數(shù)已經(jīng)求解，所以我們將每張圖像的控制點根據(jù)求解的參數(shù)重投影回三維空間，最小化與真實值的差異，其實就是建立非線性最小化模型：最大似然估計以上求解旋轉(zhuǎn)矩陣R的方法是基于最小距離的，不具備21其中mij是三維場景中第j個物點在第i幅圖像上的像點坐標(biāo)矢量，Ri是第i幅圖像的旋轉(zhuǎn)矩陣，是ti第i幅圖像的平移向量，Mj是三維場景中第j個物點的空間坐標(biāo)，

是通過已知初始值得到的像點估計坐標(biāo)。

的求解是一個經(jīng)典的非線性優(yōu)化的問題，使評價函數(shù)最小的A，Ri，ti就是這個問題的最優(yōu)解?？梢匀〉谝淮蔚玫降木€性求解結(jié)果作為A、

的初始值，解決這類問題的方法很多，在計算機(jī)視覺領(lǐng)域里通常使用Levenberg-Marquarat算法進(jìn)行求解。其中mij是三維場景中第j個物點在第i幅圖像上的像點坐標(biāo)矢量22畸變校正模型由于透鏡的中心對稱性，所以式中考慮x方向上與y方向上的徑向畸變率是相同的畸變校正模型由于透鏡的中心對稱性，所以式中考慮x方向上與y方23然后，通過線性最小二乘的方法求出徑向畸變系數(shù)：然后，通過線性最小二乘的方法求出徑向畸變系數(shù)：24張正友相機(jī)標(biāo)定法課件251張正友標(biāo)定方法流程1.打印一張標(biāo)定板，然后附加到一個平坦的表面上。2.通過移動相機(jī)或者平面拍攝標(biāo)定板各種角度的圖片。3.檢測圖片中的特征點4.計算5個內(nèi)部參數(shù)和所有的外部參數(shù)5.通過最小二乘法先行求解徑向畸變系數(shù)。6.通過求最小參數(shù)值，優(yōu)化所有的參數(shù)1張正友標(biāo)定方法流程1.打印一張標(biāo)定板，然后附加到一個平坦的26張正友相機(jī)標(biāo)定法課件27張正友相機(jī)標(biāo)定法課件28張正友相機(jī)標(biāo)定法課件29張正友相機(jī)標(biāo)定法課件30張正友相機(jī)標(biāo)定法課件31謝謝觀看謝謝觀看32張正友相機(jī)標(biāo)定方法曲峰2022/11/3張正友相機(jī)標(biāo)定方法曲峰2022/11/2331相機(jī)畸變鏡頭畸變實際上是光學(xué)透鏡固有的透視失真的總稱枕形畸變：又稱鞍形畸變，視野中邊緣區(qū)域的放大率遠(yuǎn)大于光軸中心附近區(qū)域放大率。常出現(xiàn)在遠(yuǎn)攝鏡頭中。桶形畸變：同枕形相反，視野中光軸中心附近區(qū)域放大率遠(yuǎn)大于邊緣區(qū)域。常出現(xiàn)于廣角鏡頭和魚眼鏡頭。線性畸變：光軸同所拍攝的如建筑物類物體的垂平面不正交，則本應(yīng)相互平行的遠(yuǎn)端一側(cè)同近端一側(cè)，以不相同的角度匯聚產(chǎn)生畸變。這種畸變本質(zhì)上是一種透視變換，即在某一特定角度，任何鏡頭都會產(chǎn)生相似的畸變。1相機(jī)畸變鏡頭畸變實際上是光學(xué)透鏡固有的透視失真的總稱34枕形畸變桶形畸變線性畸變枕形畸變桶形畸變線性畸變351針孔模型和透視投影針孔模型：1/f=1/u+1/v透視投影：中心投影法將形體投射到投影面上1針孔模型和透視投影針孔模型：1/f=1/u+1/v36坐標(biāo)系世界坐標(biāo)系（XwYwZw）

用戶定義的空間三維坐標(biāo)系，用來描述三維空間中的物體和相機(jī)之間的坐標(biāo)位置，滿足右手法則攝像機(jī)坐標(biāo)系（XcYcZc）

以相機(jī)的光心作為原點，Zc軸與光軸重合，并垂直于成像平面，且取攝影方向為正方向，Xc、Yc軸與圖像物理坐標(biāo)系的x,y軸平行，且OcO為攝像機(jī)的焦距f圖像坐標(biāo)系

是以圖像的左上方為原點，的圖像坐標(biāo)系（uv）（此坐標(biāo)以像素為單位），這里我們建立了圖像物理坐標(biāo)系（xy）為xoy坐標(biāo)系（此坐標(biāo)系以毫米為單位）。坐標(biāo)系世界坐標(biāo)系（XwYwZw）37一個二維點坐標(biāo)被表示為 ，一個三維點被表示為，我們使用去表示通過在矩陣最后面的元素加一個1的向量：和 ，相機(jī)通常都是針孔模型：它的3D點M和它的圖像投影點m的關(guān)系為：二維坐標(biāo)任意數(shù)內(nèi)參矩陣旋轉(zhuǎn)矩陣平移矩陣三維坐標(biāo)一個二維點坐標(biāo)被表示為 ，一個三維381坐標(biāo)變換首先從二維坐標(biāo)變換進(jìn)行理解矩陣表示齊次坐標(biāo)1坐標(biāo)變換首先從二維坐標(biāo)變換進(jìn)行理解矩陣表示齊次坐標(biāo)391坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩個步驟來推算從世界坐標(biāo)系到相機(jī)坐標(biāo)系的坐標(biāo)變換，1坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩401坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩個步驟來推算從世界坐標(biāo)系到相機(jī)坐標(biāo)系的坐標(biāo)變換1坐標(biāo)變換引申到三維空間，第一個階段：我們依舊從旋轉(zhuǎn)和平移兩41

在中的坐標(biāo)為象素在軸上的物理尺寸為

AffineTransformation:圖像數(shù)字化UCV齊次坐標(biāo)形式:其中在中的坐標(biāo)為AffineTran421坐標(biāo)變換第二個階段，空間點向像點轉(zhuǎn)化：第三個階段，像點向像素坐標(biāo)轉(zhuǎn)化：1坐標(biāo)變換第二個階段，空間點向像點轉(zhuǎn)化：第三個階段，像點向像43展開Z=0平面展開Z=0平面44我們假定則原式可化為：這里，矩陣H就是從世界坐標(biāo)系到圖像坐標(biāo)系的3×3大小的單應(yīng)性矩陣。對H再次進(jìn)行變形，假設(shè)h1,h2,h3是H的列向量，有：2單應(yīng)性矩陣推導(dǎo)我們假定則原式可化為：這里，矩陣H就是從世界坐標(biāo)系到圖像坐標(biāo)45張正友相機(jī)標(biāo)定法課件46對單應(yīng)性矩陣H的估算H就是我們常說的單應(yīng)性矩陣，在這里描述的是空間中平面三維點和相機(jī)平面二維點之間的關(guān)系。因為相機(jī)平面中點的坐標(biāo)可以通過圖像處理的方式（哈里斯角點，再基于梯度搜索的方式精確控制點位置）獲取，而空間平面中三維點可以通過事先做好的棋盤獲取。所以也就是說每張圖片都可以計算出一個H矩陣。對單應(yīng)性矩陣H的估算H就是我們常說的單應(yīng)性矩陣，在這里描述的47假設(shè)令假設(shè)令48張正友相機(jī)標(biāo)定法課件49很顯然，B是一個對稱矩陣，我們假定：3閉合形解很顯然，B是一個對稱矩陣，我們假定：3閉合形解50設(shè)H矩陣中第i列的向量為帶入到中有：解得：設(shè)H矩陣中第i列的向量為帶入到中有：解得：51V矩陣是2*6矩陣，也就是說每張照片可建立起兩個方程組，6個未知數(shù)。根據(jù)線性代數(shù)知識可知，解6個未知數(shù)需至少6個方程組，所以也就是說我們至少需要三張照片才能求解未知數(shù)。b矩陣的解出，相機(jī)內(nèi)參矩陣A也就求解出，從而每張圖像的R，t也迎刃而解。V矩陣是2*6矩陣，也就是說每張照片可建立起兩個方程組，6個52最大似然估計以上求解旋轉(zhuǎn)矩陣R的方法是基于最小距離的，不具備物理意義。接下對上面得到結(jié)果用最大似然估計來進(jìn)行優(yōu)化。轉(zhuǎn)動標(biāo)定模板，從不同的角度拍攝棋盤標(biāo)定模板的n幅圖像，設(shè)每幅圖像都具有相同的標(biāo)定點，標(biāo)定點的個數(shù)為m，并假設(shè)每個標(biāo)定點的坐標(biāo)都有獨(dú)立同分布的噪聲，因為初始的參數(shù)已經(jīng)求解，所以我們將每張圖像的控制點根據(jù)求解的參數(shù)重投影回三維空間，最小化與真實值的差異，其實就是建立非線性最小化模型：最大似然估計以上求解旋轉(zhuǎn)矩陣R的方法是基于最小距離的，不具備53其中mij是三維場景中第j個物點在第i幅圖像上的像點坐標(biāo)矢量，Ri是第i幅圖像的旋轉(zhuǎn)矩陣，是ti第i幅圖像的平移向量，Mj是三維場景中第j個物點的空間坐標(biāo)，

是通過已知初始值得到的像點估計坐標(biāo)。

的求解是一個經(jīng)典的非線性優(yōu)化的問題，使評價函數(shù)最小的A，Ri，ti就是這個問題的最優(yōu)解?？梢匀〉谝淮蔚玫降木€性求解結(jié)果作為A、

的初始值，解決這類問題的方法很多，在計算機(jī)視覺領(lǐng)域里通常使用Levenberg-Marquarat算法進(jìn)行求解。其中mij是三維場景中第j個物點在第i幅圖像上的像點坐標(biāo)矢量54畸變校正模型由于透鏡的中心對稱性，所以式中考慮x方向上與y方向上的徑向畸變率是相同的畸變校正模型由于透鏡的中心對稱性，所以式中考慮x方向上與y方55然后，通過線性最小二乘的方法求出徑向畸變系數(shù)：然后，通過線