計算機視覺的多視幾何.課件

1、計算機視覺的多視幾何吳 毅 紅中國科學院自動化研究所模式識別國家重點實驗室主 要 內 容1. 單視幾何（應用 單幅圖像測量）2. 兩視幾何（Epipolar Geometry 約束）空間平面與Homography3. 三視幾何（Trifocal Geometry 約束）1. 單視幾何成像平面攝像機坐標系ZXYOMm成像平面O1. 單視測量目標、內容研究的意義國內外研究的現狀算法1. 單視測量從單幅圖像中恢復場景的全部或部分三維信息運用射影幾何理論，探索利用單幅圖像實現場景測量所需的圖像信息以及場景信息，從而實現對場景中距離、面積、體積等的測量目標、內容1. 單視測量利用超聲波、激光等來測量，很

2、容易受到外界不可預測反射等因素的影響基于圖像的測量技術，因其所需的只是場景圖像，所以更靈活、方便、即時、準確具有非常廣泛的應用前景，如法庭取證、交通事故現場的測量、建筑物測量等等很多方面研究的意義1. 單視測量用兩幅或多幅圖像對場景進行重建以后進行測量的方法以及攝影測量學的方法有很大的局限性利用單幅圖像對場景進行測量，已引起人們的關注A. Criminisi University of Oxford目前，國內外在此方面還沒有系統的研究研究現狀1.單視測量空間平面與其圖像間的關系可由平面Homography: H 來表示(一個 的矩陣). 一般將空間平面假設為 即X-Y 平面, 則： 算法成像平

3、面攝像機坐標系ZXYOMmXwYw平面測量1. 單視測量 如果4個空間點 已知，則由它們可線性求解H：算法然后通過將圖像點反投到空間平面，實現空間平面上的測量平面測量距離面積夾角1. 單視測量 已知一個空間平面的homography和此平面法向量方向的一組平行線、某個線段的距離，或已知另一個平面的位置，可測：算法空間測量體積、身高、兩個平面的距離、兩個平面內的兩個點之間的距離1. 單視測量算法物體體積的測量結果：V1 Real volume: 109265.0 cm3 Measured value: 110018.9 cm3 Relative error: 0.69 % V2 Real vol

4、ume: 26826.7 cm3 Measured value: 26628.2 cm3 Relative error: 0.74 %2. 兩視幾何外（對）極幾何（Epipolar geometry）基本矩陣、本質矩陣重建景物平面與單應矩陣（Homography）主要內容2. 兩視幾何外極幾何外極幾何是研究兩幅圖像之間存在的幾何。它和場景結構無關，只依賴于攝像機的內外參數。研究這種幾何可以用在圖像匹配、三維重建方面?；靖拍睿夯€；外極點；外極線；外極平面；基本矩陣；本質矩陣2. 兩視幾何外極幾何外極線MmmleelOOmTFm=0基線外極點外極平面對極線基本矩陣，的矩陣2. 兩視幾何基線：連

5、接兩個攝象機光心 O（O）的直線外極點：基線與像平面的交點外極平面：過基線的平面外極線：對極平面與圖像平面的交線基本矩陣F：對應點對之間的約束外極幾何2. 兩視幾何外極幾何世界坐標系Ou攝像機坐標系v圖像坐標系OR0, t0R, t如果將世界坐標系取在第一個攝像機坐標系上，則：R, t基本矩陣 F： 是一秩為2的33矩陣，自由度為 72. 兩視幾何外極幾何對象的數學表達：MmmleelOOmTFm=0外極點：光心：本質矩陣 E： 是一秩為2的33矩陣，自由度為 52. 兩視幾何外極幾何對象的數學表達：MmmleelOOmTFm=0外極線：（用法向量表示）對象之間的關系式：2. 兩視幾何外極幾何

6、MmmleelOOmTFm=0對象之間的關系式：F不是一個一一對應的變換。如果，m，m是一對對應點，則：反之，不成立。2. 兩視幾何H是一個 射影變換矩陣 ，投影矩陣對 和 對應相同的基本矩陣 ?；揪仃?. 兩視幾何在兩幅圖像之間，基本矩陣將點 m 映射為對應的對極線，將對極點映射為0。不能提供對應點間的一一對應。基本矩陣的變換作用MmmleelOOmTFm=0F0F2. 兩視幾何空間中一點 在兩幅圖像上的成像分別為： 極點 極線基本矩陣的代數推導mmleelCCmTFm=0M因此：2. 兩視幾何基于代數誤差的線性估計-8、7點算法基于幾何誤差的非線性優(yōu)化基于RANSAC思想的自動估計算法基

7、本矩陣F 的估計方法2. 兩視幾何一對對應點 ， 之間滿足約束：展開可以得到約束方程為：基本矩陣F 的估計方法8點算法:2. 兩視幾何當 n=8 時，可以線性求解 f。對于 n 對對應的圖像點對可得到 n 個這樣的方程構造向量:構造矩陣:從而:基本矩陣F 的估計方法8點算法:2. 兩視幾何基于代數誤差的估計方法是滿足某些約束下使 最小的算法8 點算法：步驟：1) 由對應點 (n=8) 集構造矩陣A；2) 對 A 進行奇異值分解 ，由向量 構造矩陣F（3）對F進行SVD分解 得到基本矩陣的估計基本矩陣F 的估計方法8點算法:2. 兩視幾何8 點算法估計基本矩陣 F 的結果與圖像點的坐標系有關。當

8、圖像數據有噪聲，即對應點不精確時，由 8 點算法給出的基本矩陣 F 的解精度很低。存在一種規(guī)一化坐標系，在此坐標系下估計的基本矩陣優(yōu)于其它坐標系?；揪仃嘑 的估計方法8點算法:2. 兩視幾何規(guī)一化變換：1) 對圖像點做位移變換，使得圖像的原點位于圖像點集的質心；2) 對圖像點做縮放變換，使得圖像點分布在以質心為圓心半徑為 的圓內?；揪仃嘑 的估計方法8點算法:H規(guī)一化 8 點算法：由對應點 ，求F 1) 對兩幅圖像分別做規(guī)一化變換 , 得到新的對應點集； 2) 有新的對應點集和8點算法估計 ； 3）基本矩陣 2. 兩視幾何基本矩陣F 的估計方法8點算法:2. 兩視幾何 如果求解的基本矩陣

9、F 不滿足約束 ，即 那么不存在向量 e 使得 Fe=0，則在圖像中的對極線不交于同一點 (對極點 e )。由于基本矩陣的秩為 2 ，因此基本矩陣僅具有7個自由度，所以已知7對匹配點便足以確定基本矩陣?；揪仃嘑 的估計方法7點算法:2. 兩視幾何利用SVD分解的方法得到兩個對應于系數矩陣A 的右零空間的基向量 和 的矩陣基 和 ，然后利用det(F)=0性質來解出F通解 中的比例因子 ，來確定所要估計的基本矩陣。由于基本矩陣行列式為零所對應的約束是一個三次方程，因此最后所可能得到的基本矩陣的解的個數對應于上述三次方程實數解的個數，最多可以得到 3 個解?；揪仃嘑 的估計方法7點算法:2.

10、兩視幾何將估計基本矩陣的問題化為數學的最優(yōu)化問題，然后使用某種優(yōu)化迭代算法求解. 算法如下：（1）構造基于幾何意義的目標函數（2）選取8點算法的結果作為迭代算法的初始值（3）選取一種迭代方法（L-M方法），迭代求解最小化問題基本矩陣F 的估計方法基于幾何誤差的優(yōu)化:2. 兩視幾何常用準則：(1)點到對應極線距離的平方和 (2)反投影距離基本矩陣F 的估計方法基于幾何誤差的優(yōu)化:構造基于幾何意義的目標函數2. 兩視幾何mmleelOO基本矩陣F 的估計方法基于幾何誤差的優(yōu)化:準則 (1)點到對應極線距離的平方和其中 和 是通過一定的方法進行射影重建所得到空間點的反投影圖像點.2. 兩視幾何準則

11、(2)反投影距離基本矩陣F 的估計方法基于幾何誤差的優(yōu)化:mmeeOO基于準則 (2)步驟：1. 由線性算法求出基本矩陣的初始值 ;2. 由對應點 和基本矩陣 射影重建得到三維空間點坐標 ；3. 由三維空間點得到新的圖像點： .2. 兩視幾何基本矩陣F 的估計方法基于幾何誤差的優(yōu)化:2. 兩視幾何例：利用 RANSAC 思想估計直線 給定7點，找最匹配的直線，使有效點到直線的距離小于0.8個單位，找到的點集為 1,2,3,4,5, 6，然后用最小二乘法計算直線方程。x01123234578645910yPOINTX Y12345670 01 12 23 23 34 410 2理想直線基本矩陣F

12、 的估計方法RANSAC估計2. 兩視幾何前面所講的所有的方法都假設沒有錯誤匹配點(Outliers)。實際處理過程中可能會出現錯誤的匹配點?？梢杂?RANSAC 方法剔除錯誤的匹配點基本思想：1. 通過迭代地隨機抽取最小點集來找出能夠使得所謂Inliers所占比例最高的最小點集 2.用此最小點集估計的基本矩陣和所識別出的Inliers一起進行進一步非線性優(yōu)化，從而得到最終的基本矩陣估計值基本矩陣F 的估計方法RANSAC估計2. 兩視幾何 本質矩陣 E (Essential Matrix) 由攝像機的外參數確定，與攝像機內參數無關。本質矩陣 EO攝像機坐標系v圖像像素坐標系Ouxymm2.

13、兩視幾何 本質矩陣 E當攝像機內參數 K 已知時，當 F 被求出時，重建即要求出 R，t。tR給定一基本矩陣 F，構造投影矩陣對 2. 兩視幾何重建 有了投影矩陣和圖像點就可以通過三角化實現重建2. 兩視幾何重建H是一個44的可逆射影變換矩陣，則HH2. 兩視幾何例子 2. 兩視幾何例子概念已知基本矩陣 F 確定單應矩陣H已知單應矩陣H確定基本矩陣 F無窮遠平面的單應矩陣2. 兩視幾何景物平面與單應矩陣兩幅圖像上的點如果來自空間的同一個平面，則在它們之間存在一個射影變換，可以用一個33矩陣表示，稱為單應矩陣, 記為H。xmmee2. 兩視幾何景物平面與單應矩陣概念H33建立世界坐標系，使得 X

14、-Y 平面為空間平面，即為 平面，則2. 兩視幾何景物平面與單應矩陣概念若 是空間平面上的點在兩幅圖像上對應點對，則存在矩陣H使得s為非零常數因子，H是一33矩陣，一般可由4對對應點求得。2. 兩視幾何景物平面與單應矩陣概念若兩視點投影矩陣為則空間平面 的單應矩陣H可表示為2. 兩視幾何景物平面與單應矩陣概念2. 兩視幾何景物平面與單應矩陣由F 確定H給定三對對應點：它們對應的空間的景物點為：M1，M2，M3則這三個景物點唯一確定了一個空間平面如果F已求出，則這個平面的H也可以求出：e, eH2. 兩視幾何景物平面與單應矩陣由F 確定Hxmmee一. 由共面的4對對應點求得 H二. 由直線 和

15、 確定極點e 三. 由6個點，其中4個點共面，來求解基本矩陣F：2. 兩視幾何景物平面與單應矩陣由H 確定F當空間平面為無窮遠平面時，對應的單應矩陣為無窮遠平面的H：如果H已知后，則可進行標定、重建。2. 兩視幾何景物平面與單應矩陣無窮遠平面的單應矩陣引言點、線關聯關系基本矩陣、投影矩陣3. 三視幾何主要內容兩幅圖像之間存在約束：基本矩陣F；三幅圖像之間存在約束：三焦張量T（Trifocal Tensor）；四幅或更多幅圖像之間不存在獨立的約束，它們可以由F和T生成。3. 三視幾何引言三幅圖像間的獨立的幾何約束OLOOlll3. 三視幾何兩幅圖像間不能對直線產生約束LOOll引言三焦張量由三個33矩陣T1，T2，T3組成。3. 三視幾何在兩幅圖像之間有約束：在三幅圖像之間有約束：其中，l，l，l為在三幅圖像中對應的直線。引言線 - 線 - 線點 - 線 - 線點 - 線 - 點點 - 點- 線點 - 點 - 點點、線關聯關系3. 三視幾何點、線關聯關系Point line line3. 三視幾何點、線關聯關系Point line point3. 三視幾何點