計算機視覺課程復習資料

計算機視覺課程復習資料

目錄

第2節(jié)底層視覺I深度學習初步知識與特征檢測.............................................2

第3節(jié)底層視覺II特征點提取、描述與匹配.................................................6

第4節(jié)底層視覺III圖像分割..............................................................13

第5節(jié)三維視覺I相機模型與多視幾何.....................................................16

第6節(jié)三維視覺II相機標定與稀疏重速....................................................20

第7節(jié)三維視覺III立體視覺與三維建模...................................................22

第10節(jié)運動分析..........25

第11節(jié)視覺跟蹤..........27

第12節(jié)行為識別..........28

第13節(jié)計算機視覺中的機器學習方法與人腦工程...........................................31

第14節(jié)物體表達與場景表達..............................................................33

第16節(jié)計算機視覺常用優(yōu)化方法..........................................................34

第17節(jié)典型視覺應用及系統(tǒng)..............................................................37

第18節(jié)視覺測量及計算攝影學簡介........................................................38

第2節(jié)底層視覺I深度學習初步知識與特征檢測

神經網絡的知識應該已經爛大街了，全連接，卷積，激活，池化亂七八糟的。

特征提取是計算機視覺的基本步驟，這邊注意一下邊緣，輪廓還有關鍵點提取。

知識點：神經網絡，一階算子(Sobel),二階算子(Laplacian),Canny邊緣檢

測，Harris角點，FAST角點

邊緣：

?邊緣是圖像中亮度突然變化的區(qū)域。

?圖像灰度構成的曲面上的陡峭區(qū)域。

?像素灰度存在階躍變化或屋脊狀變化的像素的集合。

如何提取邊緣？(灰度圖象)

灰度圖象邊緣提取思路：

■抑制噪聲(低通波波、平滑,去噪、模糊)

?邊緣特征增強(高通濾波、說化)

■邊境定位

一階微分算子，例如Sobel算子等，檢測最大值(一階導的最大值，不是像素最大

值哦)。

二階微分算子，例如Laplacian,主要是檢測過零點。

一階導致的極大值點：

Edge={p-(x,y)|p=argmax(|7/(p)|))

二階導敗的過零點：

叫”)=(?分

R中，圖像梯度向■:Edge={p=(x,y)|A/(p)=0,zerocrossing)

梯度幅值表示邊燎的強弱梯度方向代表灰度變化最快的方向

拉普拉斯算子：

I刃(x,y)l4?(x,y)=arct,喘/第

“/(x+Ax)-f(x)

_階導梯度計算：“幻―甚A，“戰(zhàn)

離散情況(也就是數字圖像上)：/，/("】)—-)

對于噪聲圖像，需要進行濾波，否則單點的梯度無法表示最終趨勢:

拉普拉斯算子:

▽”也+也

dx2dy2

LaplacianofGaussian(LoG)過零點檢測

先用Gaussian平滑去噪，然后用Laplacian算子

高新離新的導敷離斯拉普拉斯

/，。(…。二三二粥彳M”,”)

Ox

1[x2+y2l"+y

LOG算子:°ZG（x，y）=一肅|】一^-卜-^

Canny邊緣檢測器

算法基本過程:

計算圖像梯度大小■《*?0

方向Ihet.(x.y)

NM5：

梯度非極大值抑制Nor-MaximaSuppression

雙閾值提取邊緣點

(I)求圖像與高斯平滑注波器卷積：(3)幅值和方位向：

2

5。,尸)-GQ,y,o)?/(.<.Z)M(x,y)=jDx(x,y)+Dy(x,yy

。代表對圖像的平滑程度

O(x.y)=arctan(Dy(x,y)/Dx(x,y))

(2)使用一階有限差分計算偏導數的兩個陣列：

D,(x.y)*(S(x.y+1)-S(x.y)+S(x+l,y+l)-S(x+l,y))/2M代表生度幅值的大小，在存在邊緣的圖像位置處，M

Dy(x.y)?(S(x.y)-S(x+Ly)+S(x,y+I)-5(x+l.y+1))/2的值變大，圖像的邊緣特征極“坳強”?

相當于與模版進行卷積運算：J_J_J_J_

~~77

?非極大值抑制(NMS：Non-MaxmaSuppression)

?主要思想：由梯度幅值圖像Mx.y),僅保留極大值.

(嚴格地說，保留梯度方向上的極大值點.)

得到的結果為N(x.y),具體過程：

?初始化NGc,y)=M(x,y)

?對于每個點，在梯度方向和反梯度方向各找n個像素點.

若M(x.y)不是這些點中的最大點，剜將N(x.y)置零，否則

保持N(x.y)不變。

?在密度方向的沿線上檢測該點是否為局部極大值

?N(x.y)單像素寬度：

?韻比的情形,只使用4個方向；［0,45,90.135)

?問題：領外的邊緣點，丟失的邊緣點?得到的結果N(,/)包含邊緣的寬度為1個像素

?對上述得到的N(x.y)使用閾值進行二值化使用雙閾值檢測邊緣

?使用大的閾值，得到：

兩個面值：

?少■的邊緣點T2T2?T1

?由“樗到El(x,y),低闌值邊緣圖：更大的誤檢淵率

?許多空隙?由12將到￡2(凡口.高閾值邊緣圖：JEJM可事

?使用小的面值,得到：邊緣寄接；

?大■的邊緣點

?大■的錯誤檢測

邊緣連接

1.將E2(x.y)中相連的邊韁點依匕為一幡邊蜂圖像E(x.y)

2.對于E(x.y)中每條邊,從端點出發(fā)在El(x.y)中尋找只延長

的部分，直至與E(x.y)中另外一條邊的端點相連，否則認

為E1(x.y)中沒有它延長的部分

3.將E(x.y)作為姑果輸出

角點檢測算法

Harris角點，主要思想就是F移窗口觀察灰度變換，然后有兩個方向入1和入2，觀察

兩個方向的比值，比值比較大說明是邊緣，兩個值都大的是角點，都比較小是非角

點，非邊緣。具體計算如下，了解思想即可。

將圖像窗口平移U0產生灰度變化/：.（“,u）

于是對于局部微小的移動■["?],可以近似得到下面的表達:

其中M是2x2矩陣，可由圖像的導數求得：

窗口函數w（x,y）A，，噴

1inwindow.0outside

窗口移動導致的圖像變化，文對稱矩陣M的特征值分析通過M的兩個特征值

的大小對圖像盤進行

￡（",U）S（U,V）M（：）二^項函效^mavAnin土M的特征值分類：

怏速變化的方向

E5,

刃的橢圓形式0慢變化的方向

如果3和X,&.很小，

圖像鬼口在所有方向上

序動都無明顯灰度變化

Harris角點性質：

?旋轉不變性

?對于圖像灰度的仿射變化（亮度變換不具有不變性，對比度變換具有不變性）

具有部分的不變性

?尺度不具有不變性

FAST

假設：若該點的灰度值比其周圍領域內足夠多的像素點的灰度值大或者小，則該點

可能為角點、。

FAST算法步驟

1.從圖片中選取一個像素P,下面我們將判斷它是否是

一個特征點。我們首先把它的亮度值設為

2.設定一個合適的閾值t。

3.考慮以該像素點為中心的一個半徑等于3像素的離散化

的Bresenham圓，這個圓的邊界上有16個像素.

4.如果在這個大小為16個像素的圓上有n個連續(xù)的像素點，

它們的像素值要么都比/p+t大，要么都比仆-t小，那么

它就是一個角點。（白色虛線所示）

n的值可以設置為12

或者9,實驗證明選擇

9可能會有更好的效果。

FAST需要改進的地方

I.由于FAST算法依賴于一個閾值t因此算法還需要人為干涉

2.FAST算法不產生多尺度特征而且FAST特征點沒有方向信息，這樣就會失去

旋轉不變性

第3節(jié)底層視覺II特征點提取、描述與匹配

知識點：SIFT,ORB->BRIEF,ICP,RANSAC

一、SIFT特征點提取與匹配(以下為個人總結，可能與PPT不像)

SIFT識別圖像寬度、高度以及最重要的比例尺上的獨特關鍵點。通過考慮尺

度，我們可以確定即使在感興趣的模板改變大小、圖像質量變得更好或更差，或者

當模板發(fā)生視點或縱橫比發(fā)生變化時，這些關鍵點也會(在一定程度上)保持穩(wěn)定。

此外，每個關鍵點都有一個相關的方向，這使得SIFT特征不受模板旋轉的影響。

最后，SIFT將為每個關鍵點生成一個描述符，一個128長的向量，允許對關鍵點進

行比較。這些描述符只不過是在關鍵點鄰域內計算的梯度直方圖。本文為SIFT從

零一步步搭建的步驟。

1.圖像高斯金字塔與DoG空間生成

通常，圖像金字塔是連續(xù)模糊值。的高斯模糊圖像與不同尺度的圖像組成。相

同尺度一組圖像我們稱之為一個octave層，每一層由若干高斯模糊圖像組成。由于

需要對圖像進行高斯模糊操作，所以對原始的RGB圖像要進行灰度圖轉換，再進

行高斯模糊。

首先便是生成高斯金字塔的過程，高斯金字塔每一個octave層的尺度不一樣，

相鄰octave層的尺度相差1倍。一般octave層數。有固定計算公式為：

0=log2(1)

其中“和〃分別為圖像在該octave層的尺度寬與高，此公式層數是不針對對原圖尺

寸進行上采樣生成octave的情況，如果上采樣則計算的。層數應為

log2min(W,H)—1。

每一個octave層將有S+3層的圖像，相鄰連個圖像之間的模糊值A倍，并且這

里的模糊值均相對于原始圖像。其中S為人為設定值，我們這里設定為3oZ有固定

計算公式，k=21/So第。層octave層的第r張圖像的模糊值為o(o,r)=5)2°+工。其

中如為高斯模糊的初始值，一般建議設置為1.6,而考慮相機已經對圖像進行。=

0.5的模糊，故實際我們也可以設置為。0=01.62-0.52=1.52。

Sole

(next

octave)

圖1.高斯金字塔與DoG空間

在生成高斯金字塔時，由于o(o+LO)=Oo20+i=Oo2°+?=o(o,s),故可以

直接取上一層octave的第s張圖像直接進行下采樣，作為下一層octave的第1張圖

像。注意這里的。是相對于原始圖像的模糊系數，高斯平滑具有一個平方特性，即

進行一次內的平滑，再進行一次”的平滑，相當于進行一次娟強的平滑。因

此我們的高斯模糊可以連續(xù)模糊，而不是每次模糊都相對于第一張圖像進行模糊。

圖2展示了對Lena進行高斯金字塔模糊結果。

接下來是差分金字若DoG空間，這個空間只需要octave層相鄰的圖像的插值

計算即可，由模糊系數高的減去模糊系數低的。注意的是，這里可以直接采納圖像

相減，即最低值可以為0,不需要為負值，這是因為在后面極值點檢測時候負值都

是低對比度，無需考慮。圖3是一些DoG空間的可視化。

2.DoG空間極值點檢測與關鍵點精確定位，消除不穩(wěn)定點。

極值點檢測很簡單,在DoG空間每一層ociave層，尋找相鄰兩層的極值點,

包括極大值與極小值，如圖4所示。注意，只需要最大值和最小值即可，不需要是

唯一最大值或者唯一最小值。如果其對比度滿足要求，繼續(xù)進行精確定位，對比度

閾值7計算公式如下：

/0.5xc\

T=tx255(2)

其中Q為對比度，這里設置為0.04。

接下來計算精確點，精確點滿足泰勒展開：

Q1

。㈤=〃+而x+⑶

這里一階梯度和二階導分別是圖像關于長寬和模糊度方向的導數，以及

Hessian矩陣。然后反復計算精確點，如果精確點不再偏移，則結束循環(huán)。

/一//J/

圖4.極值點檢測

確定精確點后，依然要做最后的處理，去除不穩(wěn)定的關鍵點，首先再次確認對

比度是否足夠，然后嘗試去除邊緣上的點。一般來說是計算長度與寬度方向的

Hessian矩陣，計算其特征值對比度：

2222

Tr(/7)QI+%)2(rA+A)(r4-l)(7；+l)

---：——=---------=----2-----2--=-------->---------(4)

Det(H)AtA2rA2A2rTr'"

如果上式成立，說明存在邊緣響應，去除該點，否則保留。其中7；=10。一

般減少Tr可以抑制關鍵點的數量。

3.關鍵點四配

需要進行點匹配的話，我們就需要構建描述子，即構建點特征，再從一幅圖像

的點與另一幅圖像的點集匹配，找到最佳匹配點對。

首先在上一節(jié)中計算的每一個特征點位置，我們需要構建特征，對其進行主方

向的計算。由于梯度我們是可以計算出梯度方向的。梯度方向直方圖的橫軸是梯度

方向的角度(梯度方向的范圍是0到360度，直方圖每36度一個柱共10個柱)，

縱軸是梯度方向對應梯度幅值的累加，在直方圖的峰值就是特征點的主方向

確認好主方向后，我們需要對特征進行構建描述子，具體有：

?校正旋轉主方向，確保旋轉不變性。

?生成描述子，最終形成一個128維的特征向量

?歸一化處理，將特征向量長度進行歸一化處理，進一步去除光照的影響。

主方向校正SIFT描述子的構造

旋轉后以主方向為中心取8X8的窗口，求取誨個像素的梯度幅

值與梯度方向，箭頭方向代表該像素的梯度方向,長度代表梯

電場值,在每個4X4的小塊上給出18個方向的梯倍百方圖

SIFT描述子的構造

?將關鍵點鄰域劃分為4X4個子區(qū)域

適應光照變化

?梯度方向劃分為8個方向

?直方圖的值為梯度幅值的累加?為了去除光照變化的影響，對特征向量進行歸一

?得到一個4X4X8=128維向量化處理，去除圖像灰度值整體漂移

?對于非線性光照，相機飽和度變化對造成某些方

向的梯度值過大，而對方向的影響微弱。因此設

置門限值（向量歸一化后，一般取0.2）截斷較大

的梯度值。然后，再進行一次歸一化處理

SIFT具有：

尺度不變：DoG金字塔的作用

旋轉不變：主方向計算

適應光照變化：描述子特征歸一化

二、ORB特征

ORB=oFAST+rBRIEF

研究動機：快速性、兼禎準確性

FAST請見第2節(jié)，oFAST就是在這個基礎上加入了主方向以解決旋轉問題。

oFAST

?采用灰度質心的方法IntensityCentroid

?圖像的矩mpq=2xPy?/(x,y)

xy

八m(”\

Q=(嬴？用?=^2(m01,m10)

BRIEF

描述子構造方法：在已提取出的特征點的鄰域paich中，隨機選取若干對像素點，

分別比較每對像素點的灰度大小。

不同選擇點的方式。1.x,y方向平均分布采樣；2.x,y均服從Gaussian（0」；S2）各向同

性采樣；3.x服從Gauss（0,福$2）,y服從Gauss（0,京S?）采樣;4.x,y從網格中隨機

獲??；5.x一直在（0,0）,y從網格中隨機選取。如下圖所示

GlGilGill

GIVGV

然后分別比較每對像素點的灰度大小，賦值為1或0,從而構建描述子。一般

抽樣？id=256對點對。

1ifP(x)<p(y)

r(p;x,y):=

0otherwise

九（P）：=Ei金82一?。≒；Xi,yJ

SteeredBRIEF:方向旋轉后的BRIEF

「BRIEF用一種貪婪學習算法篩選具有高variance和高不相關的steeredbrief

?首先建立300k個特征點測試集。對于測試集中的每個點，考慮其31x31鄰

域。（不同于原始BRIEF算法，在對圖像進行高斯平滑之后，使用鄰域中

的某個點的5x5鄰域灰度平均值來代替某個點對的值，進而比較點對的大

小。這樣特征值更加具備抗噪性。）

?在31x31的鄰域內共有（31-5+1）x（31-5+1）=729個子窗口，取點對的方法

共有M=265356種，在這M種方法中選取256種取法

?D在300k特征點的每個31x31鄰域內按M種方法取點對，比較點對大小，形成

一個300kxM的二進制矩陣0。矩陣的每一列代表300k個點按某種取法得到的二

進制數。

?2）對Q矩陣的每一列求取平均值，按照平均值到0.5的距離大小重新對Q矩陣

的列向量排序，形成矩陣T。

?3）將T的第一列向量放到R中。

?4）取T的下一列向量和R中的所有列向量計算相關性，如果相關系數小于設定

的閾值，則將T中的該列向量移至R中。

?5）按照4）的方式不斷進行操作，直到R中的向量數量為256。通過這種方法

就選取了這256種取點對的方法。這就是rBRIEF算法。

ORB=oFAST+rBRIEF

匹配用漢明距離，也就是對應位置數值不相同距離+1.

“1011101”與100001”之間的漢明距離是2

漢明距離就是度量下面角d（P）的二進制的距離。

?。╬.xV）：=Pifp（x）＜P（y）

''[0otherwise

九（p）：=￡1金為2—?。≒；Xi,yJ

三、基于CNN的特征點與描述子學習

方法比較簡單，感覺沒什么的

Keypoint2D

Locations

Keypoint

Descriptors

Interest

PointLoss

Descriptor

Loss

Interest

PointLoss

四、ICP算法

ICP算法主要用于匹配

問題

?已知：兩個對應點集合

==

X(XpX2>X3?(a**Xn)P{DpPj.P3....vpn)

?求解：旋轉矩陣R和平移向量t,使得

F(R.t)=argmin^ylk(-Rp(-t||2

(■1

流程圖如圖所示，基本就是不斷迭代評價匹配度，匹配度不行再更新迭代

ICP算法

五、RANSAC

注意說法：一致集，雖然全景拼接的論文寫的是inlier和outlier。

RANSAC估計模型M的一般步驟

確定求解模型M,所需要的最小費據點的個數0?由日數

據點組成的子集稱為模型M的一個樣本；

從數據點集D中隨機地抽取一個樣本J,由該樣本計算模型

的一個實例Mp(J),防定與M0(J)之間幾何距離v闌值t的

數據點所構成的集合，并記為S(MJJ)),稱為實例Mp(J)的

如果在一致集S(M/J))中數據點的個數#S(Mp(J))>閱值T.

則用S(MJJ))重新格計模型M,并輸出結果，如果“S(M

p(J))〈閾優(yōu)T,返回到步驟2；

經過K次隨機抽樣，選擇最大的一致集S(Mp(J)),用S(M

p(J))重新估計模型M.并輸出結果.

第4節(jié)底層視覺III圖像分割

具體需要關注基于聚類的圖像分割算法，K?means流程，GMM特點以及用EM算

法更新參數，Mean-Shift,以及基于圖論的圖割，重點關注Normalizedcut算法的

流程。深度學習的FRCN和YOLO目標檢測，以及DeepLab還有UNET很熟悉

了，這里不放了。

傳統(tǒng)的方法：

?閾值法

?局部閾依法

?邊緣分割法

基于特定理論的方法

1.Kmeans聚類

K-Means步驟

?確定聚類(cluster,也稱簇)中心的個數K,并

為它們隨機初始化一個各自的聚類質心點

(clustercentroids)

?根據每個數據點到質心的距離來進行分類

?初始質心并不是真正的質心，質心應滿足聚類里

每個點到它的歐式距離平方和最小這個條件。根

據初步分類結果，重新計算每一聚類中所有向?

的平均值，并確定出新的質心

?重復上述步驟，進行一定次數的迭代，直到質心

的位置不再發(fā)生太大變化

Kmeans缺點：聚類個數需要手動設定,另外質心初始化是隨機的。

2.高斯混合模型GMM

我們假設數據點滿足不同參數下的高斯分布，用兩個參數來描述聚類的形狀均值和

標準差。以二維分布為例標準差的存在允許聚類的形狀可以是任何種類的橢圓形不

再局限于圓形。如果數據點符合某個高斯分布那它就會被歸類為那個聚類。

GMM通常用EM算法進行更新，即一邊E步進行評估期望，另一邊M步用于更新

參數。

GMM缺點：

KMeans相比GMM每一步迭代的計算量比較大。

基于EM算法有可能陷入局部極值需要經過多次迭代。

GMM優(yōu)點：

聚類形狀不再限制為圓舫

權重引入為多個聚類目標提供了思路。

3.MeanShift

一種基于一般核函數的非參數密度梯度的估計算法，并給出了保證估計值與

真實值之間漸近無偏、一致和均勻連續(xù)時核函數應滿足的條件。

核心思想：找到概率密度梯度為零的采樣點，并以此作為特征空間聚類的模

式點。

基本流程：1.計算平移向量，2.轉換密度估計窗口

Stepl：對于始.ComputeMeanShiftVector：m(zj).

m(M)=-------------------------------------x

23刑亍11)2

其中g(x)=-k'(x).

Step2:TranslateDensityEstimationWindow：

寸'=W+m(zf)

Step3:IterateStep1andStep2untilconveigence.

應用到整幅圖也很簡單，在圖像空間上均勻放入點，然后對每個點都進行密度估計

以及平移向量計算，然后進行點位置更新，不斷迭代，最終幾個點聚集中心便是圖

像聚類中心。

與K-Means方法的最大優(yōu)點是無需指定聚類數目K,聚類中心處于最高密度處，也

符合直覺認知。

缺點是如何正確選擇窗口尺寸h。

4.GraphCut圖割

基本思想

1將圖像用圖的方式表示頂點表示像素邊表示像素之間的關系。圖像分割對應圖的

割集。

2確定圖中邊的權值使圖像分割目標能量最小化對應圖的最小割。

3用最大流算法求解最小割問題。

在圖論中，去掉其中所有邊能使一張網絡流圖不再連通(即分成兩個子圖)的邊集

稱為圖的割(英語:cut(graphtheory))(英語：cut),一張圖上最小的割稱為最

小割(英語：minimumcutmin-cut)。

A有源節(jié)點(s)和終

節(jié)點(t)

》每條邊有一個帶負

的容量Cap(ij)

》對于不存在的邊，

其容量為0/

53

G={『,￡}

Normalizedcut

需要注意的是：僅考慮用割集的權值之和來度量兩個集合之間的相關性，會容易出

現孤立分割的問題。如下圖所示：

Min-cut2

nlMin-cutI

一個解決上述問題的辦法是通過定義新的類間相似性度量。Normalizedcut(Ncut)

,、cut(A,B)cut(A,B)

Neut(AF)=assoc(AV.)+a5soc(fi^

這里assoc(,A,V)=zw(u,t)

ue4.tev

這樣包含孤立點的槍"唯不會小。

再定義總的類內相似性度量

assoc{A,A)assoc(B,B)

Nassoc(A,8)

assoc(A,V)assoc(B,V)

具體算法：

①給定一個點集，構建圖G(V.E),邊的權為對應兩端點的

相似度。

②求解(D—W)x=4Dx的特征值及其所對應的特征向量。

③用次小特征值所對應的特征向量進行二分類。

④若需再分，則在每個分好的類別中重復上述過程。否則

終止。

圖像應用：

將一幅圖像上所有像素點看作點集V,每兩個點之間都建立一條邊，得到邊集E。

為每條邊賦值。這樣就建立一個賦權無向圖G=(V,E)o按照前述算法，我們就可以

完成對該幅圖像分割操作。

深度學習部分速議自己看看

第5節(jié)三維視覺I相機模型與多視幾何

需要掌握相機模型，基本矩陣以及8點法計算，本質矩陣以及5點法計算

小孔成像

小光圈：曝光時間增長、高亮度圖像

大光圈：曝光時間短、埃糊圖像

光圈過小（產生衍射現象，圖像模糊）

射影空間：對n維歐式空間加入無窮遠元素，并對有限元素和無窮遠元素不加區(qū)

分，則他們共同構成n維射影空間

齊次坐標是射影空間的坐標表達方式

?非齊次坐標到齊次坐標的轉換：

X

（工,!/）=>y（q!z，z）n

?齊次坐標到非其次坐標的轉換:

x

）I=?(x/w,y/w,z/w)

y=>{x/w.y/wz

w

w

相機模型

相機內參數矩陣:

P,

K=04Py

00I

簡化版完贅版

多視幾何

X1=K網小

x2=K2[R2|t2]x

x3=K5[R,|t3]x

R>t,

令皿W是空間點X分別在兩個攝像機下的投影，通常稱它們?yōu)辄c對應(Point

Correspondence),并記作m—zn'。

基本矩陣(fundamentalmatrix)

兩視圖的極幾何約束(叩ipolargeometry)可以用一個3x3矩陣描述，稱為基本矩陣

(fundamentalmatrix)F

F表達了image1中的齊次坐標點p與image2中p的極線之間的映射關系

圖像對應點間的極幾何約束關系可以表達為：q7Fp=0

R:左右相機間的相對的狀t:左右相機何的平秣

qHR[t]jK[p=0

F*---theFundairentalmatrix

兩視圖幾何一8點法(在兩個相機參數不已知的情況下)

x，rFx=0

rf3x3

令x'=[x[,y[t1],x=[x,y,1],而且已知FGIR

L23g

/11/1/1

/21/22/23

/3/3s/li

12/33

A

xixifll+xiVif21+卬31+

+V曲22+%力2+

巾13+Vif23+/33=0

由于解9個變量(/ii，/n，…,啟3)，至少需要8組解才可以解出唯一平凡解。

X*；X：以y\Zfu

欣就X：煙Xx；fn

小X：詡yix；fn

A

XX.他X：必y：￥

l2=0Af=0

X：/*A

疝；就詡R

.他X：必y：,t：&

加就X；謠y；￥k

X*：出X：渤￥人

則8點法基本流程

?由8組對應點構造方程Af=0

?對A進行SVD分解A=U，VT,V的最后一個列向

量構造F

?對F進行SVD分解F=U，Vi

a,oo'a,oo-

z=0(T,0.Z'=0(T,0

.°06.000

?F'=UZ'VT

注意：當空間點位于空間同一平面時，產生退化情況，無法求解

兩視圖幾何一5點法（在兩個相機參數已知的情況下）

球巳。=。鏟E0=o

theEssentialmatrix(本質矩陣)

5點法求的是本質矩陣，而8點法求的是基礎矩陣。主要區(qū)別是否已知相機內參數。

Algorithm5(Thefive-pointrelativeorientation)Givenfiveimagepointcorre-

spondencesu,1u；fari=1,....5.computetherotationandthetranslation

betweenthetwoviews.

I.Formthe5x9linearsystem.

2.Computethefour-dimensionalnullspaceofthelinearsystembySVD.

3.Obtainthecacfficienlsofajparamefrizedhythreeparametersx,y、zfromthe

abovenullspace.

4.FormtheAIOX2Oniutrixfromthetencubicpolynomialconstraints.

5.ObtainthereducedinalrixBiox\ofr<?nAIOX2Ob、Gauss-Jordanelimination.

6.FormthemuliiplicationmatrixXTfmniB(oxio-

7.Compuietheeiffenveclorsof

8.Eachei^eitvecturisasohuiontob.mid

x=M/bio,y=b&/bi。，andz=%/瓦。.

9.Computejfromx,y,z,anilconverte,jintothenuiirixE.

10.DecomposetheEintotheRandtbySVD.

11.ChoosetheRandtthatreconstntcta31)pointinfromofthecameras.

ThereareulmostfensolutionstoRandt.

就是通過5個點計算旋轉（4對點）和平移（額外一對點）的矩陣，然后用

RANSAC（見第三節(jié)）進行校正。用最小配置解原因是不可避免選擇的點對是存

在外點的。

第6節(jié)三維視覺II相機標定與稀疏重建

相機標定與稀疏重建，尢為某個圖像中的坐標，K為相機內參，R為旋轉參數，t為

平移參數，X為世界坐標系位置。%=K[R\t]X

?己知x、K、R、t?求X：三角化(Triangulation)

?已知x、X、K,求R、t：姿態(tài)估計(PoseEstimation)

?已知x、X,求K、R、t：相機標定(CameraCalibration)

?已知、，求K、Rot%X：稀疏重建(SparseReconstruction)

StructurefromMotion(SfM)

StructureandMotionEstimation

三角化：最小化重構投影誤差:min￡i||.困同乂一々||2

相機標定：需要知道一組2D—3D對應，并知道對應點的2D與3D坐標。通常情況

下，需要一個人工制作的標定物(通常需要至少6對點用于標定)

優(yōu)點：標定精度高；通過一幅圖像即可標定

缺點：需要高精度的三維標定塊

更實用的標定方案：使用平面標定板(至少需要4對點)

注意，在8點法時候8對點是不能同一平面(已知%和X2，計算基本矩陣F),但

相機標定可以(已知x和X,計算K,R,t)o

1打印一個模版貼在一人平面上

2拍攝多幅照片

3計算圖像特征點

4計算K、R、I

5計算重投影誤差

6揄出結果

求相機標定的幾何誤差

使用上述線性求解的代數最小誤差下的K、R、t為初始值，迭代求解最小重投影

誤差問題（即求幾何誤差最小下的K、R、t）

稀疏重建：一般通過8點法計算出基本矩陣F,但是F無法分解出唯一的K-K2f

R,t,當內參數矩陣Ki，&已知時，E=R田x稱為本質矩陣。本質矩陣通過5點

法求出。

通過基本矩陣F或本質矩陣E,求K、R、t,然后通過三角化求X,通過E求X有四

種解，選擇X在兩個相機前方數量多的那個解。要求幾何誤差意義下的KRtX,還

是用之前的方法，首先以代數誤差最小化情況下的KRtX作為初值，然后迭代求解

重投影誤差最小化問題，得到幾何誤差最小化意義下的KRCX。

實際中可以通過圖片EXIF獲取相機焦距、鏡頭型號等獲取相機內參數K

增量式SfM

1、給定一堆圖像

2、特征點檢測

3、特征匹配，并通過8點法和RANSAC方式去除錯誤點

4、選擇初始圖像對

5、通過兩視圖SfMH算初始模型

6、如果圖像連接關系圖還有未選擇的圖像（這個就是增量了，多次添加）

a.選擇一幅能看到目前模型中最多3D點的圖像；

b.根據3D?2D點對應估計相機位姿；（找到相機位置，R,t）

c.三角化新的特征點Tracks（就是互相匹配的點）

d.Bundleadjustment

第7節(jié)三維視覺III立體視覺與三維建模

極線校正

左圖像和右圖像位于同一平面(兩相機K、R相同)，左圖像和右圖像的x軸與基

線平行，對應點具有相同的y坐標。

R在右圖像上的極線平行于x軸，搜索P,匹配點的過程只需在水平掃描線上進疔

極線校正方法

可以通過設置虛擬攝像機位置進行極線校正

單應變換幾種形式

兩圖像間的對極約束和場景的結構無關，也就是說對極約束對于任意場景結構的兩

幅圖像都是成立的，不能給出兩幅圖像上的像點的——對應關系，只能給出點對

應的必要條件，另一幅圖像上與圖像上對應的像點在位于對應的對極線上?；A矩

陣F描述的實際是一種點和直線的映射關系，而不是一種點對點的約束關系，并不

能給出另一個點的確切空置。

通過空間平面誘導的單應，也就是圖像上的點都在世界空間的同一平面上

注意：和基本矩陣F的區(qū)別

單應矩陣H和基本矩陣F是有區(qū)別的

單應：從物體平面到圖像平面的映射，同時表征了這兩個平面的相對位置和攝像

機投影矩陣。通常描述處于共同平面上的一些點在兩張圖像之間的變換關系。

P2=Hpi

基礎矩陣描述的是對極幾何中兩張圖像之間匹配特征點的空間位置變化關系。

P“Pi=°

視差：極線校正后，左右圖像的一對匹配點在x軸上坐標的差異稱為視差

(Disparity)。視差的大小與點距離相機距離的遠近成反比。

立體視覺的目的就是通過左右圖像計算（稠密）視差圖

視差圖是一幅灰度圖像,像素點的值表示這一點的視差大小，灰度值越高表示視差

越大（距離越近）

立體視覺三維建模流程

三維模型

（稠密點云）

立體匹