《數(shù)字圖像處理系統(tǒng)導(dǎo)論》課件第6章

第六章目標(biāo)位姿測量系統(tǒng)6.1成像模型

6.2攝像機(jī)標(biāo)定

6.3立體匹配

6.4三維重建6.5立體視覺目標(biāo)測量系統(tǒng)6.6小結(jié)習(xí)題

20世紀(jì)70年代中期，以Marr、Barrow和Tenenbaum等人為代表的一些研究者，提出了一整套視覺計(jì)算的理論來描述視覺過程，其核心是從圖像恢復(fù)物體的三維形狀。經(jīng)過近三十年的發(fā)展，在Marr的理論框架下，立體視覺取得了一大批成果。但隨著立體視覺研究的不斷深入，人們發(fā)現(xiàn)了Marr視覺理論的局限性，即從景物圖像或系列圖像求出景物精確的三維幾何場景并定量地確定景物中物體的性質(zhì)時(shí)遇到了困難。

立體視覺借助不同觀察點(diǎn)對同一景物間的視差來幫助求取3D信息(特別是深度信息)。所以需要判定同一景物在不同圖像中的對應(yīng)關(guān)系，選擇合適的圖像特征以進(jìn)行多圖像間的匹配。根據(jù)對所選特征的計(jì)算來建立特征間的對應(yīng)關(guān)系，從而建立同一個(gè)空間點(diǎn)在不同圖像中的像點(diǎn)之間的關(guān)系，并由此得到相應(yīng)的視差圖像。根據(jù)得到的視差圖像，可以進(jìn)一步計(jì)算深度圖像，并恢復(fù)場景中的3D信息，而3D信息常不完整或存在一定的誤差，因此需要進(jìn)行插值等改善圖像質(zhì)量。典型的立體視覺計(jì)算過程如圖6-1所示。圖6-1典型的立體視覺計(jì)算過程對上述這些理論和方法的研究有力地促進(jìn)了相關(guān)應(yīng)用的發(fā)展，這些應(yīng)用領(lǐng)域包括對照片特別是航空照片和衛(wèi)星照片的解釋、精確制導(dǎo)、移動機(jī)器人立體視覺導(dǎo)航、醫(yī)學(xué)輔助診斷、工業(yè)機(jī)器人的手眼系統(tǒng)、地圖繪制、物體三維形狀分析與識別以及智能人機(jī)接口等。在立體視覺的應(yīng)用方面不乏成功的例子。

進(jìn)入20世紀(jì)80年代中后期，隨著移動式機(jī)器人立體視覺研究的發(fā)展，大量運(yùn)用空間幾何的方法以及物理知識來研究雙目立體視覺，主要是完成對道路和障礙的識別處理。這一時(shí)期引入主動視覺的研究方法，并采用了距離傳感器以及視覺融合技術(shù)等，由于這種研究方法可直接取得深度圖或通過移動獲取深度圖，因而使很多病態(tài)問題變成良態(tài)的。此外，在視覺的研究中重視了對定性視覺、有目的的視覺等的研究。 6.1成像模型

計(jì)算機(jī)視覺研究中，三維空間中的物體到像平面的投影關(guān)系即為成像模型，理想的投影成像模型是光學(xué)中的中心投影，也稱為針孔模型。針孔模型主要由光心(投影中心)、成像面和光軸組成，如圖6-2所示。像點(diǎn)是物點(diǎn)和光心的連線與圖像平面的交點(diǎn)。為了定量地描述攝像機(jī)成像過程，首先定義以下四個(gè)坐標(biāo)系：世界坐標(biāo)系、攝像機(jī)坐標(biāo)系、計(jì)算機(jī)圖像坐標(biāo)系和圖像坐標(biāo)系。但在針孔模型中，假設(shè)成像面在光心的前端f處，這樣可以使圖像坐標(biāo)系與計(jì)算機(jī)圖像坐標(biāo)系對齊，以簡化運(yùn)算。圖6-2攝像機(jī)針孔透視變換模型

1.圖像坐標(biāo)系Oxy與計(jì)算機(jī)圖像坐標(biāo)系uv的關(guān)系

如圖6-3所示，計(jì)算機(jī)圖像坐標(biāo)系uv的坐標(biāo)原點(diǎn)是O0，圖像坐標(biāo)系Oxy的坐標(biāo)原點(diǎn)是O1，O1定義為攝像機(jī)光軸與圖像平面的交點(diǎn)，該點(diǎn)一般位于圖像中心處。若O1在uv坐標(biāo)系中的坐標(biāo)為(u0，v0)，每一個(gè)像素在x軸與y軸方向上的物理尺寸為dx、dy，則圖像中任意一個(gè)像素在兩個(gè)坐標(biāo)系中的坐標(biāo)有如下關(guān)系：(6-1)

寫成齊次方程為(6-2)圖6-3圖像坐標(biāo)系

2.世界坐標(biāo)系OwXwYwZw與攝像機(jī)坐標(biāo)系OcXcYcZc的關(guān)系

如圖6-4所示，假設(shè)空間中某一點(diǎn)P在世界坐標(biāo)系OwXwYwZw與攝像機(jī)坐標(biāo)系OcXcYcZc下的齊次坐標(biāo)是(Xw，Yw，Zw，1)T與(Xc，Yc，Zc，1)T，則存在如下關(guān)系：(6-3)圖6-4攝像機(jī)坐標(biāo)系與世界坐標(biāo)系式中：R為3×3正交單位矩陣，稱為旋轉(zhuǎn)矩陣，表征兩坐標(biāo)系之間的旋轉(zhuǎn)關(guān)系；t為三維平移向量，表征兩坐標(biāo)系之間的平移關(guān)系；0＝(0，0，0)T；M1為4×4矩陣。另外，旋轉(zhuǎn)矩陣R是由三個(gè)旋轉(zhuǎn)角度確定的，分別是繞攝像機(jī)坐標(biāo)系x軸的α、繞攝像機(jī)坐標(biāo)系y軸的β和繞攝像機(jī)坐標(biāo)系z軸的γ。R與三個(gè)旋轉(zhuǎn)角度分關(guān)系可用下式表示：(6-4)

3.攝像機(jī)坐標(biāo)系OcXcYcZc與圖像坐標(biāo)系Oxy的關(guān)系

根據(jù)針孔模型，空間任何點(diǎn)P在圖像上的投影位置p，為光心O與P點(diǎn)的連線OP與圖像平面的交點(diǎn)，這種關(guān)系稱為中心攝影或透視投影。由比例關(guān)系有如下關(guān)系式：(6-5)式中：(x，y)為P點(diǎn)的圖像坐標(biāo)；(Xc，Yc，Zc)為空間點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)。用齊次坐標(biāo)與矩陣表示上述透視投影關(guān)系：(6-6)

4.世界坐標(biāo)系OwXwYwZw與計(jì)算機(jī)圖像坐標(biāo)系uv的關(guān)系

將式(6-2)與式(6-3)代入式(6-6)，則得到以世界坐標(biāo)系表示的P點(diǎn)坐標(biāo)與其投影點(diǎn)p的坐標(biāo)(u，v)的關(guān)系：(6-7)圖6-5標(biāo)定參照物

6.2攝像機(jī)標(biāo)定

6.2.1線性攝像機(jī)標(biāo)定

Abdal-Aziz和Karara于20世紀(jì)70年代初提出了直接線性變換攝像機(jī)標(biāo)定方法，它是利用三維標(biāo)定參照物(如圖6-5所示)求解投影矩陣M的算法。

將式(6-7)寫成下式:(6-8)式(6-8)包含3個(gè)方程：

消去Zci，可得如下兩個(gè)關(guān)于mij的線性方程：(6-10)(6-9)用矩陣表示為(6-11)由式(6-7)可見，M矩陣乘以任意不為零的常數(shù)并不影響(Xw，Yw，Zw)與(u，v)的關(guān)系。因此，在式(6-11)中指定m34=1，從而得到關(guān)于M矩陣其他元素的2n個(gè)線性方程，這些未知元素的個(gè)數(shù)為11個(gè)，記為11維向量m，將式(6-11)簡寫成：

Km=U

(6-12)

式中：K為式(6-11)左邊2n×11矩陣；m為未知的11維向；U為式(6-11)右邊的2n維向量；K、U為已知向量。當(dāng)2n＞11時(shí)，可用最小二乘法求出上述線性方程的解為

m=(KTK)－1KTU

(6-13)

m向量與m34=1構(gòu)成了所求解的M矩陣。由上可見，由空間6個(gè)已知點(diǎn)與其計(jì)算機(jī)圖像點(diǎn)坐標(biāo)，可求出M矩陣。但實(shí)際上，被采用的特征點(diǎn)遠(yuǎn)不止6個(gè)，所用到的方程個(gè)數(shù)遠(yuǎn)大于未知量的個(gè)數(shù)，進(jìn)而可利用最小二乘法求解M矩陣，以便降低由單個(gè)點(diǎn)的坐標(biāo)誤差造成的影響。

值得注意的是，在求解過程中，要對m34進(jìn)行處理，即指定m34=1，這樣獲得的M是基于一個(gè)非零比例因子意義下相等的矩陣。雖然這并不影響投影關(guān)系，但在分解M以求內(nèi)參數(shù)矩陣時(shí)必須考慮。其實(shí)，在方程中的M矩陣可寫成：(6-14)由式(6-14)可得

由上式兩邊對應(yīng)相等關(guān)系可知，m34m3=r3。又由于r3是正交單位矩陣的第三行，所以|r3|＝1。因此，由m34|m3|=1可得m34=1/|m3|。

同理，可根據(jù)方程(6-15)兩邊對應(yīng)項(xiàng)相等的關(guān)系得到如下解：(6-15)(6-16)6.2.2非線性攝像機(jī)標(biāo)定

張正友的平板標(biāo)定方法是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法。它既避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣等缺點(diǎn)，又較自標(biāo)定方法精度高。

如前所述，根據(jù)針孔成像原理，由世界坐標(biāo)點(diǎn)到理想像素點(diǎn)的齊次變換如下：

式中：r是一個(gè)比例因子；s為計(jì)算機(jī)圖像坐標(biāo)系與圖像坐標(biāo)系之間的傾斜量；fx和fy分別是x軸與y軸的換算因子。(6-17)

1.單應(yīng)性矩陣的計(jì)算

不失一般性，取模板所在平面為世界坐標(biāo)系的Zw=0平面。用ri表示R的第i列向量，那么對于模板平面上的點(diǎn)都有：

模板平面上的點(diǎn)和其像點(diǎn)之間建立了一個(gè)映射H=A［r1

r2

t］，這個(gè)矩陣被稱為單應(yīng)性矩陣(Homography)。

設(shè)(6-18)可得

整理得

其中，

h=［h11

h12

h13

h21

h22

h23

h31

h32］T

選取4對以上匹配點(diǎn)，可線性求解單應(yīng)性矩陣H。(6-19)(6-20)令H=［h1

h2

h3］，則

［h1

h2

h3］=lA［r1

r2

t］ (6-21)

因?yàn)閞1和r2是單位正交向量，即

且

所以

式(6-22)為攝像機(jī)內(nèi)部參數(shù)的求解提供了兩個(gè)約束條件。由于平面標(biāo)定模板的單應(yīng)性矩陣具有8個(gè)自由度，外部參數(shù)占據(jù)了其中的6個(gè)(3個(gè)旋轉(zhuǎn)和3個(gè)平移)，因此只能利用剩下的2個(gè)約束條件。(6-22)

2.參數(shù)求解

令(6-23)可以看出，B為對稱矩陣，定義6維向量b=［B11

B12

B22

B13

B23

B33］T，則有

式中

hi=［hi1

hi2

hi3］T

vij=［hi1hj1

hi1hj2+hi2hj1

hi2hj3

hi3hj1+hi1hj3

hi3hj2+hi2hj3

hi3hj3］T

根據(jù)式(6-22)所示的約束條件，可以得到關(guān)于向量b的兩個(gè)齊次方程：

(6-25)(6-24)若有n幅平面模板圖像，根據(jù)式(6-25)，則可得到線性方程組：

Vb=0

(6-26)

其中，V是一個(gè)2n×6的矩陣。如果n≥3，則可以列出6個(gè)以上的方程，從而解出一個(gè)帶有比例因子的b。如果n=2，那么方程的個(gè)數(shù)少于未知數(shù)的個(gè)數(shù)，考慮到常用的CCD傳感

器芯片都為方形，可以假定A中的坐標(biāo)軸夾角為90°，即傾斜因子s=0，則有［010000］b=0，這就為式(6-26)提供了一個(gè)新的約束條件。如果n=1，則需進(jìn)一步假定光心投影在圖像的中心，方可求出解來。式(6-26)的最小二乘解為VTV最小的特征值對應(yīng)的特征向量。求得b即可獲得矩陣B，根據(jù)式(6-23)可求得攝像機(jī)的所有內(nèi)部參數(shù)：(6-27)利用內(nèi)參數(shù)A和單應(yīng)性矩陣H，每個(gè)不同視點(diǎn)的攝像機(jī)外參數(shù)可按如下公式求得：

由于噪聲的存在，R一般不滿足旋轉(zhuǎn)矩陣的性質(zhì)，故采用最小距離準(zhǔn)則來求解。(6-28)

3.最大似然估計(jì)

經(jīng)過上述最小距離準(zhǔn)則計(jì)算出來的R，需要采用最大似然估計(jì)對結(jié)果進(jìn)行精確地求解。

設(shè)有n幅關(guān)于模板平面的圖像，每幅圖像中有m個(gè)標(biāo)定點(diǎn)，每個(gè)標(biāo)定點(diǎn)的數(shù)據(jù)都被獨(dú)立同分布的噪聲所污染。建立目標(biāo)函數(shù)如下：

式中：mij是第i幅圖像中第j個(gè)點(diǎn)的像點(diǎn)坐標(biāo)；Ri、ti分別是第i幅圖像坐標(biāo)的旋轉(zhuǎn)矩陣和平移矩陣； 是第i幅圖像中第j個(gè)點(diǎn)的世界坐標(biāo)；Mj是通過式(6-18)求得的像點(diǎn)坐標(biāo)。(6-29)

4.標(biāo)定步驟

(1)打印標(biāo)定圖像并將其貼到一個(gè)平板上;

(2)通過移動攝像機(jī)或標(biāo)定板獲得幾幅在不同角度下的標(biāo)定板圖像;

(3)檢測圖像中的特征點(diǎn);

(4)用如前所述的封閉解來求解攝像機(jī)所有的內(nèi)外參數(shù);

(5)用式(6-28)的最小解來精確求出所有的參數(shù)，包括畸變參數(shù)。6.2.3立體視覺攝像機(jī)標(biāo)定

在立體視覺系統(tǒng)中，一般需要用兩個(gè)攝像機(jī)。與單攝像機(jī)標(biāo)定的差別是，需要通過定標(biāo)，測量雙攝像機(jī)之間的相對位置。

如圖6-6所示，在定標(biāo)中，分別得到兩個(gè)攝像機(jī)各自的內(nèi)外參數(shù)，如果外參數(shù)分別用R1、t1與R2、t2表示，則R1、t1表示C1攝像機(jī)與世界坐標(biāo)系之間的相對位置，R2、t2表示C2攝像機(jī)與世界坐標(biāo)系的相對位置。對任意一點(diǎn)P，如它在世界坐標(biāo)系、C1坐標(biāo)系與C2坐標(biāo)系下的非齊次坐標(biāo)分別為Xw、 ，則(6-30)消去Xw后得到

由上式可知，兩個(gè)攝像機(jī)的幾何關(guān)系可用以下R和t表示：(6-32)(6-31)圖6-6立體視覺中雙攝像機(jī)的幾何關(guān)系 6.3立體匹配

立體匹配是指尋找同一空間景物，在不同視點(diǎn)下投影圖像中像素間的一一對應(yīng)關(guān)系。與普通的圖像模板匹配不同，立體匹配是在兩幅或多幅存在視點(diǎn)差異、幾何和灰度畸變以及噪聲干擾的圖像對之間進(jìn)行的，不存在任何標(biāo)準(zhǔn)模板。

當(dāng)空間三維場景被投影為二維圖像時(shí)，受場景中諸多因素，如光照條件、景物幾何形狀、噪聲干擾和畸變以及攝像機(jī)特性等的影響，同一景物在不同視點(diǎn)下的圖像會有很大不同。要準(zhǔn)確地對包含了如此多不利因素的圖像進(jìn)行無歧義的匹配，是頗為困難的。對于任何一種立體匹配方法的設(shè)計(jì)，都必須解決以下三個(gè)方面的問題。

(1)基元選擇：選擇適當(dāng)?shù)膱D像特征作為匹配基元，如點(diǎn)、直線、區(qū)域、相位等。

(2)匹配準(zhǔn)則：將關(guān)于物理世界的某些固有特征表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實(shí)反映景物的本來面目。

(3)算法結(jié)構(gòu)：利用適當(dāng)?shù)臄?shù)學(xué)方法設(shè)計(jì)能正確匹配所選基元的穩(wěn)定算法。

6.3.1極線約束

極線約束可以極大地降低待驗(yàn)證的可能匹配點(diǎn)對的數(shù)量，把一個(gè)點(diǎn)在另一幅圖像上可能匹配的點(diǎn)的分布從二維降到了一維。下面將介紹極線的性質(zhì)和計(jì)算方法。

如圖6-7所示，如果p1與p2為對應(yīng)點(diǎn)，則由于p1、p2、P、O1、O2在同一平面S上，p1與p2分別位于S與兩個(gè)圖像的交線l1與l2上，l1稱為I1圖像上對應(yīng)于I2圖像上p2點(diǎn)的極線(簡稱p2點(diǎn)的極線)，l2稱為I2圖像上對應(yīng)于I1圖像上p1點(diǎn)的極線(簡稱p1點(diǎn)的極線)。下面給出極線的一些性質(zhì)。

(1)在I2圖像上的所有極線交于同一點(diǎn)e2(見圖6-7)，e2稱為極點(diǎn)。類似地，在I1圖像上的所有極線交于e1點(diǎn)。e1(或e2)是O2(或O1)在I1(或I2)圖像上的投影點(diǎn)，O1、O2、e1、e2共線。圖6-7立體圖對的極線與極點(diǎn)由圖6-7可見，對應(yīng)于p1點(diǎn)的，在I2上的極線l2是射線O1p1在I2的投影，這是因?yàn)樯渚€O1p1上的任意一點(diǎn)p'都在O1、O2、P三點(diǎn)決定的平面S上，故O2p'也在S平面上，O2p'與I2的交點(diǎn)p'2必然同時(shí)在S平面與I2平面上，所以該交點(diǎn)必在S與I2

的交線即l2上。在空間任取不在S平面上的一點(diǎn)Q，在I1上的圖像為q1點(diǎn)，在I2上的極線為l'2(見圖6-7)，則l'2必然是O1Q在I2上的投影。由此可見，所有在I2平面上的極線均為連接O1與空間某點(diǎn)的射線的投影，所有這些射線都過O1點(diǎn)，由射影幾何知，在空間共點(diǎn)的射線束的投影也共點(diǎn)，因此，所有在I2上的極線必共點(diǎn)，而交點(diǎn)e2即為射線束交點(diǎn)O1在圖像I2

上的投影，即連接O1O2的直線與I2的交點(diǎn)(見圖6-7)。同理，I1上的全部極線交于e1，e1為連接O1O2的直線與I1平面的交點(diǎn)，所以O(shè)1、O2、e1、e2共線。

(2)當(dāng)已知雙攝像機(jī)投影矩陣M1與M2時(shí)，極線方程可以由它們求得。

(3)當(dāng)兩個(gè)攝像機(jī)的光心連線與某一攝像機(jī)圖像平面平行時(shí)，該攝像機(jī)圖像平面的極點(diǎn)位于無窮遠(yuǎn)點(diǎn)，即所有的極線互相平行，更特殊的情況下，當(dāng)光心連線與圖像平面的x軸互相平行時(shí)，極線為與x軸平行的直線(見圖6-8)。

圖6-8雙攝像機(jī)配置

(4)I1上的極線束與I2上的極線束互為射影變換。由圖6-9可見，若空間任意過O1O2的四個(gè)平面與某空間直線的交點(diǎn)分別為S1、S2、S3、S4，在I1與I2平面上，它們的投影分別為s11、s12、s13、s14與s21、s22、s23、s24，I1與I2上的極線束為e1s1i(i=1，…，4)與e2s2i(i=1，…，4)，則由射影幾何知，S1、S2、S3、S4的交比等于s11、s12、s13、s14的交比，并等于s21、s22、s23、s24的交比，因此兩個(gè)極線束的交比相等。圖6-9極線束互為投影變換在對攝像機(jī)進(jìn)行立體視覺攝像機(jī)標(biāo)定后，就得到了兩個(gè)攝像機(jī)的投影矩陣M1和M2，可以利用這兩個(gè)投影矩陣求得極線方程。兩個(gè)攝像機(jī)的投影方程(6-7)寫成：

式中：xp為空間某點(diǎn)P在世界坐標(biāo)系下的齊次坐標(biāo)；u1、u2分別是點(diǎn)p1與p2點(diǎn)的圖像齊次坐標(biāo)；M1與M2矩陣中左面的

3×3部分記作Mi1(i=1，2)，右邊3×1部分記作mi(i=1，2)。(6-33)

將 ，記作xp＝(xT

1)T,其中 ，則式(6-33)可展開為

消去x得

令 ，將由m定義的反對稱矩陣［m］×左乘式(6-35)兩端，由于［m］×m=0，所以

令 ，得(6-34)(6-35)(6-36)(6-37)可見，上式右邊的向量與u2正交，將左乘上式的兩邊，并除以Zc可得到如下關(guān)系：

令 ，則上式可寫成

式(6-38)和式(6-39)給出了u1與u2(兩個(gè)攝像機(jī)對應(yīng)點(diǎn)p1與p2圖像的齊次坐標(biāo))所必須滿足的關(guān)系。在給定u1的情況下，式(6-38)是一個(gè)關(guān)于u2的線性方程，即I2圖像上的極線方程。反過來，當(dāng)給定u2時(shí)，式(6-39)是關(guān)于u1的線性方程，即I1

圖像上的極線方程。式(6-39)還表明，在給定u1(或u2)時(shí)，極線方程只與M1與M2矩陣有關(guān)。兩幅圖像的極線約束示例圖如圖6-10所示。(6-39)(6-38)圖6-10極線約束示例圖

6.3.2立體匹配算法

因?yàn)閱蝹€(gè)像素的灰度不能夠提供足夠的信息，所以該算法先以基準(zhǔn)圖中一個(gè)像素點(diǎn)為中心創(chuàng)建一個(gè)鄰域匹配窗口，用鄰域像素的灰度值分布來表征該像素，然后從待匹配圖中尋找對應(yīng)像素，以該像素為中心創(chuàng)建一個(gè)同樣大小的窗口，使其鄰域像素的灰度值分布與前者的相似性滿足一定的閾值條件。

對于已經(jīng)進(jìn)行外極線校正的立體圖像對，可以認(rèn)為匹配的對應(yīng)點(diǎn)在圖像的同一行上，如圖6-11所示。圖6-11成像及匹配示意圖

區(qū)域相關(guān)匹配原理如圖6-12所示。對于圖(a)中的點(diǎn)I1(x,y)，可以從右圖中同一水平掃描線搜索其匹配點(diǎn)。但是在此之前，首先要定義描述兩個(gè)窗口灰度分布差異的灰度相關(guān)測度函數(shù)，并選擇窗口的大小，當(dāng)兩個(gè)窗口包含的灰度測度函數(shù)值達(dá)到最小時(shí)，認(rèn)為這兩個(gè)窗口的中心點(diǎn)是匹配的。

圖6-12中，O1O2分別是圖(a)、(b)的圖像像素坐標(biāo)系的原點(diǎn)，u、v分別是計(jì)算機(jī)圖像坐標(biāo)系的橫軸和縱軸，匹配窗口大小為(2n+1)×(2m+1)(n=0，1，2，…；m=0，1，2,…),［－D，+D］是搜索范圍，d表示視差值。圖6-12區(qū)域相關(guān)匹配原理假設(shè)以圖(a)為基準(zhǔn)圖，令C為匹配測度，d為滑動窗口的位移量，Wp為匹配窗口，Il(x，y)和Ir(x+d，y)分別為圖(a)和圖(b)中匹配窗口中心像素的灰度值，

和

分別是圖(a)和(b)匹配窗U內(nèi)的像素灰度值均值。以下為幾種常見的灰度相關(guān)測度函數(shù)：

(1)灰度差絕對值之和(SumofAbsoluteDifference，SAD)(6-40)

(2)零均值灰度差絕對值之和(ZSAD)

(3)灰度差絕對平方和(SumofSquaredDifference，SSD)

(4)零均值灰度差絕對平方和(ZSSD)(6-41)(6-42)(6-43)

(5)灰度歸一化相關(guān)(NormalizedCross-Correlation，NCC)

(6)零均值歸一化相關(guān)(ZNCC)(6-45)(6-44)

以上幾種常見的灰度相關(guān)測度函數(shù)，其中加入均值計(jì)算的測度函數(shù)，可以消除圖(a)與(b)的灰度差異影響，但是計(jì)算量也相應(yīng)地增加。在實(shí)際中以SAD和SSD應(yīng)用最為普遍。圖6-13(a)，(b)為立體圖像對，(c)為獲得的視差圖像。圖6-13立體圖像對及視差示意圖 6.4三維重建

空間任一點(diǎn)在兩個(gè)攝像機(jī)中分別成像，得到該點(diǎn)在兩個(gè)圖像中的對應(yīng)坐標(biāo)，在已知兩攝像機(jī)的參數(shù)矩陣的條件下，通過建立以該點(diǎn)的世界坐標(biāo)為未知數(shù)的4個(gè)線性方程，可以用最小二乘法求解得該點(diǎn)的世界坐標(biāo)。

如圖6-14所示，對于空間任意一點(diǎn)P，如果用攝像機(jī)C1觀察，看到它在C1的像平面上的像點(diǎn)為p1，但僅此還無法從p1得知P的三維位置。因?yàn)椋贠1P(O1為C1攝像機(jī)的光心)連線上的任意一點(diǎn)P′的圖像點(diǎn)都是p1，因此，由p1點(diǎn)只能知道空間點(diǎn)位于O1p1連線上的某一位置，即僅由一幅二維圖像是無法得到P點(diǎn)的深度信息的。

如果同時(shí)用C1和C2兩個(gè)攝像機(jī)觀察P點(diǎn)，并且能夠確定在C1的像平面上的p1點(diǎn)和C2的像平面上的p2點(diǎn)是空間同一點(diǎn)P的像點(diǎn)(這個(gè)問題由立體匹配解決)，那么就可以由幾何關(guān)系知道，P點(diǎn)既在O1p1上，又在O2p2上，因此P點(diǎn)是這兩條直線的交點(diǎn)，即P點(diǎn)的三維位置是可以唯一確定的。這就是計(jì)算機(jī)視覺三維重建的基本原理。圖6-14用雙攝像機(jī)觀察空間點(diǎn)6.4.1一般配置下點(diǎn)坐標(biāo)計(jì)算

如圖6-14所示，假設(shè)：①空間任意點(diǎn)P在兩個(gè)攝像機(jī)C1與C2上的圖像點(diǎn)p1與p2已經(jīng)從兩個(gè)圖像中分別檢測出來，即已知p1與p2為空間同一點(diǎn)P的對應(yīng)點(diǎn)；②C1與C2攝像機(jī)已標(biāo)定，其投影矩陣分別為M1與M2。于是有(6-46)(6-47)式中：(u1，v1，1)與(u2，v2，1)分別為p1與p2點(diǎn)在各自圖像中的圖像齊次坐標(biāo)；(X，Y，Z，1)為P點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)；

(k=1，2；i=1，…，3；j=1，…，4)分別為Mk的第i行第j列元素。將式(6-46)和式(6-47)中的和消去，得到關(guān)于X、Y、Z的四個(gè)線性方程：(6-48)(6-49)

由解析幾何知，三維空間的平面方程為線性方程，兩個(gè)平面方程的聯(lián)立為空間直線的方程(該直線為兩個(gè)平面的交線)，所以式(6-48)(或式(6-49))的幾何意義是過O1p1(或O2p2)的直線。又由于空間點(diǎn)P是O1p1與O2p2的交點(diǎn)，所以將式(6-48)與式(6-49)聯(lián)立就可求出P點(diǎn)的坐標(biāo)(X，Y，Z)。在實(shí)際應(yīng)用中，由于數(shù)據(jù)總是有噪聲的，所以要用最小二乘法求出X、Y、Z。6.4.2平行雙目點(diǎn)坐標(biāo)計(jì)算

圖6-15所示為簡單的平行雙目立體成像原理圖，假設(shè)兩個(gè)攝像機(jī)的焦距相同，內(nèi)部參數(shù)也相同，而且兩個(gè)攝像機(jī)的光軸互相平行，x軸重合，y軸互相平行。那么，將第一個(gè)

攝像機(jī)沿其x軸平移一段距離后與第二個(gè)攝像機(jī)完全重合。

兩個(gè)攝像機(jī)坐標(biāo)系分別為O1X1Y1Z1和O2X2Y2Z2，兩個(gè)攝像機(jī)坐標(biāo)系只差x軸方向上的一個(gè)平移，將平移距離記為b，稱為基線(baseline)長度。對于空間任意一點(diǎn)P在C1與C2坐標(biāo)系下的坐標(biāo)為(x1，y1，z1)與(x2，y2，z2)。p1、p2分別是P在左右攝像機(jī)像平面上的像點(diǎn)。圖6-15雙目攝像機(jī)配置由中心攝影比例關(guān)系可得：(6-50)式中：u0、v0、αx、αx均是攝像機(jī)的內(nèi)部參數(shù)；(u1，v1)是左像素點(diǎn)p1在計(jì)算機(jī)圖像坐標(biāo)系下的像素坐標(biāo)；(u2，v2)是右像點(diǎn)p2在計(jì)算機(jī)圖像坐標(biāo)系下的像素坐標(biāo)。上式的前提是假設(shè)世界坐標(biāo)系就是C1的坐標(biāo)系。

由式(6-50)解x1、y1、z1得：(6-51)分析表明，基線長度越長，計(jì)算相對誤差越小。但基線長度不可太長，否則由于物體各部分的相互遮擋，兩個(gè)攝像機(jī)可能不能同時(shí)觀察到P點(diǎn)。視差是由于雙攝像機(jī)位置不同，使P點(diǎn)在圖像中的投影點(diǎn)的位置不同所引起的，由式(6-6)可知，P點(diǎn)的距離越遠(yuǎn)，視差越小。當(dāng)P點(diǎn)趨于無窮遠(yuǎn)時(shí),O1P與O2P趨于平行，視差趨于零。于是計(jì)算出了視差，就可以計(jì)算出深度值，同時(shí)也可以求出空間點(diǎn)的三維坐標(biāo)。

圖6-15所示的雙攝像機(jī)配置的幾何關(guān)系最簡單，但一般情況下，這樣的配置很難做到，這是因?yàn)樵趯?shí)際安裝攝像機(jī)時(shí)，無法看到攝像機(jī)的光軸，因此無法將攝像機(jī)的相對位置調(diào)整到圖6-15所示的情形。一般情況下，可用攝像機(jī)標(biāo)定方法求出任意配置的雙攝像機(jī)的投影矩陣，再求解P點(diǎn)的三維坐標(biāo)。圖6-16為立體圖像對及三維重建的圖像。圖6-16三維重建效果圖

6.5立體視覺目標(biāo)測量系統(tǒng)

6.5.1測量系統(tǒng)硬件組成

圖6-17給出了測量系統(tǒng)的組成框圖。兩個(gè)CCD攝像機(jī)組成雙目對被測物體表面進(jìn)行采集，通過ADC將采集的模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號送入DSP中進(jìn)行處理，在DSP

中將處理后的圖像進(jìn)行H.264編碼，將編碼后的圖像信號通過網(wǎng)絡(luò)接口送入PC機(jī)中，在PC機(jī)中進(jìn)行解碼顯示。圖6-17系統(tǒng)組成框圖6.5.2實(shí)現(xiàn)步驟

圖6-18給出的實(shí)驗(yàn)方案流程圖是一般雙目視覺測量系統(tǒng)的實(shí)現(xiàn)流程圖。圖6-18實(shí)驗(yàn)方案流程圖圖6-19給出了DSP系統(tǒng)實(shí)現(xiàn)的軟件流程圖。攝像機(jī)的標(biāo)定參數(shù)在PC機(jī)上測得后輸入給DSP。圖6-19

DSP系統(tǒng)軟件流程下面將分別介紹各個(gè)部分的實(shí)現(xiàn)及實(shí)驗(yàn)結(jié)果。

1.圖像獲取

立體視覺為了獲得目標(biāo)的深度信息需要至少兩個(gè)攝像機(jī)對目標(biāo)進(jìn)行采集，所以本實(shí)驗(yàn)系統(tǒng)用了兩個(gè)CCD攝像機(jī)。由于CCD攝像機(jī)采集到的圖像是模擬圖像，不能進(jìn)行數(shù)字處理，所以需要經(jīng)過ADC將模擬圖像變?yōu)閿?shù)字圖像。為了保證極線約束的準(zhǔn)確性，獲得準(zhǔn)確的測量結(jié)果，故將兩個(gè)攝像機(jī)安裝在同一水平線上。

2.攝像機(jī)標(biāo)定

由于系統(tǒng)中攝像機(jī)的位置在測試過程中不會改變，即攝像機(jī)標(biāo)定后其內(nèi)外參數(shù)均不會發(fā)生改變，因此可先將攝像機(jī)標(biāo)定后，將內(nèi)外參數(shù)直接輸入至DSP，以減少DSP的運(yùn)算量。

雙目攝像機(jī)標(biāo)定實(shí)驗(yàn)由雙目攝像機(jī)，視頻采集卡和標(biāo)定程序組成，如圖6-20所示。雙目攝像機(jī)由兩個(gè)CCD攝像機(jī)組成，CCD攝像機(jī)型號為MTC-262。視頻采集卡型號為DS-4004HC，可實(shí)現(xiàn)對4路視頻的實(shí)時(shí)采集。標(biāo)定程序通過在HALCON編程實(shí)現(xiàn)，HALCON軟件由德國MVTecSoftwareGmbH公司研發(fā)。HALCON是世界上最全能的機(jī)器視覺軟件，提供了1100種以上的具備突出性能控制器的庫，如模糊分析、形態(tài)、模式匹配、3D校正等，用戶可以利用其開放式結(jié)構(gòu)快速開發(fā)圖像處理和機(jī)器視覺應(yīng)用軟件。圖6-20雙目攝像機(jī)標(biāo)定實(shí)驗(yàn)組成實(shí)驗(yàn)中采用的標(biāo)定方法是Zhang平板標(biāo)定法，實(shí)驗(yàn)用的標(biāo)定板采用HALCON中標(biāo)定板圖像制作而成，標(biāo)定板有8×8個(gè)圓點(diǎn)，圓心距為40mm，如圖6-21所示。

平面標(biāo)定板的優(yōu)點(diǎn)有：

①易于操作；

②它們的尺寸可以制作得非常精確；

③在標(biāo)定板的矩形邊界框的一個(gè)角落放置一個(gè)小的方向標(biāo)記,可以使攝像機(jī)標(biāo)定算法計(jì)算得到標(biāo)定板的唯一方向;

④使用圓形標(biāo)記可以非常精確地提取出圓的圓心坐標(biāo);

⑤圓形標(biāo)志點(diǎn)按行和列排列成矩形陣列，可以使攝像機(jī)標(biāo)定算法在圖像中提取這些標(biāo)志點(diǎn)對應(yīng)的像素點(diǎn)坐標(biāo)時(shí)更加簡便。圖6-21標(biāo)定板產(chǎn)生的圖像對

利用標(biāo)定板的特點(diǎn)，采用閾值分割操作就可以得到標(biāo)定板內(nèi)部含有m×n個(gè)孔洞的區(qū)域。一旦找到標(biāo)定對象上的內(nèi)部區(qū)域，可以利用亞像素邊緣提取方法來提取標(biāo)定板各個(gè)圓的邊緣，并求得各圓心的坐標(biāo)，如圖6-22所示為檢測后的標(biāo)定板圖像對?？汕蟪鰞蓚€(gè)攝像機(jī)的內(nèi)參數(shù)和兩個(gè)攝像機(jī)之間的相對位置。圖6-22檢測標(biāo)定板的點(diǎn)在實(shí)際標(biāo)定中，假設(shè)世界坐標(biāo)系是與圖6-22(a)中攝像機(jī)坐標(biāo)系重合的。另外，旋轉(zhuǎn)矩陣R是由三個(gè)旋轉(zhuǎn)角度確定的，分別是繞攝像機(jī)坐標(biāo)系x軸的a、繞攝像機(jī)坐標(biāo)系y軸的

b和繞攝像機(jī)坐標(biāo)系z軸的g。R與三個(gè)旋轉(zhuǎn)角度分關(guān)系可用下式表示：

下面給出對圖6-22(a)和(b)兩個(gè)攝像機(jī)進(jìn)行標(biāo)定后得到的參數(shù)：(6-52)圖(a)中攝像機(jī)的內(nèi)部參數(shù)：

f：0.0176105m

dx：1.60404e×10－5m

dy：1.48×10－5m

u0：453.797像素

v0：354.524像素

圖(b)中攝像機(jī)的內(nèi)部參數(shù)：

f：0.0180607m

dx：1.60688×10－5m

dy：1.48×10－5m

u0：474.927像素

v0：367.229像素由于世界坐標(biāo)系與圖(a)中的攝像機(jī)坐標(biāo)系重合，所以圖(a)中攝像機(jī)的外部參數(shù)為

a=0°

r=0°

g=0°

tx=0

ty=0

tz=0

圖(b)中攝像機(jī)的外部參數(shù)為

a=359.389°

b=1.47645°

g=359.542°

tx=－0.15179m

ty=－0.00498939m

tz=－0.0404876m

通過外部參數(shù)就可以得到旋轉(zhuǎn)矩陣R和平移向量t，進(jìn)而可以求得M2。通過內(nèi)部參數(shù)可以求得M1，由M1和M2可得到投影矩陣M，再由立體匹配得到基本矩陣F。3.預(yù)處理及特征提取

圖6-23給出了左右兩個(gè)攝像機(jī)采集到的被測目標(biāo)圖像。圖中的黑色矩形就是被測目標(biāo)，系統(tǒng)實(shí)現(xiàn)中以圖(a)中的圖像為基準(zhǔn)圖像。圖6-23被測目標(biāo)產(chǎn)生的圖像對對被測目標(biāo)的預(yù)處理主要進(jìn)行了邊緣檢測和閾值分割兩個(gè)過程。對被測目標(biāo)首先用Sobel邊緣檢測算子進(jìn)行邊緣檢測，得到了灰度圖像，如圖6-24(a)所示。自適應(yīng)閾值進(jìn)行了閾值分割，如圖6-24(b)所示。圖6-24

Sobel邊緣檢測自適應(yīng)閾值分割對圖像進(jìn)行預(yù)處理之后就要進(jìn)行特征提取。系統(tǒng)實(shí)現(xiàn)中是以矩形邊框?yàn)樘卣?，特征提取基于Hough變換。下面給出在具體實(shí)現(xiàn)中Hough變換檢測矩形的步驟：

(1)計(jì)算Hough變換域的累加值，得到累加數(shù)組A(r，q)。試驗(yàn)中q的步長取為1°。

(2)定義兩個(gè)閾值Tmin和Tmax，對累加值數(shù)組A(r，q)進(jìn)行閾值選擇。閾值選擇后的A(r，q)滿足下式：

將得到的非零累加值所對應(yīng)的三個(gè)變量值(r，q，A(r，q))分別進(jìn)行保存。(6-53)

(3)取局部極大值。經(jīng)過邊緣檢測后得到的圖像會出現(xiàn)邊緣包含多條線的情況，造成檢測錯誤。因此，需要進(jìn)行取局部極大值的處理，避免檢測到兩條相鄰直線的情況。

下面給出具體實(shí)現(xiàn)步驟：

①找出累加值A(chǔ)(r，q)中的最大值。

②將最大值附近區(qū)域的累計(jì)值置0。試驗(yàn)中所取的區(qū)域是以最大值為中心，－15≤Dr≤15，－4°≤Dq≤4°的區(qū)域。

(4)找出滿足矩形性質(zhì)的平行線。利用矩形的性質(zhì)1、5得到矩形四條邊對應(yīng)的四個(gè)(r，r)值。

(5)求矩形的四個(gè)頂點(diǎn)。

假設(shè)不平行的兩條直線l1與l2，其對應(yīng)的Hough變換的參數(shù)為(r1，q1)與(r2，q2)。由兩直線的極坐標(biāo)方程：

聯(lián)立可以解得l1與l2交點(diǎn)的坐標(biāo)(x，y)：

利用這個(gè)方法可以求得矩形四個(gè)頂點(diǎn)的坐標(biāo)。(6-55)(6-54)

下面給出實(shí)驗(yàn)的結(jié)果：

圖6-25給出了在閾值分割后的圖像上畫出的用Hough變換求出的四條直線。

對被測矩形面的四個(gè)頂點(diǎn)作標(biāo)記，如圖6-26所示。

用上述方法測得的矩形的A、B、C、D四點(diǎn)在左圖像的計(jì)算機(jī)圖像坐標(biāo)分別為(270，152)、(127，295)、(413，294)、(270，447)。圖6-25檢測出的直線圖6-26對四個(gè)頂點(diǎn)進(jìn)行標(biāo)志

4.立體匹配

實(shí)驗(yàn)中使用的局部立體匹配算法，采用的約束條件是極線約束，灰度相關(guān)測度函數(shù)為SAD。

具體的實(shí)現(xiàn)步驟如下：

(1)計(jì)算極線。特征提取后得到矩形四個(gè)頂點(diǎn)在左圖像的計(jì)算機(jī)圖像坐標(biāo)，根據(jù)極線計(jì)算方法計(jì)算出各個(gè)頂點(diǎn)在右圖像的極線。

(2)計(jì)算匹配模板。試驗(yàn)中選擇左圖像以頂點(diǎn)為中心的16×16的窗口作為匹配模板。

(3)進(jìn)行立體匹配。對每個(gè)頂點(diǎn)，根據(jù)步驟(1)計(jì)算出的極線進(jìn)行局部立體匹配，灰度相關(guān)測度函數(shù)選擇SAD。

下面給出實(shí)驗(yàn)結(jié)果：根據(jù)上述方法進(jìn)行立體匹配，得到匹配點(diǎn)在右圖像的計(jì)算機(jī)圖像坐標(biāo)依次為點(diǎn)A(347，151)、點(diǎn)B(203，294)、點(diǎn)C(489，296)、點(diǎn)D(347，449)。

5.三維重建

攝像機(jī)標(biāo)定后可以得到左右兩個(gè)圖像的投影矩陣和基礎(chǔ)矩陣，立體匹配后可以得到矩形的的四個(gè)頂點(diǎn)在左右兩個(gè)圖像的計(jì)算機(jī)圖像坐標(biāo)。由得到的投影矩陣、基礎(chǔ)矩陣和頂點(diǎn)的計(jì)算機(jī)圖像坐標(biāo)，可以求出四個(gè)頂點(diǎn)的世界坐標(biāo)。

求得頂點(diǎn)在左右兩攝像機(jī)的計(jì)算機(jī)圖像坐標(biāo)，可得到四個(gè)頂點(diǎn)的世界坐標(biāo)系，系統(tǒng)實(shí)現(xiàn)中是假定世界坐標(biāo)系以左圖像的光心軸為Z軸，Z軸的正方向指向圖像的背面。以左圖像的成像面為XOY平面，由左圖像指向右圖像的方向?yàn)閄軸正方向，Y軸的正方向垂直XOZ平面指向上。下面給出具體實(shí)驗(yàn)計(jì)算結(jié)果(單位為m)：

點(diǎn)A：(0.3330061，0.3383754，－1.987853)

點(diǎn)B：(0.5793883，0.09766208，－1.945744)

點(diǎn)C：(0.07515797，0.1026953，－2.017006)

點(diǎn)D：(0.3260195，－0.1510862，－1.946144)

6.檢測結(jié)果的驗(yàn)證

由立體幾何的三維關(guān)系可知，空間中任意兩點(diǎn)X(xx，yx，zx)和Y(xy，yy，zy)之間的距離為

(6-56)因此可以用求兩點(diǎn)之間的距離來驗(yàn)證試驗(yàn)結(jié)果。

根據(jù)式(6-56)求得的距離(單位為m)如下:

LAB=0.347，LAC=0.351，LAD=0.491

而實(shí)際中，

LAB=0.350，LAC=0.358，LAD=0.500

計(jì)算絕對誤差Δ和相對誤差d：經(jīng)過分析，導(dǎo)致這種結(jié)果的原因有：

(1)攝像機(jī)安裝。理論上攝像機(jī)應(yīng)安裝在同一水平線上，以保證極線約束的準(zhǔn)確。

(2)圖像預(yù)處理。閾值分割將圖像的邊緣外圍灰度值較小的部分置為黑，造成了檢測到的邊緣比實(shí)際邊緣要小。

(3)攝像機(jī)非線性和畸變的影響。

(4)攝像機(jī)本身的精度不高。

其中，攝像機(jī)非線性和畸變的影響較大。6.5.3位姿測量代碼示例

1.關(guān)鍵點(diǎn)分析

(1)用雙目攝像機(jī)提取兩幅圖像，并利用函數(shù)CannyEdgeDetection()對左圖像進(jìn)行邊緣檢測，檢測算子是Canny算子，通過Pingpong結(jié)構(gòu)，將處理后的圖像邊緣保存在listptr指針?biāo)赶虻牡刂贰?/p>

(2)利用函數(shù)Hough()對邊緣檢測之后的左圖像進(jìn)行Hough變換，找到相互平行的兩對直線，并計(jì)算相交直線的四個(gè)點(diǎn)的圖像坐標(biāo)，將結(jié)果保存到coor1中。

(3)根據(jù)SAD匹配算法，利用函數(shù)sad()進(jìn)行左右圖的立體匹配，找到右圖中與左圖特征點(diǎn)相匹配的投影特征點(diǎn)，并將左右圖得到的立體匹配特征點(diǎn)的圖像坐標(biāo)保存到coor1和coor2指針?biāo)赶虻牡刂分小?/p>

(4)結(jié)合已知匹配特征點(diǎn)的圖像坐標(biāo)，通過函數(shù)calc_3d()，對四個(gè)空間特征點(diǎn)進(jìn)行三維重建，得到空間特征點(diǎn)的三維世界坐標(biāo)，并保存到數(shù)組wx、wy、wz中。

(5)根據(jù)計(jì)算出的特征點(diǎn)世界坐標(biāo)，計(jì)算四個(gè)空間點(diǎn)所對應(yīng)的中點(diǎn)的三維世界坐標(biāo)，并根據(jù)已知特征點(diǎn)在三維世界坐標(biāo)和目標(biāo)坐標(biāo)系中的坐標(biāo)計(jì)算出目標(biāo)物體的姿態(tài)。

部分代碼如下：

2.重要的函數(shù)

(1)函數(shù)CannyEdgeDetection()。此函數(shù)實(shí)現(xiàn)對原始圖像進(jìn)行邊緣檢測的功能，其參數(shù)包括unsignedchar*restrictInImg、unsignedchar*restrictOutImg、unsignedchar*restricttempBuf、unsignedchar*restrictPingIn、unsignedchar*restrictPingOut、unsignedchar*restrictPongIn、unsignedchar*restrictPongOut、short*restrictPingOutX、short*restrictPingOutY、short*restrictPingOutG、short*restrictPongOutX、short*restrictPongOutY、short*restrictPongOutG、short*restrictgradxBuf、short*restrictgradyBuf、short*restrictgradgBuf、int*numItems、unsignedint*restrictlistptr、unsignedcharloThres、unsignedcharhiThres。其中部分參數(shù)的含義解釋如下：

InImg：輸入的圖像；

OutImg：輸出的圖像；

tempBuf：存放圖像的緩存；

PingIn：輸入要處理的圖像；

PingOut：輸出要處理的圖像；

PongIn：輸入要處理的圖像；

PongOut：輸出要處理的圖像；

PingOutX：輸出圖像的水平梯度；

PingOutY：輸出圖像的垂直梯度；

PingOutG：輸出圖像的梯度值；

PongOutX：輸出圖像的水平梯度；

PongOutY：輸出圖像的垂直梯度；

PongOutG：輸出圖像的梯度值；

gradxBuf：非最大值抑制后的水平梯度；

gradyBuf：非最大值抑制后的垂直梯度；

gradgBuf：非最大值抑制后的梯度值；

numItems：邊緣點(diǎn)的數(shù)量；

listptr：保存強(qiáng)邊緣位置的地址；

loThres：邊緣檢測最小閾值；

hiThres：邊緣檢測最大閾值。

(2)函數(shù)Hough()。此函數(shù)對邊緣檢測之后的圖像進(jìn)行Hough變換，其參數(shù)主要包括unsignedchar*in_data、unsignedshort*restrictlistptr、intnumItems、shortwidth、shortheight、int*coor。其中，部分參數(shù)的含義解釋如下：

in_data：輸入的圖像數(shù)據(jù)；

listptr：保存強(qiáng)邊緣位置的緩存；

numItems：強(qiáng)邊緣的個(gè)數(shù)；

width：圖像數(shù)據(jù)的寬度；

height：圖像數(shù)據(jù)的高度；

coor：直線交點(diǎn)的像素坐標(biāo)。

(3)函數(shù)save_template()。此函數(shù)的功能是保存模板，在利用sad()函數(shù)進(jìn)行立體匹配時(shí)，需要在左圖像中提取16×16的模板，save_template()的作用就是保存模板。它的參數(shù)為constunsignedchar*restrictsrc_data、unsignedchar*

template_data、intx、inty。其中,部分參數(shù)的含義解釋如下：

src_data：輸入的源圖像數(shù)據(jù)；

template_data：模板；

x：模板邊界水平像素坐標(biāo)；

y：模板邊界垂直像素坐標(biāo)。

(4)函數(shù)sad()。此函數(shù)是通過SAD算法進(jìn)行左右圖特征點(diǎn)的立體匹配，其主要參數(shù)有constunsignedchar*

restrictsrc_data、unsignedchar*template_data、intheight、

intwidth、int*src_coor、int*templat