第11章深度圖

1、第十一章深度圖獲取場(chǎng)景中各點(diǎn)相對(duì)于攝象機(jī)的距離是計(jì)算機(jī)視覺(jué)系統(tǒng)的重要任務(wù)之一場(chǎng)景中各點(diǎn)相對(duì)于攝象機(jī)的距離可以用深度圖(Depth Map)來(lái)表示，即深度圖中的每一個(gè)像素值表示場(chǎng)景中某一點(diǎn)與攝像機(jī)之間的距離機(jī)器視覺(jué)系統(tǒng)獲取場(chǎng)景深度圖技術(shù)可分為被動(dòng)測(cè)距傳感和主動(dòng)深度傳感兩大類被動(dòng)測(cè)距傳感是指視覺(jué)系統(tǒng)接收來(lái)自場(chǎng)景發(fā)射或反射的光能量，形成有關(guān)場(chǎng)景光能量分布函數(shù)，即灰度圖像，然后在這些圖像的基礎(chǔ)上恢復(fù)場(chǎng)景的深度信息最一般的方法是使用兩個(gè)相隔一定距離的攝像機(jī)同時(shí)獲取場(chǎng)景圖像來(lái)生成深度圖與此方法相類似的另一種方法是一個(gè)攝象機(jī)在不同空間位置上獲取兩幅或兩幅以上圖像，通過(guò)多幅圖像的灰度信息和成象幾何來(lái)生成深度圖

2、深度信息還可以使用灰度圖像的明暗特征、紋理特征、運(yùn)動(dòng)特征間接地估算主動(dòng)測(cè)距傳感是指視覺(jué)系統(tǒng)首先向場(chǎng)景發(fā)射能量，然后接收?qǐng)鼍皩?duì)所發(fā)射能量的反射能量主動(dòng)測(cè)距傳感系統(tǒng)也稱為測(cè)距成象系統(tǒng)（Rangefinder)雷達(dá)測(cè)距系統(tǒng)和三角測(cè)距系統(tǒng)是兩種最常用的兩種主動(dòng)測(cè)距傳感系統(tǒng)因此，主動(dòng)測(cè)距傳感和被動(dòng)測(cè)距傳感的主要區(qū)別在于視覺(jué)系統(tǒng)是否是通過(guò)增收自身發(fā)射的能量來(lái)測(cè)距。另外，我們還接觸過(guò)兩個(gè)概念：主動(dòng)視覺(jué)和被動(dòng)視覺(jué)。主動(dòng)視覺(jué)是一種理論框架，與主動(dòng)測(cè)距傳感完全是兩回事。主動(dòng)視覺(jué)主要是研究通過(guò)主動(dòng)地控制攝象機(jī)位置、方向、焦距、縮放、光圈、聚散度等參數(shù)，或廣義地說(shuō)，通過(guò)視覺(jué)和行為的結(jié)合來(lái)獲得穩(wěn)定的、實(shí)時(shí)的感知。我們將

3、在最后一節(jié)介紹主動(dòng)視覺(jué)。111 立體成象最基本的雙目立體幾何關(guān)系如圖111(a)所示，它是由兩個(gè)完全相同的攝象機(jī)構(gòu)成，兩個(gè)圖像平面位于一個(gè)平面上，兩個(gè)攝像機(jī)的坐標(biāo)軸相互平行，且軸重合，攝像機(jī)之間在方向上的間距為基線距離在這個(gè)模型中，場(chǎng)景中同一個(gè)特征點(diǎn)在兩個(gè)攝象機(jī)圖像平面上的成象位置是不同的我們將場(chǎng)景中同一點(diǎn)在兩個(gè)不同圖像中的投影點(diǎn)稱為共軛對(duì)，其中的一個(gè)投影點(diǎn)是另一個(gè)投影點(diǎn)的對(duì)應(yīng)(correspondence)，求共軛對(duì)就是求解對(duì)應(yīng)性問(wèn)題兩幅圖像重疊時(shí)的共軛對(duì)點(diǎn)的位置之差(共軛對(duì)點(diǎn)之間的距離)稱為視差(disparity)，通過(guò)兩個(gè)攝象機(jī)中心并且通過(guò)場(chǎng)景特征點(diǎn)的平面稱為外極(epipolar)平

4、面，外極平面與圖像平面的交線稱為外極線在圖111 中，場(chǎng)景點(diǎn)在左、右圖像平面中的投影點(diǎn)分為和不失一般性，假設(shè)坐標(biāo)系原點(diǎn)與左透鏡中心重合比較相似三角形和，可得到下式：(111)同理，從相似三角形和，可得到下式：(112)合并以上兩式，可得：(113)其中是焦距，是基線距離。因此，各種場(chǎng)景點(diǎn)的深度恢復(fù)可以通過(guò)計(jì)算視差來(lái)實(shí)現(xiàn)注意，由于數(shù)字圖像的離散特性，視差值是一個(gè)整數(shù)在實(shí)際中，可以使用一些特殊算法使視差計(jì)算精度達(dá)到子像素級(jí)因此，對(duì)于一組給定的攝象機(jī)參數(shù)，提高場(chǎng)景點(diǎn)深度計(jì)算精度的有效途徑是增長(zhǎng)基線距離，即增大場(chǎng)景點(diǎn)對(duì)應(yīng)的視差然而這種大角度立體方法也帶來(lái)了一些問(wèn)題，主要的問(wèn)題有：1 隨著基線距離的增加

5、，兩個(gè)攝象機(jī)的共同的可視范圍減小2 場(chǎng)景點(diǎn)對(duì)應(yīng)的視差值增大，則搜索對(duì)應(yīng)點(diǎn)的范圍增大，出現(xiàn)多義性的機(jī)會(huì)就增大3 由于透視投影引起的變形導(dǎo)致兩個(gè)攝象機(jī)獲取的兩幅圖像中不完全相同，這就給確定共軛對(duì)帶來(lái)了困難 在圖111(b)中，圖像中的每個(gè)特征點(diǎn)都位于第二幅圖像中的同一行中在實(shí)際中，兩條外極線不一定完全在一條直線上，即垂直視差不為零但為了簡(jiǎn)單起見(jiàn)，雙目立體算法中的許多算法都假設(shè)垂直視差為零在實(shí)際應(yīng)用中經(jīng)常遇到的情況是兩個(gè)攝像機(jī)的光軸不平行，比如，在某些系統(tǒng)中，調(diào)節(jié)兩個(gè)攝象機(jī)的位置和姿態(tài)，使得它們的光軸在空間中相交在某一點(diǎn)，如圖112所示在這種情況下，視差與光軸交角有關(guān)對(duì)于任意一個(gè)光軸交角，在空間中總

6、存在一個(gè)視差為零的表面比這一表面遠(yuǎn)的物體，其視差大于零；反之，比這一表面近的物體，其視差小于零因此，在一個(gè)空間區(qū)域中，其視差可被劃分為三組：這三組視差可用于解決匹配不確定問(wèn)題 (a) (b)圖111雙目立體視覺(jué)幾何模型圖112攝象機(jī)光軸交會(huì)空間一點(diǎn)攝象機(jī)之間的夾角定義了視差為零的一個(gè)空間表面攝像機(jī)光軸不平行的另一種系統(tǒng)是后面將要介紹的一種叫做會(huì)聚式(convergent)立體視覺(jué)系統(tǒng)（見(jiàn)圖115）這種系統(tǒng)不要求光軸嚴(yán)格地相交于空間一點(diǎn)立體成象的最一般情況是一個(gè)運(yùn)動(dòng)攝像機(jī)連續(xù)獲取場(chǎng)景圖像，形成立體圖像序列，或間隔一定距離的兩個(gè)攝像機(jī)同時(shí)獲取場(chǎng)景圖像，形成立體圖像對(duì)圖113 外極線幾何示意圖圖11

7、3所示的是處于任意位置和方位的兩個(gè)攝象機(jī)，對(duì)應(yīng)于某一場(chǎng)景點(diǎn)的兩個(gè)圖像點(diǎn)位于外極線上這兩幅圖像也可以是一個(gè)攝像機(jī)由一點(diǎn)運(yùn)動(dòng)到另一點(diǎn)獲取這兩幅圖像即使兩個(gè)攝象機(jī)處于一般的位置和方位時(shí)，對(duì)應(yīng)場(chǎng)景點(diǎn)的兩個(gè)圖像點(diǎn)仍然位于圖像平面和外極平面的交線（外極線)上由圖不難看出，外極線沒(méi)有對(duì)應(yīng)圖像的某一行112 立體匹配立體成象系統(tǒng)的一個(gè)不言而喻的假設(shè)是能夠找到立體圖像對(duì)中的共軛對(duì)，即求解對(duì)應(yīng)問(wèn)題然而，對(duì)于實(shí)際的立體圖像對(duì)，求解對(duì)應(yīng)問(wèn)題極富有挑戰(zhàn)性，可以說(shuō)是立體視覺(jué)最困難的一步為了求解對(duì)應(yīng)，人們已經(jīng)建立了許多約束來(lái)減少對(duì)應(yīng)點(diǎn)搜索范圍，并最終確定正確的對(duì)應(yīng)下面我們將討論幾個(gè)最基本的約束，然后討論邊緣特征和區(qū)域特征在

8、立體匹配中的應(yīng)用1121 基本約束(1 ) 外極線約束對(duì)于兩幅從不同角度獲取的同一場(chǎng)景的圖像來(lái)說(shuō)，傳統(tǒng)的特征點(diǎn)搜索方法是首先在一幅圖像上選擇一個(gè)特征點(diǎn)，然后在第二幅圖像上搜索對(duì)應(yīng)的特征點(diǎn)顯然，這是一個(gè)二維搜索問(wèn)題根據(jù)成象幾何原理，一幅圖像上的特征點(diǎn)一定位于另一幅圖像上對(duì)應(yīng)的外極線上因此，在外極線上而不是在二維圖像平面上求解對(duì)應(yīng)問(wèn)題是一個(gè)一維搜索問(wèn)題如果已知目標(biāo)與攝像機(jī)之間的距離在某一區(qū)間內(nèi)，則搜索范圍可以限制在外極線上的一個(gè)很小區(qū)間內(nèi)，如圖114所示所以，利用外極線約束可以大大地縮小尋找對(duì)應(yīng)點(diǎn)的搜索空間，這樣即可以提高特征點(diǎn)搜索速度，也可以減少假匹配點(diǎn)的數(shù)量(范圍越小，包含假匹配點(diǎn)的可能性越小

9、)請(qǐng)注意，由于攝象機(jī)位置及其方向的測(cè)量誤差和不確定性，匹配點(diǎn)可能不會(huì)準(zhǔn)確地出現(xiàn)在圖像平面中對(duì)應(yīng)的外極線上；在這種情況下，有必要在外極線的一個(gè)小鄰域內(nèi)進(jìn)行搜索圖11.4 空間某一距離區(qū)間內(nèi)的一條直線段對(duì)應(yīng)外極線上的一個(gè)有限區(qū)間 (2)一致性約束立體視覺(jué)通常由兩個(gè)或兩個(gè)以上攝像機(jī)組成，各攝像機(jī)的特性一般是不同的這樣，場(chǎng)景中對(duì)應(yīng)點(diǎn)處的光強(qiáng)可能相差太大，直接進(jìn)行相似性匹配，得到的匹配值變化太大因此，在進(jìn)行匹配前，必須對(duì)圖像進(jìn)行規(guī)范化處理(Normalization)設(shè)參考攝象機(jī)和其它攝象機(jī)的圖像函數(shù)分別為和，在圖像窗內(nèi)規(guī)范化圖像函數(shù)為： (11.4) (11.5)其中是圖像窗內(nèi)光強(qiáng)的平均值,是光強(qiáng)分布

10、參數(shù): 相似估價(jià)函數(shù)為差值絕對(duì)值之和(sum of absolute difference，SAD)： (11.6) (3)唯一性約束一般情況下，一幅圖像(左或右)上的每一個(gè)特征點(diǎn)只能與另一幅圖像上的唯一一個(gè)特征對(duì)應(yīng) (4)連續(xù)性約束物體表面一般都是光滑的，因此物體表面上各點(diǎn)在圖像上的投影也是連續(xù)的，它們的視差也是連續(xù)的比如，物體上非常接近的兩點(diǎn)，其視差也十分接近，因?yàn)槠渖疃戎挡粫?huì)相差很大在物體邊界處，連續(xù)性約束不能成立，比如，在邊界處兩側(cè)的兩個(gè)點(diǎn)，其視差十分接近，但深度值相差很大1122邊緣匹配本算法使用的邊緣特征是通過(guò)Gaussian函數(shù)的一階導(dǎo)數(shù)獲得的在有噪聲的情況下，使用Gaussia

11、n梯度來(lái)計(jì)算邊緣更加穩(wěn)定立體算法的步驟如下：1. 用四個(gè)不同寬度的Gaussian濾波器對(duì)立體圖像對(duì)中的每一幅圖像進(jìn)行濾波，其中前一次濾波的寬度是下一次濾波器寬度的兩倍這一計(jì)算可以反復(fù)通過(guò)對(duì)最小的濾波器進(jìn)行卷積來(lái)有效地實(shí)現(xiàn)2. 在某一行上計(jì)算各邊緣的位置3. 通過(guò)比較邊緣的方向和強(qiáng)度粗略地進(jìn)行邊緣匹配顯然，水平邊緣是無(wú)法進(jìn)行匹配的4. 通過(guò)在精細(xì)尺度上進(jìn)行匹配，可以得到精細(xì)的視差估計(jì)1123 區(qū)域相關(guān)性盡管邊緣特征是圖像的基本特征，而且邊緣檢測(cè)算法也十分成熟但邊緣特征往往對(duì)應(yīng)著物體的邊界，物體的邊界深度值可以是（前景)物體封閉邊緣的深度距離和背景點(diǎn)深度距離之間的任一值特別是曲面物體，其封閉邊緣

12、是物體的輪廓影象邊緣，在兩幅圖像平面中觀察到的輪廓影象邊緣與真實(shí)的物體邊緣不是對(duì)應(yīng)的不幸的是，圖像平面的強(qiáng)邊緣只能沿著這樣的封閉邊緣才能檢測(cè)到，除非物體有其它的高對(duì)比度的非封閉邊緣或其它特征這樣，恢復(fù)深度的基本問(wèn)題之一是識(shí)別分布于整幅圖像中的更多的特征點(diǎn)，并作為候選對(duì)應(yīng)點(diǎn)還有許多用于尋找對(duì)應(yīng)點(diǎn)潛在特征的方法，其中的一種方法是在立體圖像對(duì)中識(shí)別興趣點(diǎn)(interesting point)，而后使用區(qū)域相關(guān)法來(lái)匹配兩幅圖像中相對(duì)應(yīng)的點(diǎn)(1) 區(qū)域中感興趣特征點(diǎn)的檢測(cè)兩幅圖像中用于匹配的點(diǎn)應(yīng)盡可能容易地被識(shí)別和匹配顯而易見(jiàn)，一個(gè)均勻區(qū)域中的點(diǎn)是不適合作為候選匹配點(diǎn)，所以興趣算子應(yīng)在圖像中尋找具有很大

13、變化的區(qū)域一般認(rèn)為圖像中應(yīng)有足夠多的用于匹配的分立區(qū)域在以某一點(diǎn)為中心的窗函數(shù)中，計(jì)算其在不同方向上的變化量是這些方向上點(diǎn)的差異性的最好測(cè)度方向變化量的計(jì)算公式如下： (11.7)其中S表示窗函數(shù)中的所有像素典型窗函數(shù)尺寸從到個(gè)像素的范圍因?yàn)楹?jiǎn)單的邊緣點(diǎn)在邊緣方向上無(wú)變化，所以，選擇上述方向變量的最小值為中心像素點(diǎn)的興趣值，可以消除邊緣點(diǎn)否則，在第一幅圖像中的邊緣點(diǎn)可能與第二幅圖像中沿著同一條邊緣的所有像素相匹配，由此使得準(zhǔn)確確定視差變得十分困難（特別是當(dāng)邊緣是沿著外極線時(shí)更是如此)于是，有如下公式：(118)最后，為了避免將多個(gè)相鄰點(diǎn)選為同一個(gè)特征對(duì)應(yīng)的興趣點(diǎn)，可以將特征點(diǎn)選在興趣測(cè)度函數(shù)具

14、有局部最大值的地方一個(gè)點(diǎn)被認(rèn)為是一個(gè)的“好”的好興趣點(diǎn)，則對(duì)應(yīng)的局部最大值一定大于原先設(shè)定的閾值一旦在兩幅圖像中確定特征后，則可以使用許多不同方法進(jìn)行特征匹配一種簡(jiǎn)單的方法是計(jì)算一幅圖像以某一特征點(diǎn)為中心的一個(gè)小窗函數(shù)內(nèi)的像素與另一幅圖像中各個(gè)潛在對(duì)應(yīng)特征點(diǎn)為中心的同樣的小窗函數(shù)的像素之間的相關(guān)值具有最大相關(guān)值的特征就是匹配特征很明顯，只有滿足外極線約束的點(diǎn)才能是匹配點(diǎn)考慮到垂直視差的存在，應(yīng)將外極線鄰近的特征點(diǎn)也包括在潛在的匹配特征集中考慮兩幅圖像和設(shè)待匹配的候選特征點(diǎn)對(duì)的視差為，則以特征點(diǎn)為中心的區(qū)域之間相似性測(cè)度可由相關(guān)系數(shù)定義為： (119)這里的和是被匹配的兩個(gè)區(qū)域中的所有像素灰度平

15、均值，和式符號(hào)是在以特征點(diǎn)為中心的小窗函數(shù)中的所有像素上進(jìn)行的在式(11.9)中，在每一個(gè)像素上使用閾值化處理后的具有正負(fù)符號(hào)的梯度幅值，而不是圖像灰度值，可以改善相關(guān)性的計(jì)算精度這可以通過(guò)下列過(guò)程來(lái)實(shí)現(xiàn)：計(jì)算未平滑的兩幅圖像中的每個(gè)像素的梯度幅值，然后使用兩個(gè)閾值，一個(gè)大于0，另一個(gè)小于0，將這些值映射到三個(gè)值這樣圖像就被轉(zhuǎn)換為波浪起伏陣列，可以產(chǎn)生更靈敏的相關(guān)值如果使用上述方法，則無(wú)需在相關(guān)性計(jì)算公式中包括正則項(xiàng)，可以簡(jiǎn)化為相對(duì)應(yīng)的像素值的乘積之和在大多數(shù)情況中，相互靠近的特征點(diǎn)其對(duì)應(yīng)的場(chǎng)景點(diǎn)深度也是十分靠近的這種啟發(fā)式方法來(lái)源于迭代式松弛方法，我們將在143節(jié)對(duì)這種方法進(jìn)行介紹我們?cè)谠缧?/p>

16、時(shí)候已經(jīng)注意到，基于特征的立體匹配算法產(chǎn)生對(duì)應(yīng)于圖像特征點(diǎn)的場(chǎng)景稀疏深度圖在稀疏深度圖上進(jìn)行表面內(nèi)插或逼近運(yùn)算，可以重建一個(gè)表面，這部分內(nèi)容將在第13章討論立體重建過(guò)程的主要難題之一是選擇興趣點(diǎn)一種典型的興趣點(diǎn)選擇方法是基于灰度值的局部最大變化量不幸的是，這些點(diǎn)經(jīng)常出現(xiàn)在拐角處或不滿足平滑約束條件的表面不連續(xù)處在一些機(jī)器視覺(jué)應(yīng)用中，這個(gè)問(wèn)題是通過(guò)使用結(jié)構(gòu)光來(lái)解決的將模式圖投影到表面上來(lái)產(chǎn)生興趣點(diǎn)，并可使區(qū)域變得光滑(見(jiàn)下一節(jié)內(nèi)容) 最后要說(shuō)明的是，從圖像像素集合中選擇用于求解共軛對(duì)的像素子集意味著僅僅能恢復(fù)這些像素對(duì)應(yīng)的特征點(diǎn)深度要想得到其它點(diǎn)的深度值，必須通過(guò)使用有關(guān)計(jì)算方法來(lái)估算，如內(nèi)插值

17、技術(shù)113 多基線立體成象一幅圖像上的每一個(gè)特征點(diǎn)只能與另一幅圖像上的唯一一個(gè)特征對(duì)應(yīng)，通常將這一性質(zhì)稱為特征的唯一性約束在實(shí)際中，由于大多數(shù)特征點(diǎn)不是十分明顯，特別是重復(fù)紋理的出現(xiàn)，常常會(huì)產(chǎn)生對(duì)應(yīng)多義性(ambiguity)，即一幅圖像上的一個(gè)特征點(diǎn)對(duì)應(yīng)另一幅圖像的若干個(gè)對(duì)應(yīng)點(diǎn)，其中的一個(gè)點(diǎn)是真正的對(duì)應(yīng)點(diǎn)，而其它點(diǎn)是假對(duì)應(yīng)點(diǎn)消除對(duì)應(yīng)點(diǎn)多義性的一種有效方法是采用多基線立體成象Okutomi 1993，如圖114所示圖115 多基線立體視覺(jué)系統(tǒng)攝像機(jī)位置示意圖 假定n個(gè)攝像機(jī)具有相同的焦距F, 其位置分別為，對(duì)應(yīng)的n-1個(gè)基線用 表示，和表示在位置處同步獲取的圖像,稱為一個(gè)立體圖像對(duì)已知場(chǎng)景一點(diǎn)

18、Z的深度值為，則根據(jù)式子(3)，和形成的立體視差為： (1110)圖像強(qiáng)度函數(shù)和在Z點(diǎn)附近可以表示為： (1111)其中服從正態(tài)分布。在一定大小的窗口W上，對(duì)立體視差變量為，求立體圖像對(duì)函數(shù)差值平方和(sum of squared difference,SSD): (1112)設(shè)，則（11.10）改寫為： (1113) (1114)上式中分別是真實(shí)的和候選的場(chǎng)景點(diǎn)深度值的倒數(shù)用式(1113)和(1114)替換式(1112)得： (1115)將稱為匹配評(píng)估函數(shù)的期望值為： (1116)其中是窗中內(nèi)象素點(diǎn)的個(gè)數(shù)。個(gè)攝像機(jī)形成個(gè)SSD函數(shù)，將所有的SSD函數(shù)相加(sum of SSD，SSSD)形成

19、了總的評(píng)估函數(shù)： (1117)其期望值為 (1118)下面討論將評(píng)估函數(shù)表示成深度值倒數(shù)函數(shù)是如何消除多義性的設(shè)強(qiáng)度函數(shù)在和處周圍具有相同的模式，即 (1119)則根據(jù)式（1116），有 (1120)由上式可見(jiàn)，在和處都將得到評(píng)估函數(shù)的最小值，因此產(chǎn)生多義性但注意一個(gè)事實(shí)，假的匹配深度值的倒數(shù)隨著基線變化而變化，而真的匹配深度值的倒數(shù)則與基線長(zhǎng)度無(wú)關(guān)，這樣累加多個(gè)基線評(píng)估函數(shù)，則會(huì)得到唯一的最小值比如有兩個(gè)基線的長(zhǎng)度分別為()，則有： (1121)可以證明： (1122)也就是說(shuō)，在處具有極小值圖116是一個(gè)驗(yàn)證SSSD的簡(jiǎn)單例子，其中的原函數(shù)為圖116 不同評(píng)估函數(shù)的曲線， 多基線立體視覺(jué)可

20、以有效地消除一般場(chǎng)景紋理和重復(fù)紋理的對(duì)應(yīng)多義性，但仍然無(wú)法求解弱紋理和無(wú)紋理物體對(duì)應(yīng)點(diǎn)圖118是兵馬俑模型的立體圖像對(duì)，除了少部分特征外，其它部位都無(wú)法作為特征來(lái)求解對(duì)應(yīng)點(diǎn)為了恢復(fù)兵馬俑的稠密深度圖像，可以采用專用光源向場(chǎng)景投影條紋模式Kang 1995，如圖118所示，每一個(gè)條紋的強(qiáng)度變化服從正弦分布這樣做的效果相當(dāng)于無(wú)紋理的模型上有了條紋特征，由此實(shí)現(xiàn)對(duì)應(yīng)的特征點(diǎn)共軛對(duì)的求解圖117 用三個(gè)攝象機(jī)獲取的兵馬俑石膏模型多立體圖像對(duì)圖118 主動(dòng)式條紋光源照射下的多立體圖像對(duì)圖119 基于基本約束恢復(fù)的秦俑頭像的深度圖像114 從X恢復(fù)形狀的方法除了上述討論的立體圖像匹配方法外，從灰度圖像中提

21、取形狀信息的許多其它方法，統(tǒng)稱為由X恢復(fù)形狀方法，也得到了大力地發(fā)展不過(guò)許多方法只用來(lái)估計(jì)一點(diǎn)的局部表面方位而不是絕對(duì)深度如果物體上至少有一個(gè)點(diǎn)的實(shí)際深度是已知的，那么同一目標(biāo)上其它點(diǎn)的深度值可以通過(guò)對(duì)局部表面方向求積分得到因此，這類方法稱為間接深度計(jì)算方法這里我們將簡(jiǎn)要地介紹一些方法，更祥細(xì)的闡述參見(jiàn)在其它章節(jié)(1) 光度立體在光度立體方法中，使用不同方向上的三個(gè)光源來(lái)獲取同一場(chǎng)景的三幅圖像在三幅圖像的獲取過(guò)程中，要求場(chǎng)景中的攝象機(jī)和目標(biāo)靜止不動(dòng)知道了場(chǎng)景中物體的表面反射特性，就可以計(jì)算由這三個(gè)光源照明的所有點(diǎn)的局部表面方位這種方法的詳細(xì)描述見(jiàn)第9章光照立體方法的重要優(yōu)點(diǎn)之一是三幅圖像中的點(diǎn)

22、是完全套準(zhǔn)的，這是因?yàn)閿z象機(jī)和場(chǎng)景是固定不變的因此，這種方法不存在對(duì)應(yīng)性問(wèn)題這種方法的最大缺點(diǎn)就是它是一種簡(jiǎn)接的方法，也可能由于照明無(wú)法得到精細(xì)控制而不能用于實(shí)際的成象系統(tǒng)(2) 由明暗恢復(fù)形狀由明暗恢復(fù)形狀的方法主要使用圖像灰度（陰影變化來(lái)恢復(fù)物體形狀的信息這一過(guò)程是通過(guò)計(jì)算圖像中每個(gè)點(diǎn)對(duì)應(yīng)的場(chǎng)景表面方位來(lái)實(shí)現(xiàn)的除了由輻射測(cè)量原理產(chǎn)生的約束之外，陰影恢復(fù)形狀的方法還假設(shè)了表面是光滑的，以便于計(jì)算表面方位參數(shù)這種方法在第9 章中已經(jīng)詳細(xì)介紹過(guò)了很明顯，陰影恢復(fù)形狀方法是一種間接的深度計(jì)算方法進(jìn)一步的說(shuō)，光滑度約束在所有點(diǎn)都不能滿足，表面反射特性也不總是知道的很精確，從而導(dǎo)致了不精確的形狀重建(

23、3) 由紋理恢復(fù)形狀圖像的紋理特性變化，如密度、尺寸、和方位，都是建立紋理恢復(fù)形狀的算法的基礎(chǔ)例如，被定義為紋理元素基元尺寸的最大變化方向和幅值的紋理梯度，決定了表面方位量化紋理元素的形狀（如圓顯現(xiàn)為橢圓的變化對(duì)確定表面的方向十分有用構(gòu)成規(guī)則網(wǎng)格紋理結(jié)構(gòu)的表面圖像（很可能是由于結(jié)構(gòu)光照射的結(jié)果)可以通過(guò)尋找投影點(diǎn)（透視畫中平行線條的會(huì)聚點(diǎn))唯一地確定方位由紋理恢復(fù)形狀方法除了是一種間接的深度計(jì)算方法外，還存在精確定位和量化紋理基元及其特性的困難由紋理恢復(fù)形狀方法在第7 章中已經(jīng)進(jìn)行了介紹(4)由運(yùn)動(dòng)恢復(fù)形狀使用一個(gè)運(yùn)動(dòng)攝象機(jī)獲取靜止場(chǎng)景的圖像時(shí)，場(chǎng)景點(diǎn)的圖像平面坐標(biāo)從一幅圖像到另一幅圖像的位移

24、取決于場(chǎng)景點(diǎn)到攝象機(jī)的距離這十分類似于前幾節(jié)描述的立體成象方法與之相對(duì)應(yīng)的方法是使用一個(gè)靜止攝象機(jī)獲取運(yùn)動(dòng)物體的圖像序列，從而在圖像序列中產(chǎn)生運(yùn)動(dòng)視差這樣的視差取決于物體表面點(diǎn)的位置和速度恢復(fù)物體結(jié)構(gòu)和運(yùn)動(dòng)參數(shù)的方法將在14章祥細(xì)介紹115 測(cè)距成象能夠直接測(cè)量可視范圍內(nèi)每個(gè)點(diǎn)的距離，并將其記錄為一個(gè)二維函數(shù)的系統(tǒng)稱為測(cè)距成象系統(tǒng)，得到的圖像稱為距離圖像或深度圖圖1111所示的就是通過(guò)激光三角測(cè)距得到的一個(gè)深度圖的例子最常用的測(cè)距成象方法有結(jié)構(gòu)光測(cè)距和雷達(dá)結(jié)構(gòu)光測(cè)距成象系統(tǒng)使用三角測(cè)量原理來(lái)計(jì)算深度，而成象雷達(dá)系統(tǒng)則是通過(guò)比較發(fā)射信號(hào)與接收信號(hào)的時(shí)延或相位等方法實(shí)現(xiàn)距離測(cè)量的。按發(fā)射信號(hào)的波長(zhǎng)

25、，雷達(dá)可分為聲雷達(dá)、激光雷達(dá)、毫米波雷達(dá)等。若按工作體制可分為脈沖飛行時(shí)間法，相位差或差頻，測(cè)距儀來(lái)計(jì)算深度圖圖1110 一個(gè)牙齒石膏模型的深度圖（北京醫(yī)科大學(xué)口腔醫(yī)院呂培軍博士提供）1151 結(jié)構(gòu)光測(cè)距使用結(jié)構(gòu)光照明的成象系統(tǒng)是指場(chǎng)景是由已知幾何模式的照射光源照明的在一個(gè)簡(jiǎn)單的點(diǎn)投影系統(tǒng)中，投影光源儀和攝象機(jī)之間相距一個(gè)基線距離，如圖1111所示物體坐標(biāo)與被測(cè)量的圖像坐標(biāo)和投影角之間的關(guān)系如下： (1123)這樣一個(gè)三角測(cè)量系統(tǒng)的距離分辨率可由投影角和圖像點(diǎn)水平位置的測(cè)量精度確定圖1111 以攝象機(jī)為中心的三角測(cè)量幾何Besl 1988為了計(jì)算所有點(diǎn)的深度，可使用二維網(wǎng)格照明模式照明場(chǎng)景，一

26、次只照明一個(gè)點(diǎn)然后使用上述方程計(jì)算該點(diǎn)的深度，由此得到二維距離圖像顯然，由于這種方法獲取數(shù)據(jù)的序列特性，其計(jì)算速度很慢，不適用于動(dòng)態(tài)變化的場(chǎng)景中一個(gè)典型的結(jié)構(gòu)光照明系統(tǒng)將光平面或者二維網(wǎng)格模式投影到場(chǎng)景中，與光源相隔一定距離的攝像機(jī)獲取投影到場(chǎng)景中物體表面的光照模式所觀測(cè)到的光照模式圖像含有變形，該變形由光照模式和物體表面的形狀和方向決定，如圖1113所示注意，攝象機(jī)看到的網(wǎng)格包含了在方向和曲率上的不連續(xù)和變化對(duì)應(yīng)于圖像平面中的任意點(diǎn)的三維物體坐標(biāo)可以通過(guò)計(jì)算攝象機(jī)視線和光照平面的交點(diǎn)來(lái)確定為了得到物體完整的描述，或者搖擺光源（如圖所示)，或者目標(biāo)在一傳送帶上運(yùn)動(dòng)，以獲取多幅圖像物體上的不同表

27、面可以通過(guò)對(duì)相似空間屬性的光條的聚類來(lái)探測(cè)圖1112 結(jié)構(gòu)光測(cè)距原理示意圖Jarvis 1983 在動(dòng)態(tài)變化場(chǎng)合下，依次向場(chǎng)景投射光帶來(lái)獲取覆蓋整個(gè)場(chǎng)景的完整深度圖像是不太實(shí)際的如果為了獲取完整的深度圖像而將多條光帶同時(shí)投影到場(chǎng)景中，則在匹配不同深度物體表面的光帶時(shí)會(huì)產(chǎn)生潛在的混淆在這種情況中，所投影的每條光帶必須具有唯一性的編碼例如，用二進(jìn)制編碼方案，有可能只需投影個(gè)模式就可以獲取完整的深度數(shù)據(jù)集合，其中是光帶的總數(shù)這種方法示意在圖1114中，其中使用從到二進(jìn)制碼可以給七條光帶中的每一條光帶賦予唯一的編碼因?yàn)榈扔? ，所以僅能獲取三幅圖像每幅圖像可以通過(guò)三位二進(jìn)制編碼中比特(bit)位置1，

28、2或3來(lái)確定的在圖像中某一特定光帶，如果其對(duì)應(yīng)的比特位為1，它就處于開(kāi)的狀態(tài)ON例如，光帶2(010只有在第二幅圖像中才是ON，但光帶7(111在所有三幅圖像中都是ON在所有三幅圖像中的光帶都被唯一地確定，因此在匹配光帶段時(shí)，不會(huì)產(chǎn)生混淆在快速運(yùn)動(dòng)場(chǎng)景中，使用單色編碼圖像來(lái)取代多個(gè)二進(jìn)值編碼圖像結(jié)構(gòu)光照明技術(shù)已經(jīng)廣泛地用于工業(yè)視覺(jué)，因?yàn)樵谶@種應(yīng)用中可以很容易地控制場(chǎng)景照明一個(gè)典型的應(yīng)用是放在傳送帶上的運(yùn)動(dòng)物體經(jīng)過(guò)一個(gè)光束平面，在光帶圖像中產(chǎn)生變形，然后計(jì)算光束平面上物體的輪廓以規(guī)則間隔重復(fù)上述過(guò)程即可恢復(fù)物體的形狀結(jié)構(gòu)光照明技術(shù)的主要缺點(diǎn)是無(wú)法獲取攝象機(jī)或光源看不到的物體點(diǎn)的數(shù)據(jù)圖1113 二

29、進(jìn)制編碼結(jié)構(gòu)光照示意圖，這里的投影序列決定了每條光帶的二進(jìn)制編碼1152 激光測(cè)距雷達(dá)在生物界，蝙蝠和海豚是通過(guò)接收自己發(fā)出的超聲波來(lái)確定其周圍物體的存在根據(jù)生物的這種感知距離的能力，人類發(fā)明了各種測(cè)距系統(tǒng)，稱之為雷達(dá)，即向空間發(fā)射信號(hào)，然后接收反射信號(hào)并與發(fā)射信號(hào)進(jìn)行比較，以確定目標(biāo)的距離和方位激光測(cè)距（laser range finder）是在二十世紀(jì)60年代發(fā)展起來(lái)的一種新型測(cè)距雷達(dá)，現(xiàn)在已經(jīng)進(jìn)入實(shí)用化階段激光雷達(dá)具有波束窄、波長(zhǎng)短等獨(dú)特優(yōu)點(diǎn)，因而具有極高的角分辨能力、距離分辨能力和速度分辨能力。激光雷達(dá)可以獲取目標(biāo)的多種信息，如反射特性、距離信息、速度信息等在機(jī)器視覺(jué)領(lǐng)域，一般需要探測(cè)

30、目標(biāo)的細(xì)節(jié)及其精確的位置和方位，而聲波甚至是電磁波都無(wú)法達(dá)到這一要求，只能使用波長(zhǎng)很短的激光測(cè)距雷達(dá)激光測(cè)距的主要問(wèn)題是技術(shù)實(shí)現(xiàn)難度較大下面介紹三種工作體制的測(cè)距原理：脈沖飛行時(shí)間測(cè)距、相位差測(cè)距和差頻測(cè)距(1)脈沖飛行時(shí)間測(cè)距我們知道，聲波和光波信號(hào)在空氣介質(zhì)中傳播的速度是一定的，如果知道它們?cè)诳臻g中的傳播時(shí)間，則可以計(jì)算波形在空氣中的傳播距離人們將這種直接通過(guò)測(cè)量波形（或脈沖）飛行時(shí)間來(lái)計(jì)算距離的方法稱為飛行時(shí)間法（time of flight）激光脈沖測(cè)距雷達(dá)就屬于這類測(cè)距系統(tǒng)激光脈沖測(cè)距雷達(dá)向空間發(fā)射激光脈沖信號(hào)，并接收由于碰到物體表面而反射回來(lái)的信號(hào)，然后測(cè)量發(fā)射和接收脈沖的時(shí)間差，

31、就可以得到空間物體的距離圖1115是一種典型的激光脈沖測(cè)距雷達(dá)原理框圖，是1977年加洲理工大學(xué)噴推實(shí)驗(yàn)室研制的Lewis 1977激光源是砷化鎵固體脈沖激光器，波長(zhǎng)為激光源發(fā)出脈沖激光束，經(jīng)光學(xué)校準(zhǔn)系統(tǒng)到達(dá)光學(xué)掃描鏡，對(duì)預(yù)定的空間進(jìn)行掃描；光學(xué)掃描鏡還對(duì)反射光同軸地接收，以保證測(cè)量的一致性反射光經(jīng)光電探測(cè)器轉(zhuǎn)換進(jìn)入脈沖前沿甄別電路，產(chǎn)生一個(gè)獨(dú)立于信號(hào)強(qiáng)度的到達(dá)時(shí)間脈沖發(fā)射參考脈沖與到達(dá)時(shí)間脈沖之間的時(shí)間間隔通過(guò)時(shí)間脈沖高度轉(zhuǎn)換器轉(zhuǎn)換成具有一定寬度()，其高度正比與時(shí)間間隔的脈沖信號(hào)為了提高測(cè)量精度，可以對(duì)多次測(cè)量的高度值取均值這種激光測(cè)距雷達(dá)在米的測(cè)量范圍內(nèi)，測(cè)距精度為厘米獲取圖像需要3分鐘

32、盡管上述的飛行時(shí)間測(cè)距原理十分簡(jiǎn)單，但要構(gòu)造一個(gè)實(shí)用的系統(tǒng)比較困難，主要原因是測(cè)距系統(tǒng)的工作頻率必須很高，才能得到較滿意的距離圖像，比如，為了得到測(cè)距精度為，則時(shí)間間隔的測(cè)量精度誤差應(yīng)小于()，要達(dá)到這樣高的精度，只有采用原子物理儀器中的精密測(cè)量?jī)x，如用于射線的測(cè)量的Anticompton分光計(jì)圖 1114脈沖飛行時(shí)間激光測(cè)距原理圖(2) 相位差測(cè)距相位差測(cè)距屬于連續(xù)波雷達(dá)。深度信息可以通過(guò)檢測(cè)調(diào)幅光波發(fā)射和接收的相位差來(lái)得到，這種原理的激光雷達(dá)的早期樣機(jī)是美國(guó)Stanford研究所研制的Nitzan 1977，圖1116是這種激光雷達(dá)原理框圖使用15mw氦氖激光器發(fā)出的激光的幅度被調(diào)制，調(diào)制

33、頻率為9MHz，調(diào)制光經(jīng)過(guò)平面鏡分成兩路，一路經(jīng)過(guò)光學(xué)掃描裝置向三維空間掃描，另一路進(jìn)入相位差檢測(cè)裝置與經(jīng)過(guò)物體反射后接收的光信號(hào)比較相位，如，調(diào)制頻率為，相位差為，則物體到傳感器的距離為： （11.24）式中為光速，為波長(zhǎng)。由于相位差檢測(cè)只能測(cè)量0的相位差，因此這種類型的激光測(cè)距雷達(dá)的測(cè)距范圍為。當(dāng)測(cè)量距離超過(guò)的整數(shù)倍時(shí)，測(cè)量出的相位差是不變的，此時(shí)，式（11.24）變?yōu)椋海?1.25）也就是說(shuō)，這種激光測(cè)距雷達(dá)具有多義性，消除多義性的方法有兩種，一是事先知道待測(cè)距離的大致范圍，二是使用多臺(tái)具有不同調(diào)制頻率的激光測(cè)距雷達(dá)。圖1115（3）差頻測(cè)距差頻測(cè)距也屬于連續(xù)波雷達(dá)。當(dāng)發(fā)射信號(hào)的頻率在一

34、個(gè)周期內(nèi)線性地掃過(guò)區(qū)間，回波信號(hào)將在接收機(jī)與參考信號(hào)相混頻產(chǎn)生一個(gè)差頻，該差頻與目標(biāo)距離的關(guān)系為： (1126）1153 變焦測(cè)距根據(jù)理想薄透鏡定理，透鏡中心（光學(xué)原點(diǎn)）到圖象平面的距離、透鏡中心到場(chǎng)景點(diǎn)的距離和透鏡焦距長(zhǎng)度之間的關(guān)系為： (11.27)當(dāng)，從圖象平面到光學(xué)原點(diǎn)的距離等于焦距長(zhǎng)度。當(dāng)平行光線聚焦到圖象平面上一點(diǎn)時(shí)，焦距長(zhǎng)度是圖象平面到光學(xué)原點(diǎn)的距離。在攝影測(cè)量學(xué)(Photogrammetry)中，光學(xué)原點(diǎn)稱為投影中心，稱為攝像機(jī)常數(shù)。當(dāng)透鏡聚焦近距離點(diǎn)時(shí)，因此使用作為的近似實(shí)際上是低估了攝像機(jī)常數(shù)。當(dāng)場(chǎng)景遠(yuǎn)點(diǎn)越遠(yuǎn)時(shí)，聚焦平面到光學(xué)原點(diǎn)的距離越接近。如圖11.17是理想透鏡成象幾

35、何示意圖.圖1116薄透鏡幾何關(guān)系對(duì)于圖象平面到透鏡中心的距離為的特定配置中，僅僅由方程11.27得到的在距離z處平面上的點(diǎn)是完全聚焦的。實(shí)際上，景深是由成象裝置的空間分辨率決定的。低于成象分辨率的一定量散射可以容忍。在可接受散射水平下，存在一個(gè)圖象平面距離的范圍，以及一個(gè)對(duì)應(yīng)的場(chǎng)景距離z范圍，稱為景深，其中的場(chǎng)景點(diǎn)在某一接受的程度上完全聚焦。當(dāng)某一場(chǎng)景點(diǎn)不聚焦時(shí)，它會(huì)在圖象平面上產(chǎn)生一個(gè)圓斑圖象，而不是一個(gè)點(diǎn)圖像。如果圓斑的直徑低于成象裝置的分辨率，那么圖象散焦量不會(huì)特別的顯著。假定圓斑的直徑為b，透鏡光圈直徑為d，焦距長(zhǎng)度為，圖象平面的理想位置為。如果圖象平面向透鏡方向運(yùn)動(dòng)到達(dá)位置，即則圖

36、象的模糊程度由下式確定：（11.28）根據(jù)相似三角形性質(zhì)，和的比值必須等于和的比值。我們可以從透鏡方程(11.27)中求解和，分別對(duì)應(yīng)于z和，并把這一表示式代入式(11.28)得到場(chǎng)景距離與模糊量關(guān)系的表示式（11.29）假定b是可接受散焦下模糊圓環(huán)的最大直徑。解方程11.29求得, 可以得到視野范圍內(nèi)遠(yuǎn)距離平面的距離表示式（11.30）計(jì)算視野范圍內(nèi)近距離平面的距離表示式為（11.31）其中，是圖象平面距離配置（在正確配置范圍之外），它對(duì)應(yīng)于模糊的最大量。請(qǐng)讀者在圖11.17中指出圖像平面位于的的位置。解透鏡方程求z和并代入到方程求模糊直徑：（11.32）解上述方程求平面距離（11.33）景

37、深D是近距離和遠(yuǎn)距離平面之差：（11.34）對(duì)于一個(gè)特定的配置，焦距平面為，光圈直徑為，焦距長(zhǎng)為，最大可接受模糊直徑為，這些方程提供了近距離和遠(yuǎn)距離平面位置。距離稱為超焦距距離，在此處，遠(yuǎn)距離平(見(jiàn)(11.30)式)和場(chǎng)景深度(見(jiàn)(11.34)式)變成無(wú)窮大。關(guān)于變焦測(cè)距以及從變焦恢復(fù)形狀文獻(xiàn)有Pentland 1987, Nayer 1994, Krotkov 1987, Grossmann, 1987.1154 激光陣列成像目前，結(jié)構(gòu)光測(cè)距系統(tǒng)技術(shù)和激光測(cè)距技術(shù)已經(jīng)在物體建模和三維機(jī)器視覺(jué)導(dǎo)航方面獲得相當(dāng)成功的應(yīng)用，并且已經(jīng)有商品化的系統(tǒng)?；谧兘箿y(cè)距技術(shù)的視覺(jué)系統(tǒng)，由于其測(cè)距誤差一般較大

38、，因此一直沒(méi)有很好的應(yīng)用系統(tǒng)。對(duì)于立體視覺(jué)系統(tǒng)，由于系統(tǒng)的固有不適定問(wèn)題，發(fā)展十分緩慢。作為應(yīng)用系統(tǒng)，最重要的指標(biāo)是可靠性高，適應(yīng)環(huán)境能力強(qiáng)。視覺(jué)系統(tǒng)的最主要應(yīng)用場(chǎng)合是惡劣的環(huán)境，如，戰(zhàn)場(chǎng)環(huán)境，太空環(huán)境，海洋環(huán)境等，這些環(huán)境具有高沖擊( 比如火箭發(fā)射過(guò)程)，劇烈振動(dòng)等特點(diǎn)。對(duì)于有運(yùn)動(dòng)部件或掃描部件的主動(dòng)測(cè)距成像系統(tǒng)和主動(dòng)視覺(jué)系統(tǒng)，在這樣惡劣環(huán)境下工作的生存能力很低。為此，美國(guó)科學(xué)家研制出全固態(tài)（無(wú)掃描部件）的激光陣列成像雷達(dá)Sandia樣機(jī)，并正在實(shí)施應(yīng)用。激光陣列成像雷達(dá)能以很高的速率獲取場(chǎng)景的稠密深度圖，該系統(tǒng)使用大功率激光二極管陣列向場(chǎng)景發(fā)射激光，測(cè)量來(lái)自目標(biāo)的相對(duì)于調(diào)幅載波相的反射光相移，以便計(jì)算到目標(biāo)的距離。接收器里的圖像增強(qiáng)器的增益被和發(fā)送器同樣的頻率調(diào)制。到達(dá)CCD的光與返回信號(hào)的相位和它的強(qiáng)度無(wú)關(guān)，而與目標(biāo)的反射率有關(guān)。為了規(guī)范化反射率的變化，返回波速的強(qiáng)度被采樣兩次，一次是接收器調(diào)制增益作用，另一次是接收器調(diào)制增益不作用。這樣，與每一個(gè)象素相聯(lián)系的距離基本上同時(shí)在場(chǎng)景中測(cè)量。盡管這一系統(tǒng)具