機器視覺第十一章

第十一章深度圖 11．1立體成象 11．2立體匹配 11．3多基線立體成象 11．4從X恢復形狀的方法 11．5測距成象 11．6主動(zhǔdòng)視覺精品資料11．1立體成象

最基本的雙目立體幾何關系如圖11．1(a)所示，它是由兩個完全相同的攝象機構成，兩個圖像平面(píngmiàn)位于一個平面(píngmiàn)上，兩個攝像機的坐標軸相互平行，且軸重合，攝像機之間在方向上的間距為基線距離．在這個模型中，場景中同一個特征點在兩個攝象機圖像平面(píngmiàn)上的成象位置是不同的．我們將場景中同一點在兩個不同圖像中的投影點稱為共軛對，其中的一個投影點是另一個投影點的對應(correspondence)，求共軛對就是求解對應性問題．兩幅圖像重疊時的共軛對點的位置之差(共軛對點之間的距離)稱為視差(disparity)，通過兩個攝象機中心并且通過場景特征點的平面(píngmiàn)稱為外極(epipolar)平面(píngmiàn)，外極平面(píngmiàn)與圖像平面(píngmiàn)的交線稱為外極線．

精品資料精品資料 因此，各種(ɡèzhǒnɡ)場景點的深度恢復可以通過計算視差來實現(xiàn)．注意，由于數(shù)字圖像的離散特性，視差值是一個整數(shù)．在實際中，可以使用一些特殊算法使視差計算精度達到子像素級．因此，對于一組給定的攝象機參數(shù)，提高場景點深度計算精度的有效途徑是增長基線距離，即增大場景點對應的視差．然而這種大角度立體方法也帶來了一些問題，主要的問題有： 1.隨著基線距離的增加，兩個攝象機的共同的可視范圍減小· 2.場景點對應的視差值增大，則搜索對應點的范圍增大，出現(xiàn)多義性的機會就增大． 3。由于透視投影引起的變形導致兩個攝象機獲取的兩幅圖像中不完全相同，這就給確定共軛對帶來了困難．精品資料 在實際應用中經(jīng)常遇到的情況是兩個攝像機的光軸不平行，比如，在某些系統(tǒng)中，調(diào)節(jié)兩個攝象機的位置和姿態(tài)，使得它們的光軸在空間中相交在某一點，如圖11．2所示．在這種情況下，視差與光軸交角有關．對于任意一個光軸交角，在空間中總存在(cúnzài)一個視差為零的表面．比這一表面遠的物體，其視差大于零；反之，比這一表面近的物體，其視差小于零．因此，在一個空間區(qū)域中，其視差可被劃分為三組： 這三組視差可用于解決匹配不確定問題．精品資料 （a） （b） 圖11．1雙目立體視覺幾何(jǐhé)模型精品資料圖11．2攝象機光軸交會空間一點．攝象機之間的夾角(jiājiǎo)定義了視差為零的一個空間表面．精品資料 攝像機光軸不平行的另一種系統(tǒng)是后面將要介紹的一種叫做會聚式(convergent)立體視覺系統(tǒng)（見圖11．5）．這種系統(tǒng)不要求光軸嚴格地相交于空間一點．立體成象的最一般情況是一個運動攝像機連續(xù)獲取場景(chǎngjǐng)圖像，形成立體圖像序列，或間隔一定距離的兩個攝像機同時獲取場景(chǎngjǐng)圖像，形成立體圖像對．

圖11．3外極線幾何示意圖精品資料圖11．3所示的是處于任意位置和方位的兩個攝象機，對應于某一場景點的兩個圖像點位于外極線上．這兩幅圖像也可以是一個攝像機由一點運動到另一點獲取這兩幅圖像．即使兩個攝象機處于一般的位置和方位時，對應場景點的兩個圖像點仍然(réngrán)位于圖像平面和外極平面的交線（外極線)上．由圖不難看出，外極線沒有對應圖像的某一行．精品資料11．2立體匹配 立體成象系統(tǒng)的一個不言而喻的假設是能夠找到立體圖像對中的共軛對，即求解對應問題．然而，對于實際的立體圖像對，求解對應問題極富有挑戰(zhàn)性，可以說是立體視覺最困難的一步．為了求解對應，人們已經(jīng)建立了許多約束來減少(jiǎnshǎo)對應點搜索范圍，并最終確定正確的對應．下面我們將討論幾個最基本的約束，然后討論邊緣特征和區(qū)域特征在立體匹配中的應用．11．2．1基本約束 (1)外極線約束 對于兩幅從不同角度獲取的同一場景的圖像來說，傳統(tǒng)的特征點搜索方法是首先在一幅圖像上選擇一個特征點，然后在第二幅圖像上搜索對應的特征點．顯然，這是一個二維搜索問題．根據(jù)成象幾何原理，一幅圖像上的特征點一定位于另一幅圖像上對應的外極線上．精品資料 因此，在外極線上而不是在二維圖像平面上求解對應(duìyìng)問題是一個一維搜索問題．如果已知目標與攝像機之間的距離在某一區(qū)間內(nèi)，則搜索范圍可以限制在外極線上的一個很小區(qū)間內(nèi)，如圖11．4所示．所以，利用外極線約束可以大大地縮小尋找對應(duìyìng)點的搜索空間，這樣即可以提高特征點搜索速度，也可以減少假匹配點的數(shù)量(范圍越小，包含假匹配點的可能性越小)．請注意，由于攝象機位置及其方向的測量誤差和不確定性，匹配點可能不會準確地出現(xiàn)在圖像平面中對應(duìyìng)的外極線上；在這種情況下，有必要在外極線的一個小鄰域內(nèi)進行搜索． 圖11.4空間某一距離區(qū)間內(nèi)的一條直線段對應(duìyìng)外極線上的一個有限區(qū)間：精品資料精品資料(2)一致性約束(yuēshù)

精品資料 (3)唯一性約束一般情況下，一幅圖像(左或右)上的每一個特征點只能與另一幅圖像上的唯一一個特征對應．(4)連續(xù)性約束物體表面一般都是光滑的，因此物體表面上各點在圖像上的投影也是連續(xù)的，它們的視差也是連續(xù)的．比如，物體上非常接近的兩點，其視差也十分接近，因為其深度值不會相差很大．在物體邊界處，連續(xù)性約束不能成立，比如，在邊界處兩側的兩個(liǎnɡɡè)點，其視差十分接近，但深度值相差很大． 11．2．2邊緣匹配 本算法使用的邊緣特征是通過Gaussian函數(shù)的一階導數(shù)獲得的．在有噪聲的情況下，使用Gaussian梯度來計算邊緣更加穩(wěn)定．立體算法的步驟如下：精品資料 1.用四個不同寬度的Gaussian濾波器對立體圖像對中的每一幅圖像進行濾波，其中前一次濾波的寬度是下一次濾波器寬度的兩倍．這一計算可以反復(fǎnfù)通過對最小的濾波器進行卷積來有效地實現(xiàn)． 2.在某一行上計算各邊緣的位置． 3.通過比較邊緣的方向和強度粗略地進行邊緣匹配．顯然，水平邊緣是無法進行匹配的． 4.通過在精細尺度上進行匹配，可以得到精細的視差估計．11．2．3區(qū)域相關性 盡管邊緣特征是圖像的基本特征，而且邊緣檢測算法也十分成熟．但邊緣特征往往對應著物體的邊界，物體的邊界深度值可以是（前景)物體封閉邊緣的深度距離和背景點深度距離之間的任一值．精品資料 (1)區(qū)域中感興趣特征點的檢測兩幅圖像中用于匹配的點應盡可能容易地被識別和匹配．顯而易見，一個均勻區(qū)域中的點是不適合作為候選匹配點，所以興趣算子應在圖像中尋找具有很大變化的區(qū)域．一般認為圖像中應有足夠多的用于匹配的分立區(qū)域．在以某一點為中心(zhōngxīn)的窗函數(shù)中，計算其在不同方向上的變化量是這些方向上點的差異性的最好測度．方向變化量的計算公式如下：

精品資料精品資料 我們在早些時候已經(jīng)注意到，基于特征的立體匹配算法產(chǎn)生對應于圖像特征點的場景稀疏深度圖．在稀疏深度圖上進行表面內(nèi)插或逼近運算，可以重建一個表面，這部分內(nèi)容將在第13章討論．立體重建過程的主要難題之一是選擇興趣點．一種典型的興趣點選擇方法是基于灰度值的局部最大變化量．不幸的是，這些點經(jīng)常出現(xiàn)在拐角處或不滿足平滑約束條件的表面不連續(xù)處．在一些(yīxiē)機器視覺應用中，這個問題是通過使用結構光來解決的．將模式圖投影到表面上來產(chǎn)生興趣點，并可使區(qū)域變得光滑(見下一節(jié)內(nèi)容)．最后要說明的是，從圖像像素集合中選擇用于求解共軛對的像素子集意味著僅僅能恢復這些像素對應的特征點深度．要想得到其它點的深度值，必須通過使用有關計算方法來估算，如內(nèi)插值技術．精品資料11．3多基線立體成象 一幅圖像上的每一個(yīɡè)特征點只能與另一幅圖像上的唯一一個(yīɡè)特征對應，通常將這一性質稱為特征的唯一性約束．在實際中，由于大多數(shù)特征點不是十分明顯，特別是重復紋理的出現(xiàn)，常常會產(chǎn)生對應多義性(ambiguity)，即一幅圖像上的一個(yīɡè)特征點對應另一幅圖像的若干個對應點，其中的一個(yīɡè)點是真正的對應點，而其它點是假對應點．消除對應點多義性的一種有效方法是采用多基線立體成象[Okutomi1993]，如圖11．4所示 圖11．5多基線立體視覺系統(tǒng)攝像機位置示意圖:

精品資料精品資料精品資料精品資料精品資料

圖11．6不同評估函數(shù)(hánshù)的曲線，精品資料 多基線立體視覺可以有效地消除一般場景紋理和重復紋理的對應多義性，但仍然無法求解弱紋理和無紋理物體對應點．圖11．8是兵馬俑模型的立體圖像(túxiànɡ)對，除了少部分特征外，其它部位都無法作為特征來求解對應點．為了恢復兵馬俑的稠密深度圖像(túxiànɡ)，可以采用專用光源向場景投影條紋模式[Kang1995]，如圖11．8所示，每一個條紋的強度變化服從正弦分布．這樣做的效果相當于無紋理的模型上有了條紋特征，由此實現(xiàn)對應的特征點共軛對的求解．

圖11．7用三個攝象機獲取的兵馬俑石膏模型多立體圖像(túxiànɡ)對精品資料 圖11．8主動式條紋光源照射下的多立體圖像對

圖11．9基于(jīyú)基本約束恢復的秦俑頭像的深度圖像精品資料11．4從X恢復形狀的方法 了上述討論的立體圖像匹配方法外，從灰度圖像中提取形狀信息的許多其它方法，統(tǒng)稱為由X恢復形狀方法，也得到了大力地發(fā)展．不過許多方法只用來估計一點的局部表面方位而不是絕對深度．如果物體上至少有一個點的實際深度是已知的，那么同一目標上其它點的深度值可以通過對局部表面方向求積分得到．因此(yīncǐ)，這類方法稱為間接深度計算方法．這里我們將簡要地介紹一些方法，更祥細的闡述參見在其它章節(jié)． (1)光度立體 (2)由明暗恢復形狀 (3)由紋理恢復形狀 (4)由運動恢復形狀精品資料

11．5測距成象

能夠直接測量可視范圍內(nèi)每個點的距離，并將其記錄為一個二維函數(shù)的系統(tǒng)稱為測距成象系統(tǒng)，得到的圖像稱為距離圖像或深度圖．圖11．11所示的就是通過激光(jīguāng)三角測距得到的一個深度圖的例子．

最常用的測距成象方法有結構光測距和雷達．結構光測距成象系統(tǒng)使用三角測量原理來計算深度，而成象雷達系統(tǒng)則是通過比較發(fā)射信號與接收信號的時延或相位等方法實現(xiàn)距離測量的。按發(fā)射信號的波長，雷達可分為聲雷達、激光(jīguāng)雷達、毫米波雷達等。若按工作體制可分為脈沖飛行時間法，相位差或差頻，測距儀來計算深度圖．精品資料圖11．10一個(yīɡè)牙齒石膏模型的深度圖（北京醫(yī)科大學口腔醫(yī)院呂培軍博士提供）精品資料11．5．1結構(jiégòu)光測距

精品資料 圖11．11以攝象機為中心(zhōngxīn)的三角測量幾何[Besl1988]精品資料 為了計算所有點的深度，可使用二維網(wǎng)格照明模式照明場景，一次只照明一個點．然后使用上述方程計算該點的深度，由此得到二維距離圖像．顯然，由于這種方法獲取數(shù)據(jù)的序列特性，其計算速度很慢，不適用于動態(tài)變化的場景中．一個典型的結構光照明系統(tǒng)將光平面或者二維網(wǎng)格模式投影到場景中，與光源相隔一定距離的攝像機獲取投影到場景中物體表面的光照模式．所觀測到的光照模式圖像含有變形，該變形由光照模式和物體表面的形狀和方向決定，如圖11．13所示．注意，攝象機看到的網(wǎng)格包含了在方向和曲率上的不連續(xù)和變化．對應于圖像平面中的任意點的三維物體坐標可以通過計算攝象機視線和光照平面的交點來確定．為了得到物體完整的描述(miáoshù)，或者搖擺光源（如圖所示)，或者目標在一傳送帶上運動，以獲取多幅圖像．物體上的不同表面可以通過對相似空間屬性的光條的聚類來探測．精品資料 圖11．12結構(jiégòu)光測距原理示意圖[Jarvis1983]精品資料精品資料 圖11．13二進制編碼結構光照(guāngzhào)示意圖，這里的投影序列決定了每條光帶的二進制編碼精品資料11．5．2激光測距雷達 在生物界，蝙蝠和海豚是通過接收自己發(fā)出的超聲波來確定其周圍物體的存在．根據(jù)生物的這種感知距離的能力，人類發(fā)明了各種測距系統(tǒng)，稱之為雷達，即向空間發(fā)射信號，然后接收反射信號并與發(fā)射信號進行比較，以確定目標的距離和方位．激光測距（laserrangefinder）是在二十世紀60年代發(fā)展起來的一種新型測距雷達，現(xiàn)在已經(jīng)進入實用化階段．激光雷達具有波束窄、波長短等獨特優(yōu)點，因而具有極高的角分辨能力、距離分辨能力和速度分辨能力。激光雷達可以獲取目標的多種信息，如反射特性、距離信息、速度信息等．在機器視覺領域，一般需要探測目標的細節(jié)及其精確(jīngquè)的位置和方位，而聲波甚至是電磁波都無法達到這一要求，只能使用波長很短的激光測距雷達．激光測距的主要問題是技術實現(xiàn)難度較大． 下面介紹三種工作體制的測距原理：脈沖飛行時間測距、相位差測距和差頻測距．精品資料 (1)脈沖飛行時間測距 我們知道，聲波和光波信號在空氣介質中傳播的速度是一定(yīdìng)的，如果知道它們在空間中的傳播時間，則可以計算波形在空氣中的傳播距離．人們將這種直接通過測量波形（或脈沖）飛行時間來計算距離的方法稱為飛行時間法（timeofflight）．激光脈沖測距雷達就屬于這類測距系統(tǒng)．激光脈沖測距雷達向空間發(fā)射激光脈沖信號，并接收由于碰到物體表面而反射回來的信號，然后測量發(fā)射和接收脈沖的時間差，就可以得到空間物體的距離． 圖11．15是一種典型的激光脈沖測距雷達原理框圖，是1977年加洲理工大學噴推實驗室研制的［Lewis1977］．激光源是砷化鎵固體脈沖激光器，波長為．激光源發(fā)出脈沖激光束，經(jīng)光學校準系統(tǒng)到達光學掃描鏡，對預定的空間進行掃描；光學掃描鏡還對反射光同軸地接收，以保證測量的一致性．精品資料 圖11．14脈沖飛行(fēixíng)時間激光測距原理圖精品資料(2)相位差測距

精品資料

圖11．15精品資料精品資料11．5．3變焦測距

精品資料 圖11．16薄透鏡(tòujìng)幾何關系精品資料精品資料精品資料關于變焦測距以及從變焦恢復形狀文獻有[Pentland1987,Nayer1994,Krotkov1987,Grossmann,1987].11．5．4激光陣列成像 目前，結構光測距系統(tǒng)技術和激光測距技術已經(jīng)(yǐjing)在物體建模和三維機器視覺導航方面獲得相當成功的應用，并且已經(jīng)(yǐjing)有商品化的系統(tǒng)。基于變焦測距技術的視覺系統(tǒng)，由于其測距誤差一般較大，因此一直沒有很好的應用系統(tǒng)。對于立體視覺系統(tǒng)，由于系統(tǒng)的固有不適定問題，發(fā)展十分緩慢。作為應用系統(tǒng)，最重要的指標是可靠性高，適應環(huán)境能力強。視覺系統(tǒng)的最主要應用場合是惡劣的環(huán)境，如，戰(zhàn)場環(huán)境，太空環(huán)境，海洋環(huán)境等，這些環(huán)境具有高沖擊(比如火箭發(fā)射過程)，劇烈振動等特點。精品資料

激光陣列成像雷達能以很高的速率獲取場景的稠密深度圖，該系統(tǒng)使用大功率激光二極管陣列向場景發(fā)射激光，測量來自目標的相對于調(diào)幅載波相的反射光相移，以便計算到目標的距離。接收器里的圖像增強器的增益被和發(fā)送器同樣的頻率調(diào)制。到達CCD的光與返回信號的相位(xiàngwèi)和它的強度無關，而與目標的反射率有關。為了規(guī)范化反射率的變化，返回波速的強度被采樣兩次，一次是接收器調(diào)制增益作用，另一次是接收器調(diào)制增益不作用。這樣，與每一個象素相聯(lián)系的距離基本上同時在場景中測量。盡管這一系統(tǒng)具有能快速提供高精度的深度估計值的優(yōu)點，該系統(tǒng)使用了許多元件，規(guī)模很大，功耗大，要想用于實際系統(tǒng)，必須做進一步的工作。精品資料11．6主動視覺 大多數(shù)計算機視覺系統(tǒng)都依賴于由固定參數(shù)的系統(tǒng)來獲取數(shù)據(jù)，包括所有的被動敏感系統(tǒng)(如視頻攝象機)和主動敏感系統(tǒng)(如激光測距儀)．與這些數(shù)據(jù)提取方法不同，我們認為主動