基于雙目立體視覺的距離測量

1、- Page 1- 基于雙目立體視覺的距離測量 摘 要 立體視覺技術是機器人技術研究中最為活躍的一個分支，是智能機 器人的重要標志。雙目立體視覺是通過對同一目標的兩幅圖像提取、識 別、匹配和解釋，重建三維環(huán)境信息的過程。主要包括：視頻捕獲、攝 像機定標、圖像預處理和特征提取、立體匹配以及三維重建。通過對雙 目立體視覺技術的進一步研究，對多目視覺具有重要的啟發(fā)，為解決智 能移動機器人、工業(yè)裝配機器人、家用機器人、公共服務機器人的視覺 問題奠定良好的技術基礎。 計算機立體視覺的主要研究內(nèi)容是由多幅二維的平面圖像恢復出 被攝物體的三維坐標，而其中基于兩幅圖像的雙目視覺技術則是一個研 究熱點。雙目立體

2、視覺的基本原理是模仿人眼與人類視覺的立體感知過 程，從兩個視點觀察同一景物，以獲取不同視角下的感知圖像，通過三 角測量原理計算圖像像素間的位置偏差，以獲取景物的三維信息。 一個完整的雙目視覺系統(tǒng)通?？煞譃閳D像獲取、攝像機標定、特征 提取、立體匹配、目標定位和深度圖生成等六大部分。本論文主要是圖 像特征提取、立體匹配這兩方面的內(nèi)容展開研究。首先根據(jù)選擇的立體 視覺成像系統(tǒng)模型闡述了立體視覺測距的基本原理。其次，對圖像特征 提取等預處理方法進行詳盡地分析，通過實例對算法進行實驗。同時， 對圖像匹配問題涉及的內(nèi)容包括圖像匹配方式、質(zhì)量控制策略等進行了 總結。最后，以特征提取與圖像匹配研究為基礎，針對

3、不同類型的立體 圖像提出了基于圖像邊緣特征和圖像興趣點的匹配方法。 關鍵詞：立體視覺攝像機定標特征提取立體匹配深度圖 - Page 4- 長春理工大學碩士學位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的碩士學位論文，基于雙目立體視覺的距 離測量是本人在指導教師的指導下，獨立進行研究工作所取得的成果。 除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng) 發(fā)表或撰寫過的作品成果。對本文的研究做出重要貢獻的個人和集體， 均已在文中以明確方式標明。本人完全意識到本聲明的法律結果由本人 承擔。 作者簽名：整壟三!顯年王月絲日 長春理工大學學位論文版權使用授權書 本學位論文作者及指導教師完全了解“長

4、春理工大學碩士、博士 學位論文版權使用規(guī)定”，同意長春理工大學保留并向國家有關部門或 機構送交學位論文的復印件和電子版，允許論文被查閱和借閱。本人授 權長春理工大學可以將本學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫 進行檢索，也可采用影印、縮印或掃描等復制手段保存和匯編學位論文。 作者簽名：壘壟絲2旺月魚日 - Page 5- 第一章 緒論 11引言 視覺是人類觀察世界、認知世界的重要功能手段，人類感知外部世 界主要通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中80的信息是 由視覺獲取的，機器視覺是人類利用計算機實現(xiàn)人的視覺功能一對客觀 世界三維場景的感知、識別和理解，機器視覺是一個相當新而且發(fā)展迅

5、速的研究領域，機器視覺技術正廣泛地應用于各個方面，許多人類無法 感知的場合，如危險場景感知等，機器視覺更突顯其優(yōu)越性。機器視覺 屬于影像的重構技術，具有非接觸性測量、實施簡易的特點，具有廣闊 的應用前景，是有待于進一步開發(fā)的領域。 計算機視覺被認為是計算機科學和人工智能的一個分支，計算機視 覺就是用機器代替人的眼睛和大腦，對客觀世界進行感知和解釋的技 術。該系統(tǒng)的首要目標是使計算機具有通過一幅或者多幅二維圖像認知 周圍的三維環(huán)境信息的能力。這種能力不僅可以使計算機能夠感知三維 環(huán)境中物體的幾何信息，并且能夠對它們進行描述、存儲并使用圖像來 創(chuàng)建和恢復現(xiàn)實世界模型，從而達到認知現(xiàn)實世界的目的。因

6、此，自從 計算機視覺這門科學出現(xiàn)以來就成為計算機科學的重要研究領域之一 并且發(fā)展十分迅速。 現(xiàn)實世界中的物體都是三維的，人眼所獲得的景物圖像卻是二維 的，但是人類的視覺系統(tǒng)能夠很容易地從二維圖像中感知三維世界，獲 得三維世界的信息。機器人視覺的研究目標就是使機器人具有通過一幅 或多幅圖像認知周圍環(huán)境信息的能力。這種能力不僅使機器人能感知環(huán) 境中物體的幾何信息，如其形狀、位置、姿態(tài)、運動等，而且能對它們 進行描述、存儲、識別與理解。機器人視覺系統(tǒng)的基本結構如圖11所 刁隋。 圖像 低層處理 位置與形狀 物體描述 圖11機器人視覺系統(tǒng)基本結構 - Page 6- 12國內(nèi)外研究現(xiàn)狀、發(fā)展趨勢 12

7、1國內(nèi)外研究現(xiàn)狀 立體視覺的開創(chuàng)性工作是從60年代中期開始的。70年代末，Marr 創(chuàng)立的視覺計算理論對立體視覺的發(fā)展產(chǎn)生了巨大影響，現(xiàn)已形成了從 圖像獲取到最終的景物可視表面重建的完整體系，在整個計算機視覺中 已占有越來越重要的地位。 現(xiàn)在，國際上以計算機視覺為主題，或主要以計算機視覺為主題的 國際會議有國際計算機視覺會議(ICCV)，國際模式識別會議(ICPR)，國 際計算機視覺與模式識別會議(CVPR)，歐洲計算機視覺會議(ECCV)與 亞洲計算機視覺會議(ACCV)。以計算機視覺為主要內(nèi)容之一的國際刊物 Journal TransOn 也很多，有International ofComp

8、uter Vision,IEEE PAMI， CVGIP(Computer Vision,Graphics and Image Processing)，VisualImage Computing，UPRAI(Intemational Joumal of PaUem Recognition and Artificial Intelligence)，PatternRecognition等，每年的研究論文不下數(shù)千 篇，發(fā)表的論文也數(shù)以百計。在Marr理論的框架下，取得了一大批科 研成果，也包括數(shù)據(jù)結構、算法層次上的各種算法和在硬件實施方面的 一些實驗系統(tǒng)。但這些理論、方法、算法在實際應用中并沒有產(chǎn)生

9、能完 全取代人的視覺系統(tǒng)。 雙目體視目Iii主要應用于四個領域：機器人導航、微操作系統(tǒng)的參 數(shù)檢測、三維測量和虛擬現(xiàn)實。在國外，日本大阪大學自適應機械學院 研制了一種自適應雙目視覺伺服系統(tǒng)，實現(xiàn)了對運動方式未知的目標的 自適應跟蹤。日本東京大學將實時雙目立體視覺和機器人整體姿態(tài)信息 集成，開發(fā)了仿真機器人動態(tài)行走導航系統(tǒng)。日本岡山大學使用立體顯 微鏡、兩個CCD攝像頭、微操作器等研制了使用立體顯微鏡控制微操作 器的視覺反饋系統(tǒng)，用于對細胞進行操作，對鐘子進行基因注射和微裝 配等。麻省理工學院計算機系提出了一種新的用于智能交通工具的傳感 器融合方式，由雷達系統(tǒng)提供目標深度的大致范圍，利用雙目立體

10、視覺 提供粗略的目標深度信息，結合改進的圖像分割算法，能夠在高速環(huán)境 下對視頻圖像中的目標位置進行分割。 在國內(nèi)，浙江大學機械系完全利用透視成像原理，采用雙目體視方 法實現(xiàn)了對多自由度機械裝置的動態(tài)、精確位姿檢測：東南大學電子工 程系基于雙目立體視覺，提出了一種灰度相關多峰值視差絕對值極小化 立體匹配新方法，可對三維不規(guī)則物體(偏轉線圈)的三維空間坐標進 行非接觸精密測量。哈工大采用異構雙目活動視覺系統(tǒng)實現(xiàn)了全自主足 球機器人導航?；鹦?63計劃課題“人體三維尺寸的非接觸測量”，采 2 - Page 7- 用“雙視點投影光柵三維測量”原理，由雙攝像機獲取圖像對，通過計 算機進行圖像數(shù)據(jù)處理，不

11、僅可以獲取服裝設計所需的特征尺寸，還可 根據(jù)需要獲取人體圖像上任意一點的三維坐標。 122發(fā)展趨勢 20世紀70年代中期以Matt、Barrow和Tenenbaum等人為代表的 一些研究者提出了一整套視覺計算的理論來描述視覺過程，其核心是從 圖像恢復物體的三維形狀。在視覺研究的理論下，以Marr的理論影響 最為深遠，并成為這一領域的主導思想IlJ。馬爾教授認為：視覺可分為 三個階段。第一階段是早期視覺(early vision)，其目的是拍取觀察者周 圍景物表面的物理特性，如距離、表面方向、材料特性(反射、顏色、 。紋理)等，具體來說包括邊緣檢測、雙目立體匹配、由陰影確定形狀、 由紋理確定形狀

12、等。第二階段是二維半簡圖(25D sketch)或本征圖像 (Intrinsic Image)。它是在以觀察者為中心的坐標系中描述表面的各種特 性。根據(jù)這些描述，可以重建物體邊界，按表面和體積分割景物。但在 以觀察者為中心的坐標系中只能得到可見表面的描述，得不到遮擋表面 的描述，故稱二維半簡圖。第三階段是三維模型一視覺信息處理的最后 一個層次，是用二維半簡圖中得到的表面信息建立適用于視覺識別的三 維形狀描述。這個描述應該與觀察者的視角無關，也就是在以物體為中 心的坐標系中，以各種符號關系和幾何結構描述物體的三維結構和空問 關系。 經(jīng)過近三十年的發(fā)展，在馬爾的理論框架下，機器人立體視覺取得 了一

13、大批成果。但隨著機器人立體視覺研究的不斷深入，大們發(fā)現(xiàn)了馬 爾視覺理論的局限性，即從景物圖像或系列圖像求出景物精確的三維幾 何場景并定量的確定景物中物體的性質(zhì)時遇到了困難121。在Marr的理 論中，輸入是被動的，給什么圖像系統(tǒng)就處理什么圖像，整個處理過程 基本上是“自底向上”的，沒有反饋。處理的目的是不變的，總是要求 出場景中物體的形狀和它們的空I日J位置和關系。其理論強調(diào)表示的重要 性以及從不同層次上去研究信息處理問題，在計算理論和算法實現(xiàn)上又 特別強調(diào)計算理論的重要性。這些理論多數(shù)是建立在對人類感知三維信 息分析的基礎上。盡管這些方法在數(shù)學上是可行的，但由于各種干擾的 存在以及逆成像的問

14、題，使得問題本身是病態(tài)的。 進入80年代中后期，隨著移動式機器人立體視覺研究的發(fā)展，大 量運用空間幾何的方法以及物理知識來研究雙目立體視覺，其主要是完 成對道路和障礙的識別處理。這一時期引入主動視覺的研究方法，并采 3 - Page 8-用了距離傳感器以及視覺融合技術等，由于這種研究方法可直接取得深 度圖或通過移動獲取深度圖，因而使很多病態(tài)問題變成良態(tài)的。此外在 視覺的研究中重視了對定性視覺、有目的的視覺等的研究。上述這些理 論和方法的研究有力地促進了相關應用的發(fā)展，這些應用領域包括對照 片特別是航空照片和衛(wèi)星照片的解釋、精確制導、移動機器人立體視覺 導航、醫(yī)學輔助診斷、工業(yè)機器人的手眼系統(tǒng)、

15、地圖繪制、物體三維形 狀分析與識別以及智能人機接口等【3】【4】。在立體視覺的應用方面不乏成 功的例子。如1996年閂本成功研制出利用雙目視覺來指導機械手動作 的櫻桃番茄收獲機器人等151。 立體視覺經(jīng)過二三十年的研究，已經(jīng)有了很大的發(fā)展。從當前的發(fā) 展來看，計算機視覺的發(fā)展動向可以歸納如下： (1)以全面的觀點將立體視覺系統(tǒng)的各個模塊聯(lián)系起來，充分挖掘 內(nèi)在信息。 (2)由傳統(tǒng)的兩視點立體視覺向多視點立體視覺并從完全靜態(tài)的立 體視覺向動態(tài)立體視覺發(fā)展，通過增加信息輸入降低視覺計算的難度。 (3)立體視覺系統(tǒng)逐漸向智能化方向發(fā)展，研究基于知識的、模型 的和規(guī)則的立體視覺方法。 (4)算法從以前

16、的串行處理向并行處理發(fā)展，采用并行流水線機制 和專用的信號處理器件，增強立體視覺系統(tǒng)的實用性。 (5)由專用的視覺系統(tǒng)向通用的系統(tǒng)發(fā)展。強調(diào)場景與任務的約束， 針對不同的應用目的，建立有目的的和面向任務的立體視覺系統(tǒng)。 隨著計算機科學的飛速發(fā)展，VLSI技術的提高，并行處理機的深 入研究，立體視覺研究的前景逐漸顯現(xiàn)出來。可以預見，計算機視覺、 生物物理等多學科專家通力合作，必將在立體視覺的研究中取得豐碩成 果。 與人類自身的視覺器官相比，目|；的立體視覺系統(tǒng)還很不健全，還 處在一個十分不成熟的階段，計算機立體視覺系統(tǒng)的研究面臨著一系列 技術難點州： (1)立體視覺系統(tǒng)在分析和理解圖像時都需要立

17、體匹配，而這一技 術還很不完善。在具有灰度失真、幾何失真(透視、旋轉、縮放等失真) 和噪聲的情況下匹配圖像是十分困難的。目前還沒有一個可靠的通用的 匹配方法。尤其在失真和噪聲比較嚴重的情況下，匹配更為困難。而現(xiàn) 實世界中物體問的相互遮擋，物體本身各部分問的遮擋更增加了圖像匹 配的難度。 4 - Page 9- (2)人類視覺系統(tǒng)具有驚人的分析理解力，人是如何精確獲取視覺 知識的，至今還末研究清楚。由于視覺信息具有很高的冗余度，選取哪 些特征可以解決立體視覺問題，目前尚無一種通用的方法以盡量減少視 覺信息的冗余度，提高算法效率。 (3)立體視覺系統(tǒng)所需的計算量是非常龐大的，對于一幅標準的航 空攝

18、影照片(3000 X 3000)，只用一個33的算子對其進行一次卷積運 算就相當于108次乘法運算。然而實用的系統(tǒng)對時間的要求是有一定限 制的。在現(xiàn)階段集成電路和特殊功能部件的發(fā)展還不能滿足實時性的要 求，這為立體視覺系統(tǒng)完全變?yōu)閷嵱玫耐ㄓ孟到y(tǒng)設置了一大障礙。 13雙目立體視覺系統(tǒng)概述 生物功能的模擬是現(xiàn)代機器人視覺的最大挑戰(zhàn)17J。從二維灰度圖像 中獲得三維深度信息、是機器人視覺中發(fā)展最迅速的領域。基于深度識 別目的具有代表性的方法有：立體對計算深度、運動中計算深度、光流 中恢復深度等。立體對深度計算就是利用雙目立體視覺來完成深度識別 的。雙目立體視覺(也稱雙目視覺)是用兩臺性能相同、位置固

19、定的CCD 攝像機，獲取同一景物的兩幅圖像，計算空|日J點在兩幅圖像中的“視差 (disparity)”，以此確定場景的深度信息，進而構建場景的三維結構。一 套完整的雙目立體視覺算法可分為六個主要部分：圖像獲取、攝像機定 標、特征提取、立體匹配、深度計算及深度信息內(nèi)插I“。 在一個典型的雙目立體視覺系統(tǒng)中，兩攝像機沿基線放置，其光軸 相互平行，空間點的像分別在左右兩個像平面上的投影位置的日J距稱為 視差。由視差計算深度是非常容易的，但視差本身的計算是立體視覺中 最困難的部分，它涉及到模型分析、攝像機定標、圖像預處理、特征選 取及特征匹配。 在機器人雙目立體視覺系統(tǒng)的硬件結構中，目前通常采用兩個

20、CCD 攝像機作為視頻信號的采集設備，通過專用圖像采集卡與計算機連接， 把攝像機采集到的模擬信號經(jīng)過采樣、濾波、量化，最終提供給計算機 圖像數(shù)據(jù)。而當置于移動機器人上的攝像機光心平行放于條直線上 時，構成平行雙目立體視覺系統(tǒng)，這是最簡單最典型的一種情況，通過 對它各個部分的幾何關系的分析，我們可以獲取目標場景的深度信息。 機器人雙目立體視覺系統(tǒng)的軟件結構包括計算機操作系統(tǒng)及其應 用軟件、視覺處理算法、機器人控制軟件。其中視覺處理算法的范圍十 分廣闊，根據(jù)應用目的的不同，可包括圖像輸入處理、攝像機定標算法、 - Page 10-圖像預處理(濾波、邊緣提取等)、特征選取、圖像匹配、深度識別、深 度

21、圖生成等。 目前，在機器人立體視覺中攝像機定標、立體匹配是最為活躍的研 究分支。這兩部分關系到移動機器人定位的準確性和目標跟蹤的精度。 另外，深度圖生成技術的快速發(fā)展，為三維場景的生成及深度可視化提 供了技術支持。 14數(shù)字圖像處理及關鍵技術 圖像處理是一個發(fā)展比較成熟的領域，圖像處理通常是把一幅圖像 變換成另一幅圖像，也就是說，圖像處理系統(tǒng)的輸入是圖像，輸出仍然 是圖像，信息恢復任務則留給人來完成。圖像處理包括圖像增強、圖像 壓縮和模糊校正與非聚焦圖像等內(nèi)容。機器視覺系統(tǒng)把圖像作為輸入， 產(chǎn)生的輸出為另一種形式。比如圖像中物體輪廓的表示。因此機器視覺 的重點是在人的最小干預下，由計算機自動恢

22、復和識別場景信息。圖像 處理算法在機器視覺早期階段起著很大的作用，它們通常被用來增強圖 像特定信息并抑制噪聲。 人工智能(artificial intelligent，AI)涉及到智能系統(tǒng)的設計和智能計 算的研究。在經(jīng)過圖像處理和圖像特征提取過程后，接下來要用人工智 能方法對場景特征進行表示，并分析和理解場景。人工智能有三個過程： 感知、認知和行動。感知是把反映現(xiàn)實世界的信息轉換成信號，并表示 成符號，人只是對符號進行各種操作，行動則把符號轉換成影響周圍環(huán) 境的信號。人工智能的許多技術在機器視覺的各個方面起著重要的作 用。事實上機器視覺常被視為人工智能的一個分支。 人工神經(jīng)網(wǎng)絡(artific

23、ialneural networks，ANNs)是一種信息處理系 統(tǒng)，它是由大量簡單的處理單元(稱為神經(jīng)元)通過具有強度的連接相互 聯(lián)系起來，實現(xiàn)并行分布式處理。人工神經(jīng)網(wǎng)絡的最大特點是可以通過 改變連接強度來調(diào)整系統(tǒng)，使之適應復雜的環(huán)境，實現(xiàn)類似人的學習、 歸納和分類等功能。人工神經(jīng)網(wǎng)絡己經(jīng)在許多工程技術領域得到了廣泛 的應用。神經(jīng)網(wǎng)絡作為一種方法和機制將用于解決機器視覺中的許多問 題。 現(xiàn)實世界是三維的空間，經(jīng)攝像機成象后，成為丟失了距離信息 的二維圖象。然而，在計算機技術高速發(fā)展的今天，許多智能系統(tǒng)需要 感知周圍環(huán)境的三維信息。至今，研究人員提出多種從二維圖象中恢復 三維信息的方法p1。

24、以Marr”1的計算視覺理論為基礎的雙目體視方法 就是其中的一種重要的方法。雙目立體視覺系統(tǒng)有多個部分組成。立體 匹配是最為關鍵的技術，匹配結果的優(yōu)劣直接影響系統(tǒng)的最后輸出。 6 - Page 11- 141雙目體視的幾何關系Ill 雙目體視系統(tǒng)的成象幾何關系如圖1所示。系統(tǒng)采用雙相機平行光 軸成象，圖 ZR 體視基線b 圖12雙目體視幾何關系圖 中，L、厶分別表示左右象平面，代表焦距，b是左右圖象坐標系 的原點仉、D。間的距離，稱為體視基線。設世界坐標系(J，Y，z) 的3個坐標軸分別與左圖象所在坐標系c。(以，圪，z。)的3個坐標軸 重合。兄(z，乃，z)，最(x，Y，z，)分別表示三維空

25、間中的一點P(x，Y，Z) 在左右象平面上的投影象點，投影線P0，和PD。所確定的平面被稱為 核心平面。該平面與左右象平面的交線為核心線。所以，左圖中核心線 上的一點，其右圖中的對應點也在核心線上。利用核心線的這種幾何關 系，可以使得匹配過程極大的簡化。 142立體匹配 立體匹配是尋求同一空間景物在不同視點下投影圖像的像間的一 一對應關系。與普通的圖像模板匹配不同，立體匹配是在兩幅存在視點 差異，幾何、灰度畸變和噪聲干擾的圖像|日J進行，不存在任何的標準模 板。立體圖像匹配的主要困難在于圖像之間不可避免地存在著差異。造 成圖像之問存在差異的原因有很多，概括起來包括以下幾種： 灰度差異：由于成像

26、角度的不同及照明條件的變動，使景物表面上 7 - Page 12-某點在不同成像平面上的投影點的灰度值產(chǎn)生較大的差別。 遮擋效應引起的差異：現(xiàn)實景物之間，不可避免地存在著視線的遮 擋效應，景物被遮擋的部位和遮擋的程度會隨著視角的不同而改變。 特征抽取結果的差異：發(fā)生在立體像對特征之間的匹配是以圖像特 征提取為基礎的，所以當兩幅圖的不同部位的反差存在差異時則會在反 差弱的區(qū)域產(chǎn)生特征丟失的現(xiàn)象。丟失特征部位和丟失特征程度的差異 給圖像匹配帶來了很大的困難。 噪聲引起的差異：由于成像系統(tǒng)和圖像預處理技術遠非理想，在每 個環(huán)節(jié)都會引進虛假噪聲，并且對兩幅圖像的損害程度可能不同，所以 噪聲也是引起圖像

27、匹配出錯的重要原因。 由于這些難點，至今并無通用的匹配算法，各種算法都只是針對匹 配技術的特定問題進行探討，并且都有自己的限定條件。但是，在圖像 匹配過程中，各種算法都采用了各種匹配約束條件和匹配質(zhì)量控制策 略，以提高匹配質(zhì)量，確保獲得好的匹配結果。 143基本約束 為了幫助建立像素間的對應，已提出了許多約束，來減少搜索的范 圍和確定正確的對應。下面是一些最重要的約束。 (1)外極線約束 如圖12所示，投影線PD。和P0。所確定的核心平面與右象平面的 交線稱為左圖像平面上那點最的外極線。容易看出，無論與最對應的 點P是遠是近，它總在那條外極線上，所以，對任一點最，只要在它 的外極線上去找它的對

28、應點斥，這就是外極線約束。它大大限制了搜 索對應點的范圍，是立體視覺中最基本的約束。特別，如圖12所示的 成像系統(tǒng)模型，左右攝像機的光軸平行，x軸一致，并且攝像機的水平 掃描線位于同一平面時的簡單情形時，左圖像上一點只(x，Y，z，)外極 線就是Y，=Yt。 (2)相容性約束 對應的特征，應有相同的屬性，這一約束的具體含義隨選用的特 征及其屬性不同而有所不同。 (3)唯一性約束 - Page 13- 除了極個別的情況，一幅圖像(左或右)上的每個特征只能與另一幅 圖像上的唯一的一個特征對應。 (4)連續(xù)性約束 由于物體表面一般是平滑的，因而它們的偏差一般也是平滑的，在 物體邊界處的深度不連續(xù)的地

29、方除外。 (5)灰度匹配約束 同名像點灰度應相同或相近。 (6)順序約束 景物在左右影像點的投影順序應一致。 144匹配的實現(xiàn) 從立體匹配實現(xiàn)的技術上考慮，立體匹配可以分為基于區(qū)域的匹 配和基于特征的匹配，由于基于特征的匹配不直接利用灰度值進行匹 配，而是利用由灰度信息抽象得到的圖像特征進行匹配。因此這種匹配 技術具有對外界的變化不敏感、穩(wěn)定性好、精度高、匹配速度快的優(yōu)點， 所以獲得了較廣泛的應用?；趫D像特征的匹配方法的匹配基元為從灰 度圖像中獲取的景物的抽象特征，通過強調(diào)空間景物的結構信息來解決 匹配歧義性問題。該類匹配方法的匹配基元一般是經(jīng)過處理后的圖像邊 界點、直線、曲線或線段的組合、

30、輪廓、區(qū)域等。這些特征都對應著圖 像灰度變化劇烈的像素位置，通常與三維景物的幾何結構相對應，因而 它們具有較強的抗干擾能力和較精確的空間幾何關系。 零交叉匹配基元以及多通道協(xié)同處理方式對立體視覺的發(fā)展起了 巨大的推動作用。1976年Marr基于其理論建立了模擬人類立視機制的匹 配算法121，該算法的核心是首次采用多分辨率V2G零交叉點作為匹 配基元，利用零交叉分布特性和由粗到細引導的多通道協(xié)同匹配技術 來解決匹配的歧義性和搜索空間大的問題。Bakert”1和Arnoldt“I等提出 以邊緣點為匹配特征的匹配算法，并在匹配時首次采用了動態(tài)規(guī)劃技 術，將左右圖像同一掃描線上的匹配特征，分別等效為動

31、態(tài)規(guī)劃的階段 與狀態(tài)，通過在二維規(guī)劃平面上搜索最佳路徑得到最優(yōu)的匹配。 已知立體成象模型和匹配視差后，三維距離的恢復是很容易的。 影響距離測量精度的因素主要有攝象機標定誤差、數(shù)字量化效應、特征 檢測與匹配定位精度等。一般來講，距離的測量精度與匹配定位精度成 正比，與攝象機基線長度成反比。增大基線長度可改善距離測量精度， 但同時會增大圖像問的差異，增加匹配的困難。因此，要設計一個精確 的立視系統(tǒng)，必須綜合考慮各方面的因素，保證各個環(huán)節(jié)都具有較高 9 - Page 14-的精度。 15課題主要研究內(nèi)容 立體視覺的基本原理是從兩個(或多個)視點觀察同一景物，以獲 取在不同視角下的感知圖像，通過三角測

32、量原理計算圖像象素間的位 置偏差(即視差)來獲取景物的三維信息。這一過程與人類視覺的立體 感知過程是類似的。一個完整的立體視覺系統(tǒng)通?？煞譃閳D像獲取、攝 象機定標、特征提取、立體匹配、深度確定及內(nèi)插等6個大部分。本課 題的研究涉及到計算機視覺與圖像理解，屬于模式識別與人工智能領 域。利用低層圖像處理技術對雙目圖像進行分析，選擇圖像對中的目標 特征井求解特征間的對應關系，通過圖像匹配技術得到目標視差，從而 轉化為主體所需的深度信息。本課題沿著“圖像獲取一圖像分割特征 提取一圖像匹配一距離確定”這一主線，分層次地總結、分析了各個子 階段的相應問題和處理方法，并將本課題的重點集中于特征提取與圖像 匹

33、配這兩部分。 (1)圖像預處理 立體視覺研究的對象為二維圖像。由于各類圖像系統(tǒng)中圖像的傳送 和轉換常造成圖像的某些降質(zhì)，如圖像不清晰或發(fā)生畸變，不利于圖像 的特征提取，從而影響目標的定位和分析。應通過合適的圖像預處理方 法對圖像進行濾波處理，以便于特征提取。 (2)圖像特征提取 圖像特征是景物的物理與幾何特性在影像中的反映，理論上是灰度 曲面的不連續(xù)點。圖像特征可分為點狀特征、線特征、邊緣特征和面特 征，為自動量測感興趣的目標特征，必須借助于相應的圖像特征提取方 法，即利于一定算法提取構成明顯目標的圖像特征。圖像特征的提取是 圖像分析和圖像匹配的基礎，也是單目圖像處理的最重要的任務之一。 (3

34、)雙目視覺圖像分析 雙目視覺中的成像系統(tǒng)模型的選擇 雙目視覺分析中的成像系統(tǒng)模型大致可分為兩種：雙目橫模型結構 和雙目軸模型結構。模仿人眼的雙目線索感知距離的方法，本課題確定 了雙目橫模型結構，并分析了雙目橫模型結構的基本幾何及其固有的問 題。 圖像匹配 在圖像特征提取與描述的基礎上，即可進行圖像的配準工作，即根 據(jù)選取的匹配特征，在左、右視圖中匹配這些特征。圖像配準的主要研 究內(nèi)容包括特征類型的選擇、匹配準則、選取有效的匹配控制策略等關 鍵問題。選取合適的特征并準確匹配這些特征，才能得到比較準確的目 10 - Page 15-標視差圖，從而恢復目標的三維信息，實現(xiàn)信息重建。 求取目標點的距離

35、 通過特征選取、圖像匹配，利用視點幾何即可求取目標點的距離。 - Page 16- 第二章 圖像獲取 三維計算機視覺系統(tǒng)應能從攝像機獲取的圖像信息出發(fā)，計算三維 環(huán)境物體的位置、形狀等幾何信息，并由此識別環(huán)境中的物體。圖像上 每一點的亮度反映了空間物體表面某點反射光的強度，而該點在圖像上 的位置則與空間物體表面相應點的幾何位置有關。這些位置的相互關 系，由攝像機成像幾何模型決定tlsl。該幾何模型的參數(shù)稱為攝像機參 數(shù)，這些參數(shù)必須由實驗與計算來確定，實驗與計算的過程稱為攝像機 標定。 本章主要介紹攝像機工作原理、攝像機模型、立體視覺的測量原理。 21攝象機工作原理 攝像機是最常用的圖像輸入裝

36、置，它面向對象廣泛，有輸入速度快、 靈敏度高、使用方便等特點。攝像機通常由攝像鏡頭、攝像器件、同步 信號發(fā)生電路、偏轉電路、放大電路、電源等部分組成。 按照攝像器件的組成，可將攝像機分為很多種。目前計算機視覺系 統(tǒng)中常用的是電荷耦合器件(Charge Couple Device)攝像機，簡稱CCD 攝像機，其工作原理是： 在硅單晶片上，生成很薄的一層二氧化硅，再于其上蒸發(fā)一層間距 很小的鋁電極條。加電壓于電極上后，電場穿透二氧化硅薄層，并排斥 硅中多數(shù)載流子，從而在電極下的硅單晶片上形成電荷耗盡層，又稱勢 阱。當硅改變電極電壓，使勢阱內(nèi)的電荷從一個電極傳送到另一個電極， 取出這移動的電荷就形成

37、輸出信號。 掃描系統(tǒng)順序掃描各像素，在一個掃描周期內(nèi)，用較長的時間感光、 積累電荷，用極短的時間讀取圖像信號。由于圖像各處的光亮不同，耗 盡層內(nèi)“捕捉”的電荷量形成差異，這就完成了圖像的光電轉換。 22攝象機模型 在計算機視覺的處理中，常用到一些坐標系，下面先對坐標系進行 介紹。 (1)圖像坐標系 這是固定在圖像上的二維坐標系，一般采用直角坐標系。通常將原 點置于圖像的左上角，其x軸向右，Y軸向下，此時的x坐標變?yōu)榱袛?shù) jY坐標變?yōu)樾袛?shù)i。如圖21所示 12 - Page 17- O 圖21圖像坐標系 (2)觀察者中心、坐標系 又簡稱攝像機坐標系，是固定在攝像機土的三維直角坐標系。 (3)圖像

38、平面坐標系 在圖像平面上的二維坐標系，一般采用直角坐標系。它與上面的圖 像坐標系之間存在一個線性變換的關系。 (4)物體中心坐標系 固定于場景中某物體上的坐標系，一般采用三維直角坐標系。而且 通常將該物體的三個主軸選為坐標軸，將該物體的中心(或某個頂點) 選為坐標系原點。 這些坐標系之間的關系，特別是觀察者中心坐標系與圖像坐標系之 間的關系的確定就是攝像機的標定問題。下面討論攝像機的模型。 我們要通過多個攝像機從不同方向拍攝兩幅或兩幅以上的二維圖 像，通常假定多個攝像機的參數(shù)一致，而且每個攝像機都被假設為一個 理想的小孔攝像機，也就是采用透視投影成像模型。 圖22小孔攝像機模型 小孔成像模型如

39、圖22所示，圖中位于圖像平面前距離為f的點被 - Page 18-稱為投影中心，由于圖像平面位于投影中心的后面，這種小孔攝像機模 型又稱為后投影模型。d,：fL攝像機模型不考慮透鏡的畸變，在大多數(shù)應 用場合，這種模型可以滿足精度要求。 23立體視覺測距原理 231視差原理 立體視覺是通過多幅圖像獲取物體三維幾何信息的方法，對生物視 覺系統(tǒng)，人們早就注意到，幾乎所有具有視覺的生物都有兩個眼睛，用 兩個眼睛同時觀察一個物體時，會有深度或遠近的感覺。雙目立體視覺 就是仿照這個原理，利用兩臺攝像機從不同角度同時獲取同一景物的兩 幅圖像，通過計算空間點在兩幅圖像中的視差來獲取景物的三維坐標 值。其視差測

40、距原理116J，如圖23所示，設C，、C，分別為左、右兩個 相機的光學中心位置(透鏡中心)，cf與C，之|日J的距離為b，相機焦距為 f。設物體上的點P在左、右相機圖像平面上的投影點分別為毋、e， P與cf c，連線間的距離為d，*CI、C，分別向圖像面(即視平面)作垂 阻只Flb，IP,Bl=a。 圖23視差測距原理圖 14 - Page 19- 由相似三角形得 生：L (21) d a+tb 生。壘二生生! (22) d b+厶+a 由式(21)、(22)可得 們等一厶 (23) 代入式(21)得 拈fa+廣l一蓋 (24) 由此可見距離d與b、f和L 厶有關，L一稱為點P在左右兩個 圖像

41、面上的視差，兩個圖像相應的對應點只在水平方向存在視差，而Y 方向的坐標值是相等的。對于固定的成像系統(tǒng)模型而言，參數(shù)b、f取 值己經(jīng)確定，僅需要對立體圖像對求取對應像素視差即可獲得景物的深 度信息。 232雙目視覺相機幾何分析 在雙目視覺中的成像系統(tǒng)模型分析中，常見的有兩種：雙目橫模型 結構和雙目軸模型結構。在雙目視覺分析中，兩相機不同的幾何配置方 法，將直接影響雙目的共同視野、搜索的范圍以及定位的精度等。雙目 橫模型結構是指兩個相機平行放置，而在雙目軸模型結構中，兩個相機 與目標在同一條直線上。常用的成像系統(tǒng)模型為仿照人眼的雙目橫模型 結構。 用G和c。兩個相機同時觀察P點，并且如果我們能確定

42、在G相機 圖像上的毋點與在q相機圖像上的P是空間同一點P的圖像點(稱日、 e為對應點)，則空間點P既位于D異上，又位于D，P上，由此P點是 q毋和DrP兩條直線的交點，即它的三維位置是唯一確定的。其關系如 - Page 20-圖24所示。 cI 。? 圖24用攝像機觀察空間點 關系式為llrl： r m：2研k 所 y m (25) 塒：2塒：3 制 硝：m羔 m ，MM mr Z r叫81 r m 2i m己 m r 歷R lI m 肌223 所22M (26) 屹叱 m 2玎2 碗咳m”2 坍 2并 L1，J L1J Z 1J 其中：(，v。，1)與(“：，V2，1)為另、只點在各自圖像中

43、的圖像齊次坐 3 4)分別為投影矩陣的第i行第j列的元 標；塒：(七=1，2；i=l，2，3；j=12 16 - Page 21-素。(x，Y，z，1)為P點在世界坐標系下的齊次坐標。可在上面兩個公式 中消去Zc。、ZcR，得到關于X，Y，Z的四個線性方程咿1，如下所示： I研；l一肌z+l肌312一所：2)l，+lm，13一塒113)z=m141一“l(fā)mL 式(27)的幾何意義為過DfC的直線，式(28)為過D，只的直線。聯(lián) 立解得到的(X，Y，Z)即為點P的空間坐標。 在相機的雙目橫模型結構設置中，由于兩相機在水平方向相隔一定 距離，所以存在以下問題： (1)利用橫模型系統(tǒng)的一個固有問題是

44、無法匹配點所引起的不IF確 對應性。產(chǎn)生無法匹配點的原因有兩種：一是目標元素不處于共同視野， 只有一個像機的成像平面中有其投影；二是即使目標元素處于共同視 野，一個像機平面中有其投影，而另一個像機的成像平面中，因為由別 的目標元素所遮擋，不存在投影。在這兩種情況下，對一幅圖像選擇這 些投影點，而在另一幅圖像中則找不到它的對應性。顯然，減小像機之 間的位移，可使其共同視野增加，出現(xiàn)上述情況的概率也隨之減小。 (2)在相機的雙目橫模型結構設置的另一個突出的問題是提高深度 測量的精度與降低不正確對應性，對像機間的間隔AX有不同的要求。 為了擴大共同視野，就要減少像機問的距離，這樣距離測量的準確度就

45、變差。當像機問隔At=0時，問題不存在了，但是雙目視覺也就隨之 消失了。反之，若增加像機之問的距離，則將增加深度測量的精度，而 共同視野及不含糊匹配的概率也隨之降低。 24小結 本章介紹了計算機視覺系統(tǒng)中常用的CCD攝像機的工作原理，介紹 了一些常用的坐標系并建立了攝像機的透視投影成像模氆，以立體視覺 中的平行軸立體成像模型為例，分析了立體視覺測距原理，引出了立體 匹配問題。 7 - Page 22- 第三章 基于機器視覺的圖像處理技術的研究 圖像處理技術涉及到數(shù)學、計算機科學、模式識別、人工智能、信 息論、生物醫(yī)學等學科，是一門多學科交叉應用技術。本章主要研究 Windows環(huán)境下圖像顯示、像素灰度提取、圖像濾波和圖像增強等技術。 31Windows位圖 圖像在計算機中是用文件的形式存放的，常用的圖像文件格式有 BMP(Windows Bitmap)格式、PCX格式、GIF格式、TIFF格式、JPEG格 式等【l”。VisualC+主要針對位圖BMP進行處理，位圖也是本文的主 要研究圖像，對于其它格式的圖像，我們可以用圖像處理軟件如ACDSee 把它轉換成