基于雙目立體視覺的距離測量

1、- Page 1- 基于雙目立體視覺的距離測量 摘 要 立體視覺技術(shù)是機(jī)器人技術(shù)研究中最為活躍的一個分支，是智能機(jī) 器人的重要標(biāo)志。雙目立體視覺是通過對同一目標(biāo)的兩幅圖像提取、識 別、匹配和解釋，重建三維環(huán)境信息的過程。主要包括：視頻捕獲、攝 像機(jī)定標(biāo)、圖像預(yù)處理和特征提取、立體匹配以及三維重建。通過對雙 目立體視覺技術(shù)的進(jìn)一步研究，對多目視覺具有重要的啟發(fā)，為解決智 能移動機(jī)器人、工業(yè)裝配機(jī)器人、家用機(jī)器人、公共服務(wù)機(jī)器人的視覺 問題奠定良好的技術(shù)基礎(chǔ)。 計算機(jī)立體視覺的主要研究內(nèi)容是由多幅二維的平面圖像恢復(fù)出 被攝物體的三維坐標(biāo)，而其中基于兩幅圖像的雙目視覺技術(shù)則是一個研 究熱點。雙目立體

2、視覺的基本原理是模仿人眼與人類視覺的立體感知過 程，從兩個視點觀察同一景物，以獲取不同視角下的感知圖像，通過三 角測量原理計算圖像像素間的位置偏差，以獲取景物的三維信息。 一個完整的雙目視覺系統(tǒng)通?？煞譃閳D像獲取、攝像機(jī)標(biāo)定、特征 提取、立體匹配、目標(biāo)定位和深度圖生成等六大部分。本論文主要是圖 像特征提取、立體匹配這兩方面的內(nèi)容展開研究。首先根據(jù)選擇的立體 視覺成像系統(tǒng)模型闡述了立體視覺測距的基本原理。其次，對圖像特征 提取等預(yù)處理方法進(jìn)行詳盡地分析，通過實例對算法進(jìn)行實驗。同時， 對圖像匹配問題涉及的內(nèi)容包括圖像匹配方式、質(zhì)量控制策略等進(jìn)行了 總結(jié)。最后，以特征提取與圖像匹配研究為基礎(chǔ)，針對

3、不同類型的立體 圖像提出了基于圖像邊緣特征和圖像興趣點的匹配方法。 關(guān)鍵詞：立體視覺攝像機(jī)定標(biāo)特征提取立體匹配深度圖 - Page 4- 長春理工大學(xué)碩士學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的碩士學(xué)位論文，基于雙目立體視覺的距 離測量是本人在指導(dǎo)教師的指導(dǎo)下，獨立進(jìn)行研究工作所取得的成果。 除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng) 發(fā)表或撰寫過的作品成果。對本文的研究做出重要貢獻(xiàn)的個人和集體， 均已在文中以明確方式標(biāo)明。本人完全意識到本聲明的法律結(jié)果由本人 承擔(dān)。 作者簽名：整壟三!顯年王月絲日 長春理工大學(xué)學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者及指導(dǎo)教師完全了解“長

4、春理工大學(xué)碩士、博士 學(xué)位論文版權(quán)使用規(guī)定”，同意長春理工大學(xué)保留并向國家有關(guān)部門或 機(jī)構(gòu)送交學(xué)位論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授 權(quán)長春理工大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫 進(jìn)行檢索，也可采用影印、縮印或掃描等復(fù)制手段保存和匯編學(xué)位論文。 作者簽名：壘壟絲2旺月魚日 - Page 5- 第一章 緒論 11引言 視覺是人類觀察世界、認(rèn)知世界的重要功能手段，人類感知外部世 界主要通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中80的信息是 由視覺獲取的，機(jī)器視覺是人類利用計算機(jī)實現(xiàn)人的視覺功能一對客觀 世界三維場景的感知、識別和理解，機(jī)器視覺是一個相當(dāng)新而且發(fā)展迅

5、速的研究領(lǐng)域，機(jī)器視覺技術(shù)正廣泛地應(yīng)用于各個方面，許多人類無法 感知的場合，如危險場景感知等，機(jī)器視覺更突顯其優(yōu)越性。機(jī)器視覺 屬于影像的重構(gòu)技術(shù)，具有非接觸性測量、實施簡易的特點，具有廣闊 的應(yīng)用前景，是有待于進(jìn)一步開發(fā)的領(lǐng)域。 計算機(jī)視覺被認(rèn)為是計算機(jī)科學(xué)和人工智能的一個分支，計算機(jī)視 覺就是用機(jī)器代替人的眼睛和大腦，對客觀世界進(jìn)行感知和解釋的技 術(shù)。該系統(tǒng)的首要目標(biāo)是使計算機(jī)具有通過一幅或者多幅二維圖像認(rèn)知 周圍的三維環(huán)境信息的能力。這種能力不僅可以使計算機(jī)能夠感知三維 環(huán)境中物體的幾何信息，并且能夠?qū)λ鼈冞M(jìn)行描述、存儲并使用圖像來 創(chuàng)建和恢復(fù)現(xiàn)實世界模型，從而達(dá)到認(rèn)知現(xiàn)實世界的目的。因

6、此，自從 計算機(jī)視覺這門科學(xué)出現(xiàn)以來就成為計算機(jī)科學(xué)的重要研究領(lǐng)域之一 并且發(fā)展十分迅速。 現(xiàn)實世界中的物體都是三維的，人眼所獲得的景物圖像卻是二維 的，但是人類的視覺系統(tǒng)能夠很容易地從二維圖像中感知三維世界，獲 得三維世界的信息。機(jī)器人視覺的研究目標(biāo)就是使機(jī)器人具有通過一幅 或多幅圖像認(rèn)知周圍環(huán)境信息的能力。這種能力不僅使機(jī)器人能感知環(huán) 境中物體的幾何信息，如其形狀、位置、姿態(tài)、運(yùn)動等，而且能對它們 進(jìn)行描述、存儲、識別與理解。機(jī)器人視覺系統(tǒng)的基本結(jié)構(gòu)如圖11所 刁隋。 圖像 低層處理 位置與形狀 物體描述 圖11機(jī)器人視覺系統(tǒng)基本結(jié)構(gòu) - Page 6- 12國內(nèi)外研究現(xiàn)狀、發(fā)展趨勢 12

7、1國內(nèi)外研究現(xiàn)狀 立體視覺的開創(chuàng)性工作是從60年代中期開始的。70年代末，Marr 創(chuàng)立的視覺計算理論對立體視覺的發(fā)展產(chǎn)生了巨大影響，現(xiàn)已形成了從 圖像獲取到最終的景物可視表面重建的完整體系，在整個計算機(jī)視覺中 已占有越來越重要的地位。 現(xiàn)在，國際上以計算機(jī)視覺為主題，或主要以計算機(jī)視覺為主題的 國際會議有國際計算機(jī)視覺會議(ICCV)，國際模式識別會議(ICPR)，國 際計算機(jī)視覺與模式識別會議(CVPR)，歐洲計算機(jī)視覺會議(ECCV)與 亞洲計算機(jī)視覺會議(ACCV)。以計算機(jī)視覺為主要內(nèi)容之一的國際刊物 Journal TransOn 也很多，有International ofComp

8、uter Vision,IEEE PAMI， CVGIP(Computer Vision,Graphics and Image Processing)，VisualImage Computing，UPRAI(Intemational Joumal of PaUem Recognition and Artificial Intelligence)，PatternRecognition等，每年的研究論文不下數(shù)千 篇，發(fā)表的論文也數(shù)以百計。在Marr理論的框架下，取得了一大批科 研成果，也包括數(shù)據(jù)結(jié)構(gòu)、算法層次上的各種算法和在硬件實施方面的 一些實驗系統(tǒng)。但這些理論、方法、算法在實際應(yīng)用中并沒有產(chǎn)生

9、能完 全取代人的視覺系統(tǒng)。 雙目體視目Iii主要應(yīng)用于四個領(lǐng)域：機(jī)器人導(dǎo)航、微操作系統(tǒng)的參 數(shù)檢測、三維測量和虛擬現(xiàn)實。在國外，日本大阪大學(xué)自適應(yīng)機(jī)械學(xué)院 研制了一種自適應(yīng)雙目視覺伺服系統(tǒng)，實現(xiàn)了對運(yùn)動方式未知的目標(biāo)的 自適應(yīng)跟蹤。日本東京大學(xué)將實時雙目立體視覺和機(jī)器人整體姿態(tài)信息 集成，開發(fā)了仿真機(jī)器人動態(tài)行走導(dǎo)航系統(tǒng)。日本岡山大學(xué)使用立體顯 微鏡、兩個CCD攝像頭、微操作器等研制了使用立體顯微鏡控制微操作 器的視覺反饋系統(tǒng)，用于對細(xì)胞進(jìn)行操作，對鐘子進(jìn)行基因注射和微裝 配等。麻省理工學(xué)院計算機(jī)系提出了一種新的用于智能交通工具的傳感 器融合方式，由雷達(dá)系統(tǒng)提供目標(biāo)深度的大致范圍，利用雙目立體

10、視覺 提供粗略的目標(biāo)深度信息，結(jié)合改進(jìn)的圖像分割算法，能夠在高速環(huán)境 下對視頻圖像中的目標(biāo)位置進(jìn)行分割。 在國內(nèi)，浙江大學(xué)機(jī)械系完全利用透視成像原理，采用雙目體視方 法實現(xiàn)了對多自由度機(jī)械裝置的動態(tài)、精確位姿檢測：東南大學(xué)電子工 程系基于雙目立體視覺，提出了一種灰度相關(guān)多峰值視差絕對值極小化 立體匹配新方法，可對三維不規(guī)則物體(偏轉(zhuǎn)線圈)的三維空間坐標(biāo)進(jìn) 行非接觸精密測量。哈工大采用異構(gòu)雙目活動視覺系統(tǒng)實現(xiàn)了全自主足 球機(jī)器人導(dǎo)航?；鹦?63計劃課題“人體三維尺寸的非接觸測量”，采 2 - Page 7- 用“雙視點投影光柵三維測量”原理，由雙攝像機(jī)獲取圖像對，通過計 算機(jī)進(jìn)行圖像數(shù)據(jù)處理，不

11、僅可以獲取服裝設(shè)計所需的特征尺寸，還可 根據(jù)需要獲取人體圖像上任意一點的三維坐標(biāo)。 122發(fā)展趨勢 20世紀(jì)70年代中期以Matt、Barrow和Tenenbaum等人為代表的 一些研究者提出了一整套視覺計算的理論來描述視覺過程，其核心是從 圖像恢復(fù)物體的三維形狀。在視覺研究的理論下，以Marr的理論影響 最為深遠(yuǎn)，并成為這一領(lǐng)域的主導(dǎo)思想IlJ。馬爾教授認(rèn)為：視覺可分為 三個階段。第一階段是早期視覺(early vision)，其目的是拍取觀察者周 圍景物表面的物理特性，如距離、表面方向、材料特性(反射、顏色、 。紋理)等，具體來說包括邊緣檢測、雙目立體匹配、由陰影確定形狀、 由紋理確定形狀

12、等。第二階段是二維半簡圖(25D sketch)或本征圖像 (Intrinsic Image)。它是在以觀察者為中心的坐標(biāo)系中描述表面的各種特 性。根據(jù)這些描述，可以重建物體邊界，按表面和體積分割景物。但在 以觀察者為中心的坐標(biāo)系中只能得到可見表面的描述，得不到遮擋表面 的描述，故稱二維半簡圖。第三階段是三維模型一視覺信息處理的最后 一個層次，是用二維半簡圖中得到的表面信息建立適用于視覺識別的三 維形狀描述。這個描述應(yīng)該與觀察者的視角無關(guān)，也就是在以物體為中 心的坐標(biāo)系中，以各種符號關(guān)系和幾何結(jié)構(gòu)描述物體的三維結(jié)構(gòu)和空問 關(guān)系。 經(jīng)過近三十年的發(fā)展，在馬爾的理論框架下，機(jī)器人立體視覺取得 了一

13、大批成果。但隨著機(jī)器人立體視覺研究的不斷深入，大們發(fā)現(xiàn)了馬 爾視覺理論的局限性，即從景物圖像或系列圖像求出景物精確的三維幾 何場景并定量的確定景物中物體的性質(zhì)時遇到了困難121。在Marr的理 論中，輸入是被動的，給什么圖像系統(tǒng)就處理什么圖像，整個處理過程 基本上是“自底向上”的，沒有反饋。處理的目的是不變的，總是要求 出場景中物體的形狀和它們的空I日J(rèn)位置和關(guān)系。其理論強(qiáng)調(diào)表示的重要 性以及從不同層次上去研究信息處理問題，在計算理論和算法實現(xiàn)上又 特別強(qiáng)調(diào)計算理論的重要性。這些理論多數(shù)是建立在對人類感知三維信 息分析的基礎(chǔ)上。盡管這些方法在數(shù)學(xué)上是可行的，但由于各種干擾的 存在以及逆成像的問

14、題，使得問題本身是病態(tài)的。 進(jìn)入80年代中后期，隨著移動式機(jī)器人立體視覺研究的發(fā)展，大 量運(yùn)用空間幾何的方法以及物理知識來研究雙目立體視覺，其主要是完 成對道路和障礙的識別處理。這一時期引入主動視覺的研究方法，并采 3 - Page 8-用了距離傳感器以及視覺融合技術(shù)等，由于這種研究方法可直接取得深 度圖或通過移動獲取深度圖，因而使很多病態(tài)問題變成良態(tài)的。此外在 視覺的研究中重視了對定性視覺、有目的的視覺等的研究。上述這些理 論和方法的研究有力地促進(jìn)了相關(guān)應(yīng)用的發(fā)展，這些應(yīng)用領(lǐng)域包括對照 片特別是航空照片和衛(wèi)星照片的解釋、精確制導(dǎo)、移動機(jī)器人立體視覺 導(dǎo)航、醫(yī)學(xué)輔助診斷、工業(yè)機(jī)器人的手眼系統(tǒng)、

15、地圖繪制、物體三維形 狀分析與識別以及智能人機(jī)接口等【3】【4】。在立體視覺的應(yīng)用方面不乏成 功的例子。如1996年閂本成功研制出利用雙目視覺來指導(dǎo)機(jī)械手動作 的櫻桃番茄收獲機(jī)器人等151。 立體視覺經(jīng)過二三十年的研究，已經(jīng)有了很大的發(fā)展。從當(dāng)前的發(fā) 展來看，計算機(jī)視覺的發(fā)展動向可以歸納如下： (1)以全面的觀點將立體視覺系統(tǒng)的各個模塊聯(lián)系起來，充分挖掘 內(nèi)在信息。 (2)由傳統(tǒng)的兩視點立體視覺向多視點立體視覺并從完全靜態(tài)的立 體視覺向動態(tài)立體視覺發(fā)展，通過增加信息輸入降低視覺計算的難度。 (3)立體視覺系統(tǒng)逐漸向智能化方向發(fā)展，研究基于知識的、模型 的和規(guī)則的立體視覺方法。 (4)算法從以前

16、的串行處理向并行處理發(fā)展，采用并行流水線機(jī)制 和專用的信號處理器件，增強(qiáng)立體視覺系統(tǒng)的實用性。 (5)由專用的視覺系統(tǒng)向通用的系統(tǒng)發(fā)展。強(qiáng)調(diào)場景與任務(wù)的約束， 針對不同的應(yīng)用目的，建立有目的的和面向任務(wù)的立體視覺系統(tǒng)。 隨著計算機(jī)科學(xué)的飛速發(fā)展，VLSI技術(shù)的提高，并行處理機(jī)的深 入研究，立體視覺研究的前景逐漸顯現(xiàn)出來?？梢灶A(yù)見，計算機(jī)視覺、 生物物理等多學(xué)科專家通力合作，必將在立體視覺的研究中取得豐碩成 果。 與人類自身的視覺器官相比，目|；的立體視覺系統(tǒng)還很不健全，還 處在一個十分不成熟的階段，計算機(jī)立體視覺系統(tǒng)的研究面臨著一系列 技術(shù)難點州： (1)立體視覺系統(tǒng)在分析和理解圖像時都需要立

17、體匹配，而這一技 術(shù)還很不完善。在具有灰度失真、幾何失真(透視、旋轉(zhuǎn)、縮放等失真) 和噪聲的情況下匹配圖像是十分困難的。目前還沒有一個可靠的通用的 匹配方法。尤其在失真和噪聲比較嚴(yán)重的情況下，匹配更為困難。而現(xiàn) 實世界中物體問的相互遮擋，物體本身各部分問的遮擋更增加了圖像匹 配的難度。 4 - Page 9- (2)人類視覺系統(tǒng)具有驚人的分析理解力，人是如何精確獲取視覺 知識的，至今還末研究清楚。由于視覺信息具有很高的冗余度，選取哪 些特征可以解決立體視覺問題，目前尚無一種通用的方法以盡量減少視 覺信息的冗余度，提高算法效率。 (3)立體視覺系統(tǒng)所需的計算量是非常龐大的，對于一幅標(biāo)準(zhǔn)的航 空攝

18、影照片(3000 X 3000)，只用一個33的算子對其進(jìn)行一次卷積運(yùn) 算就相當(dāng)于108次乘法運(yùn)算。然而實用的系統(tǒng)對時間的要求是有一定限 制的。在現(xiàn)階段集成電路和特殊功能部件的發(fā)展還不能滿足實時性的要 求，這為立體視覺系統(tǒng)完全變?yōu)閷嵱玫耐ㄓ孟到y(tǒng)設(shè)置了一大障礙。 13雙目立體視覺系統(tǒng)概述 生物功能的模擬是現(xiàn)代機(jī)器人視覺的最大挑戰(zhàn)17J。從二維灰度圖像 中獲得三維深度信息、是機(jī)器人視覺中發(fā)展最迅速的領(lǐng)域?；谏疃茸R 別目的具有代表性的方法有：立體對計算深度、運(yùn)動中計算深度、光流 中恢復(fù)深度等。立體對深度計算就是利用雙目立體視覺來完成深度識別 的。雙目立體視覺(也稱雙目視覺)是用兩臺性能相同、位置固

19、定的CCD 攝像機(jī)，獲取同一景物的兩幅圖像，計算空|日J(rèn)點在兩幅圖像中的“視差 (disparity)”，以此確定場景的深度信息，進(jìn)而構(gòu)建場景的三維結(jié)構(gòu)。一 套完整的雙目立體視覺算法可分為六個主要部分：圖像獲取、攝像機(jī)定 標(biāo)、特征提取、立體匹配、深度計算及深度信息內(nèi)插I“。 在一個典型的雙目立體視覺系統(tǒng)中，兩攝像機(jī)沿基線放置，其光軸 相互平行，空間點的像分別在左右兩個像平面上的投影位置的日J(rèn)距稱為 視差。由視差計算深度是非常容易的，但視差本身的計算是立體視覺中 最困難的部分，它涉及到模型分析、攝像機(jī)定標(biāo)、圖像預(yù)處理、特征選 取及特征匹配。 在機(jī)器人雙目立體視覺系統(tǒng)的硬件結(jié)構(gòu)中，目前通常采用兩個

20、CCD 攝像機(jī)作為視頻信號的采集設(shè)備，通過專用圖像采集卡與計算機(jī)連接， 把攝像機(jī)采集到的模擬信號經(jīng)過采樣、濾波、量化，最終提供給計算機(jī) 圖像數(shù)據(jù)。而當(dāng)置于移動機(jī)器人上的攝像機(jī)光心平行放于條直線上 時，構(gòu)成平行雙目立體視覺系統(tǒng)，這是最簡單最典型的一種情況，通過 對它各個部分的幾何關(guān)系的分析，我們可以獲取目標(biāo)場景的深度信息。 機(jī)器人雙目立體視覺系統(tǒng)的軟件結(jié)構(gòu)包括計算機(jī)操作系統(tǒng)及其應(yīng) 用軟件、視覺處理算法、機(jī)器人控制軟件。其中視覺處理算法的范圍十 分廣闊，根據(jù)應(yīng)用目的的不同，可包括圖像輸入處理、攝像機(jī)定標(biāo)算法、 - Page 10-圖像預(yù)處理(濾波、邊緣提取等)、特征選取、圖像匹配、深度識別、深 度

21、圖生成等。 目前，在機(jī)器人立體視覺中攝像機(jī)定標(biāo)、立體匹配是最為活躍的研 究分支。這兩部分關(guān)系到移動機(jī)器人定位的準(zhǔn)確性和目標(biāo)跟蹤的精度。 另外，深度圖生成技術(shù)的快速發(fā)展，為三維場景的生成及深度可視化提 供了技術(shù)支持。 14數(shù)字圖像處理及關(guān)鍵技術(shù) 圖像處理是一個發(fā)展比較成熟的領(lǐng)域，圖像處理通常是把一幅圖像 變換成另一幅圖像，也就是說，圖像處理系統(tǒng)的輸入是圖像，輸出仍然 是圖像，信息恢復(fù)任務(wù)則留給人來完成。圖像處理包括圖像增強(qiáng)、圖像 壓縮和模糊校正與非聚焦圖像等內(nèi)容。機(jī)器視覺系統(tǒng)把圖像作為輸入， 產(chǎn)生的輸出為另一種形式。比如圖像中物體輪廓的表示。因此機(jī)器視覺 的重點是在人的最小干預(yù)下，由計算機(jī)自動恢

22、復(fù)和識別場景信息。圖像 處理算法在機(jī)器視覺早期階段起著很大的作用，它們通常被用來增強(qiáng)圖 像特定信息并抑制噪聲。 人工智能(artificial intelligent，AI)涉及到智能系統(tǒng)的設(shè)計和智能計 算的研究。在經(jīng)過圖像處理和圖像特征提取過程后，接下來要用人工智 能方法對場景特征進(jìn)行表示，并分析和理解場景。人工智能有三個過程： 感知、認(rèn)知和行動。感知是把反映現(xiàn)實世界的信息轉(zhuǎn)換成信號，并表示 成符號，人只是對符號進(jìn)行各種操作，行動則把符號轉(zhuǎn)換成影響周圍環(huán) 境的信號。人工智能的許多技術(shù)在機(jī)器視覺的各個方面起著重要的作 用。事實上機(jī)器視覺常被視為人工智能的一個分支。 人工神經(jīng)網(wǎng)絡(luò)(artific

23、ialneural networks，ANNs)是一種信息處理系 統(tǒng)，它是由大量簡單的處理單元(稱為神經(jīng)元)通過具有強(qiáng)度的連接相互 聯(lián)系起來，實現(xiàn)并行分布式處理。人工神經(jīng)網(wǎng)絡(luò)的最大特點是可以通過 改變連接強(qiáng)度來調(diào)整系統(tǒng)，使之適應(yīng)復(fù)雜的環(huán)境，實現(xiàn)類似人的學(xué)習(xí)、 歸納和分類等功能。人工神經(jīng)網(wǎng)絡(luò)己經(jīng)在許多工程技術(shù)領(lǐng)域得到了廣泛 的應(yīng)用。神經(jīng)網(wǎng)絡(luò)作為一種方法和機(jī)制將用于解決機(jī)器視覺中的許多問 題。 現(xiàn)實世界是三維的空間，經(jīng)攝像機(jī)成象后，成為丟失了距離信息 的二維圖象。然而，在計算機(jī)技術(shù)高速發(fā)展的今天，許多智能系統(tǒng)需要 感知周圍環(huán)境的三維信息。至今，研究人員提出多種從二維圖象中恢復(fù) 三維信息的方法p1。

24、以Marr”1的計算視覺理論為基礎(chǔ)的雙目體視方法 就是其中的一種重要的方法。雙目立體視覺系統(tǒng)有多個部分組成。立體 匹配是最為關(guān)鍵的技術(shù)，匹配結(jié)果的優(yōu)劣直接影響系統(tǒng)的最后輸出。 6 - Page 11- 141雙目體視的幾何關(guān)系Ill 雙目體視系統(tǒng)的成象幾何關(guān)系如圖1所示。系統(tǒng)采用雙相機(jī)平行光 軸成象，圖 ZR 體視基線b 圖12雙目體視幾何關(guān)系圖 中，L、厶分別表示左右象平面，代表焦距，b是左右圖象坐標(biāo)系 的原點仉、D。間的距離，稱為體視基線。設(shè)世界坐標(biāo)系(J，Y，z) 的3個坐標(biāo)軸分別與左圖象所在坐標(biāo)系c。(以，圪，z。)的3個坐標(biāo)軸 重合。兄(z，乃，z)，最(x，Y，z，)分別表示三維空

25、間中的一點P(x，Y，Z) 在左右象平面上的投影象點，投影線P0，和PD。所確定的平面被稱為 核心平面。該平面與左右象平面的交線為核心線。所以，左圖中核心線 上的一點，其右圖中的對應(yīng)點也在核心線上。利用核心線的這種幾何關(guān) 系，可以使得匹配過程極大的簡化。 142立體匹配 立體匹配是尋求同一空間景物在不同視點下投影圖像的像間的一 一對應(yīng)關(guān)系。與普通的圖像模板匹配不同，立體匹配是在兩幅存在視點 差異，幾何、灰度畸變和噪聲干擾的圖像|日J(rèn)進(jìn)行，不存在任何的標(biāo)準(zhǔn)模 板。立體圖像匹配的主要困難在于圖像之間不可避免地存在著差異。造 成圖像之問存在差異的原因有很多，概括起來包括以下幾種： 灰度差異：由于成像

26、角度的不同及照明條件的變動，使景物表面上 7 - Page 12-某點在不同成像平面上的投影點的灰度值產(chǎn)生較大的差別。 遮擋效應(yīng)引起的差異：現(xiàn)實景物之間，不可避免地存在著視線的遮 擋效應(yīng)，景物被遮擋的部位和遮擋的程度會隨著視角的不同而改變。 特征抽取結(jié)果的差異：發(fā)生在立體像對特征之間的匹配是以圖像特 征提取為基礎(chǔ)的，所以當(dāng)兩幅圖的不同部位的反差存在差異時則會在反 差弱的區(qū)域產(chǎn)生特征丟失的現(xiàn)象。丟失特征部位和丟失特征程度的差異 給圖像匹配帶來了很大的困難。 噪聲引起的差異：由于成像系統(tǒng)和圖像預(yù)處理技術(shù)遠(yuǎn)非理想，在每 個環(huán)節(jié)都會引進(jìn)虛假噪聲，并且對兩幅圖像的損害程度可能不同，所以 噪聲也是引起圖像

27、匹配出錯的重要原因。 由于這些難點，至今并無通用的匹配算法，各種算法都只是針對匹 配技術(shù)的特定問題進(jìn)行探討，并且都有自己的限定條件。但是，在圖像 匹配過程中，各種算法都采用了各種匹配約束條件和匹配質(zhì)量控制策 略，以提高匹配質(zhì)量，確保獲得好的匹配結(jié)果。 143基本約束 為了幫助建立像素間的對應(yīng)，已提出了許多約束，來減少搜索的范 圍和確定正確的對應(yīng)。下面是一些最重要的約束。 (1)外極線約束 如圖12所示，投影線PD。和P0。所確定的核心平面與右象平面的 交線稱為左圖像平面上那點最的外極線。容易看出，無論與最對應(yīng)的 點P是遠(yuǎn)是近，它總在那條外極線上，所以，對任一點最，只要在它 的外極線上去找它的對

28、應(yīng)點斥，這就是外極線約束。它大大限制了搜 索對應(yīng)點的范圍，是立體視覺中最基本的約束。特別，如圖12所示的 成像系統(tǒng)模型，左右攝像機(jī)的光軸平行，x軸一致，并且攝像機(jī)的水平 掃描線位于同一平面時的簡單情形時，左圖像上一點只(x，Y，z，)外極 線就是Y，=Yt。 (2)相容性約束 對應(yīng)的特征，應(yīng)有相同的屬性，這一約束的具體含義隨選用的特 征及其屬性不同而有所不同。 (3)唯一性約束 - Page 13- 除了極個別的情況，一幅圖像(左或右)上的每個特征只能與另一幅 圖像上的唯一的一個特征對應(yīng)。 (4)連續(xù)性約束 由于物體表面一般是平滑的，因而它們的偏差一般也是平滑的，在 物體邊界處的深度不連續(xù)的地

29、方除外。 (5)灰度匹配約束 同名像點灰度應(yīng)相同或相近。 (6)順序約束 景物在左右影像點的投影順序應(yīng)一致。 144匹配的實現(xiàn) 從立體匹配實現(xiàn)的技術(shù)上考慮，立體匹配可以分為基于區(qū)域的匹 配和基于特征的匹配，由于基于特征的匹配不直接利用灰度值進(jìn)行匹 配，而是利用由灰度信息抽象得到的圖像特征進(jìn)行匹配。因此這種匹配 技術(shù)具有對外界的變化不敏感、穩(wěn)定性好、精度高、匹配速度快的優(yōu)點， 所以獲得了較廣泛的應(yīng)用?；趫D像特征的匹配方法的匹配基元為從灰 度圖像中獲取的景物的抽象特征，通過強(qiáng)調(diào)空間景物的結(jié)構(gòu)信息來解決 匹配歧義性問題。該類匹配方法的匹配基元一般是經(jīng)過處理后的圖像邊 界點、直線、曲線或線段的組合、

30、輪廓、區(qū)域等。這些特征都對應(yīng)著圖 像灰度變化劇烈的像素位置，通常與三維景物的幾何結(jié)構(gòu)相對應(yīng)，因而 它們具有較強(qiáng)的抗干擾能力和較精確的空間幾何關(guān)系。 零交叉匹配基元以及多通道協(xié)同處理方式對立體視覺的發(fā)展起了 巨大的推動作用。1976年Marr基于其理論建立了模擬人類立視機(jī)制的匹 配算法121，該算法的核心是首次采用多分辨率V2G零交叉點作為匹 配基元，利用零交叉分布特性和由粗到細(xì)引導(dǎo)的多通道協(xié)同匹配技術(shù) 來解決匹配的歧義性和搜索空間大的問題。Bakert”1和Arnoldt“I等提出 以邊緣點為匹配特征的匹配算法，并在匹配時首次采用了動態(tài)規(guī)劃技 術(shù)，將左右圖像同一掃描線上的匹配特征，分別等效為動

31、態(tài)規(guī)劃的階段 與狀態(tài)，通過在二維規(guī)劃平面上搜索最佳路徑得到最優(yōu)的匹配。 已知立體成象模型和匹配視差后，三維距離的恢復(fù)是很容易的。 影響距離測量精度的因素主要有攝象機(jī)標(biāo)定誤差、數(shù)字量化效應(yīng)、特征 檢測與匹配定位精度等。一般來講，距離的測量精度與匹配定位精度成 正比，與攝象機(jī)基線長度成反比。增大基線長度可改善距離測量精度， 但同時會增大圖像問的差異，增加匹配的困難。因此，要設(shè)計一個精確 的立視系統(tǒng)，必須綜合考慮各方面的因素，保證各個環(huán)節(jié)都具有較高 9 - Page 14-的精度。 15課題主要研究內(nèi)容 立體視覺的基本原理是從兩個(或多個)視點觀察同一景物，以獲 取在不同視角下的感知圖像，通過三角測

32、量原理計算圖像象素間的位 置偏差(即視差)來獲取景物的三維信息。這一過程與人類視覺的立體 感知過程是類似的。一個完整的立體視覺系統(tǒng)通?？煞譃閳D像獲取、攝 象機(jī)定標(biāo)、特征提取、立體匹配、深度確定及內(nèi)插等6個大部分。本課 題的研究涉及到計算機(jī)視覺與圖像理解，屬于模式識別與人工智能領(lǐng) 域。利用低層圖像處理技術(shù)對雙目圖像進(jìn)行分析，選擇圖像對中的目標(biāo) 特征井求解特征間的對應(yīng)關(guān)系，通過圖像匹配技術(shù)得到目標(biāo)視差，從而 轉(zhuǎn)化為主體所需的深度信息。本課題沿著“圖像獲取一圖像分割特征 提取一圖像匹配一距離確定”這一主線，分層次地總結(jié)、分析了各個子 階段的相應(yīng)問題和處理方法，并將本課題的重點集中于特征提取與圖像 匹

33、配這兩部分。 (1)圖像預(yù)處理 立體視覺研究的對象為二維圖像。由于各類圖像系統(tǒng)中圖像的傳送 和轉(zhuǎn)換常造成圖像的某些降質(zhì)，如圖像不清晰或發(fā)生畸變，不利于圖像 的特征提取，從而影響目標(biāo)的定位和分析。應(yīng)通過合適的圖像預(yù)處理方 法對圖像進(jìn)行濾波處理，以便于特征提取。 (2)圖像特征提取 圖像特征是景物的物理與幾何特性在影像中的反映，理論上是灰度 曲面的不連續(xù)點。圖像特征可分為點狀特征、線特征、邊緣特征和面特 征，為自動量測感興趣的目標(biāo)特征，必須借助于相應(yīng)的圖像特征提取方 法，即利于一定算法提取構(gòu)成明顯目標(biāo)的圖像特征。圖像特征的提取是 圖像分析和圖像匹配的基礎(chǔ)，也是單目圖像處理的最重要的任務(wù)之一。 (3

34、)雙目視覺圖像分析 雙目視覺中的成像系統(tǒng)模型的選擇 雙目視覺分析中的成像系統(tǒng)模型大致可分為兩種：雙目橫模型結(jié)構(gòu) 和雙目軸模型結(jié)構(gòu)。模仿人眼的雙目線索感知距離的方法，本課題確定 了雙目橫模型結(jié)構(gòu)，并分析了雙目橫模型結(jié)構(gòu)的基本幾何及其固有的問 題。 圖像匹配 在圖像特征提取與描述的基礎(chǔ)上，即可進(jìn)行圖像的配準(zhǔn)工作，即根 據(jù)選取的匹配特征，在左、右視圖中匹配這些特征。圖像配準(zhǔn)的主要研 究內(nèi)容包括特征類型的選擇、匹配準(zhǔn)則、選取有效的匹配控制策略等關(guān) 鍵問題。選取合適的特征并準(zhǔn)確匹配這些特征，才能得到比較準(zhǔn)確的目 10 - Page 15-標(biāo)視差圖，從而恢復(fù)目標(biāo)的三維信息，實現(xiàn)信息重建。 求取目標(biāo)點的距離

35、 通過特征選取、圖像匹配，利用視點幾何即可求取目標(biāo)點的距離。 - Page 16- 第二章 圖像獲取 三維計算機(jī)視覺系統(tǒng)應(yīng)能從攝像機(jī)獲取的圖像信息出發(fā)，計算三維 環(huán)境物體的位置、形狀等幾何信息，并由此識別環(huán)境中的物體。圖像上 每一點的亮度反映了空間物體表面某點反射光的強(qiáng)度，而該點在圖像上 的位置則與空間物體表面相應(yīng)點的幾何位置有關(guān)。這些位置的相互關(guān) 系，由攝像機(jī)成像幾何模型決定tlsl。該幾何模型的參數(shù)稱為攝像機(jī)參 數(shù)，這些參數(shù)必須由實驗與計算來確定，實驗與計算的過程稱為攝像機(jī) 標(biāo)定。 本章主要介紹攝像機(jī)工作原理、攝像機(jī)模型、立體視覺的測量原理。 21攝象機(jī)工作原理 攝像機(jī)是最常用的圖像輸入裝

36、置，它面向?qū)ο髲V泛，有輸入速度快、 靈敏度高、使用方便等特點。攝像機(jī)通常由攝像鏡頭、攝像器件、同步 信號發(fā)生電路、偏轉(zhuǎn)電路、放大電路、電源等部分組成。 按照攝像器件的組成，可將攝像機(jī)分為很多種。目前計算機(jī)視覺系 統(tǒng)中常用的是電荷耦合器件(Charge Couple Device)攝像機(jī)，簡稱CCD 攝像機(jī)，其工作原理是： 在硅單晶片上，生成很薄的一層二氧化硅，再于其上蒸發(fā)一層間距 很小的鋁電極條。加電壓于電極上后，電場穿透二氧化硅薄層，并排斥 硅中多數(shù)載流子，從而在電極下的硅單晶片上形成電荷耗盡層，又稱勢 阱。當(dāng)硅改變電極電壓，使勢阱內(nèi)的電荷從一個電極傳送到另一個電極， 取出這移動的電荷就形成

37、輸出信號。 掃描系統(tǒng)順序掃描各像素，在一個掃描周期內(nèi)，用較長的時間感光、 積累電荷，用極短的時間讀取圖像信號。由于圖像各處的光亮不同，耗 盡層內(nèi)“捕捉”的電荷量形成差異，這就完成了圖像的光電轉(zhuǎn)換。 22攝象機(jī)模型 在計算機(jī)視覺的處理中，常用到一些坐標(biāo)系，下面先對坐標(biāo)系進(jìn)行 介紹。 (1)圖像坐標(biāo)系 這是固定在圖像上的二維坐標(biāo)系，一般采用直角坐標(biāo)系。通常將原 點置于圖像的左上角，其x軸向右，Y軸向下，此時的x坐標(biāo)變?yōu)榱袛?shù) jY坐標(biāo)變?yōu)樾袛?shù)i。如圖21所示 12 - Page 17- O 圖21圖像坐標(biāo)系 (2)觀察者中心、坐標(biāo)系 又簡稱攝像機(jī)坐標(biāo)系，是固定在攝像機(jī)土的三維直角坐標(biāo)系。 (3)圖像

38、平面坐標(biāo)系 在圖像平面上的二維坐標(biāo)系，一般采用直角坐標(biāo)系。它與上面的圖 像坐標(biāo)系之間存在一個線性變換的關(guān)系。 (4)物體中心坐標(biāo)系 固定于場景中某物體上的坐標(biāo)系，一般采用三維直角坐標(biāo)系。而且 通常將該物體的三個主軸選為坐標(biāo)軸，將該物體的中心(或某個頂點) 選為坐標(biāo)系原點。 這些坐標(biāo)系之間的關(guān)系，特別是觀察者中心坐標(biāo)系與圖像坐標(biāo)系之 間的關(guān)系的確定就是攝像機(jī)的標(biāo)定問題。下面討論攝像機(jī)的模型。 我們要通過多個攝像機(jī)從不同方向拍攝兩幅或兩幅以上的二維圖 像，通常假定多個攝像機(jī)的參數(shù)一致，而且每個攝像機(jī)都被假設(shè)為一個 理想的小孔攝像機(jī)，也就是采用透視投影成像模型。 圖22小孔攝像機(jī)模型 小孔成像模型如

39、圖22所示，圖中位于圖像平面前距離為f的點被 - Page 18-稱為投影中心，由于圖像平面位于投影中心的后面，這種小孔攝像機(jī)模 型又稱為后投影模型。d,：fL攝像機(jī)模型不考慮透鏡的畸變，在大多數(shù)應(yīng) 用場合，這種模型可以滿足精度要求。 23立體視覺測距原理 231視差原理 立體視覺是通過多幅圖像獲取物體三維幾何信息的方法，對生物視 覺系統(tǒng)，人們早就注意到，幾乎所有具有視覺的生物都有兩個眼睛，用 兩個眼睛同時觀察一個物體時，會有深度或遠(yuǎn)近的感覺。雙目立體視覺 就是仿照這個原理，利用兩臺攝像機(jī)從不同角度同時獲取同一景物的兩 幅圖像，通過計算空間點在兩幅圖像中的視差來獲取景物的三維坐標(biāo) 值。其視差測

40、距原理116J，如圖23所示，設(shè)C，、C，分別為左、右兩個 相機(jī)的光學(xué)中心位置(透鏡中心)，cf與C，之|日J(rèn)的距離為b，相機(jī)焦距為 f。設(shè)物體上的點P在左、右相機(jī)圖像平面上的投影點分別為毋、e， P與cf c，連線間的距離為d，*CI、C，分別向圖像面(即視平面)作垂 阻只Flb，IP,Bl=a。 圖23視差測距原理圖 14 - Page 19- 由相似三角形得 生：L (21) d a+tb 生。壘二生生! (22) d b+厶+a 由式(21)、(22)可得 們等一厶 (23) 代入式(21)得 拈fa+廣l一蓋 (24) 由此可見距離d與b、f和L 厶有關(guān)，L一稱為點P在左右兩個 圖像

41、面上的視差，兩個圖像相應(yīng)的對應(yīng)點只在水平方向存在視差，而Y 方向的坐標(biāo)值是相等的。對于固定的成像系統(tǒng)模型而言，參數(shù)b、f取 值己經(jīng)確定，僅需要對立體圖像對求取對應(yīng)像素視差即可獲得景物的深 度信息。 232雙目視覺相機(jī)幾何分析 在雙目視覺中的成像系統(tǒng)模型分析中，常見的有兩種：雙目橫模型 結(jié)構(gòu)和雙目軸模型結(jié)構(gòu)。在雙目視覺分析中，兩相機(jī)不同的幾何配置方 法，將直接影響雙目的共同視野、搜索的范圍以及定位的精度等。雙目 橫模型結(jié)構(gòu)是指兩個相機(jī)平行放置，而在雙目軸模型結(jié)構(gòu)中，兩個相機(jī) 與目標(biāo)在同一條直線上。常用的成像系統(tǒng)模型為仿照人眼的雙目橫模型 結(jié)構(gòu)。 用G和c。兩個相機(jī)同時觀察P點，并且如果我們能確定

42、在G相機(jī) 圖像上的毋點與在q相機(jī)圖像上的P是空間同一點P的圖像點(稱日、 e為對應(yīng)點)，則空間點P既位于D異上，又位于D，P上，由此P點是 q毋和DrP兩條直線的交點，即它的三維位置是唯一確定的。其關(guān)系如 - Page 20-圖24所示。 cI 。? 圖24用攝像機(jī)觀察空間點 關(guān)系式為llrl： r m：2研k 所 y m (25) 塒：2塒：3 制 硝：m羔 m ，MM mr Z r叫81 r m 2i m己 m r 歷R lI m 肌223 所22M (26) 屹叱 m 2玎2 碗咳m”2 坍 2并 L1，J L1J Z 1J 其中：(，v。，1)與(“：，V2，1)為另、只點在各自圖像中

43、的圖像齊次坐 3 4)分別為投影矩陣的第i行第j列的元 標(biāo)；塒：(七=1，2；i=l，2，3；j=12 16 - Page 21-素。(x，Y，z，1)為P點在世界坐標(biāo)系下的齊次坐標(biāo)?？稍谏厦鎯蓚€公式 中消去Zc。、ZcR，得到關(guān)于X，Y，Z的四個線性方程咿1，如下所示： I研；l一肌z+l肌312一所：2)l，+lm，13一塒113)z=m141一“l(fā)mL 式(27)的幾何意義為過DfC的直線，式(28)為過D，只的直線。聯(lián) 立解得到的(X，Y，Z)即為點P的空間坐標(biāo)。 在相機(jī)的雙目橫模型結(jié)構(gòu)設(shè)置中，由于兩相機(jī)在水平方向相隔一定 距離，所以存在以下問題： (1)利用橫模型系統(tǒng)的一個固有問題是

44、無法匹配點所引起的不IF確 對應(yīng)性。產(chǎn)生無法匹配點的原因有兩種：一是目標(biāo)元素不處于共同視野， 只有一個像機(jī)的成像平面中有其投影；二是即使目標(biāo)元素處于共同視 野，一個像機(jī)平面中有其投影，而另一個像機(jī)的成像平面中，因為由別 的目標(biāo)元素所遮擋，不存在投影。在這兩種情況下，對一幅圖像選擇這 些投影點，而在另一幅圖像中則找不到它的對應(yīng)性。顯然，減小像機(jī)之 間的位移，可使其共同視野增加，出現(xiàn)上述情況的概率也隨之減小。 (2)在相機(jī)的雙目橫模型結(jié)構(gòu)設(shè)置的另一個突出的問題是提高深度 測量的精度與降低不正確對應(yīng)性，對像機(jī)間的間隔AX有不同的要求。 為了擴(kuò)大共同視野，就要減少像機(jī)問的距離，這樣距離測量的準(zhǔn)確度就

45、變差。當(dāng)像機(jī)問隔At=0時，問題不存在了，但是雙目視覺也就隨之 消失了。反之，若增加像機(jī)之問的距離，則將增加深度測量的精度，而 共同視野及不含糊匹配的概率也隨之降低。 24小結(jié) 本章介紹了計算機(jī)視覺系統(tǒng)中常用的CCD攝像機(jī)的工作原理，介紹 了一些常用的坐標(biāo)系并建立了攝像機(jī)的透視投影成像模氆，以立體視覺 中的平行軸立體成像模型為例，分析了立體視覺測距原理，引出了立體 匹配問題。 7 - Page 22- 第三章 基于機(jī)器視覺的圖像處理技術(shù)的研究 圖像處理技術(shù)涉及到數(shù)學(xué)、計算機(jī)科學(xué)、模式識別、人工智能、信 息論、生物醫(yī)學(xué)等學(xué)科，是一門多學(xué)科交叉應(yīng)用技術(shù)。本章主要研究 Windows環(huán)境下圖像顯示、像素灰度提取、圖像濾波和圖像增強(qiáng)等技術(shù)。 31Windows位圖 圖像在計算機(jī)中是用文件的形式存放的，常用的圖像文件格式有 BMP(Windows Bitmap)格式、PCX格式、GIF格式、TIFF格式、JPEG格 式等【l”。VisualC+主要針對位圖BMP進(jìn)行處理，位圖也是本文的主 要研究圖像，對于其它格式的圖像，我們可以用圖像處理軟件如ACDSee 把它轉(zhuǎn)換成