立體視覺匹配

1、立體視覺匹配4分開放分類：人工智能圖像處理計算機視覺收藏分享到頂2編輯詞條目錄1背景2發(fā)展與現(xiàn)狀3問題描述展開全部摘要糾錯編輯摘要立體視覺匹配(Stereo Correspondence )的目標是從不同視點圖像中找到匹配的對應點。 立體視覺匹配(Stereo Corresp on de nee )是計算機視覺 中的一個重要而又非常困難的問題， 它的目標是從不同 視點圖像中找到匹配的對應點。立體視覺匹配-背景人類的雙目立體視覺 系統(tǒng)是一個非常智能的系統(tǒng)。 場景中的光線在人眼這個精密的成像系統(tǒng)中被采集，通過神經(jīng)中樞 被送入包含有數(shù)以億計的 神經(jīng)元的大腦中被并行的處理，得到了實時的高清晰度的準確的

2、深度感覺信息。憑借著大腦的智能與人類的知識，即使是高度近視的人，在摘掉眼鏡之后仍然能夠得到比較準確的深度感。這樣智能的系統(tǒng)， 使得人類對環(huán)境的適應能力大大提高， 很多復雜的動作能夠得以完成：如行走、體育運動、駕駛車輛以及進行科學實驗等。相比之下，機器的立體視覺系統(tǒng)則要落后得多。相機采集到的圖像數(shù)據(jù)中可能存在較大的噪聲，相機參數(shù)也有可能不對稱；用于處理圖像的計算機大部分還是馮$cdot$諾依曼結構的串行計算機，處理能力與人腦相差甚遠。計算機視覺的研究歷史也不長：上世紀七十年代末之前的視覺研究主要集中于生理學和心理學上；在大衛(wèi)馬爾提出了視覺計算模型 以后,人們才慢慢的開始利用計算機和數(shù)學模型進行視

3、覺處理。早期的立體視覺，由于受限于硬件條件，只能對圖像上的特征點進行匹配，得到離散點的深度信息。然而，計算機硬件的發(fā)展非常迅速，正如摩爾定律所指出的，每18個月，計算機的硬件價格就下降一半，而性能則提高一倍。當計算機的處理能力不斷提高的時候，人們開始嘗試計算整幅圖的稠密對應關系，同時也開始采用一些更加復雜更加準確的數(shù)學工具進行計算。當前計算機立體視覺的水平與人類的雙目視覺水平還相距甚遠，對它的研究仍然是一個非常活躍的領域。大量的學校、公司以及研究機構的研究人員仍然在進行著對計算機立體視覺的 研究，這是因為計算機立體視覺與人眼立體視覺相比，主要有以下不可替代的優(yōu)點：精度高。 人眼的立體感知能力雖

4、然很強， 能夠很輕松的正確判斷出兩個物體的深度順 序，但是卻無法得到其精確的距離信息。然而，使用計算機立體視覺，通過精確的標定，使 用合適的計算方法， 在匹配正確的情況下可以得到非常精確的深度和位置等數(shù)值信息， 這使 得機器人的精密控制、三維模型重建等工作可以更好的完成。* 擴展能力強大。 由于計算機硬件和軟件不像人類的器官那樣不可改變， 計算機立體視 覺可以從各個方面對其進行擴展， 以滿足不同應用的需求。 首先， 計算機立體視覺并不限于 雙目視覺， 很多系統(tǒng)使用了三相機、 多相機甚至相機矩陣采集圖像。 相機的擺放方式除了類 似人眼的水平擺放， 還可以采用垂直擺放、 環(huán)繞擺放以及立體擺放等多種

5、靈活的方式， 有一 些系統(tǒng)的相機間的關系還可以根據(jù)需要進行動態(tài)變化。 此外，除了可見光， 使用特殊的相機， 還可以采集到其它各種類型的輸入數(shù)據(jù)， 如紅外線、核磁共振等。 所以說，計算機立體視覺 技術具有強大的擴展能力，能夠提供比人眼立體視覺系統(tǒng)更豐富的信息。* 除了以上的兩個特點，計算機還具有 連續(xù)工作時間長 、不易損壞 、保密性好 、沒有培 訓成本 、 結果易于保存和復制 等優(yōu)點。由此看來，對于立體視覺匹配的研究，能夠大大的增強計算機或機器人對環(huán)境的感知能力， 使得機器人能夠更好的適應環(huán)境、更加智能，從而能夠更好的為人們服務。如今立體視覺技術主要應用于如下一些領域： 三維環(huán)境感知與建模 、機

6、器人導航 、物體跟蹤 與檢測以及 圖像分割 等。隨著立體視覺技術的進一步發(fā)展， 可能會有更多的領域使用這項技 術。立體視覺匹配 - 發(fā)展與現(xiàn)狀如前所述，計算機視覺起始于大衛(wèi)馬爾等人提出的視覺的可計算模型。最簡單的的匹配算法利用匹配點周圍一個固定大小的窗口的灰度分布， 在一個可能的視差范圍內， 通過尋找兩 個對應窗口圖像向量的歸一化相關值的最大值得到視差，這一類方法也被稱為“區(qū)域匹配” 方法( Area Matching )。區(qū)域匹配的一個假設是空間的平面是所謂的正平面，也就是與相 機平面平行的平面， 而實際的場景中存在著大量的非正平面， 因此人們開始考慮利用一些更 有意義的特征點 ( 感興趣點

7、 )來進行匹配， 這種方法也被稱為特征匹配 ( Feature Matching ) 方法，如 Marr 和 Poggio 提出了多尺度的匹配算法，利用不同的 Laplacian 過零點以及 梯度進行匹配。立體視覺匹配的另一個挑戰(zhàn)在于匹配的歧義性： 對于一幅圖上的某個像素或特征， 另一幅圖 像可能有若干特征與之相似， 如何選擇正確的匹配是一個困難而又必須解決的問題。 Barn 提 出了松弛標號法( Relaxation-Labeling )，利用平滑性和投票的策略解決歧義性問題；Pollard等人定義了離散視差的視差梯度，通過限制視差梯度減小歧義情況下的錯匹配；Marr和Poggio 以及Zi

8、tnick和Kanade采用了合作的匹配框架， 試圖通過多個特征的匹配信息以及唯一性假設來解決歧義。更好的方法是采用全局的方法進行求解，把多個像素或特征的視差求解歸一到一個能量框架下。使用了能量優(yōu)化的框架之后，能量函數(shù)的定義和 優(yōu)化變成了兩個較為獨立的問題，可以分別加以研究和解決。在定義能量函數(shù)方面，不同的算法采用不同的匹配信息和不同的先驗假設來描述能量函數(shù)中的不同部分，通過這些假設把大量的特征聯(lián)系起來，聯(lián)合求解以消除歧義。在能量優(yōu)化方法方面，較傳統(tǒng)的有模擬退火(Simulated Annealing)算法、最可靠有限算法等。近些年，基于圖切割(Graph-Cuts)和置信度傳遞(Belief

9、-Propogation )的優(yōu)化算法逐漸被廣泛采用。以上算法的速度都較慢， 主要原因在于當平滑函數(shù)為一般函數(shù)的時候，以上的能量優(yōu)化函數(shù)是一個NP難題。為了提高效率，一些研究人員考慮采用具有低階多項式復雜度的動態(tài)規(guī)劃算法，此時需要把優(yōu)化局限于單條掃描線或把多連通的圖變成一棵樹。立體視覺匹配-問題描述i/plz 1f/JLcBc7圖1 ：標準配置下雙目立體視覺的幾何模型和視差的定義。圖中c和c'分別為參考相機和匹配相機的光心，Z為空間中點P的深度，B為基線長度，視差定義為P點在兩相機中成像的水平坐標的差值x - x'。立體視覺匹配問題的輸入為若干不同視角的相機采集的圖像，輸出是這

10、些圖像上的點的對應關系。圖1為標準配置下雙目立體視覺 的幾何模型。C和c'為兩相機的光心，f為焦距， B為兩光心的連線，也稱為基線，過光心且垂直于成像平面的直線稱為光軸。所謂標準配置是指兩個相機的光軸垂直于基線且互相平行。設兩相機的焦距相等，且相機的坐標系的水平坐標與基線方向平行，則空間中的點P在兩相機上成的像具有相同的豎直坐標，這個特點也叫立體視覺的 夕卜極線(Epipolar Line)(所謂的外極線是指外極平面和圖像平面的交 線，其中外極平面是包含兩個焦點和空間點的平面)約束。對于一般配置的相機(如圖 2 )，通過相機標定和配準，可以得到標準配置下的圖像。如無特殊說明，本文余下的部分所涉及的立體匹配問題，都是建立在標準配置下的幾何模型。1圖2 :一般位置的相機的立體成像幾何模型。通過相機的標定和配準，我們可以得到標準配置下的圖像，如圖中的虛線所示。圖中的$c$和$c'$為左右相機的光心，e和e'稱為外極點，M為三維空間中的一點，m和m'分別為M在兩相機上的成的像。設P點投影到兩相機后的圖像分別為X和X'， 我們說x和X'是一對對應點。如果我們用X和X'來表示它們的水平坐標，這兩個點的對應關系可以由如下定義的