雙目立體視覺

1、計算機雙目立體視覺 雙目立體視覺技術(shù)是仿照人類利用雙目線索感知深度信息的方法，實現(xiàn)對三維信息的感知。為解決智能機器人抓取物體、視覺導(dǎo)航、目標跟蹤等奠定基礎(chǔ)。 雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點之間的位置偏差，來獲取物體三維幾何信息的方法。融合兩只眼睛獲取的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對應(yīng)關(guān)系，將同一空間物理點在不同圖像中的映像點對應(yīng)起來，這個差別，我們稱作為視差（Disparity）圖像。雙目立體視覺系統(tǒng)立體視覺系統(tǒng)由左

2、右兩部攝像機組成，如圖，世界空間中的一點A(X,Y,Z)在左右攝像機的成像面和上的像點分別為 和。這兩個像點是世界空間中同一個對象點A的像，稱為“共軛點”。知道了這兩個共軛像點，分別作它們與各自相機的光心和的連線，即投影線和，它們的交點即為世界空間中的對象點A。這就是立體視覺的基本原理。雙目立體視覺智能視頻分析技術(shù)恢復(fù)場景的3D信息是立體視覺研究中最基本的目標，為實現(xiàn)這一目標，一個完整的立體視覺系統(tǒng)通常包含六個模塊：圖像獲取、攝像機標定、特征提取、立體匹配、三維恢復(fù)和視頻分析（運動檢測、運動跟蹤、規(guī)則判斷、報警處理）。圖像獲?。↖mage Acquisition）數(shù)字圖像的獲取是立體視覺的信息

3、來源。常用的立體視覺圖像一般為雙目圖像，有的采用奪目圖像。圖像的獲取方式有很多種，主要有具體運用的場合和目的決定。立體圖像的獲取不僅要滿足應(yīng)用要求，而且考慮視點差異、光照條件、攝像機的性能和場景特點等方面的影像。攝像機標定（Camera Calibration）圖像上每一點的亮度反映了空間物體表面某點反射光的強度，而該點在圖像上的位置則與空間物體表面相應(yīng)點的幾何位置有關(guān)。這些位置的相互關(guān)系由攝像機成像幾何模型來決定。該幾何模型的參數(shù)稱為攝像機參數(shù)，這些參數(shù)必須由實驗與計算來確定，實驗與計算的過程稱為攝像機定標。立體視覺系統(tǒng)攝像機標定是指對三維場景中對象點在左右攝像機圖像平面上的坐標位置和與其世

4、界空間坐標A（X, Y, Z）之間的映射關(guān)系的確立，是實現(xiàn)立體視覺三維模型重構(gòu)中基本且關(guān)鍵的一步。特征提?。‵eature Acquisition）特征提取的目的是獲取匹配得以進行的圖像特征，圖像特征的性質(zhì)與圖像匹配的方法選擇有著密切的聯(lián)系。目前，還沒有建立起一種普遍適用的獲取圖像特征的理論，因此導(dǎo)致了立體視覺研究領(lǐng)域中匹配特征的多樣化。像素相位匹配是近二十年才發(fā)展起來的一類匹配算法。相位作為匹配基元，本身反映著信號的結(jié)構(gòu)信息，對圖像的高頻噪聲有很好的一直作用，適于并行處理，能獲得亞像素級精度的致密視差。但存在相位奇點和相位卷繞的問題，需加入自適應(yīng)濾波器解決?；蛘呤窍袼氐募希部梢允撬鼈兊某?/p>

5、象表達，如圖像的結(jié)構(gòu)、圖像的目標和關(guān)系結(jié)構(gòu)等。常用的匹配特征主要有點狀特征、線裝特征和區(qū)特征等幾種情形。一般而言，尺度較大的圖像特征蘊含較多的圖片信息，且特征本身的數(shù)目較少，匹配效率高；但特征提取和描述過程存在較大的困難，定位精度也較差。而對于尺度較小的圖像特征來說，對其進行表達和描述相對簡單，定位的精度高；但由于特征本身數(shù)碼較多，所包含的圖像信息少，在匹配時需要采用較為嚴格的約束條件和匹配策略，一盡可能的減少匹配歧義和提高匹配效率。總的來說，好的匹配特征應(yīng)該具有要可區(qū)分性、不變性、唯一性以及有效解決匹配歧義的能力。圖像匹配（Image Matching）在立體視覺中，圖像匹配是指將三維空間中

6、一點A（X, Y, Z）在左右攝像機的成像面和上的像點和對應(yīng)起來。圖像匹配是立體視覺中最重要也是最困難的問題，一直是立體視覺研究的焦點。當(dāng)空間三維場景經(jīng)過透視投影（Perspective Projection）變換為二維圖像時，同一場景在不同視點的攝像機圖像平面上成像會發(fā)生不同程度的扭曲和變形，而且場景中的光照條件、被測對象的幾何形狀和表面特性、噪聲干擾和畸變、攝像機特性等諸多因素的影響都被集中體現(xiàn)在單一的圖像灰度值中。顯然，要包含了如此之多不利因素的圖像進行精準的匹配是很不容易的。根據(jù)匹配基元的不同，立體視覺匹配算法分為三大類：區(qū)域匹配、特征匹配和相位匹配。這三類算法因匹配基元的不同，它們判

7、斷對應(yīng)點匹配的理論依據(jù)也有所不同，同時匹配基元的穩(wěn)定性、致密性和歧義性程度直接決定了各類算法的基本特性。另一方面，對于不同的匹配基元，相似性測度的算法模型可以是通用的，比如都可以用距離測度來進行匹配度量。而且，各類匹配算法中不乏一些共有的約束條件。特征點的定位 視差測距原理 當(dāng)攝像機的幾何位置固定時，視差就只與d有關(guān)三維恢復(fù)（3D Reconstruction）在完成立體視覺系統(tǒng)的攝像機標定和圖像匹配工作以后就可以進行被測對象表面點的三維信息恢復(fù)。影響三維測量精度的因素主要有攝像機標定誤差、CCD成像設(shè)備的數(shù)字量化效應(yīng)、特征提取和匹配定位精度等。視頻分析（運動檢測、運動跟蹤、規(guī)則判斷、報警處理

8、）通過視差計算，得到全屏幕的視差圖像后，采用背景建模的方式，得到運動前景物的視差圖像，再進行膨脹和腐蝕算法進行圖像的預(yù)處理，得到完整的可供分析的前景運動物體視差圖。采用運動跟蹤算法，全屏實時檢測物體的大小、運動軌跡，并與事先設(shè)置的規(guī)則進行對比，如果有人進入或者離開設(shè)置的報警區(qū)域，系統(tǒng)則實時報警。視差：I1=rgb2gray(imread('scene_left.jpg');I2=rgb2gray(imread('scene_right.jpg');subplot(131);imshow(I1);subplot(132);imshow(I2);d=disparit

9、y(I1,I2);subplot(133);imshow(d);I1=rgb2gray(imread('scene_left.jpg');I2=rgb2gray(imread('scene_left.jpg');subplot(131);imshow(I1);subplot(132);imshow(I2);d=disparity(I1,I2);subplot(133);imshow(d);極線：極平面與圖像平面的交線；極平面：空間點、兩像機光心決定的平面；epipolarLine計算兩幅圖像的極線load stereoPointPairsfLMedS,inlie

10、rs=estimateFundamentalMatrix( matchedPoints1, matchedPoints2, 'NumTrials', 4000);I1=imread('scene_left.jpg');figure;subplot(121);imshow(I1);title('Inliers and Epipolar Lines in First Image');hold on;plot(matchedPoints1(inliers,1),matchedPoints1(inliers,2),'go');epiLin

11、es = epipolarLine(fLMedS',matchedPoints2(inliers,:);pts = lineToBorderPoints(epiLines,size(I1);line(pts(:,1,3)',pts(:,2,4)');% show the inliers in the second image.I2=imread('scene_right.jpg');subplot(122);imshow(I2);title('Inliers and Epipolar Lines in second Image');hol

12、d on;plot(matchedPoints2(inliers,1),matchedPoints2(inliers,2),'go');epiLines = epipolarLine(fLMedS',matchedPoints1(inliers,:);pts = lineToBorderPoints(epiLines,size(I2);line(pts(:,1,3)',pts(:,2,4)');truesize;對應(yīng)點的估計基礎(chǔ)矩陣estimateFundamentalMatrix左右兩幅圖像相對應(yīng)的點之間的關(guān)系可以通過本質(zhì)矩陣或是基礎(chǔ)矩陣來表明。本質(zhì)矩

13、陣是攝像機標定的情況下用的，公式：其中和分別是兩個齊次攝像機的坐標向量。本質(zhì)矩陣是奇異矩陣，并有兩個相等的非零奇異值，秩為2.本質(zhì)矩陣是攝像機非標定的情況下用的，公式：基礎(chǔ)矩陣的秩為2.load stereoPointpairsF = estimateFundamentalMatrix( matchedPoints1, matchedPoints2)I1=imread('scene_left.jpg');I2=imread('scene_right.jpg'); cvexShowImagePair(I1,I2,'matchedPoints in Left

14、 Image','matchedPoints in Right Image', 'MultipleColors',matchedPoints1,matchedPoints2); 問題： cvexShowImagePair在matlab中找不到源程序.所以無法顯示匹配的點>> fourF = 0.0000 0.0000 -0.0209 -0.0000 0.0000 -0.0214 0.0202 0.0190 0.9992極點：基線與兩攝像機圖像平面的交點；基線：左右兩相機光心的連線；判斷圖像是否包含極點 isEpipoleInImageload

15、 stereoPointPairsF = estimateFundamentalMatrix( matchedPoints1, matchedPoints2);imageSize = 200 300;isIn,epipole=isEpipoleInImage(F,imageSize)isIn = 0epipole = 114.8720 222.6113isIn說明的是圖像是否包含極點，epipole標準極點的位置。 基于雙目立體視覺的物體深度信息提取系統(tǒng)研究攝像機標定，圖像預(yù)處理，立體匹配以及深度信息提取 攝像機標定 圖像上每一個像素的灰度反映了空間物體表面某點的反射光的強度，而該點在圖像上的

16、位置則與空間物體表面對應(yīng)點的幾何位置有關(guān)。這些位置的相互關(guān)系，由攝像機成像系統(tǒng)的幾何投影模型所決定。 I1=rgb2gray(imread('cup_left.jpg');subplot(321);imshow(I1);I2=rgb2gray(imread('cup_right.jpg');subplot(322); imshow(I2); %檢測特征點pts1 = detectSURFFeatures(Iin);Pts2 = detectSURFFeatures(Iout);featuresIn, validPtsIn = extractFeatures(I1

17、, pts1);featuresOut, validPtsOut = extractFeatures(I2, pts2); %匹配特征點indexPairs = matchFeatures(features1, features2);matchedPts1 = validPts1(indexPairs(:,1);matchedPts2 = validPts2(indexPairs(:,2);subplot(323); showMatchedFeatures(Iin,Iout,matchedPts1,matchedPts2);title('Matched SURF points, inc

18、luding outliers'); % Exclude the outliers and compute the transformation matrixtform,inlierPtsOut,inlierPtsIn = estimateGeometricTransform(.matchedPts2,matchedPts1,'similarity');subplot(324); showMatchedFeatures(Iin,Iout,inlierPts1,inlierPts2);title('Matched inlier points'); % Re

19、cover the original image I from IoutoutputView = imref2d(size(I1);Ir = imwarp(I2, tform, 'OutputView', outputView);subplot(325); imshow(Ir); returns an image that is SCALE times the size of A, which is a grayscale, RGB, or binary image. SURFPoints, extractFeatures, matchFeatures, detectBRISKFeatures, detectFASTFeatures, detectHarrisFeatures, detectMinEigenFeatures, detectMSERFeaturesdetectSURFFeatures load stereoPointPairs fLMedS, inliers = estimateFundamentalMatrix(. matchedPoin