基于SIFT特征匹配的三維重建答辯

基于SIFT特征匹配的雙目視覺(jué)圖像識(shí)別定位系統(tǒng)研究

內(nèi)容結(jié)構(gòu)研究背景提出問(wèn)題匹配特征立體匹配SIFT點(diǎn)特征SIFT算法匹配解決途徑攝像機(jī)標(biāo)定三維重建像素坐標(biāo)系2D世界坐標(biāo)系3D機(jī)械手抓取識(shí)別定位3D2D一、課題研究背景利用視覺(jué)系統(tǒng)獲取環(huán)境信息，視覺(jué)是最重要的感覺(jué)能力；選擇合理的匹配特征,以克服匹配準(zhǔn)確性與恢復(fù)視差全面性間的矛盾；選擇有效的匹配準(zhǔn)則和算法結(jié)構(gòu),以解決存在嚴(yán)重灰度失真、幾何畸變(透視、旋轉(zhuǎn)、縮放等)、噪聲干擾、特殊結(jié)構(gòu)(平坦區(qū)域、重復(fù)相似結(jié)構(gòu)等)及遮擋景物的匹配問(wèn)題；找到目標(biāo)工件——識(shí)別；判斷出工件的三維位置和姿態(tài)——定位；指導(dǎo)機(jī)械手的抓取。返回二、雙目攝像機(jī)標(biāo)定針孔相機(jī)模型雙目立體視覺(jué)標(biāo)定原理成像平面坐標(biāo)系攝像機(jī)坐標(biāo)系像素坐標(biāo)系

世界坐標(biāo)系M攝像機(jī)標(biāo)定M畸變模型本文采用非線(xiàn)性攝像機(jī)模型,即針孔攝像機(jī)加上鏡頭畸變補(bǔ)償,如下圖所示。

其中（，）為畸變矯正之后的像素坐標(biāo)，即標(biāo)準(zhǔn)像素坐標(biāo)，(，)為測(cè)量值，(，)為畸變偏離值，通常只取第一項(xiàng)，，，為鏡頭畸變參數(shù)。攝像機(jī)簡(jiǎn)化畸變模型可表示為：

畸變模型數(shù)學(xué)表述：

改進(jìn)Tsai兩步法標(biāo)定預(yù)先標(biāo)定的攝像機(jī)參數(shù)

攝像機(jī)參數(shù)的標(biāo)定先求得部分?jǐn)z像機(jī)的參數(shù),如：圖像縱橫比,主點(diǎn)坐標(biāo)(,),再利用徑向排列約束求解大部分的外參數(shù)(5個(gè)),最后引入畸變模型,通過(guò)事先求得的部分?jǐn)z像機(jī)參數(shù),線(xiàn)性地求解其余的攝像機(jī)參數(shù),如:畸變因子(內(nèi)部參數(shù)),平移分量。

對(duì)于每一個(gè)標(biāo)定點(diǎn),已知其世界坐標(biāo)和對(duì)應(yīng)的圖像坐標(biāo)就可以列出一個(gè)方程,取多個(gè)標(biāo)定點(diǎn)(大于5個(gè)),就可以利用最小二乘法求解出方程組。利用徑向排列約束的攝像機(jī)參數(shù)標(biāo)定1.求解旋轉(zhuǎn)變量和平移變量、

其中，，，聯(lián)立以上兩個(gè)方程,利用最小二乘法即可同時(shí)求解出各參數(shù)。2.求解畸變因子、平移分量標(biāo)定過(guò)程

在平面模板中，有的學(xué)者應(yīng)用棋盤(pán)方格的角點(diǎn)來(lái)提供標(biāo)定點(diǎn)，有的學(xué)者應(yīng)用圓的圓心來(lái)提供標(biāo)定點(diǎn)。一般來(lái)說(shuō)，用圓的圓心作為標(biāo)定點(diǎn)精度會(huì)比較高一些。

選取用圓心陣列型平面標(biāo)定模板來(lái)進(jìn)行雙目立體視覺(jué)系統(tǒng)的標(biāo)定。標(biāo)定板像素坐標(biāo)提取雙目立體視覺(jué)系統(tǒng)拍攝標(biāo)定板圖像利用Halcon軟件編程提取圓心的像素坐標(biāo)世界坐標(biāo)的獲取

應(yīng)用固高GRB-400型四自由度工業(yè)機(jī)械臂的末端執(zhí)行器（手爪）獲取49個(gè)標(biāo)定點(diǎn)的世界坐標(biāo)值，并保存到指定文件中以備標(biāo)定程序使用。

標(biāo)定結(jié)果標(biāo)定結(jié)果分析（1）X坐標(biāo)的最大絕對(duì)誤差為0.9590（mm），Y坐標(biāo)的最大絕對(duì)誤差為0.3491（mm）；以上均滿(mǎn)足標(biāo)定要求不大于1mm。（2）利用基于畸變模型的改進(jìn)Tsai兩步法，可以滿(mǎn)足標(biāo)定和機(jī)器人抓取的精度需要（機(jī)器人抓取要求誤差不大于5mm）。誤差的來(lái)源主要有：攝像機(jī)本身的物理特性、視場(chǎng)范圍的大小對(duì)拍攝圖像的影響等。返回三、SIFT特征提取檢測(cè)尺度空間極值精煉特征點(diǎn)位置指定特征點(diǎn)的方向生成特征描述符SIFT算法首先在尺度空間進(jìn)行特征檢測(cè)，并確定關(guān)鍵點(diǎn)(Keypoints)的位置和關(guān)鍵點(diǎn)所處的尺度，然后使用關(guān)鍵點(diǎn)鄰域梯度的主方向作為該點(diǎn)的方向特征，以實(shí)現(xiàn)算子對(duì)尺度和方向的無(wú)關(guān)性。一幅圖像SIFT特征向量的生成算法總共包括4步：

DoG尺度空間極值檢測(cè)生成特征描述符SIFT特征提取結(jié)果特征點(diǎn)提取生成特征位置及大小返回四、基于SIFT算法的工件圖像匹配

立體匹配概念與分類(lèi)

立體匹配的四個(gè)關(guān)鍵要素

算法框架

極線(xiàn)幾何

沿極線(xiàn)搜索結(jié)果

SIFT匹配算法結(jié)果分析立體匹配概念與分類(lèi)立體匹配概念立體匹配是尋找同一場(chǎng)景在兩臺(tái)或者多臺(tái)攝像機(jī)從不同視角拍攝的二維圖像中的對(duì)應(yīng)關(guān)系。立體匹配分類(lèi)區(qū)域匹配、特征匹配、相位匹配返回立體匹配的四個(gè)關(guān)鍵要素立體匹配匹配基元選取相似性度量搜索空間搜索策略SIFT特征歐氏距離一維直線(xiàn)沿極線(xiàn)搜索返回算法框架

左、右圖像分別是同一場(chǎng)景下雙目視覺(jué)拍攝的左視圖和右視圖。首先對(duì)左圖進(jìn)行SIFT特征點(diǎn)提取，接下來(lái)對(duì)于左圖中的每一個(gè)特征點(diǎn)，根據(jù)計(jì)算機(jī)視覺(jué)中的極線(xiàn)幾何(Epipolargeometry)理論，經(jīng)過(guò)計(jì)算在右圖中得到一條對(duì)應(yīng)于該特征點(diǎn)的極線(xiàn)(Epipolarline)，這樣匹配點(diǎn)的搜索空間就從整幅圖像2D空間的盲目搜索降為沿著極線(xiàn)的1D搜索。最后再SIFT匹配算法進(jìn)行匹配。左圖像右圖像SIFT特征提取SIFT特征匹配極線(xiàn)抽取返回極線(xiàn)幾何

據(jù)極線(xiàn)幾何的描述，在實(shí)際匹配過(guò)程中，左圖像平面任一點(diǎn)的搜索不需要在整幅圖像上搜索，它必然位于極線(xiàn)點(diǎn)的極線(xiàn)。利用極線(xiàn)約束的原理，在得到雙目立體視覺(jué)中一幅圖像的SIFT特征描述子（關(guān)鍵點(diǎn)）之后，只要沿著對(duì)應(yīng)關(guān)鍵點(diǎn)的極線(xiàn)搜索，便可以在另一幅圖像上找到與之對(duì)應(yīng)的關(guān)鍵特征點(diǎn)。利用這種方法可以有效地將搜索范圍從整個(gè)圖像降低為沿著確定極線(xiàn)線(xiàn)性（一維）的搜索，從而節(jié)省計(jì)算時(shí)間和提高匹配效率。

極線(xiàn)幾何關(guān)系在數(shù)學(xué)上可以用基礎(chǔ)矩陣來(lái)表示。

8點(diǎn)法——求解基礎(chǔ)矩陣F

已知左圖像上一SIFT特征點(diǎn)得出右圖像上的極線(xiàn)方程搜索寬度：搜索空間的確定就是兩幅圖像之間幾何變換的確定，如果圖像的位置僅僅只存在平移的變化，那么需要一個(gè)二維的搜索空間了。而沿極線(xiàn)的一維搜索只需要確定搜索寬度。搜索寬度定為30（即最大視差為30個(gè)像素），通過(guò)計(jì)算得到特征點(diǎn)所在左圖像和對(duì)應(yīng)的搜索圖（右圖像）各自的SIFT特征描述向量后，下一步采用特征向量的歐氏距離作為特征點(diǎn)和匹配點(diǎn)的相似性度量。即對(duì)左圖中每一個(gè)特征點(diǎn)，分別計(jì)算此特征點(diǎn)的特征向量與相應(yīng)的右圖（搜索圖）的特征向量之間的歐氏距離，最后取最小歐氏距離搜索子圖的中心點(diǎn)作為該特征點(diǎn)的匹配點(diǎn)。返回沿極線(xiàn)搜索結(jié)果左圖像右圖像右圖像加椒鹽噪聲匹配

右圖像加高斯噪聲匹配

右圖像亮度增強(qiáng)匹配

左圖像右圖像右圖像左圖像右圖像加高斯噪聲并減弱亮度匹配

對(duì)于環(huán)境比較復(fù)雜，拍攝的圖像有噪聲和亮度變化時(shí)，按此方法仍然能正確的搜索出左圖像上一個(gè)SIFT特征點(diǎn)在右圖像上的對(duì)應(yīng)極線(xiàn)和特征點(diǎn)。返回SIFT匹配算法結(jié)果分析

左圖像右圖像匹配結(jié)果

我們可以看到，有誤匹配現(xiàn)象存在。這是因?yàn)楫?dāng)空間的三維場(chǎng)景投影成二維圖像時(shí)，同一景物在不同視點(diǎn)下的圖像會(huì)有很大的不同，而且場(chǎng)景中的很多因素，像光照條件、景物幾何形狀和物理特性、噪聲干擾和鏡頭畸變等都會(huì)造成不同程度誤匹配。匹配點(diǎn)對(duì)有19對(duì)，誤配點(diǎn)為1個(gè)，即誤配率為5.26%。用此方法對(duì)所拍攝的50幅圖像進(jìn)行處理，提取到的SIFT特征點(diǎn)數(shù)少于直接使用SIFT特征提取算法得到的特征點(diǎn)數(shù)（減少比例與環(huán)境復(fù)雜程度有關(guān)），誤配率平均值為5.6%。因此，本文所用此方法能有效提高匹配準(zhǔn)確度。

返回五、目標(biāo)識(shí)別定位與三維重建

模板匹配原理

基于模板匹配的工件識(shí)別定位

工件的三維空間定位(三維重建)模板匹配原理搜索圖模板圖返回基于模板匹配的工件識(shí)別一般情況下的識(shí)別工件縮小識(shí)別搜索圖模板圖搜索圖模板圖工件放大識(shí)別工件放大旋轉(zhuǎn)有角度的識(shí)別搜索圖模板圖工件有遮擋識(shí)別

模板識(shí)別時(shí)以SIFT特征點(diǎn)作為匹配描述子，在模板圖像和實(shí)時(shí)拍攝圖像中搜索出匹配的SIFT特征點(diǎn)并進(jìn)行匹配。一般工件特別光滑時(shí)，紋理信息不明顯，因此，檢測(cè)到的SIFT特征點(diǎn)非常少，匹配點(diǎn)數(shù)量也比較少，故此本文中模板與搜索圖像有3個(gè)或以上3個(gè)SIFT特征點(diǎn)成功匹配上，則可確定該目標(biāo)與模板中物體是一類(lèi)。工件定位計(jì)算模板和左右圖像同時(shí)匹配上的特征點(diǎn)分別得出標(biāo)志點(diǎn)像素

獲得4對(duì)空間匹配點(diǎn)，在左圖中的坐標(biāo)分別為（1088561），（815714），（823672）,(828674)，對(duì)應(yīng)右圖中的坐標(biāo)分別為(701802)，(419697),(427652),(688542)。計(jì)算的左圖中標(biāo)志點(diǎn)像素為(893.4，676.4)，右圖中標(biāo)志點(diǎn)像素為(579.2，644.4)。各空間匹配點(diǎn)位置如圖5-6中‘+’所示，計(jì)算出的標(biāo)志點(diǎn)用‘*’。左圖像右圖像返回工件的三維空間定位(三維重建)X、Y、Z左圖像標(biāo)志點(diǎn)u1、v1右圖像標(biāo)志點(diǎn)u2、v2三維重建標(biāo)定(893.4，676.4)(579.2，644.4)X、Y、Z25.628395.67642.998M返回六、雙目立體視覺(jué)工件抓取

系統(tǒng)與試驗(yàn)

抓取系統(tǒng)硬件設(shè)備

工件抓取控制系統(tǒng)

機(jī)器人抓取試驗(yàn)抓取系統(tǒng)硬件設(shè)備GRB-400型四自由度工業(yè)機(jī)器人如圖所示。整個(gè)機(jī)器人系統(tǒng)由機(jī)器人本體、供電電纜、控制柜、電磁手爪、反饋系統(tǒng)等組成。GRB-400型機(jī)器人具有4個(gè)自由度，其中關(guān)節(jié)1、關(guān)節(jié)2和關(guān)節(jié)4為旋轉(zhuǎn)關(guān)節(jié)，關(guān)節(jié)3為直線(xiàn)關(guān)節(jié)。GXYZ-3030型三維數(shù)控平臺(tái)HV1302UC數(shù)字?jǐn)z像頭

數(shù)字?jǐn)z像頭外觀圖與云臺(tái)的安裝方式硬件連接實(shí)驗(yàn)設(shè)備控制界面

此控制程序界面集成了GRB-400型機(jī)器人的所有控制模板和HV1302UC攝像機(jī)的圖像采集、處理以及GXYZ-3030型三維數(shù)控平臺(tái)的“測(cè)試試驗(yàn)”控制程序。將幾種功能集成于統(tǒng)一的界面下，有助于對(duì)系統(tǒng)軟硬件環(huán)境的控制，有助于對(duì)機(jī)器人視覺(jué)系統(tǒng)做整體的開(kāi)發(fā)。抓取過(guò)程從實(shí)驗(yàn)臺(tái)上抓起工件放在指定位置返回七、總結(jié)展望研究了有關(guān)雙目立體視覺(jué)系統(tǒng)的標(biāo)定的問(wèn)題。分析了畸變模型，選擇改進(jìn)的Tsai兩步法標(biāo)定方法，并進(jìn)行了理論上的推導(dǎo)，給出了標(biāo)定實(shí)驗(yàn)結(jié)果。結(jié)果表明，該標(biāo)定方法考慮攝像機(jī)畸變，能夠滿(mǎn)足抓取的精度需要。引入圖像處理中的點(diǎn)特征提取和匹配問(wèn)題，應(yīng)用能夠抵抗光照、旋轉(zhuǎn)、縮放變化的SIFT特征匹配算法完成這一過(guò)程，并應(yīng)用極線(xiàn)幾何原理將二維搜索降低為一維搜索，提高匹配率，減少匹配時(shí)間。返回應(yīng)用獲取實(shí)時(shí)模板的模板匹配算法識(shí)別出目標(biāo)工件，應(yīng)用標(biāo)定結(jié)果和立體匹配結(jié)果進(jìn)行三維重建，完成目標(biāo)工件的三維實(shí)際位置的計(jì)算。根據(jù)實(shí)際工作環(huán)境，構(gòu)建工件抓取系統(tǒng)。該系統(tǒng)由視覺(jué)系統(tǒng)、三維數(shù)控平臺(tái)、執(zhí)行機(jī)構(gòu)和控制系統(tǒng)組成。利用VC++、HALCON和MATLAB等編程環(huán)境對(duì)整個(gè)系統(tǒng)進(jìn)行軟件開(kāi)發(fā)，完成系統(tǒng)構(gòu)建。通過(guò)整體試驗(yàn)及分析，實(shí)現(xiàn)了工件的識(shí)別、定位、抓取等功能性試驗(yàn)，證明了基于SIFT算法的雙目視覺(jué)圖像識(shí)別定位系統(tǒng)具有一定實(shí)際應(yīng)用價(jià)值。返回回答老師提問(wèn)1.回答楊世強(qiáng)老師的提問(wèn)：基于SIFT特征匹配時(shí)，附影會(huì)對(duì)匹配的結(jié)果產(chǎn)生怎樣的影響？該如何解決？答：圖像的附影太深，在SIFT特征提取時(shí)會(huì)提取到不在實(shí)體上的特征點(diǎn)，在匹配時(shí)，會(huì)產(chǎn)生誤匹配。解決方法：在圖像特征之前對(duì)拍攝圖像做預(yù)處理，利用圖像增強(qiáng)和圖像分割的方法分離提取出實(shí)體目標(biāo)，之后再做提取和匹配等處理。2.回答朱虹老師的問(wèn)題：（1）論文P36頁(yè)對(duì)右圖加噪聲之后，會(huì)否影響3.3節(jié)所提到SIFT特征點(diǎn)的提取？答：是有影響的，高斯噪聲影響比較明顯，椒鹽噪聲在參數(shù)較小時(shí)影響不大。高斯噪聲0.005倍噪聲0.01倍噪聲0.05倍噪聲0.1倍噪聲不加噪聲椒鹽噪聲不加噪聲0.005倍椒鹽噪聲0.05倍椒鹽噪聲0.01倍椒鹽噪聲0.1倍椒鹽噪聲

（2）P43，44圖5-4中工件縮小比例在多少范圍內(nèi)有效？有遮擋時(shí)，遮擋部位及面積為何范圍內(nèi)不影響識(shí)別結(jié)果？答：在拍攝環(huán)境不太復(fù)雜的情況下，工件縮小到0.2倍時(shí)仍能正確匹配。有遮擋時(shí)，遮擋部位一般不會(huì)影響識(shí)別結(jié)果，當(dāng)工件表面特征分布較為均勻時(shí)，遮擋面積大于目標(biāo)1/2時(shí)會(huì)影響識(shí)別結(jié)果?？s小到原圖的0.5倍縮小到原圖的0.4倍縮小到原圖的0.2倍遮擋的情況致謝

三年的研究生學(xué)習(xí)即將結(jié)束，回想這三年的生活和學(xué)習(xí)，我受益良多！更要感謝那些幫助過(guò)我和關(guān)心著我的人們。首先，