基于雙目視覺的三維信息恢復(fù)

工學(xué)碩士學(xué)位論文基于雙目視覺的三維信息恢復(fù)THREEDIMENSIONALINFORMATIONRECOVERYBASEDONBINOCULARVISION學(xué)科專業(yè)控制工程機(jī)電工程與自動(dòng)化學(xué)院二零一六年六月摘要現(xiàn)實(shí)世界是一個(gè)三維立體世界，通常的二維顯示已很難滿足人們的需求，人們希望能夠真實(shí)的還原出空間物體的三維信息。隨著現(xiàn)代信息技術(shù)的飛速發(fā)展，三維顯示技術(shù)不斷走向成熟，它能夠真實(shí)再現(xiàn)客觀世界的場景，呈現(xiàn)出場景的深度、層次和真實(shí)性。越來越多的3D應(yīng)用正在進(jìn)入并改善著我們的生活。雙目視覺是機(jī)器視覺的一種重要形式，具有精度高、擴(kuò)展能力強(qiáng)大，連續(xù)工作時(shí)間長、結(jié)果易于保存和復(fù)制等不可替代的優(yōu)點(diǎn)，是目前應(yīng)用比較廣泛的三維恢復(fù)技術(shù)之一。本文分別對雙目視覺系統(tǒng)的構(gòu)建、雙目攝像機(jī)的標(biāo)定、圖像的獲取與預(yù)處理、特征提取與匹配、深度信息恢復(fù)等五個(gè)部分進(jìn)行討論與分析，主要的內(nèi)容包括（1）搭建雙目視覺平臺(tái)，利用該平臺(tái)進(jìn)行圖像的獲取，攝像機(jī)的標(biāo)定，雙目立體匹配，以及三維深度信息提取。調(diào)整兩個(gè)攝像頭的高度，保證在使用過程中雙目攝像機(jī)成像處在同一水平線上，減小系統(tǒng)誤差。（2）結(jié)合平面標(biāo)定模板的攝像機(jī)標(biāo)定方法，使用MATLABGUI設(shè)計(jì)攝像機(jī)標(biāo)定界面，該標(biāo)定界面操作簡單、方便、快捷，簡化了攝像機(jī)標(biāo)定工作。首先打印一個(gè)標(biāo)準(zhǔn)2D的79（252MM，324MM）棋盤格平面標(biāo)定板，使用左、右攝像機(jī)從不同角度各拍攝20張棋盤標(biāo)定模板圖像，輸入到所設(shè)計(jì)的攝像機(jī)標(biāo)定界面，進(jìn)行標(biāo)定，求解出左、右攝像機(jī)參數(shù)。（3）使用已標(biāo)定的雙目攝像機(jī)獲取立體圖像對，對獲取的圖像進(jìn)行預(yù)處理，通常獲取的圖像中包含的信息量比較大，而且還有可能摻雜著各種噪聲。因此在進(jìn)行立體匹配之前，需要把復(fù)雜的有噪聲的圖像簡單化。主要是對圖像進(jìn)行灰度化處理、平滑濾波，減少圖像中的噪聲干擾，提高圖像邊緣的可檢測性，為雙目立體匹配打好堅(jiān)實(shí)基礎(chǔ)。（4）雙目立體匹配主要是對待匹配的圖像和參考圖像進(jìn)行特征點(diǎn)的檢測與匹配，得出兩幅圖像上對應(yīng)特征點(diǎn)之間的差異，求出兩幅圖像的視差。選取四組不同的圖像對SIFT和SURF匹配算法在特征點(diǎn)檢測數(shù)量和算法運(yùn)行時(shí)間上進(jìn)行實(shí)驗(yàn)對比，由實(shí)驗(yàn)結(jié)果選擇性能較好的特征匹配算法，對目標(biāo)圖像進(jìn)行匹配，得到視差。（5）三維信息恢復(fù)是通過雙目視覺三角測量原理，計(jì)算出目標(biāo)體的深度信息。通過改變雙目視覺系統(tǒng)與目標(biāo)物體的距離，選取測量點(diǎn)進(jìn)行測試，將實(shí)驗(yàn)得到深度信息與真實(shí)信息比較，得到系統(tǒng)的誤差大小，實(shí)驗(yàn)結(jié)果表明在雙目視覺系統(tǒng)的測量范圍內(nèi)，本文的雙目視覺系統(tǒng)的總體誤差在5以內(nèi)，誤差較小，為后續(xù)的應(yīng)用奠定了理論基礎(chǔ)。關(guān)鍵詞雙目視覺；攝像機(jī)標(biāo)定；立體匹配；三維信息恢復(fù)ABSTRACTTHEREALWORLDISATHREEDIMENSIONALWORLD,USUALLY,2DDISPLAYCANNOTMEETTHENEEDSOFHUMANBEINGSPEOPLEWANTTOBEABLETOTRULYRESTORETHETHREEDIMENSIONALINFORMATIONOFSPACEOBJECTSWITHTHERAPIDDEVELOPMENTOFMODERNINFORMATIONTECHNOLOGY,3DDISPLAYTECHNOLOGYHASBECOMEMATURE,ITCANREPRODUCETHEOBJECTIVEWORLDOFTHESCENE,SHOWINGTHEDEPTHOFTHESCENE,THELEVELANDAUTHENTICITYMOREANDMORE3DAPPLICATIONSAREENTERINGANDIMPROVINGOURLIVESBINOCULARVISIONISANIMPORTANTFORMOFMACHINEVISION,HASTHEADVANTAGESOFHIGHPRECISION,POWERFULEXPANSIONABILITY,LONGCONTINUOUSWORKINGTIME,RESULTSAREEASYTOSTOREANDCOPYIRREPLACEABLEBINOCULARVISIONISONEOFTHEMOREWIDELYUSED3DRECOVERYTECHNIQUESTHECONSTRUCTIONOFBINOCULARVISIONSYSTEM,BINOCULARCAMERACALIBRATION,IMAGEACQUISITIONANDPREPROCESSING,FEATUREEXTRACTIONANDMATCHING,DEPTHINFORMATIONRECOVERYAREDISCUSSEDANDANALYZEDINTHISARTICLE,MAINLYCOMPLETEDTHEFOLLOWINGWORK1BUILDAPLATFORMOFBINOCULARVISIONANDUSETHISPLATFORMFORIMAGEACQUISITION,CAMERACALIBRATION,BINOCULARSTEREOMATCHING,DEPTHANDTHREEDIMENSIONALINFORMATIONEXTRACTIONADJUSTTHEHEIGHTOFTHETWOCAMERAS,GUARANTEEINTHEPROCESSOFUSINGBINOCULARBINOCULARCAMERAIMAGINGATTHESAMELEVEL,REDUCETHESYSTEMERROR2COMBINEDWITHTHECAMERACALIBRATIONMETHODOFPLANECALIBRATIONTEMPLATE,USINGMATLABGUIDESIGNCAMERACALIBRATIONINTERFACE,THECALIBRATIONINTERFACEISSIMPLE,CONVENIENTANDFAST,ANDSIMPLIFIESFIRSTLYPRINTASTANDARD2D79252MM,324MMCHECKERBOARDPLANARCALIBRATIONBOARD,USETHELEFTANDRIGHTCAMERASSHOOTING20ACHESSBOARDCALIBRATIONTEMPLATEIMAGEFROMDIFFERENTANGLES,INPUTTOCAMERACALIBRATIONINTERFACEDESIGNEDTOCAMERACALIBRATIONANDSOLVETHELEFTANDRIGHTCAMERAPARAMETERS3USINGTHECALIBRATEDBINOCULARCAMERATOOBTAINTHESTEREOIMAGE,BEFORESTEREOMATCHING,COMPLICATEDNOISYIMAGENEEDSTOBEPREPROCESSEDMAINLY,SMOOTHINGFILTERINGFORGRAYIMAGETOREDUCETHEINTERFERENCEOFTHENOISEOFIMAGETOENHANCEIMAGES,IMPROVEIMAGECONTRAST,IMPROVETHEDETECTIONOFIMAGEEDGE,PROVIDEDASOLIDFOUNDATIONFORSTEREOMATCHING4BINOCULARSTEREOMATCHINGISMAINLYTODEALWITHTHEMATCHINGIMAGEANDREFERENCEIMAGETODETECTANDMATCHTHEFEATUREPOINTS,ANDTOFINDOUTTHEDISPARITYBETWEENTHETWOIMAGESSELECTFOURDIFFERENTSETSOFIMAGESTOSIFTANDSURFMATCHINGALGORITHMINNUMBEROFFEATUREPOINTSDETECTIONANDRUNNINGTIMEOFTHEALGORITHMWERECOMPAREDACCORDINGTOTHEEXPERIMENTALRESULTS,WESELECTBETTERPERFORMANCEOFTHEFEATUREMATCHINGALGORITHMTOMATCHTHETARGETIMAGEANDOBTAINTHEDISPARITYVALUE53DINFORMATIONRECOVERYISTHROUGHTHEBINOCULARVISUALTRIANGULATIONPRINCIPLECALCULATEDTHEDEPTHINFORMATIONOFTHEOBJECTBYCHANGINGTHEDISTANCEBETWEENTHEBINOCULARVISIONSYSTEMANDTHEOBJECT,THEMEASUREMENTPOINTSARESELECTEDTOBETESTEDTHEEXPERIMENTALRESULTSARECOMPAREDWITHTHEREALINFORMATION,ANDTHEERRORSIZEOFTHESYSTEMISOBTAINEDTHEEXPERIMENTALRESULTSSHOWTHATINTHEMEASUREMENTRANGETHETOTALERROROFTHEBINOCULARVISIONSYSTEMISLESSTHAN5THISLAYSTHETHEORETICALFOUNDATIONFORTHEFOLLOWINGAPPLICATIONKEYWORDSBINOCULARVISIONCAMERACALIBRATIONSTEREOMATCHINGTHREEDIMENSIONALINFORMATIONRECOVERY目錄摘要VABSTRACTVII目錄IX第一章緒論111研究的背景與意義112國內(nèi)外研究概況2121國外研究概況3122國內(nèi)發(fā)展現(xiàn)狀與前景分析413論文主要工作和結(jié)構(gòu)安排5131主要工作5132結(jié)構(gòu)安排6第二章攝像機(jī)標(biāo)定及其界面設(shè)計(jì)821攝像機(jī)模型8211圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系與世界坐標(biāo)系9212線性攝像機(jī)模型13213非線性攝像機(jī)模型15214鏡頭畸變的校正1722攝像機(jī)標(biāo)定18221線性攝像機(jī)標(biāo)定19222雙目視覺攝像機(jī)標(biāo)定2223攝像機(jī)標(biāo)定界面設(shè)計(jì)2324本章小結(jié)29第三章圖像預(yù)處理與邊緣檢測3131圖像獲取3132圖像預(yù)處理32321灰度變換32322平滑濾波3433邊緣檢測37331邊緣檢測理論38332邊緣檢測算子39333實(shí)驗(yàn)結(jié)果與分析4234本章小結(jié)44第四章雙目立體匹配算法4541立體匹配原理45411匹配基元的正確選擇45412匹配約束條件45413匹配算法分類4742特征點(diǎn)檢測47421基于改進(jìn)的HARRIS角點(diǎn)檢測算法47422角點(diǎn)檢測結(jié)果對比5043特征匹配算法52431基于SIFT的立體匹配算法52432基于SURF的立體匹配算法59433SIFT、SURF算法對比分析6244本章小結(jié)66第五章三維信息恢復(fù)6751雙目視覺三角測量原理6752系統(tǒng)組成69521硬件組成69522系統(tǒng)工作流程7053三維信息恢復(fù)實(shí)現(xiàn)71531攝像機(jī)標(biāo)定實(shí)現(xiàn)71532雙目立體匹配實(shí)現(xiàn)77533三維深度信息提取78534誤差分析8254本章小結(jié)82第六章總結(jié)與展望8361總結(jié)8362展望83參考文獻(xiàn)85作者在攻讀碩士學(xué)位期間發(fā)表的論文91作者在攻讀碩士學(xué)位期間參與的項(xiàng)目92致謝93第一章緒論11研究的背景與意義機(jī)器視覺1最先應(yīng)用的領(lǐng)域是工業(yè)制造，因?yàn)橥ㄟ^機(jī)器視覺的自動(dòng)識(shí)別功能，可以非常好的代替人眼識(shí)別。在一些不適合于人工作業(yè)的危險(xiǎn)工作環(huán)境或人眼視覺難以滿足要求的場合，常用機(jī)器視覺來替代人工視覺；在大批量工業(yè)生產(chǎn)過程中，不再依靠人來完成，用人眼視覺檢查產(chǎn)品質(zhì)量效率低且精度不高，用機(jī)器視覺檢測方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度。機(jī)器視覺就是利用機(jī)器來代替人的眼睛，不僅要獲取簡單的圖像而且要通過機(jī)器本身的機(jī)器視覺系統(tǒng)對所獲圖像的各種信息進(jìn)行處理、分析和計(jì)算，并對計(jì)算結(jié)果做出相應(yīng)的定量解釋和定性分析，從而進(jìn)行相應(yīng)的決策3。在工業(yè)方面，隨著工業(yè)40的興起帶動(dòng)機(jī)器視覺升級，對機(jī)器視覺設(shè)備需求大幅增溫。相關(guān)產(chǎn)品開發(fā)商正著力研發(fā)3D視覺感測技術(shù)，讓機(jī)器視覺設(shè)備不僅能判斷物件顏色，更能辨別出質(zhì)感和空間位置，大幅提高辨識(shí)精準(zhǔn)度，以滿足更精密的自動(dòng)化控制應(yīng)用。在生活?yuàn)蕵贩矫?，虛擬現(xiàn)實(shí)（VR）最為火爆，虛擬現(xiàn)實(shí)技術(shù)就是利用計(jì)算機(jī)生成一種模擬環(huán)境讓參與者置身于計(jì)算機(jī)生成的三維圖像世界中，感受逼真的三維世界。在VR系統(tǒng)中，雙目立體視覺起了很大作用。通過對攝像頭的實(shí)時(shí)畫面進(jìn)行分析，采用立體視覺技術(shù)來獲取圖像的深度圖，得出深度信息進(jìn)而可以感知深度。對于人來說，人眼是高級的視覺系統(tǒng)，人的視覺系統(tǒng)具有識(shí)別能力強(qiáng)、分辨率高、能快速適應(yīng)靈活多變的外部環(huán)境等優(yōu)點(diǎn)。但也有其自身的缺點(diǎn)，例如人的雙眼不能長時(shí)間的工作，否則獲取外界信息的能力就會(huì)降低，人眼在特定的環(huán)境時(shí)，它的識(shí)別能力也有一定的限制，還有就是受情緒的影響很大。表11是機(jī)器視覺與人眼視覺在不同類別下的對比。表11機(jī)器視覺與人眼視覺比較類別人眼視覺機(jī)器視覺適應(yīng)性適應(yīng)性強(qiáng)，可在復(fù)雜及變化的環(huán)境中識(shí)別目標(biāo)適應(yīng)性差，易受背景及環(huán)境變化的影響智能具有高級智能智能很差，不能很好地識(shí)別變化的目標(biāo)灰度分辨力差，一般能分辨64個(gè)灰度級強(qiáng)，具有多個(gè)灰度級速度01秒的視覺暫留使人眼無法看清楚快速運(yùn)動(dòng)的目標(biāo)快門時(shí)間可達(dá)到10微妙左右，處理器的速度越來越快運(yùn)動(dòng)分析定量分析定量分析，但受限制感光范圍400NM750NM范圍的可見光紫外光、紅外光、可見光環(huán)境要求對環(huán)境溫度、濕度的適應(yīng)性差對環(huán)境適應(yīng)性強(qiáng)觀測精度精度低，無法量化精度高，可到微米級，易量化測距可以定量估計(jì)能力非常有限二維描述高度發(fā)達(dá)對目標(biāo)能較好的描述三維描述高度發(fā)達(dá)非常低級其他主觀性，受情緒影響，易疲勞客觀性，可連續(xù)工作12國內(nèi)外研究概況隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，機(jī)器視覺也相應(yīng)地獲得了飛速發(fā)展，一些新概念、新方法和新理論相繼出現(xiàn)，與之相關(guān)的機(jī)器視覺的成本也隨之大幅度的降低，機(jī)器視覺具有非常突出的特點(diǎn)，符合現(xiàn)代工業(yè)的發(fā)展要求，使得機(jī)器視覺在世界范圍內(nèi)得到了廣泛的應(yīng)用2。全球范圍內(nèi)，機(jī)器視覺產(chǎn)業(yè)主要在北美、歐洲以及日本地區(qū)發(fā)展迅速，正處于產(chǎn)業(yè)成熟期，在工業(yè)40等市場熱點(diǎn)的推動(dòng)下，歐美、日本等國在機(jī)器視覺技術(shù)方面將會(huì)有不斷的發(fā)展與創(chuàng)新，國際市場上的機(jī)器視覺規(guī)模不斷的增長。另外，中國機(jī)器視覺市場正在繼北美、歐洲和日本之后，成為該領(lǐng)域世界第四大市場，占81（如圖11所示），正在引起世界各大廠商越來越多的重視。01203405607北美歐洲日本中國其他6114950840710圖11全球機(jī)器視覺市場地區(qū)分布圖121國外研究概況在國際上，歐美、日本等發(fā)達(dá)的國家和地區(qū)利用堅(jiān)實(shí)的、強(qiáng)大的工業(yè)基礎(chǔ)，投入大量的人力、財(cái)力、物力來研究和開發(fā)機(jī)器視覺，不僅在硬件方面開發(fā)投入使用，而且對軟件也進(jìn)行不斷升級，提高算法的優(yōu)越性。通過理論與實(shí)際應(yīng)用的結(jié)合，不斷將理論研究投入到實(shí)際應(yīng)用中去，致使機(jī)器視覺不斷的發(fā)展進(jìn)步，取得了非常好的成果。例如，華盛頓大學(xué)與微軟公司合作為火星衛(wèi)星“探測者”號(hào)研制了寬基線立體視覺系統(tǒng)，使“探測者”號(hào)能夠在火星上對其即將跨越的幾千米內(nèi)的地形進(jìn)行精確的定位導(dǎo)航3。系統(tǒng)采用非線性優(yōu)化得到兩次拍攝圖像時(shí)攝像機(jī)的相對準(zhǔn)確的位置，利用魯棒性強(qiáng)的最大似然概率法結(jié)合高效的立體搜索進(jìn)行圖像匹配，得到亞像素精度的視差，并根據(jù)此視差計(jì)算圖像對中各點(diǎn)的三維坐標(biāo)。日本大阪大學(xué)自主開發(fā)了一套自適應(yīng)雙目視覺伺服系統(tǒng)，該自適應(yīng)雙目視覺系統(tǒng)對未知運(yùn)動(dòng)方式的目標(biāo)物體能夠?qū)崿F(xiàn)非常好的自適應(yīng)跟蹤4。美國麻省理工學(xué)院利用雙目立體視覺系統(tǒng)，通過三角測量原理求出目標(biāo)物體的深度信息，再采用改進(jìn)圖像分割方法，可以在非常快速的環(huán)境中對視頻圖像進(jìn)行目標(biāo)物體位置的分割，并取得了非常好的效果5。日本東京大學(xué)機(jī)將機(jī)器人整體姿態(tài)信息整合到實(shí)時(shí)雙目立體視覺系統(tǒng)中，整合之后的雙目立體視覺系統(tǒng)可以對機(jī)器人進(jìn)行導(dǎo)航，實(shí)時(shí)的躲避障礙物6。由于機(jī)器視覺本身的結(jié)構(gòu)就非常的復(fù)雜，所以只能不斷的進(jìn)行科學(xué)研究與創(chuàng)新。雖然機(jī)器視覺技術(shù)還面臨很多問題，但是發(fā)達(dá)國家和地區(qū)在這一領(lǐng)域仍然處于國際領(lǐng)先地位。122國內(nèi)發(fā)展現(xiàn)狀與前景分析隨著我國經(jīng)濟(jì)的快速發(fā)展，對機(jī)器視覺技術(shù)的需求越來越廣泛，推動(dòng)了機(jī)器視覺技術(shù)的迅速發(fā)展，國內(nèi)相關(guān)高校、研究所和企業(yè)在機(jī)器視覺技術(shù)領(lǐng)域不斷的進(jìn)行積極的探索和大膽的嘗試，將視覺理論與實(shí)際應(yīng)用緊密結(jié)合，并逐步將機(jī)器視覺技術(shù)應(yīng)用到工業(yè)生產(chǎn)。比如，西北工業(yè)大學(xué)博士研究生針對雙目視覺系統(tǒng)結(jié)構(gòu)，采用三角法建立了雙目視覺測量系統(tǒng)的結(jié)構(gòu)參數(shù)模型，分析雙目視覺系統(tǒng)結(jié)構(gòu)參數(shù)與空間被測點(diǎn)之間的關(guān)系特性，研究各結(jié)構(gòu)參數(shù)對測量精度誤差分布的影響，通過仿真實(shí)驗(yàn)給出了小誤差時(shí)的結(jié)構(gòu)參數(shù)的最佳取值范圍7。上海大學(xué)通信與信息工程學(xué)院提出了基于神經(jīng)網(wǎng)絡(luò)的雙目立體視覺攝像機(jī)標(biāo)定方法8。首先對攝像機(jī)進(jìn)行線性標(biāo)定，然后通過網(wǎng)絡(luò)訓(xùn)練建立起三維空間點(diǎn)位置補(bǔ)償?shù)亩鄬忧梆伾窠?jīng)網(wǎng)絡(luò)模型，此方法對雙目立體視覺攝像機(jī)的標(biāo)定具有較好的通用性。東南大學(xué)在雙目視覺基礎(chǔ)上提出了新的特征匹配算法，該特征匹配算法能夠完成非接觸式的測量，并且測量精度較高，該匹配算法對測量的對象沒有特殊的要求，可以是三維不規(guī)則的偏轉(zhuǎn)線圈8。浙江大學(xué)機(jī)械學(xué)院通過建立雙目立體視覺系統(tǒng)，采用透視成像的原理對多自由度的機(jī)械設(shè)備進(jìn)行檢測，可以實(shí)現(xiàn)精確的位姿動(dòng)態(tài)檢測，取得了較好的成效9。哈爾濱工業(yè)大學(xué)提出了異構(gòu)雙目活動(dòng)視覺系統(tǒng)，該雙目活動(dòng)視覺系統(tǒng)能夠?qū)θ灾鞯淖闱驒C(jī)器人進(jìn)行導(dǎo)航，實(shí)現(xiàn)足球機(jī)器人的一系列動(dòng)作10。維視圖像公司采用雙目相機(jī)，從相機(jī)內(nèi)參數(shù)標(biāo)定、鏡頭畸變標(biāo)定、雙目立體匹配等方面取得了非常好的效果。該系統(tǒng)可以實(shí)現(xiàn)機(jī)器人導(dǎo)航、微操作系統(tǒng)的參數(shù)檢測、三維測量和虛擬現(xiàn)實(shí)等應(yīng)用。還有的高校與相關(guān)機(jī)器視覺的企業(yè)進(jìn)行密切的合作，將機(jī)器視覺理論研究與企業(yè)相結(jié)合，把研究成果落到實(shí)處，逐漸地應(yīng)用到現(xiàn)實(shí)生活中，同時(shí)企業(yè)也不斷的加大投入，取得了全面的發(fā)展和改進(jìn)，獲得了一定的成果。我國的機(jī)器視覺應(yīng)用范圍涵蓋了工業(yè)生產(chǎn)、農(nóng)業(yè)生產(chǎn)、軍事、航空航天、氣象預(yù)測、天文觀測、公安偵查、交通運(yùn)輸管理、食品藥品安全、科學(xué)研究等各行各業(yè)。在我國，機(jī)器視覺較發(fā)達(dá)國家起步較晚，機(jī)器視覺行業(yè)存在非常大的發(fā)展空間，行業(yè)市場規(guī)模在不斷擴(kuò)大，對機(jī)器視覺的需求巨大。13論文主要工作和結(jié)構(gòu)安排131主要工作本論文以機(jī)器視覺理論為基礎(chǔ)，主要從系統(tǒng)的搭建、攝像機(jī)的標(biāo)定及界面設(shè)計(jì)、圖像濾波與邊緣檢測、特征點(diǎn)的檢測與立體匹配算法、深度信息的提取等部分對雙目視覺進(jìn)行了研究與實(shí)驗(yàn)，詳細(xì)講解了基于雙目視覺的三維信息恢復(fù)。所做的主要工作如下（1）研究了雙目視覺理論知識(shí)，搭建了本文的雙目視覺平臺(tái)，利用該平臺(tái)進(jìn)行圖像的獲取，攝像機(jī)的標(biāo)定，雙目立體匹配，以及三維深度信息提取。調(diào)整兩個(gè)攝像頭的高度，保證在使用過程中雙目攝像機(jī)成像處在同一水平線上，減小系統(tǒng)誤差。（2）通過對攝像機(jī)標(biāo)定技術(shù)的學(xué)習(xí)，結(jié)合張正友平面棋盤格標(biāo)定法，使用MATLABGUI設(shè)計(jì)出攝像機(jī)標(biāo)定界面，該標(biāo)定界面既可以標(biāo)定單目視覺的攝像機(jī)，也可以同時(shí)標(biāo)定雙目視覺的左、右兩個(gè)攝像機(jī)。制作平面棋盤格標(biāo)定板，使用左、右兩個(gè)攝像機(jī)各拍攝20幅標(biāo)定板圖像，輸入到標(biāo)定界面，計(jì)算出攝像機(jī)的相關(guān)參數(shù)。（3）詳細(xì)分析了改進(jìn)的HARRIS角點(diǎn)檢測算法，通過對五組不同的圖像進(jìn)行角點(diǎn)檢測實(shí)驗(yàn)，從實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)后的算法，即加入?yún)^(qū)域像素的相似度優(yōu)化的HARRIS角點(diǎn)檢測算法檢測出的角點(diǎn)數(shù)量增加，并且算法核心部分的平均消耗時(shí)間比未優(yōu)化的算法提高了20左右。（4）對SIFT特征匹配算法與SURF特征匹配算法進(jìn)行了詳細(xì)的分析，通過多組實(shí)驗(yàn)直觀的比較兩種匹配算法在特征點(diǎn)檢測和算法運(yùn)行時(shí)間上的性能，結(jié)合實(shí)驗(yàn)結(jié)果分析兩種匹配算法的優(yōu)缺點(diǎn)。根據(jù)本文后續(xù)的應(yīng)用，將雙目視覺應(yīng)用于掃地機(jī)器人導(dǎo)航，避障，選取綜合性能較好的SURF匹配算法，進(jìn)行雙目立體匹配，獲取視差，為后續(xù)的三維信息提取做準(zhǔn)備。（5）使用已標(biāo)定的雙目攝像機(jī)獲取目標(biāo)物體圖像，根據(jù)雙目視覺三角測量原理得出的深度信息計(jì)算公式，求出目標(biāo)物體的深度信息。改變目標(biāo)物體與雙目攝像機(jī)的距離，通過多組實(shí)驗(yàn)測量雙目攝像機(jī)與目標(biāo)物體的距離，比較真實(shí)距離與雙目視覺測量距離的誤差，由多組實(shí)驗(yàn)結(jié)果可以看出，在雙目攝像機(jī)成像范圍內(nèi)，本文的雙目視覺系統(tǒng)的測量誤差總體保持在5以內(nèi)，為采用雙目視覺系統(tǒng)進(jìn)行導(dǎo)航、避障的掃地機(jī)器人應(yīng)用提供了理論支持。132結(jié)構(gòu)安排論文具體結(jié)構(gòu)安排如下第一章為緒論，介紹了機(jī)器視覺研究的背景與意義，國內(nèi)外研究的概況?？偨Y(jié)本人所做的工作，并對論文的結(jié)構(gòu)作了安排。第二章對攝像機(jī)成像的幾何模型，攝像機(jī)坐標(biāo)系統(tǒng)，圖像坐標(biāo)系和世界坐標(biāo)三者三者之間的關(guān)系以及攝像機(jī)鏡頭畸變的校正進(jìn)行了簡要介紹，分析了線性攝像機(jī)標(biāo)定的原理以及雙目攝像機(jī)的標(biāo)定方法，并介紹使用MATLABGUI設(shè)計(jì)的攝像機(jī)標(biāo)定界面，該界面操作簡單、方便、快捷，可以很好的對攝像機(jī)參數(shù)進(jìn)行標(biāo)定。第三章基于MATLAB的圖像處理，主要是對獲取來的原始圖像進(jìn)行灰度化處理、圖像濾波處理以及圖像的邊緣檢測。圖像濾波是為了改善圖像的質(zhì)量，從圖像中剔除不相關(guān)的信息，以還原圖像中真實(shí)的和有用的信息。經(jīng)過預(yù)處理后的圖像只帶有邊緣信息，簡化圖像信息的同時(shí)增強(qiáng)了邊緣信息，從而提高了后續(xù)的特征提取、匹配的可靠性。第四章是雙目立體匹配算法，介紹了特征匹配的基元選擇，匹配約束條件，匹配方法的分類以及SIFT特征匹配算法、SURF特征匹配算法。研究基于HARRIS算子的特征點(diǎn)提取方法，并在HARRIS角點(diǎn)檢測算法進(jìn)行閥值判斷之前加入圖像區(qū)域像素的相似度優(yōu)化，提高特征點(diǎn)檢測效果。選取四組不同的圖像進(jìn)行實(shí)驗(yàn)，對SIFT特征匹配算法和SURF特征匹配算法的性能進(jìn)行對比，結(jié)合實(shí)驗(yàn)結(jié)果選擇合適的特征匹配算法，獲取視差。第五章是三維信息恢復(fù)，對雙目立體視覺三維信息恢復(fù)的原理進(jìn)行分析，簡化三角測量原理獲得三維深度信息，推到出深度信息的計(jì)算公式，并利用標(biāo)定得到攝像機(jī)內(nèi)部參數(shù)與匹配得到的視差值，計(jì)算目標(biāo)物體的三維深度信息。通過改變雙目攝像機(jī)與目標(biāo)物體之間的距離進(jìn)行不同的實(shí)驗(yàn)，由實(shí)驗(yàn)結(jié)果分析了誤差大小和來源。第六章是對論文研究工作進(jìn)行總結(jié)，并在此基礎(chǔ)上對本文研究工作中存在的不足之處提出了進(jìn)一步的研究和改進(jìn)方向。第二章攝像機(jī)標(biāo)定及其界面設(shè)計(jì)機(jī)器視覺應(yīng)用中，為確定空間物體上的三維坐標(biāo)點(diǎn)與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系，必須建立攝像機(jī)成像的幾何模型，該幾何模型參數(shù)就是攝像機(jī)參數(shù)，求解參數(shù)的過程就稱為攝像機(jī)標(biāo)定1112。攝像機(jī)參數(shù)的標(biāo)定是非常關(guān)鍵的環(huán)節(jié)，其標(biāo)定結(jié)果的精度直接影響攝像機(jī)工作產(chǎn)生結(jié)果的準(zhǔn)確性。因此，做好攝像機(jī)標(biāo)定是做好后續(xù)工作的前提。21攝像機(jī)模型攝像機(jī)成像的過程如圖21所示，二維圖像上的每個(gè)點(diǎn)與三維空間物體表面相對應(yīng)的點(diǎn)幾何位置有關(guān)，這些在攝像機(jī)二維圖像上的點(diǎn)的位置與空間點(diǎn)之間的相互關(guān)系，由攝像機(jī)成像幾何模型來確定，攝像機(jī)成像幾何模型的參數(shù)稱為攝像機(jī)參數(shù)。在實(shí)際應(yīng)用中，攝像機(jī)的幾何模型通常用數(shù)學(xué)模型來描述，它可以分為線性模型（也稱為針孔模型）和非線性模型1314。外參數(shù)攝像機(jī)內(nèi)參數(shù)攝像機(jī)圖21圖像形成過程211圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系與世界坐標(biāo)系如圖22所示，建立以像素為單位的平面直角坐標(biāo)系。以像素為單位VU的坐標(biāo)系的橫坐標(biāo)與縱坐標(biāo)分別是該像素點(diǎn)在攝像機(jī)二維圖像中相應(yīng)的列數(shù)UV與行數(shù)15。O0O1U0,V0UVYX圖22圖像坐標(biāo)系由于坐標(biāo)系只代表二維圖像中像素點(diǎn)的列數(shù)與行數(shù)，而像素點(diǎn)在二維,VU圖像中的位置關(guān)系沒有用物理單位表示出來，所以，還需要建立用物理單位（比如單位為毫米）來表示的圖像坐標(biāo)系。將攝像機(jī)的光軸與二維圖像平Y(jié)X面的交點(diǎn)定義為圖像坐標(biāo)系的原點(diǎn)為，該點(diǎn)一般位于二維圖像平面的中心1O1處，也稱為攝像機(jī)圖像的主點(diǎn)。并且圖像坐標(biāo)系的軸與像素為單位坐標(biāo)系下的軸平行，圖像坐標(biāo)系的軸與像素為單位坐標(biāo)系下的軸平行。假設(shè)UYV代表在坐標(biāo)系下的坐標(biāo)，與分別表示每個(gè)像素點(diǎn)在圖像坐,0V1OVUDXY標(biāo)系橫軸和縱軸上的長度與寬度大小。圖像中的每個(gè)像素點(diǎn)在坐標(biāo)系XVU中的坐標(biāo)和在坐標(biāo)系中的坐標(biāo)之間都存在如下的轉(zhuǎn)換關(guān)系Y0VDYUX（21）假設(shè)式（21）中物理坐標(biāo)系中的單位為毫米，那么的單位為DX，那么的單位就是像素，即和的單位一樣都是像素。像素毫米DXU將式（21）轉(zhuǎn)化為矩陣形式1011VDYVU（22）式（22）的逆關(guān)系式可表示為101VUDYXDXY（23）攝像機(jī)可以放置在三維空間中的任意位置，這就需要由軸構(gòu)成的WZYX,世界坐標(biāo)系來描述攝像機(jī)的空間坐標(biāo)。圖23所示是攝像機(jī)成像幾何關(guān)系，其中點(diǎn)是攝像機(jī)的中心，軸和軸與圖像平面的的軸與軸平行，軸為OCXCYXYC攝像機(jī)的光軸。攝像機(jī)光軸與二維圖像平面的交點(diǎn)，稱為圖像坐標(biāo)系的原點(diǎn)，1O由點(diǎn)與軸構(gòu)成攝像機(jī)坐標(biāo)系，的長度為攝像機(jī)的焦距。CZYX,1OF世界坐標(biāo)系是用來描述攝像機(jī)在空間中的位置，并且三維空間中的任何物體的位置信息也可以用世界坐標(biāo)系來描述，如圖23中坐標(biāo)系稱為WZYX世界坐標(biāo)系，旋轉(zhuǎn)矩陣和平移矩陣表示從世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換。RT假設(shè)空間一點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)是，在攝像機(jī)坐標(biāo)下PTWZYX1,的齊次坐標(biāo)是，則攝像機(jī)坐標(biāo)系下的坐標(biāo)與世界坐標(biāo)系下的坐標(biāo)TCZYX1,有如下的轉(zhuǎn)換關(guān)系110WWTCCZYXMTRZ（24）其中，為是的正交單位矩陣，也稱為旋轉(zhuǎn)矩陣，是三維的平移矩陣。R3T矢量，是的矩陣。0,1M4,CCCZYXPCZWOWXWYWZ1OXYOCXCYP圖23攝像機(jī)坐標(biāo)系與世界坐標(biāo)系OCYXPQCZYXPQ0,TR圖24攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如圖24所示，從攝像機(jī)坐標(biāo)系下到世界坐標(biāo)系下的轉(zhuǎn)換，是通過旋轉(zhuǎn)矩陣和平移矩陣來實(shí)現(xiàn)。RT在三維空間中，可以將旋轉(zhuǎn)變換拆解為繞各自軸，軸，軸的二維旋轉(zhuǎn)XYZ的組合形式，其中旋轉(zhuǎn)的軸線的度量保持不變。最終一個(gè)旋轉(zhuǎn)變換可以等價(jià)于在另一個(gè)不同的坐標(biāo)系下對點(diǎn)位置的重新描述。圖25所示的是繞三個(gè)坐標(biāo)軸旋轉(zhuǎn)不同角度。XYZYZXZYXXYZZXY圖25坐標(biāo)旋轉(zhuǎn)示意圖如果按照順序分別繞軸旋轉(zhuǎn)角度，和，那么最終的旋轉(zhuǎn)矩陣RZYX,是矩陣、矩陣以及矩陣的乘積，其中XRZRCOSIN0I01XR（25）（26）COS0SIN1IY1IZR（27）因此，旋轉(zhuǎn)矩陣ZYXR平移矩陣用來表示將一個(gè)坐標(biāo)系下的原點(diǎn)轉(zhuǎn)換到另一個(gè)坐標(biāo)系下的原點(diǎn)，T或者說平移向量是轉(zhuǎn)換之后的第一個(gè)坐標(biāo)系原點(diǎn)與第二個(gè)坐標(biāo)系原點(diǎn)之間存在的偏差。假設(shè)空間一點(diǎn)在世界坐標(biāo)系的下的坐標(biāo)轉(zhuǎn)換到在攝像機(jī)坐標(biāo)系下之0P后，該點(diǎn)坐標(biāo)變?yōu)辄c(diǎn)的坐標(biāo)，這兩者的關(guān)系表示為，則可OPC0TPRC以用三個(gè)角度，和表示繞不同坐標(biāo)軸的三維旋轉(zhuǎn)變換，用三個(gè)參數(shù)表示三維平移。,ZYX212線性攝像機(jī)模型用線性模型（針孔模型）表示任一點(diǎn)在像平面中的投影位置，,CZYXP任一點(diǎn)的投影點(diǎn)都是（即光心，也是投影中心）與點(diǎn),CZYXP,YXPO的連線與圖23中像平面的交點(diǎn)。對應(yīng)比例關(guān)系可得,CZFYYXXC（28）在攝像機(jī)坐標(biāo)系內(nèi)，由三角形相似性原理可得，表示焦距，單ZXFXCF為毫米。將式（28）寫成齊次坐標(biāo)與矩陣的形式為101CCCZYXFZYX（29）將式（22）與（23）代入式（29），得到點(diǎn)坐標(biāo)與投影點(diǎn)的坐標(biāo)PP的關(guān)系為,VU1010011WTCZYXTRFVDYUXZVUWWTYXXMZYXTRVKU2101（210）其中，；為投影矩陣，完全取決于DXFKXYFKYM431四個(gè)參數(shù)，矩陣中的參數(shù)就是攝像機(jī)的內(nèi)部參數(shù)，矩陣中的0,VUKYX12M參數(shù)是攝像機(jī)的外部參數(shù)，攝像機(jī)外部參數(shù)完全由攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的空間位置轉(zhuǎn)換關(guān)系確定。如果已知攝像機(jī)的內(nèi)部參數(shù)和攝像機(jī)的外部參數(shù)之后，可以通過式（210）求出矩陣。則對空間中的一點(diǎn)，坐標(biāo)為，就可以逆向的求解MTWZYXP1,出與點(diǎn)相對應(yīng)的圖像中點(diǎn)的位置為。當(dāng)已知投影矩陣和時(shí)，式PP,VUMWX（210）給出的三個(gè)方程中，消去就可以解出的值，反之則不成立，如CZ,果想求解空間點(diǎn)的坐標(biāo)，知道了空間點(diǎn)對應(yīng)的圖像點(diǎn)的位置，經(jīng)管PPP,VU再已知攝像機(jī)內(nèi)外參數(shù)，也是不能唯一的確定圖像點(diǎn)對應(yīng)的空間點(diǎn)的值。WX在式（210）中，是的不可逆矩陣，盡管已知了投影矩陣和圖像位置M43M，消去式（210）中的，但是這樣僅僅只能得到關(guān)于的兩個(gè),VUCZWZY,線性方程組，由這兩個(gè)線性方程所構(gòu)成的方程組都是射線的方程，也就是OP說，投影點(diǎn)為的全部空間點(diǎn)均在該射線上，如圖23所示，當(dāng)已知攝像機(jī)POP圖像中的點(diǎn)時(shí)，由線性攝像機(jī)成像幾何模型可知，對于任何的空間點(diǎn)，只要該空間點(diǎn)位于射線上，則該空間點(diǎn)所對應(yīng)的攝像機(jī)圖像上的點(diǎn)都是點(diǎn)，OPP所以，這樣的空間點(diǎn)有無數(shù)多個(gè)，很難唯一的確定。將式（29）寫成歸一化形式，得10101WCZYXFZYX（211）將式（22）帶入式（211），得到1010101WCZYXFVDYUXZVU1010WYXZYXVKU（212）定義歸一化圖像坐標(biāo)為,NYX1011VUKYN（213）由式（212）與式（213）可得101CCCNZYXZYX（214）所以，式（214）中，與，的關(guān)系為NXYCXYCCZCNZYY（215）213非線性攝像機(jī)模型非線性的攝像機(jī)模型，是指攝像機(jī)在成像過程存在畸變與小孔成像模型所成的像有差別。在有畸變的情況下，需要一個(gè)非線性的攝像機(jī)模型來描述這種畸變，便于后續(xù)對攝像機(jī)畸變進(jìn)行有效的校正。攝像機(jī)畸變的校正首先需要通過攝像機(jī)標(biāo)定獲得攝像機(jī)的內(nèi)部參數(shù)矩陣和畸變參數(shù)，得到這些參數(shù)之后才能對存在畸變的圖像進(jìn)行校正。對于有的攝像機(jī)透鏡系統(tǒng)在設(shè)計(jì)或裝配過程中可能會(huì)引起圖像點(diǎn)的偏離，導(dǎo)致攝像機(jī)成像出現(xiàn)誤差，這種誤差被稱為光學(xué)畸變，如圖26所示。,ZYXFXYZXY,DDYXI圖26畸變示意圖攝像機(jī)的畸變類型有很多種，主要可以分為偏心畸變、薄棱鏡畸變和徑向畸變。徑向畸變會(huì)在徑向位置上產(chǎn)生偏差，薄棱鏡和偏心畸變主要會(huì)產(chǎn)生徑向和切向兩個(gè)方向上的偏差。徑向畸變主要由攝像機(jī)鏡頭形狀因素引起，這種畸變關(guān)于攝像機(jī)的光心對稱，向內(nèi)側(cè)凹陷的畸變類型稱為枕形畸變，向外側(cè)凹陷的畸變稱為桶形畸變，如圖27左圖所示。數(shù)學(xué)模型可由式（216）表示。2221YXKYXKRYX（216）其中，為徑向畸變系數(shù)。21,K偏心畸變主要是由于各種原因?qū)е聰z像機(jī)的光心與幾何中心不能完全對齊造成的，偏心畸變包括徑向畸變和切向畸變兩種，如圖27中右圖所示，偏心變形的數(shù)學(xué)模型可以用式（217）表示。32221YXPYDYX（217）其中，為偏心畸變系數(shù)。21,P薄棱鏡畸變是由于攝像機(jī)鏡頭在設(shè)計(jì)加工、安裝中造成的誤差，最終導(dǎo)致攝像機(jī)鏡頭發(fā)生徑向和切向偏差，式（218）是薄棱鏡畸變的數(shù)學(xué)模型。21YXSPY（218）其中，為薄棱鏡畸變系數(shù)。21,SAB桶形畸變A枕形畸變點(diǎn)位置實(shí)際像點(diǎn)位置理想像DTDR切向畸變徑向畸變DTR圖27攝像機(jī)畸變類型綜上所述，攝像機(jī)畸變可以用式（219）表達(dá)式統(tǒng)一表示。,YXYXPDRYXX（219）一般來說，在要求不是非常高的使用條件下，徑向畸變完全可以描述攝像機(jī)的非線性畸變，如果需要考慮鏡頭畸變，就要對攝像機(jī)線性成像模型進(jìn)行修正，加入畸變因素。假設(shè)實(shí)際圖像中的像素坐標(biāo)為，理想狀態(tài)下圖像中的,YX像素坐標(biāo)為，則理想坐標(biāo)、實(shí)際坐標(biāo)和畸變偏差之間關(guān)系如式（220）所,YX示。YXY（220）214鏡頭畸變的校正由于攝像機(jī)鏡頭都是采用的透鏡，根據(jù)透鏡所具有的結(jié)構(gòu)特點(diǎn)，多數(shù)攝像機(jī)在成像過程中都可能會(huì)存在鏡頭畸變，對攝像機(jī)成像模型影響最大的是徑向畸變，在一般情況下只需要考慮攝像機(jī)鏡頭的一階和二階徑向畸變就能夠滿足實(shí)際中的需要，假定攝像機(jī)的鏡頭在軸和軸方向上的畸變系數(shù)是相同的，XY則徑向畸變模型可以用式（221）表示。2221YXKYXKYX（221）其中，為校正前的圖像坐標(biāo)，為校正后的圖像坐標(biāo)，為,YX,1K2一階徑向畸變和二階徑向畸變系數(shù)。將式（221）轉(zhuǎn)換到像素坐標(biāo)有22210YXKYXKVU（222）其中，為校正前的圖像像素坐標(biāo)，為校正后的圖像像素坐標(biāo)。如,VU,VU果有幅圖像，能獲得組方程組。表示為式（223）。MM（223）VUKYXVYXVUUYXYXMMMMM1220220121021102寫成矩陣形式DDK（224）然后，通過線性最小二乘的方法求出徑向畸變系數(shù)T1（225）當(dāng)攝像機(jī)的一階徑向畸變系數(shù)和二階徑向畸變系數(shù)求出后，就可以進(jìn)1K2K一步優(yōu)化所有的參數(shù)，經(jīng)過非線性校正及優(yōu)化后徑向畸變的現(xiàn)象將極大的改善。22攝像機(jī)標(biāo)定攝像機(jī)標(biāo)定是利用標(biāo)定模板的參考點(diǎn)坐標(biāo)和它的圖像坐標(biāo)），（ZYX來確定攝像機(jī)內(nèi)部的幾何參數(shù)（內(nèi)部參數(shù)）以及攝像機(jī)在三維世界中的），（VU坐標(biāo)關(guān)系（外部參數(shù)）。內(nèi)部參數(shù)包括攝像機(jī)鏡頭焦距，鏡頭畸變系數(shù)，F(xiàn)），（SK圖像坐標(biāo)原點(diǎn)等參數(shù)。外部參數(shù)是選擇矩陣和平移矩陣。），（0VURT221線性攝像機(jī)標(biāo)定攝像機(jī)標(biāo)定是獲取擺放在攝像機(jī)前方一定距離的具體參數(shù)已知的標(biāo)定物的圖像，標(biāo)定參照物如圖28所示，并根據(jù)攝像機(jī)拍攝的不同角度的標(biāo)定參照物的圖像，采用標(biāo)定算法計(jì)算出攝像機(jī)的內(nèi)部參數(shù)與攝像機(jī)的外部參數(shù)。在標(biāo)定參照物上的每所有特征點(diǎn)（圖28中每個(gè)小正方體的頂點(diǎn)）在制作時(shí)都需要非常準(zhǔn)確的測定該特征點(diǎn)在世界坐標(biāo)系中的空間位置，只有每個(gè)小正方體的頂點(diǎn)信息被精確的測定，才能保證攝像機(jī)標(biāo)定的精度。圖28標(biāo)定參照物由獲得的標(biāo)定參照物圖像求出投影矩陣，將式（210）展開寫成M113432211WKKCKKZYXMZVU（226）其中，為空間中第個(gè)特征點(diǎn)的坐標(biāo)，為第個(gè)特1,WKKZYXK1,KVU征點(diǎn)的圖像坐標(biāo)，為投影矩陣的行列的元素。將式（226）拆分寫成IJMMIJ如下三個(gè)方程11343323222141312MZYXMZVUWKKWKCKKKKCKWKKWKCK（227）將式（227）中第一式與第三式，第二式與第三式分別消去，可得兩個(gè)CKZ關(guān)于的線性方程，如式（228）所示。IJM（22834323124322131MVZYVMXZYXUUKWKWKWKWKKWK）式（228）表示，如果已知標(biāo)定模板上的個(gè)點(diǎn)，并且已知個(gè)點(diǎn)的空間NN坐標(biāo)為和圖像點(diǎn)坐標(biāo)為，可得,1,KZYWK,1,KVU（22934341321423143211111111110001000MUMVUYVXVZYXZUUZYXZYXVXXNWNWNWNWNWWWW）由式（210）可知，矩陣不會(huì)影響與之間的轉(zhuǎn)換關(guān)系，M,W,所以，令，得到關(guān)于矩陣中其它元素的個(gè)線性方程組，方程組中134MMN2的未知數(shù)的個(gè)數(shù)為11個(gè)，記為向量，為11維向量，將式（229）簡寫成MUK（230）其中，為式（229）左邊的矩陣，為未知的11維向量，為式12NMU（229）右邊的維向量，已知，當(dāng)時(shí)，式（230）線性方程組2,1的解可以用最小二乘法求出。則，與構(gòu)成了所要求解的矩陣，只要34M已知6個(gè)或者6個(gè)以上的空間中點(diǎn)與這些空間點(diǎn)所對應(yīng)的圖像坐標(biāo)系中的坐標(biāo)，就可以求出矩陣，求出矩陣后，將結(jié)果帶入到式（210）表示的關(guān)系，進(jìn)M一步的求解出攝像機(jī)的內(nèi)部參數(shù)與攝像機(jī)的外部參數(shù)。將矩陣分解成與攝像機(jī)內(nèi)部參數(shù)、攝像機(jī)外部參數(shù)有關(guān)的關(guān)系式為100132103244ZYXYXTRTVKUM（231）其中，為矩陣的第行的前三個(gè)元素組成的行向量；,21IMI為矩陣第行第四列元素；為旋轉(zhuǎn)矩陣的第行；3,4IMI3,21IRRI分別為平移向量的三個(gè)分量。ZYXT,T由式（231）可得ZYYZXXTRVKVKTUM3002132414（232）比較式（232）等號(hào)兩邊可得，。由于是單位正交矩陣的第三34R3行，所以，由可以解出，再根據(jù)下列式子求解出1|3R1|34M|134M的值。YXKVU,033402143302342113234132430011|MTVKUTRMVKURKRVUZYXYXYXYX（233）222雙目視覺攝像機(jī)標(biāo)定雙目攝像機(jī)標(biāo)定1617與單目攝像機(jī)標(biāo)定的區(qū)別是，用兩個(gè)攝像機(jī)同時(shí)觀察周圍環(huán)境，需要通過攝像機(jī)標(biāo)定，測量兩個(gè)攝像機(jī)之間的相對位置關(guān)系（如圖29所示）。在雙目攝像機(jī)標(biāo)定過程中可以先用單目攝像機(jī)標(biāo)定的方法，對左、右兩個(gè)攝像機(jī)單獨(dú)進(jìn)行標(biāo)定，通過單獨(dú)標(biāo)定分別得到左、右攝像機(jī)各自的內(nèi)部參數(shù)與外部參數(shù)。WXWYWZP1O2O1X1Y1Z2Z2X2YP1L2L1P2P2P1,TR2,TR1I2I1C2C圖29雙目攝像機(jī)幾何關(guān)系假如用攝像機(jī)外參數(shù)中的旋轉(zhuǎn)矩陣和平移矩陣表示世界坐標(biāo)系與攝1R1T1像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系；用攝像機(jī)外參數(shù)中的旋轉(zhuǎn)矩陣和平移矩陣表2R2T示世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，那么對任意一個(gè)世界坐標(biāo)系2C中的點(diǎn)，坐標(biāo)為，該點(diǎn)在攝像機(jī)坐標(biāo)系與攝像機(jī)坐標(biāo)系下的坐標(biāo)分PWX1C2C別為，由雙目攝像機(jī)的關(guān)系可得下列關(guān)系式1C2（234）2211TXRWC將式（234）消去后得21211TRTCC（235）所以，兩個(gè)攝像機(jī)之間的關(guān)系可用表示為T,21TRT（236）由式（234）（236）知，若對左、右兩個(gè)攝像機(jī)分別單獨(dú)進(jìn)行標(biāo)定，得到攝像機(jī)的旋轉(zhuǎn)矩陣和平移矩陣，攝像機(jī)的旋轉(zhuǎn)矩陣和平移矩陣，1C11T2C2R2T則雙目攝像機(jī)的幾何關(guān)系可以通過式（236）計(jì)算得到。在計(jì)算時(shí)需要TR,將左、右兩個(gè)攝像機(jī)單獨(dú)標(biāo)定中的矩陣拆分，以便于求解出攝像機(jī)的旋轉(zhuǎn)M1C矩陣和平移矩陣，攝像機(jī)的旋轉(zhuǎn)矩陣和平移矩陣。1R1T2C2R2T23攝像機(jī)標(biāo)定界面設(shè)計(jì)攝像機(jī)標(biāo)傳統(tǒng)的定方法中，都需要利用三維立體標(biāo)定物體，該標(biāo)定物體要求在制作，加工過程中需要保證標(biāo)定物上每個(gè)特征點(diǎn)的精度，最終保證攝像機(jī)標(biāo)定結(jié)果的精度。而二維平面標(biāo)定模板的攝像機(jī)標(biāo)定方法，只需要攝像機(jī)從不同角度拍攝二維平面標(biāo)定模板，獲取一定數(shù)量的二維標(biāo)定模板圖像，基于二維平面標(biāo)定模板的攝像機(jī)標(biāo)定方法使用方便、靈活且標(biāo)定精度較高18。基于二維平面標(biāo)定模板的標(biāo)定過程可以分為兩步第一步，求解二維平面標(biāo)定模板與圖像平面之間的矩陣轉(zhuǎn)換關(guān)系，在求解矩陣轉(zhuǎn)換關(guān)系時(shí)不需要考慮攝像機(jī)的成像幾何模型，只需要知道平面標(biāo)定模板坐標(biāo)系中的點(diǎn)和對應(yīng)的攝像機(jī)圖像坐標(biāo)中的點(diǎn)的關(guān)系，兩個(gè)坐標(biāo)系中點(diǎn)的對應(yīng)關(guān)系可以利用最小二乘法求解得到。第二步，利用第一步的關(guān)系求解出攝像機(jī)的內(nèi)部參數(shù)矩陣和外部參數(shù)矩陣。根據(jù)計(jì)算所得二維平面標(biāo)定模板和圖像平面的矩陣轉(zhuǎn)換關(guān)系列寫出與攝像機(jī)內(nèi)部參數(shù)相關(guān)的方程組，求出該方程的解，即可以得到攝像機(jī)的內(nèi)部參數(shù)。由于攝像機(jī)鏡頭畸變的存在，通過求解該方程得到的內(nèi)部參數(shù)可以作為初始值進(jìn)行優(yōu)化，從而得到攝像機(jī)各參數(shù)的精確值，從而提高攝像機(jī)的標(biāo)定精度。根據(jù)二維平面標(biāo)定方法可知，由線性攝像機(jī)模型，可得式（237）111321WWZYXTRAZYXTRAVUS（237）把世界坐標(biāo)系所在的平面置于標(biāo)定模板所在的平面，即。將式0（237）變形為式（238）110121WWYXTRAYXTRAVUS（238）其中，表示旋轉(zhuǎn)矩陣的第列向量。令，IRITYXM，則式（238）可簡寫為TVUM1HMS（239）其中132132121HHTRA（240）即為單應(yīng)性矩陣。有式子可以推出HMHMS13213HXSYVU（241）從而推得23213211HYHVYVHUU（242）令3212321312HHH（243）則010HVYVXYUUX（244）將式（244）寫成的形式，則矩陣最小特征值所對應(yīng)的特征向量SHST就是該方程的最小二乘解。再根據(jù)所求的，求解出。由于上式中所求得的HH與真實(shí)的可能差一個(gè)比例系數(shù)，所以，將式（240）改寫成下列形式HTRAH21321（245）與為單位正交向量，有，且，所以得到攝像機(jī)內(nèi)1R221T021RT部參數(shù)求解的兩個(gè)約束條件21211HAHATT（246）令32311BABT1120202020202022VUVUVUVV是對稱矩陣，可以用6維的向量來表示BTBBB321321（247）假設(shè)的第列向量可以表示為的形式，那么HI321IIIIHHBVHTIJITI（248）其中3313132121JIJIJJIJJIJIJIJIIJHHHHV若有幅攝像機(jī)標(biāo)定模板的圖像，就可以得到關(guān)于的形式NB0B（249）其中矩陣V是，假如，則就能被唯一的求解出來，進(jìn)而計(jì)算出攝623NB像機(jī)的5個(gè)內(nèi)部參數(shù)，參數(shù)計(jì)算公式如式（250）所示。/2130211112313120230UVUVUFBFSFBVBV（250）矩陣求得之后，再根據(jù)攝像機(jī)的內(nèi)部參數(shù)矩陣，利用下列式子可以計(jì)HA算出每幅平面標(biāo)定模板圖像的外參數(shù)，外參數(shù)計(jì)算公式為|1|,22131321HAHATRRR（251）以上求解旋轉(zhuǎn)矩陣的誤差較大，需要用最大似然估計(jì)來進(jìn)行優(yōu),321RR化。基于MATLABGUI21編程實(shí)現(xiàn)攝像機(jī)標(biāo)定，采用的是二維平面棋盤格模板，改變二維平面棋盤模板的不同角度，獲取圖像，通過圖像處理，計(jì)算出攝像機(jī)的參數(shù)，棋盤標(biāo)定模板如圖210所示。WYWZWXWO圖210標(biāo)定模板由二維平面標(biāo)定的原理可知，攝像機(jī)從不同角度獲取一定數(shù)量的棋盤格標(biāo)定模板圖像，通過處理之后，利用MATLABGU設(shè)計(jì)出的攝像機(jī)標(biāo)定界面，將拍攝得到的一定數(shù)量的棋盤格標(biāo)定模板圖輸入到標(biāo)定界面，設(shè)置相應(yīng)的棋盤格參數(shù)，提取出棋盤格的角點(diǎn)信息，計(jì)算出攝像機(jī)的內(nèi)部參數(shù)、外部參數(shù)和畸變參數(shù)。該標(biāo)定界面可以實(shí)現(xiàn)快速、準(zhǔn)確、自動(dòng)處理。圖211給出了所設(shè)計(jì)的攝像機(jī)標(biāo)定界面工作流程。NYNY圖211攝像機(jī)標(biāo)定界面設(shè)計(jì)流程采用MATLABGUI設(shè)計(jì)的自動(dòng)攝像機(jī)標(biāo)定，該攝像機(jī)標(biāo)定界