機(jī)器視覺技術(shù)及應(yīng)用 課件 第六章 機(jī)器視覺測(cè)量

機(jī)器視覺測(cè)量第六章第六章機(jī)器視覺測(cè)量相機(jī)標(biāo)定6.1項(xiàng)目任務(wù)6.2拓展任務(wù)6.3第六章

機(jī)器視覺測(cè)量相機(jī)標(biāo)定016.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的原理世界坐標(biāo)系：點(diǎn)在真實(shí)世界中的位置，描述相機(jī)位置。相機(jī)坐標(biāo)系：以相機(jī)sensor中心為原點(diǎn)，建立相機(jī)坐標(biāo)系。圖像物理坐標(biāo)系：經(jīng)過小孔成像后得到的二維坐標(biāo)系。圖像像素坐標(biāo)系：成像點(diǎn)在相機(jī)sensor上像素的行數(shù)和列數(shù)，原點(diǎn)為圖像左上角，不帶有任何物理單位，或者說單位是pixel。光軸與圖像平面的交點(diǎn)為主點(diǎn)。各種坐標(biāo)系圖解6.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的原理6.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的原理

則從世界坐標(biāo)系到像素坐標(biāo)系其中Z為一常數(shù)，f為攝像機(jī)的焦距，單位一般是mm。dx,dy為每個(gè)像素點(diǎn)在圖像坐標(biāo)系x軸，y軸上的尺寸，單位是毫米/每像素，是每個(gè)sensor的固有參數(shù)。芯片的中心并不在光軸上，安裝的時(shí)候總會(huì)有些誤差。兩個(gè)新的參數(shù)(u0,v0)，代表主點(diǎn)在像素坐標(biāo)系下的偏移。6.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的原理

M1為相機(jī)內(nèi)參，包括相機(jī)的焦距，光軸與圖像平面的焦點(diǎn)位置等內(nèi)部參數(shù)，和外部因素?zé)o關(guān)，因此稱為內(nèi)參，主要包含4個(gè)參數(shù)：f/dx、f/dy、u0、v0。M2為相機(jī)外參，表征世界坐標(biāo)系到相機(jī)坐標(biāo)系的位置轉(zhuǎn)換關(guān)系，是相機(jī)在世界坐標(biāo)系下的位置姿態(tài)矩陣，認(rèn)為是攝像機(jī)的外參，為6個(gè)參數(shù)（R3×3，T3×1）。則從世界坐標(biāo)系到像素坐標(biāo)系6.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的原理通過透鏡后物點(diǎn)在實(shí)際的成像平面上的像與理想成像之間存在一點(diǎn)畸變誤差，導(dǎo)致原始圖像的失真，如圖所示。誤差主要存在徑向畸變和切向畸變兩種。其他類型的畸變，沒有徑向畸變、切向畸變顯著。徑向畸變是由于相機(jī)的透鏡形狀造成的，切向畸變則是整個(gè)相機(jī)的組裝過程中造成的。影響鏡頭畸變的參數(shù)一共有5個(gè)，徑向畸變3個(gè)，切向畸變2個(gè)。這5個(gè)參數(shù)和M1一起，都是需要標(biāo)定的相機(jī)內(nèi)參。常見扭曲類型6.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的方法相機(jī)標(biāo)定方法主要有：標(biāo)定物標(biāo)定法、主動(dòng)視覺相機(jī)標(biāo)定方法、相機(jī)自標(biāo)定法。主動(dòng)視覺相機(jī)標(biāo)定法：是指已知相機(jī)的某些運(yùn)動(dòng)信息對(duì)相機(jī)進(jìn)行標(biāo)定。該方法不需要標(biāo)定物，但需要控制相機(jī)做某些特殊運(yùn)動(dòng)，利用這種運(yùn)動(dòng)的特殊性可以計(jì)算出相機(jī)內(nèi)部參數(shù)。相機(jī)自標(biāo)定方法：并不需要知道圖像點(diǎn)的三維坐標(biāo)，它通過計(jì)算某一點(diǎn)在不同拍攝角度的場(chǎng)景圖中的相對(duì)關(guān)系來確定相機(jī)標(biāo)定的參數(shù)問題。標(biāo)定物標(biāo)定法：不僅需要明確標(biāo)定物大小、形狀，還要確定物體表面的特殊點(diǎn)坐標(biāo)。典型的有張正友平面標(biāo)定法等。張氏標(biāo)定法是使用二維方格組成的標(biāo)定板進(jìn)行標(biāo)定。采集標(biāo)定板不同位姿圖片，提取圖片中角點(diǎn)像素坐標(biāo)，通過矩陣計(jì)算出相機(jī)的內(nèi)外參數(shù)初始值。該方法介于基于主動(dòng)視覺相機(jī)標(biāo)定法和自標(biāo)定法之間，既克服了基于主動(dòng)視覺的相機(jī)標(biāo)定法需要的高精度三維標(biāo)定物的缺點(diǎn)，又解決了自標(biāo)定法魯棒性差的難題。不僅使用靈活方便，而且精度很高，魯棒性好。因此很快被全世界廣泛采用。標(biāo)定張正友博士1999年，發(fā)表在國(guó)際頂級(jí)會(huì)議ICCV上的論文中，提出的一種利用平面棋盤格進(jìn)行相機(jī)標(biāo)定的實(shí)用方法。目前，這一標(biāo)定法在全世界被普遍采用。標(biāo)定張氏標(biāo)定法棋盤格和圓點(diǎn)格標(biāo)定板標(biāo)定標(biāo)定工具CalibCheckboradTool1）參數(shù)設(shè)置。2）抓取校正圖像。3）計(jì)算校正。標(biāo)定校準(zhǔn)板原點(diǎn)校準(zhǔn)板可以有一個(gè)原點(diǎn)，以兩個(gè)交叉矩形表示。如果找到，該點(diǎn)將成為原始校準(zhǔn)空間的原點(diǎn)。標(biāo)定非線性轉(zhuǎn)換兩者圖像的差異標(biāo)定運(yùn)行結(jié)果6.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的視覺標(biāo)定工具1.CogCalibCheckerboardTool標(biāo)定棋盤格和圓點(diǎn)格標(biāo)定板棋盤格標(biāo)定工具只能與滿足特定尺寸要求的標(biāo)定板一起使用。對(duì)于棋盤格標(biāo)定板，黑白方塊必須以交叉圖案方式排列，黑白方塊必須具有同樣的尺寸。黑白塊的長(zhǎng)寬比應(yīng)該在0.90到1.10的范圍內(nèi)。所采集的圖像必須包括至少9個(gè)完整方塊，方塊必須至少為15×15像素。6.1相機(jī)標(biāo)定?相機(jī)標(biāo)定的視覺標(biāo)定工具2.CogCalibNPointToNPointTool標(biāo)定CogCalibNPointToNPointTool工具同兩組點(diǎn)來校正圖像，一組點(diǎn)為像素坐標(biāo)點(diǎn)，另一組點(diǎn)是像素坐標(biāo)點(diǎn)對(duì)應(yīng)的物理坐標(biāo)點(diǎn)第六章

機(jī)器視覺測(cè)量項(xiàng)目任務(wù)026.2項(xiàng)目任務(wù)?鋰電池尺寸測(cè)量任務(wù)要求：（1）對(duì)視野范圍內(nèi)的電池塊進(jìn)行定位，能夠在視野下準(zhǔn)確找到鋰電池塊；（2）對(duì)鋰電池進(jìn)行標(biāo)定處理，學(xué)習(xí)標(biāo)定的概念和基本操作流程；（3）測(cè)量鋰電池塊的長(zhǎng)和寬，判斷是否合格；（4）測(cè)量鋰電池塊中心點(diǎn)到右側(cè)邊緣距離；（5）將鋰電池的尺寸、是否合格等數(shù)據(jù)顯示到界面上。程序流程設(shè)計(jì)一、項(xiàng)目任務(wù)二、任務(wù)實(shí)施1.硬件配置2.

項(xiàng)目任務(wù)流程設(shè)計(jì)3.進(jìn)行HMI界面設(shè)計(jì)?鋰電池尺寸測(cè)量取像工作流程2.項(xiàng)目任務(wù)流程設(shè)計(jì)（1）程序觸發(fā)（2）取像（3）視覺任務(wù)配置（4）添加結(jié)果圖像2.項(xiàng)目任務(wù)流程設(shè)計(jì)?視覺任務(wù)配置1）配置輸入圖像。2）轉(zhuǎn)換成灰度圖像。3）標(biāo)定。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?標(biāo)定添加“CogCalibCheckerboardTool”工具，用棋盤格標(biāo)定。將棋盤格標(biāo)定片置于相機(jī)視野中，采集拍攝圖片。雙擊打開“CogCalibCheckerboardTool”工具，對(duì)相關(guān)參數(shù)進(jìn)行配置，并進(jìn)行校正。在標(biāo)定的時(shí)候，將標(biāo)定板圖像傳遞給CogCalibCheckerboardTool的Current.Inputimage。校正板的塊尺寸X、Y填上格子寬度即可，單位為mm。校準(zhǔn)板可以有一個(gè)原點(diǎn)，以兩個(gè)交叉矩形表示，如圖所示。如果找到，該點(diǎn)將成為原始校準(zhǔn)空間的原點(diǎn)。如果沒有找到，原始校準(zhǔn)空間的原點(diǎn)是最接近校準(zhǔn)圖像中心的頂點(diǎn)。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?標(biāo)定在“校正”界面中，將塊尺寸X、Y和標(biāo)定片棋盤格的尺寸保持一致，如3×3mm。點(diǎn)擊“抓取校正圖像”，將待校正圖像從Current.Inputimage傳遞給Current.CalibrationImage。然后，點(diǎn)擊“計(jì)算校正”。運(yùn)行工具，生成校正空間。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?標(biāo)定計(jì)算校正完成時(shí)，注意查看“轉(zhuǎn)換結(jié)果”頁(yè)面的RMS誤差，如圖所示。該誤差表示將提取到的角點(diǎn)與利用轉(zhuǎn)換關(guān)系計(jì)算的角點(diǎn)之間在未校正空間上的均方根誤差，其數(shù)值一般在0~1之間，如果誤差較大則說明標(biāo)定過程存在問題。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?標(biāo)定CogCalibCheckboardTool中包含標(biāo)定時(shí)圖像、當(dāng)前輸入圖像、輸出圖像、未標(biāo)定點(diǎn)的圖像坐標(biāo)與原始坐標(biāo)系下特征點(diǎn)的物理坐標(biāo)以及最重要的坐標(biāo)轉(zhuǎn)換關(guān)系數(shù)據(jù)。校正空間生成后，只要將校準(zhǔn)的輸出圖像傳遞給其他工具的輸入圖像，即可使用校準(zhǔn)結(jié)果。此時(shí)，即使更換輸入圖像源，輸入圖像也可采用校正空間。將校正的輸出圖像“CogCalibCheckboardTool1.OutputImage”傳遞給PMAlignTool和FixtureTool。輸入圖像可采用校正空間，形成標(biāo)定的特征坐標(biāo)系。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?視覺任務(wù)配置1）配置輸入圖像。2）轉(zhuǎn)換成灰度圖像。3）標(biāo)定。4）特征提取。添加“CogPMAlignTool”工具，調(diào)整相關(guān)參數(shù)，進(jìn)行模板匹配。在“抓取訓(xùn)練圖像”時(shí)，注意把鋰電池中每張圖像不一致的特征掩膜過濾掉，如中間的文字和二維碼。在“所選空間名稱”欄目選擇校正空間--“@\CheckerboardCalibration”。5）建立圖像特征坐標(biāo)系。使用CogFixtureTool，建立標(biāo)定后的圖像特征坐標(biāo)系（@\CheckerboardCalibration\Fixture）。將形成的特征坐標(biāo)系圖片輸出，提供后續(xù)工具參照使用。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?CogCalipTool工具6）卡尺測(cè)量長(zhǎng)度。使用CogCalipTool工具測(cè)量長(zhǎng)度。VisionPro視覺軟件中的卡尺工具(CogCalipTool)利用邊緣檢測(cè)原理，來測(cè)量物體的寬度、邊緣或特征的位置，邊對(duì)的位置及寬度等。與其他視覺工具不同的是，CogCaliperTool工具需要預(yù)先知道待測(cè)邊緣或特征的大概位置和特點(diǎn)。CogCaliperTool原理就是將二維空間投影轉(zhuǎn)化成一維空間。沿著規(guī)定方向中的平行光線添加像素灰度值，形成一維投影圖像?？ǔ吖ぞ咴硐葘⒍S空間投影轉(zhuǎn)化成一維空間，在一維空間中進(jìn)行邊緣檢測(cè)?？ǔ吖ぞ咴韯?chuàng)建投影圖像，應(yīng)用邊線篩選，從輸入圖像中消除噪音，返回得分最高的邊緣。卡尺工具原理通過使用一個(gè)篩選算子遍歷一維投影圖像來執(zhí)行篩選?？ǔ吖ぞ咴砗Y選寬度=6尖邊線（1個(gè)像素寬）鈍邊線（5個(gè)像素寬）篩選寬度=2篩選寬度=4篩選尺寸接近邊線尺寸生產(chǎn)較強(qiáng)的邊線峰值，篩選尺寸太大或者太小會(huì)減少峰值卡尺工具操作方法定義目標(biāo)區(qū)域設(shè)置基本參數(shù)選擇并建立計(jì)分標(biāo)準(zhǔn)測(cè)試并評(píng)價(jià)結(jié)果卡尺工具操作方法卡尺區(qū)域指圖像中探測(cè)到邊線的區(qū)域，在圖形上由輸入圖像中的藍(lán)色方框表示掃描方向投影方向旋轉(zhuǎn)手柄傾斜手柄重新調(diào)整手柄的大小定義目標(biāo)區(qū)域2.項(xiàng)目任務(wù)流程設(shè)計(jì)?卡尺測(cè)量原理CogCaliperTool工具操作方法包括：設(shè)置搜索區(qū)域、設(shè)置卡尺參數(shù)、計(jì)分設(shè)置、運(yùn)行、查看結(jié)果。應(yīng)用CogCaliperTool工具的第一步就是在待測(cè)位置設(shè)定一個(gè)投影區(qū)域，投影區(qū)域包含了感興趣特征，投影操作綜合投影區(qū)域內(nèi)的所有信息。增強(qiáng)與投影方向平行的邊緣特征并減弱噪聲的影響。辨識(shí)目標(biāo)區(qū)域中的目標(biāo)邊線必須與投影方向平行。掃描方向投影方向旋轉(zhuǎn)手柄傾斜手柄重新調(diào)整手柄的大小定義目標(biāo)區(qū)域定義目標(biāo)區(qū)域區(qū)域標(biāo)準(zhǔn)：包含目標(biāo)邊線邊線必須與投影方向平行可能必須旋轉(zhuǎn)在可能時(shí)，不包括目標(biāo)邊線以外的特征可能必須傾斜投影方向投影方向區(qū)域卡尺工具操作方法設(shè)置基本參數(shù)卡尺工具操作方法設(shè)置對(duì)比度閾值卡尺工具操作方法計(jì)分尺寸函數(shù)：?Size_Diff_Norm：|w-d|/w?Size_Norm：d/w?Size_Diff_Norm_Asym：(w-d)/ww=邊線模型的寬度d=邊線對(duì)子的寬度2.項(xiàng)目任務(wù)流程設(shè)計(jì)?卡尺測(cè)量原理計(jì)分即為采用應(yīng)用到該邊線探測(cè)的計(jì)分方法，給最滿足預(yù)期邊線的邊線對(duì)象打可能的最高分。VisionPro卡尺有主要三種計(jì)分函數(shù)，通過選定的函數(shù)計(jì)算出我們需要查找的邊。這三種計(jì)分函數(shù)分別是：對(duì)比度、位置、尺寸。對(duì)比度函數(shù)：指所找線條兩側(cè)顏色的色差值，以像素值的變化來表示。位置函數(shù)：指的是卡尺線沿搜索方向的線條到卡尺的距離（單位像素）。位置是邊緣與投影窗口的中心之間的距離。尺寸函數(shù)：相對(duì)前兩個(gè)函數(shù)功能稍弱。它是沿搜索方向在卡尺框內(nèi)抓取第一根符合條件的線。有幾種尺寸計(jì)算方式，SizDiffNorm、SizeNorm、SizeDiffNormAsym等。

跨立是指邊線是否跨過投影窗口的中心。如果是，得分為1；卡尺工具操作方法運(yùn)行結(jié)果2.項(xiàng)目任務(wù)流程設(shè)計(jì)?卡尺測(cè)量步驟①設(shè)置投影區(qū)域：在“區(qū)域”欄，選擇“CogRectangleAffine”（仿射矩形），即可旋轉(zhuǎn)和傾斜的矩形，選擇空間為校正空間（“@\CheckerboardCalibration\Fixture”）。用這矩形在校正空間中框選卡尺需要測(cè)量的待測(cè)區(qū)域。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?卡尺測(cè)量步驟②設(shè)置邊緣模式：可設(shè)置為查找單個(gè)邊緣或邊緣對(duì)。為了確保CogCaliperTool工具找到的邊符合我們的期望，可以設(shè)置邊緣極性(從暗到明或從明到暗)、邊緣相對(duì)于原點(diǎn)的位置、以及邊緣對(duì)的寬度等參數(shù)。選擇單個(gè)邊線或者邊線對(duì)子然后指出預(yù)期的極性。對(duì)于邊線對(duì)子，還需要規(guī)定邊線之間的預(yù)期距離。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?卡尺測(cè)量步驟③設(shè)置對(duì)比度閾值：小于對(duì)比度閾值的邊會(huì)被忽略，大于對(duì)比度閾值的邊被保留。④過濾一半像素：此參數(shù)主要用于邊緣篩選，其目的是消除噪聲和增強(qiáng)峰值。⑤最大結(jié)果數(shù)n：只從備選邊種保留最強(qiáng)n條邊，如果備選邊不足n，則全部保留。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?卡尺測(cè)量結(jié)果⑥運(yùn)行卡尺工具后，顯示找到的邊線在報(bào)告的邊線處的LastRun.InputImage中繪制綠線。其余結(jié)果圖形在LastRun.RegionData中顯示，顯示仿射轉(zhuǎn)換圖像將像素從區(qū)域添加到區(qū)域數(shù)據(jù)(RegionData)。如圖所示，通過左邊的參數(shù)調(diào)整，能夠在右邊RegionData區(qū)域數(shù)據(jù)中，直觀地顯示是否找到邊線（綠線）和具體所在位置。⑦“結(jié)果”欄目中，該邊線或邊線對(duì)就某個(gè)計(jì)分函數(shù)所得的得分按照從高到低的順序?qū)y(cè)量結(jié)果顯示在結(jié)果表格中。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?卡尺測(cè)量結(jié)果輸出將測(cè)量的結(jié)果添加到工具的輸出端。選中卡尺工具，右鍵點(diǎn)擊選中并打開“添加終端”界面。選擇“所有（未過濾）”，找到Results<CogCalipResults>下的Results.Item[0].Width，點(diǎn)擊“添加輸出”即可。將CogCalipTool測(cè)量工具的輸出鏈接到整個(gè)工具（003_ToolBlock）的終端輸出“Outputs”，命名為“Length”。7）卡尺測(cè)量寬度。使用CogCalipTool工具測(cè)量寬度。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?視覺任務(wù)配置8）測(cè)量中心距。測(cè)量中心距的流程是：依次找到鋰電池的4個(gè)角點(diǎn)（A、B、C、D），然后找到對(duì)角線（AC、BD），由對(duì)角線找到中心點(diǎn)，也即兩個(gè)對(duì)角線的交點(diǎn)（AC-BD），然后找到鋰電池的邊線AB，由中心點(diǎn)和邊線，測(cè)量其中心距。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?測(cè)量中心距①定位角點(diǎn)。添加CogFindCornerTool，選擇標(biāo)定輸出的特征坐標(biāo)系（@\CheckerboardCalibration\Fixture）。如圖6-19所示，設(shè)置卡尺參數(shù)，包括卡尺數(shù)量、搜索長(zhǎng)度、投影長(zhǎng)度等，以便能夠準(zhǔn)確地找到鋰電池塊的角點(diǎn)。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?測(cè)量中心距重復(fù)添加4個(gè)CogFindCornerTool，直至鋰電池塊的4個(gè)頂點(diǎn)都找到。為了很好地辨識(shí)各個(gè)頂點(diǎn)，4個(gè)工具名可以依次命名為CogFindCornerTool-A、CogFindCornerTool-B、CogFindCornerTool-C、CogFindCornerTool-D。②定位對(duì)角線。使用CogFitLineTool，添加兩個(gè)頂點(diǎn)（A、C）坐標(biāo)輸入項(xiàng)，得到對(duì)角線AC。同樣，達(dá)到對(duì)角線BD。③定位中心點(diǎn)。使用IntersectLineLineTool，添加輸入項(xiàng)（即對(duì)角線AC、BD），得到交叉點(diǎn)，即中心點(diǎn)（AC-BD）坐標(biāo)。④定位邊線。使用CogFindLineTool，調(diào)整相關(guān)參數(shù)，準(zhǔn)確地找到鋰電池塊右側(cè)（長(zhǎng)邊）邊線AB。⑤測(cè)量中心點(diǎn)至邊線距離。使用DistancePointLineTool，添加中心點(diǎn)（AC-BD）和右側(cè)邊線輸入項(xiàng)（AB），測(cè)量出中心點(diǎn)到右側(cè)邊線的距離，并且將這個(gè)距離（Distance）鏈接到整個(gè)工具（“003_ToolBlock”的終端輸出“Outputs”，命名為“Distance”。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?視覺任務(wù)配置9）測(cè)量距離公差分析。添加ResultsAnalysis工具，對(duì)所測(cè)量的鋰電池塊的長(zhǎng)和寬進(jìn)行分析判斷。如圖所示，把經(jīng)卡尺測(cè)量的長(zhǎng)和寬測(cè)量值添加到ResultAnalysis工具的兩個(gè)輸入Input-Length,Input-Width。公稱長(zhǎng)度56mm，寬38mm，公差為±0.2mm。2.項(xiàng)目任務(wù)流程設(shè)計(jì)?判斷結(jié)果輸出將判斷輸出結(jié)果輸出。選擇左側(cè)工具樹中的“CogResultsAnalysisTool1”，鼠標(biāo)右鍵點(diǎn)擊，選擇“添加終端”，在成員瀏覽下，在“所有（未過濾）”下，依次選擇“CogResultsAnalysisTool→Result<CogResultsAnalysisTool>→E