機(jī)器視覺(jué)和圖像處理(共8頁(yè))

1、移動(dòng)(ydng)機(jī)器人使用雙目視覺(jué)(shju)系統(tǒng)對(duì)物體(wt)進(jìn)行3D坐標(biāo)檢測(cè)（Guo-Shing Huang, Ci-En Cheng）摘要：這篇論文主要討論了智能機(jī)器人雙目視覺(jué)系統(tǒng)，它利用了圖像處理原理和邊緣檢測(cè)算法，這樣可以更加清晰的得到物體的邊緣輪廓。利用隨機(jī)測(cè)圓法和Hough變換的隨機(jī)線條可以找到指定的對(duì)象。我們探討了圖像識(shí)別應(yīng)用技術(shù)。通過(guò)機(jī)器人定位算法，在雙目視覺(jué)坐標(biāo)系下，可以快速而精確的定位目標(biāo)。通過(guò)兩個(gè)網(wǎng)路攝像機(jī)的校訂，我們可以得到內(nèi)部和外部參數(shù)，目標(biāo)物體固定位置的3D空間坐標(biāo)可以由雙目視覺(jué)三角法精確計(jì)算得到。物體和機(jī)器人之間的距離可以有坐標(biāo)變換系統(tǒng)得到。經(jīng)由三角幾何理論檢測(cè)

2、，系統(tǒng)誤差在允許的范圍內(nèi)。同時(shí)可以得到期望的精度和可靠性。一、引文我們提出了機(jī)器人雙目視覺(jué)系統(tǒng)應(yīng)用坐標(biāo)，對(duì)人眼進(jìn)行仿真，做到智能檢測(cè)應(yīng)用。因此，這樣的系統(tǒng)可以在機(jī)械臂的作用下精確的捕捉目標(biāo)的位置，而不需要大數(shù)量的傳感器。雙目視覺(jué)系統(tǒng)可以通過(guò)左右相機(jī)捕捉的圖像找到共同的特征點(diǎn)。通過(guò)形態(tài)學(xué)的處理，物體和相機(jī)之間的距離可以精確的計(jì)算到。物體的三維坐標(biāo)可以使用相機(jī)參數(shù)表示。因此，物體可以由機(jī)械臂抓取。部分2詳細(xì)的介紹了餐飲服務(wù)機(jī)器人的外觀和雙目視覺(jué)硬件結(jié)構(gòu)。部分3描述了尋找特征點(diǎn)的圖像處理過(guò)程。部分4討論并圖示了特征點(diǎn)轉(zhuǎn)換為三維坐標(biāo)的過(guò)程。部分5和6分別給出了實(shí)驗(yàn)結(jié)果和結(jié)論。二、雙目視覺(jué)系統(tǒng)的結(jié)構(gòu)圖1

3、 BVS硬件結(jié)構(gòu)雙目視覺(jué)系統(tǒng)硬件結(jié)構(gòu)包括2個(gè)相機(jī)，安裝在機(jī)器人的頭部。由計(jì)算機(jī)組成的操作系統(tǒng)的結(jié)構(gòu)如下。圖2 BVS和機(jī)械(jxi)臂系統(tǒng)結(jié)構(gòu)三、圖像處理(t xin ch l)選取(xunq)現(xiàn)實(shí)中使用的目標(biāo)物體，包括易拉罐，聚酯塑料瓶，杯子圖3 目標(biāo)物體檢測(cè)所選目標(biāo)物體具有不同的顏色，形狀，找到它們的中心點(diǎn)，左右兩個(gè)特征點(diǎn)，作為篩選目標(biāo)物體的依據(jù)。A 形態(tài)學(xué)選取一個(gè)合適的閾值，便可以將目標(biāo)物體從環(huán)境中分離出來(lái)。通過(guò)左右相機(jī)所得到的相機(jī)圖像利用二進(jìn)制系統(tǒng)表示以及HSV顏色模塊，可以得到一個(gè)合適的閾值處理過(guò)程。圖4 圖像(t xin)處理(chl)圖像(t xin)經(jīng)過(guò)腐蝕和膨脹可以消除圖像噪

4、聲。將RGB顏色模塊轉(zhuǎn)換到HSV顏色模塊，轉(zhuǎn)換方程如下：B、物體識(shí)別通過(guò)灰度等級(jí)的突變，如果在一階導(dǎo)數(shù)形成的高峰超過(guò)閾值之后，將會(huì)呈現(xiàn)測(cè)點(diǎn)形狀。二階微分是通過(guò)零交叉概念。對(duì)于函數(shù)f(x,y)沿著x軸的微分為對(duì)于x軸的微分進(jìn)過(guò)平方和替換可以得到同樣的對(duì)于y軸的微分類(lèi)似。便可以得到通過(guò)Hough 變換，我們可以將x-y的坐標(biāo)轉(zhuǎn)為r-空間的坐標(biāo)，這就是Sandy-Method空間角檢測(cè)線方法。圖 5 x-y坐標(biāo)(zubio)空間與r-空間(kngjin)坐標(biāo)(zubio)的關(guān)系可以得中心圓方程包括兩個(gè)變量和一個(gè)可變的半徑，需要進(jìn)行累計(jì)數(shù)組測(cè)量。將每一個(gè)邊緣點(diǎn)的位置坐標(biāo)代入方程可以得到半徑值。當(dāng)所有的

5、邊緣點(diǎn)轉(zhuǎn)換完畢的時(shí)候，通過(guò)設(shè)定的閾值和累積數(shù)組變換，便可以知道是否得到一個(gè)大致的圖像。圖6 三維累積數(shù)組假設(shè)在圖像中有K個(gè)側(cè)點(diǎn)，為了得到對(duì)應(yīng)于二維坐標(biāo)的半徑值r，將側(cè)點(diǎn)代入a*b大小的圓中。檢測(cè)每一小的格子，當(dāng)數(shù)據(jù)超過(guò)閾值的時(shí)候，便可以得到下圖圖7 數(shù)字圓C 尋找特征點(diǎn)尋找特征點(diǎn)，對(duì)數(shù)據(jù)進(jìn)行成批處理，然后得到目標(biāo)點(diǎn)。對(duì)數(shù)據(jù)進(jìn)行成批處理，是為了降低特征點(diǎn)的影響和復(fù)雜性，增加了特征點(diǎn)的精度。尋找的特征點(diǎn)如圖所示，特征點(diǎn)在圖8(a),(b)中以?xún)蓚€(gè)紅色表示出來(lái).圖8(c)(d)表示使用Hough變換尋找圖像中橢圓的中心點(diǎn)，因此便可以得到中心點(diǎn)。同樣的特征點(diǎn)以紅色表示出來(lái)。圖8 特征(tzhng)點(diǎn)四

6、、定位(dngwi)坐標(biāo)A 相機(jī)(xingj)坐標(biāo)圖9是坐標(biāo)系統(tǒng)的變換。左右圖像的特征點(diǎn)是像素點(diǎn)，通過(guò)內(nèi)部參數(shù)矩陣，像素點(diǎn)可以轉(zhuǎn)換為相機(jī)坐標(biāo)。右相機(jī)是相機(jī)坐標(biāo)的原點(diǎn)，對(duì)于理想的針孔攝影，實(shí)像可以投影到像板上，這是遠(yuǎn)視投影。這就是三維空間坐標(biāo)轉(zhuǎn)換為二維像素坐標(biāo)的轉(zhuǎn)換辦法。圖9 雙目視覺(jué)幾何關(guān)系圖解圖10所示，圖像中心Oc的三維坐標(biāo)是相機(jī)坐標(biāo)系統(tǒng)，3D空間點(diǎn)對(duì)應(yīng)相機(jī)點(diǎn)。以點(diǎn)P=(Xc,Yc,Zc)表示。Zc是相機(jī)的光軸，F(xiàn)是Oc到像板之間的距離。Q是圖像中心的焦點(diǎn)。圖像面板上p點(diǎn)坐標(biāo)是P的投影。圖像坐標(biāo)可以表示為P=（ ）。像板上投影點(diǎn)的坐標(biāo)可以用如下等式表示相機(jī)(xingj)坐標(biāo)(zubio)的

7、三維坐標(biāo)(zubio)可以表示為等式是比例因子，可以隨著圖像分辨率的大小而改變。圖10 透視投影幾何圖解B 相機(jī)參數(shù)實(shí)際情況下，相機(jī)的投影在像板上并不是理想的投影。因此，我們必須對(duì)相機(jī)元素進(jìn)行校正。由于透鏡的放射影響，圖像的中心坐標(biāo)變成（）。，相機(jī)因此，相機(jī)Xc軸和Yc軸的系數(shù)是不等的，需要分開(kāi)考慮?？梢匀缦卤硎緍是偏移系數(shù)代表了X軸和Y軸相對(duì)于直角的偏移角度。r值近似為0.整個(gè)內(nèi)部參數(shù)矩陣表示如下。五、實(shí)驗(yàn)(shyn)結(jié)果A 相機(jī)(xingj)參數(shù)校定在整個(gè)(zhngg)研究中，雙目視覺(jué)調(diào)整使用的是10*7的黑色象棋盤(pán)，每一個(gè)方塊的尺寸是25.5*25.5mm2.相機(jī)的固有參數(shù)可以由Open

8、CV得到。圖11 10*7的黑色象棋盤(pán)圖示11表示相機(jī)通過(guò)校正盤(pán)求解內(nèi)部和外部的參數(shù)矩陣，內(nèi)部的參數(shù)矩陣包括成像中心和焦距長(zhǎng)度，外部參數(shù)包括相對(duì)旋轉(zhuǎn)和變換矩陣。左相機(jī)參數(shù)，內(nèi)部參數(shù):外部參數(shù)，變換矩陣:旋轉(zhuǎn)矩陣：右相機(jī)參數(shù)，內(nèi)部參數(shù)外部參數(shù)，變換矩陣旋轉(zhuǎn)矩陣B 測(cè)量(cling)結(jié)果(ji gu)文章(wnzhng)以易拉罐，杯子等為對(duì)象，它們具有同樣的形狀不同的顏色，不同的形狀同樣的顏色，不同的形狀不同的顏色等特征。帶有內(nèi)部和外部參數(shù)的相機(jī)圖像坐標(biāo)，我們可以利用三維重建原理，重建三維世界坐標(biāo)。圖11，在每一個(gè)軸線方向定義了相機(jī)坐標(biāo)系統(tǒng)，并將右邊的相機(jī)作為相機(jī)坐標(biāo)系統(tǒng)的原點(diǎn)。成像工具使用的是羅

9、馬科技公司的QuickCam C920網(wǎng)絡(luò)相機(jī)型號(hào)。它作為視覺(jué)感知裝置和USB接口相連，圖像的捕捉速度可以達(dá)到30幀每秒，一個(gè)自動(dòng)的模塊包括數(shù)字放大鏡，HD CCD傳感器。圖11 相機(jī)坐標(biāo)軸的定義使用Hough測(cè)量和HSV顏色模塊，這樣相似目標(biāo)的識(shí)別，例如易拉罐瓶，塑料瓶，杯子，可口可樂(lè)罐等因?yàn)樾螤疃苋菀谆煜奈矬w，同時(shí)也可以檢測(cè)這些物品的顏色來(lái)判定。進(jìn)過(guò)對(duì)測(cè)得的結(jié)果使用統(tǒng)計(jì)學(xué)的知識(shí)進(jìn)行分析可以發(fā)現(xiàn)，左右特征點(diǎn)越是遠(yuǎn)離成像中心，所得到的誤差越大，這是因?yàn)橄鄼C(jī)鏡頭的是凸面鏡。另一方面，從測(cè)量結(jié)果可以得到一個(gè)精確的景深。圖12易拉罐的識(shí)別和特征點(diǎn)的尋找內(nèi)容總結(jié)（1）移動(dòng)機(jī)器人使用雙目視覺(jué)系統(tǒng)對(duì)物體進(jìn)行3D坐標(biāo)檢測(cè)（Guo-Shing Huang, Ci-En