基于數(shù)字圖像形態(tài)學(xué)的機(jī)器人視覺(jué)系統(tǒng)識(shí)別

基于數(shù)字圖像形態(tài)學(xué)的機(jī)器人視覺(jué)系統(tǒng)識(shí)別

隨著計(jì)算機(jī)技術(shù)和自動(dòng)化技術(shù)的發(fā)展，越來(lái)越多的智能機(jī)器人出現(xiàn)在工廠和生活中。機(jī)器人視覺(jué)系統(tǒng)作為智能機(jī)器人系統(tǒng)的一個(gè)重要系統(tǒng)越來(lái)越受到重視。該系統(tǒng)的主要任務(wù)是獲取實(shí)時(shí)圖像，分析圖像，確定機(jī)器人的坐標(biāo)和位置，并向控制模塊發(fā)送數(shù)據(jù)。在這項(xiàng)工作中，我們主要研究并設(shè)計(jì)了幾種服務(wù)機(jī)器人的視覺(jué)系統(tǒng)。由于服務(wù)機(jī)器人具有覆蓋范圍廣、環(huán)境光不穩(wěn)定的特點(diǎn)，在系統(tǒng)執(zhí)行過(guò)程中存在以下困難：1。環(huán)境光條件不穩(wěn)定；處理的數(shù)據(jù)量大；2.識(shí)別對(duì)象的圖像有嚴(yán)重變形。針對(duì)以上問(wèn)題,國(guó)內(nèi)外研究者先后提出了多種解決方法.2003年,在足球機(jī)器人比賽中,美國(guó)CMU大學(xué)CMUDragon隊(duì)提出蝶形色標(biāo)方案,在定位精度與識(shí)別目標(biāo)數(shù)量上有明顯優(yōu)勢(shì).清華大學(xué)王栓等提出基于差分圖像的多目標(biāo)跟蹤方法,通過(guò)對(duì)前后兩幀圖像進(jìn)行差分計(jì)算,減少了處理的數(shù)據(jù)量.2003年,Cornell大學(xué)提出利用黑白方格棋盤(pán)的頂點(diǎn)差分進(jìn)行畸變矯正,提高了定位的精度.為了解決視覺(jué)系統(tǒng)圖像分割顏色閾值不確定性的問(wèn)題,先后有人提出顏色查找表、基于邊緣檢測(cè)和HSI閾值地圖的顏色分割等方法.以上方法在足球機(jī)器人視覺(jué)系統(tǒng)中得到了廣泛的應(yīng)用,并取得了一定成效.本研究針對(duì)多服務(wù)機(jī)器人活動(dòng)范圍廣、環(huán)境光照不穩(wěn)定等情況,提出新的色標(biāo)設(shè)計(jì),自動(dòng)調(diào)整顏色閾值,同時(shí)引入數(shù)字圖像形態(tài)學(xué)方法對(duì)識(shí)別結(jié)果進(jìn)行優(yōu)化.最后,通過(guò)多服務(wù)機(jī)器人項(xiàng)目驗(yàn)證了本研究方法的正確性和可靠性.1視覺(jué)系統(tǒng)的工作流程視覺(jué)系統(tǒng)是機(jī)器人系統(tǒng)感知外界環(huán)境的主要傳感器,它由攝像機(jī)、圖像采集卡、圖像處理程序、計(jì)算機(jī)和網(wǎng)絡(luò)通信設(shè)備組成.視覺(jué)系統(tǒng)的工作流程如圖1所示.(1)獲取圖像,一般采用CCD攝像機(jī)作為獲取圖像的設(shè)備;(2)初始化圖像分割HSI閾值和攝像頭內(nèi)部參數(shù);(3)根據(jù)HSI閾值分割圖像,對(duì)目標(biāo)進(jìn)行識(shí)別;(4)利用數(shù)字圖像形態(tài)學(xué)方法,對(duì)識(shí)別結(jié)果進(jìn)行優(yōu)化;(5)根據(jù)識(shí)別結(jié)果計(jì)算機(jī)器人的坐標(biāo)與位姿,并將數(shù)據(jù)傳遞到機(jī)器人的控制模塊.2ccosr-g+b形式基于彩色圖像分割的方法識(shí)別目標(biāo)時(shí),要選擇合適的顏色空間,常見(jiàn)的顏色空間有RGB,YUV,HSI(HSV),CMY等,顏色空間的選擇直接影響圖像分割效果.RGB是常見(jiàn)的顏色空間,一般CCD攝像機(jī)輸出用RGB顏色空間表示,若選擇RGB顏色空間,則無(wú)須轉(zhuǎn)換.但在實(shí)際應(yīng)用中,由于RGB顏色空間受光源的種類、光照的強(qiáng)度等因素影響,同一顏色屬性的物體測(cè)出的RGB值分布很分散,3個(gè)分量互相關(guān)聯(lián)變化,很難確定識(shí)別RGB的閾值范圍,容易把并非指定顏色的物體包括進(jìn)去,或漏掉應(yīng)該識(shí)別的部分物體.HSI顏色空間是接近人眼感知的色彩空間,其中H為色調(diào),I為亮度,S為飽和度.色調(diào)屬性H能比較準(zhǔn)確地反映顏色種類,對(duì)外界光照條件的變化敏感程度低,對(duì)同一顏色屬性物體,H具有比較穩(wěn)定和較窄的數(shù)值變化范圍,可以選為主識(shí)別參數(shù).但是當(dāng)RGB值較小,即亮度I較小時(shí),H值不確定,所以亮度I與飽和度S也很重要.本研究選擇HSI顏色空間來(lái)對(duì)目標(biāo)進(jìn)行分割,HSI顏色空間模型如圖2所示,RGB到HSI的轉(zhuǎn)換公式為Η={arccos((R-G)+R2√(R-G)2+(R-B)(G-B)),B≤G；2π-arccos((R-G)+R2√(R-G)2+(R-B)(G-B)),B>G?S=max(R,G,B)-min(R,G,B)max(R+G+B)?Ι=max(R,G,B)255.H=?????????????????????arccos((R?G)+R2(R?G)2+(R?B)(G?B)√),B≤G；2π?arccos((R?G)+R2(R?G)2+(R?B)(G?B)√),B>G?S=max(R,G,B)?min(R,G,B)max(R+G+B)?I=max(R,G,B)255.在分割圖像之前,先確定每種顏色的閾值范圍,如紅色的H值大概在[0,0.5]的區(qū)間.但由于環(huán)境光源不穩(wěn)定的影響,相同紅色色標(biāo)在相同環(huán)境中不能完全識(shí)別,從而影響識(shí)別結(jié)果.本研究針對(duì)環(huán)境光照不穩(wěn)定和光線分布不均勻兩種情況,分別提出了利用四色塊和閾值可信度自動(dòng)調(diào)整閾值方法.針對(duì)環(huán)境光照不穩(wěn)定的情況,本研究提出利用四色塊(紅、黃、綠、藍(lán))通過(guò)Otsu閾值法與K-L變換來(lái)自動(dòng)調(diào)整顏色空間閾值的方法.系統(tǒng)初始顏色空間閾值設(shè)定是通過(guò)計(jì)算四色塊中4種顏色的HSI值得到的.當(dāng)環(huán)境的光源改變時(shí),只需計(jì)算四色塊(紅、黃、綠、藍(lán))的HSI值,就可以自動(dòng)調(diào)整顏色閾值進(jìn)行圖像分割處理.其計(jì)算過(guò)程如下:(1)將色塊中4種顏色的RGB值轉(zhuǎn)換成HSI值.(2)利用Otsu閾值法選擇合適的閾值.無(wú)論是單閾值還是多閾值都是針對(duì)一維特征圖像而言.在HSI顏色空間模型中,H分量表示色調(diào)信息,能反映顏色種類且受光照的影響小,因此可先針對(duì)H分量對(duì)四色塊使用Otsu閾值選擇法,選擇合適的閾值,將四色塊分割成4個(gè)連通區(qū)域.(3)分別對(duì)4個(gè)連通域進(jìn)行局部Otsu閾值計(jì)算.在HSI顏色空間模型中,I分量受光照影響大,可直接使用Otsu閾值選擇法.色度分量為二維特征,其中H為色調(diào)特征,S為飽和度特征,H和S特征構(gòu)成極坐標(biāo)系.根據(jù)人眼視覺(jué)特性,色調(diào)和飽和度構(gòu)成顏色信息,所以將二者結(jié)合考慮.在運(yùn)用Otsu閾值法之前先進(jìn)行K-L特征變換.在HSI顏色空間中,當(dāng)I一定時(shí),顏色特征就限定在H和S極坐標(biāo)平面內(nèi),其中0≤H≤2π,0≤S≤1.設(shè)a,b為給定I分量的直角坐標(biāo)系,則極坐標(biāo)到直角坐標(biāo)轉(zhuǎn)換公式為a=S×cosH,b=S×sinH.若將所有像素的色度特征看作是二維隨機(jī)向量X(a,b)的樣本點(diǎn),CX為樣本協(xié)方差矩陣,令ei和λi(i=1,2)分別為CX相同正交特征向量和對(duì)應(yīng)的特征值,并且滿足條件λ1≥λ2.記T=[e1-e2]T,T是正交矩陣,則有ΤCXΤΤ=(λ100λ2).以T為變換矩陣對(duì)隨機(jī)向量X作變換,即Y=(Y1,Y2)T是新的隨機(jī)向量,保留分量Y1并記為色度C.(4)分別對(duì)I和C做直方圖,使用Otsu多閾值法計(jì)算I和C的閾值.以I分量直方圖為例,要對(duì)分量直方圖局部使用Otsu法確定分割閾值,首先要將直方圖分段,這里先對(duì)直方圖中的極大值作判斷.由于圖像中可能含有的復(fù)雜情況,直方圖中會(huì)存在偽極大值點(diǎn)干擾.比較簡(jiǎn)單的方法是,若兩個(gè)極大值之間的極小值大于門限,則將兩個(gè)極大值合并,取較大者作為極大值.然后,根據(jù)直方圖中的極大值將直方圖分成若干局部區(qū)域.這樣,在每個(gè)局部?jī)?nèi)就可以使用Otsu法得到一個(gè)局部閾值.(5)根據(jù)步驟(4)得到的閾值對(duì)4個(gè)連通域進(jìn)行局部分割.仍然以I分量直方圖為例,對(duì)兩個(gè)閾值之間的像素進(jìn)行合并,較為簡(jiǎn)單的方法是取兩個(gè)相鄰閾值的中點(diǎn).若像素I值在兩個(gè)相鄰閾值之間,則保留此像素點(diǎn),否則去掉此像素點(diǎn).在重建的圖像中,像素I值在兩閾值之間的像素連通在一起就可自動(dòng)分割到同一區(qū)域.(6)經(jīng)步驟(5)處理,去掉了步驟(2)受光照等因素影響的干擾區(qū)域,使連通區(qū)域更緊湊.然后,分別利用概率論的知識(shí)統(tǒng)計(jì)4個(gè)區(qū)域中的H,S,I值,得到最佳的紅、黃、綠、藍(lán)分割HSI閾值.表1為兩種光照情況下的HSI閾值統(tǒng)計(jì).圖3為本研究中兩種不同的光照條件.針對(duì)光線分布不均勻的情況,本研究提出利用識(shí)別結(jié)果建立閾值可信度的方法.如果處理過(guò)程中獲得了目標(biāo)標(biāo)識(shí)的全部信息,則稱這種信息為完整信息,此時(shí)閾值的可信度也相對(duì)高一些;反之,如果丟失或無(wú)法得到目標(biāo)標(biāo)識(shí)的信息,則稱為碎片信息,閾值可信度就低一些.根據(jù)可信度的大小判斷閾值是否可用和閾值的變化程度.根據(jù)當(dāng)前識(shí)別結(jié)果的完整性來(lái)確定當(dāng)前閾值的可信度α,如果當(dāng)前的識(shí)別結(jié)果是完整信息,則α為100;如果當(dāng)前的識(shí)別結(jié)果是碎片信息,則有α=α×λ,其中λ=識(shí)別目標(biāo)像素?cái)?shù)÷待識(shí)別目標(biāo)像素?cái)?shù).可信度有上下限即接受閾值可信度的范圍,本研究的閾值可信度范圍是[80,102].當(dāng)閾值可信度不在系統(tǒng)規(guī)定的范圍內(nèi)時(shí),系統(tǒng)會(huì)根據(jù)系統(tǒng)初始化的閾值可信度與HSI閾值對(duì)應(yīng)表自動(dòng)選取新的閾值.采用可信度后,可以盡可能地利用碎片信息,實(shí)時(shí)地調(diào)整顏色HSI閾值的大小,從而保證了識(shí)別結(jié)果的連續(xù)性和正確性,提高了系統(tǒng)識(shí)別的效率和精度.圖4為通過(guò)自動(dòng)閾值調(diào)整識(shí)別的目標(biāo)結(jié)果.通過(guò)大量的實(shí)驗(yàn)結(jié)果表明,針對(duì)光源不穩(wěn)定和光線不均勻的情況,采用閾值色塊和閾值可信度的方法,可以大大提高識(shí)別效率和精度,如表2所示.3基于直射線精準(zhǔn)定位的機(jī)器人色標(biāo)是視覺(jué)系統(tǒng)識(shí)別的對(duì)象.在光照條件不穩(wěn)定的情況下,色標(biāo)設(shè)計(jì)的好壞直接關(guān)系到視覺(jué)系統(tǒng)是否具有快速、準(zhǔn)確、抗干擾性強(qiáng)的特點(diǎn).在機(jī)器人足球比賽中,美國(guó)CMUDragon隊(duì)提出了蝶形色標(biāo)設(shè)計(jì)模式,該模式具有以下優(yōu)點(diǎn):①非對(duì)稱色標(biāo)模式,可以提供更多編碼;②定位精度高,利用3點(diǎn)確定一個(gè)圓,而4個(gè)點(diǎn)的三三組合可以確定構(gòu)造4個(gè)圓,4個(gè)圓的圓心位置相加求平均值,確定機(jī)器人的中心位置,減少誤差和提高精度.這種設(shè)計(jì)方案在實(shí)際應(yīng)用過(guò)程中,由于光照條件不穩(wěn)定的影響,時(shí)常會(huì)發(fā)生色標(biāo)丟失的情況.按照這種設(shè)計(jì),當(dāng)丟失一個(gè)色標(biāo)時(shí)就無(wú)法準(zhǔn)確定位機(jī)器人,機(jī)器人的編碼也會(huì)發(fā)生混淆.本研究從蝶形設(shè)計(jì)思想出發(fā),針對(duì)目標(biāo)機(jī)器人是服務(wù)機(jī)器人體積大的特點(diǎn),提出了將3個(gè)同色圓作為色標(biāo)定位的方法.圓形色標(biāo)具有旋轉(zhuǎn)不變性,圖像畸變不會(huì)造成圓形重心發(fā)生偏移的優(yōu)點(diǎn).3個(gè)同色圓是指利用3個(gè)相同顏色的圓來(lái)對(duì)機(jī)器人進(jìn)行定位,其中2個(gè)大圓,1個(gè)小圓,如圖5所示.設(shè)小圓的坐標(biāo)為(X,Y),即機(jī)器人的位置坐標(biāo),兩個(gè)大圓的坐標(biāo)分別為A(X1,Y1),B(X2,Y2),則AB與X軸正向的夾角即為機(jī)器人的方向角(規(guī)定X軸正向順時(shí)針?lè)较驗(yàn)檎?.3個(gè)同色圓定標(biāo)的方法計(jì)算量小,可提高視覺(jué)子系統(tǒng)的實(shí)時(shí)性.另外,可利用三邊的和來(lái)判斷識(shí)別目標(biāo)的正確性.例如,規(guī)定三邊的和不大于1000mm時(shí),若識(shí)別結(jié)果三點(diǎn)的距離和為1500mm,則認(rèn)為本次識(shí)別失敗,從而可以根據(jù)閾值的可信度來(lái)調(diào)整閾值.4腐蝕和膨脹算法利用攝像頭采集圖像時(shí),不可避免地產(chǎn)生各種噪聲,因此識(shí)別出的結(jié)果失真率較高,影響定位精度.針對(duì)該問(wèn)題,本研究提出利用圖像的形態(tài)學(xué)腐蝕與膨脹運(yùn)算對(duì)識(shí)別出的結(jié)果進(jìn)行優(yōu)化,從而達(dá)到提高識(shí)別結(jié)果完整性的目的.形態(tài)學(xué)研究圖像幾何結(jié)構(gòu)的基本思想是利用一個(gè)結(jié)構(gòu)元素與數(shù)字圖像進(jìn)行運(yùn)算,通過(guò)運(yùn)算使數(shù)字圖像更加平滑.腐蝕和膨脹是最基本的形態(tài)學(xué)運(yùn)算,它們互為對(duì)偶運(yùn)算.定義1(腐蝕)A是數(shù)字圖像,B為結(jié)構(gòu)元素,B對(duì)A的腐蝕結(jié)果由將結(jié)構(gòu)元素B平移X且包含在圖像A內(nèi)的所有點(diǎn)X組成,記作A⊙B.定義2(膨脹)A是數(shù)字圖像,B為結(jié)構(gòu)元素,B對(duì)A膨脹的結(jié)果是由圖像A平移b(b屬于結(jié)構(gòu)元素B)的所有點(diǎn)組成,記作A⊕B.先腐蝕再膨脹,具有平滑的功能,能清除圖像某些微小連接、邊緣毛邊和孤立點(diǎn);先膨脹再腐蝕,具有過(guò)濾的功能,使數(shù)字圖像更加連通.圖6為數(shù)字圖像A與B先腐蝕后膨脹的過(guò)程.本研究采用先腐蝕后膨脹的方法,對(duì)識(shí)別結(jié)果進(jìn)行優(yōu)化,使圖像更加平滑.將優(yōu)化前后的數(shù)字圖像進(jìn)行對(duì)比,發(fā)現(xiàn)優(yōu)化后的目標(biāo)圖像真值分布更加緊密,使識(shí)別結(jié)果與目標(biāo)更加接近;同時(shí)去掉了干擾目標(biāo)的真值,使得識(shí)別結(jié)果更精確.圖7為通過(guò)圖像形態(tài)學(xué)運(yùn)算對(duì)識(shí)別目標(biāo)進(jìn)行優(yōu)化的結(jié)果(未優(yōu)化則存在干擾項(xiàng)).5多機(jī)器人視覺(jué)系統(tǒng)本研究分析了影響機(jī)器人視覺(jué)系統(tǒng)的實(shí)時(shí)性、準(zhǔn)確性等因素,提出了改進(jìn)方法,并通過(guò)國(guó)家科技部863項(xiàng)目“家庭生活支援多機(jī)器人系統(tǒng)”中的視覺(jué)子系統(tǒng)驗(yàn)證了改進(jìn)方法的有效性.服務(wù)機(jī)器人視覺(jué)主要由三目視覺(jué)和頂部視覺(jué)兩部分組成,本研究主要是關(guān)于頂部視覺(jué)的研究和開(kāi)發(fā).服務(wù)機(jī)器人采用的頂部視覺(jué)系統(tǒng)由頂部CCD攝像頭(見(jiàn)圖8)、IEEE1394卡和圖像處理計(jì)算機(jī)三部分組成,其中頂部攝像機(jī)采樣為15幀/s,CCD的像素為1280×960,攝像機(jī)輸出為IEEE1394接口.作為輸入設(shè)備之一的IEEE1394PCI卡是一個(gè)開(kāi)放的主控制接口(openhostcontrollerinterface,OHCI).頂部攝像機(jī)和IEEE1394卡一起工作,采用IEEE1394b協(xié)議,在全速狀態(tài)可達(dá)到800Mbit/s的傳輸速率,保證大批量數(shù)據(jù)的高速傳輸.圖像處理計(jì)算機(jī)則為機(jī)器人的主控計(jì)算機(jī),IEEE1394卡也安裝在主控計(jì)算機(jī)上.目前,本研究設(shè)計(jì)出的多機(jī)器人視覺(jué)系統(tǒng)可以同時(shí)識(shí)別4臺(tái)機(jī)器人,處理速度為200ms/次,精度在2cm左右,在不穩(wěn)定的光照條件下的識(shí)別率為95%.圖9為多機(jī)器人視