足球機(jī)器人視覺識別算法的設(shè)計(jì)與實(shí)現(xiàn)

足球機(jī)器人視覺識別算法的設(shè)計(jì)與實(shí)現(xiàn)

近年來，機(jī)器人協(xié)會在國內(nèi)外的教育和研究領(lǐng)域成為一個(gè)越來越受歡迎的比賽。它集成了機(jī)器人、智能控制、計(jì)算機(jī)科學(xué)、人工智能等多個(gè)技能，并為學(xué)生和研究人員提供了一個(gè)標(biāo)準(zhǔn)的研究和比賽平臺。mirowitz是由frau（國際robot擴(kuò)展協(xié)會）于創(chuàng)立并開始的。由于緊湊的規(guī)模、良好的可靠性、快速反應(yīng)能力和激烈生動(dòng)的比賽，它已成為當(dāng)前巴西機(jī)器人領(lǐng)域最受吸引力的國際比賽之一。在MiroSot系統(tǒng)中,機(jī)器人的控制完全依賴于俯視全場的視覺子系統(tǒng)所提供的信息,這些信息包括雙方隊(duì)員的位置、編號、移動(dòng)速度、足球的位置和運(yùn)動(dòng)等等.而這些信息主要是根據(jù)各個(gè)機(jī)器人彩色標(biāo)志的不同來加以識別,目前已經(jīng)有不少的文獻(xiàn)對此進(jìn)行了大量的研究.但由于MiroSotLargeLeague11vs.11具有前所未有的超大比賽場地(4400mm×2800mm)和更多的機(jī)器人,使得原有的視覺識別子系統(tǒng)在精確度、識別速度和正確率等方面都面臨著新的挑戰(zhàn).本文中將介紹一個(gè)參加FIRARobotWorldCup2004新增比賽項(xiàng)目MiroSotLargeLeague11vs.11系統(tǒng)的計(jì)算機(jī)視覺子系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn),以及機(jī)器人/足球識別算法,并將對其視覺系統(tǒng)結(jié)構(gòu)、色標(biāo)、識別算法和后處理濾波等技術(shù)進(jìn)行詳細(xì)討論.1視覺系統(tǒng)1.1比賽系統(tǒng)硬件結(jié)構(gòu)由于視頻攝像機(jī)分辨率有限,當(dāng)其覆蓋整個(gè)MiroSotLargeLeague比賽場地時(shí),所采集到的足球以及色標(biāo)太小,無法滿足可靠性要求.為此本系統(tǒng)采用拼接的方法,將兩幅畫面拼接成一個(gè)完整的比賽場地圖像.同時(shí),考慮到圖像處理所花費(fèi)的時(shí)間不能過多占用比賽策略計(jì)算時(shí)間,比賽系統(tǒng)采用了雙機(jī)結(jié)構(gòu)來分別進(jìn)行圖像處理和策略處理.系統(tǒng)硬件結(jié)構(gòu)如圖1所示.采用BASLER逐行掃描CCD數(shù)字?jǐn)z像機(jī),分辨率為658×492像素,每個(gè)攝像機(jī)覆蓋半個(gè)比賽場地.計(jì)算機(jī)1完成兩幅圖像拼接,進(jìn)行機(jī)器人和球的識別、位置提取與跟蹤,并將結(jié)果傳送給計(jì)算機(jī)2,由計(jì)算機(jī)2根據(jù)賽場情況進(jìn)行策略規(guī)劃,輸出信號控制機(jī)器人動(dòng)作.視覺處理軟件如圖2所示,軟件從功能上分為兩部分,一是比賽前的各種參數(shù)設(shè)置,如根據(jù)比賽現(xiàn)場燈光設(shè)置HSL動(dòng)態(tài)氛圍、場地邊界參數(shù)等,采用HSL顏色空間可以有效地減小反射、陰影以及光線不均勻等影響;二是實(shí)時(shí)的機(jī)器人色標(biāo)和小球的識別和位置的計(jì)算.最后將本方隊(duì)員位置、編號以及對方隊(duì)員等參數(shù)通過LAN傳送給策略處理計(jì)算機(jī).1.2機(jī)器人標(biāo)的設(shè)計(jì)色標(biāo)設(shè)計(jì)有許多方法,但精確而穩(wěn)定地確定機(jī)器人位置是關(guān)鍵,設(shè)計(jì)出能很好區(qū)分11個(gè)機(jī)器人的色標(biāo)仍然具有一定的難度.根據(jù)多種實(shí)驗(yàn),本比賽系統(tǒng)11個(gè)機(jī)器人的色標(biāo)設(shè)計(jì)如圖3所示.色標(biāo)尺寸為75mm×75mm,分為4個(gè)區(qū)域,周圍留出5mm以防止不同機(jī)器人色標(biāo)之間的粘連和混色.區(qū)域T為隊(duì)標(biāo)(70mm×35mm),位于色標(biāo)的中心,根據(jù)隊(duì)標(biāo)顏色區(qū)域可以計(jì)算出其質(zhì)心和角度.區(qū)域A為黑色,它與隊(duì)標(biāo)決定機(jī)器人的方向.區(qū)域B和C(37.5mm×20mm)為決定隊(duì)員編號的標(biāo)識顏色,用4種顏色(black,green,cyan和pink)編碼11個(gè)機(jī)器人,具體編碼方法如圖3所示,圖中箭頭方向?yàn)闄C(jī)器人正面.1.3生成和確定像素方案為識別上述11個(gè)本方隊(duì)員的色標(biāo),視覺系統(tǒng)中所采用了識別算法如下:步驟1在1幀圖像中找到的所有隊(duì)標(biāo),從其質(zhì)心和長軸方向開始,確定圖4所示的4個(gè)隊(duì)員標(biāo)識顏色點(diǎn)a,b,c,d.從理論上講,根據(jù)這4個(gè)點(diǎn)的顏色就可以確定不同的隊(duì)員,但事實(shí)上由于圖像系統(tǒng)的噪聲和光線的變化以及場地不同位置的幾何變形,使得從隊(duì)標(biāo)質(zhì)心按固定長度和角度得到的顏色極不穩(wěn)定,即使是采用與周圍顏色加權(quán)平均或中值濾波等方法,識別效果依然不理想.放大10倍后的實(shí)驗(yàn)情況如圖5所示,圖中白點(diǎn)為隊(duì)標(biāo)的中心點(diǎn)以及由它確定的4個(gè)隊(duì)員標(biāo)識顏色點(diǎn)a,b,c,d.從圖中可以看出,c和d兩個(gè)點(diǎn)幾乎處于隊(duì)員標(biāo)識顏色區(qū)域的邊緣.步驟2在a,b,c和d4個(gè)點(diǎn)上沿質(zhì)心方向分別設(shè)置兩個(gè)搜索窗口,如圖6所示,每個(gè)窗口為3×3像素.步驟3由于a和b為確定機(jī)器人方向的黑色區(qū)域,首先搜索4個(gè)1stwindow,如果9個(gè)像素中有5個(gè)為黑色,則該點(diǎn)為a或b,按照順時(shí)針關(guān)系,確定出a和b兩點(diǎn).根據(jù)全場各個(gè)不同位置以及不同環(huán)境光條件下的實(shí)驗(yàn)表明,每個(gè)關(guān)鍵點(diǎn)只需要判斷1stwindow就可以很可靠地確定出黑色關(guān)鍵點(diǎn)a和b,從而得到機(jī)器人的位置和方向.因此在這種情況下,不再進(jìn)行2ndwindow搜索.步驟4分別檢查c和d兩點(diǎn)的兩個(gè)搜索窗口,通過統(tǒng)計(jì)窗口內(nèi)有效顏色與標(biāo)準(zhǔn)設(shè)置顏色的MAD(meanabsolutedifference)來確定隊(duì)員標(biāo)識顏色c和d,從而確定隊(duì)員編號.具體做法是,讀取1st和2ndwindow中像素,剔除其中屬于黑色和隊(duì)標(biāo)顏色的像素,比較每個(gè)有效像素j(j=1,2,…,N;N為兩個(gè)窗口內(nèi)有效像素的總數(shù))的色度值H(j)與設(shè)置確定的各個(gè)顏色i(i=1為green,i=2為cyan,i=3為pink)的色調(diào)門限值Hmin(i)和Hmax(i)之間的偏離情況,得到每個(gè)像素j相對于顏色i的最小差分絕對值D(i,j),如果像素的色度值H(j)處于色度門限之內(nèi),則其最小差分絕對值D(i,j)為0,即ifHmin(i)≤H(j)≤Hmax(i),D(i,j)=0;elseD(i,j)=min{abs[H(j)-Hmin(i)],abs[H(j)-Hmax(i)]}.對于每一個(gè)顏色i,其色度的MAD定義為E(i)=1N∑j=1ND(i,j).E(i)=1Ν∑j=1ΝD(i,j).在H-L平面利用色度MAD確定隊(duì)員標(biāo)識顏色的示意圖如圖7所示.步驟5比較每個(gè)標(biāo)識顏色的E(i),其中最小的一個(gè)即為確定的隊(duì)員標(biāo)識顏色,如圖7中示例所確定的顏色為cyan.根據(jù)確定的a,b,c和d4個(gè)點(diǎn)的顏色,便可以確定本方隊(duì)員的編號.如果由于彩色噪聲、光線變化以及運(yùn)動(dòng)模糊等因數(shù)影響,造成識別錯(cuò)誤時(shí),可以在后處理濾波算法中做進(jìn)一步的修正.2材料的后處理由于噪聲干擾、彩色視覺系統(tǒng)局限以及劇烈的運(yùn)動(dòng)碰撞等原因,機(jī)器人和小球會在若干幀內(nèi)丟失,對此,可以根據(jù)場上全局以及歷史信息進(jìn)行濾波處理,以達(dá)到確認(rèn)位置、糾正不正確識別的目的.后處理濾波的假設(shè)前提是無論受到何種干擾,本方隊(duì)標(biāo)不會丟失,只是隊(duì)員標(biāo)識顏色會出現(xiàn)錯(cuò)誤或丟失.2.1對前幀中發(fā)現(xiàn)的機(jī)器人ri進(jìn)行濾波處理機(jī)器人位置合理性檢查的算法是以t-1幀中所有本方機(jī)器人位置為中心,建立各自的圓形搜索窗口,其半徑為機(jī)器人在1幀時(shí)間內(nèi)所能移動(dòng)的最大距離(在此最大速度為3m/s),如圖8所示,判斷機(jī)器人在當(dāng)前幀t與t-1幀之間的移動(dòng)關(guān)系.如果當(dāng)前機(jī)器人Ri在前幀所確定的搜索窗口范圍內(nèi),則認(rèn)為它被正確識別,否則,將其臨時(shí)標(biāo)記為NotCorrectlyFound.對于臨時(shí)標(biāo)記為NotCorrectlyFound的機(jī)器人Ri,按照如下步驟進(jìn)行濾波處理:步驟1如果搜索窗口內(nèi)沒有任何本方隊(duì)標(biāo),則認(rèn)為本幀Ri的位置是有效的,這種情況通常發(fā)生在開始幀以及調(diào)試過程中人為移動(dòng)、放置機(jī)器人.步驟2如果窗口內(nèi)有多個(gè)未能確認(rèn)的本方隊(duì)標(biāo),則認(rèn)為最靠近前一幀Ri位置的一個(gè)機(jī)器人為本幀Ri的位置.步驟3如果窗口內(nèi)沒有無法確認(rèn)的本方隊(duì)標(biāo),但有一個(gè)NotCorrectlyFound的機(jī)器人,則認(rèn)為該機(jī)器人的位置是本幀Ri的位置.步驟4如果窗口內(nèi)沒有無法確認(rèn)的本方隊(duì)標(biāo),但有多個(gè)NotCorrectlyFound的機(jī)器人,此時(shí)由于不確定性過多,不做任何糾正處理.2.2窗口內(nèi)沒有任何機(jī)器人與前面機(jī)器人處理相似,在小球前一幀位置建立搜索窗口,如果當(dāng)前幀小球沒在窗口內(nèi),或者整個(gè)場上沒有小球,則檢查搜索窗口內(nèi)有無機(jī)器人(包括對方機(jī)器人),并按照下列步驟處理:步驟1如果窗口內(nèi)沒有任何機(jī)器人,則將認(rèn)為當(dāng)前幀球的位置在前一幀位置(因?yàn)槊繋∏蚨疾荒軄G失);步驟2如果搜索窗口內(nèi)有一個(gè)機(jī)器人,則認(rèn)為小球被機(jī)器人遮擋住了,機(jī)器人的遮擋點(diǎn)為球的位置.機(jī)器人的遮擋點(diǎn)根據(jù)場地中的位置不同而變化,具體定義如圖9所示.步驟3如果窗口范圍內(nèi)有多個(gè)機(jī)器人存在(包括對方機(jī)器人),并且其中兩個(gè)的距離d小于10cm,則認(rèn)為小球夾在兩個(gè)機(jī)器人中間,如圖10所示,因此,將二者距離的中心位置設(shè)置成小球的位置.步驟4如果窗口內(nèi)有許多機(jī)器人,但沒有非常接近的,則小球位置認(rèn)為是最威脅本方球門機(jī)器人的遮擋點(diǎn).3后處理濾波算法本文詳細(xì)介紹了針對MiroSot11vs.11賽場的機(jī)器人足球賽的計(jì)算機(jī)視覺子系統(tǒng),說明了新的11人制的機(jī)器人的色標(biāo)設(shè)計(jì)及其識別算法,并對機(jī)器人和小