基于圖像特征的運(yùn)動目標(biāo)識別與伺服跟蹤

1、第29卷第3期2008年3月儀器儀表學(xué)報Chinese Journal of Scientific I nstru mentVol 129No 13Mar .2008收稿日期:2007204Received Date:20072043基金項目:國家高技術(shù)研究發(fā)展計劃(2006AA04Z207、教育部博士點(diǎn)基金(20060006018資助項目基于圖像特征的運(yùn)動目標(biāo)識別與伺服跟蹤3劉宏鼎,秦世引(北京航空航天大學(xué)自動化科學(xué)與電氣工程學(xué)院北京100083摘要:本文研究了一種在室內(nèi)相對復(fù)雜背景下機(jī)器人的運(yùn)動目標(biāo)識別與跟蹤方法?；贗 ntel 的計算機(jī)視覺庫OpenCV 進(jìn)行圖像處理與特征提取,采用圖

2、像的區(qū)域特征圖像矩作為特征信息,在有干擾的情況下,實現(xiàn)運(yùn)動目標(biāo)的形狀識別和基于特征的視覺伺服跟蹤控制。為提高系統(tǒng)性能,建立曲線擬合模型來預(yù)測運(yùn)動目標(biāo)的動態(tài)趨勢和特征。實驗結(jié)果表明,系統(tǒng)在不需要攝像機(jī)精確標(biāo)定、背景有干擾的情況下,能夠?qū)崿F(xiàn)對運(yùn)動目標(biāo)進(jìn)行實時穩(wěn)定快速的識別和跟蹤。關(guān)鍵詞:運(yùn)動目標(biāo)識別與跟蹤;形狀特征;特征視覺伺服;加窗濾波預(yù)測中圖分類號:TP242文獻(xiàn)標(biāo)識碼:A 國家標(biāo)準(zhǔn)學(xué)科分類代碼:510.40Recogn iti on and servo track i n g of m ov i n g t arget ba sed on image fea turesL iu Hongdi

3、ng,Q in Shiyin(School of A uto m ation Science and Electrical Engineering,B eihang U niversity,B eijing 100083,China Abstract:I n this paper,the research on the recogniti on and servo tracking of moving target f or a wheeled moving r o 2bot with a monocular ca mera is carried out in a relatively com

4、p lex backgr ound .A t first the computer visi on library fr om I ntel,Open CV,was e mp l oyed t o i m p le ment i m age p r ocessing and feature extracting,then the shape of moving target was recognized and the visual servo tracking was achieved based on l ocal features of i m age moments in noise

5、conditi on .I n order t o i m p r ove the syste m perf or mance,a curve 2fitting model was built t o p redict the dyna m ic trend and characteristics .Experi m ent results indicate that the syste m can stably recognize a fast moti onal target and track it in real 2ti m e under noisy backgr ound and

6、without p recise ca mera calibrati on .Key words:moving target recogniti on and tracking;shape feature;feature 2based visual serv o;windo w filter f orecasting1引言機(jī)器人視覺伺服控制是機(jī)器人與計算機(jī)視覺研究的重要結(jié)合點(diǎn),也是智能機(jī)器人的重要研究領(lǐng)域之一。機(jī)器人視覺伺服跟蹤按照反饋信息的類型可以分為基于位置的視覺伺服跟蹤系統(tǒng)(position 2based 和基于圖像的視覺伺服系統(tǒng)(i m age 2based 122?；谖恢玫囊曈X伺服

7、方案的核心問題是根據(jù)目標(biāo)在相平面中的投影,恢復(fù)目標(biāo)相對于攝像機(jī)坐標(biāo)系的位置和姿態(tài)223,即位姿估計。這種方法把視覺系統(tǒng)只作為位置和方位傳感器,可以將位姿估計和機(jī)器人控制問題分離開來。但是,這種方案依賴于成像設(shè)備的參數(shù),成像模型和圖像匹配的精度?；趫D像視覺的伺服控制的輸入定義在圖像特征空間,它直接使用視覺特征作為系統(tǒng)狀態(tài)和誤差信號,通常也被稱為基于特征的視覺伺服,其優(yōu)點(diǎn)是在圖像坐標(biāo)系進(jìn)行測量和控制1,不需要立體測量模型,可避免視覺重建。然而,這種基于圖像的視覺伺服將視覺反饋融合在控制回路中,從而構(gòu)成本質(zhì)非線性系統(tǒng)3,這就對圖像特征的選擇、控制算法的設(shè)計提出了更高的要求?；趫D像的直接伺服控制是

8、當(dāng)前研究的熱點(diǎn):第3期劉宏鼎等:基于圖像特征的運(yùn)動目標(biāo)識別與伺服跟蹤645 文獻(xiàn)4依據(jù)期望圖像與當(dāng)前采集圖像之差進(jìn)行實時伺服反饋,這就要求攝像機(jī)光軸與工作平面垂直、高度不變,而且該方法僅能保證實現(xiàn)局部收斂,因而限制了其應(yīng)用。文獻(xiàn)5為解決大范圍偏差的控制問題,將期望圖像按一定的角度間隔旋轉(zhuǎn),生成一序列子期望圖像,用當(dāng)前圖像與期望序列進(jìn)行比較,以實現(xiàn)基于圖像差的位置、方位伺服控制。本文充分考慮獲取的圖像所包含信息之多樣性,首先在圖像中將運(yùn)動目標(biāo)識別和提取出來,再用基于圖像特征差的方法實現(xiàn)伺服跟蹤。因為與圖像像素的灰度信息比較而言,其特征為高層信息,比直接圖像差簡練且便于伺服應(yīng)用。所以,本文將識別、

9、視覺反饋、伺服控制三者融為一體,實現(xiàn)輪式移動機(jī)器人對室內(nèi)相對復(fù)雜環(huán)境下運(yùn)動目標(biāo)的穩(wěn)定識別與跟蹤控制,并使其具有良好的實時性和魯棒性能。2視覺伺服系統(tǒng)2.1系統(tǒng)的組織結(jié)構(gòu)系統(tǒng)的組織結(jié)構(gòu)如圖1所示,伺服系統(tǒng)由圖像采集、視覺信息處理模塊和伺服控制模塊等組成。視覺信息處理模塊處在系統(tǒng)的反饋通路中,可從攝像機(jī)獲取的圖像中識別出目標(biāo)(視覺標(biāo)示,并計算出目標(biāo)的特征向量,進(jìn)而由當(dāng)前目標(biāo)的特征與期望特征進(jìn)行比較所產(chǎn)生的誤差信號,用來驅(qū)動視覺控制器生成控制作用,以控制跟蹤機(jī)器人的速度,實現(xiàn)移動目標(biāo)的伺服跟蹤。 圖1系統(tǒng)的組織結(jié)構(gòu)Fig .1Syste m structure系統(tǒng)中的跟蹤機(jī)器人為輪式移動機(jī)器人,帶有

10、圖像采集設(shè)備,能夠獲取到其前方的場景圖像信息。為便于識別,在運(yùn)動目標(biāo)上設(shè)置了視覺標(biāo)示。實現(xiàn)圖像采集的攝像機(jī)固接在機(jī)器人上,不能單獨(dú)控制。運(yùn)動目標(biāo)上的視覺標(biāo)記是一灰度級幾乎等于255的白色有規(guī)則形狀的紙板。2.2視覺信息處理模塊如圖2所示,本模塊在獲取攝像機(jī)采集到的包含目標(biāo)和環(huán)境在內(nèi)的圖像后,通過閾值分割、濾波和孔洞填充,再選擇出待識別區(qū)域、提取特征,并與上一幀的目標(biāo)特征進(jìn)行匹配,辨識出目標(biāo),最后將目標(biāo)區(qū)域的圖像特征反饋到前向控制通路。圖2視覺信息處理模塊Fig .2V isual inf or mati on p r ocessing module3圖像特征分析和提取圖像視覺伺服控制首先要選定

11、一個與任務(wù)相適配的視覺特征集,在此視覺特征集的基礎(chǔ)上進(jìn)行分析和操作。常用的特征有點(diǎn)特征、區(qū)域特征、紋理特征等,可提取的如角點(diǎn)、周長面積比、灰度共生矩陣等。在本文所研究的系統(tǒng)中,由于運(yùn)動目標(biāo)與環(huán)境中的其他物體的粗糙度、緊致性等都沒有明顯的差別,因此不宜采用紋理特征進(jìn)行識別。點(diǎn)特征是基本的圖像特征,但在有噪聲的圖像中很難實現(xiàn)基于點(diǎn)特征的高精度匹配,而且匹配算法運(yùn)算量大5。圖像的區(qū)域特征一般具有很強(qiáng)的抗干擾能力,圖像矩是典型的區(qū)域特征,而且矩特征可以用來識別形狀。本文研究中的運(yùn)動目標(biāo)的視覺標(biāo)示具有規(guī)則的形狀,另外從特征伺服控制角度考慮選用矩作為圖像特征也是適宜的6。3.1圖像矩特征考慮圖像上某區(qū)域,

12、其p +q 階規(guī)則矩為:m pq =(i,j i p j qf (i,j (1則圖像區(qū)域的低階規(guī)則矩集合可表示為m pq p +q 3,p 、q 0,本文選用低階規(guī)則矩集合的元素所構(gòu)成的函數(shù)作為視覺伺服特征向量,以Hu 氏不變矩7作為識別特征向量,可以證明Hu 氏不變矩具有平移不變性、伸縮不變性、旋轉(zhuǎn)不變性,其在飛行器識別、船艦識別、文字識別等領(lǐng)域得到了廣泛的應(yīng)用。3.2目標(biāo)運(yùn)動空間與特征空間變換圖像雅可比矩陣用于描述機(jī)器人運(yùn)動空間與圖像特征空間的變換關(guān)系。當(dāng)系統(tǒng)進(jìn)入圖像雅可比矩陣奇異點(diǎn)時,系統(tǒng)只在目標(biāo)位置附近的鄰域范圍內(nèi)才收斂8。本文只建立目標(biāo)在運(yùn)動空間的位置與矩特征的變換關(guān)系,用目標(biāo)在圖像

13、中坐標(biāo)的變化來預(yù)測目標(biāo)在圖像中的運(yùn)動狀況。這樣可以避免圖像雅可比矩陣的非奇異性對系統(tǒng)的影響。二值圖像的矩m 00,m 10,m 01可以完全表征目標(biāo)在三維運(yùn)動空間的位置信息7,如圖3所示,當(dāng)目標(biāo)的運(yùn)動平面與xoz 平行時,由于二值圖像m 00表示區(qū)域的面積,(m 10m 00,m 01m 00表示目標(biāo)物體中心p 的像素坐標(biāo),則根據(jù)小646儀器儀表學(xué)報第29卷 圖3坐標(biāo)空間轉(zhuǎn)換Fig .3Coordinate s pace conversi on孔成像原理,可推導(dǎo)出目標(biāo)在攝像機(jī)坐標(biāo)系下的位置與圖像矩特征的變換關(guān)系,如式(2所示,其中的變換系數(shù)k x ,k y ,k z 都是常量,(u 0,v 0

14、是圖像中心的像素坐標(biāo),(x,y,z 為物點(diǎn)p 在攝像機(jī)坐標(biāo)系下的坐標(biāo)。z =k z m 00x =k x (m 10/m 00-u 0y =k y (m 01/m 00-v 0(2利用坐標(biāo)系旋轉(zhuǎn)可以證明當(dāng)光軸與目標(biāo)運(yùn)動平面不平行時,變換系數(shù)仍為常數(shù)。根據(jù)上述分析結(jié)果,用于伺服控制的特征向量可構(gòu)造為:F =f 1f 2f 3=m 00m 10m 00-u 0m 01m 00-v 0(34基于形狀特征相對匹配的目標(biāo)識別4.1圖像預(yù)處理原始圖像經(jīng)過閾值分割得到二值圖像,再采用數(shù)學(xué)形態(tài)學(xué)的腐蝕運(yùn)算進(jìn)行濾波,消除點(diǎn)噪聲和分離連通域。為避免區(qū)域內(nèi)部空洞對系統(tǒng)識別和伺服控制的影響,視覺信息處理模塊使用連通區(qū)

15、域標(biāo)記和外邊緣跟蹤技術(shù)9210找到各個區(qū)域的外邊界,再填充連通區(qū)域內(nèi)部,并保存區(qū)域標(biāo)記信息。4.2形狀識別在完成預(yù)處理后,可以得到包含目標(biāo)的多個連通區(qū)域在內(nèi)的圖像,可以從中提取出待識別區(qū)域,計算形狀特征,完成匹配識別。4.2.1識別區(qū)域選擇 由于其他物體的干擾和光照的影響,在圖像中將存在多個白色連通區(qū)域,逐個分析這些區(qū)域?qū)⑹趾臅r,滿足不了伺服跟蹤的需要,必須縮小待識別區(qū)域的數(shù)目范圍。在跟蹤的過程中,目標(biāo)在前后兩幀圖像上的位置變化不會太大,本文以上一幀的目標(biāo)中心位置作為當(dāng)前幀目標(biāo)區(qū)域的搜索基準(zhǔn),其近鄰為優(yōu)先待識別區(qū)域。同時在伺服跟蹤中對目標(biāo)中心進(jìn)行在線預(yù)測,用于校正和指導(dǎo)搜索的范圍和方向。4.

16、2.2形狀特征提取與匹配按式(1計算待識別目標(biāo)區(qū)域的p +q 3階規(guī)則矩,再由規(guī)則矩計算對應(yīng)的Hu 氏不變矩7。由于本文的研究對象中光軸與地面有一夾角,不滿足矩不變性條件11,但考慮到前后兩幀間Hu 氏矩的變化不大,因此將前一幀識別出的目標(biāo)的Hu 氏矩作為本次匹配的基準(zhǔn)。用相對歐氏距離作為相似匹配度量函數(shù),如式(4所示,其中m 為Hu 氏特征矩的匹配函數(shù)值;Hu Tpr 為前次目標(biāo)的Hu 氏矩;Hu ne w 為待識別區(qū)域的不變矩。m =Hu Tpr -Hu ne w Hu Tpr (4選定相似度閾值,當(dāng)m 小于閾值時,認(rèn)為該區(qū)域為所尋找的目標(biāo),否則計算并匹配鄰近的下一個待識別區(qū)域。在一幀圖像

17、中,待識別區(qū)域的個數(shù)可以根據(jù)實際實驗情況確定。5特征濾波預(yù)測及伺服控制5.1滑動窗口曲線擬合濾波常用的濾波估計算法有卡爾曼濾波12、濾波13、限定記憶最小均方濾波14。雖然這些方法都能夠在一定程度上實現(xiàn)所需的預(yù)測精度,但是卻要求事先確定目標(biāo)運(yùn)動模型、誤差統(tǒng)計模型等,而這些模型及其參數(shù)在實際應(yīng)用中恰恰是難以確定的。本文采用移動加窗數(shù)據(jù)曲線擬合的方法來預(yù)測目標(biāo)的運(yùn)動,便于識別和跟蹤。采用曲線擬合的優(yōu)點(diǎn)在于可以利用最小二乘法對目標(biāo)的位置進(jìn)行估計,且不會用到誤差的模型,這種預(yù)測方法還可以克服目標(biāo)被干擾物短暫阻塞和遮擋的情況15。經(jīng)過大量實際實驗,本文確定采用二次曲線f (t =a t 2+bt +c

18、作為擬合函數(shù)進(jìn)行處理,t 為采樣時刻。在移動窗口里抽取最近4組特征向量F i (i =k -3,k -2,k ,把式(3改寫為式(5:F i =f i,1f i,2f i,3(5按圖4所示,根據(jù)最小二乘原理確定3組擬合曲線的參數(shù),并預(yù)測下一幀的特征向量。圖4曲線擬合預(yù)測處理流程Fig .4Pr ocessing fl ow of curve fitting forecasting第3期劉宏鼎等:基于圖像特征的運(yùn)動目標(biāo)識別與伺服跟蹤6475.2基于特征誤差的伺服跟蹤控制設(shè)圖1系統(tǒng)輸入期望特征為F 3,當(dāng)前反饋或預(yù)測的特征為F ,則視覺伺服控制器的輸入為:E =F3-F =e f 1e f 2e

19、f 3T(6采用分立單獨(dú)控制的思想16,e f 1控制機(jī)器人跟蹤的速度,e f 2/e f 3決定機(jī)器人的旋轉(zhuǎn)角速度?？刂破髟O(shè)計采用如下規(guī)則:P I D 控制,|e |Bang 2Bang 控制,|e |>|u |=u max(7式中:e 為e f 1或e f 2/e f 3 ;為控制切換線,其值在速度與角速度控制器中各自具體選擇,u 為控制輸出量(跟蹤機(jī)器人的速度和角速度。6實驗結(jié)果運(yùn)動目標(biāo)上設(shè)置的視覺標(biāo)示為白色三角形紙板,某次實驗的識別與跟蹤結(jié)果如下:6.1目標(biāo)識別預(yù)處理與識別的結(jié)果如圖5所示:(a 為閾值分割后的含有目標(biāo)和大量噪聲的二值圖像,(b 是經(jīng)過形態(tài)學(xué)濾波和連通區(qū)域內(nèi)部孔洞

20、填充的結(jié)果,(c 中矩形框內(nèi)是經(jīng)過形狀識別得到的目標(biāo)區(qū)域。實際的識別實驗還證明對其他有規(guī)則形狀的物體,在變更相應(yīng)的顏色分割閾值后,4.2節(jié)中的形狀識別算法都能產(chǎn)生相同的識別效果。6.2特征預(yù)測與目標(biāo)跟蹤當(dāng)目標(biāo)以0.1走直線時,伺服控制的實際特征誤差、預(yù)測的特征值與期望特征值之差如圖6所示:可見絕大部分預(yù)測值與實際值幾乎處處重合,最小誤差為0,最大誤差26個像素;穩(wěn)定跟蹤后,特征實際誤差及期望值與預(yù)測值之差都趨于0;實際的跟蹤效果也表明本文采用的識別和預(yù)測跟蹤算法是有效的,整個系統(tǒng)可以實現(xiàn)目標(biāo)的穩(wěn)定識別與伺服跟蹤。圖6特征預(yù)測與目標(biāo)跟蹤的誤差曲線Fig .6Err or curves of fe

21、ature p redicti on and target tracking7結(jié)論 本文用矩作為圖像特征信息,用于運(yùn)動目標(biāo)識別和視覺伺服控制,采用移動加窗數(shù)據(jù)曲線擬合方法預(yù)測特征及目標(biāo)在圖像上的運(yùn)動,在目標(biāo)運(yùn)動隨機(jī)性不大和有背景干擾的情況下實現(xiàn)了基于圖像特征的運(yùn)動目標(biāo)識別與伺服跟蹤。實驗結(jié)果表明所采的識別和跟蹤方法都是有效的。參考文獻(xiàn)1金鐘明,徐剛,張海波.基于圖像的機(jī)器人視覺伺服系統(tǒng)仿真J .機(jī)床與液壓,2005,6:426.J I N Z H M ,XU G,ZHANG H B.Si m ulati on of i m age 2based r obotic visual servo sy

22、ste m J .Hydraulic M a 2chine,2005,6:426.2HUT CH I N SI O N S,HAGER G D,C ORKE P I .A tut orialon visual servo contr ol J .I EEE Transacti ons on Robot 2ics and Aut omati on,1996,12(3:6512671.3屈彥呈.機(jī)器人魯棒視覺伺服控制研究D .哈爾濱:哈爾濱工業(yè)大學(xué),2002,11:327.QU Y CH.Study of r obust visual servo contr ol f or r obot D .H

23、arbin:Harbin I nstitute of Technol ogy,2002,11:327.4蔣平,胡鳳軒.機(jī)器人手眼協(xié)調(diào)的圖像直接反饋控制J .控制理論與應(yīng)用,1997,14(5:6482653.J I A NG P,HU F X .I m age direct feedback theory for r o 2648儀器儀表學(xué)報第29卷botic hands and eyes cooperati onJ.Contr ol Theoryand App licati on.1997,14(5:6482653.5林靖,徐強(qiáng)華.基于圖像差的平面大范圍視覺伺服控制J.控制與決策,2002,

24、5(15:5812584.L I N J,XU Q H.I m age2err or2based p lanar gl obal visualservoingJ.Contr ol and Decisi on,2000,15(5:5812584.6林靖,陳輝堂.基于圖像矩的機(jī)器人視覺伺服J.同濟(jì)大學(xué)學(xué)報,2000,20(4:4382442.L I N J,CHE N H T.V isual servoing using i m age momentsJ.Journal of Tongji University,2000,28(4:4382442.7HU M K.V isual pattern r

25、ecogniti on by moment invari2ants.I RE transacti on on infor mati on theoryJ.App liedScience and Technol ogy,2006,33(6:1152117.8王麟琨,徐德,譚民.機(jī)器人視覺伺服研究進(jìn)展J.機(jī)器人,2004,26(3:2772282.WANG L K,XU D,T AN M.survey of research on r o2botic visual servoingJ.Robot,2004,26(3:2772282.9王鐵生,施鵬飛.二值圖像的快速標(biāo)記方法及其應(yīng)用J.微型電腦應(yīng)用,

26、2004,20(6:628.WANG T SH,SH I P F.Fast labeling of binary i m ageand its app licati onJ.M icr ocomputer App licati on,2004,20(6:628.10李云,鮑蘇蘇.二值圖像中物體區(qū)域的選定及外邊緣跟蹤技術(shù)J.華南師范大學(xué)學(xué)報:自然科學(xué)版,2000,3(3:27229.L I Y,BAO S S.The technol ogy object regi ons selecti onand exteri or edges ttracking in binary i m ageJ.Jou

27、rnalof South China Nor mal University:Nature Science Editi on2000,3(3:27229.11孫亦南.基于幾何不變量的圖像特征識別J.計算機(jī)應(yīng)用與軟件,2004,12:124.S UN Y N.Recogniti on of i m age feature based on geome2try invariantsJ.Computer App licati on and Soft w are,2004,12:124.12鄧自立.卡爾曼濾波與維納濾波現(xiàn)代時間序列分析方法M.哈爾濱:哈爾濱工業(yè)大學(xué)出版社,2003,1:56.DE NG

28、Z L.Kal m an filter and the wiener filter:modernti m e series analysis methodM.Harbin:Press of Har2bin I nstitute of Technol ogy,2003,1:56.13馬佳光.復(fù)合控制及等效復(fù)合控制原理及應(yīng)用J.光學(xué)工程,1988,15(5:1216.MA J G.Comp lex contr ol&equivalent compound contr oltheory and app licati onJ.Op tical Engineering,1988,15(5:121

29、6.14張洪鉞,胡干耀.系統(tǒng)辨識M.北京:北京航空航天大學(xué)出版社,1987.ZHANG H Y,HU G Y.Syste m identificati onM.Bei2jing:Bei Hang University Press,1988.15楊耿,和衛(wèi)星.運(yùn)動目標(biāo)圖像識別與跟蹤系統(tǒng)的研究J.計算機(jī)測量與控制.2005,13(3:2672269.Y ANG G,HE W X.Study of system on i m age recogni2ti on and tracking of moving objectJ.Computer M eas2ure ment&Contr ol,2005,13(3:2672269.16王仲民.非完整輪式移動機(jī)器人運(yùn)動控制系統(tǒng)的設(shè)計與實現(xiàn)J.天津工程師范學(xué)院學(xué)報,2005,15(2:10212.WANG ZH M l