基于顏色信息的家庭服務(wù)機(jī)器人的視覺檢測與跟蹤

基于顏色信息的家庭服務(wù)機(jī)器人的視覺檢測與跟蹤

1運(yùn)動人臉檢測與識別人類與機(jī)器人的互動是機(jī)器人研究的重要課題。機(jī)器人要與人和諧地共存于同一個環(huán)境中,它應(yīng)該能通過多種感覺系統(tǒng)主動地獲取其周圍人的有關(guān)信息和做出反應(yīng)。視覺就是其中的一個主要途徑。例如,家庭服務(wù)機(jī)器人要能夠認(rèn)識一個家庭的所有成員,并且能與各個成員進(jìn)行交流等。因此,人臉檢測、跟蹤和識別功能對于家庭服務(wù)機(jī)器人來說具有特別重要的意義。本文以一個安裝于家庭服務(wù)機(jī)器人上的雙目視覺系統(tǒng)為基礎(chǔ),提出了對運(yùn)動人臉進(jìn)行檢測、跟蹤、識別的方法。實驗表明本文采用的雙目視覺系統(tǒng)具有良好的實時性和魯棒性,家庭服務(wù)機(jī)器人可以利用該系統(tǒng)完成各種任務(wù)。2雙網(wǎng)融合的形態(tài)結(jié)構(gòu)雙目視覺系統(tǒng)由1臺高性能PC機(jī)、2臺CMOS攝像機(jī)、5個直流伺服電機(jī)、1塊高速雙通道圖像輸入板和1塊數(shù)據(jù)采集卡組成,如圖1所示。該系統(tǒng)具有5個自由度,它可以模仿人類的雙眼運(yùn)動,也即左右攝像機(jī)(相當(dāng)于人的兩個眼球)可以上、下、左、右運(yùn)動,同時整個雙目視覺系統(tǒng)可以像人的頸一樣作旋轉(zhuǎn)運(yùn)動。人臉檢測與跟蹤是低層視覺功能,人臉識別屬于高層視覺功能。人臉檢測與跟蹤根據(jù)所獲取的外部環(huán)境圖像,得到人臉的位置和速度信息,并傳送給機(jī)器人的運(yùn)動控制機(jī)構(gòu),控制雙目視覺系統(tǒng)的電機(jī)驅(qū)動攝像機(jī)轉(zhuǎn)動,將人臉保持在攝像機(jī)圖像平面的中央。此時得到的人臉圖像最為清晰,可以為人臉識別打下良好的基礎(chǔ)。雙目視覺系統(tǒng)的人臉檢測與跟蹤、人臉識別程序是在兩個獨立的線程里完成的,同時線程之間存在協(xié)調(diào)關(guān)系。多線程系統(tǒng)模式使得家庭服務(wù)機(jī)器人在跟蹤的同時也可以進(jìn)行人臉識別。雙目視覺系統(tǒng)采用動態(tài)look-and-move工作方式,即圖像處理和系統(tǒng)控制可以同時進(jìn)行,從而保證了系統(tǒng)的動態(tài)性能。雙目視覺系統(tǒng)工作流程如圖2所示。3檢測和定位、跟蹤和識別算法3.1色彩模型檢驗人臉檢測與定位是雙目視覺系統(tǒng)的重要環(huán)節(jié),人臉檢測結(jié)果將初始化跟蹤過程,而檢測與跟蹤直接影響到人臉識別的準(zhǔn)確性。我們采用人臉膚色模型結(jié)合相似度以及人臉輪廓來檢測和定位人臉。在YCbCr色彩空間(其中Y表示亮度,Cb表示飽和度,Cr表示色調(diào))中Y值不同的地方,CbCr子平面中膚色聚類區(qū)域是不同的,膚色聚類區(qū)域隨Y變化而呈現(xiàn)出非線性變化?？紤]Y值的影響,對YCbCr色彩格式進(jìn)行非線性分段色彩變換,再將變換后的圖形投影到Cb–Cr二維子空間就可以得到實用的人臉膚色聚類模型。根據(jù)該模型,可采用基于相似度的方法來檢測人臉。為了消除亮度對人臉膚色的影響,定義r=R/(R+G+B),b=B/(R+G+B),把三維基色空間降解成二維的半基色空間,然后用基于頻域的同態(tài)濾波法對圖像進(jìn)行光照補(bǔ)償處理。這樣就能大大地提高人臉檢測的準(zhǔn)確率,結(jié)果如圖3所示。3.2人臉位置跟蹤模塊由于人臉識別需要消耗大量的計算時間,因此要求檢測與跟蹤應(yīng)盡可能快的完成,以便提高雙目視覺系統(tǒng)的實時性。為此,我們選擇了基于顏色信息的CAMSHIFT快速跟蹤算法。對于人臉或者具有特定顏色的目標(biāo),顏色對于它們的旋轉(zhuǎn)和平移運(yùn)動不太敏感,所以顏色是跟蹤中經(jīng)常用到的信息。CAMSHIFT算法還可以用于查找概率分布的模式,以適應(yīng)動態(tài)變化的概率分布。這樣,將彩色圖像根據(jù)目標(biāo)的顏色信息,通過反投影圖方式轉(zhuǎn)變?yōu)楸憩F(xiàn)目標(biāo)模式信息的概率分布圖像,使用CAMSHIFT算法對概率模式進(jìn)行跟蹤,就能對目標(biāo)連續(xù)地跟蹤。跟蹤初始化時,假設(shè)在圖像序列的某幅圖像中已經(jīng)檢測到了人臉位置。將此位置作為圖像的感興趣區(qū)域,對此圖像統(tǒng)計H分量的直方圖和進(jìn)行線性變換,并將每個箱格對應(yīng)的值轉(zhuǎn)換到0～255的范圍內(nèi)。然后將上面得到的直方圖當(dāng)作查找表,對序列后面的圖像都在H分量里計算反投影圖。對原始圖像的每個像素,以像素值為索引查找對應(yīng)的顏色直方圖箱格,再將直方圖的值作為與原圖像對應(yīng)位置的反投影圖的像素值。這樣,反投影圖每個像素值相當(dāng)于原圖像相應(yīng)位置像素屬于目標(biāo)的概率,人臉或與人臉有類似顏色的區(qū)域,將具有最大的像素值(概率)。所以,反投影圖實際上就是顏色的概率分布圖。為了減少噪聲區(qū)域,采用了灰度圖像的腐蝕形態(tài)學(xué)運(yùn)算方法對反投影圖進(jìn)行處理,如圖4所示。原始圖像通過反投影圖轉(zhuǎn)換成二維的顏色概率分布圖像后,通過CAMSHIFT算法對顏色概率圖進(jìn)行處理,找到在當(dāng)前幀中指定顏色的目標(biāo)的中心和大小。同時,當(dāng)前目標(biāo)的大小和位置信息用于設(shè)置下一幀搜索窗口的大小和位置。重復(fù)上述過程,就可以實現(xiàn)連續(xù)地跟蹤。基于顏色信息的CAMSHIFT算法跟蹤速度快,計算負(fù)擔(dān)小。對于不規(guī)則的目標(biāo)運(yùn)動、圖像噪聲、旁邊存在類似顏色的干擾目標(biāo)、部分遮擋、燈光在一定范圍內(nèi)變化等都能很好地進(jìn)行跟蹤,具有較好的跟蹤速度和魯棒性,缺點是當(dāng)背景中有較大面積類似顏色的地方與目標(biāo)連通時,不能確定目標(biāo)真正的大小和位置,從而會失去跟蹤效果。在正常的情況下,目標(biāo)區(qū)域的大小在一定范圍內(nèi),而且前后兩幀圖像中,目標(biāo)區(qū)域大小的變化不會太大。因此,如果發(fā)現(xiàn)CAMSHIFT算法跟蹤模塊得到的結(jié)果超過正常范圍,而且前后幀有比較大的變化,說明受到了具有類似顏色的背景或其他目標(biāo)的干擾,可以認(rèn)為跟蹤進(jìn)入了失效狀態(tài),此時需要進(jìn)行重新檢測人臉。定位人臉的當(dāng)前位置后,再次進(jìn)行跟蹤。為了避免跟蹤的累積誤差,跟蹤進(jìn)行了一定時間后,需要重新檢測人臉。如果檢測到的人臉位置與跟蹤結(jié)果不一致,則以檢測結(jié)果為準(zhǔn),初始化跟蹤模塊,以提高系統(tǒng)的魯棒性。3.3e-hmm的區(qū)域特征目前,人臉識別主要有基于人臉整體模型的識別方法和基于局部特征的識別方法。本系統(tǒng)采用嵌入式隱馬爾可夫模型(E-HMM)對人臉特征進(jìn)行提取和識別。E-HMM是一種基于整體和統(tǒng)計決策過程的建模方法,該模型取5個超狀態(tài)分別對應(yīng)于人臉的前額、眼睛、鼻子、嘴、下巴,它們描述和代表了人臉的宏觀特征。每個超狀態(tài)內(nèi)嵌入的狀態(tài)分別用于提取人臉的局部區(qū)域特征。實驗證明嵌入的狀態(tài)數(shù)取(3,6,6,6,3)的結(jié)構(gòu)具有較好的識別精度。E-HMM的每個臉部用一個E-HMM參數(shù)表示,人臉的差異就是通過模型參數(shù)的不同來表現(xiàn)的。一個人臉圖像的E-HMM通常記為λ={Π,А,Λ},其中Π={Πi,1≤i≤N}表示超狀態(tài)初始概率分布,N=5為垂直方向超狀態(tài)數(shù),A={aij,1≤i,j≤N}是超狀態(tài)轉(zhuǎn)移概率矩陣,Λ={Λi,1≤i≤N}為超狀態(tài)序列(即嵌入的HMM)。為了識別不同姿態(tài)的人臉,在采集人臉圖像入庫時,提取9種具有代表性的姿態(tài),將同一人臉的9個不同姿態(tài)的樣本來加權(quán)合成訓(xùn)練其E-HMM參數(shù)。每一次重估E-HMM參數(shù)都用同一個人臉圖像獲取相應(yīng)的E-HMM參數(shù),然后進(jìn)行加權(quán)合并,最終得到E-HMM模型參數(shù)的重估公式。將訓(xùn)練出來的不同人臉的E-HMM特征參數(shù)值預(yù)先存入人臉數(shù)據(jù)庫中。在進(jìn)行人臉識別時,計算出待識別人臉的E-HMM參數(shù),再通過比較匹配算法所給出的概率值來確定待識別的人臉。人臉檢測與跟蹤得到的人臉位置信息可以用于人臉識別。同時,人臉識別的結(jié)果可以使機(jī)器人有選擇性的進(jìn)行目標(biāo)跟蹤,如在具有多個人臉的情況下,也可以控制機(jī)器人跟蹤特定的人臉。4人臉位置與電機(jī)轉(zhuǎn)動角度本文采用的雙目視覺系統(tǒng)可以根據(jù)檢測與跟蹤到的人臉位置,發(fā)送命令到電機(jī)控制模塊,通過驅(qū)動電機(jī)帶動攝像機(jī)轉(zhuǎn)動,從而使人臉始終位于攝像機(jī)圖像平面的中央。系統(tǒng)的左右攝像機(jī)分別同時進(jìn)行控制。假設(shè)人臉區(qū)域(看作長方形)的中心點與圖像中心點的距離為δ。通過多次實驗,得到人臉在攝像機(jī)圖像平面的位置與電機(jī)轉(zhuǎn)動角度之間的對應(yīng)關(guān)系,并將其當(dāng)作控制電機(jī)轉(zhuǎn)動角度的映射函數(shù)。設(shè)ΔxL和ΔxR、ΔyL和ΔyR分別是目標(biāo)在左右攝像機(jī)圖像平面的x和y方向上離圖像平面中心的距離,mLH和mRH、mLV和mRV分別是左右電機(jī)在水平、垂直方向上轉(zhuǎn)動角度,KL和KR是常量,則有mLH=KLΔxL,mRH=KRΔxR,mLY=mRY=0.5(ΔyL+ΔyR)。5msvc+6.0系統(tǒng)環(huán)境實現(xiàn)我們在室內(nèi)環(huán)境下進(jìn)行了人臉檢測、跟蹤與識別的實驗。計算機(jī)是Pentium42GHzCPU,256MBRAM,Windows2000操作系統(tǒng)。在MSVC++6.0開發(fā)平臺上結(jié)合Intel公司的IPL和OpenCV圖像視覺庫實現(xiàn)了上面的算法。左右攝像機(jī)的圖像平面大小均為352×288像素。圖5是雙目視覺系統(tǒng)軟件界面,其中每隔一定時間,系統(tǒng)更新顯示當(dāng)前跟蹤的人臉識別結(jié)果。圖6顯示了左攝像機(jī)的部分的人臉跟蹤序列。實驗結(jié)果表明在一定背景類膚色干擾的情況下,雙目視覺系統(tǒng)檢測、跟蹤與識別具有良好的實時性和魯棒性。6跟蹤和識別人臉本文采用雙目視覺系統(tǒng)實現(xiàn)了人臉檢測、跟蹤與識別功能,該系統(tǒng)采用人臉膚色模型和人臉輪廓等多種信息來檢測和