基于顏色信息的家庭服務機器人的視覺檢測與跟蹤

基于顏色信息的家庭服務機器人的視覺檢測與跟蹤

1運動人臉檢測與識別人類與機器人的互動是機器人研究的重要課題。機器人要與人和諧地共存于同一個環(huán)境中,它應該能通過多種感覺系統(tǒng)主動地獲取其周圍人的有關信息和做出反應。視覺就是其中的一個主要途徑。例如,家庭服務機器人要能夠認識一個家庭的所有成員,并且能與各個成員進行交流等。因此,人臉檢測、跟蹤和識別功能對于家庭服務機器人來說具有特別重要的意義。本文以一個安裝于家庭服務機器人上的雙目視覺系統(tǒng)為基礎,提出了對運動人臉進行檢測、跟蹤、識別的方法。實驗表明本文采用的雙目視覺系統(tǒng)具有良好的實時性和魯棒性,家庭服務機器人可以利用該系統(tǒng)完成各種任務。2雙網融合的形態(tài)結構雙目視覺系統(tǒng)由1臺高性能PC機、2臺CMOS攝像機、5個直流伺服電機、1塊高速雙通道圖像輸入板和1塊數據采集卡組成,如圖1所示。該系統(tǒng)具有5個自由度,它可以模仿人類的雙眼運動,也即左右攝像機(相當于人的兩個眼球)可以上、下、左、右運動,同時整個雙目視覺系統(tǒng)可以像人的頸一樣作旋轉運動。人臉檢測與跟蹤是低層視覺功能,人臉識別屬于高層視覺功能。人臉檢測與跟蹤根據所獲取的外部環(huán)境圖像,得到人臉的位置和速度信息,并傳送給機器人的運動控制機構,控制雙目視覺系統(tǒng)的電機驅動攝像機轉動,將人臉保持在攝像機圖像平面的中央。此時得到的人臉圖像最為清晰,可以為人臉識別打下良好的基礎。雙目視覺系統(tǒng)的人臉檢測與跟蹤、人臉識別程序是在兩個獨立的線程里完成的,同時線程之間存在協(xié)調關系。多線程系統(tǒng)模式使得家庭服務機器人在跟蹤的同時也可以進行人臉識別。雙目視覺系統(tǒng)采用動態(tài)look-and-move工作方式,即圖像處理和系統(tǒng)控制可以同時進行,從而保證了系統(tǒng)的動態(tài)性能。雙目視覺系統(tǒng)工作流程如圖2所示。3檢測和定位、跟蹤和識別算法3.1色彩模型檢驗人臉檢測與定位是雙目視覺系統(tǒng)的重要環(huán)節(jié),人臉檢測結果將初始化跟蹤過程,而檢測與跟蹤直接影響到人臉識別的準確性。我們采用人臉膚色模型結合相似度以及人臉輪廓來檢測和定位人臉。在YCbCr色彩空間(其中Y表示亮度,Cb表示飽和度,Cr表示色調)中Y值不同的地方,CbCr子平面中膚色聚類區(qū)域是不同的,膚色聚類區(qū)域隨Y變化而呈現出非線性變化。考慮Y值的影響,對YCbCr色彩格式進行非線性分段色彩變換,再將變換后的圖形投影到Cb–Cr二維子空間就可以得到實用的人臉膚色聚類模型。根據該模型,可采用基于相似度的方法來檢測人臉。為了消除亮度對人臉膚色的影響,定義r=R/(R+G+B),b=B/(R+G+B),把三維基色空間降解成二維的半基色空間,然后用基于頻域的同態(tài)濾波法對圖像進行光照補償處理。這樣就能大大地提高人臉檢測的準確率,結果如圖3所示。3.2人臉位置跟蹤模塊由于人臉識別需要消耗大量的計算時間,因此要求檢測與跟蹤應盡可能快的完成,以便提高雙目視覺系統(tǒng)的實時性。為此,我們選擇了基于顏色信息的CAMSHIFT快速跟蹤算法。對于人臉或者具有特定顏色的目標,顏色對于它們的旋轉和平移運動不太敏感,所以顏色是跟蹤中經常用到的信息。CAMSHIFT算法還可以用于查找概率分布的模式,以適應動態(tài)變化的概率分布。這樣,將彩色圖像根據目標的顏色信息,通過反投影圖方式轉變?yōu)楸憩F目標模式信息的概率分布圖像,使用CAMSHIFT算法對概率模式進行跟蹤,就能對目標連續(xù)地跟蹤。跟蹤初始化時,假設在圖像序列的某幅圖像中已經檢測到了人臉位置。將此位置作為圖像的感興趣區(qū)域,對此圖像統(tǒng)計H分量的直方圖和進行線性變換,并將每個箱格對應的值轉換到0～255的范圍內。然后將上面得到的直方圖當作查找表,對序列后面的圖像都在H分量里計算反投影圖。對原始圖像的每個像素,以像素值為索引查找對應的顏色直方圖箱格,再將直方圖的值作為與原圖像對應位置的反投影圖的像素值。這樣,反投影圖每個像素值相當于原圖像相應位置像素屬于目標的概率,人臉或與人臉有類似顏色的區(qū)域,將具有最大的像素值(概率)。所以,反投影圖實際上就是顏色的概率分布圖。為了減少噪聲區(qū)域,采用了灰度圖像的腐蝕形態(tài)學運算方法對反投影圖進行處理,如圖4所示。原始圖像通過反投影圖轉換成二維的顏色概率分布圖像后,通過CAMSHIFT算法對顏色概率圖進行處理,找到在當前幀中指定顏色的目標的中心和大小。同時,當前目標的大小和位置信息用于設置下一幀搜索窗口的大小和位置。重復上述過程,就可以實現連續(xù)地跟蹤?；陬伾畔⒌腃AMSHIFT算法跟蹤速度快,計算負擔小。對于不規(guī)則的目標運動、圖像噪聲、旁邊存在類似顏色的干擾目標、部分遮擋、燈光在一定范圍內變化等都能很好地進行跟蹤,具有較好的跟蹤速度和魯棒性,缺點是當背景中有較大面積類似顏色的地方與目標連通時,不能確定目標真正的大小和位置,從而會失去跟蹤效果。在正常的情況下,目標區(qū)域的大小在一定范圍內,而且前后兩幀圖像中,目標區(qū)域大小的變化不會太大。因此,如果發(fā)現CAMSHIFT算法跟蹤模塊得到的結果超過正常范圍,而且前后幀有比較大的變化,說明受到了具有類似顏色的背景或其他目標的干擾,可以認為跟蹤進入了失效狀態(tài),此時需要進行重新檢測人臉。定位人臉的當前位置后,再次進行跟蹤。為了避免跟蹤的累積誤差,跟蹤進行了一定時間后,需要重新檢測人臉。如果檢測到的人臉位置與跟蹤結果不一致,則以檢測結果為準,初始化跟蹤模塊,以提高系統(tǒng)的魯棒性。3.3e-hmm的區(qū)域特征目前,人臉識別主要有基于人臉整體模型的識別方法和基于局部特征的識別方法。本系統(tǒng)采用嵌入式隱馬爾可夫模型(E-HMM)對人臉特征進行提取和識別。E-HMM是一種基于整體和統(tǒng)計決策過程的建模方法,該模型取5個超狀態(tài)分別對應于人臉的前額、眼睛、鼻子、嘴、下巴,它們描述和代表了人臉的宏觀特征。每個超狀態(tài)內嵌入的狀態(tài)分別用于提取人臉的局部區(qū)域特征。實驗證明嵌入的狀態(tài)數取(3,6,6,6,3)的結構具有較好的識別精度。E-HMM的每個臉部用一個E-HMM參數表示,人臉的差異就是通過模型參數的不同來表現的。一個人臉圖像的E-HMM通常記為λ={Π,А,Λ},其中Π={Πi,1≤i≤N}表示超狀態(tài)初始概率分布,N=5為垂直方向超狀態(tài)數,A={aij,1≤i,j≤N}是超狀態(tài)轉移概率矩陣,Λ={Λi,1≤i≤N}為超狀態(tài)序列(即嵌入的HMM)。為了識別不同姿態(tài)的人臉,在采集人臉圖像入庫時,提取9種具有代表性的姿態(tài),將同一人臉的9個不同姿態(tài)的樣本來加權合成訓練其E-HMM參數。每一次重估E-HMM參數都用同一個人臉圖像獲取相應的E-HMM參數,然后進行加權合并,最終得到E-HMM模型參數的重估公式。將訓練出來的不同人臉的E-HMM特征參數值預先存入人臉數據庫中。在進行人臉識別時,計算出待識別人臉的E-HMM參數,再通過比較匹配算法所給出的概率值來確定待識別的人臉。人臉檢測與跟蹤得到的人臉位置信息可以用于人臉識別。同時,人臉識別的結果可以使機器人有選擇性的進行目標跟蹤,如在具有多個人臉的情況下,也可以控制機器人跟蹤特定的人臉。4人臉位置與電機轉動角度本文采用的雙目視覺系統(tǒng)可以根據檢測與跟蹤到的人臉位置,發(fā)送命令到電機控制模塊,通過驅動電機帶動攝像機轉動,從而使人臉始終位于攝像機圖像平面的中央。系統(tǒng)的左右攝像機分別同時進行控制。假設人臉區(qū)域(看作長方形)的中心點與圖像中心點的距離為δ。通過多次實驗,得到人臉在攝像機圖像平面的位置與電機轉動角度之間的對應關系,并將其當作控制電機轉動角度的映射函數。設ΔxL和ΔxR、ΔyL和ΔyR分別是目標在左右攝像機圖像平面的x和y方向上離圖像平面中心的距離,mLH和mRH、mLV和mRV分別是左右電機在水平、垂直方向上轉動角度,KL和KR是常量,則有mLH=KLΔxL,mRH=KRΔxR,mLY=mRY=0.5(ΔyL+ΔyR)。5msvc+6.0系統(tǒng)環(huán)境實現我們在室內環(huán)境下進行了人臉檢測、跟蹤與識別的實驗。計算機是Pentium42GHzCPU,256MBRAM,Windows2000操作系統(tǒng)。在MSVC++6.0開發(fā)平臺上結合Intel公司的IPL和OpenCV圖像視覺庫實現了上面的算法。左右攝像機的圖像平面大小均為352×288像素。圖5是雙目視覺系統(tǒng)軟件界面,其中每隔一定時間,系統(tǒng)更新顯示當前跟蹤的人臉識別結果。圖6顯示了左攝像機的部分的人臉跟蹤序列。實驗結果表明在一定背景類膚色干擾的情況下,雙目視覺系統(tǒng)檢測、跟蹤與識別具有良好的實時性和魯棒性。6跟蹤和識別人臉本文采用雙目視覺系統(tǒng)實現了人臉檢測、跟蹤與識別功能,該系統(tǒng)采用人臉膚色模型和人臉輪廓等多種信息來檢測和