動態(tài)手勢軌跡跟蹤與HMM模式識別(共9頁)

1、動態(tài)手勢(shush)軌跡跟蹤與HMM模式識別林偉強 莊寶山(bo shn)（福州大學(xué)數(shù)學(xué)(shxu)與計算機科學(xué)學(xué)院）摘要 為了理解用戶手勢的含義，本文首先利用攝像頭捕獲連續(xù)運動的手勢，隨后將其進行部分圖像的預(yù)處理操作，利用手勢分割技術(shù)將手勢部分分割出來，并提取手勢的質(zhì)心以及面積的大小作為特征向量，用于建立隱馬爾可夫模型的參數(shù)，最終形成一個能理解用戶手勢操作的系統(tǒng)，并對其進行應(yīng)用。關(guān)鍵詞 手勢識別 隱馬爾可夫模型 手勢分割Dynamic Hand Gesture Trajectory Tracking And Hidden Markov Model RecognitionLin Wei-qi

2、ang Zhuang Bao-shan(Department of Mathematics and Computer Science, Fuzhou University)Abstract To understand the meaning of users hand gestures, first of all, this article uses cameras to capture a series pictures of moving hands and then predo these pictures by using the technology of hand gestures

3、 segment to identify hands, extracting the central position and calculating the areas of hands, using these elements to build hidden markov model. Finally to form a system which can understand the meaning of users hand movement.Keywords Hand Gesture Trajectory Tracking, HMM, Hand Gesture Segment一、引言

4、隨著科技技術(shù)的日新月異，計算機科學(xué)的蓬勃發(fā)展，計算機已經(jīng)成為了人們生活中不可獲取的一個主要物品。而在其間，人機交互技術(shù)大大的方便了人們的生活，儼然成為了眾多學(xué)者研究學(xué)習(xí)的主要內(nèi)容。由于手勢動作能夠很好的表現(xiàn)人們想要傳達的意思，使之成為計算機與人交互的主要方式之一，因此手勢的識別在這些研究課題中成為了熱門話題。本文是基于攝像頭捕獲圖像后，利用圖像處理技術(shù)進行動態(tài)手勢軌跡的跟蹤與HMM模式的識別。其內(nèi)容包括圖像預(yù)處理、手勢分割與定位、手勢的分析以及基于HMM模式的手勢識別四大塊的研究，并給出了自己的設(shè)計方案。在手勢識別過程當(dāng)中，不論是靜態(tài)手勢還是動態(tài)手勢，都必須首先獲得手勢的圖像，隨后進行手勢的檢

5、測，手勢分割，手勢的分析，最后進行手勢的識別。具體流程如圖1所示。手勢分析手勢檢測與分割圖像獲取手勢識別圖1 手勢識別的流程迄今為止，隱馬爾可夫模型在識別(shbi)領(lǐng)域已經(jīng)有著形形色色(xng xng s s)的應(yīng)用(yngyng)。如Schlenzig【1】利用隱馬爾可夫模型進行的手勢識別，研究過程中為每個手勢賦予一個隱馬爾可夫模型用于后續(xù)識別手勢含義。再如Nam與Wohn【2】研究的手勢識別系統(tǒng)，通過該研究很好的讓計算機理解時空手勢的含義?？▋?nèi)基梅隆大學(xué)的Christopher Lee與 Yangsheng Xu【3】，他們利用隱馬爾可夫模型，開發(fā)了一套手勢識別的系統(tǒng)，判斷手勢含義。二、

6、HMM理論基礎(chǔ)隱馬爾可夫模型是可用于標(biāo)注問題的統(tǒng)計學(xué)習(xí)模型。該模型描述由隱藏的馬爾可夫模型隨機生成觀測序列的過程，其中狀態(tài)的轉(zhuǎn)移以及觀測序列的輸出都是隨機的。其中狀態(tài)轉(zhuǎn)移的隨機過程是隱式的，通過觀察序列的隨機過程表達出來 4。由于人的手勢的運動（包括其運動方向和形態(tài)的變化）存在著很大的隨機性，所以用HMM模型來描述手勢的運動，可以滿足手勢的隨機運動及變化的特性。在文獻1中對隱馬爾可夫模型做出了定義，隱馬爾可夫模型是由初始概率向量、狀態(tài)轉(zhuǎn)移概率矩陣A和觀測概率矩陣B決定。和A決定狀態(tài)序列，B決定觀測序列。因此，隱馬爾可夫模型可以用三元符號表示，即=(A,B,)這種模型的結(jié)構(gòu)主要有兩種，一種是各類

7、狀態(tài)都經(jīng)歷的模型，一種是從左到右模型。其中從左到右的模型可以用來模擬手勢隨時間變化的特征狀態(tài)，所以本文選擇了從左到右的HMM模型結(jié)構(gòu)。從左-右的隱馬爾可夫模型包括兩種（三狀態(tài)轉(zhuǎn)移和兩狀態(tài)轉(zhuǎn)移），對于手勢的運動表達他們都能取得很好的效果。本文采用的是二轉(zhuǎn)移的HMM。本文在構(gòu)建基于隱馬爾可夫模型的識別系統(tǒng)之前，需要對其3個關(guān)鍵的問題給予解決方法，他們分別是對于一個觀測序列與一個隱馬爾可夫模型=(A,B,)：用什么方法去計算已知模型參數(shù)下觀測序列O下的概率PO。如何選擇一條最優(yōu)的路徑，用來最好的解釋觀測序列O。怎樣選擇模型的三個參數(shù)，使得PO達到最大。只有在解解決了這三個問題以后，才能夠運用隱馬爾可

8、夫模型。首先在求觀測序列的概率PO可以使用前向概率和后向概率算法，獲得PO的值，求最佳狀態(tài)序列可以采用Viterbi算法，最后要是模型概率達到最高值，使用Baum-Welch算法。得到模型的參數(shù)=(A,B,)后，就可以運用HMM模型，進行手勢的識別。三、手勢(shush)分析手勢分析是完成手勢識別的關(guān)鍵技術(shù)，其結(jié)果(ji gu)將直接影響到識別階段的識別(shbi)率。通過手勢的分析階段的工作，可以獲得手勢的一些特征，并將其運用到識別階段。這些特征可以包括手勢的形狀特征、運動的軌跡、面積大小等，他們與手勢所表達的意義直接相連。本文采用手的質(zhì)心位置的變化特征以及手部分面積變化來對運動的手勢含義進

9、行分析。在對手勢進行分析之前，首先需要將手勢部分很好的分割出來，因為是否能準(zhǔn)確分割出手的部分對后續(xù)的特征提取以及手勢的識別階段的準(zhǔn)確率會造成巨大的影響。但是由于光照強度不同的問題，往往會對手勢分割帶來巨大的困難。為了解決光照問題對手勢分割的影響，本文采用幀間差分結(jié)合膚色建模的方法來分割手勢。3.1、幀間差分技術(shù)幀間差分法【5】是通過相鄰兩幀圖像做相減操作后，得到運動部分圖像的方法，只要獲取的圖像內(nèi)物體有變化運動，那么幀間差分法就能很容易的將他們提取與識別出來。在具體運用當(dāng)中常常設(shè)置一個閾值，當(dāng)攝像頭捕獲的相鄰兩幀圖像相減過后的值大于所設(shè)置的閾值之時，就可以判斷當(dāng)前圖像中有存在運動的物體。在手勢

10、識別系統(tǒng)當(dāng)中運用了這種方法，用于判斷在圖像中處于運動的手勢的位置，為后續(xù)提取手勢的特征打下基礎(chǔ)。3.2、膚色建模在手勢分割前，手勢圖像的提取十分的重要，然而在手勢圖像獲取的過程當(dāng)中，由于獲取的是彩色的圖像，所以對光照的影響十分的敏感。但是，膚色在彩色圖像當(dāng)中比較獨特，它不會由于物體大小、姿態(tài)、光照、形狀等因素的變化而受到影響，并且和其他背景相比起來，膚色與之區(qū)別很大，由此考慮應(yīng)用膚色建模，就可以提高手勢在不同背景以及光照的影響下下的識別率。本文采用的膚色建模方式是基于文獻6中在YCbCr的顏色空間下的，在攝像頭捕獲圖像之后，將其轉(zhuǎn)換到Y(jié)CbCr空間下進行分析建模。在YCbCr顏色空間下的膚色模

11、型表示方法【6】中,光強Y對膚色的影響很小。本文在實現(xiàn)過程中采用了文獻6中光強的取值方法，以及邊界方程的選取方法,給出如下邊界定義：if(Y128)1=-2+(256-Y)/16;2=20-(256-Y)/16;3=6;4=-8;if(Y128)1=6;2=12;3=2+Y/32;4=-16+Y/16;Cr-2(Cb+24);Cr-(Cb+17);Cr-4(Cb+32);Cr2.5(Cb+1);Cr3;Cr-0.5(Cb-4);Cr-(Cb-220)/6;Cr-1.34(Cb-2)。 規(guī)定對于一個確定的Y,求出確定的的值，再確定藍色分量和紅色分量的取值范圍,如果樣本中的膚色點在此范圍內(nèi),就認為

12、此點就在邊界之內(nèi),否則就認為在邊界之外。運用幀間差分與膚色建模，就能夠很好的將運動的手勢部分分割出來，因為在手勢運動的過程當(dāng)中，很有可能除手部分以外的背景物運動而造成對手勢提取的不準(zhǔn)確。利用膚色建模結(jié)合幀間差分首先確定膚色部分，然后疊加運動部分，就能準(zhǔn)確的分割出運動的手。在提取完運動的手勢部分，需要提取特征用來支持最后的識別(shbi)階段。由于本文對手勢運動的結(jié)果劃分為上、下、左、右、放大、縮小以及旋轉(zhuǎn)，針對上下左右分別對已經(jīng)通過幀間差分以及膚色建模分割出手的部分利用函數(shù)計算(j sun)出手部分的質(zhì)心位置作為特征向量，用于判斷質(zhì)心的走勢，由此將他們分為上下左右。而對于放大縮小和旋轉(zhuǎn)來說，放

13、大、縮小以及旋轉(zhuǎn)是通過函數(shù)計算分割出手勢部分的面子變化作為特征向量，面積變大的為放大操作，面積變小的為縮小操作，面積基本保持不變的為旋轉(zhuǎn)操作。四、HMM手勢(shush)識別在運用HMM模型進行手勢識別的過程中，首先通過攝像頭采集圖像，對其進行簡單的去噪與增強操作以后，利用手勢分割階段的技術(shù)（結(jié)合膚色建模以及幀間差分法）將手勢分割出來，接著運用函數(shù)提取手勢的質(zhì)心，面積等特征向量給手勢識別階段的HMM模型建模過程，運用訓(xùn)練樣本訓(xùn)練完隱馬爾可夫模型參數(shù)之后，最后使用測試樣本對生成的模型的識別率進行測試。在這整個過程當(dāng)中在手勢分析階段分割出的手勢以及提取的特征向量的基礎(chǔ)上，采用學(xué)習(xí)率為0.6的HMM

14、模型參數(shù)學(xué)習(xí)的方法對動態(tài)手勢進行訓(xùn)練。本文選取上、下、左、右、放大、縮小以及旋轉(zhuǎn)7個手勢，采用大量樣本對其的HMM模型進行訓(xùn)練。在HMM建模階段，每個手勢對應(yīng)一個HMM模型，除放大、縮小和旋轉(zhuǎn)通過面積大小的變化判斷之外（面積變大為放大，面積變小為縮小，面積基本不變?yōu)樾D(zhuǎn)），其余4個手勢通過建立HMM模型來進行判斷。HMM手勢識別的流程如下圖所示：圖3 手勢識別流程圖在這幾種手勢的HMM模型參數(shù)都訓(xùn)練出來之后，將剩下的動態(tài)手勢樣本作為測試其識別的準(zhǔn)確度。訓(xùn)練階段的初始模型(0)=(A(0),B(0),(0)隨后運用已有的訓(xùn)練樣本對參數(shù)進行訓(xùn)練結(jié)束后，以向上手勢的HMM模型參數(shù)=(A,B,)為例，

15、得到如下：A = B = = 其他手勢(shush)亦可類比。在得到這些手勢的HMM模型(mxng)之后，就可以調(diào)用測試樣本，利用HMM模型對手勢識別率的準(zhǔn)確度進行測試。 五、系統(tǒng)實現(xiàn)與實驗(shyn)結(jié)果 本節(jié)重點介紹系統(tǒng)實現(xiàn)的過程，從手勢圖像的提取，手勢分割的技術(shù)，手勢特征的提取，HMM模型的訓(xùn)練，以及最終的HMM手勢的識別等幾個部分來介紹整個系統(tǒng)的實現(xiàn)流程，并且給出最終系統(tǒng)識別的結(jié)果與識別率。5.1、圖像獲取及手勢的分割本文在攝像頭采集完手勢運動的圖像以后，首先對圖像進行降噪，然后使用拉普拉斯算子對彩色圖像進行銳化，處理的目的是為了提高了手勢檢測和分割的準(zhǔn)確性。隨后，利用幀間差分法，結(jié)合

16、膚色建模，很好的將運動的手的部分分割出來。實驗結(jié)果圖如下。 圖4幀間差分(ch fn)后的效果圖5利用(lyng)膚色建模將手的部分分割出來圖6幀間差分(ch fn)與膚色建模合并的效果圖5.2、手勢特征(tzhng)的提取本文通過分割出手之后，判斷其質(zhì)心位置的變化，來確定其運動的方向。分別分為上、下、左、右。此外，還通過計算手勢面積的大小(dxio)變化，來判斷其是擴大還是縮小。面積放大縮小部分以縮小才做為例，剩余的放大和旋轉(zhuǎn)亦可類比，得到如下結(jié)果：圖8縮小操作圖9縮小操作面積大小的變化數(shù)據(jù)質(zhì)心位置移動以向右的手勢運動為例，其余的上下左亦可類比，得到如下結(jié)果：圖10標(biāo)出質(zhì)心(zh xn)的位

17、置用以判斷手勢運動方向5.3 HMM模型參數(shù)的訓(xùn)練以及(yj)基于HMM模型的手勢識別HMM模型(mxng)訓(xùn)練階段，運用存有個各個形態(tài)的手勢去訓(xùn)練HMM模型，運用Baum-Welch算法，對HMM模型的參數(shù)=(A,B,)進行不斷的迭代更新，最終按照各個手勢運動的類型形成7個HMM模型，分別代表向上，向下，向左，向右，放大，縮小，旋轉(zhuǎn)的姿勢。在訓(xùn)練完HMM模型之后，用幾組數(shù)據(jù)對HMM模型的識別率進行檢測。實驗結(jié)果如下向右： 9 5 5 4 6 5 5 5 5Name. right match rate is 8.544e-006 最大，識別為向右的手勢Name. up match rate i

18、s 6.0688e-016Name. down match rate is 7.3297e-093Name. left match rate is 5.3424e-117Name. nomove match rate is 9.3901e-0185.4、識別率分析及改進點手勢名稱測試數(shù)目正確數(shù)目錯誤數(shù)據(jù)識別率向上2019195%向下20200100%向左2018290%向右2019195%放大2015575%縮小2016480%旋轉(zhuǎn)2013765%總體統(tǒng)計1401202085.71%表1 識別率統(tǒng)計表實驗結(jié)果表明，利用質(zhì)心移動進行(jnxng)判斷手勢走向的識別率較高，而通過計算面積進行識別的

19、放大、縮小及旋轉(zhuǎn)的識別率相對于通過質(zhì)心移動判斷的方法來說要低。這是由于按照質(zhì)心走勢的運動方向?qū)τ谑謩莸倪\動判斷相對的直觀，質(zhì)心在圖像內(nèi)的某個方向上的坐標(biāo)變化相對明顯（如向上手勢，朝著向上方向的坐標(biāo)變化就相對明顯），因此比較容易辨別出手勢的運動方向，所以識別率相對較高。然而，對于通過計算面積變化來判斷手勢含義的放大、縮小以及旋轉(zhuǎn)三個手勢來說，由于手勢分割階段分割出的手的部分還不算(b sun)好，以及手勢在做上下左右運動時候攝像頭拍攝到手勢的角度不同，所以導(dǎo)致計算面積變化的時候誤差相對較大，以至于旋轉(zhuǎn)部分的手勢很容易會識別成為放大或者縮小，向左向右的手勢由于攝像頭的采集圖像角度不同而造成面積的變

20、化，導(dǎo)致識別率的降低。對此要想對識別率得以提升，必須增加部分特征向量，上下左右的運動不僅依靠坐標(biāo)的變化，放大(fngd)縮小旋轉(zhuǎn)變化不局限于面積的變化，這樣增加了限定條件之后，可以更精確的定義每一個手勢，以此來提高手勢的識別率。六、結(jié)束語本文主要通過外部設(shè)備自行采集連續(xù)的圖像之后，對其進行分析，從中提取出手勢的部分，對其的運動狀態(tài)進行判斷，從而從計算機的角度理解用戶的交互行為。實現(xiàn)通過攝像頭獲取手勢動作的內(nèi)容，從而實現(xiàn)翻頁、上拉、下拉、放大、縮小、旋轉(zhuǎn)等動作，從而進行人機交互。參考文獻Schlenzig J, Hunter E, Jain R. Recursive Identification of Gesture Inputers Using Hidden Markov ModelsC/