基于動態(tài)時間規(guī)整的手勢加速度信號識別

1、基于動態(tài)時間規(guī)整的手勢加速度信號識別第25卷第1期2012年1月傳感技術(shù)CHINESEJOURNALOFSENSORSANDACTUATORSV01.25N0.1Jan.2012GestureAccelerationSignalsRecognitionBasedonDynamicTimeWarpinga】1NGLei,MAWenjun.CHANGDanhua(InstituteofInformationScienceandTechnology,YanshanUniversity,QinhuangdaoHebei066004,China)Abstract:Adynamictimewarpinga

2、lgorithmofgesturerecognitionwasusedtoimprovetheperformanceofdynamicgesturerecognitionbasedonaccelerometer.Thesimilaritybetweentesttemplateandreferencetemplateiscalculatedbydynamictimewarpingmethod(DTW),andtheresultsofrecognitionaregotfromthesesimilarities.Toconfirmouralgorithm,awirelessgestureaccele

3、rationmeasurementsystemisproposedandmeasurementsgestureinformationon41volunteersiscollected.Theresultsshowthattheaveragegesturerateisabove97%.ComparedwiththealgorithmofhiddenMarkovmodel(HMM),theDTwalgorithmismorepreciseinrecognitionaccuracy.Keywords:gesturerecognition;accelerometer;DynamicTimeWarpin

4、g;HiddenMarkovModelEEACC:7230doi:10.3969/j.issn.10041699.2012.01.015基于動態(tài)時間規(guī)整的手勢加速度信號識別米荊雷,馬文君,常丹華(燕山大學(xué)信息科學(xué)與工程學(xué)院,河北秦皇島066004)摘要:為了提高基于加速度傳感器的動態(tài)手勢識別算法的性能,本文采用了動態(tài)時間規(guī)整(DTW)識別算法.通過該算法計算測試模板和參考模板的相似度,從而得出識別結(jié)果.為了驗(yàn)證該方法,建立了一套手勢加速度無線采集系統(tǒng),并采集了41個志愿者的手勢信息.實(shí)驗(yàn)結(jié)果表明,該方法手勢平均識別率在97%以上.與HMM識別算法相比,DTW識別算法在識別的準(zhǔn)確率上比HMM識別

5、算法更具優(yōu)勢.關(guān)鍵詞:手勢識別:加速度傳感器;動態(tài)時間規(guī)整;隱馬爾科夫模型中圖分類號:TP334.2文獻(xiàn)標(biāo)識碼:A文章編號:10041699(2012)01007205基于加速度傳感器的手勢識別是近年來人機(jī)交互領(lǐng)域中新興起的前沿研究方向之一.主流的研究手勢識別方法有兩種:一種是基于圖像的識別方法,另一種是基于運(yùn)動傳感器(主要是加速度傳感器)的識別方法目前,國內(nèi)研究手勢識別的方法主要是基于圖像的手勢識別l_1,這種方法對設(shè)備要求高,資金投入大,并且限于在特定場所使用.近年來,隨著傳感器技術(shù)的發(fā)展及其制作工藝的改進(jìn),基于加速度傳感器的手勢識別正日益興起.加速度傳感器不僅具有尺寸小,精度高,功耗低等

6、優(yōu)點(diǎn),更具有不受運(yùn)動場地和環(huán)境限制的優(yōu)點(diǎn).這就使得基于運(yùn)動傳感器的手勢研究更為方便.因此,具有更為廣闊的應(yīng)用前景l(fā)jJ.在手勢識別系統(tǒng)中較為廣泛使用的是隱馬爾科項目來源:秦皇島市科技發(fā)展基金項目(201001A117)收稿日期:20110813修改日期:20110927夫模型(HMM.HiddenMarkovMode1)識別法_4J和模糊神經(jīng)網(wǎng)絡(luò)(FNN,FuzzyNeuralNetwork)等復(fù)雜算法,但這些算法對手勢識別精度不高.鑒于此,本設(shè)計采用了一種更簡單的手勢識別算法,即基于模板匹配思想的算法,采用動態(tài)時間規(guī)整(DTW,DvnamieTimeWarping)算法來計算手勢之間的相似度

7、.根據(jù)相似度的大小來識別簡單手勢.運(yùn)用上述識別算法,本設(shè)計在實(shí)現(xiàn)時識別了五種簡單的手勢動作,分別為:橫(一),豎(),畫圓(o),打鉤(,/),畫叉(×).1實(shí)驗(yàn)裝置結(jié)構(gòu)本設(shè)計的硬件實(shí)驗(yàn)裝置主要有兩部分:數(shù)據(jù)采集模塊和數(shù)據(jù)接收模塊.數(shù)據(jù)采集模塊將加速度傳第1期荊雷,馬文君,等:基于動態(tài)時間規(guī)整的手勢加速度信號識別73感器采集來的數(shù)據(jù)以無線的方式傳送給數(shù)據(jù)接收模塊:數(shù)據(jù)接收模塊將接收到的數(shù)據(jù)通過RS232串口傳送到計算機(jī)上進(jìn)行處理.圖1為硬件實(shí)驗(yàn)裝置的結(jié)構(gòu)圖.無線接模塊RS232CC1110F32串口一廣1/l一圖1買驗(yàn)裝置結(jié)構(gòu)圖本設(shè)計硬件采用由日本AiehiSteelCorporat

8、ion公司生產(chǎn)的AMI602D加速度傳感器,來獲取手勢執(zhí)行時產(chǎn)生的加速度信號.加速度傳感器采樣頻率為100HZ,量程為±2g.其體積小(6.2mmx4.2mm1.2mm),集成度高(內(nèi)部還集成了地磁傳感器).實(shí)驗(yàn)裝置采用德州儀器(TI)公司生產(chǎn)的CC1110一F32無線收發(fā)芯片.來實(shí)現(xiàn)加速度信號的無線傳輸功能.該芯片內(nèi)集成了收發(fā)功能,并且具有低功耗,數(shù)據(jù)傳輸速度快(數(shù)據(jù)傳輸率500kbps)等優(yōu)點(diǎn).整個數(shù)據(jù)采集系統(tǒng)的功耗也是很低的,其工作時只需用一節(jié)3.7V的鋰電池來供電.和其他手勢數(shù)據(jù)采集系統(tǒng)I6相比.本文的硬件系統(tǒng)具有以下優(yōu)點(diǎn):對手勢加速度信號進(jìn)行無線實(shí)時傳輸,減少測量過程中對使

9、用者的束縛,提高了測量準(zhǔn)確性:采用了具有數(shù)字接口的加速度傳感器,其內(nèi)部自帶模數(shù)轉(zhuǎn)換功能,省去了A/D轉(zhuǎn)換,提高了系統(tǒng)的可靠性.加速度傳感器的準(zhǔn)確與否直接影響到系統(tǒng)的性能,而環(huán)境溫度又是影響加速度傳感器準(zhǔn)確度的重要因素8,AMI602D加速度傳感具有自動的溫度補(bǔ)償功能.所以,該硬件系統(tǒng)具有較高的準(zhǔn)確性.與圖像方法所需的攝像裝置相比,該裝置成本低,體積小,便于攜帶,不需限定測試環(huán)境,不影響人的正常活動l92識別算法實(shí)現(xiàn)2.1信號預(yù)處理加速度傳感器本身具有測量誤差但其靈敏度和精度遠(yuǎn)遠(yuǎn)高于應(yīng)用的需求.而且外界干擾對其影響也不是非常嚴(yán)重,因此無需進(jìn)行自相關(guān)等復(fù)雜運(yùn)算_1.本實(shí)驗(yàn)裝置采用的是數(shù)字接口的加速

10、度傳感器,在原則上是不需要濾波的.但是為了得到較好的實(shí)驗(yàn)結(jié)果,在實(shí)驗(yàn)時本文將實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了簡單濾波.以下是對信號的預(yù)處理:由于執(zhí)行的手勢動作只需在平面內(nèi)即可實(shí)現(xiàn),所以在識別時舍去與書寫平面垂直軸的數(shù)據(jù),只對平面內(nèi)兩個軸的數(shù)據(jù)進(jìn)行識別,從而減少計算的復(fù)雜度.使用一個三階的巴特渥茲低通濾波器對加速度信號進(jìn)行濾波,從而去除在手勢測量過程中加速度傳感器受到身體晃動所造成的小幅度高頻干擾.除去測量開始和結(jié)束時的靜止?fàn)顟B(tài)信號,僅保留動態(tài)的手勢信號.2.2特征提取本設(shè)計實(shí)驗(yàn)裝置采用的是AMI602D三軸加速度傳感器,但識別的動作圖形均為平面圖形,為了減少計算量和降低計算復(fù)雜度.因此在特征提取時只提取軸和l,

11、軸的數(shù)據(jù),舍去Z軸的數(shù)據(jù).本設(shè)計對一個動態(tài)手勢提取特征,是獲取其軸和l,軸的所有特征點(diǎn)的原始時間序列t,t,t和加速度幅值序列,.由于手勢執(zhí)行時間長度不等,因此在進(jìn)行模板匹配時,本文使用動態(tài)時間規(guī)整算法,來計算測試模板和參考模板的相似性.2.3動態(tài)時間規(guī)整算法2.3.1模板匹配基本原理模板匹配法是模式識別中最常用的一種相似度計算與匹配的方法,在其他識別領(lǐng)域運(yùn)用較為常見.但是在動態(tài)手勢識別中模板匹配法運(yùn)用較少.如果考慮把具有不同加速度序列的手勢經(jīng)過某種轉(zhuǎn)換以后作為不同的模板,則可以構(gòu)建一個基于模板匹配的簡單的手勢識別系統(tǒng),為了簡單和便于處理,本文采用計算歐氏距離(歐基里德距離)來進(jìn)行相似度量.參

12、考模板表示為:R=r,r:,r,其中為參考模板所包含的特征值的總數(shù),m為特征值的時序標(biāo)號,r為第m個特征值.測試模板表示為:=t.,t:,t,t,其中為測試模板中特征值總數(shù),n為時序標(biāo)號,t為第凡個的特征值.下面的公式給出了利用歐氏距離度量的失真度計算方法:DT(n),(m)=(tn-r)計算總體失真D,R時,需要考慮到模式特征值的總數(shù)是否相等的情況:(1)=M,這時可以依次計算n=m=1,n=m:N的失真并取和.即可求得總失真mD,R=(一rm);n,n=l(2),這時需要將其中較小模式的用某種擴(kuò)張的方法映射到較大模式序列上,然后再分別計算新的各對應(yīng)特征值之間的失真.從而求得總失真D,尺.7

13、4傳感技術(shù)WWW第25卷2.3.2動態(tài)時間規(guī)整由于個體的差異性,在手勢識別的過程中,用戶進(jìn)行訓(xùn)練或者識別時,即使每次盡量以同樣的方式執(zhí)行同一個手勢,其持續(xù)時間的長度也會隨機(jī)改變因此,如果直接用特征矢量序列來進(jìn)行相似性比較,其效果不可能是最佳的.需要對特征參數(shù)序列模式重新進(jìn)行時間的對準(zhǔn),在模板匹配中使用動態(tài)時間規(guī)整(DTW)算法可以有效地解決這個問題.設(shè)測試模板共有個特征矢量,參考模板尺有個特征矢量,將測試模板和參考模板的特征矢量號分別在坐標(biāo)系的橫軸和縱軸上標(biāo)出,則各個特征矢量號之間的關(guān)系可以形成一個網(wǎng)格,網(wǎng)格中的任何一個交叉點(diǎn)(/7,m)表示測試模板的T(n)和參考模板R(m)的相交,并且該交

14、叉點(diǎn)擁有失真度為DT(n),R(m),如圖2所示.flMR)ll,lRIl2【l,1)2nN圖2動態(tài)時間規(guī)整算法求最小失真動態(tài)時間規(guī)整算法是要尋找一條通過各個交叉點(diǎn)的從起始點(diǎn)到終止點(diǎn)的最佳路徑,使得該路徑上所有交叉點(diǎn)的失真度總和達(dá)到最小.上述搜索過程中路徑的選擇并不是任意的.首先.考慮到實(shí)際手勢的操作情況,雖然快慢會有所變換,但是各個部分先后次序不可能顛倒,因此上述路徑必然從左下角出發(fā).終止于右上角;其次,為了防止盲目的搜索,一般不容許有向橫軸或縱軸過分傾斜的路徑.而且一般對路徑中各點(diǎn)處路徑斜率的最大,最小值做出規(guī)定,通常規(guī)定最大斜率為2,最小斜率取為1/2.圖3所示的外邊框平行四邊形說明了D

15、TW算法的搜索范圍.(1,1圖3動態(tài)時間規(guī)整中的路徑搜索為了描述DTW路徑上網(wǎng)格點(diǎn)的關(guān)系,定義函數(shù)(n,m),表示路徑上當(dāng)前點(diǎn)(n,m)的前一網(wǎng)格點(diǎn).有等式關(guān)系(n,m):(n,m),其中(n,m)為當(dāng)前點(diǎn)的前一點(diǎn),且前一網(wǎng)格點(diǎn)(n,m)=(n.,m)必須滿足下列情況之一:(/2,m)=(/2一1,m)(n一1,m一1)=(rt.一1,n一1)(n,m)=(I-bi-1,m一2)定義路徑代價函數(shù)d(/'/,m),其意義為從起始點(diǎn)(/Z.,m.)出發(fā)到當(dāng)前點(diǎn)(n,m)的各點(diǎn)失真累計值,有如下遞推公式:d(12.,m)=DT(n),R(m)+d(/Z,m)=DT(n),R(m)+mind(

16、ni-1,m),d(/Zi-1,m一1),d(一1,m一2)d(/Z.,m)=d1,1=DT(1),R(1)其中,DT(n),R(m)為當(dāng)前點(diǎn)(n,m)對應(yīng)的T(n)和R(m)失真,d(n,m)為前一點(diǎn)(n,m)的路徑代價函數(shù).由上面的遞推公式,即可求得從起始點(diǎn)到終止點(diǎn)的最佳路徑.計算出長度不同的特征序列之間的最小失真度總和D,R=N,M.2.4識別圖4為各手勢加速度信息經(jīng)過信號預(yù)處理后的加速度幅值波形,其中橫軸為時問t/s,縱軸為加速度幅值M/g,圖中實(shí)線為加速度傳感器軸方向的x軸一Y軸時間s(e)畫叉(×)圖4各手勢加速度幅值波形第1期荊雷,馬文君,等:基于動態(tài)時間規(guī)整的手勢加速

17、度信號識別75幅值變化,虛線為加速度傳感器Y軸方向的幅值變化.圖4中手勢順序依次為:橫(一),豎(),畫圓(o),打鉤(,/),畫叉(×).由圖4可以看出,各個手勢執(zhí)行的時間長度是不同的.因此,為減少計算量和加快識別速度,在執(zhí)行動態(tài)時間規(guī)整時先判斷測試模板和參考模板之間時間序列是否相差過多,如相差時間在設(shè)定范圍之內(nèi)則進(jìn)行動態(tài)時間規(guī)整,計算失真的最小距離;反之則匹配失敗.通過動態(tài)時間規(guī)整(DTW)算法計算出測試模板與各個參考模板之間總的失真距離D,R的最小值,再在這些最小值中比較,取出最小的一個,與之對應(yīng)的參考模板即為識別結(jié)果.3實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)中選用了41名志愿者,共采集了2050組樣本

18、數(shù)據(jù).每個志愿者以自己的習(xí)慣正常速度執(zhí)行5個簡單手勢.并重復(fù)采集10次.建立模板時隨機(jī)選用了15個人的750組數(shù)據(jù).分別對五種手勢進(jìn)行建模.驗(yàn)證測試階段選用了其余26個人的1300組數(shù)據(jù)對所構(gòu)造的模型進(jìn)行測試.表1列出的是五種手勢的識別結(jié)果表1DTW算法的手勢識別結(jié)果由表1可得知,DTW識別算法在簡單手勢的識別中,該算法具有較高的識別率和準(zhǔn)確性.為了更好的說明DTW識別算法在識別率上比其他算法更具有優(yōu)勢.實(shí)驗(yàn)中同時也用HMM算法對這五種手勢進(jìn)行了識別,其識別結(jié)果如表2.表2HMM算法的手勢識別結(jié)果對比表1與表2可以看出,DTW識別算法識別五種手勢的識別率都遠(yuǎn)高于HMM識別算法,且DTW算法的平

19、均識別率97.078%遠(yuǎn)高于HMM識別算法的平均識別率78.616%.因此,DTW識別算法在識別率上比HMM算法更具優(yōu)勢.4總結(jié)本文使用動態(tài)時間規(guī)整算法識別手勢,實(shí)驗(yàn)結(jié)果表明,該識別算法具有較高的識別率.但本設(shè)計只在時域上對手勢加速度進(jìn)行了分析,沒有對頻域信息進(jìn)行提取和分析.而且,在基于模板匹配的手勢識別技術(shù)中.有多種因素會影響識別的正確率,比如手勢動作的多少,手勢模板的多少,執(zhí)行手勢的穩(wěn)定性(速度)等.此外,本文的結(jié)論均是離線計算得出,而手勢識別的實(shí)際應(yīng)用是一個在線的判斷過程.因此.還需要對算法和硬件系統(tǒng)做進(jìn)一步的改進(jìn).再有本設(shè)計只是識別了5種簡單的手勢,種類較少.因此還需對識別種類上做進(jìn)一

20、步研究,如識別阿拉伯?dāng)?shù)字,英文字母等.參考文獻(xiàn):1劉俊梅,阮秋琦.一種復(fù)雜背景下的手勢分割新方法J.北京電子科技學(xué)院,2006,14(2):2327.2任海兵,祝遠(yuǎn)新,徐光佑,等.基于視覺手勢識別的研究綜述J.電子,2000,28(2):118121.3孑L俊其,王輝,張廣泉.基于加速度識別的姿態(tài)交互研究J.蘇州大學(xué)(工科版),2009,29(2):2327.4HossainM,JenkinM.RecognizingHandRaikingGesturesUsingHMMc/ComputerandRobotVision,2005:405412.5WangXiying,DaiGuozhong.AVovelMethodtoRecognizeComplexDynamicGesturebyCombiningHMMandFNNmodelsc/ComputationalIntelligenceinImageandSignalProcessing,2007:1318.6AilistoK,LindholmM,MantyjarviJ,eta1.IdentifyingPeoplefromGaitPatternwithAccelerometersc/ProceedingofSPIE,BiometrieTechnologyforHumanidentifi