基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速度信號(hào)識(shí)別

1、基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速度信號(hào)識(shí)別第25卷第1期2012年1月傳感技術(shù)CHINESEJOURNALOFSENSORSANDACTUATORSV01.25N0.1Jan.2012GestureAccelerationSignalsRecognitionBasedonDynamicTimeWarpinga】1NGLei,MAWenjun.CHANGDanhua(InstituteofInformationScienceandTechnology,YanshanUniversity,QinhuangdaoHebei066004,China)Abstract:Adynamictimewarpinga

2、lgorithmofgesturerecognitionwasusedtoimprovetheperformanceofdynamicgesturerecognitionbasedonaccelerometer.Thesimilaritybetweentesttemplateandreferencetemplateiscalculatedbydynamictimewarpingmethod(DTW),andtheresultsofrecognitionaregotfromthesesimilarities.Toconfirmouralgorithm,awirelessgestureaccele

3、rationmeasurementsystemisproposedandmeasurementsgestureinformationon41volunteersiscollected.Theresultsshowthattheaveragegesturerateisabove97%.ComparedwiththealgorithmofhiddenMarkovmodel(HMM),theDTwalgorithmismorepreciseinrecognitionaccuracy.Keywords:gesturerecognition;accelerometer;DynamicTimeWarpin

4、g;HiddenMarkovModelEEACC:7230doi:10.3969/j.issn.10041699.2012.01.015基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速度信號(hào)識(shí)別米荊雷,馬文君,常丹華(燕山大學(xué)信息科學(xué)與工程學(xué)院,河北秦皇島066004)摘要:為了提高基于加速度傳感器的動(dòng)態(tài)手勢(shì)識(shí)別算法的性能,本文采用了動(dòng)態(tài)時(shí)間規(guī)整(DTW)識(shí)別算法.通過該算法計(jì)算測(cè)試模板和參考模板的相似度,從而得出識(shí)別結(jié)果.為了驗(yàn)證該方法,建立了一套手勢(shì)加速度無線采集系統(tǒng),并采集了41個(gè)志愿者的手勢(shì)信息.實(shí)驗(yàn)結(jié)果表明,該方法手勢(shì)平均識(shí)別率在97%以上.與HMM識(shí)別算法相比,DTW識(shí)別算法在識(shí)別的準(zhǔn)確率上比HMM識(shí)別

5、算法更具優(yōu)勢(shì).關(guān)鍵詞:手勢(shì)識(shí)別:加速度傳感器;動(dòng)態(tài)時(shí)間規(guī)整;隱馬爾科夫模型中圖分類號(hào):TP334.2文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):10041699(2012)01007205基于加速度傳感器的手勢(shì)識(shí)別是近年來人機(jī)交互領(lǐng)域中新興起的前沿研究方向之一.主流的研究手勢(shì)識(shí)別方法有兩種:一種是基于圖像的識(shí)別方法,另一種是基于運(yùn)動(dòng)傳感器(主要是加速度傳感器)的識(shí)別方法目前,國內(nèi)研究手勢(shì)識(shí)別的方法主要是基于圖像的手勢(shì)識(shí)別l_1,這種方法對(duì)設(shè)備要求高,資金投入大,并且限于在特定場(chǎng)所使用.近年來,隨著傳感器技術(shù)的發(fā)展及其制作工藝的改進(jìn),基于加速度傳感器的手勢(shì)識(shí)別正日益興起.加速度傳感器不僅具有尺寸小,精度高,功耗低等

6、優(yōu)點(diǎn),更具有不受運(yùn)動(dòng)場(chǎng)地和環(huán)境限制的優(yōu)點(diǎn).這就使得基于運(yùn)動(dòng)傳感器的手勢(shì)研究更為方便.因此,具有更為廣闊的應(yīng)用前景l(fā)jJ.在手勢(shì)識(shí)別系統(tǒng)中較為廣泛使用的是隱馬爾科項(xiàng)目來源:秦皇島市科技發(fā)展基金項(xiàng)目(201001A117)收稿日期:20110813修改日期:20110927夫模型(HMM.HiddenMarkovMode1)識(shí)別法_4J和模糊神經(jīng)網(wǎng)絡(luò)(FNN,FuzzyNeuralNetwork)等復(fù)雜算法,但這些算法對(duì)手勢(shì)識(shí)別精度不高.鑒于此,本設(shè)計(jì)采用了一種更簡單的手勢(shì)識(shí)別算法,即基于模板匹配思想的算法,采用動(dòng)態(tài)時(shí)間規(guī)整(DTW,DvnamieTimeWarping)算法來計(jì)算手勢(shì)之間的相似度

7、.根據(jù)相似度的大小來識(shí)別簡單手勢(shì).運(yùn)用上述識(shí)別算法,本設(shè)計(jì)在實(shí)現(xiàn)時(shí)識(shí)別了五種簡單的手勢(shì)動(dòng)作,分別為:橫(一),豎(),畫圓(o),打鉤(,/),畫叉(×).1實(shí)驗(yàn)裝置結(jié)構(gòu)本設(shè)計(jì)的硬件實(shí)驗(yàn)裝置主要有兩部分:數(shù)據(jù)采集模塊和數(shù)據(jù)接收模塊.數(shù)據(jù)采集模塊將加速度傳第1期荊雷,馬文君,等:基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速度信號(hào)識(shí)別73感器采集來的數(shù)據(jù)以無線的方式傳送給數(shù)據(jù)接收模塊:數(shù)據(jù)接收模塊將接收到的數(shù)據(jù)通過RS232串口傳送到計(jì)算機(jī)上進(jìn)行處理.圖1為硬件實(shí)驗(yàn)裝置的結(jié)構(gòu)圖.無線接模塊RS232CC1110F32串口一廣1/l一圖1買驗(yàn)裝置結(jié)構(gòu)圖本設(shè)計(jì)硬件采用由日本AiehiSteelCorporat

8、ion公司生產(chǎn)的AMI602D加速度傳感器,來獲取手勢(shì)執(zhí)行時(shí)產(chǎn)生的加速度信號(hào).加速度傳感器采樣頻率為100HZ,量程為±2g.其體積小(6.2mmx4.2mm1.2mm),集成度高(內(nèi)部還集成了地磁傳感器).實(shí)驗(yàn)裝置采用德州儀器(TI)公司生產(chǎn)的CC1110一F32無線收發(fā)芯片.來實(shí)現(xiàn)加速度信號(hào)的無線傳輸功能.該芯片內(nèi)集成了收發(fā)功能,并且具有低功耗,數(shù)據(jù)傳輸速度快(數(shù)據(jù)傳輸率500kbps)等優(yōu)點(diǎn).整個(gè)數(shù)據(jù)采集系統(tǒng)的功耗也是很低的,其工作時(shí)只需用一節(jié)3.7V的鋰電池來供電.和其他手勢(shì)數(shù)據(jù)采集系統(tǒng)I6相比.本文的硬件系統(tǒng)具有以下優(yōu)點(diǎn):對(duì)手勢(shì)加速度信號(hào)進(jìn)行無線實(shí)時(shí)傳輸,減少測(cè)量過程中對(duì)使

9、用者的束縛,提高了測(cè)量準(zhǔn)確性:采用了具有數(shù)字接口的加速度傳感器,其內(nèi)部自帶模數(shù)轉(zhuǎn)換功能,省去了A/D轉(zhuǎn)換,提高了系統(tǒng)的可靠性.加速度傳感器的準(zhǔn)確與否直接影響到系統(tǒng)的性能,而環(huán)境溫度又是影響加速度傳感器準(zhǔn)確度的重要因素8,AMI602D加速度傳感具有自動(dòng)的溫度補(bǔ)償功能.所以,該硬件系統(tǒng)具有較高的準(zhǔn)確性.與圖像方法所需的攝像裝置相比,該裝置成本低,體積小,便于攜帶,不需限定測(cè)試環(huán)境,不影響人的正?；顒?dòng)l92識(shí)別算法實(shí)現(xiàn)2.1信號(hào)預(yù)處理加速度傳感器本身具有測(cè)量誤差但其靈敏度和精度遠(yuǎn)遠(yuǎn)高于應(yīng)用的需求.而且外界干擾對(duì)其影響也不是非常嚴(yán)重,因此無需進(jìn)行自相關(guān)等復(fù)雜運(yùn)算_1.本實(shí)驗(yàn)裝置采用的是數(shù)字接口的加速

10、度傳感器,在原則上是不需要濾波的.但是為了得到較好的實(shí)驗(yàn)結(jié)果,在實(shí)驗(yàn)時(shí)本文將實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了簡單濾波.以下是對(duì)信號(hào)的預(yù)處理:由于執(zhí)行的手勢(shì)動(dòng)作只需在平面內(nèi)即可實(shí)現(xiàn),所以在識(shí)別時(shí)舍去與書寫平面垂直軸的數(shù)據(jù),只對(duì)平面內(nèi)兩個(gè)軸的數(shù)據(jù)進(jìn)行識(shí)別,從而減少計(jì)算的復(fù)雜度.使用一個(gè)三階的巴特渥茲低通濾波器對(duì)加速度信號(hào)進(jìn)行濾波,從而去除在手勢(shì)測(cè)量過程中加速度傳感器受到身體晃動(dòng)所造成的小幅度高頻干擾.除去測(cè)量開始和結(jié)束時(shí)的靜止?fàn)顟B(tài)信號(hào),僅保留動(dòng)態(tài)的手勢(shì)信號(hào).2.2特征提取本設(shè)計(jì)實(shí)驗(yàn)裝置采用的是AMI602D三軸加速度傳感器,但識(shí)別的動(dòng)作圖形均為平面圖形,為了減少計(jì)算量和降低計(jì)算復(fù)雜度.因此在特征提取時(shí)只提取軸和l,

11、軸的數(shù)據(jù),舍去Z軸的數(shù)據(jù).本設(shè)計(jì)對(duì)一個(gè)動(dòng)態(tài)手勢(shì)提取特征,是獲取其軸和l,軸的所有特征點(diǎn)的原始時(shí)間序列t,t,t和加速度幅值序列,.由于手勢(shì)執(zhí)行時(shí)間長度不等,因此在進(jìn)行模板匹配時(shí),本文使用動(dòng)態(tài)時(shí)間規(guī)整算法,來計(jì)算測(cè)試模板和參考模板的相似性.2.3動(dòng)態(tài)時(shí)間規(guī)整算法2.3.1模板匹配基本原理模板匹配法是模式識(shí)別中最常用的一種相似度計(jì)算與匹配的方法,在其他識(shí)別領(lǐng)域運(yùn)用較為常見.但是在動(dòng)態(tài)手勢(shì)識(shí)別中模板匹配法運(yùn)用較少.如果考慮把具有不同加速度序列的手勢(shì)經(jīng)過某種轉(zhuǎn)換以后作為不同的模板,則可以構(gòu)建一個(gè)基于模板匹配的簡單的手勢(shì)識(shí)別系統(tǒng),為了簡單和便于處理,本文采用計(jì)算歐氏距離(歐基里德距離)來進(jìn)行相似度量.參

12、考模板表示為:R=r,r:,r,其中為參考模板所包含的特征值的總數(shù),m為特征值的時(shí)序標(biāo)號(hào),r為第m個(gè)特征值.測(cè)試模板表示為:=t.,t:,t,t,其中為測(cè)試模板中特征值總數(shù),n為時(shí)序標(biāo)號(hào),t為第凡個(gè)的特征值.下面的公式給出了利用歐氏距離度量的失真度計(jì)算方法:DT(n),(m)=(tn-r)計(jì)算總體失真D,R時(shí),需要考慮到模式特征值的總數(shù)是否相等的情況:(1)=M,這時(shí)可以依次計(jì)算n=m=1,n=m:N的失真并取和.即可求得總失真mD,R=(一rm);n,n=l(2),這時(shí)需要將其中較小模式的用某種擴(kuò)張的方法映射到較大模式序列上,然后再分別計(jì)算新的各對(duì)應(yīng)特征值之間的失真.從而求得總失真D,尺.7

13、4傳感技術(shù)WWW第25卷2.3.2動(dòng)態(tài)時(shí)間規(guī)整由于個(gè)體的差異性,在手勢(shì)識(shí)別的過程中,用戶進(jìn)行訓(xùn)練或者識(shí)別時(shí),即使每次盡量以同樣的方式執(zhí)行同一個(gè)手勢(shì),其持續(xù)時(shí)間的長度也會(huì)隨機(jī)改變因此,如果直接用特征矢量序列來進(jìn)行相似性比較,其效果不可能是最佳的.需要對(duì)特征參數(shù)序列模式重新進(jìn)行時(shí)間的對(duì)準(zhǔn),在模板匹配中使用動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法可以有效地解決這個(gè)問題.設(shè)測(cè)試模板共有個(gè)特征矢量,參考模板尺有個(gè)特征矢量,將測(cè)試模板和參考模板的特征矢量號(hào)分別在坐標(biāo)系的橫軸和縱軸上標(biāo)出,則各個(gè)特征矢量號(hào)之間的關(guān)系可以形成一個(gè)網(wǎng)格,網(wǎng)格中的任何一個(gè)交叉點(diǎn)(/7,m)表示測(cè)試模板的T(n)和參考模板R(m)的相交,并且該交

14、叉點(diǎn)擁有失真度為DT(n),R(m),如圖2所示.flMR)ll,lRIl2【l,1)2nN圖2動(dòng)態(tài)時(shí)間規(guī)整算法求最小失真動(dòng)態(tài)時(shí)間規(guī)整算法是要尋找一條通過各個(gè)交叉點(diǎn)的從起始點(diǎn)到終止點(diǎn)的最佳路徑,使得該路徑上所有交叉點(diǎn)的失真度總和達(dá)到最小.上述搜索過程中路徑的選擇并不是任意的.首先.考慮到實(shí)際手勢(shì)的操作情況,雖然快慢會(huì)有所變換,但是各個(gè)部分先后次序不可能顛倒,因此上述路徑必然從左下角出發(fā).終止于右上角;其次,為了防止盲目的搜索,一般不容許有向橫軸或縱軸過分傾斜的路徑.而且一般對(duì)路徑中各點(diǎn)處路徑斜率的最大,最小值做出規(guī)定,通常規(guī)定最大斜率為2,最小斜率取為1/2.圖3所示的外邊框平行四邊形說明了D

15、TW算法的搜索范圍.(1,1圖3動(dòng)態(tài)時(shí)間規(guī)整中的路徑搜索為了描述DTW路徑上網(wǎng)格點(diǎn)的關(guān)系,定義函數(shù)(n,m),表示路徑上當(dāng)前點(diǎn)(n,m)的前一網(wǎng)格點(diǎn).有等式關(guān)系(n,m):(n,m),其中(n,m)為當(dāng)前點(diǎn)的前一點(diǎn),且前一網(wǎng)格點(diǎn)(n,m)=(n.,m)必須滿足下列情況之一:(/2,m)=(/2一1,m)(n一1,m一1)=(rt.一1,n一1)(n,m)=(I-bi-1,m一2)定義路徑代價(jià)函數(shù)d(/'/,m),其意義為從起始點(diǎn)(/Z.,m.)出發(fā)到當(dāng)前點(diǎn)(n,m)的各點(diǎn)失真累計(jì)值,有如下遞推公式:d(12.,m)=DT(n),R(m)+d(/Z,m)=DT(n),R(m)+mind(

16、ni-1,m),d(/Zi-1,m一1),d(一1,m一2)d(/Z.,m)=d1,1=DT(1),R(1)其中,DT(n),R(m)為當(dāng)前點(diǎn)(n,m)對(duì)應(yīng)的T(n)和R(m)失真,d(n,m)為前一點(diǎn)(n,m)的路徑代價(jià)函數(shù).由上面的遞推公式,即可求得從起始點(diǎn)到終止點(diǎn)的最佳路徑.計(jì)算出長度不同的特征序列之間的最小失真度總和D,R=N,M.2.4識(shí)別圖4為各手勢(shì)加速度信息經(jīng)過信號(hào)預(yù)處理后的加速度幅值波形,其中橫軸為時(shí)問t/s,縱軸為加速度幅值M/g,圖中實(shí)線為加速度傳感器軸方向的x軸一Y軸時(shí)間s(e)畫叉(×)圖4各手勢(shì)加速度幅值波形第1期荊雷,馬文君,等:基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速

17、度信號(hào)識(shí)別75幅值變化,虛線為加速度傳感器Y軸方向的幅值變化.圖4中手勢(shì)順序依次為:橫(一),豎(),畫圓(o),打鉤(,/),畫叉(×).由圖4可以看出,各個(gè)手勢(shì)執(zhí)行的時(shí)間長度是不同的.因此,為減少計(jì)算量和加快識(shí)別速度,在執(zhí)行動(dòng)態(tài)時(shí)間規(guī)整時(shí)先判斷測(cè)試模板和參考模板之間時(shí)間序列是否相差過多,如相差時(shí)間在設(shè)定范圍之內(nèi)則進(jìn)行動(dòng)態(tài)時(shí)間規(guī)整,計(jì)算失真的最小距離;反之則匹配失敗.通過動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法計(jì)算出測(cè)試模板與各個(gè)參考模板之間總的失真距離D,R的最小值,再在這些最小值中比較,取出最小的一個(gè),與之對(duì)應(yīng)的參考模板即為識(shí)別結(jié)果.3實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)中選用了41名志愿者,共采集了2050組樣本

18、數(shù)據(jù).每個(gè)志愿者以自己的習(xí)慣正常速度執(zhí)行5個(gè)簡單手勢(shì).并重復(fù)采集10次.建立模板時(shí)隨機(jī)選用了15個(gè)人的750組數(shù)據(jù).分別對(duì)五種手勢(shì)進(jìn)行建模.驗(yàn)證測(cè)試階段選用了其余26個(gè)人的1300組數(shù)據(jù)對(duì)所構(gòu)造的模型進(jìn)行測(cè)試.表1列出的是五種手勢(shì)的識(shí)別結(jié)果表1DTW算法的手勢(shì)識(shí)別結(jié)果由表1可得知,DTW識(shí)別算法在簡單手勢(shì)的識(shí)別中,該算法具有較高的識(shí)別率和準(zhǔn)確性.為了更好的說明DTW識(shí)別算法在識(shí)別率上比其他算法更具有優(yōu)勢(shì).實(shí)驗(yàn)中同時(shí)也用HMM算法對(duì)這五種手勢(shì)進(jìn)行了識(shí)別,其識(shí)別結(jié)果如表2.表2HMM算法的手勢(shì)識(shí)別結(jié)果對(duì)比表1與表2可以看出,DTW識(shí)別算法識(shí)別五種手勢(shì)的識(shí)別率都遠(yuǎn)高于HMM識(shí)別算法,且DTW算法的平

19、均識(shí)別率97.078%遠(yuǎn)高于HMM識(shí)別算法的平均識(shí)別率78.616%.因此,DTW識(shí)別算法在識(shí)別率上比HMM算法更具優(yōu)勢(shì).4總結(jié)本文使用動(dòng)態(tài)時(shí)間規(guī)整算法識(shí)別手勢(shì),實(shí)驗(yàn)結(jié)果表明,該識(shí)別算法具有較高的識(shí)別率.但本設(shè)計(jì)只在時(shí)域上對(duì)手勢(shì)加速度進(jìn)行了分析,沒有對(duì)頻域信息進(jìn)行提取和分析.而且,在基于模板匹配的手勢(shì)識(shí)別技術(shù)中.有多種因素會(huì)影響識(shí)別的正確率,比如手勢(shì)動(dòng)作的多少,手勢(shì)模板的多少,執(zhí)行手勢(shì)的穩(wěn)定性(速度)等.此外,本文的結(jié)論均是離線計(jì)算得出,而手勢(shì)識(shí)別的實(shí)際應(yīng)用是一個(gè)在線的判斷過程.因此.還需要對(duì)算法和硬件系統(tǒng)做進(jìn)一步的改進(jìn).再有本設(shè)計(jì)只是識(shí)別了5種簡單的手勢(shì),種類較少.因此還需對(duì)識(shí)別種類上做進(jìn)一

20、步研究,如識(shí)別阿拉伯?dāng)?shù)字,英文字母等.參考文獻(xiàn):1劉俊梅,阮秋琦.一種復(fù)雜背景下的手勢(shì)分割新方法J.北京電子科技學(xué)院,2006,14(2):2327.2任海兵,祝遠(yuǎn)新,徐光佑,等.基于視覺手勢(shì)識(shí)別的研究綜述J.電子,2000,28(2):118121.3孑L俊其,王輝,張廣泉.基于加速度識(shí)別的姿態(tài)交互研究J.蘇州大學(xué)(工科版),2009,29(2):2327.4HossainM,JenkinM.RecognizingHandRaikingGesturesUsingHMMc/ComputerandRobotVision,2005:405412.5WangXiying,DaiGuozhong.AVovelMethodtoRecognizeComplexDynamicGesturebyCombiningHMMandFNNmodelsc/ComputationalIntelligenceinImageandSignalProcessing,2007:1318.6AilistoK,LindholmM,MantyjarviJ,eta1.IdentifyingPeoplefromGaitPatternwithAccelerometersc/ProceedingofSPIE,BiometrieTechnologyforHumanidentifi