網(wǎng)絡(luò)化手勢運動跟蹤系統(tǒng)設(shè)計

1、網(wǎng)絡(luò)化手勢運動跟蹤系統(tǒng)設(shè)計摘要：設(shè)計了一種基于微機電慣性傳感器的數(shù)據(jù)手套。根據(jù)慣性導航和剛體 動力學原理，構(gòu)建了基于微型傳感器的體感網(wǎng)絡(luò)，并通過多傳感器數(shù) 據(jù)的融合解算以獲取運動姿態(tài)信息，實現(xiàn)對手指各關(guān)節(jié)運動數(shù)據(jù)的捕 獲。結(jié)合計算機圖形技術(shù)構(gòu)建三維虛擬手捕獲系統(tǒng)進行性能對比評估， 實驗結(jié)果表明：所設(shè)計的系統(tǒng)具有良好的穩(wěn)定性和適應(yīng)性，能夠?qū)κ?運動信息進行實時有效地捕獲。關(guān)鍵詞：運動捕獲 ; 慣性導航 ; 剛體動力學 ; 慣性傳感器手勢作為日常生活中人們廣泛使用的一種自然而直觀、易于學習和高 效的交流方式，有很強的表意能力，伴隨虛擬現(xiàn)實技術(shù)的發(fā)展，虛擬 手成為了一種新的人機接口應(yīng)用，利用高效的數(shù)

2、據(jù)手套可以有效地捕 獲手勢動作參數(shù)，實時獲取手部動作的信息，可在人機交互過程中完 成操作和交流等功能，有效地拓寬了人機交互通道，在體育、醫(yī)學、 軍事等方面有著廣闊的應(yīng)用前景 1。手勢動作測量系統(tǒng)在工程和科 學技術(shù)領(lǐng)域常用的檢測系統(tǒng)主要有光學式 2，3和機械式 4兩大 類。光學式對背景、光線等外部環(huán)境依賴性強 ; 機械式設(shè)計結(jié)構(gòu)復(fù)雜， 成本昂貴，且使用存在不便。MEM慣性傳感器可實現(xiàn)對運動信息的檢 測，為手勢動作信息的捕獲帶來了新的基礎(chǔ)工具和應(yīng)用環(huán)境5 7,具有結(jié)構(gòu)設(shè)計簡單，價格低廉，安裝和使用便捷等優(yōu)點，且不受光線 影響。本文針對現(xiàn)有技術(shù)中存在的不足,提出了一種基于慣性傳感器 的數(shù)據(jù)手套實現(xiàn)方

3、案,利用安裝在手套內(nèi)部的微慣性傳感器來組成傳 感器網(wǎng)絡(luò),根據(jù)慣性導航和剛體動力學原理 8對各節(jié)點采集的數(shù)據(jù) 進行姿態(tài)融合計算,并通過計算機圖形技術(shù)構(gòu)建虛擬手模型,將解算 的結(jié)果映射到模型中對應(yīng)的關(guān)節(jié)處,完成數(shù)據(jù)驅(qū)動,以便實時捕捉和 還原手勢的動作信息。1 數(shù)據(jù)手套系統(tǒng)結(jié)構(gòu)數(shù)據(jù)手套可實時有效地捕獲手勢的動作，并以姿態(tài)信息對其各關(guān)節(jié)進 行表示，主要由安裝在手套內(nèi)部的多個微慣性傳感器和嵌入式中央處 理器構(gòu)成。這些慣性傳感器合理地布局于手套相關(guān)的運動部位，通過 數(shù)據(jù)計算可以得出對應(yīng)手關(guān)節(jié)的姿態(tài)信息，并結(jié)合計算機虛擬手模型 精確地還原使用者手勢的運動情況。1 1 數(shù)據(jù)手套模型與映射人手是一個多關(guān)節(jié)相連結(jié)

4、構(gòu)，由4 個手指、1 個大拇指和手掌構(gòu)成，因此，手勢的動作變化可以通過各指段和關(guān)節(jié) 的空間姿態(tài)信息來描述。參照人手生物學模型的通用標準，定義了如 圖1所示虛擬手模型，其中，MP為手指的基部，除去拇指外，PIP和 DIP分別為手指的中間關(guān)節(jié)處和末端關(guān)節(jié)處，大拇指則單獨設(shè)置中間關(guān) 節(jié)為TP,并以手掌為基點，鏈接5個手指，每個手指以各子關(guān)節(jié)點線 性分布鏈接(MiPIP-DIP)，從而組成以手掌為基點，各手指為分支 的一個樹形數(shù)據(jù)結(jié)構(gòu)，其樹中的各節(jié)點匹配對應(yīng)的關(guān)節(jié)，且相互間具 有運動關(guān)聯(lián)特性。將手部關(guān)節(jié)骨骼之間的運動特性看成是剛體和相應(yīng) 指段組合而成的關(guān)聯(lián)樹型結(jié)構(gòu)，將慣性傳感器安裝在手套內(nèi)部對應(yīng)的 手

5、關(guān)節(jié)部位，并使各關(guān)節(jié)點的姿態(tài)解算信息與手模型樹形結(jié)構(gòu)中的節(jié) 點進行綁定，將真實手和虛擬手之間的驅(qū)動關(guān)系進行數(shù)據(jù)映射。1 2硬件設(shè)計手勢的運動信息主要由手關(guān)節(jié)在空間中的姿態(tài)、位置的 變化來體現(xiàn)，而空間姿態(tài)和位置主要通過運動中的姿態(tài)角來闡述，姿 態(tài)角最終能夠通過加速度、角速度和地磁儀數(shù)據(jù)融合計算得到?；?以上關(guān)系，本系統(tǒng)主要通過檢測手勢運動過程中特征部位的加速度、 角速度、磁力信息及姿態(tài)角來對手勢的運動姿態(tài)進行估算。MPU915是一種集成了加速度傳感器、陀螺儀傳感器和磁力傳感器的九軸MEM傳感器芯片，具有體積小、重量輕和可靠性好等特點，且可以通過內(nèi)置 的DMP數(shù)字處理引擎減少復(fù)雜的融合演算數(shù)據(jù)、

6、感測器同步化和姿勢 感應(yīng)等帶來的負荷，能夠較為準確地詮釋運動過程中的加速度、角速 度和磁力信息的變化。同時，姿態(tài)采集系統(tǒng)需要選擇合適的運算處理 核心。Nordic推出的nRF51822不僅擁有BLE4 0低功耗藍牙模塊，而且集成了 32位高速運算處理內(nèi)核Cortex M0具備標準通信接口和 低功耗等特點。數(shù)據(jù)手套姿態(tài)采集系統(tǒng)由 1 個處理控制單元和多個傳 感器組成，以MPU915為信息的采集節(jié)點，nR F51822為數(shù)據(jù)處理和收 發(fā)單元，人手主要關(guān)節(jié)的運動信息通過 MPU915傳感器進行測量，經(jīng) 過數(shù)據(jù)預(yù)處理和多傳感數(shù)據(jù)融合計算后傳遞給計算機中的虛擬手軟件 捕捉系統(tǒng)，以使其準確地還原操作者的手

7、勢運動。系統(tǒng)框圖如圖 2所 示。1. 3數(shù)據(jù)手套信號流程在系統(tǒng)運行過程中，利用MPU915傳感模塊采集各手關(guān)節(jié)運動過程中的加速度、角速度和磁場信息，通過 I2C 接口與NR F51822模塊進行通信，信號經(jīng)過數(shù)據(jù)濾波和姿態(tài)的融合解 算處理后，借助NR F51822內(nèi)部集成的低功耗藍牙4. 0通信模塊傳遞 給遠程PC虛擬手模型測試環(huán)境中，以實時還原出手勢運動信息的直觀 顯示。信號流程如圖 3。2 手勢姿態(tài)解算在手姿態(tài)信息的計算過程中，用四元數(shù)對姿態(tài)角進行表示，其計算時 間短，精度高，表示簡便，且可對方向余弦矩陣和歐拉角等常規(guī)姿態(tài) 角表示方法進行相互轉(zhuǎn)換。2 . 1手姿態(tài)的解算策略陀螺儀傳感器分別

8、測量載體沿 X, 丫和Z坐標 系方向的角速度，具有良好的動態(tài)響應(yīng)性能，通過采集該角速度信息， 并結(jié)合采樣時間進行積分，算出傳感器的姿態(tài)，并用四元數(shù)進行表示。 考慮到聯(lián)合計算的時間和結(jié)果精確性，采用 FQA四元數(shù)分解算法9 對多傳感器數(shù)據(jù)進行融合計算，該方法可以很好地濾除外界磁場干擾 對解算結(jié)果的影響，并且在解算過程中簡化了三角函數(shù)值的直接計算， 有效提升了計算的速度和系統(tǒng)響應(yīng)性。FQA算法對應(yīng)用環(huán)境的要求為載 體無線性加速度和外界磁場干擾，因此，在進行傳感器數(shù)據(jù)融合時加 入如下約束：約束 1：加速度和磁力傳感器的數(shù)據(jù)超過預(yù)設(shè)定的閾值時， 即載體加速度或外界磁干擾大時，將不進入姿態(tài)信息融合解算，

9、以陀 螺儀數(shù)據(jù)解算為準。約束 2：在相反情況下，將 3 只傳感器的數(shù)據(jù)進行 協(xié)同融合，更準確地描述姿態(tài)信息。2 2 傳感器的校準 1) 陀螺儀的校準：在對手勢運動數(shù)據(jù)采集中陀螺 儀的校準主要是去除傳感器的零偏，以降低因陀螺儀漂移而產(chǎn)生的隨 機干擾，即檢測值減去靜止時所求偏移量即可，其偏移量的求法如下： 首先將MPU915傳感器水平靜止放置，將模塊反面水平朝下，此時只 有+Z軸方向受重力的影響，并記錄一定采樣時間內(nèi)X, Y, Z軸的輸出,并通過均值運算得到每軸角速度的偏移。 2)磁力計的校準：當使用環(huán) 境中存在著干擾磁場時,磁力計所檢測到的磁場數(shù)據(jù)為外界干擾磁場 數(shù)據(jù)和地磁場數(shù)據(jù)之和,本系統(tǒng)中通

10、過計算大量采樣數(shù)據(jù)中的磁場強 度求得偏移,并以此對檢測數(shù)據(jù)進行校準。 3) 加速度計預(yù)處理：在加 速度信號處理中,選擇限幅濾波和滑動加權(quán)平均濾波的方法進行數(shù)據(jù) 預(yù)處理,以降低因抖動而引起的干擾,同時剔除外界可能突發(fā)的脈沖 干擾。2 3 傳感器信號漂移補償在傳感器靜止時,陀螺儀輸出角度信息包括 了常值漂移誤差和白噪聲干擾等,因積分時間不能無限小,單一依靠 陀螺儀傳感器計算姿態(tài)信息會造成計算結(jié)果隨時間出現(xiàn)線性漂移和誤 差較大等情況,如圖 4 所示。因此,結(jié)合加速度傳感器和磁力傳感器 來對姿態(tài)信息進行修正和聯(lián)合解算,有效地對漂移進行補償,避免了 因單一角速度數(shù)據(jù)隨時間積分帶來的誤差累積。在系統(tǒng)中加速

11、度傳感 器測量載體沿空間坐標系的加速度,主要感知載體水平方向的傾斜, 用于修正陀螺儀所計算載體在俯仰(pitch)和滾動(roll)方向的偏移， 磁力傳感器測量載體所處環(huán)境的三維地磁強度,用于提供對載體航向角(yaw)的初始對準和修正所計算航向角的線性漂移，如圖5所示。3 實驗驗證3 1 單關(guān)節(jié)捕捉精度評估將兩段剛體支架通過微型電機進行連接,控 制電機轉(zhuǎn)動模擬手指單關(guān)節(jié)運動,為了對整個系統(tǒng)的性能進行評估, 實驗分為靜態(tài)測試和動態(tài)測試。 1)靜態(tài)測試：將傳感器固定在一支架 上,控制其繞另一支架停放不同的角度,通過對解算的姿態(tài)信息和真 實轉(zhuǎn)動的角度進行靜態(tài)定姿對比,以評估定姿解算精度性能,如表 1

12、 所示。 2)動態(tài)測試：通過變換傳感器的安置方向和控制電機的運轉(zhuǎn)速 度，達到通過控制支架轉(zhuǎn)動模擬關(guān)節(jié)運動的全姿態(tài)信息，觀察對比控 制轉(zhuǎn)速結(jié)果和傳感器的解算結(jié)果，圖 6 為對比結(jié)果。3 . 2系統(tǒng)評估為了對整個系統(tǒng)進行性能捕捉評估，本文在 VS2012開發(fā)環(huán)境下，結(jié)合3DSMA軟件和OpenGL圖形庫技術(shù)，構(gòu)建了三維虛擬 手模型運動捕捉顯示窗口，對真實手部運動過程進行實時還原，該窗 口通過接收傳感器解算的姿態(tài)信息對模型進行數(shù)據(jù)驅(qū)動，刷新頻率為 50Hz,能較準確地對真實手運動進行跟蹤和捕捉，以中指運動和手部 握拳為參考姿態(tài)，進行測試，捕捉效果如圖7、圖 8 所示。4 結(jié)束語參考文獻：1陳浩磊,鄒

13、湘軍,陳燕虛擬現(xiàn)實技術(shù)的最新發(fā)展與展望:J.中國科技論文，2011(1) : 1 5. 2劉曉平,張靜,曹力,等基于計算機視覺的虛擬手的實現(xiàn) J 工程圖學學報, 2007(4) ： 30 35:3劉澤華.基于MEM傳感器群的人體運動捕獲J .傳感器與 微系統(tǒng), 2012, 31(9)： 18214 相瑞排,石廣田,李帥機械式運動捕捉系統(tǒng)應(yīng)用中的若干問 題研究 J 蘭州交通大學學報, 2013(4)： 44 475 ManniniA,SabtiniAM Machinelearningmethodsforclassifyinghumanphysicala ctivityfromon-bodyacc

14、elerometers J Sen-sors , 2010, 10(2) ： 1154 1175:6李國峰，王錦，張勇，等.基于 MEMS 口速度傳感器的智能輸入 系統(tǒng)J.傳感技術(shù)學報，2009, 22(5) : 643 646.7 SchlomerT, PoppingaB, HenzeN, etal GesturerecognitionwithawiicontrollerC Proceedingsofthe2ndlnternationalConfe-renceonTangibleandEmbeddedInteraction ，NewYork：ACM，2008：11 148 張榮輝，賈宏光，陳濤，等基于四元數(shù)法的捷聯(lián)式慣性導航 系統(tǒng)的姿態(tài)解算J.光學精密工程，2008, 16(10) : 1963 1970.9 Yu