基于三維深度信息的人體動(dòng)作運(yùn)動(dòng)軌跡識(shí)別V1.0

基于三維深度信息的人肢體動(dòng)作運(yùn)動(dòng)軌跡識(shí)別1 引言隨著機(jī)器人技術(shù)的迅猛發(fā)展，機(jī)器人視覺跟蹤技術(shù)和自然人機(jī)交互技術(shù)也開始成為了機(jī)器人技術(shù)研究領(lǐng)域的重要研究方向。而人的肢體動(dòng)作是一種自然且直觀的人際交流模式，人的肢體動(dòng)作運(yùn)動(dòng)軌跡的識(shí)別也理所當(dāng)然地成為了實(shí)現(xiàn)新一代自然的人機(jī)交互界面中的不可缺少的一項(xiàng)關(guān)鍵技術(shù)，特別是針對(duì)一些殘障人士，只需要通過人的肢體動(dòng)作就能給輪椅和殘障輔助設(shè)備下達(dá)指令，更顯的尤為便利。之前針對(duì)人肢體動(dòng)作運(yùn)動(dòng)軌跡識(shí)別的人機(jī)交互研究主要側(cè)重于人體皮膚顏色建模，連續(xù)動(dòng)態(tài)動(dòng)作的基于圖像屬性的魯棒性特征的提取，然而由于人肢體動(dòng)作本身具有的多樣性、多義性、以及時(shí)間和空間上的差異性等特點(diǎn)，因此傳統(tǒng)的動(dòng)作運(yùn)動(dòng)軌跡識(shí)別研究都有很大的局限性。本文就嘗試將人體的三維深度信息引入到人的肢體運(yùn)動(dòng)軌跡的識(shí)別上面來，開創(chuàng)性的將傳統(tǒng)方法拓展到三維空間，這樣將減小環(huán)境光照、衣物遮擋和人體膚色與背景色的影響，使得計(jì)算機(jī)對(duì)人的肢體運(yùn)動(dòng)軌跡的識(shí)別更準(zhǔn)確和更好的魯棒性。2 問題描述人的肢體運(yùn)動(dòng)軌跡識(shí)別問題，即是將傳感器實(shí)時(shí)捕獲的人的肢體真實(shí)運(yùn)動(dòng)軌跡與預(yù)先定義好的樣本軌跡相匹配的問題。傳統(tǒng)方法是應(yīng)用隱馬爾科夫模型來進(jìn)行真實(shí)運(yùn)動(dòng)軌跡與模板運(yùn)動(dòng)軌跡的匹配。圖1.人的肢體動(dòng)作二維圖像基于二維圖像的隱馬爾科夫模型，如圖1所示，通過隱馬爾科夫模型進(jìn)行樣本軌跡的匹配，過程如圖2所示。但是基于二維的識(shí)別有如下的幾個(gè)難點(diǎn)：(1)光照：當(dāng)光照發(fā)生變化時(shí)，人體的亮度信息會(huì)發(fā)生變化，傳感器捕獲的圖像容易受到自然光和人工燈光的影響。(2)遮擋：由于在識(shí)別過程中，肢體運(yùn)動(dòng)軌跡可能會(huì)被靜止的背景區(qū)域或者是眼鏡、帽子等物體所遮擋，遮擋會(huì)產(chǎn)生識(shí)別信息的丟失，給識(shí)別的可靠性帶來了很大的影響。(3)背景：在實(shí)際識(shí)別過程中，如果人體運(yùn)動(dòng)區(qū)域與背景區(qū)域的顏色、紋理或者形狀相似，也會(huì)增大識(shí)別的難度。圖2.基于二維圖像的隱馬爾科夫模型基于三維深度信息的隱馬爾科夫模型，因?yàn)橐肓巳S深度信息，雖然可以有效地去除背景光源照度的影響，和不同目標(biāo)人員膚色基準(zhǔn)值的影響，識(shí)別過程不被光照、遮擋和背景等環(huán)境因素所影響，但是計(jì)算量大，訓(xùn)練效率低下，容易陷入局部最優(yōu)值等問題，一直制約其在實(shí)時(shí)監(jiān)控領(lǐng)域的應(yīng)用。為了解決這些問題，這里我們將動(dòng)作歷史圖像（MHI, Motion History Images）和人的肢體三維深度信息相結(jié)合，得到描述人的肢體動(dòng)作的能量圖像MEI，如圖3所示，計(jì)算運(yùn)動(dòng)歷史圖像MHI的七個(gè)不變矩作為肢體動(dòng)作特征向量，最后建立起肢體動(dòng)作模板集合，也就是計(jì)算出這些肢體動(dòng)作特征向量集的均值向量和協(xié)方差矩陣，識(shí)別階段，通過Mahalanobis距離來衡量新輸入的肢體動(dòng)作與已知的肢體動(dòng)作模板之間的相似性，只要計(jì)算出的Mahalanobis距離在規(guī)定的閾值范圍之內(nèi)都可以認(rèn)為動(dòng)作識(shí)別成功。這樣既排除了光照、遮擋和背景等環(huán)境因素的影響，又很大程度上提高了識(shí)別過程的實(shí)時(shí)性和準(zhǔn)確性。圖3.基于三維深度信息的運(yùn)動(dòng)能量圖像3 問題求解3.1 肢體動(dòng)作的三維運(yùn)動(dòng)歷史圖像表征本文應(yīng)用將傳統(tǒng)的基于二維圖像的動(dòng)作歷史圖像進(jìn)行改進(jìn)，使之與三維深度信息相結(jié)合，達(dá)到共同表征三維肢體動(dòng)作信息的目的。運(yùn)動(dòng)歷史圖像作為時(shí)間差分法的一個(gè)分支，時(shí)間差分法是將連續(xù)的圖像序列中比較兩個(gè)或者三個(gè)相鄰幀對(duì)應(yīng)像素點(diǎn)發(fā)生的相對(duì)變化，得到差分圖像進(jìn)而閾值化來提取圖像中的運(yùn)動(dòng)區(qū)域。本文引入三維深度信息，所以采用改進(jìn)后的差分方法如下：Dx,y,z,n=Ix,y,z,n-1-2Ix,y,z,n+I(x,y,z,n+1)其中：Ix,y,z,n表示第n幀圖像中三維空間位置x,y,z處的像素灰度值，Dx,y,z,n是連續(xù)3幀差分后的結(jié)果，代表了人體肢體動(dòng)作發(fā)生變化的區(qū)域，將Dx,y,z,n閾值化如下：Bx,y,z,n=1 Dx,y,z,n0 otherwise其中是選擇的閾值，值過低則不能有效抑制圖像中的噪聲，值過高則會(huì)抑制圖像中有用的變化。肢體運(yùn)動(dòng)的三維運(yùn)動(dòng)歷史圖像MHI的產(chǎn)生如下：Hx,y,z,t= Bx,y,z,t=1max(0,Hx,y,z,t-1-1) otherwise運(yùn)動(dòng)歷史圖像MHI不僅反映了肢體動(dòng)作的外在形狀，也反映了肢體動(dòng)作發(fā)生的方向和狀態(tài)，在運(yùn)動(dòng)歷史圖像MHI中，每個(gè)像素的灰度值都與該位置肢體動(dòng)作的持續(xù)運(yùn)動(dòng)時(shí)間成比例，最近發(fā)生的肢體動(dòng)作姿態(tài)的灰度值最大，灰度值的變化體現(xiàn)了肢體動(dòng)作運(yùn)動(dòng)發(fā)生的方向。圖4.肢體運(yùn)動(dòng)的三維運(yùn)動(dòng)歷史圖像MHI3.2 肢體動(dòng)作的運(yùn)動(dòng)歷史圖像不變矩計(jì)算這種基于肢體的三維運(yùn)動(dòng)歷史圖像MHI表征方法雖然簡單快捷有效，但對(duì)觀察點(diǎn)的位置角度比較敏感，為了克服這一缺點(diǎn)，所以本文選取了不變矩作為肢體動(dòng)作的運(yùn)動(dòng)歷史圖像的特征向量。不變矩的方法是一種比較經(jīng)典的圖形圖像特征提取方法，它的平移不變性、伸縮不變性和旋轉(zhuǎn)不變性能很好地排除觀察點(diǎn)的位置和角度的影響。我們得到肢體動(dòng)作的三維運(yùn)動(dòng)歷史圖像MHI之后，為了計(jì)算它的不變矩，先將他分別在XY平面（如圖5）、YZ平面（如圖6）和XZ平面（如圖7）進(jìn)行投影。這樣就可以得到對(duì)于同一個(gè)肢體動(dòng)作的三維運(yùn)動(dòng)歷史圖像的三個(gè)視圖，然后別對(duì)這三個(gè)主視圖進(jìn)行不變矩的計(jì)算。 圖5.肢體運(yùn)動(dòng)的MHI的XY面投影 圖6.肢體運(yùn)動(dòng)的MHI的YZ面投影 圖7.肢體運(yùn)動(dòng)的MHI的XZ面投影對(duì)一個(gè)尺寸為MN的數(shù)字圖像fx,y，其中p+q階矩mpq被定義為：mpq=x=1Ny=1Mfx,yxpyq其中p,q=0,1,2,其p+q階中心矩pq定義為：pq=x=1Ny=1Mfx,y(x-x)p(y-y)q其中x,y表示物體圖像上的點(diǎn)，x,y是物體的質(zhì)心：x=m10m00，y=m01m00。再通過零階中心矩00對(duì)其余各階中心矩進(jìn)行歸一化可以得到運(yùn)動(dòng)歷史圖像的歸一化中心距：pq=pq00r, r=p+q+22, p+q=2,3,4,HuMK利用二階和三階歸一化中心矩的線性組合，得到了7個(gè)不變矩構(gòu)成的不變矩組，對(duì)于圖像的平移、旋轉(zhuǎn)和縮放均保持不變，這個(gè)不變矩組如下：M1=20+02M2=20-022+4112M3=30-3122+321-032M4=30+122+21+032M5=30-31230+1230+122-321+032+03-32103+2103+212-312+302M6=20-0230+122-21+032+41130+1221+03M7=321-0330+2130+122-321+032-(312-30)(03+21)03+212-3(12+30)2因?yàn)椴蛔兙刂递^小，一般通過取絕對(duì)值的對(duì)數(shù)進(jìn)行數(shù)據(jù)壓縮，所以實(shí)際采用的矩值需要按照以下公式修正：Mk=logMk, k=1,2,3,4,5,6,7經(jīng)過修正之后的不變矩組依然具有平移、旋轉(zhuǎn)和縮放不變性。通過對(duì)三個(gè)方向上的投影圖像的計(jì)算，我們將得到一個(gè)37的特征值矩陣，這個(gè)特征值矩陣就是每一個(gè)肢體動(dòng)作的運(yùn)動(dòng)歷史圖像的特征向量。3.3 肢體動(dòng)作的運(yùn)動(dòng)歷史圖像識(shí)別在識(shí)別過程中首先對(duì)人的肢體動(dòng)作進(jìn)行樣本采集，建立一個(gè)訓(xùn)練模板庫，以用于得到肢體動(dòng)作的標(biāo)準(zhǔn)特征向量。對(duì)每個(gè)相同的肢體動(dòng)作，讓多個(gè)不同的人參與反復(fù)執(zhí)行多次，得到每個(gè)肢體動(dòng)作的多組三維運(yùn)動(dòng)歷史圖像MHI，并從中計(jì)算出特征向量，再計(jì)算出這些特征向量的均值與協(xié)方差矩陣，建立起每個(gè)肢體動(dòng)作的模板。然后對(duì)于新的肢體動(dòng)作計(jì)算與標(biāo)準(zhǔn)動(dòng)作模板之間的Mahalanobis距離，Mahalanobis距離的計(jì)算公式如下：2=f-rTc-1(f-r)其中是Mahalanobis距離，f是肢體動(dòng)作運(yùn)動(dòng)歷史圖像的不變矩特征向量，r是已訓(xùn)練的特征向量的均值向量，c是已訓(xùn)練的特征向量集的協(xié)方差矩陣。識(shí)別過程中，可以利用經(jīng)典的AdaBoost算法根據(jù)每個(gè)不變矩的階數(shù)確定一個(gè)閾值，然后通過Mhalanobis距離來衡量新輸入的肢體動(dòng)作和已訓(xùn)練得到的肢體動(dòng)作模板之間的相似性，只要計(jì)算出的Mahalanobis距離在規(guī)定的閾值范圍之內(nèi)都可以認(rèn)為是匹配成功，如果匹配模板不止一個(gè)，則選擇距離最小的那個(gè)作為成功匹配的模板。4 實(shí)驗(yàn)結(jié)果The experimental results4.1 數(shù)據(jù)預(yù)處理Data preprocessing在普通實(shí)驗(yàn)室環(huán)境下進(jìn)行人的肢體動(dòng)作運(yùn)動(dòng)軌跡識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)中，實(shí)驗(yàn)者保持身體正面向前，垂直于水平面，并且距離Kinect傳感器1.2米到2米。本文對(duì)監(jiān)測(cè)到的肢體動(dòng)作進(jìn)行了去抖動(dòng)處理，記錄前一幀判斷所得中心位置數(shù)據(jù)，再和當(dāng)前幀的中心位置數(shù)據(jù)進(jìn)行比較，如果兩者偏差在設(shè)定的閾值范圍之內(nèi)，就將當(dāng)前幀視作小幅度內(nèi)的抖動(dòng)，繼續(xù)顯示前一幀的位置數(shù)據(jù)。This trajectory recognition experiments is did in normal laboratory environment.In the experiment,people should keep the body facing forward, perpendicular to the horizontal plane and be about 1.2 meters to 2 meters to the Kinect. In this paper, we debounce the physical movements monitored and record the center position data of the prior frame to compare with the center position data of the current frame. If the deviation is within the threshold range,we can show the position data of the prior frame to ignore the jitter of the current frame. 在識(shí)別肢體動(dòng)作運(yùn)動(dòng)軌跡的時(shí)候如果直接采用真實(shí)運(yùn)動(dòng)的軌跡，則在運(yùn)動(dòng)開始和運(yùn)動(dòng)結(jié)束的時(shí)候會(huì)出現(xiàn)無效幀，而運(yùn)動(dòng)中間部分則是有效幀，為了去掉開始和結(jié)束部分的無效幀，本文采用了去抖動(dòng)處理，在運(yùn)動(dòng)開始和結(jié)束部分運(yùn)動(dòng)位移會(huì)降低，這里直接作為起始點(diǎn)和禁止點(diǎn)進(jìn)行處理。實(shí)驗(yàn)中讓4個(gè)人分別做出4中肢體動(dòng)作，分別如圖8、圖9、圖10和圖11所示，每種動(dòng)作反復(fù)執(zhí)行10次，這樣對(duì)于每種肢體動(dòng)作就產(chǎn)生了40個(gè)樣本，每個(gè)肢體動(dòng)作持續(xù)5s到15s，圖像大小為1200*900。圖8.動(dòng)作A的三維運(yùn)動(dòng)歷史圖像圖9. 動(dòng)作B的三維運(yùn)動(dòng)歷史圖像圖10. 動(dòng)作C的三維運(yùn)動(dòng)歷史圖像圖11. 動(dòng)作D的三維運(yùn)動(dòng)歷史圖像選用每種肢體動(dòng)作的前20個(gè)樣本進(jìn)行訓(xùn)練，得到肢體動(dòng)作標(biāo)準(zhǔn)模板，其余的20個(gè)樣本作為測(cè)試樣本，分別用傳統(tǒng)隱馬爾科夫模型方法（3DHMM）和三維運(yùn)動(dòng)歷史圖像方法（3DMHI）進(jìn)行識(shí)別實(shí)驗(yàn)。4.2 結(jié)果數(shù)據(jù)分析為了驗(yàn)證上文中方法的魯棒性，這里對(duì)于不同光照條件下分別進(jìn)行試驗(yàn)，表1是分別在普通光照環(huán)境下和弱光環(huán)境下每個(gè)動(dòng)作的正確識(shí)別次數(shù)和準(zhǔn)確率。結(jié)合肢體動(dòng)作的三維深度信息，即使在弱背景光源照度的情況下，系統(tǒng)依然能很好地捕獲人體東部運(yùn)動(dòng)的軌跡，在實(shí)驗(yàn)室中圖像的幀數(shù)一直保持在30fps上下，滿足了對(duì)于實(shí)時(shí)運(yùn)動(dòng)軌跡跟蹤與識(shí)別的要求。實(shí)驗(yàn)證明了新方法具有較好的魯棒性。表1.不同光照條件下動(dòng)作識(shí)別率動(dòng)作種類普通光環(huán)境識(shí)別率弱光環(huán)境識(shí)別率3DHMM3DMHI3DHMM3DMHI動(dòng)作A0.850.910.600.89動(dòng)作B0.840.90