基于表觀的動(dòng)態(tài)孤立手勢(shì)識(shí)別技術(shù)

基于表觀的動(dòng)態(tài)孤立手勢(shì)識(shí)別技術(shù)

雖然語音作為研究的重點(diǎn)已經(jīng)超過50年，但從明年開始，基于計(jì)算機(jī)視覺的語音識(shí)別逐漸引起研究人員的關(guān)注和興趣。手機(jī)零密檢測(cè)的主要目的是將手機(jī)零密的自然、直觀的溝通方式引入到人機(jī)接口（也稱為人類感知），以實(shí)現(xiàn)符合人類行為習(xí)慣的人機(jī)接口。此外，這些手勢(shì)識(shí)別還可以用于虛擬現(xiàn)實(shí)、三維設(shè)計(jì)、臨場(chǎng)感、可視化、醫(yī)學(xué)研究、語言理解和其他領(lǐng)域。解決手機(jī)零密問題的方法是直接促進(jìn)面部識(shí)別、嘴唇閱讀、姿態(tài)識(shí)別、時(shí)空紋理分類、視覺導(dǎo)航、圖像綁定和基于內(nèi)容的視頻搜索?，F(xiàn)有的手勢(shì)識(shí)別方法可以分為兩大類:基于三維手/手臂建模的方法和基于表觀建模的方法.在手勢(shì)建模方面,最常用的方法是給手或手指建立三維模型,但是,繁重的計(jì)算使得這類方法非常困難,而且離實(shí)際應(yīng)用也很遙遠(yuǎn).基于表觀的方法主要研究如何直接利用圖像序列里的表觀變化來識(shí)別手勢(shì),它的著重點(diǎn)不是手或手臂的靜止三維結(jié)構(gòu),而是運(yùn)動(dòng)所引起的圖像序列里的表觀變化.從文獻(xiàn)來看,已經(jīng)有人開始研究基于表觀的手勢(shì)識(shí)別.文獻(xiàn)提出用一組相似值(通過與一組二維空間視圖或三維時(shí)空視圖作相關(guān)運(yùn)算得到)構(gòu)成的向量作為作手勢(shì)的表觀特征.然而,當(dāng)有多個(gè)用戶或者單個(gè)用戶所作手勢(shì)不能用過去的時(shí)空模式準(zhǔn)確描述時(shí),基于這種表觀特征的識(shí)別方法就會(huì)失效,因此他們的方法缺乏通用性.文獻(xiàn)通過抽取圖像序列里的運(yùn)動(dòng)邊界、跟蹤邊界的運(yùn)動(dòng)并作聚類分析進(jìn)行手勢(shì)識(shí)別,但是沒有給出識(shí)別結(jié)果,也沒有利用手勢(shì)的形狀、紋理等其他信息.本文提出另一種基于表觀的手勢(shì)識(shí)別技術(shù).首先,基于圖像運(yùn)動(dòng)的變階參數(shù)模型和魯棒回歸,本文提出一種基于運(yùn)動(dòng)分割的幀間圖像運(yùn)動(dòng)估計(jì)方法.其次,基于幀間圖像運(yùn)動(dòng)參數(shù),本文創(chuàng)建了兩種不同的表觀變化模型——時(shí)空表示和總體圖像運(yùn)動(dòng)表示,分別用于手勢(shì)識(shí)別,并依據(jù)實(shí)驗(yàn)結(jié)果對(duì)二者的性能進(jìn)行比較分析.然后,本文指出了一條如何把運(yùn)動(dòng)、形狀、顏色、紋理等信息統(tǒng)一起來進(jìn)行手勢(shì)識(shí)別的途徑.最后,我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了對(duì)12種手勢(shì)進(jìn)行在線識(shí)別的實(shí)驗(yàn)系統(tǒng),識(shí)別率超過90%.1根據(jù)動(dòng)作分割的色度圖像運(yùn)動(dòng)評(píng)估1.1圖像運(yùn)動(dòng)學(xué)參數(shù)對(duì)于基于視覺的孤立手勢(shì)識(shí)別系統(tǒng),用戶作手勢(shì)時(shí)一般是面向系統(tǒng)的,因而我們不必考慮運(yùn)動(dòng)估計(jì)過程中存在的三維遮擋或重現(xiàn)問題.參數(shù)化的圖像運(yùn)動(dòng)模型對(duì)一個(gè)區(qū)域里的圖像運(yùn)動(dòng)作明確假設(shè)并通常用一個(gè)低階多項(xiàng)式來表示該運(yùn)動(dòng).常用的參數(shù)化圖像運(yùn)動(dòng)模型有平移模型、仿射模型和平面模型.例如,式(1)給出的就是圖像運(yùn)動(dòng)的平面模型.u(x)=[u(x,y)v(x,y)]=[a0+a1x+a2y+a6x2+a7xya3+a4x+a5y+a6xy+a7y2],(1)其中ai是常數(shù)(對(duì)一個(gè)運(yùn)動(dòng)區(qū)域而言),u(x)是像素點(diǎn)x=(x,y)的幀間位移向量,u(x,y)和v(x,y)分別是它的水平和垂直分量.為了便于書寫和描述,我們定義X(x)=[1xy000x2xy0001xyxyy2],Τ=(a0,0,0,a3,0,0,0,0)Τ,A=(a0,a1,a2,a3,a4,a5,0,0)Τ,Ρ=(a0,a1,a2,a3,a4,a5,a6,a7)Τ,(2)其中T,A和P分別表示圖像運(yùn)動(dòng)的平移、仿射以及平面模型的參數(shù).就圖像運(yùn)動(dòng)而言,各參數(shù)ai(i=0,1,...,7)有各自的物理意義,即可以用這些參數(shù)或它們的組合分別表示平移運(yùn)動(dòng)(u)、垂直運(yùn)動(dòng)(v)、各項(xiàng)同性的膨脹(e)、形變(d),以及繞觀察方向的旋轉(zhuǎn)(r)、偏轉(zhuǎn)(y)、俯仰(p)等.具體意義如式(3)所示.u=a0,v=a3,e=a1+a5,d=a1-a5,r=-a2+a4,y=a6,p=a7.(3)1.2圖像光度梯度給定圖像區(qū)域的運(yùn)動(dòng)模型之后,我們采用魯棒回歸策略去回歸模型參數(shù).魯棒統(tǒng)計(jì)學(xué)的主要目的是回歸那種能最好地?cái)M合絕大多數(shù)數(shù)據(jù)的模型,并同時(shí)檢測(cè)出參數(shù)回歸分析的“內(nèi)點(diǎn)”(即符合模型的數(shù)據(jù)點(diǎn))和“外點(diǎn)”(即與模型出入較大的數(shù)據(jù)點(diǎn)).令R是分析區(qū)域內(nèi)像素點(diǎn)的集合,Θ是模型參數(shù)向量,那么光流估計(jì)中的亮度恒定假設(shè)就可表述為I(x,t)=I(x-X(x)Θ,t+1),?x∈R.(4)這里,I是亮度函數(shù),t表示時(shí)間.把式(4)右邊泰勒展開、化簡(jiǎn),并去掉高于一次的項(xiàng),得到式(5).?IT(X(x)Θ)+It=0,?x∈R.(5)這里,?I=[Ix,Iy]T是圖像亮度梯度;Ix,Iy和It分別是圖像亮度關(guān)于空間維和時(shí)間的偏導(dǎo)數(shù).為估計(jì)參數(shù)Θ,我們需要針對(duì)某個(gè)誤差范數(shù)ρ最小化式(6)中的目標(biāo)函數(shù).E(Θ)=∑x∈Rρ(?ΙΤ(X(x)Θ)+Ιt,σ),(6)其中σ是一個(gè)尺度參數(shù).因?yàn)槿耸旨炔皇瞧矫嬉膊皇莿傮w,如果在這種情況下運(yùn)用最小二乘方法,那么估計(jì)出來的運(yùn)動(dòng)參數(shù)必然是不準(zhǔn)確的,因而ρ最好是某種能容許一定總體誤差或外點(diǎn)的誤差范數(shù).這里,我們采用Geman-McClure函數(shù),如式(7)所示,式中殘差r=?IT(X(x)Θ)+It.ρ(r,σ)=r2σ2+r2.(7)與截?cái)喽魏瘮?shù)相比,Geman-McClure函數(shù)在內(nèi)點(diǎn)和外點(diǎn)之間提供了更平滑的過渡.我們用帶有連續(xù)策略的超松弛算法使式(6)里的目標(biāo)函數(shù)達(dá)到最小.概括地說,如果考慮目標(biāo)函數(shù)E(Θ)關(guān)于ai的導(dǎo)數(shù),那么為最小化E(Θ),第n+1步的迭代更新方程就是an+1=ani-ω1Τ(ai)??E(Θ)?ai.(8)其中0<ω<2是超松弛參數(shù),它用于在第n+1步對(duì)an+1i的估計(jì)進(jìn)行“過分”修正.當(dāng)0<ω<2時(shí),可以證明該方法是收斂的,但是收斂速率對(duì)ω的具體取值很敏感.T(ai)是E(Θ)的二階偏導(dǎo)數(shù)的上界,即Τ(ai)≥?2E(Θ)?a2i.(9)我們?cè)诘^程中使用了連續(xù)策略,即在每一次迭代中,根據(jù)σn+1=0.95σn來減小尺度參數(shù)σ的值.這樣做的結(jié)果是,起始時(shí)分析區(qū)域內(nèi)的所有數(shù)據(jù)點(diǎn)都被看作內(nèi)點(diǎn),而隨著迭代的進(jìn)行開始出現(xiàn)外點(diǎn),而且外點(diǎn)的影響逐漸被減小.1.3估計(jì)運(yùn)動(dòng)參數(shù)為了準(zhǔn)確地估計(jì)幀間大運(yùn)動(dòng)量,我們引入多分辨率策略.首先構(gòu)造高斯金字塔,然后從最粗一級(jí)空間分辨率開始,初始運(yùn)動(dòng)參數(shù)Θ0設(shè)為零,估計(jì)出運(yùn)動(dòng)參數(shù)增量ΔΘ0.把得到的運(yùn)動(dòng)參數(shù)Θ0+ΔΘ0投射到下一個(gè)分辨率級(jí)就得出下一個(gè)分辨率級(jí)的初始運(yùn)動(dòng)參數(shù)Θ1,根據(jù)Θ1把該級(jí)t時(shí)刻的圖像向t+1時(shí)刻的圖像配準(zhǔn),然后再利用配準(zhǔn)后的圖像和t+1時(shí)刻的圖像估計(jì)該級(jí)的運(yùn)動(dòng)參數(shù)增量ΔΘ1.重復(fù)這個(gè)過程,直至估計(jì)出最高分辨率級(jí)的運(yùn)動(dòng)參數(shù).1.4圖像運(yùn)動(dòng)估計(jì)方法我們知道,尺度參數(shù)σ在魯棒回歸中發(fā)揮著重要作用.文獻(xiàn)指出,選擇σ=Cτ作為σ的初始值將導(dǎo)致一個(gè)凸優(yōu)化問題.對(duì)特定魯棒誤差范數(shù)而言,C是一個(gè)常數(shù),例如,當(dāng)ρ是Geman-McClure函數(shù)時(shí),C=√3.τ是最大期望殘差.然而,在具體實(shí)驗(yàn)時(shí),他們并沒有這么做,也沒有給出解釋,只是指出對(duì)于σ在一定幅度內(nèi)的變化,求得的解是相當(dāng)穩(wěn)定的.在我們看來,有兩點(diǎn)理由促使他們放棄把Cτ作為σ的初始值:首先,初始?xì)埐罘植紵o法預(yù)料,因此得出的初始解可能很糟糕;其次,選擇Cτ作為σ的初始值將需要更多的迭代次數(shù),因而消耗更多的時(shí)間(當(dāng)分析區(qū)域較大,如整幅圖像時(shí)尤其如此).本文給出了一個(gè)更合理的方案來確定σ的初始取值.本文提出的基于運(yùn)動(dòng)分割的圖像運(yùn)動(dòng)估計(jì)方法由兩步組成,每一步包含一次魯棒回歸.第1步的目標(biāo)是把圖像里的運(yùn)動(dòng)區(qū)域(物體)從復(fù)雜背景里初步分割出來.我們假設(shè)背景保持基本靜止(對(duì)于手勢(shì)識(shí)別系統(tǒng),該假設(shè)在絕大多數(shù)情況下是成立的),然后選擇整幅圖像作為分析區(qū)域,并選用平移運(yùn)動(dòng)模型進(jìn)行第1次魯棒回歸.為了自動(dòng)確定σ的初始取值并進(jìn)行高效率的迭代,我們選擇CT作為σ的初始值,其中,C的意義同上,而T則是根據(jù)文獻(xiàn)提出的閾值選擇算法從兩幀圖像的差圖像的灰度直方圖計(jì)算出來的一個(gè)閾值,它是把差圖像里的灰度分為兩類的最優(yōu)閾值.這樣做,可以從一開始就把絕大多數(shù)運(yùn)動(dòng)點(diǎn)(物體點(diǎn))作為外點(diǎn)處理,因而迭代效率更高,收斂更快.因?yàn)榻^大多數(shù)數(shù)據(jù)點(diǎn)都是背景像素點(diǎn),所以估計(jì)出的運(yùn)動(dòng)(盡管運(yùn)動(dòng)量非常小)是背景的運(yùn)動(dòng).根據(jù)回歸出的運(yùn)動(dòng)參數(shù)以及σ的最終值對(duì)殘差進(jìn)行分析(即檢測(cè)外點(diǎn)),就可以得到運(yùn)動(dòng)物體的粗糙分割(其中還包括一些噪聲點(diǎn)).第2步的目標(biāo)是實(shí)現(xiàn)準(zhǔn)確的幀間運(yùn)動(dòng)估計(jì),并且得到運(yùn)動(dòng)物體的精細(xì)分割.我們使用二維仿射模型或平面模型來近似物體在圖像平面的運(yùn)動(dòng),當(dāng)物體運(yùn)動(dòng)引起的深度變化與成像距離相比很小時(shí),這種近似是合理的.我們把第1步得到的粗糙分割作為新的分析區(qū)域,并選用仿射或平面模型進(jìn)行第2次魯棒回歸.由于分析區(qū)域較小,而且絕大多數(shù)數(shù)據(jù)點(diǎn)都屬于運(yùn)動(dòng)物體,因此我們把√3τ作為σ的初始值(τ的意義同上,即最大期望殘差).既然絕大多數(shù)數(shù)據(jù)點(diǎn)都屬于運(yùn)動(dòng)物體,所以回歸結(jié)果就是物體的幀間運(yùn)動(dòng)參數(shù).然后,通過分析殘差(即檢測(cè)內(nèi)點(diǎn))就可以得到運(yùn)動(dòng)物體的精細(xì)分割.2表觀特征構(gòu)造手勢(shì)識(shí)別系統(tǒng)的性能很大程度上取決于手勢(shì)特征的抽取與構(gòu)造.基于幀間運(yùn)動(dòng)參數(shù),本文構(gòu)造出兩種不同的表觀變化模型(時(shí)空表示和總體圖像運(yùn)動(dòng)表示),分別作為手勢(shì)的表觀特征用于識(shí)別.2.1時(shí)長(zhǎng)時(shí)長(zhǎng)t給定一個(gè)包含孤立手勢(shì)的圖像序列,gT={I1,I2,...,IT},其中T表示該序列的時(shí)間長(zhǎng)度,I(t)(t=1,2,...,T)是序列里的第t幀亮度圖像.如果把第t-1幀和第t幀之間的圖像運(yùn)動(dòng)(仿射或平面)參數(shù)作為分量構(gòu)成的參數(shù)向量記為P[t],那么對(duì)應(yīng)手勢(shì)的時(shí)空表示PT就可以被建模為PT={P,P,...,P[T-1]}.(10)2.2表觀變化模型如前所述,圖像運(yùn)動(dòng)模型的參數(shù)ai(i=0,1,2,...,7)都有明確的物理意義,因此我們可以定義一個(gè)有確定物理意義的運(yùn)動(dòng)向量來描述幀間圖像運(yùn)動(dòng).記I(t-1)和I(t)之間的運(yùn)動(dòng)向量為m[t],則m[t]的定義為m[t]=[u,v,e,d,r,y,p]T.(11)為消除不同用戶作手勢(shì)時(shí)存在的速率差異,我們?yōu)樯厦娴膱D像序列(gT)創(chuàng)建另一個(gè)表觀變化模型:總體圖像運(yùn)動(dòng)表示.式(12)給出了總體圖像運(yùn)動(dòng)表示的定義.Σ=[U,V,E,D,R,Y,Ρ]Τ=?m?Τ-1∑t=1m[t],Μ=1∥Σ∥Σ(12)其中M是序列的總體圖像運(yùn)動(dòng)表示,它是把序列里所有(每?jī)?幀間運(yùn)動(dòng)向量的分量加權(quán)后的累加和向量規(guī)一化以后得到的向量;?m是加權(quán)因子“·”表示向量?jī)?nèi)積運(yùn)算;U,V,E,D,R和P分別表示總體圖像運(yùn)動(dòng)所表示的水平位移、垂直位移、各向同性膨脹、變形、繞觀察方向的旋轉(zhuǎn)、偏轉(zhuǎn)以及俯仰等分量.3洗手檢測(cè)3.1動(dòng)態(tài)規(guī)劃匹配.基于optimaldynaming不同用戶作手勢(shì)時(shí)存在的速率差異會(huì)在時(shí)空表示的時(shí)間軸上引起非線性波動(dòng),如何消除這些非線性波動(dòng)是手勢(shì)識(shí)別中的一個(gè)重要問題.語音識(shí)別的實(shí)踐表明,任何線性變換從本質(zhì)上說都不能很好地處理高度復(fù)雜的非線性波動(dòng).我們引入在語音識(shí)別里所用的最優(yōu)動(dòng)態(tài)規(guī)劃匹配(optimaldynamicprogrammingmatching,簡(jiǎn)稱ODPM)來度量?jī)蓚€(gè)時(shí)空表示之間的最小距離.動(dòng)態(tài)規(guī)劃匹配是具有非線性時(shí)間規(guī)一化效果的模式匹配算法.使用某種指定屬性的非線性規(guī)整函數(shù)對(duì)時(shí)間軸上的波動(dòng)近似建模,通過彎曲其中一個(gè)模式的時(shí)間軸使之與另一個(gè)模式達(dá)到最大程度的重疊(此時(shí)的殘差距離最小),從而消除兩個(gè)時(shí)空表示模式之間的時(shí)間差別.兩個(gè)模式之間的最小化的殘差距離就是它們之間的時(shí)間規(guī)一化后的距離(本文稱為ODPM距離).利用動(dòng)態(tài)規(guī)劃技術(shù)可以高效率地實(shí)現(xiàn)上面的最小化過程.3.2創(chuàng)建時(shí)空表示模板假設(shè)給定手勢(shì)訓(xùn)練集中有L種孤立手勢(shì),每種手勢(shì)有J個(gè)樣本.對(duì)于訓(xùn)練中的每個(gè)樣本,我們分別計(jì)算它的時(shí)空表示PT[l,j]和總體圖像運(yùn)動(dòng)表示M(l,j),其中l(wèi)(l=1,2,...,L)是手勢(shì)類編號(hào);j(j=1,2,...,J)是樣本編號(hào);T表示第l種手勢(shì)的第j個(gè)樣本的時(shí)空表示所包含的參數(shù)向量的個(gè)數(shù).創(chuàng)建手勢(shì)的參考模板就是從每種手勢(shì)的J個(gè)時(shí)空表示和J總體圖像運(yùn)動(dòng)表示出發(fā),找出最能反應(yīng)該手勢(shì)表觀特征分布的一個(gè)時(shí)空表示和一個(gè)總體圖像運(yùn)動(dòng)表示分別作為該手勢(shì)的時(shí)空表示模板和總體圖像運(yùn)動(dòng)表示模板.如果把第l種手勢(shì)的時(shí)空表示模板記為?Ρ[l],那么創(chuàng)建時(shí)空表示模板問題就轉(zhuǎn)化為選取使?Ρ[l]在給定的訓(xùn)練集上滿足某種最優(yōu)標(biāo)準(zhǔn).基于兩個(gè)手勢(shì)的時(shí)空表示之間的ODPM距離度量,我們用最小最大優(yōu)化算法為每種手勢(shì)創(chuàng)建一個(gè)時(shí)空表示模板.由于一個(gè)手勢(shì)樣本的總體圖像運(yùn)動(dòng)表示反映了貫穿(包含該手勢(shì)的)整個(gè)圖像序列的各種圖像運(yùn)動(dòng),因此,我們把第l種手勢(shì)的總體圖像運(yùn)動(dòng)表示模板定義為該手勢(shì)的J個(gè)樣本的總體圖像運(yùn)動(dòng)表示的平均值Μ^[l],即Μ^[l]=1J∑j=1JΜ(l,j).(13)3.3計(jì)算各種時(shí)空表示模板的時(shí)空表示距離有了Ρ^[l]和Μ^[l](l=1,2,...,L),我們利用模板分類技術(shù)進(jìn)行手勢(shì)識(shí)別.假設(shè)取手勢(shì)的時(shí)空表示模板作為識(shí)別時(shí)的參考模板,那么,當(dāng)輸入一個(gè)未知手勢(shì)時(shí),系統(tǒng)首先計(jì)算它的時(shí)空表示,然后計(jì)算該時(shí)空表示與庫中各時(shí)空表示模板之間的ODPM距離,并找出最小距離.當(dāng)最小距離不超過某個(gè)預(yù)置的門限時(shí),該手勢(shì)就與距離最近的那個(gè)時(shí)空表示模板所對(duì)應(yīng)的手勢(shì)屬于同一類,否則拒識(shí).如果我們選取手勢(shì)的總體圖像運(yùn)動(dòng)表示模板作為識(shí)別時(shí)的參考模板,那么識(shí)別過程基本不變,只是需要計(jì)算未知手勢(shì)的總體圖像運(yùn)動(dòng)表示,并且使用歐氏空間距離而不是ODPM距離.在實(shí)驗(yàn)時(shí),對(duì)于訓(xùn)練集里的每一種手勢(shì),我們既計(jì)算它的時(shí)空表示模板,也計(jì)算它的總體圖像運(yùn)動(dòng)表示模板,而且對(duì)分別用兩種模板作為參考模板而得到的識(shí)別結(jié)果進(jìn)行比較分析.4幀間運(yùn)動(dòng)估計(jì)的結(jié)果圖1是幀間運(yùn)動(dòng)估計(jì)中的一個(gè)實(shí)例,圖1(a)和(b)分別是一個(gè)包含“向上”手勢(shì)的圖像序列里的第2幀和第3幀圖像.選用平移模型對(duì)整幅圖像進(jìn)行第1次魯棒回歸得到的運(yùn)動(dòng)參數(shù)是{-0.06184,0,0,-0.1446,0,0,0,0}.圖1(c)中的灰色像素點(diǎn)就是根據(jù)第1次回歸結(jié)果檢測(cè)出的內(nèi)點(diǎn),它包括靜止的和有微小擾動(dòng)的背景點(diǎn)以及某些物體點(diǎn).其中的黑色像素點(diǎn)是根據(jù)第1次回歸結(jié)果檢測(cè)出的外點(diǎn),顯然都是一些運(yùn)動(dòng)量較大的物體點(diǎn),它們的集合就構(gòu)成了運(yùn)動(dòng)物體的粗糙分割.把物體的粗糙分割作為新的分析區(qū)域,并選用平面模型進(jìn)行第2次魯棒回歸得出的運(yùn)動(dòng)參數(shù)是{-0.3644,0.004,0.0066,-2.2835,-0.0012,-0.0086,0,0}.根據(jù)第2次回歸結(jié)果檢測(cè)出的內(nèi)點(diǎn)就構(gòu)成了運(yùn)動(dòng)物體的精細(xì)分割,如圖1(d)所示,外點(diǎn)如圖1(e)所示,它們是一些噪聲點(diǎn).圖1(f)是把圖1(a)和圖1(b)之間的差圖像二值化以后得到的結(jié)果圖像.比較圖1(d)和(f),不難看出,圖1(f)中有很多噪聲輪廓點(diǎn),如頭部輪廓點(diǎn)、手臂輪廓點(diǎn)等,而在圖1(d)中則沒有.圖1表明,我們提出的基于兩次魯棒回歸的運(yùn)動(dòng)估計(jì)方法既能準(zhǔn)確地估計(jì)幀間圖像運(yùn)動(dòng),又能同時(shí)得到運(yùn)動(dòng)物體的精細(xì)分割.圖2是幀間運(yùn)動(dòng)估計(jì)的另一個(gè)實(shí)例.圖2(a)和(b)分別是一個(gè)包含“向右”手勢(shì)的圖像序列里的第2幀和第3幀圖像.第1次回歸出的參數(shù)值為{-0.1217,0,0,-0.0042,0,0,0,0},第2次回歸出的參數(shù)值為{-2.7344,0.0008,-0.01120,-0.1343,-0.0037,-0.0160,0,-0.0003}.圖2(c)～(f)表示的含義分別與圖1中對(duì)應(yīng)圖像的含義相同.5圖像序列的描述我們?cè)O(shè)想用一組手勢(shì)實(shí)現(xiàn)三維鼠標(biāo)的功能,從而實(shí)現(xiàn)更自然、更符合人類行為習(xí)慣的人機(jī)接口.因此,在我們的實(shí)驗(yàn)系統(tǒng)里選用的12種手勢(shì)分別是“向上”(MU)、“向下”(MD)、“向左”(ML)、“向右”(MR)、“向前”(MF)、“向后”、“向左偏轉(zhuǎn)”(YL)、“向右偏轉(zhuǎn)”(YR)、“順時(shí)針旋轉(zhuǎn)”(CC)、“反時(shí)針旋轉(zhuǎn)”(CCC)、“向下俯”(PD)和“向上仰”(PU).我們做了大量的實(shí)驗(yàn)來驗(yàn)證和評(píng)價(jià)本文提出的時(shí)空表示模型、總體圖像運(yùn)動(dòng)表示模型以及訓(xùn)練和識(shí)別算法的有效性.我們邀請(qǐng)10位實(shí)驗(yàn)者坐在攝像機(jī)前作上面的12種手勢(shì),于是得到包含120個(gè)圖像序列(即每種手勢(shì)有10個(gè)樣本)的訓(xùn)練集.每個(gè)序列包含一個(gè)手勢(shì),持續(xù)時(shí)間約1s(采樣率為10Hz).圖像是256級(jí)的灰度圖像,大小是160×120.在PII(266MHz)的PC機(jī)上,幀間運(yùn)動(dòng)估計(jì)的平均時(shí)間約450μs,識(shí)別一個(gè)手勢(shì)的時(shí)間約4s.圖3以幀間運(yùn)動(dòng)參數(shù)的軌跡形式描述了從4個(gè)圖像序列計(jì)算出的時(shí)空表示.每個(gè)圖像序列包含1個(gè)手勢(shì),4個(gè)序列包含的手勢(shì)分別是MU,MD,ML和MR.參數(shù)a0,a1,a2,a3,a4和a5的軌跡(a6,a7的值很小,故忽略)都是點(diǎn)劃線,其不同之處在于,不同參數(shù)軌跡的點(diǎn)劃線上每