一種多操作特征的手勢(shì)分割與is檢測(cè)方法

一種多操作特征的手勢(shì)分割與is檢測(cè)方法

0指紋檢測(cè)技術(shù)在l基于視覺(jué)的認(rèn)知和理解，它以文字、虛擬或其他形式解釋人類的各種行為。手腳的形狀、姿勢(shì)、位置、運(yùn)動(dòng)和其他信息由手腳抽象。廣泛應(yīng)用于各種虛擬機(jī)系統(tǒng)。其中,手勢(shì)分割和指尖檢測(cè)是手勢(shì)識(shí)別和理解過(guò)程中的第一步,也是最基礎(chǔ)的一步,手勢(shì)分割與指尖檢測(cè)的效果直接影響后續(xù)的手勢(shì)跟蹤、手勢(shì)特征提取以及手勢(shì)識(shí)別的結(jié)果。手勢(shì)分割是把圖像中的人手區(qū)域(前景)與其它區(qū)域(背景區(qū)域)劃分開(kāi)來(lái),是手勢(shì)識(shí)別和理解系統(tǒng)中的一項(xiàng)基礎(chǔ)性工作,不少研究人員采用對(duì)手勢(shì)圖像加上種種限制的方法,如使用黑色或白色的墻壁、深色的服裝等簡(jiǎn)化背景,或要求人手戴特殊顏色的手套等強(qiáng)調(diào)前景,來(lái)簡(jiǎn)化手區(qū)域與背景區(qū)域的劃分,也有使用熱紅外攝像機(jī)來(lái)捕捉圖像以得到清晰的前景分割,這些方法降低了手勢(shì)分割的難度和計(jì)算復(fù)雜度。人為增加了諸多的限制,不利于自然的人機(jī)交互,但如果對(duì)背景圖像不加限制又會(huì)降低手勢(shì)分割的魯棒性。在早期的一些系統(tǒng)或特別環(huán)境中,指尖檢測(cè)問(wèn)題的解決也依賴于輔助顏色的標(biāo)記。如讓用戶戴有明顯標(biāo)識(shí)的手套,對(duì)用戶指尖染色等?，F(xiàn)有研究主要集中解決裸手的指尖檢測(cè),采用的方法基本上可以分為模板匹配和輪廓分析兩大類,這兩種指尖檢測(cè)算法也是在手勢(shì)分割的基礎(chǔ)上進(jìn)行的,因?yàn)槭謩?shì)分割可以使指尖檢測(cè)算法只在感興趣的區(qū)域運(yùn)行,從而減少計(jì)算量和提高檢測(cè)的準(zhǔn)確度。如文獻(xiàn)[9-10]在手勢(shì)分割的基礎(chǔ)上采用模板匹配方法檢測(cè)指尖實(shí)現(xiàn)手勢(shì)識(shí)別。文獻(xiàn)通過(guò)計(jì)算掌心與輪廓邊緣的距離檢測(cè)單個(gè)指尖的位置實(shí)現(xiàn)與虛擬環(huán)境的交互。當(dāng)然,指尖檢測(cè)也還有一些比較特殊的方法,比如采用多個(gè)攝像機(jī)檢測(cè)深度獲取單個(gè)指尖位置等,但這些方法對(duì)環(huán)境要求比較特殊,只針對(duì)特定系統(tǒng),并不通用。針對(duì)上述手勢(shì)分割和指尖檢測(cè)的需求,文中研究并實(shí)現(xiàn)了一種實(shí)時(shí)手勢(shì)分割和指尖檢測(cè)方法,此方法不借助任何外界設(shè)備,也不對(duì)外界環(huán)境做特殊限制,能對(duì)手勢(shì)進(jìn)行精確的分割并實(shí)現(xiàn)多個(gè)指尖的檢測(cè),實(shí)驗(yàn)證明此方法魯棒性強(qiáng),可應(yīng)用于實(shí)際系統(tǒng)中。1操作中斷手勢(shì)分割的目的是實(shí)現(xiàn)前景和背景的實(shí)時(shí)分離,并保證分割的準(zhǔn)確度,本文采用以下三個(gè)步驟進(jìn)行手勢(shì)分割,實(shí)現(xiàn)前景的逐步分割。1.1基于ycbcr的閾值轉(zhuǎn)換手圖像的膚色信息進(jìn)行手分割的基礎(chǔ),在計(jì)算機(jī)視覺(jué)中,色彩空間主要有RGB,HSV,YIQ,YCbCr等。根據(jù)EnaminDZarit等人對(duì)膚色在這些彩色空間的分布,以及實(shí)際在檢測(cè)中性能的分析結(jié)果,選擇在YCrCb彩色空間中進(jìn)行膚色檢測(cè)。RGB空間到Y(jié)CrCb空間的轉(zhuǎn)換公式如下:檢測(cè)過(guò)程中,YCbCr空間中亮度和色度的分離度越大越好,但在實(shí)際的操作中色度值對(duì)亮度值總是存在著一定的非線性的依賴關(guān)系。因此需要對(duì)YCbCr空間進(jìn)行了一次非線性的轉(zhuǎn)換,用來(lái)消除色度對(duì)亮度的依賴關(guān)系,用Cl(Y)表示原始顏色空間Cl′(Y),表示非線性轉(zhuǎn)換后空間,轉(zhuǎn)換公式為式(3)中變量均為實(shí)驗(yàn)得到的常數(shù)值。依據(jù)上述式(1)、(2)、(3),計(jì)算像素點(diǎn)的Cb,Cr值與膚色平均值之差,如果小于一個(gè)預(yù)先設(shè)定的閾值Cthre,則判定該點(diǎn)為膚色。實(shí)際環(huán)境中,為增強(qiáng)分割的魯棒性,采用直方圖聚類方法實(shí)現(xiàn)閾值的自適應(yīng)更新。對(duì)于檢測(cè)第一幀,手動(dòng)選取手圖像部分區(qū)域?qū)ζ溥M(jìn)行直方圖聚類,根據(jù)此直方圖波峰與波谷特征確定膚色均值與閾值Cthre。當(dāng)前幀圖像檢測(cè)完畢后再對(duì)已經(jīng)分割好的手輪廓內(nèi)的像素進(jìn)行直方圖統(tǒng)計(jì)得到下一幀檢測(cè)的膚色均值和閾值Cthre,其中手輪廓的提取將在文中后兩節(jié)介紹。從實(shí)時(shí)性考慮,文中沒(méi)有采用較大運(yùn)算量的背景模型,而僅通過(guò)直方圖得到的閾值對(duì)像素進(jìn)行簡(jiǎn)單的閾值分割,由于此方法只需對(duì)像素進(jìn)行一次遍歷,時(shí)間效率非常高,盡管在初始分割過(guò)程中會(huì)存在一些干擾噪點(diǎn)和空洞點(diǎn)(如圖4中(b)所示),后續(xù)步驟中將通過(guò)其他方法對(duì)初步分割的圖像進(jìn)行修正。1.2廓像素點(diǎn)分布輪廓提取的目的是能夠找到感興趣區(qū)域與背景的閉合曲線,文中采用Freeman鏈碼搜索算法對(duì)所有離散像素點(diǎn)進(jìn)行輪廓搜尋,并通過(guò)鏈碼輪廓的幾何信息來(lái)消除干擾點(diǎn)以及填充空洞點(diǎn)。假設(shè)初步分割后的輪廓像素點(diǎn)分布如圖1所示,根據(jù)Freeman鏈碼的性質(zhì),可以對(duì)一個(gè)像素點(diǎn)(設(shè)為p)的八鄰域進(jìn)行試探識(shí)別。如果是邊緣像素,則該點(diǎn)(設(shè)為q)就是p點(diǎn)的后繼邊緣點(diǎn),但p點(diǎn)鄰域存在2個(gè)非輪廓點(diǎn)F1和F2,跟蹤輪廓的關(guān)鍵是屏蔽這2個(gè)點(diǎn)。假設(shè)跟蹤輪廓的方向?yàn)轫槙r(shí)針,則前驅(qū)鏈碼字為0(從o點(diǎn)到p點(diǎn)),對(duì)p點(diǎn)的后繼邊緣點(diǎn)的跟蹤按照鏈碼方向3,2,1,0,7,6,5,4的順序進(jìn)行判斷,一旦判斷出灰度值不為0的像素q,這點(diǎn)就是后繼邊緣點(diǎn),非輪廓點(diǎn)F1和F2已經(jīng)屏蔽并且內(nèi)部空洞點(diǎn)已經(jīng)填充。根據(jù)幾何信息只保留面積大于一定閾值的輪廓,其他細(xì)小輪廓視為干擾源丟棄,如圖4中(c)所示。1.3均勻采樣法擬合形貌經(jīng)過(guò)鏈碼提取的輪廓已經(jīng)將手前景圖像進(jìn)行了初步分割,但邊緣仍存在干擾像素引起的鋸齒或者凹凸,因此文中進(jìn)一步通過(guò)等分抽取手輪廓邊緣點(diǎn)進(jìn)行分段三次樣條曲線擬合方法對(duì)邊緣進(jìn)行擬合和平滑,處理后的輪廓視覺(jué)上更加合理同時(shí)也將更加有利于手指的精確定位,擬合算法闡述如下:從三次樣條函數(shù)擬合方法可知根據(jù)四個(gè)型值點(diǎn)p0,p1,p2,p3的值可以確定p1,p2之間的樣條函數(shù)公式。根據(jù)這個(gè)公式和一定的步長(zhǎng)step,就可以插值出p1,p2之間的一系列點(diǎn)q1,q2,...,qn。依次用線段連接這些點(diǎn),就得到用折線段按擬合出來(lái)的樣條曲線。如圖2所示。根據(jù)上述算法,對(duì)手圖像邊緣點(diǎn)進(jìn)行等分均勻采樣,可以得到型值點(diǎn)p0,p1,p2,...,pn-3,pn-2,pn-1,對(duì)其依次采用分段擬合方法:1)擬合p0,p1,p2,p3得到p1,p2間的點(diǎn):q11,q12,q13,...,q1m。2)擬合q1m,p2,p3,p4得到p2,p3間的點(diǎn):q21,q22,q23,...,q2m。按上述步驟可一直擬合出:pn-3,pn-2間的點(diǎn)。由于分割出的圖像邊緣的不同部分有不同的曲率,曲率變化頻繁的部分(如指尖部位)就需更精細(xì)的擬合,故可采用對(duì)樣條曲線曲率閾值進(jìn)行判定的自適應(yīng)算法來(lái)進(jìn)一步擬合手圖像的邊緣。首先計(jì)算出相鄰的兩型值點(diǎn)及其構(gòu)造的樣條曲線段的中值點(diǎn)所確定的圓的曲率半徑,并將計(jì)算值與對(duì)應(yīng)的邊緣分割線上相鄰兩個(gè)等分點(diǎn)及其中點(diǎn)所確定圓的曲率半徑進(jìn)行比較,若差值大于設(shè)定的閾值,則對(duì)該段三次樣條曲線段進(jìn)行型值點(diǎn)的內(nèi)插以及三次樣條曲線段的重構(gòu)。邊緣分割線上曲率變化越頻繁的地方,其所抽取的型值點(diǎn)就越密集,因而選取這樣的型值點(diǎn)序列來(lái)構(gòu)三次樣條曲線將有利于對(duì)邊緣分割線的擬合,可以實(shí)現(xiàn)優(yōu)化的自適應(yīng)選擇擬合。如圖3中所示,大圓是樣條曲線段的端點(diǎn)型值點(diǎn)及其樣條線中點(diǎn)(即pipimpi+1)構(gòu)成的曲率圓,小圓是由邊緣分割線上相鄰的等分點(diǎn)及其中點(diǎn)(即qiqimqi+1,其中qi=pi,qi+1=pi+1)所確定的曲率圓。計(jì)算出型值點(diǎn)pi和pi+1之間的樣條曲率圓半徑Rb與分割線樣點(diǎn)曲率圓半徑Rc之差為將ΔR與預(yù)設(shè)的閾值進(jìn)行比較,以決定是否將qim作為細(xì)分該樣條曲線段的新的型值點(diǎn)內(nèi)插到原先的qi、qi+1之間,以便使重新構(gòu)造的三次樣條曲線段進(jìn)一步逼近輪廓線。選取每段等分段邊緣像素點(diǎn)個(gè)數(shù)12(圖像分辨率640×480),擬合后的結(jié)果如圖4中(d)所示,可見(jiàn)手輪廓邊緣已經(jīng)更加精準(zhǔn)平滑。以上三個(gè)步驟實(shí)現(xiàn)了手勢(shì)分割,雖然步驟較多但每個(gè)步驟算法均簡(jiǎn)單快速,此方法分割后的手圖像前景與背景分割完全,圖4顯示了前景圖像由粗到細(xì)的分割過(guò)程,這為后期指尖位置的檢測(cè)以及各種手勢(shì)特征的提取做了很好的準(zhǔn)備。2齒輪型值點(diǎn)的檢測(cè)目前指尖檢測(cè)算法中,模板匹配方法的使用最為廣泛的,但由于其算法必須滑動(dòng)模板遍歷圖像進(jìn)行匹配,而且其時(shí)間效率并不高。輪廓分析方法是根據(jù)輪廓邊緣的幾何特征實(shí)現(xiàn)指尖定位,如文獻(xiàn)中根據(jù)輪廓邊緣曲率檢測(cè)輪廓,文獻(xiàn)中采用最小二乘橢圓擬合的方式檢測(cè)指尖,這類算法對(duì)輪廓精度要求較高,但檢測(cè)精度高、速度快。從本文手勢(shì)分割的結(jié)果可以發(fā)現(xiàn)手指的形狀是由兩條近似平行的直線和直線之間接近半圓的曲線組成,因此可以利用此特征對(duì)指尖進(jìn)行檢測(cè)。首先根據(jù)上節(jié)擬合過(guò)程中得到的曲率圓半徑值把整個(gè)輪廓型值點(diǎn)格式化為直線和曲線的集合。設(shè)定一個(gè)曲率圓半徑閾值Kthre,根據(jù)此閾值對(duì)邊緣型值點(diǎn)進(jìn)行分類。假設(shè)已經(jīng)得到型值點(diǎn)對(duì)應(yīng)的曲率圓半徑大于Kthre的一段連續(xù)的點(diǎn)pm+1,pm+2,pn(n≥m),則求出其中第一個(gè)點(diǎn)pm和最后一個(gè)點(diǎn)pn之間的距離,設(shè)定一個(gè)直線長(zhǎng)度的閾值,若pm和pn之間的距離大于該閾值,則連接pm和pn作為一條直線。其余輪廓上直線以外的點(diǎn)和點(diǎn)之間作為曲線。這樣,所有輪廓邊緣型值點(diǎn)被格式化為直線與曲線相間的集合。對(duì)于集合中的每條直線li若同時(shí)滿足以下兩個(gè)條件:1)li與相鄰的下一條直線li+1的夾角小于一個(gè)閾值Lthre,則可認(rèn)為li與li+1近似平行。2)li與li+1之間的曲線Ci的長(zhǎng)度大于一個(gè)閾值Lthre,而且兩直線間的型值點(diǎn)曲率圓半徑值在一定閾值范圍之內(nèi),則可認(rèn)為Ci是指尖輪廓的曲線。兩條直線li,li+1以及二者之間的曲線Ci共同構(gòu)成手指的輪廓。而曲線Ci的中點(diǎn)即可被認(rèn)為是指尖的位置。3實(shí)驗(yàn)結(jié)果和分析為測(cè)試文中方法的正確性,隨機(jī)選取了處理過(guò)程中的50幀圖片來(lái)統(tǒng)計(jì)手勢(shì)分割和指尖檢測(cè)結(jié)果。硬件采用PentiumD2.4G計(jì)算機(jī),羅技USB攝像機(jī)。圖5給出了一些實(shí)驗(yàn)結(jié)果。結(jié)果表明在光照不發(fā)生突變的情況下分割手輪廓準(zhǔn)確,定位指尖精準(zhǔn),對(duì)于手指的指向、手指運(yùn)動(dòng)的快慢、攝像頭的高度、左右手的指尖檢測(cè)是非常魯棒的。表1中記錄了處理不同分辨率圖像下各算法過(guò)程平均所花費(fèi)的時(shí)間。表2中記錄了本文方法與曲率法和橢圓擬合法檢測(cè)指尖的時(shí)間和精度(指尖實(shí)際位置由人眼判斷)。從結(jié)果可以看出本文指尖定位算法時(shí)間效率與檢測(cè)精度都較高,指尖檢測(cè)過(guò)程中產(chǎn)生誤差的原因有兩個(gè),一是手勢(shì)分割時(shí)的輪廓精度不足影響指尖檢測(cè),二是由于在某些手勢(shì)下指尖不一定位于曲線中點(diǎn)處導(dǎo)致誤差產(chǎn)生。4系統(tǒng)的選擇及應(yīng)用文中提出了一種魯棒而快速的人手指尖檢測(cè)方法。該方法和傳