基于攝像頭的手勢(shì)識(shí)別技術(shù)初步版本.doc

基于攝像頭的手勢(shì)識(shí)別技術(shù)1、手勢(shì)識(shí)別的概念手勢(shì)是姿勢(shì)的一個(gè)子集，姿勢(shì)這個(gè)概念沒(méi)有精確的定義。一般認(rèn)為，手勢(shì)概念經(jīng)過(guò)人的于轉(zhuǎn)化為的于勢(shì)動(dòng)作，觀察者看到的是于勢(shì)動(dòng)作的圖像雎1。手勢(shì)的產(chǎn)生過(guò)程如圖 1-1所示。 圖1-1手勢(shì)識(shí)別的過(guò)程則找一個(gè)從圖像V到概念動(dòng)作G的變換而，如圖下所示。 2、 手勢(shì)識(shí)別流程手勢(shì)識(shí)別流程包手勢(shì)圖像獲取、手勢(shì)分割、手勢(shì)特征提取、手勢(shì)識(shí)別四大部分，如圖2-1所示。 圖2-13. 手勢(shì)建模在手勢(shì)識(shí)別框架中，手勢(shì)模型是一個(gè)最基本的部分。根據(jù)不同的應(yīng)用背景，于勢(shì)識(shí)別采用的模型會(huì)有不同，而對(duì)于不同的手勢(shì)模型，采用的手勢(shì)檢測(cè)與跟蹤算法、特征提取、識(shí)別技術(shù)也會(huì)有差別。手勢(shì)建模主要分為基于表觀的手勢(shì)模型與基于三維的于勢(shì)模型?；诒碛^的手勢(shì)建模是一種二維建模，從二維平面觀察得到的平面圖像信息描述于的特征。 基于表觀的手勢(shì)模型主要包括基于顏色的模型與基于輪廓的模型兩種?；陬伾氖謩?shì)模型是把手勢(shì)圖像看作像素顏色的集合，通過(guò)提取手部的顏色的特征來(lái)描述手勢(shì)?；陬伾氖謩?shì)模型的常用特征是顏色直方圖?；谳喞氖謩?shì)模型是把手看作一個(gè)輪廓，通過(guò)提取手部圖像中手的輪廓的幾何特征來(lái)描述手勢(shì)。4. 手勢(shì)檢測(cè)與跟蹤手勢(shì)檢測(cè)與跟蹤是手勢(shì)識(shí)別處理流程中最前端的處理部分，它處理從攝像頭獲取到手勢(shì)圖像(序列)，從中檢測(cè)和分割手勢(shì)對(duì)象。如果是動(dòng)態(tài)手勢(shì)識(shí)別，還要對(duì)手進(jìn)行跟蹤?；谶\(yùn)動(dòng)信息的方法：基于運(yùn)動(dòng)信息的方法是假設(shè)在視頻中只有手是運(yùn)動(dòng)物體。其中一種方法是背景減法。它要求背景靜止不變，把視頻中的每幀與背景相減，背景相同的部分變?yōu)榱?，不同的部分就認(rèn)為是運(yùn)動(dòng)的物體，即手。另一種方法是幀間差分法 幀間差分，也稱時(shí)域差分，是計(jì)算機(jī)視覺(jué)中最為簡(jiǎn)單快速的前景目標(biāo)(特是運(yùn)動(dòng)前景目標(biāo))檢測(cè)方法。它是基于背景象素點(diǎn)的灰度值和位置都不變的這一則來(lái)檢測(cè)前景目標(biāo)的。對(duì)同一手勢(shì)序列中相鄰兩幀圖像進(jìn)行差分運(yùn)算，這樣能有的保留發(fā)生變化的部分，濾除圖像中保持不變的大部分背景區(qū)域。幀間的方法有很多變種，但最簡(jiǎn)單的就是在連續(xù)的視頻圖像幀間取絕對(duì)分。 S=|R1-R2|+|G1-G2|+|B1-B2|其中，R1, G1, B1和R2, G2, B2分別是當(dāng)前圖像和前一幀圖像中各像素點(diǎn)的RGB分量，通過(guò)計(jì)算S值并與事先給定的某一閡值k進(jìn)行比較，當(dāng)Sk時(shí)，認(rèn)為此像素點(diǎn)屬于變化的區(qū)域，當(dāng)Sk時(shí)，則認(rèn)為該像素點(diǎn)屬于未變化的區(qū)域，從而將其濾除，這樣便得到了一個(gè)新的輸出圖像。5. 手勢(shì)特征提取手勢(shì)特征的提取是與手勢(shì)模型密切相關(guān)的，不同的手勢(shì)模型會(huì)有不同手勢(shì)特征。5.1 靜態(tài)手勢(shì)特征常用的靜態(tài)手勢(shì)特征有輪廓、位置、面積、手指分布等。手的輪廓特征可以連續(xù)的點(diǎn)來(lái)表示。通過(guò)邊緣檢測(cè)算法，把圖像區(qū)域的邊緣檢測(cè)出來(lái)，經(jīng)過(guò)進(jìn)行平滑和多邊形擬合算法處理，得到多邊形的頂點(diǎn)的序列。在提取于的輪廓比較困難的情況下，或者為了提高計(jì)算效率，也可以通過(guò)計(jì)算輪廓的特征作為手勢(shì)特征。例如AWilkowski通過(guò)以手部圖像的外包矩形的邊為坐標(biāo)軸進(jìn)行投影計(jì)算得到輪廓的直方圖作為手的輪廓的特征，如圖5-1所示。圖5-1 手的輪廓特征手的位置特征是指手掌的質(zhì)心位置，質(zhì)心位置可以按公式5-1、公式5-2、公式5-3、公式5-4計(jì)算。手的面積特征通過(guò)計(jì)算手的輪廓的多邊形面積即可。對(duì)于二維圖像，質(zhì)心是通過(guò)計(jì)算零階距和x、Y的一階距得到的。假設(shè)二值化之后的圖像為I(x，Y)，質(zhì)心(Xc，Yc)的計(jì)算公式如下： 5-1 5-2 5-3, 5-4于指特征的提取是一個(gè)關(guān)鍵的技術(shù)。經(jīng)典的手指提取方法是利用手指距離手掌中心最遠(yuǎn)這個(gè)規(guī)律，把于的輪廓點(diǎn)的坐標(biāo)轉(zhuǎn)換成為以手掌中心位置為原點(diǎn)的極坐標(biāo)系，然后分析輪廓曲線中的局部最大值(如圖5-2所示)，最后通過(guò)映射規(guī)則把點(diǎn)的位置映射為手指。由于我們通過(guò)手勢(shì)的動(dòng)作實(shí)現(xiàn)冰雕或雪雕的“捏，擠”等動(dòng)態(tài)的動(dòng)作，所以下面我們著重講解動(dòng)態(tài)手勢(shì)。 動(dòng)態(tài)手勢(shì)特征在動(dòng)態(tài)于勢(shì)中，由于于在空間和時(shí)間兩個(gè)維度是都會(huì)發(fā)生變化，所以動(dòng)態(tài)手勢(shì)特征包含于的位置變化和手的形狀變化。手的位置變化可以通過(guò)計(jì)算手勢(shì)的當(dāng)前位置與上一個(gè)位置之間和位置偏移量得到。假設(shè)手的運(yùn)動(dòng)前后位置為()和()，則可以計(jì)算出運(yùn)動(dòng)方向的角度，最后把進(jìn)行量化得到對(duì)應(yīng)的方向編碼。 圖：5-1手勢(shì)運(yùn)動(dòng)方向編碼通過(guò)計(jì)算于勢(shì)運(yùn)動(dòng)軌跡相鄰點(diǎn)之間位移，得到運(yùn)動(dòng)的方向編碼，組成手勢(shì)運(yùn)動(dòng)向量特征?；谀０迤ヅ涞姆椒ɑ谀０迤ヅ涞姆椒ㄊ遣杉o態(tài)手勢(shì)作為樣本，提取特征作為模板特征庫(kù)。在識(shí)別時(shí)把輸入的手勢(shì)特征與模板庫(kù)的模板進(jìn)行匹配。其中比較經(jīng)典的使用彈性圖匹配(Elastic Graph Matching)方法。在基于模板的識(shí)別方法中比較重要的是定義特征的距離函數(shù)。距離函數(shù)需要根據(jù)特征的特點(diǎn)來(lái)選取的。張國(guó)良、吳江琴、高文等人采用改進(jìn)的Hausdorff距離來(lái)進(jìn)行手勢(shì)識(shí)別。Hausdorff距離是用來(lái)度量?jī)蓚€(gè)集合之間的相似度，它的數(shù)學(xué)定義如下：A和B是兩個(gè)集合，元素個(gè)數(shù)分別是n和m。其中表示元素a和b的距離。6、動(dòng)態(tài)手勢(shì)識(shí)別動(dòng)態(tài)手勢(shì)是具有時(shí)間和空間變化，手勢(shì)特征量化編碼之后成為時(shí)間上的符號(hào)序列。目前有許多方法可以對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行分類。直方圖(Histogram)圖像處理領(lǐng)域最基本的直方圖技術(shù)在某些情況下用于動(dòng)態(tài)手勢(shì)識(shí)別是非常有效的。直方圖能反映手勢(shì)序列的整體特征。雖然它丟失了序列的時(shí)間特征，但是在一些手勢(shì)種類少而且運(yùn)動(dòng)軌跡區(qū)別明顯的手勢(shì)識(shí)別應(yīng)用，不失為一種好選擇，它的識(shí)別處理效率很高。動(dòng)態(tài)時(shí)間規(guī)整(DTlr，Dynamic Time Warping)經(jīng)典方法動(dòng)態(tài)時(shí)間規(guī)整(DTW，Dynamic Time Warp