手勢(shì)識(shí)別總結(jié)學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1手勢(shì)手勢(shì)(shush)識(shí)別總結(jié)識(shí)別總結(jié)第一頁，共20頁。 手勢(shì)手勢(shì)(shush)類型類型l 靜態(tài)手勢(shì)識(shí)別（手型）靜態(tài)手勢(shì)識(shí)別（手型）l 動(dòng)態(tài)手勢(shì)識(shí)別（動(dòng)作及軌跡）l RGB相機(jī)相機(jī)l 紅外相機(jī)（主動(dòng)、被動(dòng)）l 加速度傳感器l 深度相機(jī)（雙目、 結(jié)構(gòu)光、 TOF）第1頁/共20頁第二頁，共20頁。 基于手勢(shì)基于手勢(shì)(shush)分割分割 基于基于(jy)手勢(shì)檢測(cè)手勢(shì)檢測(cè)l 選擇合適的特征l 準(zhǔn)備大量訓(xùn)練樣本l 算法復(fù)雜度較高l 算法復(fù)雜度低l 難于分割完整的手勢(shì)l 對(duì)光照比較敏感第2頁/共20頁第三頁，共20頁。手勢(shì)手勢(shì)(shush)識(shí)識(shí)別別手勢(shì)手勢(shì)(shush)輸輸入入特征提取特征提取

2、誤差補(bǔ)償、濾波、預(yù)處理預(yù)處理手勢(shì)分割、手勢(shì)跟蹤、分類、建模訓(xùn)練、匹配第3頁/共20頁第四頁，共20頁。第4頁/共20頁第五頁，共20頁。手勢(shì)手勢(shì)(shush)分分類器類器采集手勢(shì)采集手勢(shì)(shush)樣本樣本選擇分類選擇分類算法算法選擇選擇特征特征訓(xùn)練訓(xùn)練過程：識(shí)別過程：手勢(shì)類別及位手勢(shì)類別及位置置采集圖像采集圖像手勢(shì)分類手勢(shì)分類器器多尺度多尺度處理處理分類第5頁/共20頁第六頁，共20頁。圖中黑色矩形所有(suyu)像素值的和減去白色矩形所有(suyu)像素值的和。第6頁/共20頁第七頁，共20頁。1.將一幅圖片劃分(hu fn)為若干的子區(qū)域，對(duì)每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)都提取LBP特征。2

3、.在每個(gè)子區(qū)域內(nèi)建立LBP特征的統(tǒng)計(jì)直方圖。整個(gè) 圖片就由若干個(gè)統(tǒng)計(jì)直方圖組成第7頁/共20頁第八頁，共20頁。第8頁/共20頁第九頁，共20頁。第9頁/共20頁第十頁，共20頁。第10頁/共20頁第十一頁，共20頁。第11頁/共20頁第十二頁，共20頁。訓(xùn)練訓(xùn)練(xnlin)(xnlin)程序程序opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -pre

4、calcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL 訓(xùn)練樣本訓(xùn)練樣本opencv_createsamples.exe -info pos.dat -vec pos.vec -num 15400 -w 18 -h 30 pause第12頁/共20頁第十三頁，共20頁。 積極積極(jj)(jj)樣本多樣性樣本多樣性積極積極(jj)(jj)樣本背景隨機(jī)性樣本背景隨機(jī)性 消消極樣本結(jié)合場(chǎng)景極樣本結(jié)合場(chǎng)景 積極樣本旋轉(zhuǎn)積極樣本旋轉(zhuǎn)特征選擇特征選擇第13頁/共20頁第十四頁，共20

5、頁。 獲取獲取(huq)(huq)手勢(shì)的摳圖手勢(shì)的摳圖將手勢(shì)摳圖合成到隨機(jī)將手勢(shì)摳圖合成到隨機(jī)(su (su j)j)背景背景縮放到合適尺寸縮放到合適尺寸第14頁/共20頁第十五頁，共20頁。速率速率(sl)(sl)較快（較快（30-50ms30-50ms）對(duì)光照對(duì)光照(gungzho)(gungzho)不敏感不敏感對(duì)不同攝像機(jī)適用性強(qiáng)對(duì)不同攝像機(jī)適用性強(qiáng)對(duì)圖像質(zhì)量要求不高對(duì)圖像質(zhì)量要求不高第15頁/共20頁第十六頁，共20頁。 樣本樣本(yngbn)(yngbn)處理要求高（尺寸，背景，光處理要求高（尺寸，背景，光照，多樣）照，多樣） 后期升級(jí)訓(xùn)練困難（手工后期升級(jí)訓(xùn)練困難（手工(shugn

6、g)(shugng)裁剪裁剪或標(biāo)注樣本）或標(biāo)注樣本） 存存在一定程度誤判率（過擬合與泛化）在一定程度誤判率（過擬合與泛化） 特特征不具有旋轉(zhuǎn)不變形（識(shí)別固定姿態(tài)手勢(shì)）征不具有旋轉(zhuǎn)不變形（識(shí)別固定姿態(tài)手勢(shì)）第16頁/共20頁第十七頁，共20頁。采集采集(cij)(cij)多樣性樣本（多樣性樣本（20k20k） 將誤判圖片作為將誤判圖片作為(zuwi)(zuwi)消極樣本再訓(xùn)練消極樣本再訓(xùn)練 收收集實(shí)際識(shí)別圖片手工裁剪樣本集實(shí)際識(shí)別圖片手工裁剪樣本 使用其他的方法進(jìn)行二次判斷（膚色驗(yàn)證及使用其他的方法進(jìn)行二次判斷（膚色驗(yàn)證及SVMSVM）第17頁/共20頁第十八頁，共20頁。深度深度(shnd)(shnd)相機(jī)相機(jī)可分割出手型的二值圖像可分割出手型的二值圖像(t xin)(t xin)（手型輪廓），進(jìn)而通（手型輪廓），進(jìn)而通過輪廓特征進(jìn)行手勢(shì)及動(dòng)作識(shí)別。過輪廓特征進(jìn)行手勢(shì)及動(dòng)作識(shí)別。深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)通過通過CNNCNN卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)選取特征進(jìn)行識(shí)別，樣本量巨大（卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)選取特征進(jìn)行識(shí)別，樣本量巨大（100k1