答辯基于計(jì)算機(jī)視覺(jué)手勢(shì)識(shí)別技術(shù)

會(huì)計(jì)學(xué)1答辯基于計(jì)算機(jī)視覺(jué)手勢(shì)識(shí)別技術(shù)手勢(shì)識(shí)別技術(shù)的研究背景及意義手勢(shì)識(shí)別技術(shù)研究的意義

手勢(shì)識(shí)別的研究可以應(yīng)用于計(jì)算機(jī)輔助啞語(yǔ)教學(xué)、電視節(jié)目雙語(yǔ)播放、虛擬人的研究、電影制作中的特技處理、動(dòng)畫(huà)的制作、醫(yī)療研究、游戲娛樂(lè)等諸多方面，同時(shí)也有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們供更好的服務(wù)；另外，手勢(shì)的研究涉及到教學(xué)、計(jì)算機(jī)圖形學(xué)、機(jī)器人運(yùn)動(dòng)學(xué)、醫(yī)學(xué)等多學(xué)科。因此，手勢(shì)識(shí)別的研究是一個(gè)非常有意義的課題。

靜態(tài)手勢(shì)識(shí)別的基本流程第1頁(yè)/共22頁(yè)全文介紹本文主要研究?jī)?nèi)容

手勢(shì)圖像預(yù)處理

手勢(shì)圖像分割

手勢(shì)特征提取

手勢(shì)圖像分類(lèi)識(shí)別第2頁(yè)/共22頁(yè)手勢(shì)圖像預(yù)處理圖像的平滑空域平滑濾波：

均值濾波法：用所選窗口的所有像素點(diǎn)的平均值來(lái)代替窗口中心點(diǎn)的灰度值。

中值濾波法：把鄰域中的圖像的像素按灰度級(jí)排序后選擇該組的中間值作為像素值。

維納濾波法：維納濾波器是一種自適應(yīng)濾波器，主要根據(jù)區(qū)域內(nèi)的方差來(lái)調(diào)整濾波器輸出

圖像銳化圖像銳化就是補(bǔ)償圖像的輪廓，增強(qiáng)圖像的邊緣灰度有跳變的部分，使圖像的邊緣、輪廓線以及圖像的細(xì)節(jié)變的清晰。第3頁(yè)/共22頁(yè)手勢(shì)圖像預(yù)處理平滑濾波結(jié)果第4頁(yè)/共22頁(yè)手勢(shì)圖像預(yù)處理圖像銳化結(jié)果第5頁(yè)/共22頁(yè)手勢(shì)圖像分割色彩空間

RGB色彩空間YCrCb彩色空間

HSI色彩空間

圖像分割算法基于HSI色彩空間的分割算法

H,S,I三分量之間的相關(guān)性較小，可由色調(diào)H和飽和度S完成獨(dú)立于亮度的彩色區(qū)域分割。

RGB空間圖像轉(zhuǎn)換到HIS空間經(jīng)過(guò)多次試驗(yàn)確定色調(diào)和飽和度上下閾值根據(jù)閾值分類(lèi)像素點(diǎn)第6頁(yè)/共22頁(yè)手勢(shì)圖像分割基于YCrCb色彩空間的分割

利用以下兩式進(jìn)行色彩空間的轉(zhuǎn)換，在轉(zhuǎn)換后的YCrCb色彩空間中進(jìn)行彩色閾值分割?；诟倪M(jìn)的RGB色彩空間的分割算法

利用傳統(tǒng)的方法在RGB空間進(jìn)行手勢(shì)分割，需分別設(shè)定R、G、B三個(gè)分量的閾值。由于亮度值為RGB三分量的平均(左式)，所以傳統(tǒng)方法受光照影響較大。第7頁(yè)/共22頁(yè)手勢(shì)圖像分割

經(jīng)大量研究發(fā)現(xiàn)，雖然RGB色彩模型易受光照影響，但是RGB三種色彩對(duì)應(yīng)三分量的色差值卻保持在一定的范圍之，即受光照影響不大。所以本文的改進(jìn)方法是基于三分量的色差的閾值分割。經(jīng)過(guò)大量的測(cè)算，得出如下式的閾值適合于本次實(shí)驗(yàn)手的膚色。

以上閾值可以得到較為理想的分割手勢(shì)下面對(duì)三種分割算法的分割效果進(jìn)行分析比較第8頁(yè)/共22頁(yè)手勢(shì)圖像分割分割出的手勢(shì)圖像分割前圖像HSI空間彩色分割結(jié)果HSI空間二值分割結(jié)果YCrCb空間二值分割結(jié)果改進(jìn)的RGB空間二值分割結(jié)果第9頁(yè)/共22頁(yè)手勢(shì)特征提取特征提取的目的降維，減小數(shù)據(jù)量

特征提取算法

基于小波變換的特征提取算法

首先要對(duì)手勢(shì)圖像進(jìn)行N級(jí)小波分解，得到3N+1幅子圖像，然后利用含有高頻成分的3N幅子圖像，求得一個(gè)長(zhǎng)度為3N的向量。

基于Hu不變矩的圖像特征提取

Hu矩是一組經(jīng)典的幾何矩不變量，對(duì)圖像旋轉(zhuǎn)、比例和平移具有不變性。

第10頁(yè)/共22頁(yè)手勢(shì)特征提取Hu矩組是圖像中心矩前七個(gè)矩的函數(shù)，Hu將七個(gè)不變矩用作圖像特征向量，Hu矩組反映了圖像的本質(zhì)屬性。

基于Bamieh不變矩的特征提取算法為了減少計(jì)算量，Bamieh提出了Bamieh不變矩，其特征矢量的大小比其他不變矩的要小很多，用以下四個(gè)量值作為特征提取時(shí)的特征量。第11頁(yè)/共22頁(yè)手勢(shì)特征提取實(shí)驗(yàn)結(jié)果及分析

(a)

(b)

(c)

(d)

(e)

(f)(a)原始圖像128*128,(b)64*64圖像,(c)256*256圖像,(d)旋轉(zhuǎn)30°,(e)旋轉(zhuǎn)45°,(f)添加0.01的高斯噪聲第12頁(yè)/共22頁(yè)手勢(shì)特征提取小波變換特征提取結(jié)果原始圖像3.44143.13142.69202.74132.81023.30942.617364*643.45173.00742.79152.78322.81063.21872.6003256*2563.44873.07752.79432.72512.82233.29352.5607旋轉(zhuǎn)30°3.46023.16922.78792.71922.88893.37452.5102旋轉(zhuǎn)45°3.47623.09392.70432.68232.84613.49192.5132噪聲圖像3.40533.12602.70792.54232.81563.30352.40842.42582.59582.43193.50573.48593.12982.61432.82432.52312.59912.45903.47023.43333.05302.61102.91942.50172.53992.48013.47283.49543.09142.79932.82682.61622.53622.38743.66843.56393.16852.72632.81262.67712.54232.50393.62303.51943.15772.57032.74072.52232.33182.33103.51903.48893.13032.61262.8323第13頁(yè)/共22頁(yè)手勢(shì)特征提取Hu不變矩特征提取結(jié)果原始圖像1.47845.81677.24939.094519.69812.07917.02264*641.49415.63677.57638.300020.67711.43116.539256*2561.48165.79597.32158.995919.79111.70217.020旋轉(zhuǎn)30°1.48255.74917.18398.308720.14210.80517.262旋轉(zhuǎn)45°1.47235.94397.18508.306720.16210.80217.246噪聲圖像1.10314.97566.00757.567718.0369.600815.969第14頁(yè)/共22頁(yè)手勢(shì)特征提取Bamieh不變矩的特征提取結(jié)果原始圖像4.438318.5404.57425.137764*644.402118.6254.54815.0463256*2564.410118.9234.51514.9781旋轉(zhuǎn)30°4.407717.3784.64745.5888旋轉(zhuǎn)45°4.407418.0775.65265.5505噪聲圖像4.303418.5484.43685.5610第15頁(yè)/共22頁(yè)手勢(shì)特征提取三種手勢(shì)特征提取方法的比較

Hu不變矩的特征提取結(jié)果顯示：不變矩滿(mǎn)足大小和旋轉(zhuǎn)不變性，但Hu不變矩提取的特征向量在有噪聲存在時(shí)會(huì)發(fā)生較大變化；

小波變換特征提取結(jié)果對(duì)噪聲不太敏感，但是各個(gè)特征量之間差別較小，分類(lèi)效果低。

Bamieh不變矩特征提取結(jié)果：滿(mǎn)足大小和旋轉(zhuǎn)不變性，對(duì)噪聲也不敏感。第16頁(yè)/共22頁(yè)手勢(shì)圖像分類(lèi)識(shí)別人工神經(jīng)網(wǎng)絡(luò)BP學(xué)習(xí)算法工作信號(hào)正向傳播誤差信號(hào)反向傳播概率神經(jīng)網(wǎng)絡(luò)算法求和層輸入層模式層輸出層第17頁(yè)/共22頁(yè)手勢(shì)圖像分類(lèi)識(shí)別手勢(shì)阿拉伯?dāng)?shù)字“1”期望值001001001001001BP算法結(jié)果0.013480.003930.978060.048420.210980.943720.105980.026930.999790.404590.159200.973670.307480.705720.66647手勢(shì)阿拉伯?dāng)?shù)字“2”期望值010010010010010BP算法結(jié)果0.223400.998790.013710.009000.998050.904220.010240.940760.099870.181380.969260.082190.966070.986220.97746手勢(shì)阿拉伯?dāng)?shù)字“3”期望值011011011011011BP算法結(jié)果0.098850.888210.877310.134410.913690.999850.372450.981170.943740.016220.865980.988810.092770.743370.86095手勢(shì)阿拉伯?dāng)?shù)字“4”期望值100100100100100BP算法結(jié)果0.955910.147940.012890.945560.161940.0641520.958580.176820.101070.929880.252040.183110.881250.032620.09776手勢(shì)阿拉伯?dāng)?shù)字“5”期望值101101101101101BP算法結(jié)果0.848280.0332810.986320.985080.317570.898300.809850.349960.845320.554320.886620.999700.098850.859920.99497第18頁(yè)/共22頁(yè)手勢(shì)圖像分類(lèi)識(shí)別Bamieh不變矩提取特征送入PNN網(wǎng)絡(luò)的分類(lèi)結(jié)果

手勢(shì)阿拉伯?dāng)?shù)字“1”期望值11111Pnn識(shí)別結(jié)果11111手勢(shì)阿拉伯?dāng)?shù)字“2”期望值22222Pnn識(shí)別結(jié)果22314手勢(shì)阿拉伯?dāng)?shù)字“3”期望值33333Pnn識(shí)別結(jié)