三種簡單手勢識別20課件

1、簡單手勢識別第1頁，共20頁。一、背景 隨著計算機的發(fā)展，人機交互技術由傳統(tǒng)的鼠標鍵盤時代發(fā)展到了以語音輸入、動作識別等技術為代表的自然交互時代n1。特別是視覺計算技術的發(fā)展，使計算機獲得了初步視覺感知的能力，能“看懂”用戶的動作。手勢識別作為一種直觀自然的輸入方式，把人們從傳統(tǒng)接觸性的輸入裝置中解放出來，可以以一種更自然的方式與計算機交互，使計算機界面變得更加易引。手勢主要分為靜態(tài)手勢和動態(tài)手勢兩種，動態(tài)手勢可以看作是連續(xù)的靜態(tài)手勢序列。動態(tài)手勢具有豐富和直觀的表達能力，與靜態(tài)手勢結合在一起，能創(chuàng)造出更豐富的語義。利用動態(tài)手勢識別構建新型的交互界面，是新一代的人機交互界面對輸入方式自然性的要

2、求，可以彌補傳統(tǒng)交互方式的不足?；谝曈X和手勢識別研究正處于蓬勃發(fā)展的階段，仍存著的許多值得研究的問題。研究基于視覺的動態(tài)手勢識別對于構建更加好友的人機交互界面很有意義。第2頁，共20頁。二、手勢識別概述 手勢是姿勢的一個子集，姿勢這個概念沒有精確的定義。一般認為，手勢概念經(jīng)過人的手轉化為的手勢動作，觀察者看到的是手勢動作的圖像。手勢的產(chǎn)生過程如圖2-1所示。圖2-1 手勢的產(chǎn)生過程手勢識別的過程則找一個從圖像V到概念動作G的變換而，如圖2-2所示。2.1、手勢識別的概念第3頁，共20頁。2.2、手勢識別流程 隨著計算機的發(fā)展，人機交互技術由傳統(tǒng)的鼠標鍵盤時代發(fā)展到了以語音輸入、動作識別等技術

3、為代表的自然交互時代n1。特別是視覺計算技術的發(fā)展，使計算機獲得了初步視覺感知的能力，能“看懂”用戶的動作。手勢識別作為一種直觀自然的輸入方式，把人們從傳統(tǒng)接觸性的輸入裝置中解放出來，可以以一種更自然的方式與計算機交互，使計算機界面變得更加容易。 手勢主要分為靜態(tài)手勢和動態(tài)手勢兩種，動態(tài)手勢可以看作是連續(xù)的靜態(tài)手勢序列。動態(tài)手勢具有豐富和直觀的表達能力，與靜態(tài)手勢結合在一起，能創(chuàng)造出更豐富的語義。利用動態(tài)手勢識別構建新型的交互界面，是新一代的人機交互界面對輸入方式自然性的要求，可以彌補傳統(tǒng)交互方式的不足?；谝曈X和手勢識別研究正處于蓬勃發(fā)展的階段，仍存著的許多值得研究的問題。研究基于視覺的動態(tài)

4、手勢識別對于構建更加好友的人機交互界面很有意義。第4頁，共20頁。2.3、手勢建模 在手勢識別框架中，手勢模型是一個最基本的部分。根據(jù)不同的應用背景，手勢識別采用的模型會有不同，而對于不同的手勢模型，采用的手勢檢測與跟蹤算法、特征提取、識別技術也會有差別。手勢建模主要分為基于表觀的手勢模型與基于三維的手勢模型。第5頁，共20頁。2.4、手勢特征提取 手勢特征的提取是與手勢模型密切相關的，不同的手勢模型會有不同有手勢特征。例如基于模型的手勢模型有手的每個關節(jié)的狀態(tài)特征，基于表觀模型的手勢特征是輪廓特征、位置特征等。靜態(tài)手勢識別和動態(tài)于勢識別的特征也不同，靜態(tài)手勢的特征只是描述的手的靜態(tài)信息，例如

5、輪廓、面積等。動態(tài)手勢特征是連續(xù)的靜態(tài)特征序列。第6頁，共20頁。三、手勢識別 常用的靜態(tài)手勢特征有輪廓、位置、面積、分布等。 本文主要利用對手勢面積大小的識別來達到手勢識別的目的，這里直接比較手型面積有交大困難。在手勢的定位與分割時，產(chǎn)生了手勢區(qū)域的方框，我們運用這個面積來代替手勢的面積，具有較好的效果。當用攝像頭采集到手勢時，先將采集到的手勢與采集到的手勢庫進行比較，比較得出與攝像頭所得手勢較吻合的的手勢，在屏幕上顯示相關手勢的名稱。3.1、設計思路第7頁，共20頁。3.2、手勢采集 對于手勢識別，首先得要求有用來對比識別的手勢，我們采集的簡單的手勢有以下幾種：拳頭、布、剪刀。如下圖所示：

6、第8頁，共20頁。第9頁，共20頁。3.3、相關程序 本文的識別程序是在“膚色識別”的基礎上進行一定修改形成的。通過讀程序，我們發(fā)現(xiàn)原程序較慢，我們刪除了一部分無關程序，提高了識別的速度。通過了Cr和Cb來判斷Y的值，再利用Y的面積來判斷不同的手勢。程序詳見報告。第10頁，共20頁。三、手勢識別 常用的靜態(tài)手勢特征有輪廓、位置、面積、分布等。 本文主要利用對手勢面積大小的識別來達到手勢識別的目的，這里直接比較手型面積有交大困難。在手勢的定位與分割時，產(chǎn)生了手勢區(qū)域的方框，我們運用這個面積來代替手勢的面積，具有較好的效果。當用攝像頭采集到手勢時，先將采集到的手勢與采集到的手勢庫進行比較，比較得出

7、與攝像頭所得手勢較吻合的的手勢，在屏幕上顯示相關手勢的名稱。3.1、設計思路第11頁，共20頁。3.4、識別結果 對于不同的手勢所得識別結果如下：第12頁，共20頁。第13頁，共20頁。第14頁，共20頁。第15頁，共20頁。由識別結果可以看出：在合適位置隨著手勢的變換，在屏幕上顯示的文字作相應變化。實驗中發(fā)現(xiàn)，在不同攝像頭背景下，實驗結果存在較大差別，于是，我們采取了純黑色的背景進行實驗。第16頁，共20頁。四、實驗總結 手勢識別技術的實現(xiàn)使人機交互更近一步，提高了人機交互的能力，對生產(chǎn)生活有很大的好處。通過查閱相關資料，我們認識到了手勢識別在各方面的實際意義。本次實驗實現(xiàn)了較為簡單的手勢識

8、別，但不足之處較多，還有許多需完善的部分。通過這次DSP課程學習，我們覺得在做實驗時我們應該先確定自己實驗的目標，本次實驗我們欠缺一定討論，一開始對實驗的方向不太明確，之后是在實驗過程中才慢慢發(fā)現(xiàn)運用面積大小對手勢進行識別能產(chǎn)生較好效果。 -田偉民第17頁，共20頁。以前也學過一點圖像處理的的基本知識，也學過PHOTOSHOP的軟件，也對圖像的處理比較感興趣，所以選擇了這個課程。在DSP圖像處理里面也學到了很多的東西尤其是圖像的顯示的最基本的知識，從采集，編碼，到輸出。對我來說意義最大的是用程序來實現(xiàn)了圖像的處理，以前都是用軟件來處理的，這是我接近計算機的方法更近了一步。DSP課程對我來說最難

9、的是C語言編程，我們花了很多的時間在C語言的編程上，開始的時候總是在改子程序，讀程序，后來開始嘗試一些自己寫字程序。在不斷的嘗試中摸索出來了一些方法和技巧，收獲了不少的東西無論是圖像處理上還是在編程上。我們總是在不斷地嘗試中，不斷地努力中，漸漸形成了自己的想法和思路。 -溫興泵第18頁，共20頁。 通過這次實驗，我們幾個人分工合作，達到了很好的效果！首先，通過對程序的熟悉掌握相關的知識點，并能運用其知識點進行自己的設計，把前面幾次的實驗的討論的結果成果運用在了這次的實驗中，我們從顯示字到畫矩形邊框，再到比較框里面的白色的面積比例確定顯示哪個字符，這個完全是不斷比較程序?qū)嵺`出來的，同時，我們對以前的顯示輪廓的程序進行改進，實現(xiàn)了能夠快速切換攝像頭的功能，從而使界面平滑流暢，可以方便快捷地進行測試，達到了很好的效果！這次實驗，幾個人搞了很長的時間，首先是程序的熟悉方面就花了大概半天的時間，然后反復實驗反復修改，最后總算書縣的我們想要