一種多點觸控手勢識別算法的研究

一種多點觸控手勢識別算法的研究

1多點觸控技術(shù)點火線技術(shù)是一種新型的引擎技術(shù)。與傳統(tǒng)的單點網(wǎng)格技術(shù)相比，它可以同時檢測和識別多個觸發(fā)點的位置和數(shù)量，并提供一個更豐富的相互作用技術(shù)。2007年,蘋果公司的iPhone手機和微軟公司的surface桌面式計算機兩款新產(chǎn)品的發(fā)布,將多點觸控技術(shù)引入主流消費品市場,讓普通用戶真正享受這一技術(shù)帶來的便利。2009年微軟發(fā)布的操作系統(tǒng)Windows7提供了對多點觸控技術(shù)的支持,使多點觸控進入人機交互新時代。2011年,搭載谷歌安卓系統(tǒng)的觸屏手機進入了主流消費市場,在全球的市場份額首次超過塞班系統(tǒng),多點觸控技術(shù)成為主流的觸控技術(shù)?？梢灶A見,在未來多點觸控技術(shù)將逐步取代傳統(tǒng)的鍵盤、鼠標,成為人機交互的主流技術(shù)。但是,多點觸控技術(shù)在國內(nèi)發(fā)展的時間短,技術(shù)方案尚有欠缺,一些核心技術(shù)及專利屏障為多點觸控技的進一步發(fā)展形成一定的阻礙。觸摸精度低,錯誤率高,手易疲勞性以及由于手勢擴展麻煩等問題,這些都在一定程度上制約了基于多點觸控的雙手交互技術(shù)的發(fā)展。同時,針對移動設(shè)備觸摸屏的多點觸控手勢識別算法十分匱乏,這嚴重的限制了多點操作的進一步應用。本文針對多點觸控技術(shù)中手勢功能較少,借鑒計算機快捷鍵(Ctrl+A、Ctrl+V等),設(shè)計了一系列新的手勢,并利用基于相對高度的曲線特征提取算法進行手勢特征提取、識別,在移動設(shè)備觸摸屏上實現(xiàn)了傳統(tǒng)計算機中的相應的快捷鍵功能,幫助用戶更好地從傳統(tǒng)計算機到觸控設(shè)備的過渡。2多點觸控技術(shù)目前的觸控手勢分為單點和多點兩種,單點觸摸手勢主要有:單擊(Tap)、雙擊(DoubleTap)、拖拽(Drag)、輕彈(Fling)、按壓(Press)等,多點觸摸手勢主要有:旋轉(zhuǎn)(Rotate)、捏(Pinch)、展開(Spread)、按壓并單擊(PressandTap)、按壓并拖拽(PressandDrag),下表列出了這些手勢的圖示名稱和動作描述:從上表來看,相對于傳統(tǒng)的單點觸控技術(shù)而言,多點觸控實現(xiàn)的功能更加豐富,但就目前情況而言,手勢功能相對較少,并沒有完全發(fā)揮多點觸控的優(yōu)勢。下一節(jié)中,本文將對計算機中使用頻率較高的快捷鍵,設(shè)計新的觸控手勢,從而進一步豐富多點觸控交互技術(shù),幫助用戶逐步擺脫對傳統(tǒng)鍵盤、鼠標的依賴。3項目的實現(xiàn)3.1便捷的業(yè)務應用用戶在使用計算機過程中,不可避免地使用到快捷鍵,快捷鍵的使用使工作更加高效、快速、準確地完成,因此快捷鍵在辦公、娛樂、文件管理等方面發(fā)揮著巨大作用。計算機中的快捷鍵很多,且很多快捷鍵功能并不常用,表2中列出了Windows系統(tǒng)下幾個使用頻率較高的快捷鍵。3.2利用用戶直觀形象進行設(shè)計為了能更好地幫助用戶進行人機交互,觸控手勢的設(shè)計應便于用戶理解和使用,為此,設(shè)計時應遵循以下原則:(1)直觀性原則:所設(shè)計的手勢應符合用戶的直觀印象,如對圖片進行“展開(Spread)”操作表示對圖片進行放大,對圖片進行“捏(Pineh)”操作,表示對圖片進行縮小。(2)實用性原則:所設(shè)計的手勢功能必須是用戶使用頻率最高、最常用的功能,以便用戶更好地進行人機交互。(3)簡潔性原則:所設(shè)計的手勢應盡量簡潔,做到簡單明了,設(shè)計的手勢不涉及復雜的軌跡,以便用戶快速地掌握并使用。3.3項目的自動設(shè)計根據(jù)3.2中的原則,設(shè)計手勢如表3所示?？紤]到快捷方式的使用頻率,本文暫只設(shè)計以上幾種手勢。4多點觸控全網(wǎng)識別本文中,所設(shè)計的多點手勢較為簡單,識別時可分別對Ai代表的二維曲線進行識別,因此多點觸控手勢識別可看作多個單點觸控手勢識別。特征提取算法多點觸控手勢分割成多個單點觸控手勢后,對于每個單點手勢,本文采用基于相對高度的曲線特征提取算法進行曲線特征提取,該算法描述如下:(1)分割判斷曲線的步驟第一步:求出離曲線的端點連線最遠的點P和曲線的相對高度,并存放相對高度在二叉樹的根節(jié)點。第二步:不妨設(shè)曲線的起點為A、P分曲線為兩段。計算曲線AP的相對高度h1,并存放在相應左子樹的根節(jié)點上。計算曲線BP的相對高度h2,存放在右子樹根節(jié)點上。第三步:ifh1<constthen終止曲線AP的分割判斷曲線的起點,else轉(zhuǎn)二步。第四步:ifh2<constthen終止曲線PB的分割判斷曲線的起點,else轉(zhuǎn)二步。第二步:求出曲線的直徑AB、左曲線和右曲線。第三步:計算左曲線的相對高度,右曲線的相對高度,分別存放在左、右子樹的節(jié)點。左、右曲線的最高點分左、右曲線成4段。第四步:對于每一段曲線,如果帶有分割前曲線的起點,則相對高度放在其左子樹的節(jié)點。否則,存放在其右子樹的節(jié)點。如果相對高度小于某一常數(shù),則終止這段曲線的分割。否則,繼續(xù)分割曲線,轉(zhuǎn)第四步。任何一條曲線,經(jīng)過上述的曲線提取算法后都會轉(zhuǎn)化為一棵二叉樹。二叉樹的層數(shù)由事前設(shè)定的相對高度閾值const決定。理論上,如果const取無窮小,那么曲線可以轉(zhuǎn)化為一棵無窮大的二叉樹。為了進行比較的方便,按照完全二叉樹的次序遍歷節(jié)點。對于空的節(jié)點,添補0。5分析的實驗和結(jié)果5.1實驗版本和使用本實驗基于Android平臺,在Windows7(64位)操作系統(tǒng)中,利用JDK+Eclipse+AndroidSDK搭建安卓開發(fā)環(huán)境。(1)JDK:java程序的編譯環(huán)境,包括javaME(移動版)、javaSE(標準版)、javaEE(企業(yè)版)三個版本,沒有jdk,java程序?qū)o法進行編譯。本實驗應用的是javaSE,版本為1.7.0_52。(2)Eclipse:著名的跨平臺開源集成開發(fā)環(huán)境(IDE),最初主要用來進行Java語言開發(fā)(需要先裝jdk),也可通過加入插件使其作為C++、Python、PHP等其他語言的開發(fā)工具(本實驗中Android使用java語言開發(fā))。從2006年起,Eclipse基金會每年都會發(fā)布新版本的Eclipse,本文使用的是Eclipse4.2。(3)AndroidSDK:Android軟件開發(fā)包,主要用于Android開發(fā)包的管理、Android虛擬設(shè)備的管理。要運行AndroidSDK,需先安裝JDK。5.2實驗用android平臺實驗平臺搭建好后,接下來就開始進行實驗。一般情況下,Android軟件可以在電腦上的模擬器中運行,也可以在實體機中運行。但本實驗中,由于涉及多點觸控,而電腦鼠標只能輸入單點,故本實驗只能用支持多點觸控的Android設(shè)備運行。本實驗中用到的是支持多點觸控的Android2.3.3設(shè)備。本實驗程序基于Android繪圖功能,設(shè)計手勢繪制界面,利用Android多點觸控事件的支持,對觸摸坐標進行記錄,程序流程如圖2所示。程序界面:程序界面主要分為手勢添加和手勢識別。添加手勢:繪制需加入到手勢庫中的手勢,經(jīng)特征提取后,加入手勢庫。手勢識別:繪制需檢測的手勢。算法處理:利用第4部分設(shè)計的算法對所繪手勢進行處理。進行識別:對所要識別的手勢進行算法處理后,搜索手勢庫進行匹配。5.3多點觸控相對高度調(diào)控本實驗中,識別分為三步:觸點采集、特征提取、手勢識別。(1)觸點采集:此過程主要是得到觸點集。本實驗中,利用Androi系統(tǒng)中提供的多點觸摸事件處理函數(shù)onTouchEvent對觸摸事件進行監(jiān)測,利用getX()和getY()方法得到觸摸點坐標。(2)特征提取:此過程主要是利用第4部分提出的基于相對高度的曲線特征提取算法對手勢進行特征提取,提取后的將相應的手勢特征存儲到手勢庫中。(3)手勢識別:此過程主要是對所繪手勢進行特征提到后,與手勢庫中的手勢進行匹配,若匹配成功,則輸出相應的手勢名稱,否則匹配失敗,程序結(jié)束。5.4動手識別功能程序總界面如圖4所示,此時手勢庫中無任何手勢。點擊“添加手勢”按鈕則進入手勢添加界面(圖5),圖6中手勢已經(jīng)加入了手勢庫中,從理論上講,加入到手勢庫中的手勢并無數(shù)量限制。點擊“識別”按鈕,程序則進入手勢識別界面(圖7)。識別時,將所要進行識別的手勢繪制在手勢識別區(qū)域即可,手勢識別結(jié)果如圖8所示。由以上檢測可知,成功檢測了在手勢庫中所增加的五種手勢。6多點觸控技術(shù)當今