一種多點觸感圖像識別跟蹤裝置的設(shè)計

一種多點觸感圖像識別跟蹤裝置的設(shè)計

隨著引擎技術(shù)的發(fā)展，人們對計算機的操作并不滿意。隨著多功能控制技術(shù)的發(fā)展，越來越多的多層觸控技術(shù)在多個行業(yè)得到了迅速發(fā)展，用戶的體驗得到了極大的提高。所謂多點觸控(Multi-Touch)是采用人機交互技術(shù)與硬件設(shè)備共同實現(xiàn)的技術(shù),能在沒有傳統(tǒng)輸入設(shè)備下進行計算機的人機交互操作。目前多點觸控技術(shù)以光學(xué)式發(fā)展最快,便于實現(xiàn),本文主要研究基于計算機視覺和光學(xué)的多點觸摸來實現(xiàn)人機交互。常見的基于光學(xué)的多點觸摸技術(shù)主要分為5類:由JeffHan開創(chuàng)的FTIR(受抑全內(nèi)反射多點觸摸技術(shù))、微軟Surface的Rear-DI(背面散射光多點觸摸技術(shù))、由AlexPopovich提出的LLP(激光平面多點觸摸技術(shù))、由NimaMotamedi提出的LED-LP(發(fā)光二極管平面多點觸摸技術(shù))、由TimRoth提出的DSI(散射光平面多點觸摸技術(shù))。經(jīng)過對5種技術(shù)的比較,本裝置采用FTIR技術(shù)實現(xiàn)。1系統(tǒng)設(shè)計1.1土地之間的互聯(lián)互通面是亞板上的一個重要FTIR是光學(xué)的一種基本現(xiàn)象——全內(nèi)反射(又稱全反射),JeffHan教授通過該原理,將紅外線反射在一塊能夠產(chǎn)生全內(nèi)反射效果的亞克力板內(nèi)部,當(dāng)用戶在亞克力板表面觸摸時,光線就會被用戶的接觸部位反射或折射(通過皮膚),在觸摸的地方就會將原本反射在內(nèi)部的紅外線折射回在亞克力板外面架設(shè)的紅外攝像頭,通過對應(yīng)軟件即可檢測到對應(yīng)的信息點,如圖1所示。1.2裝置設(shè)計及實現(xiàn)環(huán)境本裝置采用基于FTIR和計算機視覺技術(shù)的硬件結(jié)構(gòu),主要模塊包括紅外光源、紅外攝像頭、顯示設(shè)備、信息處理設(shè)備等。整個系統(tǒng)結(jié)構(gòu)簡單,便于組裝,成本低廉,具有較強的環(huán)境適應(yīng)性。1)紅外光源。由于本裝置采用亞克力板作為投影設(shè)備,而多數(shù)亞克力板在制造時加強了削弱900nm以上紅外光的能力,同時很多紅外攝像頭也作了修正,對940nm以上的紅外光不敏感,以減少太陽光的干擾,因此選用的紅外光源波長必須在780~940nm,功率在80mW以上,在這個范圍內(nèi)紅外發(fā)光管發(fā)出的光最容易被攝像頭讀取。而且波長越低,敏感度越高,更容易分析壓感。本設(shè)計采用SFH-485P作為發(fā)光器件,波長為880nm,便于攝像頭捕捉。2)紅外攝像頭。紅外攝像頭價格較高,考慮到裝置的成本,系統(tǒng)采用對普通攝像頭加以改造的方式來實現(xiàn)。裝置選用PlayStation3(PS3eye)攝像頭,不僅可以輕松地去除ICF(紅外截止濾鏡),且具有較高的幀率(640×480,30f/s)。為了過濾干擾的可見光,需在鏡頭前添加裁剪的濾光片或鏡頭濾鏡。鏡頭濾鏡具有波長唯一性,而且具有只允許單個特定波長通過的特點,考慮到濾光效果,本裝置采用鏡頭濾鏡作為濾光片。3)顯示設(shè)備。裝置可以使用的顯示設(shè)備有投影儀和液晶顯示器。液晶顯示器若要使用需進行改造,要去掉顯示器外殼,保留LCD板、電路控制板和電源,步驟較為繁瑣,其顯示范圍也受到顯示器尺寸的限制,且成本較高。而投影儀具有屏幕尺寸大、功能多、成本低的特點。同時,為形成效果較好的全內(nèi)反射,對于作為投影面的亞克力板的厚度有一定要求,一般要求在8cm以上。綜合以上考慮,并為了防止手指按壓時發(fā)生形變,本設(shè)計決定選用投影儀配合10cm的亞克力面板作為顯示設(shè)備。4)信息處理設(shè)備。本裝置選用的軟件框架為OPENCV,客戶端為CCV,信息處理平臺采用RaspberryPi嵌入式開發(fā)板與PC,使用PC輔助進行交叉編譯。RaspberryPi配備一個700MHz的博通ARM架構(gòu)BCM2835處理器,256Mbyte內(nèi)存,使用SD卡作為存儲媒體,支持Linux、Android、RISCOS、BSD等操作系統(tǒng),并且有USB、HDMI、RJ-45、GPIO等擴展接口,便于開發(fā)。本系統(tǒng)通過在嵌入式Linux系統(tǒng)中運行CCV,實現(xiàn)了RaspberryPi與PC搭建的交叉編譯環(huán)境,可以充分利用ARM平臺與X86平臺的優(yōu)點,功耗、性能、開發(fā)速度都得到保證。由于嵌入式系統(tǒng)資源有限,在X86環(huán)境下完成大部分代碼的開發(fā),然后借助交叉編譯工具生成可以在RaspberryPi上運行的目標(biāo)代碼和程序。裝置的硬件系統(tǒng)示意圖如圖2所示。2軟件設(shè)計2.1圖像區(qū)域的特征轉(zhuǎn)換本設(shè)計將多點觸感圖像識別跟蹤系統(tǒng)的軟件分為硬件抽象層、變換層、解析層和Widget層,如圖3所示。硬件抽象層用于接收傳感器采集到的原始數(shù)據(jù),通過紅外攝像頭采集原始數(shù)據(jù),將紅外攝像頭采集到的圖像進行圖像校正、灰度變換、背景過濾、平滑去噪和分割目標(biāo)等處理,從原始圖像中得到目標(biāo)點的位置,在進行觸點檢測、識別后,將跟蹤目標(biāo)的定位信息發(fā)送給變換層;變換層把得到的目標(biāo)定位信息經(jīng)過TUIO編碼轉(zhuǎn)換為系統(tǒng)坐標(biāo);解析層獲取由變換層傳遞的坐標(biāo)信息,進行TUIO解碼,轉(zhuǎn)換為觸摸事件和狀態(tài),合成運動軌跡,識別用戶手勢的含義,并觸發(fā)相應(yīng)的觸摸事件;最后Widget層響應(yīng)觸摸事件和觸摸狀態(tài),完成一次完整的人機交互。2.2基于深度圖像背景提取的算法1)攝像頭的標(biāo)定。攝像機標(biāo)定是將觸點的物理坐標(biāo)轉(zhuǎn)換為相機成像圖像坐標(biāo)的關(guān)鍵步驟,它的目的是確定三維物體的空間坐標(biāo)系到攝像機圖像坐標(biāo)系的映射關(guān)系,其中包括攝像機成像系統(tǒng)內(nèi)外幾何及光學(xué)參數(shù)的標(biāo)定和兩個或多個攝像機之間相對位置關(guān)系的標(biāo)定。由于本裝置僅使用單攝像頭,因此只需確定相機的內(nèi)部和外部參數(shù)即可。為了便于系統(tǒng)實現(xiàn)并保證較高的靈活性,本裝置采用基于張正友標(biāo)定法的手動標(biāo)定方法,使用的標(biāo)定棋盤圖如圖4所示。裝置可以使用OPENCV自帶的攝像機標(biāo)定示例程序,該程序位于“\OpenCV\samples\c目錄下的calibration.cpp”,程序的輸入支持直接從USB攝像機讀取圖片標(biāo)定,或者從已經(jīng)存放于計算機上的圖片進行標(biāo)定。根據(jù)本裝置選用亞克力板的大小,決定選取9個坐標(biāo)點定位,使用者根據(jù)提示,在屏幕上指定位置按下,直至獲取9個定位點的坐標(biāo)完成標(biāo)定。通過攝像機坐標(biāo)與圖像坐標(biāo)的匹配變換,尋找需要的單應(yīng)性矩陣(Homography),計算單應(yīng)性矩陣,即可求得投影圖像坐標(biāo)和攝像頭圖像坐標(biāo)間的對應(yīng)關(guān)系。檢測流程如圖5所示。2)觸點識別。觸點識別主要包括觸點的圖像預(yù)處理、邊緣檢測及輪廓提取,流程如圖6所示。(1)觸點的初步檢測。經(jīng)過上面的圖像標(biāo)定后,對9個區(qū)域的光斑區(qū)域進行觸點檢測,符合條件的光斑被識別為觸點,達不到亮度、面積要求的斑點被排除,符合要求的區(qū)域被檢測為觸點對象。本系統(tǒng)采用基于幀差分的背景消除法。先將背景圖像予以濾除,否則大量的計算會使CPU嚴(yán)重超負。由于非紅外光幾乎都被過濾掉,所以大部分的背景就被硬件刪除了,為了獲得觸點的紅外圖像,捕捉一個靜態(tài)的背景圖像會刪除幾乎所有的環(huán)境光,這個背景圖像會減去其后所有的幀,剩下的這些幀將作為閾值傳遞給系統(tǒng),剩下的突起點就是要捕捉的對象,稱之為“觸點”。(2)觸點的邊緣檢測。為了準(zhǔn)確地識別觸點的位置和面積,需要使用邊緣檢測算法確認并定位。要實現(xiàn)圖像的邊緣檢測,要用離散化梯度逼近函數(shù),根據(jù)二維灰度矩陣梯度向量來尋找圖像灰度矩陣的灰度躍變位置,然后在圖像中將這些位置的點連起來,就構(gòu)成了所謂的圖像邊緣。在實際情況中,理想的灰度階躍及其線條邊緣圖像是很少見到的,同時大多數(shù)的傳感器件具有低頻濾波特性,這樣會使得階躍邊緣變?yōu)樾逼滦赃吘?其中的強度變化不是瞬間的,而是跨越了一定的距離,因此在邊緣檢測中首先要進行的是濾波。本系統(tǒng)采用Canny算法,通過CCV編程實現(xiàn),系統(tǒng)抗噪性能較好,去噪能力強,但對邊緣的過度平滑會造成定位精度降低,精度在可允許范圍內(nèi)。Canny算法流程如圖7所示。(3)觸點的輪廓提取。在邊緣檢測后,最后進行觸點區(qū)域的圖像輪廓提取,可以通過OPENCV編寫程序?qū)崿F(xiàn)。輪廓提取的算法非常簡單,就是掏空內(nèi)部點,即:若原圖中有一點為黑,且它的8個相鄰點都是黑色時(此時該點是內(nèi)部點),則將該點刪除。這里處理的雖然是二值圖,但實際上是256級灰度圖,不過只用到了0和255兩種顏色。至此,觸點的檢測工作完成,接下來可以進行觸點追蹤。3)觸點追蹤。由于要進行多觸點的跟蹤,需確定每個目標(biāo)的特征、位置、運動方向、速度等信息,對于已經(jīng)得到的二值圖像,采取識別目標(biāo)特征的方法是不合適的,由于多觸點的追蹤對實時性要求較高,本系統(tǒng)追蹤觸點不超過5個,因此選用近年來新研究的CamShift算法。CamShift算法,即“ContinuouslyApativeMean-Shift”算法,是一種運動跟蹤算法,它主要通過視頻圖像中運動物體的顏色信息來達到跟蹤的目的。利用目標(biāo)的顏色特征在圖像中找到運動目標(biāo)的位置和大小,在下一幀中,用目標(biāo)當(dāng)前的位置和大小初始化搜索窗口,重復(fù)這個過程就可以實現(xiàn)對目標(biāo)的連續(xù)跟蹤。在每次搜尋前,將搜索窗口的初始值設(shè)置為運動目標(biāo)當(dāng)前的位置和大小,由于搜索窗口就在運動目標(biāo)可能出現(xiàn)的區(qū)域附近進行搜尋,這樣即可節(jié)省大量的搜尋時間,使其具有良好的實時性。同時,CamShift算法是通過顏色匹配找到運動目標(biāo),在目標(biāo)運動的過程中,顏色信息變化不大,所以它具有良好的魯棒性。CamShift算法流程如圖8所示。4)手勢識別。使用者與計算機進行交互操作需要通過定義觸摸手勢來完成,經(jīng)過之前一系列的步驟,系統(tǒng)提取出Blob,進行跟蹤后,記錄Blob的運動軌跡,并進行分析,同定義的手勢進行比較,并返回相應(yīng)的處理操作,通過Widget層完成與用戶的交互。手勢被定義為在兩點之間的動作,手勢的識別過程包括3個階段:意圖檢測、手勢劃分、命令映射。本裝置使用OPENCV中的內(nèi)置庫代碼完成手勢識別功能,實現(xiàn)放縮、旋轉(zhuǎn)、平移、壓感等操作。(1)樣本采集:初始化攝像頭,然后通過逐幀圖像進行膚色檢測,然后將檢測出的樣本保存到圖像文件中。(2)樣本訓(xùn)練:運用樣本采集到的圖像樣本進行訓(xùn)練,提示訓(xùn)練成功。(3)手勢識別:從攝像頭采集圖片進行手勢識別,首先用一定大小的矩形模糊地定位到手勢大概區(qū)域,然后進行識別,并把識別的結(jié)果顯示在窗口上。(4)命令手勢:從攝像頭中取得圖像并進行手勢命令的識別,識別的依據(jù)是通過最初坐標(biāo)與最終坐標(biāo)的相對值進行的,對一個序列進行識別。(5)手勢定位:把要識別的圖片輸入到數(shù)據(jù)中,然后檢測出手的位置。再用矩形對此圖片的手勢進行定位,并對此手勢大概表達的含義(即要表達哪個數(shù)字)進行識別,識別是基于已有的圖像進行匹配,最后輸出結(jié)果。Widget層通過TUIO協(xié)議向上層客戶端發(fā)送事件,完成用戶的反饋。3系統(tǒng)測試結(jié)果利用本系統(tǒng)架構(gòu)搭建的測試平臺,使用RaspberryPi和X86主機進行交叉編譯,將代碼編譯后在目標(biāo)系統(tǒng)執(zhí)行,經(jīng)測試發(fā)現(xiàn),嵌入式平臺運行穩(wěn)定,多點觸摸跟蹤識別率較高,能正確識別手指,但定位精度有待改進,這與本