智能相機(jī)在實時眼動識別中的應(yīng)用

1、智能相機(jī)在實時眼動識別中的應(yīng)用智能相機(jī)在實時眼動識別中的應(yīng)用摘 要 : 對基于智能相機(jī)的眼動識別系統(tǒng)和方法進(jìn)行了研究和設(shè)計，并對該系 統(tǒng)在常見的各種測試條件下進(jìn)行了大量的實驗和應(yīng)用分析。 基于智能相機(jī)的眼動 識別系統(tǒng)結(jié)構(gòu)小巧緊湊 ,檢測速度快 ,準(zhǔn)確度高，較基于 PC 的檢測系統(tǒng)和頭盔式 檢測設(shè)備的性能有大幅的提高。關(guān)鍵詞 : 眼動識別 ; 模板匹配 ; 智能相機(jī) ; 嵌入 式系統(tǒng) ; 應(yīng)用開發(fā)眼動識別是一種通過在視頻幀中不斷檢測眼睛及眼球位置來判斷眼球注視 以及移動方向的過程。眼動識別有非常重要的研究意義，在心理學(xué)、醫(yī)學(xué)、設(shè)計 學(xué)1 、工效安全、人機(jī)交互 2-3 和軍事領(lǐng)域 4 上都有廣泛的

2、應(yīng)用和深遠(yuǎn)的前景。 當(dāng)下最尖端的眼動識別系統(tǒng)主要是通過 PC 組合 Web camera 來進(jìn)行視覺處理5-6 。然而 PC 用作主要計算處理單元體積過于龐大，不足以滿足實際應(yīng)用的 環(huán)境要求，僅能作為實驗環(huán)境測試之用。由此頭盔式的眼動識別設(shè)備應(yīng)運而生， 這類產(chǎn)品雖能夠部分解決無法攜帶的問題， 但是使用者的舒適感較差， 更重要的 是運算的速度和準(zhǔn)確度卻大大降低。 而智能相機(jī)以其嵌入式、 低功耗的處理 器，使快速算法成為可能， 尤其在自動化檢測應(yīng)用中其優(yōu)越和穩(wěn)定的性能，配合 小巧緊湊的結(jié)構(gòu)，非常適合于實時眼動識別應(yīng)用程序的執(zhí)行。 1 眼動識別算法 提出 Fleck 等提出在智能相機(jī)中使用 FPGA

3、 模塊，通過粒子濾波器模型來實 時識別跟蹤 7 ，這個方法需要用大量的樣本，環(huán)境越復(fù)雜，描述后驗概率分布 所需要的樣本數(shù)量就越多， 算法的復(fù)雜度就越高。 另外，重采樣造成的樣本有效 性和多樣性的損失，會導(dǎo)致樣本貧化現(xiàn)象。本文在虹膜識別應(yīng)用的基礎(chǔ)上 8 ， 設(shè)計開發(fā)了應(yīng)用在智能相機(jī)中的軟件來完成眼動識別的功能， 包括模板匹配、 邊 緣檢測、識別和標(biāo)識黑眼球中心位置等。 在一般的眼動識別算法中，進(jìn)行眼動識 別前，首先要對人臉進(jìn)行檢測，以提高眼動識別追蹤算法的精確度 9 。本文提 出直接選定左眼為感興趣區(qū)域的方法， 快而準(zhǔn)確， 然后在感興趣區(qū)域內(nèi)匹配黑眼 球相對眼睛的位置， 不同位置標(biāo)明不同眼動方向

4、， 以此識別當(dāng)前眼動狀態(tài)，若隨 時間變化實時檢測就能起到眼球運動識別的效果。 2 基于智能相機(jī)的眼動識別設(shè)計 2.1 眼動識別方法流程分析將攝像頭設(shè)定為連續(xù)檢測眼動信息的狀態(tài)，進(jìn)行圖像采集和檢測。圖 1 所示為實時眼動識別算法的流程圖。(1)圖像獲?。河脠D像傳感器獲取測試對象的圖片，設(shè)置光圈、曝光時間和 增益。 (2) 圖像預(yù)處理：將原始圖像轉(zhuǎn)換成灰度圖像。設(shè)計目標(biāo)是每秒數(shù)十 幀的實時檢測，灰度圖足以表現(xiàn)面部為主圖像的邊緣和特征,能夠快速進(jìn)行大量的模板匹配算法。(3) 眼部檢測：預(yù)先設(shè)計制作眼部區(qū)域的模板。因為人類眼睛在生理上具有雙眼旋轉(zhuǎn)運動協(xié)調(diào)特性， 故單眼模板兼具速度和可信度。 運用 模板

5、匹配的方法在當(dāng)前幀圖像中檢測與模板相似的部分，設(shè)置相似度的度量值， 由于制作模板民實際檢測時光照條件不完全相同， 還存在圖像的形變， 根據(jù)測試 通常將最小閾值設(shè)定在 600 左右最佳 (最大為 1 000) 。(4) 前視模板、左視模板和右視模板： 對感興趣區(qū)域依次匹配黑眼球位置的模板， 默認(rèn)常態(tài)下眼睛處 于前視狀態(tài)， 若不匹配則再嘗試匹配左視和右視模板。 在三個模板的匹配范圍內(nèi) 都不符合時， 記錄為無匹配方向。 無匹配方向的意義， 例如用于行車安全系統(tǒng)中， 可認(rèn)為視線脫離安全駕駛狀態(tài)。(5) 確定眼球方向：將第 (4)步中識別到的匹配模板對應(yīng)返回一個眼動方向，并記錄、顯示于屏幕上。 (6)

6、記錄眼睛坐標(biāo)： 計算黑眼球的中心坐標(biāo)。 正視時取正圓的圓心， 左、右視時取橢圓兩焦點的中點， 作為當(dāng)前眼睛的坐標(biāo)點。 (7) 標(biāo)識當(dāng)前位置：將第 (6)步的坐標(biāo)作為坐標(biāo)系原 點，創(chuàng)建坐標(biāo)系，并疊加于圖像的圖層上，完成當(dāng)前幀圖像的檢測，開始下一幀 采集。 這種方法可以應(yīng)用于各種類型的智能相機(jī)上， 并可運用各種編程語言 來實現(xiàn)。本文采用 “G” 語言(圖形化的程序語言) ，它提供了儀器 編程和數(shù)據(jù)采集的便捷途徑，在進(jìn)行原理研究、設(shè)計、測試并實現(xiàn)儀器系統(tǒng)時， 可以大大提高工作效率。 2.2 硬件平臺設(shè)計 通過 NI 1772 SMART CAMERA 和觸控屏

7、 (或顯示屏 ),即可獨立完成實時眼動識別的圖像采集、 圖像處理、圖像分 析和信息反饋等步驟。 系統(tǒng)非常精簡， 大大降低了可以應(yīng)用場合的限制。 NI1772智能相機(jī)使用In tel Atom Z530(1.6 GHz處理器)，內(nèi)有512 MB的RAM ; 圖像傳感器為 Kodak KAI-0340S 單色 CCD(分辨率 640×480(VGA), 最大可用幀速率 114 f/s) 。通過 RS232 串行連接動態(tài)地控制照明，通過千兆以 太網(wǎng) I/P 和 TCP/IP 協(xié)議，實現(xiàn)與觸摸屏 （HMIS） 相連接進(jìn)行人機(jī)交互，完成配置 調(diào)整和檢測圖像和參數(shù)實時反饋。 2.3 軟

8、件設(shè)計與實現(xiàn) ，根據(jù)圖 1 所示流程 算法，設(shè)計了軟件程序。VBAI 編譯的算法程序分兩個步驟，首先要規(guī)劃子模塊的次序，合理布局分 支的結(jié)構(gòu)， 降低幀率的損失， 提高程序可讀性便于修改。然后對應(yīng)每個子模塊的 作用，完善各個模塊的功能。 由箭頭相連接的為子模塊，方框內(nèi)是具體每個 模塊的子函數(shù)。 子模塊 acq 實現(xiàn)采集圖像 ,子模塊 Inspect center 、Inspect left 、 Inspect right完成尋找眼部感興趣區(qū)域（本文中使用左眼為ROI），并對該區(qū)域進(jìn) 行多次匹配，確定當(dāng)前眼球所處狀態(tài)， 顯示對應(yīng)狀態(tài)的反饋提示； 子模塊 Inspect 2 提示處 理檢測過 程中的

9、錯誤 信息，與用 戶顯示界 面進(jìn)行信息 傳遞等。 （1）acq （圖像獲?。┲凶雍瘮?shù)： Acquire Image: 通過智能相機(jī)的圖像傳感 器獲取單幀圖像， 圖像為灰度圖。 （2）Inspect center 、Inspect left 、Inspect right（正視檢測、左視檢測、右視檢測）中分別有以下4個子函數(shù)：EyeMatch Pattern: 眼動匹配。在調(diào)試階段預(yù)先設(shè)置好匹配模板，分左視模板（橢圓形模板 ）、正視 （圓形模板 ）、右視 （橢圓形模板 ）3 個。測試檢測時，先匹配感興趣 區(qū)域，減少需要處理的圖像范圍，然后在感興趣區(qū)域內(nèi)依次匹配 3 個模板，找 到與某個模板的灰度特

10、性相似的區(qū)域（設(shè)置在 ±45° 范圍內(nèi)旋轉(zhuǎn)的區(qū)域都符合識別范圍），個數(shù)指定為最多一個。若沒有匹配對象也進(jìn)行第步。Set Coordinate System:構(gòu)建坐標(biāo)系統(tǒng)。計算第步中匹配區(qū)域的大小，并 記錄該區(qū)域中心點位置 （正圓的圓心或橢圓兩焦點的中點 ）和匹配區(qū)域與模板對 比傾斜的角度。對沒有匹配對象的幀跳過當(dāng)前步驟。Create Region ofInterest: 建立感興趣區(qū)域。 以第步的中心點位置為坐標(biāo)原點， 將感興趣區(qū)域設(shè) 置為匹配到的眼動區(qū)域， 用圓標(biāo)記出眼球的位置。 沒有匹配對象的幀則跳過當(dāng)前步驟。 Draw Eye & T

11、rack:標(biāo)識眼動檢測結(jié)果。在采集到的實時圖 像上覆蓋一個圖層， 將眼球區(qū)域的中心點標(biāo)記在該圖層上。 程序只記錄所有成功 匹配的幀，此時匹配狀態(tài)值為真，在程序前面板上將匹配到的模板用對應(yīng)的 “LEFT” 、“CENTER” 、 “RIGHT” 指示進(jìn)行標(biāo)識。（3）Inspect 2 （檢測統(tǒng)計）中有以下 3 個子函數(shù)： Calibrate Image at Eye Match Pattern:校正圖像坐標(biāo)。Set InspectionStatus: 檢測狀態(tài)反饋。反饋此幀圖像

12、是否順利進(jìn)行了眼動信息識別，檢測過程 中有無報錯，若值為 “FAULT” 則此幀檢測結(jié)果無效。Update Eye-tracking Result: 自定義一個前面板， 即用戶界面。 顯示實時采集 到的圖像、檢測狀態(tài)、注視方向、標(biāo)識眼球位置等。 3 眼動識別實驗分析 3.1 實 驗方法 考慮到眼動識別應(yīng)具有應(yīng)用的廣泛性， 需要能夠在不同光照環(huán)境下工 作，因此需要在不同光照條件下可以通過調(diào)整曝光時間來獲取較高質(zhì)量的檢測圖 像，測試環(huán)境越暗，曝光時間越長，幀率越低。反之，光線越好的環(huán)境下幀率越 高。實驗中，模擬駕駛時眼部及頭部的自然狀態(tài)， 對實時眼動識別算法

13、進(jìn)行應(yīng)用 實驗。 以 1 min 內(nèi)獲得的實時數(shù)據(jù)作為分析樣本，分別測試了系統(tǒng)在無干 擾測試狀態(tài)、 頭部左右轉(zhuǎn)動干擾 （左右各 45° 以內(nèi)）、面部角度傾斜干擾和特 殊情況 （佩戴眼鏡等局部遮擋 ）條件下的準(zhǔn)確性。每個測試條件分別在光線環(huán)境不 同處，分 40 f/s 、50 f/s 、60 f/s 、80 f/s 、100 f/s 、112 f/s（max）6 種不同 圖像采集的速度進(jìn)行對比 ,并在幀率最高的情況下統(tǒng)計檢測 100 幀圖像的效率。3.2實驗數(shù)據(jù)與分析在&dquo;Set Inspection Status”的值為真的條件下，若識別到的眼動狀態(tài) （左視、正視、右視、其他區(qū)域 ）與實際眼動的狀 態(tài)相符 ,則認(rèn)為是一次成功的檢測 ,反之亦然。 1 min 內(nèi)測試正確率的數(shù)據(jù)整理后 如表 1 所示由表 2 可知， 平均對 100 幀圖片進(jìn)行識別需要約 40 ms ，每幀僅需要 0.4 ms ，模板匹配部分作為識別檢測的重點占 80%，實時性好，接近使用高性能的PC 進(jìn)行圖像運算，完全能夠應(yīng)用于實時在線眼動識別檢測。 本文設(shè)計搭建 了一個基于智能相機(jī)的實時眼動識別系統(tǒng)， 拓寬了眼動識別能夠應(yīng)用的場合， 并 自主設(shè)計了在該硬件系統(tǒng)平臺上可以運行的眼動識別軟件， 進(jìn)行了大量不同環(huán)