human computer人機交互.docx

題目：基于人機交互的視線跟蹤系統(tǒng)指導(dǎo)教師：喻德曠一、 實驗?zāi)康?、鞏固和加深對信號與系統(tǒng)、數(shù)字信號處理、圖像處理等相關(guān)課程的基本概念的理解； 2、了解和熟悉人機接口和視線跟蹤技術(shù)，提高知識拓展能力； 3、通過視線跟蹤應(yīng)用系統(tǒng)的設(shè)計、實現(xiàn)、調(diào)試與測試過程，提高知識綜合運用能力，鍛煉實踐動手能力；4、通過自主設(shè)計實驗，培養(yǎng)提出問題、分析問題和解決問題及創(chuàng)新能力。二、 基本要求（需要的基本知識、最大選題人數(shù)、需要的完成時間等等）1、 具有扎實的課程基礎(chǔ)：信號與系統(tǒng)、數(shù)字信號處理、數(shù)字圖像處理、計算機接口技術(shù)等。2、 具有良好的程序設(shè)計基礎(chǔ)，能熟練使用Matlab、C+、VB、C#中的一種編程語言。3、 實驗以小組形式實施，每組3-4人。三、 實驗內(nèi)容（實驗原理、實驗步驟、選題范圍、時間安排等等）1、 實驗原理此綜合實驗主要是利用圖像處理技術(shù)進行視線跟蹤，并在此基礎(chǔ)上完成一個簡單的人機交互系統(tǒng)。視線跟蹤技術(shù)作為研究和利用眼睛動作的一種重要手段，其應(yīng)用非常廣泛。像在軍事領(lǐng)域中進行人的因素研究；在閱讀中進行有關(guān)視覺加工的研究；在生物工程中進行有關(guān)幫助殘疾人通訊的研究。其他應(yīng)用像注意力分析、虛擬現(xiàn)實、人機交互等等。本實驗的核心是視線跟蹤，視線追蹤的基本工作原理是利用圖象處理技術(shù)，通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)地記錄視線變化，從而達到記錄分析視線追蹤過程的目的。總體框圖如下：頭部圖像采集系統(tǒng)圖像濾波預(yù)處理光斑、瞳孔識別視線、視點位置計算參數(shù)校驗、參數(shù)確定人機交互界面獲取圖像基于圖像分析的視線跟蹤基本原理屏幕系統(tǒng)采用角膜反射原理。近紅外光源發(fā)出的光在用戶眼睛角膜上形成高亮度反射點，眼球是近似球體，在頭部位置固定的情況下，高亮度反射點不受眼球轉(zhuǎn)動的影響，其圖像位置是不變。眼球轉(zhuǎn)動時瞳孔位置發(fā)生改變，利用瞳孔中心和光斑的相對位置關(guān)系就可以確定視線方向。我們以3個LED與攝像機組成的眼部圖像采集為例說明基于圖像分析的視線跟蹤的實現(xiàn)原理。OP照相機注視點LED1LED2LED3瞳孔中心光斑1曲率中心光斑3光斑2上圖為視線跟蹤示意圖，屏幕上放置3個近紅外LED和1個攝像頭，其中1個LED和攝像頭放置在一起。3個LED在圖像上形成3個光斑，通過這3點可以找到曲率中心O。P瞳孔G3G2G1 上圖左側(cè)是瞳孔與光斑的成像示意圖，右側(cè)是實際成像圖。3個光斑在圖像上形成3個亮點（G1、G2、G3），其中點G1到點G3的長度與瞳孔到屏幕之間的距離對應(yīng)關(guān)系，通過點G1到點G3的長度可以確定瞳孔到屏幕之間的距離。如上圖，黑色為實際屏幕，位于xoy平面上，藍色方框是圖像平面所對應(yīng)的實際平面。當我們知道兩平面之間的距離后，圖像坐標中的點G1、G2、G3和P就可以由二維坐標變成了三維坐標。這樣，視線跟蹤簡要過程如下：l 光斑點的檢測檢測出G1、G2、G3點之后，由G1G3確定觀察者與屏幕之間的距離。根據(jù)G1、G2、G3的坐標及觀察者與屏幕之間的距離計算出曲率中心O的坐標值。l 瞳孔邊界點提取和瞳孔中心確定瞳孔經(jīng)光學(xué)系統(tǒng)在CCD成像為平面橢圓，所以對提取的邊緣點進行橢圓最小二乘擬合鏈接成邊界，即可確定瞳孔中心位置。橢圓方程取為：橢圓擬合可求得橢圓方程的5個參數(shù)A、B、C、D 和 E，橢圓中心計算公式如下： l 視線方向、視點計算瞳孔中心坐標及曲率中心坐標確定后，可以通過計算或通過建立映射得到注視點的位置。映射關(guān)系的建立（參考）：瞳孔中心與曲率中心的位移，注視點的坐標為，其中為0。通過校驗建立兩者之間的對應(yīng)關(guān)系2、 實驗步驟（1） 文獻閱讀和開題報告小組所有成員查閱視線跟蹤和人機接口相關(guān)的文獻和資料，每人撰寫開題報告，討論后形成統(tǒng)一的開題報告。（2） 系統(tǒng)設(shè)計按分工合作的形式，以小組形式提交一份詳細的實驗設(shè)計書，包括。系統(tǒng)設(shè)計書中l(wèi) 系統(tǒng)的總體設(shè)計和功能模塊框圖；l 頭部圖像采集模塊、視線跟蹤模塊和人機交互系統(tǒng)模塊的詳細設(shè)計、算法流程圖等；l 模塊和系統(tǒng)的調(diào)試和測試方案；l 實驗所需設(shè)備和器件清單、實驗預(yù)算；l 明確小組成員分工和任務(wù)。（3） 系統(tǒng)模塊功能實現(xiàn)分工實現(xiàn)如下功能：l 建立頭部圖像采集系統(tǒng)，包括硬件和軟件；l 視線跟蹤功能的實現(xiàn)；l 人機交互系統(tǒng)的實現(xiàn)。（4） 模塊調(diào)試與系統(tǒng)測試l 調(diào)試和測試方案l 調(diào)試和測試過程記錄。3、 選題范圍（1） 基于視線跟蹤的信息輸入（2） 基于視線跟蹤的