體感技術(shù)總結(jié)

1、體感技術(shù)體感技術(shù)目錄目錄010203體感技術(shù)虛擬現(xiàn)實技術(shù)慣性感測光學(xué)感測慣性+光學(xué)感測體感技術(shù)的應(yīng)用概念概念技術(shù)手段技術(shù)手段總結(jié)總結(jié) 01 概念體感技術(shù)：可以實現(xiàn)人們很直接地使用肢體動作，與周邊的裝置或環(huán)境互動，而無需使用任何復(fù)雜設(shè)備， 便可讓人們身歷其境地與內(nèi)容做互動 虛擬現(xiàn)實技術(shù)：虛擬現(xiàn)實技術(shù)是一種可以創(chuàng)建和體驗虛擬世界的計算機(jī)仿真系統(tǒng)它利用計算機(jī)生成一種模擬環(huán) 境是一種多源信息融合的交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。體 感技術(shù)是虛擬現(xiàn)實技術(shù)的一個重要分支02 體感技術(shù) 至今全世界在體感技術(shù)上的演進(jìn)，依照體感方式與原理的不同，主要可分為三大類：慣性感測、光學(xué)感測

2、以及慣性及光學(xué)聯(lián)合感測。慣性感測：主要是以慣性傳感器為主，例如用重力傳感器，陀螺儀以及磁傳感器等來感測使用者肢體動作的物理參數(shù)，再根據(jù)這些物理參數(shù)來求得使用者在空間的各種動作。光學(xué)傳感器：主要是通過光學(xué)感測器獲取人體影像，然后與相應(yīng)的內(nèi)容互動聯(lián)合感測：在手柄上放置一個重力傳感器，用來偵測手部三軸向的加速度；使用紅外傳感器用來感測電視屏幕前方的紅外線發(fā)射器訊號，主要可用來偵測手部在垂直以及水平方向的位移。慣性感測.原理：通過無線信號進(jìn)行手持設(shè)備定位，然后在手持設(shè)備內(nèi)固定加速計和陀螺儀，實現(xiàn)3D空間體感感測；主要的代表產(chǎn)品有：任天堂推出的“Wii Remote”（2006）、速位互動推出的“CyW

3、ee”。聯(lián)合感測 采用紅外攝像頭發(fā)射紅外光，經(jīng)手持設(shè)備進(jìn)行定位，通過3D空間的感測來實現(xiàn)“體感操作”。主要的代表產(chǎn)品有索尼推出的“PS MOVE+PS EYE”（2010）、北京永利寧科技推出的“VirTouch”(2012)、深圳泰山科技推出的“愛動體感運動機(jī)”（2011）。 “PS MOVE+PS EYE”:PS Move在三維空間中的定位是依靠其頂部光球?qū)崿F(xiàn)的，光球距離攝像頭越遠(yuǎn)，其投射到攝像頭中的圖像面積就越小，根據(jù)圖像的大小可以精確計算其與攝像頭之間的距離變化，從而確定其在三維空間中的準(zhǔn)確坐標(biāo)。 PS MOVE手柄內(nèi)部有一個三軸陀螺儀，一個三軸加速以及一個地球磁場感應(yīng)器，再加上PSE

4、YE的空間定位，從而將MOVE手柄的任何操作細(xì)節(jié)1：1地還原到游戲中。同時PS MOVE的動作感應(yīng)運算是由CELL處理器中的一個SPE協(xié)處理器負(fù)責(zé)。 Move手柄是通過藍(lán)牙2.0傳輸操作信號。 聯(lián)合感測VirTouch核心工作原理：通過紅外LED光源發(fā)射紅外光,經(jīng)過手指上戴的指環(huán)反射(指環(huán) 外圈鑲嵌玻璃、內(nèi)圈有紅外反射涂層),用裝有可見光濾波片(濾掉可見光、透過紅外光)的攝像頭捕捉紅外線,產(chǎn)生控制器的輸入信號。指環(huán)的作用有二:1、反射紅外光,2、以其圓心為識別點,可以精確識別單點輸入的信號;重要的是,此方案可以形成三維輸入,識別上下左右與景深程度光學(xué)感測主要特征：有攝像頭無手持設(shè)備；通過高分辨

5、率的廣角攝像頭，采用類似“動作捕捉”方式來判斷識別用戶的姿勢動作，來實現(xiàn)體感操作。Kinect：Kinect骨架追蹤處理流程的核心是一個無論周圍環(huán)境的光照條件如何，都可以讓Kinect感知世界的CMOS紅外傳感器。該傳感器通過黑白光譜的方式來感知環(huán)境：純黑代表無窮遠(yuǎn)，純白代表無窮近。黑白間的灰色地帶對應(yīng)物體到傳感器的物理距離。它收集視野范圍內(nèi)的每一點，并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒30幀的速度生成景深圖像流，實時3D地再現(xiàn)周圍環(huán)境。 LEAP MOTION: Leap Motion中有兩個攝像頭，可以從不同角度捕捉畫面，它能同時追蹤多個目標(biāo)，包括：所有手掌的列表及信息；所有手指

6、的列表及信息；手持工具（細(xì)的、筆直的、比手指長的東西，例如一枝筆）的列表及信息；所有可指向?qū)ο螅≒ointable Object），即所有手指和工具的列表及信息；Leap Motion會給這些目標(biāo)分配一個單獨的ID，并檢測運動數(shù)據(jù)，產(chǎn)生運動信息，并通過算法復(fù)原手掌在真實世界三維空間的運動信息。Haptix: Haptix和Leap Motion的工作方式比較類似，但前者對于手勢的掃描需要在平面而非空中進(jìn)行。Haptix僅有一個外接攝像頭大小，能夠被放置或者夾在任意位置，并能夠在任意的平面上跟蹤用戶所執(zhí)行的多點觸控手勢。光學(xué)感測LEAP MOTION: Leap Motion中有兩個攝像頭，可以

7、從不同角度捕捉畫面，它能同時追蹤多個目標(biāo)，包括：所有手掌的列表及信息；所有手指的列表及信息；手持工具（細(xì)的、筆直的、比手指長的東西，例如一枝筆）的列表及信息；所有可指向?qū)ο螅≒ointable Object），即所有手指和工具的列表及信息；Leap Motion會給這些目標(biāo)分配一個單獨的ID，并檢測運動數(shù)據(jù)，產(chǎn)生運動信息，并通過算法復(fù)原手掌在真實世界三維空間的運動信息。LEAP MOTION手掌中心的位置（三維向量，相對于傳感器坐標(biāo)原點，毫米為單位）；手掌移動的速度（毫米每秒）；手掌的法向量（垂直于手掌平面，從手掌掌心向外指）；手掌朝向的方向；根據(jù)手掌彎曲的弧度確定虛擬的球體中心、半徑；LEA

8、P MOTION對于每個手掌，亦可檢測出平移、旋轉(zhuǎn)（手掌的轉(zhuǎn)動）、縮放（手指分開、聚合）的信息。檢測的數(shù)據(jù)如全局變換一樣，包括：旋轉(zhuǎn)的軸向向量；旋轉(zhuǎn)的角度；描述旋轉(zhuǎn)的矩陣；縮放因子；平移向量；Kinect 提到體感技術(shù)和深度攝像頭，很多人的第一印象就是微軟的 Kinect。然而微軟的第一代 Kinect 技術(shù)來自 Primesense 的授權(quán)。2005年 創(chuàng)建于以色列的 PrimeSense 可謂深度攝像頭技術(shù)的先驅(qū)，然而它在 13年 被蘋果收購。之后市場上的深度攝像頭廠商基本出現(xiàn)一家，被微軟、英特爾、Google 、蘋果等巨頭收購一家?！案鞑糠謩e人都做不出來，那我們都只能自己做。除了激光投影

9、模組和 CMOS，其它都是我們自己做的。具體來說，3D 攝像頭模組里面，RGB 模組比較容易，激光投影模組，紅外投影模組和主芯片是三個核心部件，也是里面最難的地方。激光投影模組全球也很少有公司能做；主芯片弄成 ASIC（為專門目的而設(shè)計的集成電路）芯片很難，但奧比中光做到了；紅外投影模組相對激光投影容易些，但也從 14年3月 到 15年7月 也花費了 1年 多的時間才完成。” 黃源浩告訴 36 氪Kinect紅外激光投射器（IR Projector）:Kinect中投射器的作用是投射出隨機(jī)的激光散斑，即結(jié)構(gòu)光，通過紅外攝像頭采集所標(biāo)記的結(jié)構(gòu)光，交由PS1080芯片進(jìn)行計算后得到最終的景深數(shù)據(jù)。

10、右圖為Kinect紅外激光投射器的原理圖。根據(jù)PrimeSense在專利中的描述，紅外激光生成器（42）射出準(zhǔn)直后的激光束（44），通過光學(xué)衍射元件（DOE）進(jìn)行散射，進(jìn)而得到所需的散斑圖案。PrimeSense所說的光學(xué)衍射元件可以通過多種組合來實現(xiàn)，具體可以參見其在國內(nèi)申請的專利用于使零級減少的光學(xué)設(shè)計。在Kinect中，PrimeSense采用擴(kuò)散片（48）和光柵（50）來實現(xiàn)，該設(shè)計專利可參見其美國專利Optical Pattern Projection。DOE光柵KinectKinectKinect的技術(shù) Light Coding技術(shù)的關(guān)鍵是Laser Speckle(鐳射光散斑)，

11、散斑具有高度的隨機(jī)性，隨著距離變換圖案，空間中任何兩處的散斑都是不同的圖案，等于將整個空間加上了標(biāo)記，所以任何物體進(jìn)入該空間、以及移動時，都可確切記錄物體的位置。 測量前對原空間的散斑圖案做記錄，先做一次光源的標(biāo)定，其方法是每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記下來。測量時拍攝一副待測場景的散斑圖像，將這幅圖像和保存的參看圖像依次做相關(guān)運算，在相關(guān)度圖像上就會顯示出峰值。將這些峰值一層層疊在一起，經(jīng)過插值運算，即可得到整個場景的三維形狀。 Kinect采用分割策略將人體從背景環(huán)境中區(qū)分出來，得到追蹤對象的景深圖像。將精神圖像傳進(jìn)一個可以分辨人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中，該系統(tǒng)給出某

12、個特定像素屬于身體某個部位的可能性。從而得到一個含有20（25）個關(guān)節(jié)點的骨架系統(tǒng)。 03 應(yīng)用 任天堂在2006 年推出的首個體感控制器Wii Remote，開啟了體感時代的到來；之后，索尼推出了體感游戲產(chǎn)品PlayStation Move，微軟推出了體感產(chǎn)品Kinect，體感控制技術(shù)已經(jīng)廣泛應(yīng)用于游戲當(dāng)中。目前，體感技術(shù)正在從游戲走向大眾應(yīng)用領(lǐng)域，如PC、平板，并開始往零售、醫(yī)療保健、教育等行業(yè)滲透。而Kinect 傳感器憑借其特性已經(jīng)應(yīng)用在醫(yī)學(xué)、 商業(yè)、計算機(jī)科學(xué)及機(jī)器人等很多領(lǐng)域，下面就其 在相關(guān)領(lǐng)域的應(yīng)用進(jìn)行綜述。 03 應(yīng)用-醫(yī)療臨床手術(shù)中，有必要保持接受手術(shù)的病人 周圍的一切都是

13、無菌的。然而，在手術(shù)中，外科醫(yī) 生還需要從計算機(jī)上查看患者的臨床影像資料， 計算機(jī)不是無菌的。傳統(tǒng)的醫(yī)生查看資料的方式 既耗時又增加患者的感染幾率而在手術(shù)過程中借助 Kinect 設(shè)備可以有效的緩解這一弊端。由瑞 士伯尼爾大學(xué) Michael. Tully 教授等研究人員利 用 Kinect 設(shè)備幫助醫(yī)生解放了雙手，醫(yī)生無需像 傳統(tǒng)方式那樣親自接觸患者的影像資料，只需要用 手做出擺動就可以控制專為醫(yī)療圖像瀏覽而設(shè)計 的圖像處理應(yīng)用程序OsiriX PACS6(picture archiving and communication system： 醫(yī)學(xué)影像 存檔與通信系統(tǒng) )。遠(yuǎn)程手術(shù)是將虛擬現(xiàn)

14、實技術(shù)與網(wǎng)絡(luò)技術(shù)結(jié)合， 可以使得醫(yī)生根據(jù)傳來的現(xiàn)場影像對遠(yuǎn)程的患者進(jìn) 行手術(shù)操作，其一舉一動可轉(zhuǎn)化為數(shù)字信息傳遞至 遠(yuǎn)程患者處，控制當(dāng)?shù)氐尼t(yī)療器械的虛擬現(xiàn)實系統(tǒng)。 運程手術(shù)的技術(shù)目前尚未成熟，而 Kinect 體感技 術(shù)的介入可以增加遠(yuǎn)程手術(shù)的可行性。西雅圖華盛 頓大學(xué) Biorobotics 實驗室的 Chizeck 等讓 Kinect 傳感器在遠(yuǎn)程手術(shù)過程中為外科醫(yī)生提供觸覺反 饋。他們將 Phantom Omni9 觸覺設(shè)備與 Kinect 設(shè) 備連接，提供電阻式的反饋，以 Kinect 體感技術(shù) 幫助建立物體的 3D 模型，并將數(shù)據(jù)轉(zhuǎn)換為觸摸反 饋。這項研究實現(xiàn)了只要有衛(wèi)星天線車的地方

15、，醫(yī) 生就可以使用 Kinect 設(shè)備遠(yuǎn)程手術(shù)，因此可被廣 泛應(yīng)用于救災(zāi)或者戰(zhàn)場。 德國慕尼黑工業(yè)大學(xué)的一名學(xué)術(shù)研究員發(fā)明了 一款命名為 “The magic mirror魔鏡”的設(shè)備。 它是專門為方便解剖課程的教學(xué)所設(shè)計的，系統(tǒng)能 夠制造一種鏡像的幻覺，讓使用者像是在身上開個 “洞”，看到自己的內(nèi)臟。Kinect 體感技術(shù)在現(xiàn) 代醫(yī)學(xué)教育中的研究，是現(xiàn)代醫(yī)學(xué)教育方式的一個 新的突破，若能得到實際應(yīng)用則會對實現(xiàn)現(xiàn)代醫(yī)學(xué) 教育跨越式的發(fā)展具有十分重要的意義。 03 應(yīng)用-醫(yī)療 03 應(yīng)用-商業(yè)Kinect 憑借其出色的互動能力已經(jīng)在商業(yè)方 面得到了實際應(yīng)用，如俄羅斯一家名為 AR Door 的

16、科技公司于 2011 年 5 月運用 Kinect 體感外設(shè)技術(shù) 發(fā)明的一款“試衣魔鏡”，當(dāng)購物者站在這虛擬試 衣鏡前時，裝置將自動顯示試穿新衣以后的三維圖 像。俄羅斯的高街時裝品牌 Top Shop 在自己的店 中安裝了這款“試衣魔鏡”，俄羅斯的消費者們成 為率先體驗這一高科技所帶來的便利的受惠者。 除了實際應(yīng)用的成果以外，還有一些取得較好效 果的研究成果，如黃康泉開發(fā)的 CoolView 視 頻會議系統(tǒng)中整合了 Kinect 設(shè)備的部分功能，實 現(xiàn)了手勢控制 PPT、自動識別與會人員的舉手發(fā)言 請求及實時 3D 捕獲與顯示等功能，提高了視頻會 議的交互性和真實感，該系統(tǒng)的實現(xiàn)進(jìn)一步論證了

17、Kinect 體感技術(shù)在視頻會議中的實用價值以及對 視頻會議系統(tǒng)發(fā)展創(chuàng)新的積極現(xiàn)實意義。 03 應(yīng)用-機(jī)器人 麻省理工學(xué)院的一個名為 Warwick 移動機(jī)器人 的團(tuán)隊，將 Kinect 設(shè)備和救援機(jī)器人結(jié)合到一起， 設(shè)計出一款新的機(jī)器人Kinectbot。這個機(jī)器人 利用 Kinect 傳感器可以探測出人的存在，并且人 們可以通過肢體動作和聲音來控制這個機(jī)器人 16。 Kinectbot 還能利用 Kinect 設(shè)備的畫面捕捉技術(shù)， 將自己“看到”的畫面繪制成 3D 地圖。這款機(jī)器 人的目的是應(yīng)用于災(zāi)難現(xiàn)場的救援工作，不必需要 過多的人力，或許只是一個兩人小隊就能完成這臺 機(jī)器人的操作。雖然現(xiàn)在這個發(fā)明還沒能應(yīng)用到現(xiàn) 實中，但按照這樣的思路，未來的機(jī)器人隨著靈敏 度的提高，已經(jīng)完全能夠代替人類去勘探危險的區(qū) 域，制作精細(xì)的 3D 地圖了。2015年7月17日至23日，世界頂級機(jī)器人世界杯大賽Robocup在中國合肥完美落幕。此次大賽吸引了來自全球76國家和地區(qū)的100多支隊伍，其中參賽隊伍中，有超級多的機(jī)器人團(tuán)隊。90%的機(jī)器人團(tuán)