虛擬現(xiàn)實(shí)康復(fù)原理與應(yīng)用設(shè)計(jì) 課件全套 第1-7章 緒論、虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)-虛擬現(xiàn)實(shí)技術(shù)與康復(fù)評定

虛擬現(xiàn)實(shí)康復(fù)原理與應(yīng)用設(shè)計(jì)教育部高等學(xué)校生物醫(yī)學(xué)工程類專業(yè)教學(xué)指導(dǎo)委員會“十四五”規(guī)劃教材康復(fù)科學(xué)與技術(shù)系列教材緒論第一章虛擬現(xiàn)實(shí)基本概念01虛擬現(xiàn)實(shí)(VirtualReality,VR)是一種以計(jì)算機(jī)及其圖形化顯示為基礎(chǔ)構(gòu)建起來的多感覺融合人機(jī)交互技術(shù)，其核心是由視覺、聽覺、觸覺等信息整合形成的沉浸式虛擬環(huán)境(VirtualEnvironment,VE),用戶通過人機(jī)交互平臺“置身于”虛擬環(huán)境并與其中的虛擬對象實(shí)現(xiàn)互動。相比傳統(tǒng)的人機(jī)交互方式，如鼠標(biāo)、鍵盤、觸摸屏等,VR技術(shù)打破了傳統(tǒng)的通過數(shù)據(jù)輸入/輸出設(shè)備進(jìn)行簡單聯(lián)系的交互模式，使人與計(jì)算機(jī)之間能夠以更加自然的方式(如手勢、眼動、體動等)進(jìn)行交互。增強(qiáng)現(xiàn)實(shí)增強(qiáng)現(xiàn)實(shí)是一種將真實(shí)世界與虛擬信息融合在一起的圖像/圖形技術(shù)。它與虛擬現(xiàn)實(shí)最大的不同在于，增強(qiáng)現(xiàn)實(shí)技術(shù)是把計(jì)算機(jī)產(chǎn)生的虛擬對象實(shí)時(shí)、準(zhǔn)確地疊加到真實(shí)場景或?qū)ο笊?，而虛擬現(xiàn)實(shí)技術(shù)所呈現(xiàn)的是純粹的虛擬場景及虛擬對象。增強(qiáng)現(xiàn)實(shí)用戶感受到的更多的是一種添加了虛擬物體的真實(shí)世界，它不僅可以展示真實(shí)世界的信息，而且將虛擬的信息同時(shí)顯示，兩種信息相互補(bǔ)充、疊加?；旌犀F(xiàn)實(shí)混合現(xiàn)實(shí)是物理世界與數(shù)字世界的混合，它是一種技術(shù)組合，既能在虛擬場景中融入現(xiàn)實(shí)對象，也能相現(xiàn)實(shí)對象轉(zhuǎn)化成虛擬化身，可以認(rèn)為混合現(xiàn)實(shí)是數(shù)字孳生的一種重要技術(shù)模式。混合現(xiàn)實(shí)可以實(shí)現(xiàn)虛擬與現(xiàn)實(shí)之間的自由切換。虛擬現(xiàn)實(shí)與醫(yī)療健康02醫(yī)學(xué)知識學(xué)習(xí)將人體各器官的解剖結(jié)構(gòu)和生理學(xué)、數(shù)學(xué)模型存儲在一個(gè)數(shù)據(jù)庫中，根據(jù)醫(yī)學(xué)學(xué)習(xí)需要將其通過三維可視化技術(shù)進(jìn)行展示，例如，需要特別顯示某些細(xì)節(jié)，或者從不同視角進(jìn)行觀察。此外，還可以用于開展虛擬解剖知識學(xué)習(xí)和解剖手術(shù)練習(xí)。01醫(yī)療急救培訓(xùn)想要有效地完成醫(yī)療急救工作，醫(yī)護(hù)人員需要有充分的“演練”，這可以在一個(gè)虛擬環(huán)境中完成，包括構(gòu)造一個(gè)虛擬的急救室和急救設(shè)備配置，為虛擬病人設(shè)置任何部位及任何程度的傷害。在一個(gè)交互式的虛擬訓(xùn)練環(huán)境中，讓接受訓(xùn)練的醫(yī)護(hù)人員可能治愈這位“病人”，也可能造成更大的傷害以至發(fā)生醫(yī)療事故。另外，在操作中還可以靠時(shí)間約束來增加受訓(xùn)練者的心理緊張程度，或者加入一些隨機(jī)性干擾因素以增加訓(xùn)練難度。02內(nèi)窺鏡手術(shù)訓(xùn)練通常情況下，要達(dá)到一個(gè)初級的內(nèi)窺鏡手術(shù)醫(yī)生水平，一般要在有人指導(dǎo)的情況下完成近30個(gè)病例。傳統(tǒng)的內(nèi)窺鏡手術(shù)訓(xùn)練可以在外科手術(shù)訓(xùn)練設(shè)備上實(shí)際操作，也可以使用動物模型，但都要花費(fèi)更多時(shí)間和費(fèi)用。目前已經(jīng)開發(fā)出用于內(nèi)窺鏡手術(shù)訓(xùn)練的虛擬環(huán)境，它提供了各種虛擬手術(shù)器械和病人模型，醫(yī)生可以使用最新的設(shè)備和技術(shù)對虛擬病人施行各種手術(shù)。03放療計(jì)劃為了提高放療效率，減小對周圍無關(guān)組織或器官的損傷，在治療前，應(yīng)把目標(biāo)區(qū)域的輪廓細(xì)致地展示在醫(yī)生眼前，并計(jì)算出不同部位最理想的照射劑量。這種放療計(jì)劃可以在虛擬環(huán)境中實(shí)現(xiàn)，也就是先在虛擬病人身上模擬，根據(jù)具體情況不斷改進(jìn)計(jì)劃，優(yōu)化調(diào)整劑量，模擬射線對生物組織的作用效果，直至做到既有效殺死癌細(xì)胞，又使周圍組織或器官損傷最小。04外科手術(shù)模擬復(fù)雜的外科手術(shù)需要預(yù)先設(shè)計(jì)并評估手術(shù)效果，許多手術(shù)部位周圍都有神經(jīng)等重要組織，利用虛擬現(xiàn)實(shí)技術(shù)可以在術(shù)前通過在虛擬病人身上模擬手術(shù)過程來模擬完成手術(shù)操作，以優(yōu)化手術(shù)路徑。05虛擬現(xiàn)實(shí)在康復(fù)領(lǐng)域的成功應(yīng)用主要因素（1）個(gè)性化的特定任務(wù)訓(xùn)練特定任務(wù)的實(shí)踐是運(yùn)動學(xué)習(xí)的基礎(chǔ)，模擬真實(shí)世界的虛擬場景及其特定康復(fù)任務(wù)設(shè)計(jì)可實(shí)現(xiàn)有選擇性的康復(fù)訓(xùn)練。虛擬場景既可以結(jié)合患者自身的功能障礙特點(diǎn)和康復(fù)需要設(shè)計(jì)特定的康復(fù)任務(wù)，還可以構(gòu)造患者熟悉或喜愛的場景。（2）激勵(lì)虛擬現(xiàn)實(shí)可以提供“幾乎真實(shí)”的安全且有激勵(lì)作用的康復(fù)訓(xùn)練任務(wù)，虛擬環(huán)境可以為患者提供更大的成就感（即使患者在真實(shí)世界無法實(shí)現(xiàn)）。同時(shí)，患者與虛擬場景的互動游戲能讓康復(fù)過程更加有趣，而且這種康復(fù)訓(xùn)練激勵(lì)可保持較長時(shí)間。（3）反饋反饋對激勵(lì)患者參與康復(fù)訓(xùn)練非常重要?；颊呖偸切枰獣匀蝿?wù)是否成功完成，這可以通過多種類型的反饋信息傳遞給患者，既可以是簡單的正確或錯(cuò)誤，也可以是完成水平的等級量化。視覺和聲音信息是主要的反饋形式，近年來，觸覺信息也被引入虛擬現(xiàn)實(shí)系統(tǒng)。虛擬現(xiàn)實(shí)技術(shù)的

醫(yī)療康復(fù)應(yīng)用進(jìn)展031.平衡及協(xié)調(diào)訓(xùn)練虛擬現(xiàn)實(shí)技術(shù)將電子游戲引入平衡訓(xùn)練系統(tǒng)中，增加了訓(xùn)練的趣味性及有效性。臨床研究證實(shí)，與傳統(tǒng)平衡訓(xùn)練相比，闔擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)可以促進(jìn)穩(wěn)定期腦卒中患者動態(tài)平衡功能的改善。2.行走及步態(tài)訓(xùn)練臨床隨機(jī)對照試驗(yàn)證實(shí)，將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到傳統(tǒng)行走及步態(tài)訓(xùn)練中，可以取得很好的訓(xùn)練效果。3.認(rèn)知訓(xùn)練基于虛擬現(xiàn)實(shí)技術(shù)的認(rèn)知訓(xùn)練主要應(yīng)用于腦卒中及顱腦損傷患者。臨床研究證實(shí)，虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)可以幫助患者提升記憶力、執(zhí)行力及注意力。4.康復(fù)心理治療康復(fù)心理治療是在良好的治療關(guān)系基礎(chǔ)上，由經(jīng)過專業(yè)訓(xùn)練的治療者運(yùn)用心理治療的有關(guān)理論和技術(shù)，對患者進(jìn)行幫助的過程。虛擬現(xiàn)實(shí)康復(fù)原理與應(yīng)用設(shè)計(jì)教育部高等學(xué)校生物醫(yī)學(xué)工程類專業(yè)教學(xué)指導(dǎo)委員會“十四五”規(guī)劃教材康復(fù)科學(xué)與技術(shù)系列教材虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)第二章虛擬現(xiàn)實(shí)的基本特征01虛擬現(xiàn)實(shí)技術(shù)的基本特征是其“31”特性，即沉浸感(Immersion)、交互性(Interaction)和想象性(Imagination)。隨著時(shí)代和技術(shù)的發(fā)展，越來越多的虛擬現(xiàn)實(shí)系統(tǒng)被賦予智能性(Intelligence)特性，并逐漸成為虛擬現(xiàn)實(shí)技術(shù)的一部分，使虛擬現(xiàn)實(shí)技術(shù)具有“41”特性(見圖2-1)。實(shí)時(shí)交互實(shí)時(shí)交互技術(shù)是人與虛擬環(huán)境互動的基礎(chǔ)，主要是指能夠立刻得到反饋信息的交互技術(shù)，其實(shí)現(xiàn)手段包括鍵盤式交互、觸摸式交互、命令式交互、人機(jī)自然交互(如手勢、體感交互、腦電交互等)和多通道自然交互等。虛實(shí)融合虛實(shí)融合技術(shù)是增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)獲得環(huán)境融合感知的基礎(chǔ)，主要通過將現(xiàn)實(shí)環(huán)境和虛擬環(huán)境的位置、聲音、光照等融合，實(shí)現(xiàn)自然逼真的場景顯示效果，現(xiàn)有的主流設(shè)備包括液晶顯示器、頭盔式顯示器、手持式顯示器和投影式顯示器等。虛實(shí)注冊虛實(shí)注冊是決定增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)系統(tǒng)性能好壞的關(guān)鍵，其主要任務(wù)是實(shí)時(shí)估計(jì)攝像頭相對于真實(shí)場景的位置，確定所需要疊加的虛/實(shí)場景和對象的對應(yīng)位置，并將其通過顯示設(shè)備正確輸出。虛擬現(xiàn)實(shí)核心技術(shù)02擬現(xiàn)實(shí)系統(tǒng)的主要工作流程是將現(xiàn)實(shí)世界中或虛擬想象的事物及其變化過程加工轉(zhuǎn)換成虛擬場景呈現(xiàn)給用戶，并獲取用戶的交互行為，以引起虛擬場景做出反應(yīng)或改變。因此，虛擬現(xiàn)實(shí)是在現(xiàn)實(shí)世界、虛擬場景、用戶三者之間，通過實(shí)物虛化和虛物實(shí)化實(shí)現(xiàn)的(見圖2-3)。（1）實(shí)物虛化實(shí)物虛化(PhysicalObjectVisualization)是現(xiàn)實(shí)世界向虛擬空間的一種可視化映射，是將現(xiàn)實(shí)世界的事物轉(zhuǎn)換成虛擬空間中的虛擬對象的過程，也是為用戶提供逼真虛擬場景的基礎(chǔ)。（2）虛物實(shí)化虛物實(shí)化(VirtualObjectMaterialization)是將建模好的虛擬場景呈現(xiàn)給用戶的過程，它包括視覺、聽覺甚至觸覺等多感覺的綜合呈現(xiàn)，主要涉及視覺繪制、并行繪制、聲音渲染和觸覺渲染等技術(shù)。幾何造型建模(1)人工幾何建模人工幾何建?？梢酝ㄟ^編程方式實(shí)現(xiàn)，如利用OpenGL、Java3D等編程接口，或VRML等虛擬現(xiàn)實(shí)描述語言，它們擁有虛擬場景所需的功能強(qiáng)大的圖形庫，以編程方式輕松調(diào)用所需幾何圖形。同時(shí)，幾何建模也可以運(yùn)用交互式繪圖、建模工具,如AutoCAD、3dsMax.Maya、犀牛等軟件，用戶通過交互操作方式對虛擬場景對象進(jìn)行幾何建模操作，實(shí)現(xiàn)逼真度較高的虛擬環(huán)境建模。01環(huán)境建模技術(shù)(2)數(shù)字化自動建模數(shù)字化自動建模常用三維掃描儀等設(shè)備，采集、獲取真實(shí)世界中物體的形狀和外觀數(shù)據(jù)，并通過紋理貼圖實(shí)現(xiàn)場景的真實(shí)性建模。物理行為建模（1）物理建模物理建模是對虛擬場景中物體的質(zhì)量、慣性、表面紋理、硬度、變形模式（彈性或可塑性）等物體屬性特征進(jìn)行建模。較之幾何造型建模，物理建模屬于虛擬現(xiàn)實(shí)系統(tǒng)中的較高層次，不僅需要運(yùn)用計(jì)算機(jī)圖形學(xué)和物理學(xué)知識，還需要關(guān)注力觸覺反饋的問題。物理建模常用方法包括分形技術(shù)和粒子系統(tǒng)兩類。02環(huán)境建模技術(shù)（2）行為建模上述幾何造型建模和物理建?？梢宰屘摂M對象“看起來像”，但要讓它更符合真實(shí)世界的物體對象，還要讓虛擬對象的運(yùn)動和行為模式符合客觀規(guī)律，使其“看起來真”。例如，虛擬物體離開虛擬場景的桌面要做自由落體運(yùn)動；虛擬杯子傾斜后，其中的水會溢出和流動。行為建模的實(shí)現(xiàn)主要依靠面向?qū)ο蠓椒?、運(yùn)動學(xué)、動力學(xué)計(jì)算和算法動畫技術(shù)。立體顯示技術(shù)1.傳統(tǒng)二維顯示傳統(tǒng)二維顯示主要采用二維的計(jì)算機(jī)屏幕來顯示旋轉(zhuǎn)的二維圖像，從而產(chǎn)生三維的顯示效果。2.雙目視差立體顯示雙目視差立體顯示的本質(zhì)是：通過軟件和電路使某一時(shí)刻的一對視差圖像，左眼視圖輸出到液晶顯示器偶數(shù)列像素上，右眼視圖輸出到液晶顯示器奇數(shù)列像素上；然后使用如柱面光柵等手段，使觀察者的左眼只能看到偶數(shù)列像素上的信息，觀察者的右眼只能看到奇數(shù)列像素上的信息；最后通過大腦的綜合，形成具有深度感的立體圖像。3.真三維立體顯示現(xiàn)有的真三維立體顯示技術(shù)可分為自動分光立體顯示技術(shù)、分光立體眼鏡和全息術(shù)。代表設(shè)備如Perspecta顯示器、Felix3D顯示器和DepthCube系統(tǒng)。反饋技術(shù)1.視覺反饋虛擬現(xiàn)實(shí)系統(tǒng)的視覺反饋主要通過視覺刺激和特定狀態(tài)顯示來實(shí)現(xiàn)，如在虛擬場景中高亮顯示目標(biāo)物體，或在界面上設(shè)定特殊按鈕，通過視覺刺激引起操作者反應(yīng)等。2.聲音反饋三維虛擬聲音是聲音渲染的主要目標(biāo)，它能在虛擬場景中使用戶準(zhǔn)確判斷聲源的精確位置，符合人們在真實(shí)世界中的聽覺方式。三維虛擬聲音是在雙聲道立體聲的基礎(chǔ)上，把聲場信號通過電路處理后進(jìn)行播放而不增加聲道和音箱，但可以讓聽者感到聲音來自圍繞雙耳的球形空間的任何位置。3.力觸覺反饋力觸覺是除視覺和聽覺之外人類感受外界環(huán)境最重要的感覺之一。它主要利用全身廣泛分布的觸覺感受器、本體感受器和溫度感受器，通過接觸來感知場景特征。人機(jī)交互技術(shù)1.手勢/動作識別技術(shù)2.面部表情識別技術(shù)面部表情識別（人臉識別或人臉檢測）包括人臉圖像分割、主要特征（眼、鼻、口）定位及識別。人臉檢測的基本思想是建立人臉模型，比較所有可能的待檢測區(qū)域并與人臉模型進(jìn)行匹配，從而確定可能存在的人臉區(qū)域。人臉識別又可以分成基于特征的人臉檢測方法和基于圖像的人臉檢測方法。勢/動作識別系統(tǒng)的輸入設(shè)備主要分為基于可穿戴式設(shè)備的識別和基于機(jī)器視覺（圖像）的識別系統(tǒng)?；跈C(jī)器視覺的手勢/動作識別是從視覺通道獲得信號的，通常用攝像機(jī)獲得手勢/動作圖像信息，并通過圖像處理方法識別手勢/動作。人機(jī)交互技術(shù)3.眼動跟蹤技術(shù)4.語音交互技術(shù)語音交互技術(shù)通過自動識別語音來理解用戶意圖。一般先通過訓(xùn)練建立模板，在識別應(yīng)用階段將輸入語音的特征矢量與模板進(jìn)行匹配，以最相似的語音作為識別結(jié)果進(jìn)行輸出。眼動跟蹤技術(shù)的基本工作原理是，利用圖像處理技術(shù)，使用能鎖定眼睛的特殊攝像機(jī)，通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)記錄視線變化，從而追蹤眼動信息并與虛擬場景/對象進(jìn)行交互控制。人機(jī)交互技術(shù)5.腦機(jī)接口技術(shù)腦機(jī)接口技術(shù)的基本原理是，利用腦電設(shè)備采集頭部的多通道腦電信號，并利用信號處理方法實(shí)現(xiàn)對人所要表達(dá)的想法的識別，進(jìn)而實(shí)現(xiàn)對設(shè)備的操控。這一人機(jī)交互手段可以有效增強(qiáng)身體嚴(yán)重殘疾的患者與外界交流或控制外部環(huán)境的能力，以提高患者的生活質(zhì)量。環(huán)境集成技術(shù)系統(tǒng)集成技術(shù)是虛擬現(xiàn)實(shí)中的重中之重。它是以計(jì)算機(jī)為核心，將多種輸入/輸出交互設(shè)備，以及信息同步、模型標(biāo)定、數(shù)據(jù)轉(zhuǎn)換、識別和合成等技術(shù)協(xié)調(diào)組合在一起的軟/硬件平臺。在該平臺上，用戶可以很方便、容易地進(jìn)行二次、三次新技術(shù)開發(fā)，不斷增強(qiáng)、完善其功能。沉浸感增強(qiáng)技術(shù)沉浸感是指人對計(jì)算機(jī)系統(tǒng)創(chuàng)造和顯示出來的虛擬環(huán)境的感覺和認(rèn)識。當(dāng)人們在虛擬環(huán)境中活動時(shí)，如果能夠完全投入并過濾掉所有不相關(guān)的知覺，那么便進(jìn)入了一種沉浸狀態(tài)。沉浸感增強(qiáng)技術(shù)包括系統(tǒng)沉浸、空間沉浸、社交沉浸和劇情沉浸。創(chuàng)造具有強(qiáng)烈沉浸感的虛擬環(huán)境依賴于對各種技術(shù)的綜合運(yùn)用，包括圖形圖像技術(shù)、人機(jī)交互技術(shù)、人工智能與模式識別技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)、并行與協(xié)同計(jì)算技術(shù)、大規(guī)模顯示技術(shù)等。碰撞檢測技術(shù)在各種虛擬現(xiàn)實(shí)的應(yīng)用中，由于用戶會與虛擬環(huán)境中的對象發(fā)生交互，虛擬系統(tǒng)中的物體對象經(jīng)常會發(fā)生碰撞，同時(shí)在碰撞的基礎(chǔ)上，會發(fā)展出以發(fā)生碰撞為操作判定條件的操作方式。為了使虛擬環(huán)境保持真實(shí)性，即真實(shí)地表達(dá)對象的運(yùn)動情況和物體發(fā)生碰撞后的形變和環(huán)境變化，系統(tǒng)需要及時(shí)檢測到碰撞的發(fā)生并形成即時(shí)響應(yīng)，由此發(fā)展出碰撞檢測算法和技術(shù)。碰撞檢測通常用來檢測對象甲是否與對象乙發(fā)生相互作用。在虛擬場景中檢測碰撞，還需要盡可能降低時(shí)延(30?50ms),因而碰撞檢測也成為了虛擬現(xiàn)實(shí)系統(tǒng)與其他實(shí)時(shí)仿真系統(tǒng)的技術(shù)瓶頸。碰撞檢測技術(shù)(1)幾何方法幾何方法主要分析單獨(dú)模型的拓?fù)浣Y(jié)構(gòu)，跟蹤、計(jì)算模型之間的最相近特征(點(diǎn)、邊、面)，典型算法主要有Lin-Caimy算法與EnhancedGJK算法。(2)空間分解法空間分解法主要將虛擬物體所在空間劃分為大小相等的單元格，然后對在相同或相鄰單元格內(nèi)的所有對象進(jìn)行碰撞檢測，典型算法有k-d樹、八叉樹、BSP樹、四面體網(wǎng)和規(guī)則網(wǎng)格等。(3)層次包圍盒法層次包圍盒法是指在虛擬物體的外圍以一定規(guī)則建立包圍盒，并對包圍盒進(jìn)行由大到小的分層劃分(通常以包圍盒樹的形式進(jìn)行組織)，全局檢測時(shí)利用包圍盒間的相交測試快速排除不可能發(fā)生碰撞的組合，再對相交的包圍盒內(nèi)的物體進(jìn)行更迸一步的碰撞檢測。虛擬現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)與開發(fā)03設(shè)計(jì)原則與開發(fā)流程1.虛擬現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)目標(biāo)和設(shè)計(jì)原則(1)設(shè)計(jì)目標(biāo)虛擬現(xiàn)實(shí)系統(tǒng)的本質(zhì)特征是“逼真感受”，因此虛擬現(xiàn)實(shí)系統(tǒng)的設(shè)計(jì)目標(biāo)之一就是通過構(gòu)建一個(gè)虛擬世界，讓用戶盡可能地完全沉浸其中，而沉浸感的價(jià)值在于讓用戶集中注意力。(2)設(shè)計(jì)原則虛擬現(xiàn)實(shí)系統(tǒng)的設(shè)計(jì)原則包括目的性、舒適性、創(chuàng)造性、想象性、可靠性和魯棒性。設(shè)計(jì)原則與開發(fā)流程2.虛擬現(xiàn)實(shí)系統(tǒng)通用設(shè)計(jì)開發(fā)流程(1)需求分析由于虛擬場景中所擁有的資源越豐富，所需要的投入也就越多，因此不可能把所有功能都實(shí)現(xiàn)，而是需要根據(jù)需求進(jìn)行必要的取舍。通過需求分析，一般會把功能列為不同的優(yōu)先等級，優(yōu)先實(shí)現(xiàn)等級高的功能。(2)開發(fā)策劃根據(jù)需求分析結(jié)果，分層次對開發(fā)過程進(jìn)行策劃，以確定其詳細(xì)的功能實(shí)現(xiàn)方案。設(shè)計(jì)原則與開發(fā)流程2.虛擬現(xiàn)實(shí)系統(tǒng)通用設(shè)計(jì)開發(fā)流程(3)建模開發(fā)根據(jù)開發(fā)策劃結(jié)果進(jìn)行建模開發(fā)，其中，建模是指構(gòu)建場景中的基本元素，在建模過程中同時(shí)進(jìn)行模型優(yōu)化。一個(gè)好的虛擬現(xiàn)實(shí)項(xiàng)目不僅要運(yùn)行流暢、逼真，還要保證模型規(guī)模適度。(4)交互開發(fā)交互開發(fā)是模型建立后的關(guān)鍵環(huán)節(jié)。Unity3D等虛擬現(xiàn)實(shí)開發(fā)引擎負(fù)責(zé)整個(gè)場景中的交互功能開發(fā)，是將虛擬現(xiàn)實(shí)場景與用戶連接在一起的開發(fā)紐帶，協(xié)調(diào)整個(gè)虛擬現(xiàn)實(shí)系統(tǒng)的工作和運(yùn)行。設(shè)計(jì)原則與開發(fā)流程2.虛擬現(xiàn)實(shí)系統(tǒng)通用設(shè)計(jì)開發(fā)流程(5)渲染開發(fā)系統(tǒng)不僅要運(yùn)行流暢，而且需要渲染逼真的場景以增強(qiáng)沉浸感?；句秩臼峭ㄟ^插件完成的，而渲染開發(fā)所得到的效果是“看到臺燈能真正感受到發(fā)光”。(6)測試和發(fā)布經(jīng)過上述步驟的迭代開發(fā)，即可得到一個(gè)完整的虛擬現(xiàn)實(shí)系統(tǒng)，但還需要進(jìn)一步對虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行測試，并對未通過測試的部分進(jìn)行修改、完善。在完成測試的基礎(chǔ)上，就可以發(fā)布虛擬現(xiàn)實(shí)應(yīng)用了。虛擬現(xiàn)實(shí)內(nèi)容制作1.制作方式(1)手工建模手工建模是指建模工程師根據(jù)虛擬現(xiàn)實(shí)內(nèi)容開發(fā)的需要，利用三維建模軟件進(jìn)行建模工作。(2)靜態(tài)建模靜態(tài)建模是指針對靜態(tài)對象(主要包括道具和角色)實(shí)現(xiàn)快速圖像采集，并生成高精度、高還原度的通用三維模型。(3)全景拍攝全景拍攝是指對被拍攝對象進(jìn)行720。環(huán)繞拍攝，將所有拍攝得到的圖片拼成一張全景圖片，從而完成對被拍攝對象的建模任務(wù)。虛擬現(xiàn)實(shí)內(nèi)容制作2.虛擬現(xiàn)實(shí)構(gòu)建元素(1)三維模型三維模型是實(shí)際環(huán)境或想象空間中的物體在計(jì)算機(jī)中的再現(xiàn)，是實(shí)現(xiàn)虛擬現(xiàn)實(shí)最基本的核心部分。(2)紋理。獲取紋理圖像的方法包括利用貼圖素材、實(shí)地拍攝采樣以及從遙感影像中提取。在此基礎(chǔ)上，對紋理圖像進(jìn)行處理，利用軟件對圖像進(jìn)行復(fù)原和裁剪，消除紋理陰影的遮擋，保證圖像清晰和色調(diào)均衡。(3)燈光三維場景中的燈光可以照亮物體、烘托氣氛，同時(shí)可以增強(qiáng)物體的紋理效果和真實(shí)感。虛擬現(xiàn)實(shí)內(nèi)容制作2.虛擬現(xiàn)實(shí)構(gòu)建元素(4)渲染與烘焙渲染是把特定的材質(zhì)、建立的燈光以及背景環(huán)境的設(shè)置在虛擬場景中用創(chuàng)建的模型顯示出來，將貼圖紋理保存后再通過虛擬緩存將信息顯示出來，將三維場景轉(zhuǎn)換為二維圖像。(5)音頻音頻在虛擬現(xiàn)實(shí)中占據(jù)著非常重要的作用，一般分為兩類：系統(tǒng)音樂和系統(tǒng)音效。系統(tǒng)音樂通常適用于時(shí)間較長的音頻，如背景音樂等；系統(tǒng)音效則適用于時(shí)間較短的音頻，如場景中交互所觸發(fā)的效果聲。音頻的介入可提高虛擬場景的沉浸感和真實(shí)性。虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)開發(fā)步驟01交互方式設(shè)計(jì)(1)真實(shí)場地(2)傳感器實(shí)現(xiàn)交互(3)動作捕捉(4)力觸覺反饋(5)方向追蹤(6)手勢跟蹤(7)眼部追蹤(8)肌電模擬(9)語音交互02虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)虛擬任務(wù)模擬及場景仿真(1)虛擬任務(wù)模擬①通過互聯(lián)網(wǎng)下載模型；②利用三維建模軟件進(jìn)行建模；③利用三維激光掃描儀等數(shù)字化自動建模工具進(jìn)行建模；④采用基于圖像的建模軟件進(jìn)行建模。(2)虛擬場景仿真虛擬現(xiàn)實(shí)場景的仿真、內(nèi)容的開發(fā)和任務(wù)的模擬主要依靠虛擬現(xiàn)實(shí)開發(fā)引擎來實(shí)現(xiàn)，目前主流的虛擬現(xiàn)實(shí)開發(fā)引擎有Unity3D、UnrealEngine和Virtools,此外還有中視典的VR-Platform等。03虛擬現(xiàn)實(shí)開發(fā)引擎

及其設(shè)計(jì)應(yīng)用041.開發(fā)引擎(1)Unity3DUnity3D是由丹麥的UnityTechnologies公司開發(fā)的適用于三維視頻游戲創(chuàng)建、建筑可視化、實(shí)時(shí)三維動畫制作等類型互動內(nèi)容的多平臺綜合型游戲開發(fā)工具，是一個(gè)全面整合的專業(yè)游戲引擎。(2)UnrealEngineUnrealEngine(虛幻引擎)由EpicGames公司開發(fā)，該公司為適應(yīng)游戲編程的特殊性，開發(fā)了UnrealScript編程語言。該引擎的源代碼可從GitHub開源社區(qū)下載,這意味著開發(fā)者可以對物理引擎、渲染和圖形用戶界面進(jìn)行修改。1.開發(fā)引擎(3)VirtoolsVirtools是由法國達(dá)索集團(tuán)開發(fā)的一套虛擬現(xiàn)實(shí)制作整合軟件，可輕松地將三維模型、二維圖形或音效等常用的文件格式整合在一起，創(chuàng)建出不同用途的虛擬現(xiàn)實(shí)作品。Virtools是一套具備豐富的互動行為模塊的實(shí)時(shí)三維環(huán)境虛擬實(shí)境編輯軟件，可以讓沒有程序基礎(chǔ)的美術(shù)人員利用內(nèi)置的行為模塊快速制作出不同用途的三維產(chǎn)品，如網(wǎng)際網(wǎng)絡(luò)、計(jì)算機(jī)游戲、建筑設(shè)計(jì)、教育訓(xùn)練等。2.虛擬現(xiàn)實(shí)內(nèi)容開發(fā)實(shí)例(1)虛擬現(xiàn)實(shí)系統(tǒng)描述本實(shí)例通過Unity3D和LeapMotion的結(jié)合，實(shí)現(xiàn)用手勢來控制虛擬場景中的物體，從而實(shí)現(xiàn)常見的手部動作操作識別，如旋轉(zhuǎn)、抓取、移動等。其中，虛擬場景中的模型是常見的電腦桌和扳手，通過LeapMotion控制器，主要實(shí)現(xiàn)用雙手控制電腦桌的移動、旋轉(zhuǎn)等，同時(shí)可以實(shí)現(xiàn)使用右手抓取虛擬場景中的扳手來拆卸桌子上的螺釘?shù)牟僮鳌?.虛擬現(xiàn)實(shí)內(nèi)容開發(fā)實(shí)例(1)虛擬現(xiàn)實(shí)系統(tǒng)描述系統(tǒng)的硬件環(huán)境主要由一臺PC主機(jī)和一臺LeapMotion控制器組成；軟件環(huán)境主要由Unity3D、3dsMax及LeapMotionSDK組成，通過3dsMax建立電腦桌、扳手的模型，將建造好的三維模型(FBX格式的模型)添加到Unity3D的場景中，同時(shí)將LeapMotion自帶的開發(fā)包加入U(xiǎn)nity3D中，將LeapMotion作為輸入設(shè)備，實(shí)現(xiàn)用雙手控制虛擬電腦桌和扳手的操作。2.虛擬現(xiàn)實(shí)內(nèi)容開發(fā)實(shí)例(2)基礎(chǔ)框架通過LeapMotion獲取手的動作信息，用手來實(shí)現(xiàn)對虛擬場景中物體的控制，虛擬場景可通過Unity3D來制作，用戶在LeapMotion控制器的視野范圍內(nèi)進(jìn)行手的動作，通過LeapMotion獲取手勢數(shù)據(jù)，采用跟蹤前檢測技術(shù)來跟蹤手的移動，獲取手的移動數(shù)據(jù)信息及想要表達(dá)的含義，最后通過計(jì)算機(jī)來完成手部動作識別。具體實(shí)現(xiàn)首先在Unity3D中新建一個(gè)工程，導(dǎo)入LeapMotionSDK,然后創(chuàng)建手，找到LeapMotion文件下的Prefabs文件夾，將LeapHandController拖到Unity中的Scene窗口中，再將Prefabs文件夾下的HandModelsNoHuman文件夾中的CapsuleHandL和CapsuleHand_R都拖入Scene窗口中，其中CapsuleHand_L和CapsuleHand_R是不帶物理屬性的，將HandModelsNoHuman文件下的HandModelsPhysical文件夾中的RigidRoimdHaiid_L和RigidRoundHand_R也拖入Scene窗口中；方便起見，在Scene窗口中創(chuàng)建一個(gè)物體來管理剛剛創(chuàng)建的4只手，在Scene窗口中創(chuàng)建一個(gè)名為HandModels的空物體，把剛剛拖到場景中的手都作為它的子物體。再將桌子模型和扳手模型導(dǎo)入Scene窗口中，并調(diào)整到適當(dāng)位置，最終Scene窗口如圖2-9所示。01虛擬現(xiàn)實(shí)康復(fù)原理與應(yīng)用設(shè)計(jì)教育部高等學(xué)校生物醫(yī)學(xué)工程類專業(yè)教學(xué)指導(dǎo)委員會“十四五”規(guī)劃教材康復(fù)科學(xué)與技術(shù)系列教材虛擬現(xiàn)實(shí)康復(fù)基本原理第三章康復(fù)的基本理論01康復(fù)是指綜合、協(xié)同運(yùn)用醫(yī)學(xué)的、教育的、社會的、職業(yè)的各種方法，使病、傷、殘者（包括先天性殘）已經(jīng)喪失的功能盡快地、最大限度地得到恢復(fù)和重建，使他們在體格上、精神上、社會職業(yè)參與或生活能力上得到盡可能的恢復(fù)，從而重新走向生活、開始工作、融入社會。簡言之，康復(fù)就是促進(jìn)存在功能障礙的患者的功能向積極方向轉(zhuǎn)化的過程，這也是康復(fù)醫(yī)療的宗旨。功能障礙包括器官/系統(tǒng)的功能障礙、個(gè)體活動能力受限或社會參與受限；對功能障礙的另一種理解是，人和環(huán)境相互作用時(shí)難以實(shí)現(xiàn)有效交互的消極方面（不足或缺失）?？祻?fù)的主要目標(biāo)是運(yùn)用工程和醫(yī)學(xué)方法增強(qiáng)或補(bǔ)齊缺失的功能，可選擇的途徑包括：①通過康復(fù)訓(xùn)練和治療的路徑，改善患者自身功能以適應(yīng)環(huán)境；②通過代償和替代的方式，幫助患者獲得適應(yīng)環(huán)境的新能力；③通過改造硬環(huán)境（如建筑、無障礙設(shè)施等）和軟環(huán)境，讓患者在功能障礙的情況下也可以適應(yīng)社會。神經(jīng)發(fā)育療法（Neuro-developmentTreatment,NDT）又稱為神經(jīng)生理學(xué)療法（Neuro-physiologicalTherapy,NPT）或神經(jīng)肌肉促進(jìn)技術(shù)（Neuro-muscularFacilitationTechnologyTNFT）,是20世紀(jì)40?60年代通過廣泛研究而建立的一種康復(fù)治療方法，其治療原則是把神經(jīng)發(fā)育學(xué)、神經(jīng)生理學(xué)的基本原理和法則運(yùn)用到腦損傷和周圍神經(jīng)系統(tǒng)損傷后引起的運(yùn)動功能障礙的康復(fù)治療中。神經(jīng)發(fā)育療法以神經(jīng)系統(tǒng)作為重點(diǎn)治療對象，通過對外周（軀干和肢體）的良性刺激，抑制異常病理反射和病理運(yùn)動模式，引起并促進(jìn)正常的反射和建立正常的運(yùn)動模式。神經(jīng)發(fā)育療法主要包括以下4種?？祻?fù)治療基本理論1.神經(jīng)發(fā)育療法Bobath技術(shù)01康復(fù)治療基本理論Bobath技術(shù)是由英國物理治療師BertaBobath和她的丈夫KarelBobath在運(yùn)動發(fā)育控制理論基礎(chǔ)上創(chuàng)立的，該技術(shù)認(rèn)為運(yùn)動的感覺可以通過后天不斷學(xué)習(xí)而獲得，只有正常的感覺反饋本身才可教會患者重新學(xué)會正常運(yùn)動，通常會引入加壓或負(fù)重、放置或保持、輕推等外界能量以形成感覺刺激。1.神經(jīng)發(fā)育療法Rood技術(shù)02Rood技術(shù)又稱為多感覺刺激技術(shù)，由美國的MargaretRood在20世紀(jì)50年代創(chuàng)立，充分運(yùn)用了神經(jīng)生理學(xué)和動作發(fā)育理論。一方面，利用觸覺、溫度、牽拉肌肉、輕叩肌腱或肌腹、擠壓等刺激誘發(fā)肌肉收縮；另一方面，也可利用擠壓、牽拉等方式抑制肌肉反應(yīng)。Bruimstrom技術(shù)03康復(fù)治療基本理論Bruimstrom技術(shù)是瑞典物理治療師SigneBruimstrom創(chuàng)立的一種治療腦損傷后運(yùn)動功能障礙的方法，該技術(shù)的基本原則是在腦損傷后的恢復(fù)過程中，利用運(yùn)動模式來誘發(fā)運(yùn)動反應(yīng)，從而讓患者能觀察到患肢仍然可以運(yùn)動，激發(fā)患肢主動參與運(yùn)動的欲望。1.神經(jīng)發(fā)育療法Kabat-Knott-Ross技術(shù)04Kabat-Knott-Ross技術(shù)由美國神經(jīng)生理學(xué)家HermanKabat等創(chuàng)立，該技術(shù)主要依據(jù)Sherrington的神經(jīng)生理學(xué)理論，即外周神經(jīng)和感受器所產(chǎn)生的輸入信號可以影響脊髓運(yùn)動神經(jīng)元的興奮性?？祻?fù)治療基本理論2.運(yùn)動再學(xué)習(xí)療法運(yùn)動再學(xué)習(xí)療法是把中樞神經(jīng)損傷后恢復(fù)運(yùn)動功能的訓(xùn)練視為一種再學(xué)習(xí)或重新學(xué)習(xí)過程的康復(fù)治療方法，主動參與是對患者的基本要求。運(yùn)動再學(xué)習(xí)治療的治療原理包括神經(jīng)可塑性與功能重組、反饋對運(yùn)動控制有重要作用、調(diào)整重心、限制不必要的肌肉活動。其中，實(shí)現(xiàn)功能重組的主要條件是開展有針對性的反復(fù)練習(xí)，同時(shí)強(qiáng)調(diào)視覺、聽覺反饋和本體、觸覺反饋對運(yùn)動功能康復(fù)都可以發(fā)揮重要作用。運(yùn)動再學(xué)習(xí)療法包含上肢功能、坐位平衡、站起與坐下、站立平衡、行走功能等日常生活中的基本運(yùn)動功能，而每一部分的運(yùn)動功能訓(xùn)練又包含以下7個(gè)基本步驟。x康復(fù)治療基本理論2.運(yùn)動再學(xué)習(xí)療法①分析：以基本運(yùn)動成分作為一個(gè)分析模式或框架，從行為學(xué)、運(yùn)動學(xué)、動力學(xué)神經(jīng)、肌肉等方面進(jìn)行觀察、比較、分析，找出缺失的運(yùn)動成分和存在的問題。②軟組織牽伸：牽伸是為了保持軟組織長度，包括持續(xù)牽伸和短暫牽伸。③誘發(fā)肌肉活動：分解練習(xí)喪失的運(yùn)動成分，可通過電刺激、運(yùn)動現(xiàn)象、主動控制訓(xùn)練誘發(fā)肌肉收縮，并配合語言、視覺反饋等，重新恢復(fù)喪失的運(yùn)動功能。④練習(xí)作業(yè):可整體練習(xí)或功能性訓(xùn)練，把所掌握的運(yùn)動成分與正常功能活動結(jié)合起來，在不同環(huán)境中不斷糾正異常模式，使其逐步趨于正常⑤力量訓(xùn)練:對已經(jīng)恢復(fù)部分功能的肌肉進(jìn)行肌力訓(xùn)練。⑥優(yōu)化運(yùn)動技巧:在不同環(huán)境和任務(wù)下增加運(yùn)動的技巧、難度、靈活性和重復(fù)性。⑦訓(xùn)練的轉(zhuǎn)移:在開放性環(huán)境及真實(shí)的生活環(huán)境中練習(xí)已經(jīng)掌握運(yùn)動功能使其不斷熟練?？祻?fù)治療基本理論3.鏡像療法鏡像療法(MirrorTherapy,MT)又稱為鏡像視覺反饋(MirrorVisualFeedback,MVF)療法，是通過將健側(cè)肢體影像反饋到患側(cè)，利用鏡像錯(cuò)覺(即患者認(rèn)為患側(cè)肢體形態(tài)、功能恢復(fù)到正常的錯(cuò)覺)調(diào)控并重塑中樞神經(jīng)系統(tǒng)，促進(jìn)感覺、運(yùn)動及認(rèn)知功能恢復(fù)的現(xiàn)代康復(fù)方法。鏡像療法的主要神經(jīng)生理基礎(chǔ)是中樞神經(jīng)系統(tǒng)調(diào)控和重塑機(jī)制發(fā)揮作用，主要康復(fù)應(yīng)用包括截肢后的患肢痛、腦卒中后的運(yùn)動功能障礙、腦卒中后的認(rèn)知功能障礙、腦癱、疼痛等。近年來，鏡像療法又拓展到動作觀察療法、運(yùn)動想象等?？祻?fù)治療與康復(fù)訓(xùn)練設(shè)備康復(fù)治療設(shè)備包括電療儀、光療儀、超聲波治療儀、磁療儀、生物反饋治療儀、牽引治療儀等?？祻?fù)訓(xùn)練設(shè)備包括用于基礎(chǔ)訓(xùn)練的康復(fù)器械、維持和改善關(guān)節(jié)活動范圍的器械、增加阻力和耐力的器械、改善平衡和協(xié)調(diào)功能的器械等。01康復(fù)評定設(shè)備康復(fù)評定設(shè)備主要包括以下3類：①運(yùn)動功能評定設(shè)備，如肌力測試儀、步態(tài)分析儀、平衡儀等。②心肺功能評定設(shè)備，如肺功能儀、運(yùn)動平板、心肺運(yùn)動測試儀等。③電生理評定設(shè)備，如肌電圖儀、腦電信號記錄設(shè)備等。02康復(fù)工程技術(shù)康復(fù)輔助器具輔助器具(AssistiveProduct,AP)簡稱輔具，是功能障礙患者個(gè)人使用的，用于改善功能障礙患者的活動與參與度的康復(fù)產(chǎn)品。輔具的主要功效在于：提高功能障礙患者的參與性，為功能障礙患者發(fā)揮身體功能保護(hù)、支撐、訓(xùn)練、測量或替代等作用。按照國際標(biāo)準(zhǔn)和慣例，康復(fù)輔具又可細(xì)分為技能訓(xùn)練輔助器具、矯形器和假肢、個(gè)人生活自理和防護(hù)輔助器具、個(gè)人移動輔助器具、交流和信息輔助器具等多個(gè)種類。近年來，隨著計(jì)算機(jī)技術(shù)、機(jī)器人技術(shù)和人工智能技術(shù)的快速發(fā)展，新的康復(fù)工程技術(shù)及其產(chǎn)品也不斷涌現(xiàn)，如康復(fù)機(jī)器人、智能假肢、腦機(jī)接口康復(fù)和虛擬現(xiàn)實(shí)康復(fù)等。03康復(fù)工程技術(shù)虛擬現(xiàn)實(shí)康復(fù)技術(shù)簡介02虛擬現(xiàn)實(shí)康復(fù)與增強(qiáng)現(xiàn)實(shí)康復(fù)（1）虛擬現(xiàn)實(shí)康復(fù)基于虛擬現(xiàn)實(shí)（VR）的康復(fù)技術(shù)是隨著虛擬現(xiàn)實(shí)技術(shù)在康復(fù)領(lǐng)域的應(yīng)用而逐漸形成的一門新的康復(fù)工程技術(shù)理論。（2）增強(qiáng)現(xiàn)實(shí)康復(fù)基于增強(qiáng)現(xiàn)實(shí)（AR）的康復(fù)技術(shù)可以定義為：使用增強(qiáng)現(xiàn)實(shí)硬件和技術(shù)，在真實(shí)康復(fù)訓(xùn)練場景中，疊加虛擬信息內(nèi)容后進(jìn)行增強(qiáng)康復(fù)訓(xùn)練的一種技術(shù)和方法。虛擬現(xiàn)實(shí)康復(fù)技術(shù)的分類根據(jù)康復(fù)患者種類的不同，虛擬現(xiàn)實(shí)康復(fù)分為骨科虛擬現(xiàn)實(shí)康復(fù)、腦卒中虛擬現(xiàn)實(shí)康復(fù)和認(rèn)知虛擬現(xiàn)實(shí)康復(fù)等。骨科虛擬現(xiàn)實(shí)康復(fù)的患者是指遭受骨骼或肌肉/韌帶損傷的患者，患者相對比較年輕，數(shù)量較多；腦卒中虛擬現(xiàn)實(shí)康復(fù)患者是指由于神經(jīng)出血或腦血凝塊導(dǎo)致半身癱瘓后存活下來的患者，患者一般年齡較大，可同時(shí)伴有運(yùn)動功能障礙和認(rèn)知功能障礙；認(rèn)知虛擬現(xiàn)實(shí)康復(fù)患者主要是指患有各種心理障礙的個(gè)體，包括注意缺陷多動障礙、飲食障礙，以及恐高癥、創(chuàng)傷后的壓力、抑郁癥和恐懼癥等。虛擬現(xiàn)實(shí)康復(fù)技術(shù)的分類根據(jù)康復(fù)方案的不同，虛擬現(xiàn)實(shí)康復(fù)分為虛擬現(xiàn)實(shí)增強(qiáng)康復(fù)(VR-augmentedRehabilitation)和虛擬現(xiàn)實(shí)暴露療法(VRExposedBasedTherapy)o虛擬現(xiàn)實(shí)增強(qiáng)康復(fù)方法是指，在臨床(或在家)利用虛擬現(xiàn)實(shí)軟件系統(tǒng)生成的三維虛擬場景、任務(wù)，通過先進(jìn)的自然交互技術(shù)完成虛擬訓(xùn)練任務(wù)，達(dá)到模擬練習(xí)和康復(fù)訓(xùn)練的目的。虛擬現(xiàn)實(shí)暴露療法則是指將虛擬現(xiàn)實(shí)的特定應(yīng)激場景與暴露療法相結(jié)合的心理治療方法。根據(jù)具體的治療方法，虛擬現(xiàn)實(shí)康復(fù)的任務(wù)模擬包括“示例教學(xué)”“視頻游戲”和“暴露療法”。虛擬現(xiàn)實(shí)康復(fù)技術(shù)的分類“示例教學(xué)”類任務(wù)模擬方法需要有虛擬“教師”或“治療師”進(jìn)行示例，患者運(yùn)動訓(xùn)練是在具體示例指引下完成的，虛擬場景中可以進(jìn)行運(yùn)動狀態(tài)和骨骼肌肉狀態(tài)的信息可視化，以幫助患者了解自身狀況。01“視頻游戲”類任務(wù)模擬方法通過二維Flash或三維游戲，如Wii游戲、Kinect游戲等，對患者進(jìn)行康復(fù)訓(xùn)練，相比而言，其可視化程度欠佳，患者沒有“教師”或“治療師”指導(dǎo)，若想完成任務(wù)則需要更高的認(rèn)知負(fù)荷。02“暴露療法”類任務(wù)模擬方法需要在虛擬場景中模擬逼真的環(huán)境，如恐高現(xiàn)場、爆炸現(xiàn)場等，對三維虛擬仿真的場景性和功能性要求較高，患者在此環(huán)境中需感受到和真實(shí)場景類似的場景，進(jìn)而達(dá)到暴露治療的目的。03虛擬現(xiàn)實(shí)康復(fù)技術(shù)的主要特點(diǎn)虛擬現(xiàn)實(shí)康復(fù)技術(shù)的基本特點(diǎn)除了包括多感知性、沉浸感、交互性和想象性，還具有康復(fù)預(yù)防、康復(fù)治療和康復(fù)評定等功能。在虛擬現(xiàn)實(shí)康復(fù)中，多感知性是指虛擬環(huán)境感知和患者自身生理、心理狀態(tài)感知兩個(gè)方面，即除了常規(guī)的視覺、聽覺、力覺、觸覺、運(yùn)動等感知，還包括腦電、肌電、心電和血氧等人體生理、心理狀態(tài)的感知。虛擬現(xiàn)實(shí)所特有的“31”特性在虛擬現(xiàn)實(shí)康復(fù)中具體表現(xiàn)在以下幾個(gè)方面。虛擬現(xiàn)實(shí)康復(fù)技術(shù)的主要特點(diǎn)沉浸感沉浸感是指用戶感到作為主角存在于虛擬現(xiàn)實(shí)環(huán)境中的真實(shí)程度。其中虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的沉浸感取決于顯示設(shè)備的好壞、場景模擬的真實(shí)程度和交互的準(zhǔn)確性。增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)的沉浸感取決于虛實(shí)場景注冊算法的準(zhǔn)確性和交互的實(shí)時(shí)性。交互性在交互性是指患者借助專用的三維交互設(shè)備，與虛擬環(huán)境之間以自然的方式進(jìn)行交互。交互性可以被認(rèn)為是虛擬現(xiàn)實(shí)康復(fù)技術(shù)最重要的特點(diǎn)之一?，F(xiàn)有的主要交互方式包括手勢交互、動作交互、語音交互、腦機(jī)接口和肌電交互等。想象性想象性是指通過沉浸感和交互性，使患者隨著環(huán)境狀態(tài)和交互行為的變化而對未來產(chǎn)生構(gòu)想，增強(qiáng)創(chuàng)想能力。在虛擬康復(fù)技術(shù)中，想象性具體是指患者在完成虛擬任務(wù)過程中，通過運(yùn)動想象、認(rèn)知推理，增強(qiáng)創(chuàng)造力，誘導(dǎo)并促使患者大腦的神經(jīng)具有可塑性，激發(fā)患者的主動運(yùn)動和學(xué)習(xí)意愿。虛擬現(xiàn)實(shí)康復(fù)技術(shù)的主要特點(diǎn)虛擬現(xiàn)實(shí)康復(fù)技術(shù)的功能(1)康復(fù)預(yù)防康復(fù)預(yù)防在臨床康復(fù)領(lǐng)域包括一級、二級和三級預(yù)防。虛擬現(xiàn)實(shí)康復(fù)技術(shù)所體現(xiàn)的康復(fù)預(yù)防功能主要體現(xiàn)在一級預(yù)防，表現(xiàn)為可以通過虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)康復(fù)訓(xùn)練，積極預(yù)防慢性疾病與老年病，通過運(yùn)動和認(rèn)知訓(xùn)練，減少因疾病而導(dǎo)致的殘疾和認(rèn)知功能退化。虛擬現(xiàn)實(shí)康復(fù)技術(shù)的主要特點(diǎn)虛擬現(xiàn)實(shí)康復(fù)技術(shù)的功能(2)康復(fù)治療康復(fù)治療是指促使損傷、疾病、發(fā)育缺陷等因素造成的身心功能障礙或殘疾恢復(fù)正?；蚪咏５闹委煼绞?，也可以認(rèn)為是臨床康復(fù)的三級預(yù)防，表現(xiàn)為在殘疾程度較輕時(shí)，可以通過虛擬康復(fù)訓(xùn)練進(jìn)行有效的積極康復(fù)治療，阻止其繼續(xù)發(fā)展，使已發(fā)生障礙的功能獲得代償、矯正或適應(yīng)，以提高個(gè)人的自理能力，便于繼續(xù)參加社會生活，增強(qiáng)殘疾者的生活信心。(3)康復(fù)評定康復(fù)評定是對病傷殘者的功能狀況及水平進(jìn)行定性和定量的描述，對其結(jié)果做出合理解釋的過程。虛擬現(xiàn)實(shí)康復(fù)技術(shù)所要求的康復(fù)評定功能更側(cè)重于定量的描述。虛擬現(xiàn)實(shí)康復(fù)的反饋

及其生理效應(yīng)03視覺反饋及其生理效應(yīng)1.視覺生理基礎(chǔ)視覺系統(tǒng)是人類感官中結(jié)構(gòu)和功能最為復(fù)雜的器官之一，由眼睛、神經(jīng)傳導(dǎo)通路及大腦視覺中樞構(gòu)成。視覺的形成需要有完整的視覺通路，其主要組成部分如圖3-1所示。外界物體的影像通過眼內(nèi)光學(xué)系統(tǒng)聚焦在視網(wǎng)膜上；視網(wǎng)膜內(nèi)的光感受器（視桿細(xì)胞及視錐細(xì)胞）在受到光刺激后，將投射圖像的亮度和色彩模式信息轉(zhuǎn)變成生物電信號和化學(xué)信號，激活由各神經(jīng)元細(xì)胞（如水平細(xì)胞、雙極細(xì)胞、神經(jīng)節(jié)細(xì)胞等）組成的復(fù)雜網(wǎng)絡(luò)，并在神經(jīng)節(jié)細(xì)胞處形成神經(jīng)沖動，經(jīng)由視神經(jīng)、外側(cè)膝狀體等到達(dá)視皮層，使大腦產(chǎn)生視覺感覺，再根據(jù)已有的經(jīng)驗(yàn)和記憶，通過分析、判斷等極為復(fù)雜的過程，?最終形成視覺。視覺反饋及其生理效應(yīng)1.視覺生理基礎(chǔ)視覺反饋及其生理效應(yīng)2.運(yùn)動觀察的神經(jīng)生理效應(yīng)（1）鏡像運(yùn)動視覺反饋視覺作為直覺的主導(dǎo)，對中樞神經(jīng)系統(tǒng)具有調(diào)控和重塑作用。在鏡像療法等康復(fù)進(jìn)程中，利用鏡像成像設(shè)備將健側(cè)肢體活動的畫面復(fù)制到患側(cè)，研究證實(shí)，患者對患側(cè)肢體的觀察有助于提升其所支配皮層神經(jīng)的活動水平；進(jìn)一步研究還發(fā)現(xiàn)，視錯(cuò)覺能強(qiáng)化患者對患側(cè)肢體的注意和感知，減少習(xí)得性失用。在接受視覺反饋的感覺刺激時(shí)，大腦中樞神經(jīng)系統(tǒng)的感覺、運(yùn)動神經(jīng)信息交互增強(qiáng)，對肢體的注意和意識提高，進(jìn)而促進(jìn)運(yùn)動腦區(qū)神經(jīng)興奮性改變。鏡像神經(jīng)元是支持鏡像療法的神經(jīng)科學(xué)最新研究發(fā)現(xiàn)。在大腦的不同腦區(qū)，鏡像神經(jīng)元形成了有特定功能的鏡像神經(jīng)元系統(tǒng)。研究認(rèn)為，鏡像神經(jīng)元系統(tǒng)能較好地協(xié)調(diào)動作感知和動作執(zhí)行功能，提供觀察者內(nèi)在的識別體驗(yàn)，還有助于理解他人的行為、意圖和情感狀態(tài)。鏡像神經(jīng)元的功能主要包括動作理解、模仿、交流與社會行為、共情等。視覺反饋及其生理效應(yīng)2.運(yùn)動觀察的神經(jīng)生理效應(yīng)（2）動作觀察動作觀察療法(ActionObservationTherapy,AOT)是指通過觀察視頻圖像中的正常動作來促進(jìn)腦功能恢復(fù)，視覺反饋在其中發(fā)揮了重要作用。研究發(fā)現(xiàn)，當(dāng)觀察別人執(zhí)行某個(gè)動作時(shí)，會引起自身執(zhí)行該動作的部分神經(jīng)元被激活，這些神經(jīng)元也是鏡像神經(jīng)元，它們被認(rèn)為是通過一種內(nèi)部模仿機(jī)制來促進(jìn)腦神經(jīng)環(huán)路重塑的。事實(shí)上，人類可通過學(xué)習(xí)和理解，將運(yùn)動信息作為動作記憶存儲在大腦中，動作觀察能激活存儲該動作執(zhí)行的腦區(qū)內(nèi)類似動作的再現(xiàn)或“共振”，從而有利于所觀察動作的執(zhí)行、模仿以及模仿性的運(yùn)動技能學(xué)習(xí)，從而改善觀察者的運(yùn)動能力。動作觀察療法就是基于鏡像神經(jīng)元系統(tǒng)在動作觀察、動作理解、動作模仿中發(fā)揮的重要作用，是近年產(chǎn)生的一種新的腦卒中康復(fù)治療方法。國內(nèi)外許多研究者的小樣本臨床研究也證實(shí)，動作觀察療法通過動作觀察、運(yùn)動想象和觀察模仿等過程，可改善腦卒中患者的運(yùn)動功能，提高其日常生活能力。視覺反饋及其生理效應(yīng)虛擬現(xiàn)實(shí)中的視覺反饋設(shè)計(jì)(1)虛擬現(xiàn)實(shí)的可視化及渲染虛擬現(xiàn)實(shí)的主要體驗(yàn)是視覺顯示，它運(yùn)用計(jì)算機(jī)圖形學(xué)及其顯示技術(shù)將大量數(shù)據(jù)進(jìn)行可視化展示，給操作者或用戶更真實(shí)的感覺。虛擬場景中的實(shí)體建模是虛擬現(xiàn)實(shí)系統(tǒng)的基礎(chǔ)，主要包括三維視覺建模和三維聽覺建模，其中三維視覺建模主要包括幾何建模、運(yùn)動建模、物理建模、對象行為建模及模型切分等。隨著計(jì)算機(jī)圖形圖像技術(shù)的發(fā)展，實(shí)體建模的方法有很多，而大部分建模工具都提供已創(chuàng)建的基本圖形供設(shè)計(jì)時(shí)調(diào)用；對于復(fù)雜物體，可采用分割重組、三角形拼接、面向?qū)ο蟮娜S圖形建模等方法進(jìn)行構(gòu)建，面向?qū)ο蟮膱D形化模型建模的基本思路如圖3-2所示。03視覺反饋及其生理效應(yīng)虛擬現(xiàn)實(shí)中的視覺反饋設(shè)計(jì)(2)虛擬場景的運(yùn)動建模①模型搭建：資源的準(zhǔn)備和導(dǎo)入。虛擬模型通常由美術(shù)師利用第三方工具（如3dsMax或Maya等）導(dǎo)入開發(fā)平臺。這些虛擬模型包括表皮模型、骨骼模型、模型貼圖和相關(guān)組件等，其中骨骼模型是實(shí)現(xiàn)控制的核心，表皮模型、模型貼圖及相關(guān)組件可有效地提高虛擬人物和場景的逼真感。②數(shù)據(jù)流驅(qū)動：根據(jù)數(shù)據(jù)類型的差異，具體的模型控制方式也有不同?，F(xiàn)今主流的人體運(yùn)動數(shù)據(jù)采集設(shè)備主要分為攝像機(jī)系統(tǒng)和可穿戴式設(shè)備兩類。攝像機(jī)系統(tǒng)主要采集的是RGB圖像、紅外熱成像圖和深度圖像等，它們都可采用相應(yīng)的算法轉(zhuǎn)換為骨骼的運(yùn)動數(shù)據(jù)，此時(shí)需要利用工具、插件將各個(gè)骨骼的運(yùn)動數(shù)據(jù)與骨骼模型進(jìn)行綁定，從而實(shí)現(xiàn)對虛擬角色的驅(qū)動和控制；可穿戴式設(shè)備利用其慣性傳感器采集的運(yùn)動數(shù)據(jù)，將四元矢量與虛擬模型的骨骼/關(guān)節(jié)進(jìn)行綁定，從而實(shí)現(xiàn)控制。03視覺反饋及其生理效應(yīng)虛擬現(xiàn)實(shí)中的視覺反饋設(shè)計(jì)(3)虛擬場景的實(shí)時(shí)渲染實(shí)時(shí)渲染的本質(zhì)是圖形數(shù)據(jù)實(shí)時(shí)計(jì)算和輸出，利用計(jì)算機(jī)的快速建模和繪制功能，通過快速切換幀的方式以連續(xù)畫面實(shí)現(xiàn)實(shí)時(shí)渲染和交互過程，利用計(jì)算機(jī)模擬現(xiàn)實(shí)物體的形狀、材質(zhì)、紋理、相對位置、光照、遮擋關(guān)系等物理屬性以增強(qiáng)逼真度。表3-1分別從技術(shù)特點(diǎn)、交互延遲、顯示質(zhì)量和數(shù)據(jù)壓縮四個(gè)方面對常見的4種實(shí)時(shí)渲染方式進(jìn)行了比較。03力觸覺與本體感覺反饋及其生理效應(yīng)1.力觸覺與本體感覺的生理基礎(chǔ)力觸覺反饋是指通過力觸覺反饋設(shè)備提供軀體感覺刺激，使用戶產(chǎn)生觸覺信息并進(jìn)一步形成觸覺感知。觸覺是指一種或多種接觸感覺，包括通過皮膚感知的觸覺和本體感覺、人體的主動接觸和基于驅(qū)動技術(shù)的被動接觸感知，是利用來自皮膚內(nèi)機(jī)械感受器（“皮膚感知觸覺”輸入）以及肌肉、肌腱和關(guān)節(jié)內(nèi)機(jī)械感受器（“本體感覺”輸入）的感覺信息產(chǎn)生的感覺。用戶通過探索性活動接收到觸覺刺激屬于主動觸覺過程，而用戶在未主動參與探索的情況下接收到外界傳遞的觸覺刺激屬于被動觸覺。被動的接觸傾向于把人們的注意力集中在主觀身體感覺上，而主動探索產(chǎn)生的接觸傾向于引導(dǎo)人們注意外部環(huán)境的屬性。力觸覺與本體感覺反饋及其生理效應(yīng)1.力觸覺與本體感覺的生理基礎(chǔ)皮膚的觸覺感受器遍布體表，包括有毛和無毛的皮膚。當(dāng)人們觸摸物體時(shí)，皮膚內(nèi)部的觸覺感受器由于受到空間變化、振動等刺激而引起觸覺。皮膚的觸覺傳入的纖維末梢可分為機(jī)械感受器、溫度感受器和疼痛感受器，其中溫度感受器分為熱感受器和冷感受器，冷感受器在整個(gè)表皮和真皮層中較多。表3-2列出了皮膚的觸覺感受器的特征敏感性和主要功能。力觸覺與本體感覺反饋及其生理效應(yīng)1.力觸覺與本體感覺的生理基礎(chǔ)力觸覺與本體感覺反饋及其生理效應(yīng)1.力觸覺與本體感覺的生理基礎(chǔ)手的無毛皮膚中的機(jī)械感受器根據(jù)其響應(yīng)特征的接受域的相對大小和相對適應(yīng)率(對皮膚變形開始/偏移的響應(yīng)和皮膚持續(xù)變形期間的持續(xù)響應(yīng))，可以分為4種類型：快適應(yīng)的Meissnei1小體(FastAdaptingTypeI,FA-1)、Pacinian小體(FastAdaptingTypeII,FA-H)、慢適應(yīng)的Merkel盤(SlowAdaptingTypeI,SA-1)和Ruffini小體(SlowAdaptingTypeH，SA-H)。圖3-3是皮膚內(nèi)機(jī)械感受器的示意圖。力觸覺與本體感覺反饋及其生理效應(yīng)1.力觸覺與本體感覺的生理基礎(chǔ)虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)虛擬現(xiàn)實(shí)康復(fù)中的力觸覺反饋設(shè)計(jì)力觸覺反饋設(shè)備是實(shí)現(xiàn)用戶與計(jì)算機(jī)中創(chuàng)建的虛擬場景交互的工具，極大地增強(qiáng)了虛擬現(xiàn)實(shí)系統(tǒng)的沉浸感、交互性和想象性。力觸覺反饋設(shè)備根據(jù)反饋所刺激的機(jī)械感受器可分為力反饋（運(yùn)動覺反饋）設(shè)備和觸覺反饋設(shè)備。用于康復(fù)的力觸覺反饋設(shè)備多為力反饋設(shè)備。這類設(shè)備產(chǎn)生的力可以引導(dǎo)、抵抗或擾亂運(yùn)動，提供有關(guān)計(jì)算機(jī)產(chǎn)生的虛擬物體的物理特性和/或運(yùn)動的力反饋。在虛擬場景中，與只有視覺、聽覺反饋相比，力反饋已經(jīng)被證明可以提高用戶運(yùn)動的速度和精度。手指的運(yùn)動被力反饋設(shè)備轉(zhuǎn)換成虛擬場景中的動作，同時(shí)通過機(jī)械杠桿或氣動執(zhí)行機(jī)構(gòu)將力量反饋給手指。這些力量激活韌帶和關(guān)節(jié)囊、肌肉紡錘體和Golgi肌腱器官中的運(yùn)動傳入神經(jīng)，產(chǎn)生對虛擬場景中物體的物理屬性的感知，以便用戶能夠感受到虛擬對象的大小、重量或紋理。桌面觸覺反饋設(shè)備即屬于提供運(yùn)動覺刺激的力反饋設(shè)備。02虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)虛擬現(xiàn)實(shí)康復(fù)中的力觸覺反饋設(shè)計(jì)提供皮膚觸覺刺激的觸覺反饋設(shè)備可以通過應(yīng)用電場或磁場，結(jié)合壓電晶體形狀記憶合金或氣動系統(tǒng)，或使用在不同環(huán)境中改變黏度的液體等機(jī)制運(yùn)作。這些設(shè)備主要通過施加壓力、振動、電場或熱流的變化來產(chǎn)生觸覺，使用戶能感知虛擬場景中物體的溫度、紋理、形狀和粗糙度。在康復(fù)領(lǐng)域的觸覺反饋設(shè)備主要包括基于振動模擬的觸覺反饋設(shè)備、基于壓力模擬的觸覺反饋設(shè)備、基于溫度感覺模擬的觸覺反饋設(shè)備、基于皮膚電刺激模擬的觸覺反饋設(shè)備和基于空間分辨率的觸覺反饋設(shè)備。基于觸覺反饋的可穿戴式觸覺反饋設(shè)備和表面觸覺反饋設(shè)備即屬于提供皮膚觸覺刺激的觸覺反饋設(shè)備。02虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)虛擬現(xiàn)實(shí)康復(fù)中的力觸覺反饋設(shè)計(jì)桌面觸覺反饋設(shè)備是一個(gè)多關(guān)節(jié)的機(jī)器人手臂，用戶手中握著…支觸控筆，該設(shè)備能夠跟蹤觸控筆的運(yùn)動，并對觸控筆提供力觸覺反饋，該設(shè)備通常固定在桌面或地面上。觸控筆在虛擬場景中的虛擬化身可以是手指、手術(shù)刀、機(jī)械螺絲刀等，虛擬化身與虛擬場景中的物體接觸或碰撞時(shí)，接觸力從桌面觸覺反饋設(shè)備傳遞到用戶手上，從而使其獲得操縱虛擬物體的力反饋體驗(yàn)。桌面觸覺反饋設(shè)備主要有3個(gè)部分：①在每個(gè)關(guān)節(jié)或機(jī)器人手臂的末端執(zhí)行器中都有位置或力傳感器，用來測量觸控筆的運(yùn)動(或用戶施加在觸控筆上的力)；②電機(jī)執(zhí)行機(jī)構(gòu)提供反饋力或扭矩；③傳遞機(jī)構(gòu)將扭矩從關(guān)節(jié)傳遞到末端執(zhí)行器。隨著傳感器、機(jī)器人等技術(shù)的飛速發(fā)展,涌現(xiàn)出了大量的桌面觸覺反饋設(shè)備，圖3-4所示是兩種典型的桌面觸覺反饋設(shè)備。02虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)虛擬現(xiàn)實(shí)康復(fù)中的力觸覺反饋設(shè)計(jì)02虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)虛擬現(xiàn)實(shí)康復(fù)中的力觸覺反饋設(shè)計(jì)02虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)虛擬現(xiàn)實(shí)康復(fù)中的力觸覺反饋設(shè)計(jì)02虛擬現(xiàn)實(shí)康復(fù)中的多感官通道設(shè)計(jì)1.多感官通道概述人的各種感官的神經(jīng)信息在大腦中樞層面并不是截然分開的，而是彼此交錯(cuò)、相互連接的，各種感官通道獲得的信息存在相互溝通，人對環(huán)境、設(shè)備的認(rèn)知是多種感官經(jīng)驗(yàn)相互融合形成的。多感官通道又稱為多感官刺激(MultisensoryStimulation)或多模態(tài)交互(MultimodalInteraction),在與環(huán)境的交互過程中，人首先通過感官系統(tǒng)對外界刺激進(jìn)行感知活動，然后在大腦中形成認(rèn)知過程進(jìn)而決定人的行為活動。人體感官系統(tǒng)是感知外界事物刺激的媒介，包括視覺、聽覺、觸覺、味覺和嗅覺，俗稱“五感”。隨著對腦組織的深入研究，科研人員發(fā)現(xiàn)除五大感官之外，人體還有疼痛感受、本體感受、熱覺感受等，在人體認(rèn)知和行為活動中同樣發(fā)揮著重要的作用。同時(shí)，近年來的研究還證實(shí)，通過整合每個(gè)感官通道的信息可顯著提高人體對外界刺激的檢測和識別，豐富環(huán)境提供的多重感官刺激可以調(diào)節(jié)人體的多種生物機(jī)制，能更有效地促進(jìn)運(yùn)動、認(rèn)知功能和神經(jīng)心理的恢復(fù)，使學(xué)習(xí)效果顯著提高。虛擬現(xiàn)實(shí)康復(fù)中的多感官通道設(shè)計(jì)2.康復(fù)訓(xùn)練中的多感官通道設(shè)計(jì)原則(1)一致性一致性是多感官通道刺激在設(shè)計(jì)應(yīng)用時(shí)最重要的原則之一。一方面，應(yīng)保證多種感官刺激之間的關(guān)系與以往的個(gè)人經(jīng)驗(yàn)或與自然界中本該發(fā)生的感覺之間的關(guān)系相一致，比如敲鐘，應(yīng)該發(fā)出“咚咚咚”的聲音，而不是發(fā)出“汪汪汪”的聲音;另一方面，多感官刺激之間的關(guān)系最重要的是需要保持時(shí)間、空間上的一致性，也就是說，不同的感官刺激在空間和時(shí)間上密切匹配，就好像來自同一事件一樣，尤其是應(yīng)處于同一空間。虛擬現(xiàn)實(shí)康復(fù)中的多感官通道設(shè)計(jì)2.康復(fù)訓(xùn)練中的多感官通道設(shè)計(jì)原則(2)交互性多種感官刺激之間應(yīng)存在一定的關(guān)聯(lián)性，比如，是某種感官刺激影響另一種感官刺激，還是兩種感官刺激同時(shí)發(fā)生。基于交互性原則，用戶在使用過程中通過簡單的操作能夠?qū)崟r(shí)控制所處的環(huán)境變化并提供交瓦反饋，給予用戶操縱輔具的主導(dǎo)控制權(quán)而不是產(chǎn)生康復(fù)輔具操控用戶的錯(cuò)覺。虛擬現(xiàn)實(shí)康復(fù)中的多感官通道設(shè)計(jì)2.康復(fù)訓(xùn)練中的多感官通道設(shè)計(jì)原則(3)適宜性針對腦卒中手部康復(fù)訓(xùn)練，由于受限于康復(fù)環(huán)境、資源、費(fèi)用等因素，多感官刺激的實(shí)現(xiàn)應(yīng)以簡單有效、低成本的方式融入康復(fù)訓(xùn)練中，而不應(yīng)該依附于大型、昂貴的媒介。同時(shí)考慮到家庭環(huán)境，用戶并沒有相關(guān)的醫(yī)護(hù)經(jīng)驗(yàn)和專業(yè)知識，因此基于簡易性原則，應(yīng)降低多感官康復(fù)產(chǎn)品的使用門檻，最大限度地為有需要之人提供康復(fù)服務(wù)。虛擬現(xiàn)實(shí)康復(fù)中的多感官通道設(shè)計(jì)2.康復(fù)訓(xùn)練中的多感官通道設(shè)計(jì)原則(4)合理性與正常人相比，患者的生理特征、心理情緒等方面存在一定的獨(dú)特性，多感官刺激的實(shí)現(xiàn)一定要考慮刺激的強(qiáng)度、舒適度、理解度等因素，從感官組合、訓(xùn)練程度、任務(wù)量、強(qiáng)度、舒適程度等方面，以適量、合理的輸入為初衷，對患者身體和情緒層面不施加消極影響。虛擬現(xiàn)實(shí)康復(fù)中的多感官通道設(shè)計(jì)2.康復(fù)訓(xùn)練中的多感官通道設(shè)計(jì)原則(5)全面性由于每種感官刺激信息的接收和處理都對應(yīng)不同的神經(jīng)區(qū)域，多種感官刺激信息能夠激活不同的大腦區(qū)域，能更全面地針對輸入刺激做出精確的反應(yīng)。因此，在設(shè)計(jì)時(shí)要盡可能地涉及視覺、聽覺、觸覺、本體感覺等不同的感官系統(tǒng)，全方位地輸入刺激信息，實(shí)現(xiàn)多元化、多樣性，提高對外界刺激的檢測和識別能力。虛擬現(xiàn)實(shí)的交互式設(shè)計(jì)與開發(fā)增強(qiáng)現(xiàn)實(shí)康復(fù)技術(shù)增強(qiáng)現(xiàn)實(shí)技術(shù)的主要任務(wù)是進(jìn)行真實(shí)世界與虛擬世界的無縫融合，因此，增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)開發(fā)的關(guān)鍵是解決真實(shí)訓(xùn)練場景與虛擬角色在幾何(空間位置)、光照和時(shí)間方面的一致性問題。例如，患者在利用滾筒進(jìn)行上肢康復(fù)訓(xùn)練時(shí)，往往因?yàn)閯幼骺菰锒y以堅(jiān)持，如果利用增強(qiáng)現(xiàn)實(shí)技術(shù)，在真實(shí)的滾筒運(yùn)動過程中添加虛擬角色、游戲任務(wù)，并附加圖片、文字等激勵(lì)因素，則可以動態(tài)增強(qiáng)患者的康復(fù)環(huán)境提升患者的鍛煉興趣和康復(fù)訓(xùn)練效率。在這一過程中，主要困難在于如何確保真實(shí)滾筒和虛擬角色在幾何、光照和時(shí)間上的一致性。其中，幾何一致性要求真實(shí)滾筒和虛擬角色按照正確的空間位置、透視投影和虛實(shí)遮擋關(guān)系實(shí)時(shí)渲染到真實(shí)場景的視頻影像中;光照一致性要求虛擬角色的光照與真實(shí)場景中的光照有著一致的明暗陰影效果，以便患者覺察不到虛實(shí)的不一致:時(shí)間一致性要求患者在與真實(shí)滾筒和虛擬角色進(jìn)行交互的過程中具有實(shí)時(shí)性，以便患者可以自由地在真實(shí)空間和虛擬角色之間進(jìn)行交互。03慮擬現(xiàn)實(shí)康復(fù)系統(tǒng)組成與設(shè)計(jì)04虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟/硬件組成1.本地虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)典型的本地虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)主要由交互設(shè)備、計(jì)算機(jī)、視聽覺輸出設(shè)備、虛擬現(xiàn)實(shí)康復(fù)軟件和數(shù)據(jù)庫組成，其中虛擬現(xiàn)實(shí)康復(fù)軟件和數(shù)據(jù)庫安裝在計(jì)算機(jī)中。本地虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟件的基本結(jié)構(gòu)如圖3-7所示，主要包括個(gè)性化康復(fù)需求及功能的綜合評定、康復(fù)方案及流程設(shè)計(jì)、交互模塊、虛擬仿真模塊、評價(jià)反饋模塊和數(shù)據(jù)庫。有些虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)并不包含個(gè)性化康復(fù)需求及功能的綜合評定和康復(fù)方案及流程設(shè)計(jì)兩部分，而是在康復(fù)之前由專業(yè)醫(yī)師利用專業(yè)的測評軟件并結(jié)合自身實(shí)際經(jīng)驗(yàn)完成此部分功能。虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟/硬件組成1.本地虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)(1)個(gè)性化康復(fù)需求及功能的綜合評定個(gè)性化康復(fù)需求及功能的綜合評定的主要功能是針對患者的個(gè)性化康復(fù)需求，對患者進(jìn)行功能的綜合評價(jià)和分析。(2)康復(fù)方案及流程設(shè)計(jì)康復(fù)方案及流程設(shè)計(jì)的功能是根據(jù)知識庫和個(gè)性化康復(fù)評定結(jié)果，確定患者的具體康復(fù)訓(xùn)練方案和康復(fù)流程。(3)交互模塊交互模塊的作用有兩個(gè)方面:一方面，通過人機(jī)交瓦界面，讓患者錄入個(gè)人信息、選擇要訓(xùn)練的項(xiàng)目、虛擬任務(wù)等內(nèi)容，確保患者與康復(fù)系統(tǒng)進(jìn)行良好的溝通;另一方面，通過各種人機(jī)交互設(shè)備，采集患者運(yùn)動、認(rèn)知相關(guān)的信號，將其與虛擬場景相關(guān)聯(lián)，基于自然的交互完成虛擬訓(xùn)練任務(wù)。虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟/硬件組成1.本地虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)（4）虛擬仿真模塊虛擬仿真模塊一般包含一系列與交互模塊相對應(yīng)的虛擬任務(wù)，如虛擬投籃、虛擬踢球等，主要由虛擬仿真軟件（如Unity3D、Virtools等）開發(fā)而成。（5）評價(jià)反饋模塊評價(jià)反饋模塊主要提供患者運(yùn)動功能、訓(xùn)練狀態(tài)和認(rèn)知狀態(tài)的量化結(jié)果，這些結(jié)果一部分為實(shí)時(shí)、短期的評價(jià)數(shù)據(jù)，可以反饋到虛擬仿真模塊中進(jìn)行顯示，供患者對自身的訓(xùn)練狀態(tài)進(jìn)行自評；另一部分則具有中長期訓(xùn)練效果的評價(jià)功能，患者可以對自己的康復(fù)效果進(jìn)行評估，康復(fù)醫(yī)師也可通過存儲在數(shù)據(jù)庫中的量化評價(jià)數(shù)據(jù)對患者的康復(fù)訓(xùn)練效果進(jìn)行調(diào)整。（6）數(shù)據(jù)庫數(shù)據(jù)庫主要用于存儲患者信息、訓(xùn)練數(shù)據(jù)和評價(jià)結(jié)果數(shù)據(jù)。2.遠(yuǎn)程虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)典型的遠(yuǎn)程虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的基本組成結(jié)構(gòu)如圖3-8所示，系統(tǒng)由服務(wù)器端和客戶端組成。客戶端包括患者端和康復(fù)醫(yī)師端，患者端與本地虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的組成相似；康復(fù)醫(yī)師端主要通過瀏覽器或特定的軟件，訪問患者信息，監(jiān)控患者訓(xùn)練狀態(tài)，并及時(shí)提供康復(fù)指導(dǎo)。服務(wù)器端包括一臺或多臺服務(wù)器，用于實(shí)現(xiàn)虛擬任務(wù)的模擬、數(shù)據(jù)的分析和存儲、患者和康復(fù)醫(yī)師信息的管理等。虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟/硬件組成虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟/硬件組成增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)(1)基于顯示器的增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)基于顯示器的增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)(見圖3-9)主要由攝像機(jī)、處理器和顯示器/屏組成。其中，攝像機(jī)負(fù)責(zé)采集真實(shí)場景的視頻圖像，并將其送入處理器；處理器負(fù)責(zé)交互動作的解析、虛擬場景的生成、虛擬物體和真實(shí)場景視頻圖像的融合，以及康復(fù)效果的反饋和評價(jià)，既可以是普通的PC,也可以是嵌入式處理器；顯示器/屏負(fù)責(zé)融合后的增強(qiáng)場景視頻圖像的顯示，既可以是液晶顯示器，也可以是手機(jī)或平板電腦顯示屏?；陲@示器的增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)具有成本低、構(gòu)建簡單的優(yōu)勢，但沉浸感不強(qiáng)，顯示具有延遲，往往體驗(yàn)不佳。03虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟/硬件組成增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)(2)頭盔式增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)頭盔式增強(qiáng)現(xiàn)實(shí)康復(fù)系統(tǒng)(見圖3-10)主要由處理器和頭盔式顯示器組成，其中處理器既可以獨(dú)立于頭盔之外,也可以集成在頭盔之中。頭盔式顯示器又可分為光學(xué)透視式和視頻透視式。視頻透視式顯示器采用的是基于視頻合成技術(shù)的穿透式頭盔式顯示器。它通過安裝在頭盔上的微型攝像頭獲取外部真實(shí)環(huán)境信息，計(jì)算機(jī)通過場景虛實(shí)注冊、跟蹤和理解，將虛擬信息疊加在攝像機(jī)的視頻信號上，進(jìn)行虛實(shí)場景融合，最后將融合的場景送入頭盔式顯示器進(jìn)行顯示，主要優(yōu)點(diǎn)是不易受強(qiáng)光干擾、視場大、對定位系統(tǒng)的要求較低，缺點(diǎn)是虛實(shí)匹配有可能不準(zhǔn)確，造成安全隱患。03虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的軟件設(shè)計(jì)規(guī)范1.虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)任務(wù)設(shè)計(jì)原則①虛擬現(xiàn)實(shí)康復(fù)模擬任務(wù)的設(shè)計(jì)必須遵守臨床康復(fù)基本理論和康復(fù)的基本原則。以臨床康復(fù)中的運(yùn)動療法、作業(yè)療法、語言療法、心理療法和精神療法等為基礎(chǔ)，進(jìn)行合理的模擬任務(wù)設(shè)計(jì)和程序開發(fā)。②康復(fù)任務(wù)中設(shè)置的交互方式應(yīng)該盡可能簡單、自然，且能夠根據(jù)患者的訓(xùn)練狀態(tài)反饋信息，如肌力、肌張力變化、疲勞程度等，對患者訓(xùn)練狀態(tài)進(jìn)行閉環(huán)監(jiān)控和交互式自適應(yīng)調(diào)整，以便及時(shí)發(fā)現(xiàn)訓(xùn)練狀態(tài)異常，避免過度訓(xùn)練和二次損傷。虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的軟件設(shè)計(jì)規(guī)范1.虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)任務(wù)設(shè)計(jì)原則③虛擬現(xiàn)實(shí)康復(fù)模擬任務(wù)的設(shè)計(jì)應(yīng)遵循由易到難的原則，模擬任務(wù)應(yīng)包含合理的激勵(lì)措施。這樣不僅能夠提高患者的積極性，同時(shí)也增加了訓(xùn)練的時(shí)間、樂趣和科學(xué)性，可以大大提高患者的主觀能動性，間接提高康復(fù)訓(xùn)練的效果。④虛擬現(xiàn)實(shí)康復(fù)模擬任務(wù)要提供足夠的訓(xùn)練狀態(tài)反饋信息。一方面，通過反饋的數(shù)據(jù)，患者可以在康復(fù)訓(xùn)練中及時(shí)調(diào)整交互方式、任務(wù)模式和訓(xùn)練時(shí)間，以達(dá)到最佳的康復(fù)狀態(tài)；另一方面，康復(fù)醫(yī)師也可以根據(jù)反饋的數(shù)據(jù)來優(yōu)化訓(xùn)練參數(shù)，制定最佳康復(fù)方案。2.虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟件開發(fā)流程虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的軟件設(shè)計(jì)規(guī)范2.虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟件開發(fā)流程虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的軟件設(shè)計(jì)規(guī)范(1)需求分析在需求分析階段，開發(fā)者需要廣泛調(diào)研患者的需求，同時(shí)結(jié)合康復(fù)醫(yī)師的建議，促使虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)具有更科學(xué)的交互模式、康復(fù)訓(xùn)練方式和更合理的評定方法，能夠更好地滿足各類患者的實(shí)際需求，提高康復(fù)訓(xùn)練效果。在需求分析階段，開發(fā)者需要用WORD或相關(guān)的工具軟件清楚地列出系統(tǒng)大致的大功能模塊，以及大功能模塊包含的小功能模塊，并且還應(yīng)列出相關(guān)的界面和界面功能。(2)系統(tǒng)設(shè)計(jì)首先，開發(fā)者需要對軟件系統(tǒng)的設(shè)計(jì)進(jìn)行總體考慮，確定三維建模軟件、虛擬仿真軟件和編程語言。2.虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟件開發(fā)流程虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的軟件設(shè)計(jì)規(guī)范(3)編程開發(fā)在軟件開發(fā)階段，開發(fā)者根據(jù)系統(tǒng)設(shè)計(jì)要求，開始具體的程序編寫工作，總體分為場景及物體建模和仿真兩個(gè)部分，場景及物體建模用于實(shí)現(xiàn)虛擬現(xiàn)實(shí)康復(fù)所需要的一切三維模型的構(gòu)建，仿真主要涉及交互、虛擬任務(wù)模擬和評價(jià)算法開發(fā)。具體地，需要按照詳細(xì)設(shè)計(jì)方案，分別實(shí)現(xiàn)各模塊的功能，從而滿足針對目標(biāo)康復(fù)系統(tǒng)的功能、性能、接口、界面等方面的要求。2.虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)軟件開發(fā)流程虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的軟件設(shè)計(jì)規(guī)范(4)系統(tǒng)測試在編程開發(fā)完成后，應(yīng)充分測試編寫好的系統(tǒng)?？梢韵冗M(jìn)行各種功能的全封閉測試，通過正常、異常操作確認(rèn)軟件系統(tǒng)的可用性；然后通過不同測試人的體驗(yàn)，對軟件的康復(fù)訓(xùn)練效果進(jìn)行測試，確定軟件的功能可用性；最后通過招募被試、醫(yī)院試用或社區(qū)試用的方法，對軟件進(jìn)行試用性測試。通過測試，不斷對患者的康復(fù)訓(xùn)練效果進(jìn)行評定并對設(shè)計(jì)的交互方式和模擬任務(wù)進(jìn)行調(diào)整。虛擬現(xiàn)實(shí)康復(fù)原理與應(yīng)用設(shè)計(jì)教育部高等學(xué)校生物醫(yī)學(xué)工程類專業(yè)教學(xué)指導(dǎo)委員會“十四五”規(guī)劃教材康復(fù)科學(xué)與技術(shù)系列教材虛擬現(xiàn)實(shí)康復(fù)中的人機(jī)交互第四章虛擬現(xiàn)實(shí)人機(jī)交互簡介01廣義上講，人機(jī)交互技術(shù)(Human-ComputerInteractionTechniques)是指通過計(jì)算機(jī)輸入/輸出設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)對話的技術(shù)。它包括傳統(tǒng)人機(jī)交互方式和自然人機(jī)交互方式兩種，傳統(tǒng)人機(jī)交互方式包括鼠標(biāo)交互、鍵盤交互等:自然人機(jī)交互方式包括語音交互、手勢交互等。對虛擬現(xiàn)實(shí)康復(fù)應(yīng)用而言，人機(jī)交百不僅體現(xiàn)在由計(jì)算機(jī)及其外圍硬件系統(tǒng)展示給患者的虛擬場景元素，還有患者在康復(fù)訓(xùn)練中對虛擬場景的作用和影響，通常是患者所表現(xiàn)出的生理活動、行為特征參數(shù)，它們作為虛擬現(xiàn)實(shí)系統(tǒng)的輸入信息。在虛擬現(xiàn)實(shí)康復(fù)中，人機(jī)交互技術(shù)是連接患者與虛擬任務(wù)的橋梁和紐帶，是確?；颊叩倪\(yùn)動、認(rèn)知等生理、心理狀態(tài)及時(shí)被計(jì)算機(jī)感知的基礎(chǔ)，其地位十分重要一般而言，用于虛擬現(xiàn)實(shí)康復(fù)的人機(jī)交互硬件設(shè)備既可以是鍵盤、鼠標(biāo)、搖桿、方向盤、操作手柄、觸摸屏等傳統(tǒng)交互設(shè)備，也可以是功能較為豐富的自然交互設(shè)備如數(shù)據(jù)手套、手勢捕獲設(shè)備、體感設(shè)備、智能手環(huán)、腦電采集裝置、肌電采集裝置力反饋設(shè)備等。原則上，一切游戲外設(shè)、可穿戴式設(shè)備和自然交互設(shè)備都可以作為虛擬現(xiàn)實(shí)康復(fù)的交互設(shè)備。虛擬現(xiàn)實(shí)人機(jī)交互是指以計(jì)算機(jī)技術(shù)為基礎(chǔ)，生成逼真的視、聽、觸覺一體化且在特定場景范圍內(nèi)的虛擬環(huán)境，通過外部設(shè)備，用戶以自然可操作的方式與虛擬環(huán)境中的對象進(jìn)行指令或信息交互，從而產(chǎn)生置身于真實(shí)環(huán)境中的體驗(yàn)和感受。為了給用戶提供一種更加生動且接近現(xiàn)實(shí)的沉浸式體驗(yàn)，虛擬現(xiàn)實(shí)需要同時(shí)具備高真實(shí)感的環(huán)境表達(dá)和高效的用戶和環(huán)境之間的信息交換的特征，這其中涉及的人機(jī)交萬技術(shù)包含三維交瓦、姿勢交瓦、肌電與神經(jīng)交瓦、手持移動設(shè)備交瓦、語音交互、力觸覺交互和多通道交瓦技術(shù)等。①三維交瓦:虛擬現(xiàn)實(shí)中最重要的交互方式之一，相較于二維交互，提供了更多的操作自由度，涉及全新的交互隱喻技術(shù)。②姿勢交:在虛擬現(xiàn)實(shí)中，將用戶的身體或肢體運(yùn)動作為一種重要的輸入通道的交互方式。其中，體感交互是最直接的姿勢交互，它利用體感控制器檢測、記錄身體運(yùn)動并以此控制虛擬對象進(jìn)行互動，目前已廣泛應(yīng)用的體感產(chǎn)品有Kinect、LeapMotion等。③肌電與神經(jīng)交互:通過對肌電信號或腦電信號檢測及其運(yùn)動意圖識別，以識別結(jié)果控制虛擬對象的交互方式。不斷發(fā)展的肌電手環(huán)及其運(yùn)動手勢識別算法促進(jìn)了肌電交互應(yīng)用，近年來發(fā)展起來的腦電檢測模塊和腦電頭盔也為腦神經(jīng)虛擬現(xiàn)實(shí)交互提供了新的技術(shù)手段。④手持移動設(shè)備交互:隨著電子信息技術(shù)的進(jìn)步，手機(jī)為代表的手持移動設(shè)備集成了相機(jī)、GPS、加速度計(jì)等不同的傳感器，提升了設(shè)備對環(huán)境和用戶行為的感知能力。⑤語音交互:用戶通過發(fā)布語音命令請求系統(tǒng)執(zhí)行特定功能，該交互方式解放了用戶的雙手。⑥力觸覺交互:力觸覺交互技術(shù)在虛擬現(xiàn)實(shí)中有著不可替代的作用，相較于傳統(tǒng)的視覺交互和聽覺交互，它更能使用戶產(chǎn)生真實(shí)的沉浸感。⑦多通道交:廣義上是指通過文字、語音、視覺、動作、環(huán)境等多種方式進(jìn)行人機(jī)交互。在康復(fù)領(lǐng)域，更多的是指利用兩種或兩種以上多源數(shù)據(jù)之間的互補(bǔ)性實(shí)現(xiàn)動作、手勢、情感、意識等識別，進(jìn)而進(jìn)行人機(jī)交瓦的方法。例如，基于腦申和肌電融合進(jìn)行運(yùn)動識別，進(jìn)而實(shí)現(xiàn)虛擬現(xiàn)實(shí)康復(fù);基于Kinect骨架數(shù)據(jù)和肌電融合進(jìn)行手勢動作識別，進(jìn)而實(shí)現(xiàn)虛擬現(xiàn)實(shí)康復(fù);基于Kinect骨架數(shù)據(jù)、肌電和心電腦電融合，實(shí)現(xiàn)虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的設(shè)計(jì)等。從生物醫(yī)學(xué)工程技術(shù)的角度看，虛擬現(xiàn)實(shí)人機(jī)交互是利用各種類型的傳感檢測技術(shù)獲取用戶的生理參數(shù)，再通過對生理參數(shù)的分析并結(jié)合預(yù)先設(shè)計(jì)的映射模式，由生理參數(shù)影響和改變虛擬對象的特征和狀態(tài)，如運(yùn)動快慢和運(yùn)動方位等。另外，用戶在觀察或感受到虛擬對象狀態(tài)發(fā)生改變時(shí)，又會根據(jù)虛擬對象的狀態(tài)改變不斷調(diào)整自身的生理狀態(tài)參數(shù)，以實(shí)現(xiàn)其與虛擬對象的人機(jī)交互。圖4-1所示是虛擬現(xiàn)實(shí)人機(jī)交互的信息傳遞示意圖。手指運(yùn)動模式及手勢識別02手指運(yùn)動生物力學(xué)特征依靠獨(dú)特的生理解剖結(jié)構(gòu)和神經(jīng)肌肉控制，手具有人體最復(fù)雜的運(yùn)動功能。手是多關(guān)節(jié)器官，由手掌和五指構(gòu)成。除拇指外，其余每根指都由3塊指骨和3個(gè)關(guān)節(jié)構(gòu)成，如圖4-2所示。手的關(guān)節(jié)包括燒腕關(guān)節(jié)、腕骨間關(guān)節(jié)、腕掌關(guān)節(jié)、掌骨間關(guān)節(jié)、掌指關(guān)節(jié)和指骨間關(guān)節(jié)，這些關(guān)節(jié)有的能做屈、伸、收、展及環(huán)轉(zhuǎn)運(yùn)動。手指運(yùn)動生物力學(xué)特征人手關(guān)節(jié)主要有如下兩種運(yùn)動形式①屈和伸:組成關(guān)節(jié)的兩骨相互靠攏，其夾角逐漸變小的運(yùn)動為屈;相反，兩骨之間的夾角逐漸變大的運(yùn)動為伸。②內(nèi)收和外展:手指在內(nèi)收和外展時(shí)，以通過中指中軸的假想線為準(zhǔn)，手指向中指中軸靠攏的運(yùn)動為內(nèi)收，而手指離開中指中軸的運(yùn)動為外展。手部的掌指關(guān)節(jié)有兩個(gè)自由度，可以進(jìn)行屈伸及內(nèi)收/外展兩種運(yùn)動，而近指骨間關(guān)節(jié)和遠(yuǎn)指骨間關(guān)節(jié)均只有1個(gè)自由度，只可進(jìn)行屈伸運(yùn)動?；跀?shù)據(jù)手套的手指運(yùn)動檢測及手勢識別數(shù)據(jù)手套的概念最早來自美國的JaronLanier于20世紀(jì)80年代提出的可穿戴式設(shè)備，它可檢測手部運(yùn)動數(shù)據(jù)、反饋手部運(yùn)動信息，使用者可以通過佩戴數(shù)據(jù)手套在虛擬場景中實(shí)現(xiàn)諸如抓取、觸摸、移動物體等動作。作為虛擬現(xiàn)實(shí)系統(tǒng)的一種全新的交互手段，數(shù)據(jù)手套可以檢測手部運(yùn)動信息、定位手部空間位置、測量手指彎曲度等數(shù)據(jù)?，F(xiàn)在主流的數(shù)據(jù)手套有基于光纖傳感器的數(shù)據(jù)手套、基于磁力計(jì)的數(shù)據(jù)手套、基于加速度傳感器的數(shù)據(jù)手套和力反饋手套?；跀?shù)據(jù)手套的手指運(yùn)動檢測及手勢識別基于光纖傳感器的數(shù)據(jù)手套采用光電彎曲傳感器，可以檢測手指關(guān)節(jié)彎曲角度和指縫間的延展角度，甚至包括手腕的轉(zhuǎn)動和傾斜，適用于有限的簡單手勢的輸入。這類交互檢測系統(tǒng)的代表產(chǎn)品是5DT數(shù)據(jù)手套（見圖4-3）,它提供了跨平臺的數(shù)據(jù)接口，可獲取傳感器原始數(shù)據(jù)和自動校正數(shù)據(jù)，提供內(nèi)置校正功能，并提供基本手勢的識別。基于數(shù)據(jù)手套的手指運(yùn)動檢測及手勢識別數(shù)據(jù)手套的概念最早來自美國的JaronLanier于20世紀(jì)80年代提出的可穿戴式設(shè)備，它可檢測手部運(yùn)動數(shù)據(jù)、反饋手部運(yùn)動信息，使用者可以通過佩戴數(shù)據(jù)手套在虛擬場景中實(shí)現(xiàn)諸如抓取、觸摸、移動物體等動作。作為虛擬現(xiàn)實(shí)系統(tǒng)的一種全新的交互手段，數(shù)據(jù)手套可以檢測手部運(yùn)動信息、定位手部空間位置、測量手指彎曲度等數(shù)據(jù)。現(xiàn)在主流的數(shù)據(jù)手套有基于光纖傳感器的數(shù)據(jù)手套、基于磁力計(jì)的數(shù)據(jù)手套、基于加速度傳感器的數(shù)據(jù)手套和力反饋手套?；跀?shù)據(jù)手套的手指運(yùn)動檢測及手勢識別基于光纖傳感器的數(shù)據(jù)手套采用光電彎曲傳感器，可以檢測手指關(guān)節(jié)彎曲角度和指縫間的延展角度，甚至包括手腕的轉(zhuǎn)動和傾斜，適用于有限的簡單手勢的輸入。這類交互檢測系統(tǒng)的代表產(chǎn)品是5DT數(shù)據(jù)手套（見圖4-3）,它提供了跨平臺的數(shù)據(jù)接口，可獲取傳感器原始數(shù)據(jù)和自動校正數(shù)據(jù)，提供內(nèi)置校正功能，并提供基本手勢的識別?；跀?shù)據(jù)手套的手指運(yùn)動檢測及手勢識別在虛擬現(xiàn)實(shí)應(yīng)用中，建立人手的模型，即虛擬手，并根據(jù)從數(shù)據(jù)手套獲取的數(shù)據(jù)更新各組成部分的相對位置和方位。由于虛擬手的各組成部分是相互關(guān)聯(lián)的，其運(yùn)動是相互影響和牽連的，各手指的各指段從指根到指尖的運(yùn)動存在著繼承關(guān)系。因此，通常需要建立樹形拓?fù)浣Y(jié)構(gòu)。為了表現(xiàn)和控制虛擬手的這種運(yùn)動特性，可將虛擬手的各組成部分視為不同的對象，并對其所具有的屬性和操作進(jìn)行封裝。在如圖4-4所示的虛擬手模型的樹形拓?fù)浣Y(jié)構(gòu)中，手掌和各手指的指根為第一級子對象，各手指的中部指段為對應(yīng)指根的子對象，指尖為對應(yīng)的中部指段的子對象，指尖沒有子對象。父對象的運(yùn)動會帶動子對象運(yùn)動，子對象的運(yùn)動不會影響父對象的運(yùn)動。手指運(yùn)動的體感傳感檢測為了實(shí)現(xiàn)對手指運(yùn)動參數(shù)的檢測，國外某公司開發(fā)了一款專門捕獲手運(yùn)動的體感控制器———LeapMotion0該設(shè)備利用內(nèi)置的核心部件，即3個(gè)紅外發(fā)光二極管，1片窄帶濾光片及2個(gè)內(nèi)置攝像頭(左右對稱)，實(shí)現(xiàn)從不同角度對手部運(yùn)動的捕捉。LeapMotion采用右手笛卡兒坐標(biāo)系，原點(diǎn)在LeapMotion體感控制器的中心，X軸平行于控制器的長邊，Z軸平行于控制器的短邊，兩軸位于同一水平面，￥軸垂直于該水平面，正方向向上，如圖4-5(a)所示。LeapMotion的可視范圍呈倒金字塔形，塔尖在設(shè)備中心，工作范圍大約在設(shè)備前方的25?600mm。定義人手掌心的法向量為PalmNormal,切向量為Direction,如圖4-5(b)所示，通過這兩個(gè)向量可表示手掌的方位。手指運(yùn)動的體感傳感檢測通過LeapMotion傳感器可以獲取各個(gè)指骨的單位方向向量。進(jìn)一步，手指屈伸運(yùn)動可看成旋轉(zhuǎn)運(yùn)動，遠(yuǎn)指骨間關(guān)節(jié)及近指骨間關(guān)節(jié)的旋轉(zhuǎn)角可通過與該關(guān)節(jié)相連的兩指骨的方向向量求解。以食指為例(見圖4-6)，遠(yuǎn)指骨間關(guān)節(jié)及近指骨間關(guān)節(jié)的旋轉(zhuǎn)角公式分別為：手指運(yùn)動的體感傳感檢測

手指運(yùn)動的體感傳感檢測設(shè)手掌平面法向量為肛，手掌平面與手指平面交線的單位方向向量為小:可求得掌指關(guān)節(jié)屈伸的角度值:基于LeapMotion記錄的數(shù)據(jù)，可以得到不同手勢的手指運(yùn)動學(xué)參數(shù)。圖4-7、圖4-8所示分別是右手抓握運(yùn)動時(shí)不同手指的近指骨間關(guān)節(jié)角度、角速度隨時(shí)間的變化情況，它們具有幾乎一致的時(shí)間變化過程。肢體運(yùn)動模式檢測03肢體運(yùn)動的非接觸體感交互檢測體感交互技術(shù)是指用戶可以直接使用肢體動作與周邊的裝置或環(huán)境互動，無須使用任何復(fù)雜的控制設(shè)備，便可讓用戶身臨其境地與內(nèi)容進(jìn)行互動。Kinect是某公司推出的一款融合即時(shí)動作捕捉、影像辨識等功能的體感交互設(shè)備。它在硬件上集成了紅外線發(fā)射器、RG