數(shù)字媒體技術(shù)導(dǎo)論（微課版）課件 第8章 人機(jī)交互技術(shù)

現(xiàn)代

編著新技術(shù)數(shù)字第8章人機(jī)交互技術(shù)數(shù)字媒體技術(shù)導(dǎo)論8.1融媒體基礎(chǔ)知識(shí)8.2人機(jī)交互模式8.3人機(jī)界面設(shè)計(jì)8.1.1人機(jī)交互的概念人機(jī)交互領(lǐng)域?qū)＜壹s翰·卡羅爾（JohnM.Carroll）認(rèn)為：人機(jī)交互指的是有關(guān)可用性的學(xué)習(xí)和實(shí)踐，是關(guān)于理解和構(gòu)建用戶樂(lè)于使用的軟件和技術(shù)，并能在使用時(shí)發(fā)現(xiàn)產(chǎn)品有效性的學(xué)科。美國(guó)計(jì)算機(jī)協(xié)會(huì)（AssociationforComputingMachinery，ACM）的定義人機(jī)交互是有關(guān)交互式計(jì)算機(jī)系統(tǒng)的設(shè)計(jì)、評(píng)估、實(shí)現(xiàn)以及與之相關(guān)現(xiàn)象的學(xué)科。艾倫·迪克斯（AlanDix）教授在《人機(jī)交互》一書(shū)中如此定義人機(jī)交互是研究人、計(jì)算機(jī)以及他們之間相互作用方式的學(xué)科，學(xué)習(xí)人機(jī)交互的目的是使計(jì)算機(jī)技術(shù)更好地為人類(lèi)服務(wù)。8.1.1人機(jī)交互的概念人機(jī)交互是通過(guò)計(jì)算機(jī)輸入、輸出設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)對(duì)話的技術(shù)。人機(jī)交互是一門(mén)研究系統(tǒng)與用戶之間交互關(guān)系的學(xué)問(wèn)。系統(tǒng)可以是各種各樣的機(jī)器，也可以是計(jì)算機(jī)化的系統(tǒng)和軟件。人機(jī)交互是研究人、計(jì)算機(jī)以及它們之間相互影響的技術(shù)。人機(jī)交互是一個(gè)多學(xué)科的研究領(lǐng)域，專(zhuān)注于計(jì)算機(jī)技術(shù)的設(shè)計(jì)和使用，特別是探索人和計(jì)算機(jī)之間的交互，使計(jì)算機(jī)和人類(lèi)之間形成更好的交流。通俗地理解，人機(jī)交互即用戶和計(jì)算機(jī)之間雙向的信息交換，包括人到計(jì)算機(jī)和計(jì)算機(jī)到人的信息交換兩部分。實(shí)現(xiàn)人機(jī)交互功能主要通過(guò)計(jì)算機(jī)輸入輸出的外部設(shè)備和相應(yīng)的軟件完成。8.1.2人機(jī)交互的研究?jī)?nèi)容人機(jī)交互界面的優(yōu)劣直接影響開(kāi)發(fā)人機(jī)交互系統(tǒng)的成敗。因此，開(kāi)發(fā)高質(zhì)量的人機(jī)交互界面離不開(kāi)研究交互模型及其設(shè)計(jì)方法。人機(jī)交互界面表示模型與設(shè)計(jì)方法可用性分析與評(píng)估多模態(tài)交互可用性是人機(jī)交互系統(tǒng)的重要內(nèi)容，它不僅關(guān)系人機(jī)交互的實(shí)現(xiàn)，更關(guān)系到人機(jī)交互能否達(dá)到用戶期待的目標(biāo)，以及實(shí)現(xiàn)這一目標(biāo)的工作效率和使用的便捷性。人機(jī)交互系統(tǒng)的可用性分析與評(píng)估的研究，主要涉及支持可用性的設(shè)計(jì)原則和可用性的評(píng)估方法等方面。多模態(tài)交互是一種使用多種方式（如文字、語(yǔ)音、視覺(jué)、動(dòng)作、環(huán)境等）與計(jì)算機(jī)通信的人機(jī)交互方式，即多模態(tài)交互就是融合多種交互方式的交互模式。對(duì)多通道交互的研究，可以使用戶在同一個(gè)人機(jī)交互系統(tǒng)中使用多種交互方式與計(jì)算機(jī)進(jìn)行通信。8.1.2人機(jī)交互的研究?jī)?nèi)容智能用戶界面的最終目標(biāo)是實(shí)現(xiàn)人與計(jì)算機(jī)的交互，能夠像人與人之間交互那樣自然、方便。手勢(shì)識(shí)別、動(dòng)作捕捉、眼動(dòng)跟蹤、三維輸入、語(yǔ)音識(shí)別、自然語(yǔ)言理解等技術(shù)都是開(kāi)發(fā)智能用戶界面需要攻克的難題。智能用戶界面計(jì)算機(jī)協(xié)同工作環(huán)境信息可視化設(shè)計(jì)計(jì)算機(jī)協(xié)同工作環(huán)境主要研究在計(jì)算機(jī)技術(shù)支持的環(huán)境下，特別是計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境，一個(gè)群體如何協(xié)同工作完成一項(xiàng)共同的任務(wù)，涉及個(gè)人與群體之間的信息傳遞、群體成員之間的信息共享，及自動(dòng)化辦公過(guò)程的協(xié)調(diào)等交互活動(dòng)。計(jì)算機(jī)協(xié)同工作環(huán)境的最終目標(biāo)是要設(shè)計(jì)出能支持各種各樣協(xié)同工作的應(yīng)用程序和系統(tǒng)，以及研究實(shí)現(xiàn)它們的方法。人機(jī)交互的最終目的是使人們通過(guò)計(jì)算機(jī)輕松完成想做的事情，同時(shí)提高制作效率。信息可視化設(shè)計(jì)是人機(jī)交互重要的一環(huán)，可視化設(shè)計(jì)是指通過(guò)視覺(jué)語(yǔ)言來(lái)傳遞信息和表達(dá)想法，其目的是使用戶在交互界面上獲得更好的用戶體驗(yàn)。8.1.3人機(jī)交互的發(fā)展歷史1．人工操縱交互階段由于受到制造技術(shù)和成本等原因限制，初期的人機(jī)交互設(shè)計(jì)強(qiáng)調(diào)輸入、輸出信息的精確性，而較少考慮人的因素（即人操作設(shè)備的便捷性、易用性等），導(dǎo)致設(shè)備的使用不夠自然和高效。因此，早期的人機(jī)交互是十分“笨拙”的?；羧A德·艾肯（HowardAiken)教授，在1944年開(kāi)發(fā)完成的大型自動(dòng)數(shù)字計(jì)算機(jī)“馬克一號(hào)（MarkI）”，需要通過(guò)人工操作由指示燈和機(jī)械開(kāi)關(guān)組成的操縱界面，來(lái)讓計(jì)算機(jī)執(zhí)行相應(yīng)的命令。8.1.3人機(jī)交互的發(fā)展歷史2．命令行界面交互階段小型計(jì)算機(jī)鍵盤(pán)的廣泛應(yīng)用將人機(jī)交互帶入了命令行界面交互（Command-lineInterface,CLI）階段，命令行界面交互階段的主要特點(diǎn)是計(jì)算機(jī)的使用者可以通過(guò)鍵盤(pán)輸入字符命令行與計(jì)算機(jī)進(jìn)行通信，讓計(jì)算機(jī)執(zhí)行相應(yīng)指令。鍵盤(pán)輸入準(zhǔn)確率相對(duì)較高，以及幾乎不需要冗余的操作。命令行界面交互需要使用者記憶許多命令和熟練敲擊鍵盤(pán)，有時(shí)甚至需要具備計(jì)算機(jī)領(lǐng)域的專(zhuān)業(yè)知識(shí)和技能，才能達(dá)到較高的使用效率。8.1.3人機(jī)交互的發(fā)展歷史3．圖形用戶界面交互階段圖形顯示器的誕生與發(fā)展，鼠標(biāo)的誕生與發(fā)展，推進(jìn)了人機(jī)交互方式的變革，圖形用戶界面逐漸取代命令行界面。圖形用戶界面（GraphicalUserInterface，GUI）又稱(chēng)圖形用戶接口，是指采用圖形方式顯示的計(jì)算機(jī)操作用戶界面。它允許用戶使用鼠標(biāo)、鍵盤(pán)等設(shè)備操縱屏幕上的圖標(biāo)、按鈕或菜單選項(xiàng)，以選擇命令、調(diào)用文件、啟動(dòng)程序或執(zhí)行其他日常任務(wù)等操作。圖形用戶界面交互方式直觀明了、簡(jiǎn)單易學(xué)，使不懂計(jì)算機(jī)的普通用戶也可以熟練地使用，開(kāi)拓了用戶人群。特別是20世紀(jì)80、90年代，鼠標(biāo)在個(gè)人計(jì)算機(jī)中的廣泛使用，使信息產(chǎn)業(yè)得到空前的發(fā)展。8.1.3人機(jī)交互的發(fā)展歷史4．自然和諧的交互階段人們與計(jì)算機(jī)的交互需求不再局限于追求圖形用戶界面美學(xué)形式的創(chuàng)新，用戶更希望在使用終端設(shè)備時(shí)，有著更便捷、更符合人們使用習(xí)慣的交互方式。帶著這樣的目的，人們將人機(jī)交互推進(jìn)到自然和諧的人機(jī)交互時(shí)期。在自然和諧的交互階段，人機(jī)交互的發(fā)展可謂空前繁榮，交互方式多種多樣，使人們不僅可以使用傳統(tǒng)的方式與計(jì)算機(jī)產(chǎn)生交互，還可以通過(guò)聲音、姿勢(shì)、表情、視線等方式輸入信息，與計(jì)算機(jī)完成交互。隨著網(wǎng)絡(luò)的普及應(yīng)用，輸入、輸出設(shè)備以及各種相關(guān)技術(shù)的發(fā)展，促進(jìn)了人機(jī)交互技術(shù)的進(jìn)一步發(fā)展。8.1.4人機(jī)交互的發(fā)展趨勢(shì)智能化通過(guò)人機(jī)交互領(lǐng)域的相關(guān)機(jī)構(gòu)來(lái)制定、發(fā)布國(guó)際標(biāo)準(zhǔn)，并隨著社會(huì)需求的變化而不斷變化，以指導(dǎo)交互產(chǎn)品的設(shè)計(jì)、測(cè)試和可用性評(píng)估等。集成化集成各種交互方式，并提高各種交互方式的兼容性和可靠性，使用戶可以選擇通過(guò)不同的方式與計(jì)算機(jī)交互標(biāo)準(zhǔn)化使計(jì)算機(jī)更好地了解人的信息意圖，并做出合適的反饋或動(dòng)作，提高交互的效率和自然性，使人與計(jì)算機(jī)之間的通信像人與人交流那樣自然、方便，使計(jì)算機(jī)技術(shù)更好地為人類(lèi)服務(wù)。網(wǎng)絡(luò)化完善在不同交互設(shè)備、不同網(wǎng)絡(luò)（有線網(wǎng)絡(luò)與無(wú)線網(wǎng)絡(luò)、移動(dòng)通信網(wǎng)與互聯(lián)網(wǎng)等）之間的連接和擴(kuò)展，使用戶可以通過(guò)跨地域的網(wǎng)絡(luò)，在世界各地通過(guò)任意方式進(jìn)行人機(jī)交互，同時(shí)支持多個(gè)用戶之間以協(xié)作的方式進(jìn)行交互。融媒體基礎(chǔ)知識(shí)8.18.2人機(jī)交互模式8.3人機(jī)界面設(shè)計(jì)8.2.1傳統(tǒng)的圖形用戶界面交互傳統(tǒng)的圖形用戶界面交互是基本的人機(jī)交互方式，它將鼠標(biāo)、鍵盤(pán)等傳統(tǒng)硬件設(shè)備作為輸入工具，通過(guò)圖形用戶界面完成人機(jī)交互。直到現(xiàn)在，在個(gè)人計(jì)算機(jī)領(lǐng)域，用戶大多仍采用這種交互方式，用戶可以使用鼠標(biāo)和鍵盤(pán)在計(jì)算機(jī)窗口、網(wǎng)頁(yè)界面等圖形用戶界面中點(diǎn)擊菜單、圖標(biāo)、按鈕，執(zhí)行打開(kāi)網(wǎng)頁(yè)、輸入文本信息、播放音視頻文件等操作，以此與計(jì)算機(jī)進(jìn)行交互，完成各項(xiàng)工作。8.2.2觸控交互觸控交互方式主要通過(guò)觸碰屏幕的方式與計(jì)算機(jī)進(jìn)行交互。觸控交互的實(shí)現(xiàn)和發(fā)展得益于實(shí)現(xiàn)觸控功能與顯示器的一體化，使顯示器從僅向用戶輸出可視信息成為一種交互界面設(shè)備。常用的觸控交互設(shè)備是觸摸屏，觸摸屏又稱(chēng)觸控屏、觸控面板，主要由觸摸檢測(cè)裝置和觸摸屏控制器組成，觸摸檢測(cè)裝置安裝在顯示器屏幕前面，用于檢測(cè)用戶觸摸位置，并將位置信息傳送給觸摸屏控制器，觸摸屏控制器接收信號(hào)后將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo)傳送給計(jì)算機(jī)的CPU，同時(shí)接收CPU發(fā)來(lái)的命令并加以執(zhí)行。操作簡(jiǎn)便界面友好響應(yīng)快速8.2.2觸控交互近年來(lái)，觸控交互技術(shù)已從單點(diǎn)觸控發(fā)展到多點(diǎn)觸控，單點(diǎn)觸控只能辨認(rèn)和支撐每次一個(gè)手指的觸控，如點(diǎn)擊、雙擊；而多點(diǎn)觸控實(shí)現(xiàn)了多用戶、多根手指的觸控，方便縮放窗口等操作。從首款觸摸屏誕生至今，經(jīng)過(guò)近幾十年的發(fā)展，觸控交互已經(jīng)被廣泛應(yīng)用于移動(dòng)設(shè)備，也常用于銀行、醫(yī)院、政務(wù)中心等場(chǎng)所的業(yè)務(wù)查詢(xún)。8.2.3語(yǔ)音交互1．語(yǔ)音交互的主要技術(shù)語(yǔ)音合成語(yǔ)音合成將輸入的文本信息經(jīng)過(guò)適當(dāng)?shù)奶幚砗?，盡可能輸出具有豐富表現(xiàn)力和高自然度的語(yǔ)音，使計(jì)算機(jī)或相關(guān)的系統(tǒng)能夠發(fā)出像“人”一樣自然流利的聲音；自然語(yǔ)言處理自然語(yǔ)言處理（NaturalLanguageProcessing,NLP）是指使用自然語(yǔ)言同計(jì)算機(jī)進(jìn)行通信的技術(shù)，它的主要研究?jī)?nèi)容是讓計(jì)算機(jī)“理解”自然語(yǔ)言，這樣人與計(jì)算機(jī)之間的交互才能像人與人之間的交流那樣自然、流暢。010203語(yǔ)音識(shí)別語(yǔ)音識(shí)別將音頻數(shù)據(jù)轉(zhuǎn)化為文本或其他計(jì)算機(jī)可以處理的信息；8.2.3語(yǔ)音交互2．語(yǔ)音交互的應(yīng)用場(chǎng)景虛擬服務(wù)機(jī)器人人工智能的發(fā)展及計(jì)算機(jī)處理能力的增強(qiáng)，使語(yǔ)音交互被廣泛應(yīng)用于各種虛擬服務(wù)機(jī)器人（虛擬服務(wù)機(jī)器人即沒(méi)有實(shí)體的機(jī)器人）。例如，百度的“度秘”、蘋(píng)果的Siri、微軟的“小冰”。接引類(lèi)智能服務(wù)機(jī)器人語(yǔ)音交互也可應(yīng)用于各種場(chǎng)合的接引類(lèi)智能服務(wù)機(jī)器人，用戶可通過(guò)對(duì)話的方式向它們發(fā)出指令與其產(chǎn)生交互。8.2.3語(yǔ)音交互2．語(yǔ)音交互的應(yīng)用場(chǎng)景智能家居領(lǐng)域語(yǔ)音交互還常用于智能家居領(lǐng)域，例如，思必馳公司推出的一款“大屏智能面板”產(chǎn)品，它支持語(yǔ)音交互，可幫助用戶實(shí)現(xiàn)對(duì)室內(nèi)照明、影音、安防、暖通設(shè)備的開(kāi)關(guān)和調(diào)控，并將設(shè)備的反饋結(jié)果顯示于屏幕上。8.2.4動(dòng)作交互1．手勢(shì)交互VS靜態(tài)手勢(shì)識(shí)別即識(shí)別靜止?fàn)顟B(tài)下人手或者手和手臂相結(jié)合所產(chǎn)生的各種姿勢(shì)。動(dòng)態(tài)手勢(shì)識(shí)別即識(shí)別人手的運(yùn)動(dòng)過(guò)程，由一系列的姿勢(shì)組成。例如，將人手從上到下垂直運(yùn)動(dòng)的過(guò)程、從左向右的水平運(yùn)動(dòng)的過(guò)程的語(yǔ)義分別定義為“從上到下移動(dòng)/滑動(dòng)”、“從左向右移動(dòng)/滑動(dòng)”操作指令，從而實(shí)現(xiàn)基于動(dòng)態(tài)手勢(shì)識(shí)別的交互應(yīng)用。靜態(tài)手勢(shì)識(shí)別動(dòng)態(tài)手勢(shì)識(shí)別8.2.4動(dòng)作交互1．手勢(shì)交互手勢(shì)識(shí)別有了一些簡(jiǎn)單的交互應(yīng)用，如在智能車(chē)載系統(tǒng)中通過(guò)不同的手勢(shì)，調(diào)節(jié)影音播放的音量大小、播放下一首，以及撥打電話等。將手勢(shì)識(shí)別應(yīng)用到駕駛輔助系統(tǒng)中，使用手勢(shì)來(lái)控制車(chē)內(nèi)的各種功能、參數(shù)，可以讓駕駛員將雙眼的注意力更多地放在道路上，提升駕車(chē)安全性。在視頻直播或拍照過(guò)程中，用戶通過(guò)"點(diǎn)贊"、"比心"的手勢(shì)，可實(shí)時(shí)增加相應(yīng)的貼紙或特效，豐富交互體驗(yàn)。另外，手勢(shì)識(shí)別還可用于智能終端頁(yè)面瀏覽過(guò)程中的上下切換頁(yè)面。手勢(shì)識(shí)別在智能車(chē)載系統(tǒng)中的交互應(yīng)用手勢(shì)識(shí)別在視頻直播中的交互應(yīng)用8.2.4動(dòng)作交互2．動(dòng)作捕捉數(shù)據(jù)傳輸傳感器采集到的人體動(dòng)作數(shù)據(jù)可以通過(guò)線纜或無(wú)線傳輸技術(shù)（如藍(lán)牙、WiFi等），傳輸?shù)接?jì)算機(jī)系統(tǒng)中。數(shù)據(jù)處理計(jì)算機(jī)系統(tǒng)接收傳感器采集的數(shù)據(jù)后，經(jīng)過(guò)計(jì)算機(jī)軟硬件處理，確定人體運(yùn)動(dòng)軌跡和人體動(dòng)作姿態(tài)，從而實(shí)現(xiàn)人體動(dòng)作的識(shí)別和人機(jī)交互。010203傳感器部署傳感器是一種檢測(cè)、跟蹤裝置，用于檢測(cè)被測(cè)量物體的動(dòng)態(tài)信息。根據(jù)檢測(cè)目標(biāo)，在所需人體骨骼關(guān)鍵部位部署傳感器，可實(shí)時(shí)采集人體的動(dòng)作數(shù)據(jù)。（1）基于穿戴設(shè)備和傳感器的動(dòng)作捕捉基于穿戴設(shè)備和傳感器的動(dòng)作捕捉是指通過(guò)配置如萊卡服、T恤、綁帶、束發(fā)帶、頭套、手套、手環(huán)等穿戴設(shè)備，在人體骨骼關(guān)鍵部位放置傳感器，實(shí)現(xiàn)人體全身的動(dòng)作捕捉。8.2.4動(dòng)作交互2．動(dòng)作捕捉（1）基于穿戴設(shè)備和傳感器的動(dòng)作捕捉攝像機(jī)連續(xù)拍攝表演者的動(dòng)作，并將圖像序列保存下來(lái)，然后進(jìn)行分析和處理，識(shí)別其中的反光標(biāo)識(shí)點(diǎn)，并計(jì)算其在每一瞬間的空間位置，進(jìn)而可得到人體的運(yùn)動(dòng)軌跡?；诖┐髟O(shè)備和傳感器的動(dòng)作捕捉的主流技術(shù)是光學(xué)式動(dòng)作捕捉。光學(xué)式動(dòng)作捕捉通過(guò)對(duì)目標(biāo)上特定光點(diǎn)的監(jiān)視和跟蹤來(lái)完成運(yùn)動(dòng)捕捉的任務(wù)010203在進(jìn)行人體動(dòng)作捕捉時(shí)，首先在表演場(chǎng)地部署多臺(tái)攝像機(jī)，這些攝像機(jī)的視野重疊區(qū)域就是表演者的運(yùn)動(dòng)范圍，作為表演者一般要求穿上單色的服裝，并在身體的關(guān)鍵部位，如關(guān)節(jié)、髖部、肘、腕等位置貼上反光標(biāo)識(shí)點(diǎn)，反光標(biāo)識(shí)點(diǎn)由特殊材料制成，具有反射光源的作用，易于識(shí)別。8.2.4動(dòng)作交互2．動(dòng)作捕捉（1）基于穿戴設(shè)備和傳感器的動(dòng)作捕捉在游戲、影視特效中的應(yīng)用在游戲、影視特效中，動(dòng)作捕捉主要用于生成虛擬人物、制作特效，即實(shí)時(shí)記錄和測(cè)量人體的運(yùn)動(dòng)軌跡和動(dòng)作姿態(tài)，進(jìn)一步在三維空間中重建人體動(dòng)作的過(guò)程。動(dòng)作捕捉在游戲中的應(yīng)用動(dòng)作捕捉在生成影視虛擬人物中的應(yīng)用動(dòng)作捕捉在影視特效制作中的應(yīng)用8.2.4動(dòng)作交互2．動(dòng)作捕捉（1）基于穿戴設(shè)備和傳感器的動(dòng)作捕捉在體育訓(xùn)練、智能健身、康復(fù)醫(yī)療領(lǐng)域中的應(yīng)用在體育訓(xùn)練、智能健身、康復(fù)醫(yī)療領(lǐng)域中，借助穿戴設(shè)備和傳感器動(dòng)作捕捉人體，可記錄、分析、統(tǒng)計(jì)人體的動(dòng)作數(shù)據(jù)，使運(yùn)動(dòng)員、健身人員、傷病人員了解自身運(yùn)動(dòng)的量化數(shù)據(jù)，從而知道自己的運(yùn)動(dòng)動(dòng)作和運(yùn)動(dòng)量是否達(dá)到標(biāo)準(zhǔn)，以便及時(shí)糾正不符合要求的動(dòng)作和行為。步態(tài)分析系統(tǒng)360°運(yùn)動(dòng)模擬平臺(tái)設(shè)備8.2.4動(dòng)作交互2．動(dòng)作捕捉（2）直接識(shí)別人體特征的動(dòng)作捕捉直接識(shí)別人體特征的動(dòng)作捕捉實(shí)時(shí)性好、穩(wěn)定性強(qiáng)，系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，對(duì)動(dòng)作捕捉環(huán)境的要求不高。直接識(shí)別人體特征的動(dòng)作捕捉不需要配置專(zhuān)門(mén)的穿戴設(shè)備和傳感器。010203它首先通過(guò)部署多臺(tái)攝像機(jī)從不同角度采集人體動(dòng)作的圖像，然后利用計(jì)算機(jī)視覺(jué)等技術(shù)處理采集到的圖像，以獲取人體運(yùn)動(dòng)位置信息，并進(jìn)行人體特征識(shí)別和分類(lèi)，從而實(shí)現(xiàn)人體動(dòng)作識(shí)別和交互。8.2.4動(dòng)作交互2．動(dòng)作捕捉（2）直接識(shí)別人體特征的動(dòng)作捕捉基于穿戴設(shè)備和傳感器的動(dòng)作捕捉與直接識(shí)別人體特征的動(dòng)作捕捉在應(yīng)用場(chǎng)景上并無(wú)太大差別。雖然直接識(shí)別人體特征的動(dòng)作捕捉擺脫了穿戴設(shè)備和專(zhuān)用傳感器的束縛，但直接識(shí)別人體特征的動(dòng)作捕捉技術(shù)實(shí)現(xiàn)復(fù)雜，相對(duì)而言，基于穿戴設(shè)備和傳感器的動(dòng)作捕捉技術(shù)更為成熟，目前在游戲、影視特效等領(lǐng)域中大多還是采用光學(xué)式動(dòng)作捕捉完成相應(yīng)工作。動(dòng)作捕捉技術(shù)完成了將表情和動(dòng)作數(shù)字化的工作，提供了新的人機(jī)交互手段，為實(shí)現(xiàn)操作者以自然的動(dòng)作和表情直接控制計(jì)算機(jī)，以及最終實(shí)現(xiàn)可以理解人類(lèi)表情、動(dòng)作的計(jì)算機(jī)系統(tǒng)和機(jī)器人提供了技術(shù)基礎(chǔ)。與傳統(tǒng)的遙控方式相比，這種系統(tǒng)可以實(shí)現(xiàn)更為直觀、細(xì)致、復(fù)雜、靈活而快速的動(dòng)作控制，大大提高機(jī)器人應(yīng)對(duì)復(fù)雜情況的能力。8.2.5眼動(dòng)交互1．眼動(dòng)交互的裝置VS頭戴式眼動(dòng)儀外觀像一副眼鏡，也可稱(chēng)為“眼動(dòng)追蹤眼鏡”，用戶可直接佩戴，便攜性好，可應(yīng)用于室內(nèi)、室外。桌面式眼動(dòng)儀檢測(cè)數(shù)據(jù)準(zhǔn)確率高，適用于室內(nèi)，通常安裝在計(jì)算機(jī)顯示器下方，便于計(jì)算出用戶在屏幕上注視的位置。頭戴式眼動(dòng)儀桌面式眼動(dòng)儀8.2.5眼動(dòng)交互2．眼動(dòng)交互的方式注視眨眼眼跳當(dāng)注視點(diǎn)的停留時(shí)間達(dá)到一定程度后（一般至少持續(xù)0.1s），可以利用視線代替鼠標(biāo)或鍵盤(pán)等傳統(tǒng)輸入設(shè)備，觸發(fā)相應(yīng)的執(zhí)行操作。大多數(shù)眼動(dòng)信息只有在注視時(shí)才能獲得并進(jìn)行加工，因此，注視是一種主要的眼動(dòng)交互方式，多用于控制圖形界面或定位鼠標(biāo)光標(biāo)等。使用眨眼行為進(jìn)行交互時(shí)，需要識(shí)別有意識(shí)的眨眼。眨眼交互方式較為簡(jiǎn)單，但是當(dāng)人眼處于長(zhǎng)時(shí)間閉合狀態(tài)時(shí)，由于眼動(dòng)儀無(wú)法捕捉瞳孔，可能會(huì)導(dǎo)致注視點(diǎn)的丟失，在一定程度上會(huì)影響眼動(dòng)交互的精度。在正常的視覺(jué)觀察過(guò)程中，眼動(dòng)表現(xiàn)為在一系列被觀察目標(biāo)上的注視，及在這些注視點(diǎn)之間的飛速跳躍。在注視點(diǎn)之間的飛速跳躍稱(chēng)為眼跳，不同路徑的眼跳可以映射為不同的交互指令。8.2.5眼動(dòng)交互3．眼動(dòng)交互的應(yīng)用場(chǎng)景游戲交互用于飛行類(lèi)游戲的方向控制、射擊類(lèi)游戲的眼動(dòng)瞄準(zhǔn)等。手機(jī)交互通過(guò)注視點(diǎn)定位完成手機(jī)解鎖，相機(jī)對(duì)焦拍攝；閱讀瀏覽時(shí)，根據(jù)眼動(dòng)情況自動(dòng)翻頁(yè)等。駕駛疲勞監(jiān)測(cè)識(shí)別駕駛員的行為狀態(tài)，在疲勞早期及時(shí)發(fā)出預(yù)警。智能輔助溝通智能輔助溝通是眼動(dòng)交互的重要開(kāi)發(fā)領(lǐng)域。例如，七鑫易維公司開(kāi)發(fā)的眼控平板電腦一體機(jī)，這是一款將Windows平板電腦與眼控儀相結(jié)合的輔助溝通產(chǎn)品，幫助用戶不僅可以使用傳統(tǒng)的鼠標(biāo)、鍵盤(pán)操作計(jì)算機(jī)，也可以通過(guò)眼部運(yùn)動(dòng)實(shí)現(xiàn)操作計(jì)算機(jī)。8.2.6腦機(jī)交互1．腦機(jī)交互的方式與面臨的問(wèn)題VS在大腦中植入芯片，直接測(cè)量大腦活動(dòng)，這種方式捕獲大腦神經(jīng)活動(dòng)信號(hào)的實(shí)時(shí)性和精確度較高，但存在感染風(fēng)險(xiǎn)和創(chuàng)傷問(wèn)題。主要通過(guò)讓用戶戴上裝載有感應(yīng)器的穿戴設(shè)備來(lái)采集大腦神經(jīng)活動(dòng)信號(hào)，這種方式操作方便、易于使用、無(wú)創(chuàng)傷問(wèn)題，但信號(hào)捕獲的精度和實(shí)時(shí)性可能不如侵入式腦機(jī)交互。侵入式腦機(jī)交互是非侵入式腦機(jī)交互8.2.6腦機(jī)交互1．腦機(jī)交互的方式與面臨的問(wèn)題通過(guò)侵入性腦機(jī)交互方式捕捉大腦神經(jīng)活動(dòng)信號(hào)，會(huì)涉及手術(shù)過(guò)程，給人體帶來(lái)風(fēng)險(xiǎn)隱患。因此，研究人員將更多地探索非侵入性腦機(jī)交互技術(shù)，以提高技術(shù)的可接受性和可用性。信號(hào)解讀準(zhǔn)確性問(wèn)題解讀大腦神經(jīng)活動(dòng)信號(hào)并將其轉(zhuǎn)化為計(jì)算機(jī)可理解的指令是一個(gè)復(fù)雜的過(guò)程，并且不同人的大腦活動(dòng)模式存在個(gè)體差異，因此需要更多的研究來(lái)提高系統(tǒng)對(duì)不同個(gè)體大腦信號(hào)的解讀能力和信號(hào)解讀的準(zhǔn)確性。目前的腦機(jī)交互系統(tǒng)對(duì)腦神經(jīng)活動(dòng)信號(hào)的捕捉和解讀速度還有所限制，導(dǎo)致交互的實(shí)時(shí)性受到限制。提高腦機(jī)交互數(shù)據(jù)傳輸速度是一個(gè)挑戰(zhàn)，但也是推動(dòng)該技術(shù)發(fā)展的重要方向之一。數(shù)據(jù)傳輸速度問(wèn)題設(shè)備侵入性問(wèn)題8.2.6腦機(jī)交互2．腦機(jī)交互的應(yīng)用場(chǎng)景游戲娛樂(lè)在專(zhuān)業(yè)技能訓(xùn)練方面，可以利用腦機(jī)交互技術(shù)讀取學(xué)習(xí)者的大腦活動(dòng)信號(hào)，進(jìn)行專(zhuān)業(yè)技能評(píng)估和培養(yǎng)；在智能化教學(xué)方面，可以利用腦機(jī)交互技術(shù)讀取學(xué)習(xí)者的大腦活動(dòng)信號(hào)，實(shí)時(shí)評(píng)估和調(diào)整學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。醫(yī)療康復(fù)殘疾人士可以通過(guò)腦機(jī)交互技術(shù)進(jìn)行康復(fù)訓(xùn)練。例如，對(duì)于截肢或運(yùn)動(dòng)障礙的患者，可以通過(guò)腦機(jī)交互來(lái)操控假肢，讓癱瘓病人實(shí)現(xiàn)自己喝水、吃飯、打字。教育用戶通過(guò)腦機(jī)交互技術(shù)可以實(shí)現(xiàn)控制游戲角色。例如，通過(guò)“移動(dòng)”“跳躍”的思維活動(dòng)控制游戲角色的移動(dòng)、跳躍等操作。智能家居用戶可以通過(guò)腦機(jī)交互技術(shù)控制家電設(shè)備。例如，控制家電設(shè)備的開(kāi)關(guān)、音量，通過(guò)家電設(shè)備調(diào)節(jié)室內(nèi)溫度、光亮等。8.2.7多模態(tài)交互互補(bǔ)型等效型專(zhuān)業(yè)型并發(fā)型信息輸入方式互為補(bǔ)充，也就是說(shuō)，用戶需使用兩種或多種輸入方式實(shí)現(xiàn)特定交互任務(wù)。完成特定交互任務(wù)時(shí)，兩種或多種輸入方式是等效的，即可以相互替代，且輸出結(jié)果相同。完成某一特定交互任務(wù)時(shí)只能采用指定的輸入方式，其他輸入方式不可替代。當(dāng)兩種或多種輸入方式在同一時(shí)間發(fā)出不同的指令時(shí)，它們是并發(fā)的。8.3融媒體基礎(chǔ)知識(shí)8.1人機(jī)交互模式8.2人機(jī)界面設(shè)計(jì)8.3.1人機(jī)界面與人機(jī)界面設(shè)計(jì)人機(jī)界面也稱(chēng)為用戶界面（UserInterface，UI），簡(jiǎn)稱(chēng)“界面”。從字面上看，人機(jī)界面的意思是人與計(jì)算機(jī)（包括計(jì)算機(jī)化的系統(tǒng)、機(jī)器、設(shè)備）之間的接觸面，但實(shí)際上它包含了用戶與界面之間的交互關(guān)系，是指用戶與計(jì)算機(jī)之間通信的媒介。凡是存在人機(jī)信息交換的領(lǐng)域都存在著人機(jī)界面。1．人機(jī)界面硬件界面軟件界面8.3.1人機(jī)界面與人機(jī)界面設(shè)計(jì)1．人機(jī)界面8.3.1人機(jī)界面與人機(jī)界面設(shè)計(jì)2．人機(jī)界面設(shè)計(jì)人機(jī)界面設(shè)計(jì)不是單純的美術(shù)繪畫(huà)，它需要通過(guò)協(xié)調(diào)界面上各個(gè)組成部分和它們之間的操作邏輯，優(yōu)化和簡(jiǎn)化用戶與計(jì)算機(jī)系統(tǒng)交流的過(guò)程和步驟，在滿足用戶需求前提下，提高用戶使用計(jì)算機(jī)的效率，它是系統(tǒng)性的、科學(xué)性的藝術(shù)設(shè)計(jì)。人機(jī)界面設(shè)計(jì)就是軟件產(chǎn)品的“框架”和“外形”設(shè)計(jì)，是設(shè)計(jì)軟件界面的顏色、文字、圖標(biāo)、按鈕、菜單等元素，使用戶能夠更加方便、快捷、舒適地使用產(chǎn)品。人機(jī)界面設(shè)計(jì)即UI設(shè)計(jì)，它是指通過(guò)一定的手段對(duì)用戶界面有目標(biāo)和計(jì)劃的一種創(chuàng)作活動(dòng)，其目的是使用戶能夠方便高效地操作計(jì)