人機交互技術(shù) 課件 第1、2章 什么是人機交互、人機交互概述和發(fā)展

人機交互技術(shù)第一章

人機交互概述1.1人機交互的概念1.1.1為什么要研究人機交互

自從上個世紀40年代計算機誕生以來，計算機和圍繞計算機的信息產(chǎn)業(yè)蓬勃發(fā)展。當前，制造業(yè)、IT業(yè)、汽車行業(yè)等許多產(chǎn)業(yè)都有計算機的身影。人不但要跟電腦、平板、手機等看得見摸得著的計算機進行交互，而且要和嵌入到汽車、電視、微波爐等機器內(nèi)部的計算機進行交互?，F(xiàn)在很多人在研究人機交互，優(yōu)秀的設(shè)計可以提高人們的工作效率，使人們的工作生活更加簡潔，更加方便。什么是人機交互

人機交互(Human-ComputerInteraction，簡稱HCI)是一門研究計算機系統(tǒng)與用戶之間交互關(guān)系的學問。美國計算機協(xié)會ACM人機交互興趣小組（SpecialInterestGrouponComputer–HumanInteraction，簡稱SIGCHI）給出了人機交互的定義，人機交互是關(guān)于設(shè)計、評價和實現(xiàn)供人使用的交互式計算系統(tǒng)，以及圍繞這些方法的主要現(xiàn)象進行研究的一門學科。

人機交互是與認知心理學、人機工程學、多媒體技術(shù)、虛擬現(xiàn)實技術(shù)等密切相關(guān)的綜合學科，可以從不同的角度（計算機科學、機器和人）來研究人機交互。例如從計算機科學的角度，人機交互的焦點是交互，尤其是單個或多個用戶與一個或多個計算機的交互，以及通過計算機系統(tǒng)的人際交互；而從機器的觀點，計算機可能是獨立運作的計算機，也可能是嵌入式計算機器，比如作為太空駕駛員座艙或者微波爐的一部分。從人類用戶的角度看，需要考慮分布式系統(tǒng)，計算機輔助通訊，或依靠不同系統(tǒng)進行協(xié)同工作等特性。因此，人機交互既研究機械裝置，也研究人的因素，人機交互是當代技術(shù)發(fā)展的一個重要支撐領(lǐng)域。人機交互的簡史發(fā)展是人類亙古不變的主題，一個社會發(fā)展的關(guān)鍵在于其核心生產(chǎn)工具的發(fā)展。計算機作為新時代的核心生產(chǎn)工具，如何高效地與之交互一直是業(yè)界的研究熱點。經(jīng)過數(shù)十年的實踐和發(fā)展，人機交互理念、技術(shù)和外圍設(shè)備逐漸由萌芽走向發(fā)展和成熟。

手工操作和命令行交互階段ENIAC是一個龐然大物，重30余噸，占地約170平方米，包含18000只電子管。研究者通過手工開閉計算機上的開關(guān)作為輸入，通過機器上指示燈的明暗作為輸出。如圖所示，在埃尼阿克計算機中，每個功能表上有多個開關(guān)，用戶通過操作功能表上的開關(guān)進行數(shù)據(jù)輸入。工作人員在設(shè)置ENIAC的一個功能表上的開關(guān)組早期的五孔紙帶上世紀50年代，人們開始使用穿孔紙帶與計算機進行交互。穿孔紙帶大約一寸寬，中間的一排小孔用來確定位置，兩側(cè)的大孔用來表示信息，穿孔或不穿孔表示1和0，計算機指令用大孔中的若干個孔表示，一條簡單的程序通常都需要幾米長的紙帶，如圖所示。但是，這種交互方式輸入輸出速度慢，可靠性低，逐漸被淘汰。

DECVT100，一個廣泛應用的計算機終端（1978）

1956年，MIT開始研究使用鍵盤向計算機輸入信息。60年代中期起，基于鍵盤的命令行接口成為大多數(shù)計算機的主要交互方式。操作人員在命令行界面中輸入命令，界面接收命令行，然后把命令行文字翻譯成相應的系統(tǒng)功能。整個70年代，甚至直到80年代，這種交互方式一直在持續(xù)使用。大家所熟知的Unix操作系統(tǒng)、微軟的DOS系統(tǒng)、以及蘋果的DOS系統(tǒng)都是采用命令行的方式。

圖形化用戶界面階段進入70年代，計算機的使用范圍日趨廣泛，人機交互的設(shè)計理念隨之前進。易用性（Usability）、用戶友好逐漸成為人機交互設(shè)計的首要考慮要素，人機交互的理念進入以用戶為中心（User-CenteredDesign，簡稱UCD）的時代。道格拉斯?恩格爾巴特拿著他發(fā)明的鼠標1968年，Stanford大學的道格拉斯·恩格爾巴特（DouglasEnglebart）博士發(fā)明了世界上第一個滑動鼠標，如圖所示。設(shè)計的初衷是為了使計算機的操作更加簡捷，代替在鍵盤上敲擊繁瑣的指令。恩格爾巴特制作的鼠標是一只小木頭盒子，工作原理是由它底部的小球帶動樞軸轉(zhuǎn)動，從而使得內(nèi)部的變阻器改變阻值來產(chǎn)生位移訊號，經(jīng)計算機處理，鼠標的移動轉(zhuǎn)化成了屏幕上的光標的移動。鼠標極大地改善了人機之間的交互方式，這個發(fā)明被電氣與電子工程師協(xié)會（InstituteofElectricalandElectronicEngineers，簡稱IEEE）列為計算機誕生50年來最重大的事件之一。XeroxPalo于70年代中后期研制出原型機Star，形成了以窗口、圖標、菜單和指示器為基礎(chǔ)的圖形界面，也稱為WIMP界面，Apple公司最先采用了這種圖形界面。1983年，蘋果公司開發(fā)的Lisa桌面電腦配置了鼠標，并首次采用了圖形化的用戶界面（GraphicalUserInterface，簡稱GUI）。Lisa創(chuàng)造性地采用了桌面“隱喻(Metaphor)”，使用了位映射(bitamp)、窗口(window)、圖符(icon)等圖形化元素來代表對應的操作，用戶可通過鼠標點擊方便地與計算機進行交互，如圖所示。Lisa由于售價高，市場接受度不高，但其成就了之后的蘋果Macintosh計算機。這種基于鼠標便捷操作和直觀的圖形化界面的交互方式成為人機交互進化的歷史性變革。(a)Lisa電腦

(b)Lisa的屏幕自然人機交互階段80年代末，多媒體技術(shù)繁榮發(fā)展。聲卡、圖像卡等硬件設(shè)備的發(fā)明和實現(xiàn)使得計算機處理聲音及視頻圖像成為可能，多媒體輸入輸出設(shè)備如揚聲器、話筒和攝像頭等逐漸為人機交互所用，如圖所示。人機交互的內(nèi)容更加豐富有趣，用戶能以聲、像、圖、文等多種媒體信息方式與計算機進行信息交流。用戶利用多媒體技術(shù)與計算機進行生動的交互自然人機交互輸入設(shè)備的進展

自然人機交互更加注重用戶的個人體驗，以人為中心。在交互輸入方面，從最開始的手工操作開關(guān)、鼠標鍵盤輸入，發(fā)展到當前的體感交互等自然交互方式。1972年，NolanBushnell發(fā)明了第一個交互電子游戲Pong，首次將操控技術(shù)運用到了人機交互系統(tǒng)中。1977年，ToraDefanti和DanielSandin開發(fā)了一套手套式傳感器系統(tǒng)SayreGlove，用戶只需要帶上這樣特殊的手套就可以向計算機輸入特定指令。交互顯示設(shè)備的進展

在交互顯示方面，人們追求身臨其境的感覺。1838年，CharlesWheatstone研究發(fā)現(xiàn)人類大腦是通過處理左右眼看到的不同視角圖像來產(chǎn)生三維感覺的，這一發(fā)現(xiàn)奠定了現(xiàn)代所有立體顯示技術(shù)的理論基礎(chǔ)，包括裸眼3D、眼鏡式3D、沉浸式VR等。1961年，由Philco公司研發(fā)的Headsight問世，這是世界上第一款頭戴式顯示器，同時該設(shè)備首次融合了頭部追蹤功能，Headsight主要用于隱秘信息的查看。1985年，美國NASA研發(fā)出LCD光學頭戴顯示器，同時融合了頭部、手部追蹤功能，可實現(xiàn)更加沉浸的體驗，其主要用于太空作業(yè)的模擬訓練等。人機交互的新技術(shù)近年來，隨著機器視覺、人工智能、模式識別技術(shù)的發(fā)展，以及相應的計算機軟硬件技術(shù)的進步，以手勢識別、動作識別、語音識別等為基礎(chǔ)的自然人機交互技術(shù)不斷涌現(xiàn)。交互的模式，也從單一通道輸入向多通道輸入改變，最終達到智能和自然的目的。多點觸控多點觸控技術(shù)是一種允許多用戶、多手指同時傳輸輸入信號，并根據(jù)動態(tài)手勢進行實時響應的新型交互技術(shù)。該項技術(shù)采用裸手作為交互媒介，使用電學或者視覺技術(shù)完成信息的采集與定位。

多點觸控技術(shù)經(jīng)過了多年的積累和發(fā)展。該系統(tǒng)在大屏多點觸控系統(tǒng)設(shè)計方面成本低、敏感度高，而且使用計算機視覺技術(shù)具有較好的擴展性。其系統(tǒng)效果圖如下圖所示，用戶可以通過單手或者多手直接操控電腦。單手觸控（左）與雙手觸控（右）

手勢交互

手勢交互是指人通過手部動作表達特定的含義和交互意圖，通過具有符號功能的手勢來進行信息交流和控制計算機的交互技術(shù)。例如，可以采用如下圖所示的生活中的6種手勢類型，將其語義分別定義為確定/抓取、返回/釋放、鎖定/解鎖、右選、待轉(zhuǎn)/移動、左選操作指令。

手勢交互是一種新興的交互技術(shù)，其技術(shù)核心是手勢識別。根據(jù)識別對象可將手勢識別技術(shù)分為靜態(tài)手勢識別和動態(tài)手勢識別。數(shù)據(jù)手套是一種應用較為廣泛的手勢識別方式。右圖形象地描述了數(shù)據(jù)手套的結(jié)構(gòu)。

手勢識別的另一種方式是通過攝像頭采集手勢數(shù)據(jù)。這種方式下，人不需要穿戴額外的手套，裸手即可與計算機互動。如下圖所示，LeapMotion主要由兩個攝像頭和3個紅外LED組成。LeapMotion的組成結(jié)構(gòu)（左）與圖像效果（右）

人體動作識別

人體動作是人表達意愿的重要信號，包含了豐富的語義。人體動作是指包括頭、四肢、軀干等人的各個身體部分在空間中的姿勢或者運動過程。下圖展示了基于人體動作的人機交互應用。動作分析的人機交互應用

人體動作分析是人機交互交互系統(tǒng)的重要支撐技術(shù)，是一個多學科交叉的研究課題，使用了數(shù)學建模、圖形圖像分析、模式識別、人工智能等知識，具有重要的理論研究價值。一個完整的人體動作分析過程主要包括動作捕捉、動作特征描述和動作分類識別三大部分。與其他交互手段相比，人體動作交互技術(shù)無論是硬件還是軟件方面都有了較大的提升，交互設(shè)備向小型化、便攜化、使用方便化等方面發(fā)展。

語音交互

語音交互是人以自然語音或機器合成語音同計算機進行交互的綜合性技術(shù)。機器通過識別和理解把語音信號轉(zhuǎn)變?yōu)橄鄳奈谋净蛎?，人通過語音與機器進行對話交流，讓機器明白用戶的交互意圖。下圖給出了語音交互的示例商業(yè)產(chǎn)品。（a）AppleSiri

（b）amazonecho

語音交互需要對語音識別和語音合成進行研究，還要對人在語音通道下的交互機理、行為方式等進行研究。語音交互過程包括四部分：語音采集、語音識別、語義理解和語音合成。語音采集完成音頻的錄入、采樣及編碼；語音識別完成語音信息到機器可識別的文本信息的轉(zhuǎn)化；語義理解根據(jù)語音識別轉(zhuǎn)換后的文本字符或命令完成相應的操作；語音合成完成文本信息到聲音信息的轉(zhuǎn)換。

其它新興的交互方式

人類的交互方式還有很多，當前眼球、意念、表情、唇讀等更多的新興手段被引入到人機交互的領(lǐng)域。這些方式針對不同的應用和人群，在特殊情況下更為有效。人機交互設(shè)計的標準、原則和指導方針人機交互設(shè)計的標準（1）ISO的人機工程學技術(shù)委員會ISO9241包含多個部分，對人機交互、以人為中心的設(shè)計、用戶界面、用戶體驗、易用性等都有描述。右表是其各個子系列的基本標準號和標題。

近年來，以人為中心的人機交互設(shè)計是人機交互的一個研究熱點。以人為中心的設(shè)計方法應該遵循以下原則。

（1)設(shè)計基于對用戶、任務(wù)和環(huán)境的明確的理解。（2）用戶參與整個設(shè)計和開發(fā)。（3）設(shè)計由以用戶為中心的評估驅(qū)動和改進。（4）過程是不斷迭代的。（5）設(shè)計表達了全部用戶體驗。（6）設(shè)計團隊包括多學科的技能和視角。W3C的多通道交互工作組

2002年，萬維網(wǎng)聯(lián)盟W3C成立多通道交互工作組。工作組的目標是制定標準以使得種類繁多的通道之間能夠交互。工作組描述了多通道交互生態(tài)系統(tǒng)一個典型示例，由多個框架組件構(gòu)成，如下圖所示。多通道交互生態(tài)系統(tǒng)示例

人機交互的原則和指導方針

Shneiderman的界面設(shè)計八個黃金法則：（1）盡力保持一致性（2）使用戶能用快捷鍵操作頻繁使用的項目（3）提供有幫助的反饋信息（4）會話和流程設(shè)計要走向一個完結(jié)（5）提供防止用戶出錯的機制，并提供簡潔的錯誤提示信息（6）允許便捷的撤銷操作（7）給用戶掌控感（8）減少短時記憶負擔Nilesen的10個易用性啟發(fā)式方法：（1）系統(tǒng)狀態(tài)可見（2）系統(tǒng)和真實世界相匹配（3）撤銷重做原則（4）一致性原則（5）防錯原則（6）易取原則（7）靈活高效原則（8）易快速瀏覽原則（9）容錯原則（10）人性化幫助原則PeterMorville的用戶體驗蜂巢圖：

在書中，PeterMorville給出了用戶體驗蜂巢圖，對人機交互設(shè)計很有指導意義，如左圖所示。用戶體驗蜂巢圖自然人機交互設(shè)計的指導方針我們認為以下幾點方針更符合自然人機交互系統(tǒng)設(shè)計思想。（1）非接觸式的體感交互（2）多通道上下文感知融合（3）虛擬與現(xiàn)實的交互映射（4）注重反饋和限制因素（5）考慮通用性和擴展性THANKYOU人機交互技術(shù)人機交互概述和發(fā)展

人機交互的研究內(nèi)容1

人機交互的發(fā)展歷史2

最新應用3總結(jié)4目錄CONTENTS

人機交互的研究內(nèi)容1人機交互（Human-ComputerInteraction，HCI）是關(guān)于設(shè)計、評價和實現(xiàn)供人們使用的交互式計算機系統(tǒng)，且圍繞這些方面的主要現(xiàn)象進行研究的學科。人機交互、人機互動（英文：Human–ComputerInteraction或Human–MachineInteraction，簡稱HCI或HMI），是一門研究系統(tǒng)與用戶之間的交互關(guān)系的學問。人機交互的研究內(nèi)容傳統(tǒng)的人機交互（HumanComputerInteraction，HCI）是研究運用什么樣的開發(fā)原理及方法，讓人們可以方便地使用計算機系統(tǒng)的學科。20世紀90年代后期以來，隨著高速處理芯片，多媒體技術(shù)和InternetWeb技術(shù)的迅速發(fā)展和普及，人機交互的研究重點放在了智能化交互，多模態(tài)（多通道）-多媒體交互，虛擬交互以及人機協(xié)同交互等方面，也就是放在以人為中心的人機交互技術(shù)方面。人機交互的發(fā)展歷史，是從人適應計算機到計算機不斷地適應人的發(fā)展史。簡單來理解就是研究用戶和計算機之間交互的學科，如何讓人們更加方便高效的運用計算機技術(shù)。新媒體技術(shù)的逐步發(fā)展，豐富了HCI這一領(lǐng)域的研究內(nèi)容，從傳統(tǒng)的人與計算機鍵盤、鼠標從而控制顯示內(nèi)容和文本的互動，轉(zhuǎn)變?yōu)楦嗟淖匀唤换バ问剑w現(xiàn)形態(tài)也從二維擴展到三維可視化的終端顯示。在最初，很多學者和專家認為HCI可以通過網(wǎng)頁設(shè)計、網(wǎng)站設(shè)計來體現(xiàn)，逐漸的發(fā)展至今，我們可以通過虛擬現(xiàn)實（VR）技術(shù)、增強現(xiàn)實（AR）技術(shù)、混合現(xiàn)實（MR）技術(shù)以及影像現(xiàn)實（CR）技術(shù)作為技術(shù)表現(xiàn)形式的手段，基于計算機及網(wǎng)絡(luò)產(chǎn)生的內(nèi)容和相對計算機及網(wǎng)絡(luò)現(xiàn)實所產(chǎn)生的內(nèi)容，針對內(nèi)容、渠道的接受主體（人或其他物體），形成主體、內(nèi)容、渠道這三個要素構(gòu)成的人機交互產(chǎn)品。人機交互的研究內(nèi)容筆式交互設(shè)備視覺交互設(shè)備虛擬環(huán)境中的交互

觸覺交互設(shè)備課程內(nèi)容介紹課程內(nèi)容KT點課程內(nèi)容KT點

人機交互發(fā)展歷史2人機交互的發(fā)展過程，也是人適應計算機到計算機不斷地適應人的發(fā)展過程。人機交互發(fā)展歷史59年美國學者B.Shackel從人在操縱計算機時如何才能減輕疲勞出發(fā)，提出了被認為是人機界面的第一篇文獻的關(guān)于計算機控制臺設(shè)計的人機工程學的論文。1960年，Liklider

JCK首次提出人機緊密共棲（Human-Computer

Close

Symbiosis）的概念，被視為人機界面學的啟蒙觀點。1969年在英國劍橋大學召開了第