人機自然交互技術(shù).ppt

1、人機自然交互技術(shù)提綱人機交互概述-定義，內(nèi)涵與外延-研究內(nèi)容-歷史、現(xiàn)狀人機自然交互技術(shù)我的工作HCI是什么?用戶：我又錯了？-用戶必須不斷地適應計算機，而不是相反!人機交互定義(ACM, 1992)一 Human-computer interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding t

2、hem.- 一門研究人類所使用的交互式計算系統(tǒng)的設(shè)計、 實施、評估及相關(guān)主要現(xiàn)象的學科HCI簡化模型HCI簡化模型控制信息HCI目標使得用戶在完成任務時，能夠達到一安全性(Safely)-有效性(effectively)-高效率(Efficiently)-愉悅感(Enjoyably)-高可用性(Usability)高可用性(Usability)易于學習如何使用一 Ease of learning, free of training用戶可高速執(zhí)行任務-High speed of user task performanee低的用戶錯誤率-Low user error rate用戶的主觀滿意度-Su

3、bjective user satisfaction對用戶持久的吸引力一 User retention over timeHCI主要研究內(nèi)容(ACM 1992)Use and ContextU1社會組織與工作U3人機交S安裝與凋整U2應用領(lǐng)域Ht人類信 息處理H2語言,通信與 交互計算機C2對話扌支 術(shù) nC3対話風 格C4計算機制 圖SBD3評估技 巧H3人類T效學C4輸入輸出 設(shè)備C 5對話構(gòu)建D2實施技巧與工具D1設(shè)計開發(fā)過程D4實例系統(tǒng)與 案例分析HCI研究內(nèi)容N人機交互的本質(zhì)- N1人機交互(元-)模型U計算機的應用及情景-U1人類社會組織和工作- U2應用領(lǐng)域一 U3 人機適應(F

4、it and Adaptation)H人類特征- H1人類信息處理-H2語言，通信與交互一 H3 工效學(Ergonomics )HCI研究內(nèi)容(續(xù))C計算機系統(tǒng)和界面構(gòu)建- C1輸入和輸出設(shè)備- C2對話技術(shù)- C3對話風格Genre- C4計算機圖形學一 C5 對話架構(gòu)(Architecture)D開發(fā)過程- D1設(shè)計方法- D2實施技術(shù)- D3評估技巧- D4實例系統(tǒng)和案例研究 P項目展示和測試U2 HCI應用領(lǐng)域面向文檔的應用-文字處理，文檔格式化， 插圖，電子表格，超文本面向通信的應用- email,視頻會議，電話/聲音 信息系統(tǒng)設(shè)計開發(fā)環(huán)境類一開發(fā)環(huán)境，CAD/CAM在線幫助和指南

5、多媒體信息亭連續(xù)控制系統(tǒng)-過程控制系統(tǒng)，虛擬 現(xiàn)實系統(tǒng)，仿真器， 座艙，視頻游戲嵌入式系統(tǒng)-復印機，電梯，消費 電子，家用電器（TVs, VCRs,微波爐.）U3人機適應實現(xiàn)人機適應的可變化技術(shù)手段自適應系統(tǒng)的本質(zhì)，適應冗余系統(tǒng)的錯誤本質(zhì)， 用戶對例程改進的經(jīng)驗發(fā)現(xiàn)，成功系統(tǒng)的關(guān)鍵點系統(tǒng)選擇：系統(tǒng)采用理論系統(tǒng)適應：定制與裁剪技術(shù)用戶選擇：用戶和系統(tǒng)特性的兼容性用戶適應：易學習，訓練方法（在線指南），與 系統(tǒng)設(shè)計的關(guān)系用戶指導：幫助技術(shù)，文檔，錯誤處理技術(shù)H1人類信息處理認知機理模型-符號主義，連接主義，工程模型諸多認知過程的現(xiàn)象和理論-記憶，知覺，運動技巧，注意和警惕，問題求 解，學習和技巧獲

6、得，動機等用戶的概念模型用戶行為模型人類的多樣性（包括殘障人士）C1輸入和輸出設(shè)備輸入設(shè)備-特定設(shè)備的結(jié)構(gòu)，性能特性，殘障人專用設(shè)備，手寫, 手勢，語音輸入，眼動跟蹤，其他設(shè)備（如腦電掃描 設(shè)蓄，3D掃#苗儀，其施測量生物信號的設(shè)備）輸出設(shè)備-特定設(shè)備的結(jié)構(gòu)，向量式設(shè)備，光柵設(shè)備，幀緩存， 圖像存儲，事件處理，殘障人專用設(shè)備，聲音和語音 輸出，3D顯示器，運動等等輸入輸出設(shè)備特性-重量，便攜性，帶寬，感覺模態(tài)虛擬顯示設(shè)備C2對話技術(shù)對話輸入-輸入目的類型（如選擇，具體參數(shù)指定，連續(xù)控制） -輸入技術(shù) 鍵盤技術(shù)（e.g, comma nds, menus）基于鼠標的技術(shù)（e.g，選擇）基于pen

7、的技術(shù)（e.g.,字符識別，手勢等）基于語音的技術(shù)對話輸出-輸出目的女口：傳達精確信息，信息摘要，過程展示，信息可視化 -輸出技術(shù)滾動條顯示，窗口，動畫，魚眼顯示，畫中畫等一屏幕布局問題焦點，雜亂，視覺邏輯C2對話技術(shù)（續(xù)）對話交互技術(shù)-對話種類和技術(shù)文字技術(shù)，表格填充，菜單選擇，圖標和直接操作， 自然語言等-對話審嘉航和指向，錯誤管理-多媒體和非圖形對話語音輸入/輸出，語音信箱，視頻信箱，主動文檔， 視頻磁盤-智能代理，AI-多人對話HCI簡史D4實例系統(tǒng)和案例研究Why History?讀史使人明智-理解我們從哪里走過來的，有助于指明我們繼 續(xù)前進的方向！Understanding whe

8、re you've come from can help a lot in figuring out where you're going.-領(lǐng)域知識意味著對其歷史的準確評價！ Knowledge of an area implies an appreciation of its history.HCI 范式(Paradigms)里程碑式的理論框架或科學世界觀-如物理學上的亞里士多德時代、牛頓時代、愛 因斯坦時代對HCI歷史的理解，可以通過對計算機應 用范式變遷的認識來完成-HCI的歷史，基本上就是計算機發(fā)展的歷史！計算機的誕生回溯-數(shù)字計算機的概念在18世紀提出-在20世紀4

9、0年代技術(shù)上稱為現(xiàn)實早期模擬計算機一 1943年1月：Mark I,自動順序控制計算機在美國研制 成功，被用來為美國海軍計算彈道火力表-1943年12月：Alan Turing參與設(shè)計制造的最早的可編 程計算機Colossus在英國推出，目的是為了破譯德國 的密碼，每秒能翻譯大約5000個字符ENIAC, 1946開始研制于1943年，完成于1946年2月15日一 Electronic Numerical Integrator A nd Computer 電子 數(shù)字積分計算機第一臺真正意義上的數(shù)字電子計 算機-占地面積170平方米，30個操作臺，約相當于10間普 通房間的大小，重達30噸，耗電

10、量150千瓦，造價48 萬美元。它使用18000個電子管，70000個電阻， 10000個電容,1500個繼電器，6000多個開關(guān)-每秒執(zhí)行5000次加法或400次乘法，是繼電器計算機 的1000倍、手工計算的20萬倍-負責人是John W. Mauchly和J. Presper EckertENIAC用途：計算彈道和氫彈的研制。P1: V.Bush & Memex 1945促成了美國NSF, ARPA等的創(chuàng)立 “As We May Think" - 1945年 Memex device理論模型/概念-能夠存儲所有記錄、文章和通信-內(nèi)存巨大-按索引，關(guān)鍵詞，相互參照獲取信息-

11、相互連接管理（提出的概念非常類似 于 Hypertext）Memex 1945P2: J.R. Licklider心理學家t計算機科學家一 1960年，發(fā)表了 “人機共生”(“ma rrcomputer symbiosis”)的論文計算機如何更好的幫助人做事情-1962年,J.C.R.Licklider和W.CIark 發(fā)表論文On Line Man Computer Communication，討論分布式社 交行為的全球網(wǎng)絡概念一 Batch processing T time-sharing-Internet先驅(qū)人物之一P3:1.Sutherland & SketchPad 196

12、3 SketchPad"編程”系統(tǒng)-信息論先驅(qū)Shannon的學生一 1963 PhD thesis at MIT-1988 Turing Award-可以通過使用手持物體（如光 筆）直接在顯示屏幕上創(chuàng)建圖 形圖像?？梢暤膱D樣隨即被存 入計算機內(nèi)存，它們可以被重 新調(diào)用，并同其他數(shù)據(jù)一樣可 以進行后期的處理。-CAD先驅(qū)，后期致力于設(shè)計頭 盔式3D顯示器（1967年開始）P3: Ivan Sutherland Sketchpad是第一個可以在顯示屏幕上直 接構(gòu)造圖形圖像的系統(tǒng)，不用再通過鍵盤 向計算機輸入代碼和公式更具革命性的是，它考慮到了在顯示屏幕 上作某些改動后，存儲在計算機中的

13、信息 可以被改變和更新。 Sketchpad開創(chuàng)了計算機輔助設(shè)計的一個 新領(lǐng)域，即我們所熟知的CAD新的范式:Video Display Units視頻顯示部件VDU- Sutherland's Sketchpad是里程碑式的系統(tǒng) -計算機從此可以用于信息可視化和數(shù)據(jù)操作之前：主要用于數(shù)據(jù)計算P4: Douglas Engelbart道格拉斯恩格爾巴特“人機交互”大師-因發(fā)明鼠標而聞名，鼠標最初的名字：顯示系統(tǒng)的X-Y位置指示器（19637965）P4: Douglas Engelbart鼠標器只不過是他所有成果中的一個小發(fā)明。但 他提出的那些氣魄輝宏的計算機理論卻遠遠不及 他發(fā)明的鼠

14、標器廣為世人所知曉-發(fā)明涉及視窗、文字處理系統(tǒng)、在線呼叫集成系統(tǒng)、 共享屏幕的遠程會議、超媒體、電腦交互輸入設(shè)備、 群件，層次超文本，多媒體，鼠標20世紀60年代初，他就發(fā)表了一篇題為放大人 類智力(Augmenting the Human Intellect)的文 章，提出了把計算機作為人類智慧放大器的觀點1997年，ACM圖靈獎P5: Alan Kay最早的圖形用戶界面(GUI)電腦Alto -在施樂PARC,與同事構(gòu)建了Alto, 成為M acintosh和Windows的先驅(qū) 2003年度圖靈獎得主(for OOP)-發(fā)明了 “Object Oriented”這個術(shù)語，第一個完全面向?qū)?/p>

15、象的動態(tài)計算機程序設(shè)計語言Smalltalk的發(fā)明者 Smalltalk源自Alan Kay “使用一組獨立的互相通信的對象來 解決問題”的思想，它可以說是目前主流語言C+, Java和 C#的刖身O 1972年，他來到施樂PARC,開始將Smalltalk作為一種兒童 教育工具P5: Alan Kay個人計算之父- 1968年，提出Dynabook設(shè)想 “ Notebook sized computer loaded withmultimedia and can store everything"將是一款如同書籍般，既為可攜式且具互動功能的 多媒體個人式電腦，它的主要規(guī)格如下：1.

16、 大小如A4紙張之易攜帶；2. 顯示器的解析度必須優(yōu)于報紙文字；3. 必須具有聲音輸入的功能且易操作；必須能夠網(wǎng)路化和作無線通訊新的范式：個人計算因易于使用而更強大小而強大的計算機器為個人用戶而做互聯(lián)和分時的重要性先驅(qū)者一 Kay5s Dynabook, 196J-IBM PC, 1970年代文本和命令方式具有GIN的PC Xerox PARC id 19705s-AltoBravo WYSIWYG文本編輯. BravoX Microsoft Word的祖先.Laurel電子郵件.Neptune磁盤文件管理. Press文件打印.Sil畫圖程序.Xerox Star -1981第一臺為商務應用

17、設(shè)計的商用pc一具有了桌面電腦的主要特征 Pointing, WYSIWYG, high degree of consistency and simplicity采用了可用性工程方法-有原型設(shè)計和分析-好用性測試，迭代式的改進Xerox Star天才的概念，商業(yè)失敗-$15k cost一 Closed architecture一 Lacking key functionality1981 IBM PC1981年8月120, IBM正式發(fā)布了歷史上第一臺PC,從此人類就進入了個人電腦時代！ IBM PC 改變了我們的生活和工作方式-IBM PC之父：埃斯特利奇，13人小組Apple Lisa -

18、 Based on ideas of Star更加個人化，而不全是 辦公工具- LisaWrite:字處理-LisaCalc:表格-LisaGraph:圖形-LisaList:規(guī)劃管理工具-LisaProject:項目計劃-LisaDraw:繪圖程序LisaTerminal:現(xiàn)代通信軟件 失敗©1982"MM"tua Fz&fffogy2 fdiftt 16 :曲 m Er!.14 trodwnfcUisic18 bold/ itciticf?4 minrM*W：MrvMGrapturs1?4FI1 I討Apple Macintosh -1984并非先驅(qū)，

19、但非常聰明的拷貝一 Not trailblazer, smart copier 優(yōu)點一 Aggressive pricing $2500-界面友好-支持第三方應用-高質(zhì)量圖像和激光打印-高質(zhì)量的應用系統(tǒng)，MacWritev Mac Draw 一新的應用：Pagemaker, Word, Excel新的HCI范式：WIMP Windows, Icons, Menus, Pointers-并行操作 Can do several things simultaneously-圖形用戶界面實例Xerox Alto, Star; early ApplesP6: Ben ShneidermanDr. Shn

20、eiderman的著作有軟件心理學：計算機和信息系統(tǒng)中的人類要素,1980-發(fā)明了直接操作DM (Direct Manipulation)概念在1983年首次設(shè)計了選中條目點擊轉(zhuǎn)到另一頁的方法創(chuàng)立并任馬里蘭大學HCI實驗室主任新的范式：直接操作Direct Manipulation直接操作的特點-對象可見-漸進動作和快速反饋-可逆性鼓勵探索-使用動作代替語言-對動作進行句法修正一 WYSIWYGWhat You See Is What You Get.P7: Donald A. Normar20世紀60年代他就是一流的認知心理學家，是認 知科學的開拓者之一發(fā)展了HCI應用科學，涉 及到認知學、

21、工程和;殳計，在HCI方面做出了大 量創(chuàng)造性的成就，提出的“以人為中心的設(shè)計” 概念。 “Design of Everyday Things55-已成了設(shè)計人員的必備，以人迦本，可用性、易用性， 還有情感影響，新的理念指導薯很多白勺設(shè)計 Emotional Design: Why we love (or hate) everyday things情感化設(shè)計-強調(diào)情感在產(chǎn)品設(shè)計中的重要作用新的范式：多模態(tài)用戶界面模態(tài)是人類交流的通道-不僅僅是感官例如：語音（聽覺通道）和唇讀（視覺通道）多模態(tài)融合-多通道同時使用共同協(xié)作完成輸入/輸出功能新的范式：HypertextP8: Ted Nelson H

22、ypertext （超文本）5 hypermedia （超媒 體）等概念的（合作）提出者新的范式：Hypertext WWW, 1993超文本-將信息看作互聯(lián)的節(jié)點，而不是線性流 Think of information not as linear flow but as interconnected nodes源頭一 Nelson's hypertext-Bush's MEMEX非線性的瀏覽結(jié)構(gòu)一 Non-linear browsing structure新的范式：Hypertext麴臍需欝境闢翩在一起。P9: Mark Weiser提出普適計算是21世紀的計算模式一 Mar

23、k Weiser于 1988年在Xerox PARC的 計算機科學實驗室首次提出了這個概念-無處不在的計算描述了具有豐富計算資源和通信能力 的人和環(huán)境之間關(guān)系的場景，能夠在需要的何時何地*不見的仆人”1還提出了乃寧靜技術(shù)calm technology55的概念-充分利用人體豐富多彩的感知和動作器官，以及人們 與日常物理世界打交道時所形成的自然交互技能來獲 得計算機提供的服務人機自然交互技術(shù)HCI簡史人適應計算機的歷史！-1960年代一70年代：鍵盤，字符界面-1980年代一90年代：鼠標，圖形界面目前-仍然以鼠標，圖形界面為主，書寫、聽覺等為輔未來計算機適應人的未來！-到2015年左右，我們會

24、如何使用計算機？下一代自然人機界面會是什么？需要大家的想象力！人們對于現(xiàn)存的人機交互方式并不滿足，因為人與 人的交互不是通過人手操作來實現(xiàn)的，而是通過聽覺與 視覺以語言、表情、手勢和體勢進行的。人們期望新一 代的人機交互能像人與人交互那樣自然、準確和快捷。 于是在20世紀90舉代人機交互的研究進到了多模態(tài)的階 段，稱為人機自然交互(Human-Computer Nature lnteraction3HCNIcHuman-Machine Nature Interaction， HMNI)O人機自然交互與前幾代人機交互的方式有本質(zhì)上的差 別，這是一種人機交互的革命，是擺脫人手操作，賦予 勢單以智能，通過聽覺和視覺通道來實現(xiàn)的新一代交互2機自然交互的基本特征是只動嘴不動手，賦予計算 機聽覺與視覺智能，使計算機能認識交互的對象，理解 以語言形式表達的說話內(nèi)脊，理解交互對象的情感-按 人的要求去做，或回答人鍵出的問題，達到交互的自的。主要功能-識別交互對象，即知道在與誰對話，以稱為說話人識別，這可以由視覺和聽覺信息通道獲取的知識中進行識別和判斷;-要理解對話的內(nèi)容，以便執(zhí)行人發(fā)出的指令，或回答 人提出的問題，這是主要由聽覺信息通道獲取知識， 但由于語言本身是雙模態(tài)的，由視覺信息通道獲取的 唇動知識對某些語音識別是非常重要的；-蠶解鬍勰籍蟲評于理解對方的對話內(nèi)容'