人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室

1、人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室人機(jī)交互技術(shù)和實(shí)物操作界面(TUI)Tangible User Interface1人機(jī)交互技術(shù)和用戶界面無處不在計算及其用戶界面實(shí)物操作界面(TUI)提綱2Douglas C. Engelbart 什么造就了計算機(jī)輝煌歷史?National Medal of Technology , 2000IEEE, John Von Neumann Medal Award , 1999ACM, A. M. Turing Award , 1997影響幾代人，創(chuàng)造計算機(jī)的歷史3PC plus GUI made the historyThings behind GUIDeskt

2、op metaphorWIMP (Windows, icons, menu, and pointer)Direct manipulation and WYSIWYGKiller applicationWord processingElectronic spreadsheet什么造就了計算機(jī)輝煌歷史?4計算機(jī)是什么?無處不在的計算Desktop PCTablet PCPocket PCPhone PCWrist PC無線連接5(a)：Wacom Intuos(b)：Wacom Cintiq PL550與桌面PC相連的Tablet交互設(shè)備（Wacom公司產(chǎn)品）Wacom計算機(jī)是什么?PC手寫設(shè)備6

3、（a）交互墻DynaWall（b）交互椅CommChair（c）交互桌InteracTable由GMD IPSI設(shè)計的Roomware計算機(jī)是什么?Roomware71950年，大型機(jī)計算時代 多人一機(jī)1975年，PC計算時代 信息交流一人一機(jī)2000年，普適計算時代 服務(wù)一人多機(jī)字符用戶界面鍵盤圖形用戶界面鼠標(biāo)，GUI，WIMP新世紀(jì)用戶界面(?)筆、語音(?)計算機(jī)是什么?計算的三次革命(計算空間、角色、界面)8計算機(jī)是什么?計算的三次革命9一只眼睛 十一個指頭計算機(jī)能做什么?不能做什么?10計算機(jī)計算模式(1.2)人環(huán)境活動Desktop無處不在的計算Mainframe11大型機(jī)臺式機(jī)移

4、動環(huán)境三維空間Post desktop鍵盤鼠標(biāo)?文本命令GUI 命令 / WIMPPost WIMPNon WIMP?Non WIMP?人機(jī)環(huán)境虛擬現(xiàn)實(shí)VR無處不在的計算AR 辦公自動化科學(xué)計算用戶界面的發(fā)展歷史(1.3)12人機(jī)交互和用戶界面-計算機(jī)應(yīng)用的主要障礙硬件：摩爾定律(18個月翻一倍)軟件：每五年升一代界面：15-20年換一代 60年代一70年代：鍵盤，字符界面 80年代一90年代：鼠標(biāo)，圖形界面 21世紀(jì): 新一代界面13“凡有助于縮小人機(jī)隔閡，建立和諧人機(jī)環(huán)境的理論、方法、技術(shù)和產(chǎn)品都具有強(qiáng)大的生命力”什么是今后計算機(jī)應(yīng)用的障礙?計算機(jī)硬件技術(shù)已不是阻礙人機(jī)交互和用戶界面-計算

5、機(jī)應(yīng)用的主要障礙人機(jī)交互技術(shù)一21世紀(jì)重大信息技術(shù)計算機(jī)研究發(fā)展的主干: 計算如硬件技術(shù)，計算機(jī)軟件技術(shù)，智能接口技術(shù) -863計劃計算機(jī)發(fā)戰(zhàn)研討會 2002.1.18一14普適計算的認(rèn)識(1)Ubiquitous Computing(ubicopm)Mark Weiser 1991A vision: (人+環(huán)境)*計算資源基礎(chǔ)設(shè)施 ( Net) + Devices at varying scales任何時間任何地點(diǎn)提供信息和服務(wù) A new paradigms of interaction15Focus on ApplicationsThe real purpose for ubiquito

6、us computing, of course, are the applications.”Mark Weiser普適計算的認(rèn)識(2)16普適計算的認(rèn)識(3)Ubiquitous Computing多人可以使用的計算，計算環(huán)境如交互墻(會議室)、電子白板(教室)普遍、到處 無處不在的計算Pervasive Computing(Computing pervasive)個人所擁有的計算，日用品如可穿戴計算設(shè)備擴(kuò)散、滲透17普適計算的認(rèn)識(4)人機(jī)融合過程人計算機(jī)弱智十奇才人適應(yīng)計算機(jī)計算機(jī)適應(yīng)人主機(jī)時代PC時代普適時代18普適計算中人機(jī)交互的三個主題自然界面(natural interfaces

7、 )上下文感知應(yīng)用(context-aware ) 基于物理和計算環(huán)境感知到的信息的行為。 簡單的上下文、重用性、和復(fù)雜的上下文 自動捕捉及訪問 (automated capture and access) 無處不在計算的應(yīng)用試圖自動捕捉生活經(jīng)歷, 提供以后對這些經(jīng)歷的靈活訪問19普適計算中人機(jī)交互的三個特征自然化多通道模糊非結(jié)構(gòu)連續(xù)人性化顯式感知(符號、動作、表象、情感)隱式感知-用戶意圖捕捉智能化學(xué)習(xí)能力數(shù)據(jù)挖掘20自然界面（1）Integrate into human lifePen inputGestureSpeechPerceptual UITangible UI脫離桌面21自然界面

8、（2）第一類自然數(shù)據(jù)類型 （First-Class Natural Data Types） 視覺、聽覺、筆畫、作為基本數(shù)據(jù)類型，并支持對這類數(shù)據(jù)類型的操作。基于識別交互的容錯技術(shù) 識別的準(zhǔn)確度/ 糾錯的復(fù)雜度及有效度 1）減少錯誤 2）發(fā)現(xiàn)錯誤 3）可修正錯誤 22locationidentityobjects上下文感知（1）23上下文感知（2）上下文定義 用戶行為的介釋W(xué)hatWhyWhoWhereWhen為什么?(結(jié)果)誰使用?(用戶十環(huán)境十它人)做什么?(用戶行為)何時?何地?上下文表示上下文融合24自動捕捉及訪問生活經(jīng)歷信息獲取：聽/看-記錄-提取 聽/看-提取-記錄目 的：計算機(jī)擅長

9、十人擅長主要 應(yīng) 用：會議室、課堂環(huán)境、個人note-taking Phoneslave Xcapture Classroom 2000捕捉：源信息流記錄十關(guān)健信息的捕捉訪問：多捕捉流同步重放25普適計算面臨的其它挑戰(zhàn)評估人的需求使用的可信度方法(以任務(wù)為中心的評估技術(shù)是不合適)社會問題 安全性，可視性，可控制性，個人隱私26普適計算的理解(1) 三個層次計算為基礎(chǔ)層次，提供必要的軟硬件技術(shù)計算機(jī)科學(xué)信息交流計算設(shè)備之間的交流：計算機(jī)網(wǎng)絡(luò)人機(jī)交流：人機(jī)界面計算機(jī)科學(xué)、心理學(xué)等學(xué)科服務(wù)沒有感覺計算的存在，卻無處不在的享受著服務(wù)。計算主要以服務(wù)的形態(tài)提供人們，并自然地融入社會計算機(jī)科學(xué)、社會科學(xué)2

10、7普適計算的理解(2) 三個層次mobility Interface transparencyDesktopcomputingMobile ComputingWearable ComputingUbiquitous Computing計算 信息交流 服務(wù)28從社會科學(xué)的角度出發(fā)從根本上徹底改造技術(shù)以適應(yīng)人目標(biāo)是使人獲得真正的效率使得計算機(jī)“Invisible”“最好的仆人是看不見的仆人”多種多樣的服務(wù)形式，更為自然信息獲取普適計算的用戶界面29普適計算的用戶界面充分利用人們在現(xiàn)實(shí)生活中的獲得的 生活體驗(yàn)，易學(xué)習(xí)自然直觀的用戶界面直接將人們在現(xiàn)實(shí)生活中和物體的交互動作映射為和信息空間的交互過程3

11、0信息技術(shù)的尷尬(TUI的動機(jī))傳統(tǒng)的計算工具結(jié)繩記事 沙漏計時 算盤簡單，可觸摸，易學(xué)習(xí)觸覺和肌肉運(yùn)動知覺現(xiàn)在的數(shù)字技術(shù)功能強(qiáng)大，學(xué)習(xí)門檻高人們必須不斷學(xué)習(xí)適應(yīng)其發(fā)展原因：生活經(jīng)驗(yàn)毫無用處，界面本身就是新生事物31信息空間和物理空間( Bits & Atoms )POPOPOEYPO:Physical objectEY:EntityEYEYMouse信息空間(Bits)物理空間(Atoms)32信息空間和物理空間(Bits & Atoms )我們生活在兩個世界里：現(xiàn)實(shí)的物理世界和虛擬的信息世界 兩種身份之間卻缺少一種無縫的、自然的轉(zhuǎn)換和交互方式 人們和信息空間的交互被局限于傳統(tǒng)的圖形用戶界面

12、(GUI)中實(shí)際上，正是GUI把我們生活的物理世界和我們要訪問的信息世界隔離開來。33從桌面環(huán)境到物理世界GUI到TUI1991年，Mark Weiser提出了“普適計算”：計算是無處不在的，是不可見的 物理世界本身就是界面1981年，施樂公司提出了GUI概念“Star”是第一個采用“WIMP”界面34實(shí)物操作界面簡介(TUI)定義(Tangible User Interface)直接將人們在現(xiàn)實(shí)生活中和物體、環(huán)境的交互動作映射為和信息空間的交互過程的用戶界面。 特點(diǎn):充分利用生活體驗(yàn) ， 易學(xué)習(xí) ， 自然目標(biāo):盡可能的把生活體驗(yàn)用到人機(jī)交互中，降低計算機(jī)技術(shù)的學(xué)習(xí)門檻，增加交互的自然性。35

13、TUI的目標(biāo)實(shí)物操作界面通過使得數(shù)字信息可觸摸而達(dá)到無縫集成物理世界和信息世界的目的。三個關(guān)鍵的概念：交互式表面信息和物體的鏈接環(huán)境反饋36和TUI 相關(guān)的工作 1. Ubiquitous Computing（普適計算） 計算無處不在計算之間，設(shè)備之間的通訊是“透明” 的例子：會議桌、便簽條 二者差別：普適計算更大程度上是把GUI的交互隱喻分布到了物理環(huán)境中 的各種交互設(shè)備中，GUI的拓展（適應(yīng)）TUI界面則試圖摒棄GUI界面范式，力圖使物理環(huán)境成為界面本身，更多的借鑒了在計算機(jī)出現(xiàn)以前的人們的交互方式（回歸）。 37和TUI 相關(guān)的工作Augmented Reality（增強(qiáng)現(xiàn)實(shí)）研究如何集

14、成現(xiàn)實(shí)世界和虛擬世界的問題二者的區(qū)別輸入手段不同。TUI強(qiáng)調(diào)把直接抓取實(shí)物作為輸入手段；AR是重疊顯示現(xiàn)實(shí)世界和虛擬信息的投影。38TUI的研究現(xiàn)狀 MIT Media Lab TUI Group斯坦福大學(xué) Interactivity Lab華盛頓大學(xué) Design Machine Group加州大學(xué) Group for User Interface Research多倫多大學(xué) Department of Computer Science 39TUI的研究原型.40ClearBoard Hiroshi Ishii1994最早把現(xiàn)實(shí)中的表面做為物理空間和信息空間的集成媒介的系統(tǒng) 支持CSCW一個

15、背投的顯示器充當(dāng)了物理動作和虛擬信息之間的媒介 41Live Wire Weiser 1995一個給用戶提供環(huán)境反饋的例子 塑料繩就會抖動和發(fā)聲，這樣就跟用戶提供了聲音反饋 42Bricks: Graspable User Interfaces（可抓取界面）Fitzmaurice 1995 方塊（Bricks）和虛擬物體鏈接并同步動作 方塊的數(shù)目不限，可以同時操縱多個方塊 TUI界面中借鑒了這個系統(tǒng)的思想 43Passive Real-World Interface Props HINCKLEY 1998用于神經(jīng)外科手術(shù)規(guī)劃的一個雙手交互系統(tǒng)反饋觸覺和肌肉運(yùn)動知覺 二者區(qū)別：TUI界面不但是實(shí)

16、物操作輸入，還能輸出環(huán)境反饋 44MIT Media Lab的研究工作 三個原型系統(tǒng)metaDESK 和 transBOARD 抓取的實(shí)物ambientROOM 環(huán)境反饋45MetaDESK 有Windows中界面構(gòu)件（如窗口、菜單、圖標(biāo)）的實(shí)物對應(yīng)，也有嵌入了數(shù)字信息的現(xiàn)實(shí)生活中的物體 46MIT Media Lab : IP Network Simulation用于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計基于早期的TUI平臺:Sensetable無線跟蹤pucks的位置方位47Tangible Geospace 在metaDesk上開發(fā)的一個實(shí)物操作的三維地圖系統(tǒng) 用真實(shí)的路標(biāo)模型(phicon:實(shí)物圖標(biāo))就可以直接

17、編輯地圖 48TransBOARD 支持協(xié)同工作的白板系統(tǒng) 經(jīng)過編碼的卡片(hyperCARDs-phicon)可以記載筆跡單向轉(zhuǎn)換：從物理世界轉(zhuǎn)換到信息世界白板表面作為信息集成媒介49ambientROOM 人們獲取信息的兩個渠道：前景: 注意力集中的動作背景：周圍環(huán)境信息光效，聲音，氣流，陰影都是人們可以感知的背景信息50斯坦福的研究工作 iStuff Rafael Ballagas CHI2003Physical User Interface Toolkit 主要思想：把GUI中的界面構(gòu)件用實(shí)物來代替，如筆，滑動桿，按鈕，玩具狗，鐵筆，麥克風(fēng) 51斯坦福的研究工作 iStuff支持多用戶

18、，多個設(shè)備，多個應(yīng)用間的協(xié)同工作 平臺無關(guān)實(shí)時配置 各個物理交互設(shè)備通過無限網(wǎng)絡(luò)連接 52瑞典Goteborg大學(xué)交互實(shí)驗(yàn)室開發(fā)的Nostalgia帶有傳感器的織物消除了老人們對計算機(jī)的排斥感 點(diǎn)擊三角塊激活老歌曲和音樂53多倫多大學(xué) ShapeTape 自由彎曲的帶有彈性的帶子 每隔6厘米 共分布了32個傳感器 帶子(實(shí)物)和自由曲線(虛擬對象)的連接 ,帶子的形狀直接映射為 曲線的形狀 54華盛頓大學(xué)DMG：Navigation Blocks用于數(shù)據(jù)庫查詢四個方盒子when, who , what, where 小盒子之間還能通過紅外發(fā)射通訊 55日本ATR實(shí)驗(yàn)室：筷子 數(shù)據(jù)手套跟蹤手部運(yùn)

19、動 精確 操作56中科院軟件所 人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室實(shí)物筆、紙 習(xí)慣、自然57中科院軟件所 人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室Anote專利技術(shù) 瑞典Anote AB公司在年代末開發(fā)出了使用數(shù)碼筆的電腦輸入專利技術(shù)Anote 數(shù)碼紙和Anote 數(shù)碼筆。58中科院軟件所 人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室Anote 數(shù)碼筆( (普通的圓珠筆)微型攝相頭_讀入筆尖高速書 寫的筆跡和Anote 數(shù)碼紙的微 點(diǎn)坐標(biāo)微處理器_分析處理后通過蘭 牙無線或USB等方法轉(zhuǎn)送到 電腦或攜帶手機(jī)之中。 Anote 數(shù)碼紙 (一般紙)紙上印刷了Anote 專利的核心技術(shù)Anote 微細(xì)點(diǎn)狀形坐標(biāo)。利用這種

20、微細(xì)點(diǎn)狀形坐標(biāo)可以定位識別相當(dāng)于地球表面大小面積的區(qū)域Anote 技術(shù)必將帶來新世紀(jì)的革命 人們只需用Anote 數(shù)碼筆在Anote 數(shù)碼紙上與平常一樣書寫與記錄、就可以將信息簡便的輸入電腦。這將給辦公室自動化及信息產(chǎn)業(yè)帶來新一輪的革命。59中科院軟件所 人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室VR 指揮捧VR 導(dǎo)游化身60中科院軟件所 人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室61TUI的關(guān)鍵技術(shù)心里學(xué)上注意機(jī)制 環(huán)境反饋不應(yīng)把用戶的注意力從實(shí)物操作中吸引開來，反饋應(yīng)該是隱式的 注意的平滑轉(zhuǎn)換協(xié)同設(shè)計和三維交互技術(shù) 多用戶協(xié)同工作時，每個用戶在自己的小環(huán)境中分別操縱自己的實(shí)物 ,但是共享信息空間如果實(shí)物在三維

21、空間種運(yùn)動需要三維交互技術(shù) 62TUI的關(guān)鍵技術(shù)實(shí)物和虛擬對象的鏈接鏈接的建立與取消實(shí)物和虛擬對象間的映射機(jī)制通訊和環(huán)境反饋實(shí)物和系統(tǒng)無線通訊和定位環(huán)境實(shí)時、隱式信息反饋63TUI的關(guān)鍵技術(shù) 傳感和無線通訊 目前跟蹤實(shí)物的兩種實(shí)現(xiàn)方案：自帶傳感器和三維位置跟蹤 實(shí)物之間，實(shí)物與系統(tǒng)之間的通訊大多數(shù)時候無線的，不干擾用戶的空間動作 多通道交互技術(shù) TUI中的輸入雖然比較單一，輸出卻是多樣化的允許同時操作多個實(shí)物多種感覺通道的輸出64關(guān)鍵技術(shù)：雙手交互方式雙手同時操縱兩個Puck典型應(yīng)用虛擬裝配肌肉運(yùn)動知覺和本體感受解決復(fù)雜任務(wù)的有效途徑符合認(rèn)知特點(diǎn)，無需 視覺注意65開展TUI研究的關(guān)鍵設(shè)備并沒

22、有一種固定的硬件配置 從構(gòu)造原型系統(tǒng)的角度出發(fā)，大致需要以下幾種設(shè)備 ：位置跟蹤器和無線通訊設(shè)備 投影儀或者背投顯示器 各種經(jīng)過定制的實(shí)物 ：是用戶直接抓取的各種物體。如metsDesk中的phicon,Lens，iStuff中的滑動桿，電子狗等 66實(shí)物的兩種類型 GUI擴(kuò)展型 meaDesk中的各種物理菜單、圖標(biāo)，滑動桿都是這種類型。IStuff中的物理界面中的物理界面工具箱也是這種類型 自己定制型 華盛頓大學(xué)的方盒子，瑞典Goteborg大學(xué)的點(diǎn)播懷舊歌曲的織物。一般都會安裝有傳感器甚至還有通訊設(shè)備 67總結(jié)(1)人機(jī)交互技術(shù)和用戶界面是競爭性技術(shù)無處不在計算是未來主要的計算模式TUI是無處不在計算的主要的界面范式68實(shí)物操作界面通過使得數(shù)字信息可觸摸而達(dá)到無縫集成物理世界和信息世界的目的。三個關(guān)鍵的概念：交互式表面信息和物體的鏈接環(huán)境反饋總結(jié)(2)69總結(jié)(3)直接將人們在現(xiàn)實(shí)生活中和物體的交互動作映射為和信息空間的交互過程充分利用人們在現(xiàn)實(shí)生活中的獲得的生活體驗(yàn)，易學(xué)習(xí)，自然直觀自然直觀的用戶界面70總結(jié)(4)歡迎討論!71總結(jié)(2)直接將人們在現(xiàn)實(shí)生活中和物體的交互動作映射為和信息空