人機(jī)交互技術(shù)

人機(jī)交互技術(shù)山東大學(xué)計(jì)算機(jī)學(xué)院李學(xué)慶xqli@2023/11/271課程目標(biāo)基礎(chǔ)了解人機(jī)交互的含義，人機(jī)交互的研究?jī)?nèi)容及發(fā)展趨勢(shì)了解并掌握認(rèn)知心理學(xué)、人機(jī)工程學(xué)在人機(jī)界面設(shè)計(jì)的作用，并在此基礎(chǔ)上能夠進(jìn)行人機(jī)交互界面評(píng)價(jià)了解普遍流行的各種交互設(shè)備，包括文本輸入設(shè)備、圖像輸入設(shè)備、指點(diǎn)輸入設(shè)備和顯示設(shè)備等理論了解人機(jī)交互的一些新技術(shù)，如語音、手寫識(shí)別、眼動(dòng)跟蹤等技術(shù)掌握人機(jī)交互的界面模型，如用戶模型、任務(wù)模型、表現(xiàn)模型等學(xué)習(xí)計(jì)算機(jī)支持的協(xié)同工作、信息搜索與可視化、超媒體與萬維網(wǎng)、普適計(jì)算與增強(qiáng)現(xiàn)實(shí)等內(nèi)容2023/11/272課程內(nèi)容第一篇基礎(chǔ)知識(shí)人機(jī)交互簡(jiǎn)介、認(rèn)知心理學(xué)、交互設(shè)備、用戶界面設(shè)計(jì)第二篇理論多通道人機(jī)交互、軟件工具、界面模型、幫助系統(tǒng)的設(shè)計(jì)第三篇專題計(jì)算機(jī)支持的協(xié)同工作、信息搜索與可視化、超媒體與萬維網(wǎng)、普適計(jì)算與增強(qiáng)現(xiàn)實(shí)2023/11/273人機(jī)交互教學(xué)方式

1.教師授課

2.學(xué)生自學(xué)和討論

3.課程設(shè)計(jì)2023/11/274Lecture1人機(jī)交互考試方式

課程設(shè)計(jì)/提交論文論文是對(duì)課程設(shè)計(jì)所完成的的項(xiàng)目按照軟件工程的描述方法進(jìn)行詳細(xì)的描述，其中包括對(duì)交互過程控制的轉(zhuǎn)狀態(tài)圖的描述課程結(jié)束的最后一次課采用答辯和演示的方式提交課程設(shè)計(jì)作業(yè)2. 期末考試

2023/11/275Lecture1課程設(shè)計(jì)分組完成在下列課程設(shè)計(jì)中一個(gè)項(xiàng)目用繪圖筆完成一個(gè)非形式化界面完成一基于語音輸入和筆輸入的多通道人家交互界面建立三維虛擬場(chǎng)景，并實(shí)現(xiàn)簡(jiǎn)單的三維交互控制，以實(shí)現(xiàn)對(duì)場(chǎng)景中的三維物體的交互控制用手機(jī)模擬開發(fā)環(huán)境，設(shè)計(jì)一手機(jī)上的小游戲2023/11/276Lecture1教材及參考書Human-ComputerInteraction(3rdEdition)AlanDix等，PrenticeHall，2004。 用戶界面設(shè)計(jì)有效的人機(jī)交互策略（第三版）張國印、李健利等譯，電子工業(yè)出版社，2004年人機(jī)交互和多通道用戶界面戴國忠等編著人機(jī)交互技術(shù)原理與應(yīng)用孟祥旭、李學(xué)慶編著，清華大學(xué)出版社，20042023/11/277第一篇基礎(chǔ)知識(shí)

第1章人機(jī)交互簡(jiǎn)介山東大學(xué)計(jì)算機(jī)學(xué)院2023/11/278Lecture1本章內(nèi)容本章主要介紹以下內(nèi)容：人機(jī)交互的概念人機(jī)交互與其他學(xué)科的關(guān)系人機(jī)交互技術(shù)的發(fā)展歷史人機(jī)交互的研究?jī)?nèi)容交互軟件的人性因素人機(jī)交互技術(shù)的發(fā)展趨勢(shì)2023/11/279Lecture1人機(jī)交互概念人機(jī)交互（Human-ComputerInteraction,HCI）是關(guān)于設(shè)計(jì)、評(píng)價(jià)和實(shí)現(xiàn)供人們使用的交互式計(jì)算機(jī)系統(tǒng)且圍繞這些方面進(jìn)行研究的科學(xué)（ACMSIGCHI,1992,第6頁）人機(jī)交互概念有廣義和狹義的區(qū)別2023/11/2710Lecture1廣義人機(jī)交互廣義上講，人機(jī)交互以實(shí)現(xiàn)自然、高效、和諧的人機(jī)關(guān)系為目的，與之相關(guān)的理論和技術(shù)都在其研究范疇，是計(jì)算機(jī)科學(xué)，心理學(xué)，認(rèn)知科學(xué)以及社會(huì)學(xué)等學(xué)科的交叉學(xué)科研究開發(fā)新的人機(jī)交互設(shè)備、技術(shù)和理論，以實(shí)現(xiàn)無處不在計(jì)算（ubiquitouscomputing）環(huán)境下的以用戶為中心的交互式計(jì)算機(jī)系統(tǒng)，使其能夠增強(qiáng)人的創(chuàng)造力，解放人類的大腦、改善人與人之間的交流與協(xié)作2023/11/2711Lecture1狹義人機(jī)交互人機(jī)交互從技術(shù)上講（狹義的），主要是研究人與計(jì)算機(jī)之間的信息交換，它主要包括人到計(jì)算機(jī)和計(jì)算機(jī)到人的信息交換兩部分人們?nèi)绾谓柚I盤、鼠標(biāo)、操縱桿、眼動(dòng)跟蹤器、位置跟蹤器、數(shù)據(jù)手套、壓力筆等設(shè)備，用手、腳、聲音、姿勢(shì)或身體的動(dòng)作、眼睛甚至腦電波等向計(jì)算機(jī)傳遞信息計(jì)算機(jī)如何通過打印機(jī)、繪圖儀、顯示器、頭盔式顯示器（HMD）、音箱、力反饋等輸出設(shè)備給人提供信息2023/11/2712Lecture1人機(jī)交互與人機(jī)界面人機(jī)交互和人機(jī)界面是兩個(gè)不同的概念人機(jī)交互是指用戶與計(jì)算機(jī)系統(tǒng)之間的通信，它是人與計(jì)算機(jī)之間各種符號(hào)和動(dòng)作的雙向信息交換人機(jī)界面是指人類用戶與計(jì)算機(jī)系統(tǒng)之間的通信媒體或手段，它是人機(jī)雙向信息交換的支持軟件和硬件這里“界面”定義為通信的媒體或手段，人機(jī)交互是通過一定的人機(jī)界面來實(shí)現(xiàn)的，在界面開發(fā)過程中，有時(shí)把它們作為同義詞使用2023/11/2713Lecture1人機(jī)交互與其他學(xué)科的關(guān)系人機(jī)交互與認(rèn)知心理學(xué)、人機(jī)工程學(xué)、多媒體技術(shù)和虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)密切相關(guān)。其中，認(rèn)知心理學(xué)與人機(jī)工程學(xué)是人機(jī)交互技術(shù)的理論基礎(chǔ)，而多媒體技術(shù)和虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)與人機(jī)交互技術(shù)相互交叉和滲透虛擬與增強(qiáng)現(xiàn)實(shí)技術(shù)多媒體技術(shù)認(rèn)知心理學(xué)人機(jī)工程學(xué)人機(jī)交互與其他相關(guān)學(xué)科的關(guān)系人機(jī)交互技術(shù)2023/11/2714Lecture1

認(rèn)知心理學(xué)（CognitivePsychology）研究人們?nèi)绾潍@得外部世界信息，信息在人腦內(nèi)如何表示并轉(zhuǎn)化為知識(shí)，知識(shí)怎樣存儲(chǔ)又如何用來指導(dǎo)人們的注意和行為涉及心理活動(dòng)的全部過程——從感覺到知覺、識(shí)別、注意、學(xué)習(xí)、記憶、概念的形成、思維、表象、回憶、語言、情緒和發(fā)展過程信息加工心理學(xué)是現(xiàn)代認(rèn)知心理學(xué)的主流用計(jì)算機(jī)信息處理過程來類比人的認(rèn)知過程了解認(rèn)知心理學(xué)原理可以指導(dǎo)人們進(jìn)行人機(jī)交互界面設(shè)計(jì)可用性、用戶心理、用戶行為2023/11/2715Lecture1人機(jī)工程學(xué)（Ergonomics）人機(jī)工程學(xué)是運(yùn)用生理學(xué)、心理學(xué)和醫(yī)學(xué)等有關(guān)知識(shí)，研究人、機(jī)器、環(huán)境相互間的合理關(guān)系，以保證人們安全、健康、舒適地工作，從而提高整個(gè)系統(tǒng)工效的交叉學(xué)科早期人機(jī)工程學(xué)是最活躍、最主要的分支硬件人機(jī)工程學(xué)對(duì)人體能力、人體限制及其他與設(shè)計(jì)相關(guān)的人體特性信息的應(yīng)用，以滿足設(shè)計(jì)、分析、測(cè)試與評(píng)價(jià)、標(biāo)準(zhǔn)化，以及系統(tǒng)控制的要求軟件人機(jī)工程學(xué)（SoftwareErgonomics）研究軟件和軟件界面，側(cè)重于運(yùn)用和擴(kuò)充軟件工程的理論和原理，對(duì)軟件人機(jī)界面進(jìn)行分析、描述、設(shè)計(jì)和評(píng)估2023/11/2716Lecture1人機(jī)工程學(xué)示例2023/11/2717Lecture1多媒體技術(shù)多媒體技術(shù)是指將文本、聲音、圖形、圖像、視頻等集成在一起的技術(shù)動(dòng)畫、音頻、視頻等動(dòng)態(tài)媒體，大大豐富了計(jì)算機(jī)表現(xiàn)信息的形式，拓寬了計(jì)算機(jī)輸出的帶寬，提高了用戶接受信息的效率多媒體帶來的信息冗余性可消除人機(jī)通信過程中的歧義性及噪聲目前多媒體技術(shù)的研究基本上限于信息的存儲(chǔ)和傳輸方面，媒體理解和推理研究較少2023/11/2718Lecture1多媒體技術(shù)（續(xù)）多通道人機(jī)交互研究的興起，將進(jìn)一步提高計(jì)算機(jī)的信息識(shí)別、理解能力，提高人機(jī)交互的效率和用戶友好性，將人機(jī)交互技術(shù)和用戶界面設(shè)計(jì)引向更高境界多通道系統(tǒng)力求對(duì)語義的理解，側(cè)重于信息的理解和解釋；多媒體系統(tǒng)則側(cè)重于信息的表現(xiàn)2023/11/2719Lecture1虛擬現(xiàn)實(shí)技術(shù)（VirtualReality,VR）虛擬現(xiàn)實(shí)就是借助于計(jì)算機(jī)技術(shù)及硬件設(shè)備，建立高度真實(shí)感的虛擬環(huán)境，使人們通過視覺、聽覺、觸覺、味覺、嗅覺等感官在其中看、聽、觸、聞起來像真實(shí)的，以產(chǎn)生身臨其境的感覺的一種技術(shù)。沉浸感（immersion）交互性（interaction）構(gòu)想性（imagination）自然和諧的交互方式是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)重要研究?jī)?nèi)容，其目的是使人能以聲音、動(dòng)作、表情等自然方式與虛擬世界中的對(duì)象進(jìn)行交互最終要的三維交互2023/11/2720Lecture1虛擬現(xiàn)實(shí)技術(shù)（續(xù)）三維交互設(shè)備：如立體眼鏡、WorkBench、頭盔式顯示器、CAVE、柱形或球形立體顯示器、立體音頻輸出設(shè)備；位置跟蹤器、眼動(dòng)跟蹤器、三維掃描設(shè)備、三維鼠標(biāo)、三維跟蹤球、三維游戲桿、數(shù)據(jù)手套；觸覺和力反饋裝置、可穿戴計(jì)算機(jī)等復(fù)雜場(chǎng)景的建模、實(shí)時(shí)高度真實(shí)感繪制等技術(shù)，也是虛擬現(xiàn)實(shí)非常重要的研究?jī)?nèi)容。虛擬現(xiàn)實(shí)為人機(jī)交互的研究提供了很好的契機(jī)和媒介2023/11/2721Lecture1增強(qiáng)現(xiàn)實(shí)技術(shù)

（AugmentedReality,AR）增強(qiáng)現(xiàn)實(shí)技術(shù)融合了虛擬環(huán)境與真實(shí)環(huán)境，其在交互性與可視化方法方面開辟了一個(gè)嶄新的領(lǐng)域；而虛擬現(xiàn)實(shí)使用虛擬環(huán)境取代了真實(shí)環(huán)境增強(qiáng)現(xiàn)實(shí)是把虛擬的信息立體化，在人的周圍環(huán)境中再現(xiàn)出來，虛實(shí)結(jié)合，能夠達(dá)到以假亂真的地步，完全給人逼真的感覺。在增強(qiáng)現(xiàn)實(shí)環(huán)境中交互是實(shí)時(shí)的。2023/11/2722Lecture1人機(jī)交互的發(fā)展歷史人機(jī)交互一直伴隨著計(jì)算機(jī)的發(fā)展而發(fā)展。人機(jī)交互的發(fā)展過程，也是人適應(yīng)計(jì)算機(jī)到計(jì)算機(jī)不斷地適應(yīng)人的發(fā)展過程。它經(jīng)歷了幾個(gè)階段：1.語言命令交互階段2.圖形用戶界面（GUI）交互階段3.自然和諧的人機(jī)交互階段（現(xiàn)狀）2023/11/2723Lecture1語言命令交互階段計(jì)算機(jī)語言經(jīng)歷了由最初的機(jī)器語言，而后是匯編語言，直至高級(jí)語言的發(fā)展過程。這個(gè)過程也可以看作早期的人機(jī)交互的一個(gè)發(fā)展過程2023/11/2724Lecture1圖形用戶界面交互階段圖形用戶界面（GraphicalUserInterface，GUI）的出現(xiàn)，使人機(jī)交互方式發(fā)生了巨大變化。桌面隱喻、WIMP技術(shù)、直接操縱和”所見即所得（WhatYouSeeIsWhatYouGet，WYSIWYG）”。與命令行界面相比，圖形用戶界面的人機(jī)交互自然性和效率都有較大的提高。圖形用戶界面很大程度上依賴于菜單選擇和交互小組件（Widget）。圖形用戶界面使得初學(xué)者易于使用，但效率并不高另外，圖形用戶界面需要占用較多的屏幕空間，并且難以表達(dá)和支持非空間性的抽象信息的交互2023/11/2725Lecture1自然和諧的人機(jī)交互階段隨著虛擬現(xiàn)實(shí)、移動(dòng)計(jì)算、無處不在計(jì)算等技術(shù)的飛速發(fā)展，自然和諧的人機(jī)交互方式得到了一定的發(fā)展。基于語音、手寫體、姿勢(shì)、視線跟蹤、表情等輸入手段的多通道交互目的是使人能以聲音、動(dòng)作、表情等自然方式進(jìn)行交互操作。2023/11/2726Lecture1人機(jī)界面發(fā)展中最有影響的事件和成果1、1945年美國羅斯?？偨y(tǒng)的科學(xué)顧問VanneverBush(1894-1974)在《大西洋月刊》上發(fā)表的“AsWeMayThink”的著名論文，提出了應(yīng)采用設(shè)備或技術(shù)幫助科學(xué)家來檢索、記錄、分析及傳輸各種信息的明確目標(biāo)和名為“Memex”的一種工作站構(gòu)想，這一目標(biāo)和構(gòu)想影響著過去和當(dāng)今的一大批最著名計(jì)算機(jī)科學(xué)家2023/11/2727Lecture1人機(jī)界面發(fā)展中最有影響的事件和成果(續(xù))2、1963年發(fā)明鼠標(biāo)器的美國斯坦福研究所的D.Engleberg，他預(yù)言鼠標(biāo)器比其他輸入設(shè)備都好，并在超文本系統(tǒng)、導(dǎo)航工具方面會(huì)有杰出的成果。10年后鼠標(biāo)器經(jīng)Xerox研究中心改進(jìn)后，成為影響當(dāng)代計(jì)算機(jī)使用的最重要成果3、1963年美國麻省理工學(xué)院I.Sutherland開創(chuàng)了計(jì)算機(jī)圖形學(xué)的新領(lǐng)域，隨后美國布朗大學(xué)A.VanDam等人組織了SIGGRAPH。I.Sutherland還在1968年開發(fā)了頭盔式顯示器。2023/11/2728Lecture1人機(jī)界面發(fā)展中最有影響的事件和成果(續(xù))4、20世紀(jì)70年代當(dāng)時(shí)在Xerox研究中心的AlanKay發(fā)明了重疊式多窗口系統(tǒng)，并提出了Smalltalk面向?qū)ο蟪绦蛟O(shè)計(jì)等思想。5、1989年TimBerners-Lee在日內(nèi)瓦的CERN用HTML及HTTP開發(fā)了WWW網(wǎng)，隨后出現(xiàn)了各種瀏覽器（網(wǎng)絡(luò)用戶界面），使因特網(wǎng)飛速發(fā)展起來。6、20世紀(jì)90年代美國麻省理工學(xué)院N.Negroponte（他早在30年前就提出了“交談式計(jì)算機(jī)”概念）領(lǐng)導(dǎo)的媒體實(shí)驗(yàn)室在新一代多通道人機(jī)界面方面（包括語音、手勢(shì)、智能體等），做了大量開創(chuàng)性的工作。2023/11/2729Lecture1人機(jī)交互的研究?jī)?nèi)容人機(jī)交互的研究?jī)?nèi)容十分廣泛，涵蓋了建模、設(shè)計(jì)、評(píng)估等理論和方法以及在計(jì)算機(jī)支持的協(xié)同工作、信息搜索與可視化、超媒體與萬維網(wǎng)、普適計(jì)算與增強(qiáng)現(xiàn)實(shí)等方面的交互設(shè)計(jì)技術(shù)，主要包括：人機(jī)交互界面表示模型與設(shè)計(jì)方法（ModelandMethodology）一個(gè)交互界面的好壞，直接影響到軟件開發(fā)的成敗。友好人機(jī)交互界面的開發(fā)離不開好的交互模型與設(shè)計(jì)方法MDD和MDA2023/11/2730Lecture1人機(jī)交互的研究?jī)?nèi)容（續(xù)）多通道交互技術(shù)（Multi-Modal）在多通道交互中，用戶可以使用語音、手勢(shì)、眼神、表情等自然的交互方式與計(jì)算機(jī)系統(tǒng)進(jìn)行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的評(píng)估方法以及多通道信息的融合等。智能用戶界面（IntelligentUserInterface，IUI）智能用戶界面的最終目標(biāo)是使人機(jī)交互和人－人交互一樣自然、方便。上下文感知、眼動(dòng)跟蹤、手勢(shì)識(shí)別、三維輸入、語音識(shí)別、表情識(shí)別、手寫識(shí)別、自然語言理解等都是認(rèn)知與智能用戶界面需要解決的重要問題。2023/11/2731Lecture1人機(jī)交互的研究?jī)?nèi)容（續(xù)）計(jì)算機(jī)支持的協(xié)同工作（ComputerSupportedCooperativeWork--CSCW）“計(jì)算機(jī)支持的協(xié)同工作已成為一個(gè)多學(xué)科交叉的新興的研究領(lǐng)域CSCW是要研究在計(jì)算機(jī)技術(shù)支持的環(huán)境下(CS)，特別是在計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境下，一個(gè)群體如何協(xié)同工作完成一項(xiàng)共同的任務(wù)(CW)。它的目標(biāo)是要設(shè)計(jì)出能支持各種各樣的協(xié)同工作的工具、環(huán)境與應(yīng)用系統(tǒng)2023/11/2732Lecture1人機(jī)交互的研究?jī)?nèi)容（續(xù)）信息搜索與可視化隨著數(shù)據(jù)量和數(shù)據(jù)多樣性的增加，對(duì)信息集合的搜索和可視化日益重要。信息搜索包括：數(shù)據(jù)庫查詢、文本文檔的短語搜索、照片搜索、地圖搜索、圖案或圖標(biāo)的搜索、聲音搜索、視頻搜索和動(dòng)畫搜索等。信息可視化是一種計(jì)算方法，它將符號(hào)形式轉(zhuǎn)化為幾何形式，使研究人員能夠觀察所做的模擬與計(jì)算?？梢暬峁┝艘环N查看原來不可見事物的方法。2023/11/2733Lecture1人機(jī)交互的研究?jī)?nèi)容（續(xù)）超媒體與萬維網(wǎng)超媒體擴(kuò)展了傳統(tǒng)的線性文本，給用戶提供了在多個(gè)相關(guān)內(nèi)容之間跳轉(zhuǎn)的機(jī)會(huì)網(wǎng)頁中可以包含圖形、圖像、聲音以及由Java或虛擬現(xiàn)實(shí)建模語言(VRML)所提供的日益逼真的動(dòng)畫，并且這些網(wǎng)頁可在全世界成千上萬臺(tái)計(jì)算機(jī)服務(wù)器上進(jìn)行傳遞2023/11/2734Lecture1人機(jī)交互的研究?jī)?nèi)容（續(xù)）虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)（VirtualReality&AugmentedReality

）“以人為本”的、自然和諧的人機(jī)交互理論和方法是虛擬現(xiàn)實(shí)的主要研究?jī)?nèi)容之一通過研究視覺、聽覺、觸覺等多通道信息融合的理論和方法、協(xié)同交互技術(shù)以及三維交互技術(shù)等，建立具有高度真實(shí)感的虛擬環(huán)境，使人產(chǎn)生“身臨其境”的感覺。普適計(jì)算（UbiquitousComputing）普適計(jì)算是指通過新一代的設(shè)備根據(jù)需要隨時(shí)隨地方便地訪問相關(guān)信息，并可輕松地對(duì)其進(jìn)行操作普適計(jì)算對(duì)人機(jī)交互技術(shù)提出了更高的要求2023/11/2735Lecture1E-Learning是一種受教育的方式，包括新的溝通機(jī)制和人與人之間的交互作用。這些新的溝通機(jī)制是指：計(jì)算機(jī)網(wǎng)絡(luò)、多媒體、專業(yè)內(nèi)容網(wǎng)站、信息搜索、電子圖書館、遠(yuǎn)程學(xué)習(xí)與網(wǎng)上課堂等通過因特網(wǎng)進(jìn)行的教育及相關(guān)服務(wù)提供了學(xué)習(xí)的隨時(shí)隨地性，從而為終身學(xué)習(xí)提供了可能；學(xué)生在e-Learning中是以一種全新的方式進(jìn)行學(xué)習(xí)將改變教師的作用和師生之間的關(guān)系，從而改變教育的本質(zhì)是提高學(xué)生批判性思維和分析能力的重要途徑

能很好地實(shí)現(xiàn)某些教育目標(biāo)，但不能代替?zhèn)鹘y(tǒng)的課堂教學(xué)不會(huì)取代學(xué)校教育，但會(huì)極大地改變課堂教學(xué)的目的和功能2023/11/2736Lecture1CMU人機(jī)交互研究INTERACT項(xiàng)目包括如下子課題2023/11/2737Lecture1眼動(dòng)跟蹤許多眼動(dòng)跟蹤方法會(huì)對(duì)用戶造成干擾。CMU開發(fā)的面部特征跟蹤方法避免對(duì)用戶的干擾。當(dāng)用戶的臉出現(xiàn)在攝像機(jī)攝錄范圍之內(nèi)，面部特征跟蹤器就能夠自動(dòng)發(fā)覺和跟蹤用戶的眼睛2023/11/2738Lecture1臉部跟蹤C(jī)MU使用皮膚顏色模型、動(dòng)作模型和攝像機(jī)模型開發(fā)的臉部跟蹤器可以在用戶頻繁運(yùn)動(dòng)的情況下跟蹤用戶的臉部，更新速率達(dá)到30幀每秒。右圖是臉部跟蹤器顯示的圖像的拷貝，大框區(qū)域中的內(nèi)容顯示的是研究窗口，小框區(qū)域中的內(nèi)容是定位的用戶的臉部。只有研究窗口中的內(nèi)容會(huì)每幀都更新。

2023/11/2739Lecture1手勢(shì)語音集成手勢(shì)語音集成項(xiàng)目的研究集中在對(duì)多通道輸入信息的聯(lián)合解釋。已經(jīng)開發(fā)了使用多通道用戶界面完成日程安排任務(wù)的程序。典型的用戶操縱情景是：用戶口述：“在星期一安排一個(gè)會(huì)議”，同時(shí)用筆在日歷上劃一條線指示會(huì)議的開始時(shí)間和持續(xù)時(shí)間。

2023/11/2740Lecture1注意焦點(diǎn)模型注意焦點(diǎn)模型項(xiàng)目主要是利用計(jì)算機(jī)圖像技術(shù)開發(fā)能識(shí)別用戶注意力焦點(diǎn)的系統(tǒng)，并且要求該系統(tǒng)不能對(duì)用戶造成干擾。目前已經(jīng)開發(fā)出Attentionfinder系統(tǒng)，它跟據(jù)用戶臉部朝向來識(shí)別用戶的注意焦點(diǎn)。該系統(tǒng)需要一個(gè)由軟件控制的攝像機(jī)。在捕捉用戶注意焦點(diǎn)的過程中系統(tǒng)允許用戶在房間內(nèi)自由的移動(dòng)。2023/11/2741Lecture1多通道交互中的錯(cuò)誤糾正目前自動(dòng)語音識(shí)別的正確率仍然不能讓人滿意，因此需要一定的方法糾正這些識(shí)別錯(cuò)誤。糾錯(cuò)方法可以包括重述、拼寫、手寫等。例如，將seems改為send，將the刪除。2023/11/2742Lecture1讀唇系統(tǒng)讀唇系統(tǒng)可以增強(qiáng)語音識(shí)別系統(tǒng)的識(shí)別率，并且可以應(yīng)用于多人交叉談?wù)摰那樾?。?xiàng)目目標(biāo)是獲得一個(gè)在線讀唇系統(tǒng)。2023/11/2743Lecture1清華大學(xué)的智能教室通過語音識(shí)別才能登陸系統(tǒng)支持面對(duì)面教學(xué)及遠(yuǎn)程教育課件支持動(dòng)態(tài)注釋及語音操縱（如：下一頁，第一頁）遠(yuǎn)程的學(xué)生可以請(qǐng)求發(fā)言有相應(yīng)的課堂現(xiàn)場(chǎng)記錄，幫助課后復(fù)習(xí)

2023/11/2744Lecture1直接操縱和命令選擇相結(jié)合三個(gè)將直接操縱和命令選擇相結(jié)合的技術(shù)Toolglass使用雙手操作controlmenus和FlowMenu使用單手操作用戶連續(xù)的完成連接線段的任務(wù)，在每次連接線段的過程中，需要首先為該線段選擇顏色，然后指定線段的起點(diǎn)和終點(diǎn)，并且本次任務(wù)中線段的終點(diǎn)又是下次任務(wù)中線段的起點(diǎn)2023/11/2745Lecture1四種工具2023/11/2746Lecture1任務(wù)：選擇顏色連接線段2023/11/2747Lecture1實(shí)驗(yàn)設(shè)備

統(tǒng)一的實(shí)驗(yàn)設(shè)備：顯示器，寫字板，筆，鼠標(biāo)2023/11/2748Lecture1快速的文檔導(dǎo)航技術(shù)數(shù)字文檔中最標(biāo)準(zhǔn)的導(dǎo)航方法是使用ScrollbarsThumbnail-EnhancedScrollbars,Rate-basedscrollingSpeed-DependentAutomaticZoomingMultiFlippingTheSpace-FillingThumbnails2023/11/2749Lecture1Scrollbars滾動(dòng)條滾動(dòng)條包括一個(gè)上下箭頭用于文檔的上下翻頁，還包括一個(gè)活動(dòng)的豎桿用于快速移動(dòng)。Thumbnail-EnhancedScrollbars(TES)增加縮影的滾動(dòng)條AdobeReader的縮影面板中默認(rèn)情況下一列顯示10頁文檔。2023/11/2750Lecture1Rate-basedscrolling(RBS)基于速率的滾動(dòng)技術(shù)文檔滾動(dòng)速率由鼠標(biāo)中間鍵的滾動(dòng)速率和鼠標(biāo)在垂直方向的拖動(dòng)速率決定。文檔滾動(dòng)速率與鼠標(biāo)中間鍵的滾動(dòng)速率和鼠標(biāo)在垂直方向的拖動(dòng)速率成線性關(guān)系。Speed-DependentAutomaticZooming(SDAZ)基于速率的自動(dòng)放縮文檔每頁所占的屏幕大小根據(jù)鼠標(biāo)中間鍵的滾動(dòng)速率和鼠標(biāo)在垂直方向的拖動(dòng)速率相應(yīng)的變化，當(dāng)鼠標(biāo)中間鍵的滾動(dòng)速率和鼠標(biāo)在垂直方向的拖動(dòng)速率較大時(shí)，文檔每頁所占的屏幕尺寸較小，反之較大。這樣可以增加用戶快速導(dǎo)航時(shí)每頁文檔在屏幕上的顯示時(shí)間。2023/11/2751Lecture1MultiFlipping充分利用屏幕空間，同時(shí)增加用戶快速導(dǎo)航時(shí)每頁文檔在屏幕上的顯示時(shí)間2023/11/2752Lecture1TheSpace-FillingThumbnails(SFT),區(qū)域填充縮影技術(shù)該技術(shù)允許用戶控制兩個(gè)界面的交替顯示，一個(gè)界面如右圖所示，它縮小顯示文檔所有的頁面，另一個(gè)界面是用戶在某一個(gè)縮小頁面上雙擊后顯示的單個(gè)頁面，同普通的文本編輯界面相同。使用鳥瞰界面避免了大量的滾動(dòng)操作。右圖是顯示了150個(gè)頁面的鳥瞰圖。2023/11/2753Lecture1基于局部表情參數(shù)化的三維表情臉像合成采用MPEG4人臉動(dòng)畫框架，提出了一種基于局部表情參數(shù)化的三維表情臉像合成方法在人臉動(dòng)畫參數(shù)(FAP)的基礎(chǔ)上，定義了局部表情狀態(tài)參數(shù)(PartialExpressionParameter，簡(jiǎn)稱PEP)，建立了PEP與FAP參數(shù)之間的關(guān)聯(lián)規(guī)則。在此基礎(chǔ)上，實(shí)現(xiàn)了一個(gè)三維表情臉像編輯器，利用PEP參數(shù)可以快速編輯合成人臉表情，以適應(yīng)可視語音、對(duì)話系統(tǒng)中人臉表情實(shí)時(shí)變化的需求2023/11/2754Lecture1局部表情狀態(tài)參數(shù)定義表局部區(qū)域

PEP編號(hào)

表情動(dòng)作描述

參數(shù)為正

參數(shù)為負(fù)

眉1.1眉毛上揚(yáng)眉毛下垂1.2眉毛緊皺眉毛舒展1.3眉梢下垂、眉尖上挑眉梢上挑、眉尖下垂眼2.1眼皮張開眼皮閉合2.2眼球向左看眼球向右看2.3眼球向下看眼球向上看唇3.1嘴唇張開嘴唇閉合3.2嘴角向上彎曲嘴角向下彎曲3.3唇向前突(撅嘴)唇向后縮(抿嘴)3.4嘴角左右張開(咧嘴)嘴角左右收縮下頜4.1下巴向下張下巴向上收4.2下巴向左撇下巴向右撇2023/11/2755Lecture1PEP參數(shù)3.2描述嘴唇的彎曲變化PEP在[-1,+1]歸一化區(qū)間的連續(xù)變化，對(duì)應(yīng)了該局部區(qū)域的狀態(tài)變化。PEP的數(shù)值決定了表情的變化幅度。A：狀態(tài)參數(shù)3.2從0到1連續(xù)變化B：狀態(tài)參數(shù)3.2從0到-1連續(xù)變化2023/11/2756Lecture1PEP與FAP的關(guān)聯(lián)規(guī)則關(guān)鍵區(qū)域

PEP編號(hào)

FAP個(gè)數(shù)

關(guān)鍵FAP

關(guān)聯(lián)的FAP參數(shù)

眉1.16F33[F33,F31,F35,F34,F32,F36]122F37[F37,F38]1.36F31[F31,F35,F33,F32,F36,F34]眼2.14F19[F19,F21,F20,F22]2.22F23[F23,F24]2.32F25[F25,F26]唇3.112F5[F5,F10,F11,F52,F57,F58,F4,F8,F9,F51,F55,F56]3.24F12[F12,F13,F59,F60]3.32F16[F16,F17]3.44F6[F6,F7,F53,F54]下頜4.11F3[F3]4.21F15[F15]局部表情參數(shù)3.2合成的局部表情狀態(tài)局部表情參數(shù)1.3合成的局部表情狀態(tài)2023/11/2757Lecture1PEP參數(shù)之間的關(guān)聯(lián)規(guī)則關(guān)聯(lián)關(guān)系

關(guān)聯(lián)區(qū)域

狀態(tài)參數(shù)

關(guān)聯(lián)表情

左右對(duì)稱左眉－右眉1.1-1.1雙眉同時(shí)上揚(yáng)/壓低1.2-1.2雙眉同時(shí)向眉心皺緊/向兩側(cè)舒展1.3-1.3雙眉呈“內(nèi)八字”或“外八字”形狀左眼－右眼2.1-2.1兩眼睜開/閉合2.2-2.2向左看/向右看2.3-2.3向上看/向下看主次動(dòng)作眉－眼1.1-2.1揚(yáng)眉-睜眼/低眉-閉眼眉－眼1.3-2.1眉倒豎-眼睜大/眉低垂-眼微閉眼－眼2.3-2.1向上/下看時(shí)，眼球帶動(dòng)眼皮運(yùn)動(dòng)唇－唇3.3-3.4噘嘴/咧嘴時(shí)嘴角與唇突的關(guān)聯(lián)唇－頜3.1-4.1嘴張開閉合帶動(dòng)下頜骨未關(guān)聯(lián)之前“抬眼”的表情狀態(tài)關(guān)聯(lián)后“抬眼”的表情狀態(tài)(主次動(dòng)作PEP2.3-PEP2.1)2023/11/2758Lecture1合成效果中性喜悅厭惡憤怒悲傷

恐懼

驚喜焦慮2023/11/2759Lecture1運(yùn)動(dòng)神經(jīng)受損的用戶使用軌跡球完成文本輸入使用軌跡球模擬手寫字母時(shí)的筆畫完成字母的輸入(把每個(gè)字母的筆畫都簡(jiǎn)化為一筆完成)，以筆畫代替點(diǎn)擊降低了對(duì)于準(zhǔn)確度的要求。對(duì)于運(yùn)動(dòng)神經(jīng)受損的用戶，使用軌跡球比使用屏幕上的鍵盤速度快2023/11/2760Lecture1軌跡球?qū)δ切┝α枯^小，協(xié)調(diào)能力較差，手腕疼痛及其他運(yùn)動(dòng)神經(jīng)受損的用戶來說，使用軌跡球比使用鼠標(biāo)在桌面上來回移動(dòng)要容易得多。右圖顯示了兩個(gè)軌跡球。2023/11/2761Lecture1運(yùn)動(dòng)神經(jīng)受損的用戶首選使用軌跡球。這些用戶通常也不能使用通用的鍵盤，所以用戶同時(shí)使用軌跡球和屏幕上的鍵盤，使用軌跡球?qū)⒐鈽?biāo)移動(dòng)到目標(biāo)鍵后選取。屏幕上的鍵盤不僅占用屏幕空間而且要求用戶的注意力在文檔和屏幕鍵盤之間切換two-foci-of-attention。軌跡球的另一個(gè)優(yōu)點(diǎn)是：操縱軌跡球所需空間小，它可以嵌入到控制臺(tái)或鍵盤上2023/11/2762Lecture1

單一筆畫每一個(gè)字母的筆畫.使用軌跡球向記事本中輸入字符。2023/11/2763Lecture1平均速度不熟悉軌跡球的普通用戶在45分鐘的練習(xí)后可以達(dá)到每分鐘10個(gè)字的速度，同時(shí)錯(cuò)誤率小于<4%。運(yùn)動(dòng)神經(jīng)受損的用戶時(shí)用軌跡球最高可以達(dá)到每分鐘7.11個(gè)字。運(yùn)動(dòng)神經(jīng)受損的用戶使用屏幕上的鍵盤最高可以達(dá)到每分鐘5.95個(gè)字。2023/11/2764Lecture1寫字板幻燈片允許ppt的頁無限長(zhǎng)可以用筆使用不同的顏色添加備注并設(shè)置某些備注只對(duì)教師可見，對(duì)學(xué)生不可見2023/11/2765Lecture1上課時(shí)教師在自己的屏幕上看到的幻燈片

2023/11/2766Lecture1上課時(shí)學(xué)生在投影屏幕上看到的幻燈片2023/11/2767Lecture1教師使用PowerPoint創(chuàng)建的幻燈片2023/11/2768Lecture1學(xué)生在投影屏幕上看到的幻燈片2023/11/2769Lecture1漢語語音合成系統(tǒng)――SinoSonic2023/11/2770Lecture1SinoSonic系統(tǒng)功能和指標(biāo)SinoSonic能說出你想說的話，只要你把相應(yīng)的文字輸入計(jì)算機(jī)，即實(shí)現(xiàn)了Whathe(she)saysiswhatyouwrite。具體的指標(biāo)有：可讀字、詞、句子、文章及標(biāo)點(diǎn)、數(shù)字、運(yùn)算符和英文字母，語音庫覆蓋國標(biāo)一、二級(jí)所有漢字能輸出男聲或女聲提供豐富的、合理的編程接口，方便用戶進(jìn)行二次開發(fā)語音輸出以句子為單位，按詞匯停頓，能自動(dòng)決定多音字的正確讀音可隨時(shí)改變聲音的幅度（Volume）、基頻（Pitch）、速度（Duration）詞間或句間停頓。讀出時(shí)，可隨時(shí)“暫?！薄盎謴?fù)”“終止”語音.2023/11/2771Lecture1TTS(TextToSpeech)系統(tǒng)應(yīng)用2023/11/2772Lecture1個(gè)人電腦上應(yīng)用通過外掛式播放工具，對(duì)計(jì)算機(jī)屏幕中任意出現(xiàn)的文字進(jìn)行朗讀，如Word、瀏覽器、PDF閱讀器等中出現(xiàn)的文字。2023/11/2773Lecture1網(wǎng)絡(luò)和電信上應(yīng)用--EMAILTOMOBILE

EMAILTOMOBILE就是通過用戶隨身攜帶的手機(jī)，運(yùn)用語音網(wǎng)關(guān)技術(shù)實(shí)時(shí)的“聽取”互聯(lián)網(wǎng)上的電子郵件。每當(dāng)用戶的電子信箱接受到電子郵件時(shí)，系統(tǒng)都會(huì)自動(dòng)播打用戶注冊(cè)的手機(jī)，通知郵件的到達(dá)，用戶可根據(jù)自己的需要，自己確定是否需要“聽取”、恢復(fù)或刪除郵件。這樣的方式使一般人方便了信息獲取，減輕了手機(jī)屏幕小，需要不斷反屏閱讀短信息的麻煩。2023/11/2774Lecture1兒童娛樂城基于三維虛擬場(chǎng)景，開發(fā)面向兒童娛樂的3D界面，為兒童用戶提供虛擬生活環(huán)境，兒童可以在游樂中進(jìn)行學(xué)習(xí)，進(jìn)行全方位的素質(zhì)教育。用一個(gè)統(tǒng)一3D界面管理各類益智資源，為兒童使用這些軟件提供總?cè)肟凇＿@種界面要有卡通氣氛，采用筆交互，操作上要直觀，符合現(xiàn)實(shí)的經(jīng)驗(yàn)兒童娛樂城開發(fā)平臺(tái)研究開發(fā)適應(yīng)兒童智力發(fā)展特點(diǎn)的教育軟件開發(fā)平臺(tái)和示范教育軟件，其中包括音樂室、繪圖室、學(xué)習(xí)室和游戲室等2023/11/2775Lecture12023/11/2776Lecture1繪圖室兒童畫板兒童畫板可用于兒童繪制色彩絢麗、場(chǎng)景逼真的平面圖畫，繪制形象可愛、三維立體的卡通人物或小動(dòng)物等，卡通人物、小動(dòng)物可漫游于場(chǎng)景之中，構(gòu)成一幅美麗的卡通畫面2023/11/2777Lecture1學(xué)習(xí)室的兒童看圖學(xué)字該產(chǎn)品界面設(shè)計(jì)生動(dòng)活潑，操作方式新穎獨(dú)特，使用學(xué)習(xí)方便簡(jiǎn)單，符合兒童娛樂要求，滿足家長(zhǎng)培養(yǎng)教育兒童感知能力、創(chuàng)造能力、形象思維能力的需要，激發(fā)兒童的娛樂和學(xué)習(xí)興趣2023/11/2778Lecture1學(xué)習(xí)室的動(dòng)態(tài)幾何教師或家長(zhǎng)根據(jù)兒童的年齡特點(diǎn)，繪制出一些簡(jiǎn)單的幾何圖形，增加他們對(duì)于幾何的感性認(rèn)識(shí)。此外，可以利用該軟件，讓孩子們了解到圖形之間的相互關(guān)系；可以起到對(duì)孩子的啟迪、益智的作用

2023/11/2779Lecture1音樂室的架子鼓系統(tǒng)讓兒童通過電子筆敲擊屏幕上的鼓進(jìn)行演奏，同時(shí)提供了錄音和存儲(chǔ)作品的功能。采用了實(shí)物界面，不單是鼓的呈現(xiàn)是利用了真實(shí)的鼓的樣子，在進(jìn)行錄音和存儲(chǔ)的時(shí)候?qū)⒋艓в眯蜗蠡癁樘枪?，將錄音機(jī)形象化為小人，小人吃不同的糖果就會(huì)播放出不同的音樂來2023/11/2780Lecture1音樂室的兒童作曲系統(tǒng)——哆徠咪這是筆式簡(jiǎn)譜制作軟件，家長(zhǎng)或教師可以教兒童學(xué)習(xí)手寫簡(jiǎn)譜制作和試唱，在制作簡(jiǎn)譜過程中隨時(shí)播放制作效果，調(diào)整調(diào)式、速度等，操作簡(jiǎn)單，識(shí)別準(zhǔn)確，生動(dòng)有趣2023/11/2781Lecture1游戲室的拼圖通過筆完成各個(gè)圖形塊的移動(dòng)和拼湊，家長(zhǎng)和老師可以教孩子們?nèi)我馄闯鏊麄兯矚g的形狀，操作簡(jiǎn)單，識(shí)別準(zhǔn)確，生動(dòng)有趣2023/11/2782Lecture1游戲室的七巧板它源于我國古代的一種拼板玩具，可用筆把正方形薄板分為7塊，其中包括5塊大小不等的三角形，l塊正方形和1塊不等四邊形。然后用七巧板拼排出變化多端的圖形，玩的時(shí)候可以打破定勢(shì)，轉(zhuǎn)換思維，展開想像，是較好的一類兒童益智軟件2023/11/2783Lecture1使用魚眼技術(shù)實(shí)現(xiàn)大型菜單Fisheye是顯示大列表的有效技術(shù)，處于焦點(diǎn)focus附近的數(shù)據(jù)正常顯示未處于焦點(diǎn)的數(shù)據(jù)縮小顯示作為context避免了使用上下箭頭、滾動(dòng)條和層次結(jié)構(gòu)等技術(shù)帶來的額外操作。2023/11/2784Lecture1ArrowBar使用上下箭頭控制顯示內(nèi)容。

2023/11/2785Lecture1ScrollBar使用右側(cè)的滾動(dòng)條控制顯示內(nèi)容2023/11/2786Lecture1Hierarchy使用層次結(jié)構(gòu)控制顯示內(nèi)容。2023/11/2787Lecture1Fisheye使用魚眼技術(shù)控制顯示內(nèi)容。2023/11/2788Lecture1系統(tǒng)工程的目標(biāo)適當(dāng)?shù)墓δ苋蝿?wù)分析至關(guān)重要，功能不完善，界面設(shè)計(jì)再好也沒有用功能過多很危險(xiǎn)，所帶來的混亂和復(fù)雜性給系統(tǒng)的實(shí)現(xiàn)、維護(hù)、學(xué)習(xí)和使用帶來很大困難可靠性、可用性、安全性和數(shù)據(jù)完整性標(biāo)準(zhǔn)化、集成化、移植性和可移植性標(biāo)準(zhǔn)化是指在不同應(yīng)用程序中共同的用戶界面特點(diǎn)一致性主要是指應(yīng)用程序中的通用操作序列、術(shù)語、組件、布局、顏色、排版樣式等的統(tǒng)一可移植性是指在多個(gè)軟硬件環(huán)境中轉(zhuǎn)換數(shù)據(jù)和共享用戶界面的潛在能力進(jìn)度和預(yù)算2023/11/2789Lecture1用戶界面設(shè)計(jì)目標(biāo)學(xué)習(xí)時(shí)間執(zhí)行速度用戶的出錯(cuò)率記憶保持能力主觀滿意度2023/11/2790Lecture1設(shè)計(jì)方案的人性因素動(dòng)機(jī)關(guān)鍵系統(tǒng)控制空中交通、核反映堆等，價(jià)格昂貴，高可用性和高可靠性，嚴(yán)格的培訓(xùn)和學(xué)習(xí)，用戶滿意度不再是重要問題工商業(yè)系統(tǒng)成本是重要問題，可靠性一般，易用性很重要，用戶滿意度適當(dāng)考慮辦公、教廷和娛樂應(yīng)用易學(xué)習(xí)、出錯(cuò)率低和個(gè)人滿意度非常重要探索性、創(chuàng)造性和協(xié)同性系統(tǒng)用戶有行業(yè)經(jīng)驗(yàn)，但缺乏計(jì)算機(jī)支持，最好感覺不到界面的存在2023/11/2791Lecture1適應(yīng)人的多樣性人體能力與工作環(huán)境適應(yīng)不同用戶的感覺、認(rèn)知和運(yùn)動(dòng)能力工作環(huán)境的設(shè)計(jì)對(duì)保證工作滿意度、高效率和低出錯(cuò)率很重要認(rèn)知能力和感知能力認(rèn)知過程短時(shí)記憶、長(zhǎng)時(shí)記憶和學(xué)習(xí)、問題求解、決策、關(guān)注與設(shè)定、查找與搜索、時(shí)間感知影響感覺和運(yùn)動(dòng)能力的因素應(yīng)急性和警惕性、疲勞、感覺負(fù)擔(dān)、對(duì)結(jié)果的了解、單調(diào)和厭倦、感官的喪失、失眠、焦慮和恐懼、孤獨(dú)、衰老、藥品和酒精、生理節(jié)奏2023/11/2792Lecture1適應(yīng)人的多樣性個(gè)性差異外向型和內(nèi)向型外向型傾向于外部的刺激、喜歡變化和運(yùn)動(dòng)；內(nèi)向型傾向于熟悉的模式，依賴自己內(nèi)心的想法，喜歡獨(dú)自工作敏感型和直覺型敏感型樂于建立規(guī)范，擅長(zhǎng)做嚴(yán)謹(jǐn)工作，喜歡使用已知的經(jīng)驗(yàn)直覺型喜歡解決問題，發(fā)現(xiàn)新事務(wù)，但不喜歡做嚴(yán)謹(jǐn)?shù)墓ぷ?023/11/2793Lecture1適應(yīng)人的多樣性個(gè)性差異感覺型和判斷型感覺型喜歡了解新的情況，但不善于做決定判斷型喜歡做細(xì)致的計(jì)劃，但即使出現(xiàn)新情況使目標(biāo)發(fā)生改變還是照著原計(jì)劃去做情感型和理智型情感型知道其他人的感覺，想辦法讓別人高興，跟大多數(shù)人保持良好關(guān)系理智型不容易動(dòng)感性，可以客觀地看待別人，喜歡按邏輯辦事2023/11/2794Lecture1文化多元性與種族差異用戶界面設(shè)計(jì)的國際化字符、數(shù)字、特殊符號(hào)和音標(biāo)輸入和閱讀的方式：從左到右，從右到左或從上到下日期和時(shí)間格式數(shù)字和貨幣格式重量和尺寸電話號(hào)碼和地址名字和稱謂社會(huì)保險(xiǎn)號(hào)、國家代碼、護(hù)照號(hào)大寫字母開頭和標(biāo)點(diǎn)符號(hào)排列的順序圖標(biāo)、按鈕、顏色復(fù)數(shù)形式、語法、拼寫規(guī)則、方針、聲調(diào)、理解、隱喻2023/11/2795Lecture1適應(yīng)人的多樣性殘疾人用戶老年用戶2023/11/2796Lecture1人機(jī)交互技術(shù)的發(fā)展趨勢(shì)在未來的計(jì)算機(jī)系統(tǒng)中，將更加強(qiáng)調(diào)“以人為本”、“自然、和諧”的交互方式，以實(shí)現(xiàn)人機(jī)高效合作集成化網(wǎng)絡(luò)化智能化標(biāo)準(zhǔn)化2023/11/2797Lecture1集成化人機(jī)交互將呈現(xiàn)出多樣化、多通道交互的特點(diǎn)桌面和非桌面界面，可見和不可見界面，二維與三維輸入，直接與間接操縱，輸入與輸出、語音、手勢(shì)、表情、眼動(dòng)、唇動(dòng)、頭動(dòng)、肢體姿勢(shì)、觸覺、嗅覺、味覺以及鍵盤、鼠標(biāo)等交互手段將集成在一起2023/11/2798Lecture1網(wǎng)絡(luò)化無線互聯(lián)網(wǎng)、移動(dòng)通信網(wǎng)的快速發(fā)展，對(duì)人機(jī)交互技術(shù)提出了更高的要求。新一代的人機(jī)交互技術(shù)需要考慮在不同設(shè)備、不同網(wǎng)絡(luò)、不同平臺(tái)之間的無縫過渡和擴(kuò)展，支持人們通過跨地域的網(wǎng)絡(luò)（有線與無線、電信網(wǎng)與互聯(lián)網(wǎng)等）在世界上任何地方用多種簡(jiǎn)單的自然方式進(jìn)行人機(jī)交互，而且包括支持多個(gè)用戶之間以協(xié)作的方式進(jìn)行交互2023/11/2799Lecture1智能化目前，用戶使用鍵盤和鼠標(biāo)等設(shè)備進(jìn)行的交互輸入都是精確的輸入，但人們的動(dòng)作或思想等往往并不很精確，人類語言本身也具有高度模糊性，人們?cè)谏钪谐３Ａ?xí)慣于使用大量的非精確的信息交流。在人機(jī)交互中，使計(jì)算機(jī)更好地自動(dòng)捕捉人的姿態(tài)、手勢(shì)、語音和上下文等信息，了解人的意圖，并做出合適的反饋或動(dòng)作，提高交互活動(dòng)的自然性和高效性，使人－機(jī)之間的交互像人－人交互一樣自然、方便2023/11/27100Lecture1標(biāo)準(zhǔn)化在人機(jī)交互領(lǐng)域，ISO已正式發(fā)布了許多的國際標(biāo)準(zhǔn)，以指導(dǎo)產(chǎn)品設(shè)計(jì)、測(cè)試和可用性評(píng)估等。但人機(jī)交互標(biāo)準(zhǔn)的設(shè)定是一項(xiàng)長(zhǎng)期而艱巨的任務(wù)，并隨著社會(huì)需求的變化而不斷變化。2023/11/27101Lecture1國家863計(jì)劃人機(jī)交互技術(shù)主題－探索導(dǎo)向基于人類感知和認(rèn)知機(jī)理的智能信息處理技術(shù)感知計(jì)算模型，圖像語義理解技術(shù)，基于人類感知和認(rèn)知機(jī)理的機(jī)器學(xué)習(xí)、模式識(shí)別、多源感知融合等新型人機(jī)交互模式及技術(shù)新型人機(jī)交互模式與多通道人機(jī)交互技術(shù)，生物特征識(shí)別新方法，基于注意機(jī)制的人機(jī)交互新模型，腦/機(jī)接口等以中文為核心的多語言智能處理新技術(shù)語音識(shí)別與語音合成技術(shù)，文字與符號(hào)識(shí)別技術(shù)，機(jī)器翻譯技術(shù)，語料處理技術(shù)與語言處理的評(píng)估技術(shù)，跨語言信息檢索技術(shù)，新一代基于語義的搜索技術(shù)等面向網(wǎng)絡(luò)計(jì)算的軟件新技術(shù)面向用戶的需求工程、領(lǐng)域工程和編程模型，模型驅(qū)動(dòng)的智能化軟件技術(shù)，新的軟件構(gòu)件技術(shù)，可信服務(wù)軟件技術(shù)，軟件代理與多模式協(xié)同技術(shù)等。2023/11/27102Lecture1國家863計(jì)劃人機(jī)交互技術(shù)主題－目標(biāo)導(dǎo)向基于視覺感知與認(rèn)知機(jī)理的圖像分析與識(shí)別系統(tǒng)研究目標(biāo)：突破基于人類視覺感知與認(rèn)知機(jī)理的圖像處理模型、關(guān)鍵技術(shù)和算法，建立個(gè)性化、高準(zhǔn)確度的圖像分析與識(shí)別系統(tǒng)主要研究?jī)?nèi)容：分層交互的統(tǒng)計(jì)視覺計(jì)算模型與推理，基于感知整合機(jī)制的視覺模式識(shí)別技術(shù)，具有選擇性注意機(jī)制的視覺信息搜索與多目標(biāo)跟蹤模型主要指標(biāo)：分層交互的立體視覺匹配算法綜合性能進(jìn)入世界前列，提供一定規(guī)模的具有13個(gè)視點(diǎn)以上的人臉圖象數(shù)據(jù)庫，系統(tǒng)具有可重構(gòu)性，針對(duì)不同視覺任務(wù)靈活配置2023/11/27103Lecture1國家863計(jì)劃人機(jī)交互技術(shù)主題－目標(biāo)導(dǎo)向復(fù)雜應(yīng)用環(huán)境下的生物特征識(shí)別系統(tǒng)研究目標(biāo)：突破安全便捷的、高可靠性的多生物特征獲取及識(shí)別算法，建立面向典型應(yīng)用的生物特征識(shí)別與認(rèn)證原型系統(tǒng)主要研究?jī)?nèi)容：臉相、虹膜、掌紋等多生物特征獲取技術(shù)，大規(guī)模生物特征庫的分類和檢索，具有魯棒性的生物特征識(shí)別關(guān)鍵技術(shù)，面向?qū)嶋H應(yīng)用需求的多種生物特征的融合技術(shù)等主要指標(biāo)：研制臉相、虹膜、掌紋等生物特征獲取設(shè)備樣機(jī)，以及大規(guī)模臉相、虹膜和掌紋庫的分類和檢索系統(tǒng)，錯(cuò)誤接收率為百萬分之一條件下錯(cuò)誤拒絕率小于3%，等錯(cuò)誤率小于1/10002023/11/27104Lecture1國家863計(jì)劃人機(jī)交互技術(shù)主題－目標(biāo)導(dǎo)向面向網(wǎng)絡(luò)應(yīng)用環(huán)境的自然人機(jī)/人際語音系統(tǒng)研究目標(biāo)：研究基于自然口語的人機(jī)對(duì)話技術(shù)和特定領(lǐng)域的口語翻譯技術(shù)，建立網(wǎng)絡(luò)應(yīng)用環(huán)境下的自然人機(jī)對(duì)話系統(tǒng)和雙語語音翻譯系統(tǒng)，探索語音應(yīng)用新模式主要研究?jī)?nèi)容：自然口語語音識(shí)別、理解和翻譯技術(shù)，面向應(yīng)用的自然人機(jī)對(duì)話模型與管理技術(shù)，個(gè)性化目標(biāo)語音合成，人機(jī)對(duì)話和語音互譯的系統(tǒng)集成技術(shù)等主要指標(biāo)：面向領(lǐng)域自然口語人機(jī)對(duì)話響應(yīng)準(zhǔn)確率達(dá)到90%，語音合成MOS得分超過4.5，支持中-英、中-日互譯，支持多種實(shí)時(shí)翻譯模式，在限定應(yīng)用場(chǎng)景下的語音翻譯BLEU達(dá)到0.35，支持企業(yè)級(jí)和電信級(jí)的大用戶量的并發(fā)使用2023/11/27105Lecture1國家863計(jì)劃人機(jī)交互技術(shù)主題－目標(biāo)導(dǎo)向智能化中文搜索引擎研究目標(biāo)：研究基于語義的內(nèi)容搜索技術(shù)，建立智能化中文搜索基礎(chǔ)平臺(tái)主要研究?jī)?nèi)容：基于語義的自然語言處理技術(shù)，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)，用戶空間與文檔空間的個(gè)性化屬性挖掘，圖像、音視頻等多媒體搜索關(guān)鍵技術(shù)等主要指標(biāo)：支持自然語言查詢，支持基于實(shí)例的圖像、音視頻等相似性查詢2023/11/27106Lecture1國家863計(jì)劃人機(jī)交互技術(shù)主題－目標(biāo)導(dǎo)向面向普適計(jì)算的自適應(yīng)軟件集成環(huán)境研究目標(biāo)：建立面向普適計(jì)算的自適應(yīng)軟件集成體系結(jié)構(gòu)，突破自適應(yīng)軟件容器、輕量級(jí)實(shí)時(shí)容錯(cuò)管理等關(guān)鍵技術(shù)，建立一定規(guī)模的普適計(jì)算實(shí)驗(yàn)床和軟件集成環(huán)境，以及演示驗(yàn)證應(yīng)用。主要研究?jī)?nèi)容：基于反射機(jī)制的自適應(yīng)軟件體系結(jié)構(gòu)，可靈活配置的自適應(yīng)的軟件容器技術(shù)，輕量級(jí)實(shí)時(shí)容錯(cuò)技術(shù)，事件管理、上下文管理、位置管理等支持普適計(jì)算的基礎(chǔ)服務(wù)，面向領(lǐng)域的普適計(jì)算應(yīng)用集成框架等。主要指標(biāo)：提出基于反射機(jī)制的自適應(yīng)軟件體系結(jié)構(gòu)和應(yīng)用集成框架技術(shù)規(guī)范，建立具有一定代表性的普適計(jì)算實(shí)驗(yàn)床及其軟件集成平臺(tái)，至少包括兩種不同嵌入式的操作系統(tǒng)，兩種不同的通訊協(xié)議和三類傳感器，建立至少兩個(gè)演示驗(yàn)證應(yīng)用。2023/11/27107Lecture1國家863計(jì)劃虛擬現(xiàn)實(shí)技術(shù)主題－探索導(dǎo)向虛擬現(xiàn)實(shí)建模與表現(xiàn)技術(shù)多種媒體融合、光照合成和虛實(shí)結(jié)合等新技術(shù)；大規(guī)模復(fù)雜場(chǎng)景快速建模與實(shí)時(shí)繪制新技術(shù)；虛擬對(duì)象情感與行為特性建模表現(xiàn)技術(shù)；醫(yī)學(xué)醫(yī)療、文化教育、工業(yè)制造、社會(huì)活動(dòng)等領(lǐng)域中特殊環(huán)境和行為過程建模表現(xiàn)的新技術(shù)和新方法等數(shù)字媒體內(nèi)容制作技術(shù)文字、圖像、音視頻信息數(shù)字化處理與合成的新技術(shù)；電影/動(dòng)漫特效制作和數(shù)字影音內(nèi)容制作的新技術(shù)；游戲、動(dòng)漫等媒體內(nèi)容網(wǎng)絡(luò)化協(xié)同創(chuàng)作技術(shù)；支持?jǐn)?shù)字媒體內(nèi)容制作的圖形圖像處理新技術(shù)等。2023/11/27108Lecture1國家863計(jì)劃虛擬現(xiàn)實(shí)技術(shù)主題－探索導(dǎo)向數(shù)字媒體處理與服務(wù)技術(shù)數(shù)字媒體內(nèi)容集成與分發(fā)的關(guān)鍵技術(shù)；數(shù)字媒體海量信息管理與基于內(nèi)容檢索的關(guān)鍵技術(shù)；提升數(shù)字媒體制作效率或精度的CG新技術(shù)；視音頻編解碼新技術(shù)等。支持人機(jī)交互的顯示技術(shù)視覺、聽覺、觸覺等感知信息處理和顯示技術(shù)；虛擬環(huán)境中的多通道交互信息融合與顯示技術(shù)；可伸縮的高分辨率投影顯示技術(shù)；沉浸感的新型顯示方法與技術(shù)等。分布式虛擬現(xiàn)實(shí)與數(shù)字媒體技術(shù)分布式大規(guī)模虛擬環(huán)境構(gòu)建與時(shí)空管理技術(shù)；支持分布式大規(guī)模虛擬仿真應(yīng)用的并行計(jì)算技術(shù)；分布式應(yīng)用環(huán)境中多用戶遠(yuǎn)程協(xié)同交互技術(shù)等。2023/11/27109Lecture1國家863計(jì)劃虛擬現(xiàn)實(shí)技術(shù)主題－目標(biāo)導(dǎo)向虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)集成開發(fā)環(huán)境研究目標(biāo)：構(gòu)建由工具和平臺(tái)組成的，能夠支持虛擬現(xiàn)實(shí)技術(shù)研究、應(yīng)用系統(tǒng)開發(fā)和效能分析評(píng)價(jià)的綜合集成環(huán)境。主要研究?jī)?nèi)容：虛擬環(huán)境和對(duì)象高效建模的新型技術(shù)，虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)、測(cè)試、發(fā)布和體驗(yàn)的關(guān)鍵技術(shù)，虛擬現(xiàn)實(shí)系統(tǒng)效能的驗(yàn)證與評(píng)判技術(shù)，千兆級(jí)復(fù)雜度的虛擬環(huán)境驅(qū)動(dòng)引擎技術(shù)，支持虛擬現(xiàn)實(shí)相關(guān)技術(shù)研究的分布計(jì)算環(huán)境。主要指標(biāo)：能夠支持具有千兆級(jí)復(fù)雜度虛擬場(chǎng)景的建構(gòu)與實(shí)時(shí)繪制，具有跨域的分布處理功能且能夠支持大規(guī)模分布結(jié)點(diǎn)動(dòng)態(tài)加入，主要的工具和平臺(tái)技術(shù)具有自主性和先進(jìn)性2023/11/27110Lecture1國家863計(jì)劃虛擬現(xiàn)實(shí)技術(shù)主題－目標(biāo)導(dǎo)向支持?jǐn)?shù)字媒體內(nèi)容創(chuàng)作的集成環(huán)境研究目標(biāo)：構(gòu)建能夠支持動(dòng)漫、游戲、數(shù)字影視等數(shù)字媒體產(chǎn)品開發(fā)的創(chuàng)作工具集和通用引擎。主要研究?jī)?nèi)容：支持大規(guī)模網(wǎng)絡(luò)協(xié)作式內(nèi)容創(chuàng)作的關(guān)鍵技術(shù)，網(wǎng)絡(luò)游戲通用引擎開發(fā)的關(guān)鍵技術(shù)，高效的對(duì)象造型與非線性編輯技術(shù)；支持多種媒體融合的建模技術(shù)與創(chuàng)作工具，高效的數(shù)字媒體渲染服務(wù)新技術(shù)。主要指標(biāo)：能夠支持網(wǎng)絡(luò)化資源的有機(jī)整合和共享運(yùn)行，支持的媒體應(yīng)包括數(shù)字內(nèi)容素材、音視頻作品及最終產(chǎn)品等多種類型，通用引擎能夠靈活支持用戶插件的即插即用，同時(shí)達(dá)到每秒不少于24幀的幀率，主要的工具和平臺(tái)技術(shù)具有自主性和先進(jìn)性。2023/11/27111Lecture1國家863計(jì)劃虛擬現(xiàn)實(shí)技術(shù)主題－目標(biāo)導(dǎo)向支持大型公共設(shè)施安全問題研究的系統(tǒng)原型研究目標(biāo)：建構(gòu)能支持對(duì)大型公共建筑或重要公共基礎(chǔ)設(shè)施危機(jī)處置預(yù)案進(jìn)行研究與評(píng)估的系統(tǒng)原型。主要研究?jī)?nèi)容：復(fù)雜場(chǎng)景和大規(guī)模實(shí)體建模技術(shù)，安全危機(jī)過程的建模、控制和可視化體驗(yàn)技術(shù)，安全危機(jī)處置預(yù)案可視化編輯和分析決策支持技術(shù)，安全危機(jī)處置效果的分析驗(yàn)證技術(shù)。主要指標(biāo)：虛擬場(chǎng)景中的實(shí)體規(guī)模數(shù)應(yīng)大于五萬個(gè)、環(huán)境規(guī)模應(yīng)大于100平方公里或建筑面積大于10萬平方米；實(shí)現(xiàn)的虛擬環(huán)境能夠隨現(xiàn)實(shí)世界的自然變化過程而實(shí)時(shí)生成新的環(huán)境。2023/11/27112Lecture1國家863計(jì)劃虛擬現(xiàn)實(shí)技術(shù)主題－目標(biāo)導(dǎo)向支持大規(guī)模綜合訓(xùn)練的集成環(huán)境研究目標(biāo)：構(gòu)建能夠支持重大問題決策分析的，集大規(guī)模人員、裝備及相關(guān)環(huán)境設(shè)施為一體的綜合訓(xùn)練集成環(huán)境