虛擬現(xiàn)實(shí)中人機(jī)交互技術(shù)進(jìn)展

虛擬現(xiàn)實(shí)中人機(jī)交互技術(shù)進(jìn)展

潘志庚杭州師范大學(xué)數(shù)字媒體與人機(jī)交互研究中心

電話子郵件:ZGPAN@CAD.ZJU.EDUxQQ:“秀水清山”:443922077 微信:圖行天下(443922077)MSN:zhigengpan@gmailx微博:圖行天下(2370191992)"教授難當(dāng)還要當(dāng)"博客:/u/1250780752

自我介紹關(guān)于自己貌不若潘安，而志存高遠(yuǎn)夢(mèng)成華羅庚才可比張薔，且明心靜性不似柯以敏關(guān)于數(shù)字媒體與人機(jī)交互研究中心

研究?jī)?nèi)容：圖形圖像聲音動(dòng)畫(huà)幾何信號(hào)都能處理媒體娛樂(lè)光照特征文化信息皆可計(jì)算中心定位：研究與應(yīng)用并重，創(chuàng)新和轉(zhuǎn)化優(yōu)先2一虛擬現(xiàn)實(shí)與人機(jī)交互生活虛擬化，談天說(shuō)地真假難分酷似現(xiàn)實(shí)生活交互人性化，指手劃腳聲情并茂盡在虛擬環(huán)境

注解：真假難分（VR）、指手劃腳聲情并茂（HCI）城市規(guī)劃(西游記樂(lè)園)培訓(xùn)和教育（ELVIS項(xiàng)目）游戲和娛樂(lè)虛擬商店和虛擬產(chǎn)品展示虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)虛擬體育仿真虛擬旅游和虛擬劇場(chǎng)數(shù)字文化遺產(chǎn)電子試衣

虛擬現(xiàn)實(shí)的應(yīng)用5典型案例

1）數(shù)字奧運(yùn)博物館*數(shù)據(jù)采集*模型構(gòu)造*動(dòng)畫(huà)生成*交互式漫游*寓教于樂(lè)62）航海模擬系統(tǒng)獲獎(jiǎng):國(guó)家科學(xué)技術(shù)進(jìn)步二等獎(jiǎng)(2008)

完成人:金一丞,尹勇,潘志庚,任鴻翔等10人3）漫游京杭大運(yùn)河運(yùn)河概況：運(yùn)河的形成和開(kāi)鑿歷史，相關(guān)科學(xué)知識(shí)沿線風(fēng)景：運(yùn)河沿線的風(fēng)土人情，歷史典故，名勝古跡漫游體驗(yàn)：漕運(yùn)模擬和體驗(yàn)；船閘系統(tǒng)模擬和體驗(yàn)；運(yùn)河上的虛擬駕駛；全景圖漫游體驗(yàn)。

基于照片的動(dòng)畫(huà)演示4）網(wǎng)上上海世博會(huì)獲獎(jiǎng):上海市科學(xué)技術(shù)進(jìn)步一等獎(jiǎng)(2011)

完成單位:上海世博局,浙江大學(xué)等單位一、立項(xiàng)依據(jù)(2)

頭交互

腿部交互表情交互手交互任天堂Wii2006年11月2010年6月微軟Kinect2013年2月LeapMotion2013年初MYO臂環(huán)MITSpaceTop3D2012年10月體感交互(一)虛擬環(huán)境中的人機(jī)交互（1）交互的手段

身體部件（人體，手[指點(diǎn)]，腳，頭，眼球，表情/情感，姿勢(shì)）耳朵[聽(tīng)覺(jué)，一般聲音/空間聲]，手

交互設(shè)備三維鼠標(biāo)，筆，觸覺(jué)設(shè)備

（2）交互的種類

*二維/三維人機(jī)交互*可觸摸式/非可觸摸式交互*自然/非自然交互

虛擬生物實(shí)驗(yàn)室

虛擬生物實(shí)驗(yàn)室（我們的例子==》）

基于標(biāo)記的交互

我們的實(shí)例系統(tǒng)

*虛擬保齡球游藝機(jī)*虛擬乒乓球球*虛擬網(wǎng)球系統(tǒng)*虛擬網(wǎng)絡(luò)馬拉松實(shí)例系統(tǒng)*虛擬網(wǎng)絡(luò)馬拉松[浙江大學(xué)+南京大學(xué)+國(guó)家體科所](二)基于手勢(shì)的自然交互2.1“點(diǎn)-線-面”交互模式2.2實(shí)時(shí)多線索手勢(shì)跟蹤

互動(dòng)清明上河圖演示

指尖位置手指方向手掌平面簡(jiǎn)單手勢(shì)

[環(huán)境配置

]2.1“點(diǎn)-線-面”交互模式

Demo交互圖例(1)3DWriting

ARChess

Rotationcontrol

Orientation19Application：游戲

交互圖例(2)Application：Control3DPlane20演示demo21(三)智能人機(jī)交互

（1）智能人機(jī)交互需求*自動(dòng)識(shí)別用戶的動(dòng)作和位置*使用自然的交互方式*推斷用戶的交互意圖

（2）如何實(shí)現(xiàn)智能性

*注冊(cè)問(wèn)題:無(wú)標(biāo)記注冊(cè)*識(shí)別人的常用動(dòng)作*深度檢測(cè)/位置感知(結(jié)合3D相機(jī))*意圖分析:對(duì)交互者的行為和意圖進(jìn)行理解(基于語(yǔ)義的場(chǎng)景建模)

22（3）基于AVATAR的交互*虛擬化身（AVATAR）*AVATAR的個(gè)性化*AVATAR的表情和姿勢(shì)*多個(gè)AVATAR的交互（5）智能交互和導(dǎo)航的例子

1）虛擬商場(chǎng)EasyMall智能導(dǎo)購(gòu)：對(duì)以下信息進(jìn)行分析推理（簡(jiǎn)單的DATAMINING）：*用戶注冊(cè)信息*以往的購(gòu)買數(shù)據(jù)庫(kù)*購(gòu)買行為2）數(shù)字奧運(yùn)博物館/網(wǎng)上世博會(huì)*基于語(yǔ)義的場(chǎng)景建模*智能導(dǎo)航：**利用場(chǎng)景的語(yǔ)義**以往的瀏覽行為**用戶的位置/逗留時(shí)間

附錄:受資助的相關(guān)項(xiàng)目國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目，“遠(yuǎn)程沉浸式虛擬奧運(yùn)博物館關(guān)鍵技術(shù)”(60533080)，2006-2009國(guó)家科技支撐計(jì)劃子項(xiàng),《漫游運(yùn)河》科學(xué)體驗(yàn)區(qū)建設(shè),2006-2007上海市科委世博項(xiàng)目“虛擬環(huán)境中智能交互和導(dǎo)航技術(shù)研究”，（08dz0580208），2008-2009歐盟科技合作項(xiàng)目，“基于虛擬人物的電子學(xué)習(xí)環(huán)境”(ASI/B7-301/97/0126-84)，2003-2004INTEL大學(xué)合作項(xiàng)目，“基于視覺(jué)的3D人機(jī)交互和虛擬人技術(shù)”，2008-2009

科技部科技支撐計(jì)劃（世博）“網(wǎng)上世博會(huì)的關(guān)鍵技術(shù)研究，2009-2010863高科技重點(diǎn)項(xiàng)目，“數(shù)字礦山關(guān)鍵技術(shù)”，2009-2011國(guó)家自然科學(xué)基金項(xiàng)目，“虛擬環(huán)境中的3D交互技術(shù)研究”，2012-2015企事業(yè)單位委托科技項(xiàng)目,《竇娥冤》增強(qiáng)現(xiàn)實(shí)系統(tǒng),2007-2009

學(xué)術(shù)廣告：期刊/會(huì)議信息期刊：（1）InternationalJournalofVR（）（2）TransactionsonEdutainment(Springer)相關(guān)會(huì)議：(3)全國(guó)第九屆數(shù)字博物館與文化遺產(chǎn)數(shù)字化會(huì)議(杭州,2013年9月6-8日)(4)ACMSIGGRAPHVRCAI2013（2012年11月，香港）(5)數(shù)字媒體與動(dòng)畫(huà)游戲高級(jí)研討班（2013年9月6-10日，Hangzhou）

招聘廣告：人員需求信息*招聘虛擬現(xiàn)實(shí)/數(shù)字媒體/人機(jī)交互/仿真/電子/自動(dòng)化等方面的博士或副教授職稱以上人才（海外優(yōu)先）*待遇（目前國(guó)內(nèi)高校最優(yōu)厚）

人才類型項(xiàng)目費(fèi)（萬(wàn)）安家費(fèi)（萬(wàn)）年薪（萬(wàn)）

高端 院士/國(guó)家千人計(jì)劃級(jí)300-500500-800>50

人才

長(zhǎng)江/杰青/中科院百人級(jí)150-360300-500>40

（以上二類人才可申請(qǐng)2000-5000萬(wàn)的平臺(tái)建設(shè)費(fèi)【攀登工程，上不封頂】）

---------------------------------------------------------------------------------------------

高層次錢江教授（省級(jí)特聘）150156>20

人才

學(xué)科帶頭人6085

學(xué)術(shù)帶頭人3054

優(yōu)秀博士（博士后）1533

博士（博士后）5