基于Web的分布式虛擬環(huán)境中的智能虛擬人研究

CVRV2002

基于Web的分布式虛擬環(huán)境中的智能虛擬人研究

導(dǎo)師 張申生教授博士生 戴開宇第一頁(yè)，共二十九頁(yè)。論文摘要

在分布式虛擬環(huán)境中建立具有智能行為的虛擬人有著重要的意義。本文分析了分布式虛擬環(huán)境對(duì)智能虛擬人行為的要求。提出了一個(gè)虛擬人的體系結(jié)構(gòu)。著重分析了其在動(dòng)態(tài)環(huán)境下面向目標(biāo)的行為選擇和實(shí)現(xiàn)方法，并給出其形式化描述。最后給出了基于VRML的參數(shù)化人物動(dòng)作生成方法。我們應(yīng)用該體系構(gòu)造了一個(gè)基于Web的虛擬城市的導(dǎo)游人物，取得了很好的效果。第二頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境(1)虛擬現(xiàn)實(shí)概念

以模擬方式為使用者創(chuàng)造一個(gè)實(shí)時(shí)反映實(shí)體對(duì)象變化與相互作用的三維圖像世界,在視、聽、觸、嗅等感知行為的逼真體驗(yàn)中,使參與者可以直接參與和探索虛擬對(duì)象在所處環(huán)境中的作用和變化，產(chǎn)生沉浸感

虛擬現(xiàn)實(shí)應(yīng)有的特征（三I)沉浸感（Immersion）:能給人們以真實(shí)世界的感覺，讓人感覺全方位地沉浸在這個(gè)虛幻的世界中。交互性（Interaction）:虛擬現(xiàn)實(shí)與通常CAD系統(tǒng)所產(chǎn)生的模型是不一樣的，它不是一個(gè)靜態(tài)的世界，而是可以對(duì)使用者的輸入作出反應(yīng)。虛擬現(xiàn)實(shí)環(huán)境可以通過(guò)控制與監(jiān)視裝置影響或被使用者影響。想象（Imagination）:它的應(yīng)用能解決在工程、醫(yī)學(xué)、軍事等方面的一些問(wèn)題,這些應(yīng)用是ＶＲ與設(shè)計(jì)者并行操作,為發(fā)揮它們的創(chuàng)造性而設(shè)計(jì)的,這極大地依賴于人類的想象力。第三頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境(2)分布式虛擬環(huán)境（DistributedVirtualEnvironment)

利用計(jì)算機(jī)構(gòu)造的一個(gè)真實(shí)世界的模擬，地理上分布的用戶可以通過(guò)網(wǎng)絡(luò)共享該環(huán)境，并與周圍的環(huán)境以及在相互之間進(jìn)行交互。共享虛擬環(huán)境涉及到虛擬現(xiàn)實(shí)、分布對(duì)象、網(wǎng)絡(luò)、人機(jī)交互、智能代理等領(lǐng)域。其他同義詞包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其實(shí)質(zhì)是一種人機(jī)交互界面

分布式虛擬環(huán)境必須具有以下功能：能很好的可視模擬真實(shí)世界：三維模擬構(gòu)造真實(shí)世界；支持多媒體內(nèi)容；通過(guò)硬件給用戶觸覺等真實(shí)感受。數(shù)據(jù)共享：該環(huán)境中的數(shù)據(jù)可以在一定規(guī)則下被進(jìn)入該用戶共享。用戶應(yīng)該看到的是一個(gè)統(tǒng)一的視圖。因?yàn)橛脩羰褂玫南到y(tǒng)可能是異構(gòu)的，所以該系統(tǒng)應(yīng)該具有平臺(tái)獨(dú)立性。交互性：用戶能通過(guò)一定的輸入設(shè)備與環(huán)境和其他用戶進(jìn)行交互。第四頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境(3)分布式虛擬環(huán)境的應(yīng)用軍事訓(xùn)練

SIMNET&DIS

教育與培訓(xùn)

pedagogicalagentSteve;JackMOO網(wǎng)絡(luò)會(huì)議與遠(yuǎn)程協(xié)作

Sony公司基于DIVE的一個(gè)系統(tǒng)娛樂(lè)和虛擬社區(qū)

Cybertown(使用Blaxxun）電子商務(wù)

VRcommerceofIBM更加直觀可視化三維表達(dá)，可以定制更具有個(gè)性化

豐富的購(gòu)買行為可以更好的表達(dá)用戶的購(gòu)買習(xí)慣更具交互性顧客：共同商量購(gòu)買一個(gè)商品，和其他顧客交流

獲得及時(shí)咨詢，幫助立刻確定購(gòu)買行為

商家：及時(shí)對(duì)顧客咨詢幫助其確定購(gòu)買行為；

得到顧客的反饋信息，調(diào)整商業(yè)策略第五頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境(4)分布式虛擬環(huán)境發(fā)展的原動(dòng)力因特網(wǎng)技術(shù)的廣泛使用:Internet已經(jīng)成為娛樂(lè)、商業(yè)等的重要媒體硬件基礎(chǔ)：網(wǎng)絡(luò)帶寬的提高（寬帶網(wǎng)的逐漸普及），個(gè)人計(jì)算機(jī)圖形處理能力的增強(qiáng)軟件基礎(chǔ)：虛擬現(xiàn)實(shí)技術(shù)和網(wǎng)絡(luò)技術(shù)的結(jié)合日益復(fù)雜的數(shù)據(jù)使得原來(lái)的界面不能滿足需要，人們希望更加直觀的表達(dá)信息，使用更加自然的方式進(jìn)行人機(jī)交互以及通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)人與人之間實(shí)時(shí)、形象的交流第六頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境(5)第七頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境(6)NPSNET-IV美國(guó)海軍研究生院開發(fā)具有關(guān)節(jié)可以靈活動(dòng)作的人物，攀登以及下坡等能力。通過(guò)MBONE網(wǎng)絡(luò)互連支持空中以及地點(diǎn)的各種工具。與SIMNET/DIS兼容

PARADISE1993年斯坦福開始的一個(gè)項(xiàng)目集中解決帶寬問(wèn)題，使用IP組播技術(shù)采用了AOI（興趣區(qū)域）服務(wù)器作為信息傳播中介。將實(shí)體根據(jù)狀態(tài)變化頻率分類，采用不同精度的預(yù)測(cè)算法第八頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境(7)第九頁(yè)，共二十九頁(yè)。5/13/2023智能虛擬人（1）在分布式虛擬環(huán)境中構(gòu)造智能虛擬人的意義

使得分布式虛擬環(huán)境具有更好的交互性和智能性。從而使得分布式虛擬環(huán)境內(nèi)容更加豐富，也更加逼真，更具有吸引力。幫助實(shí)現(xiàn)構(gòu)造分布式虛擬環(huán)境的目的，從而具有更加廣泛的應(yīng)用，他們實(shí)質(zhì)代表了一種更加形象的服務(wù)：教學(xué)培訓(xùn)：虛擬教師，可以實(shí)時(shí)回答問(wèn)題并做示范電子商務(wù)：導(dǎo)購(gòu)人員，咨詢娛樂(lè)游戲：游戲中的參與者城市社區(qū)：導(dǎo)游提供了一種研究人類自身的方法（人工智能）。如：認(rèn)知學(xué)等在建造物理機(jī)器人之前，可以在虛擬環(huán)境中進(jìn)行通過(guò)建造虛擬機(jī)器人進(jìn)行仿真。

第十頁(yè)，共二十九頁(yè)。5/13/2023智能虛擬人（2）相關(guān)項(xiàng)目介紹JACK賓夕法尼亞大學(xué)人物建模和仿真中心研發(fā)

生物醫(yī)學(xué)數(shù)據(jù)精確的人體模型，從人體測(cè)量的統(tǒng)計(jì)數(shù)據(jù)得到。該模型包括逼真的行為控制、符合真實(shí)人體比例的縮放、以及諸如障礙物回避等。

主要用于產(chǎn)品設(shè)計(jì)的人類工程方面的考慮?？梢詫?duì)虛擬產(chǎn)品設(shè)計(jì)通過(guò)虛擬人進(jìn)行測(cè)試。由用戶給予各種約束和任務(wù)，JACK可對(duì)許多指標(biāo)給出計(jì)算結(jié)果。編程接口：并行轉(zhuǎn)換網(wǎng)絡(luò)（PaT-Nets）狀態(tài)轉(zhuǎn)換圖.結(jié)點(diǎn):執(zhí)行體；邊:條件參數(shù)化動(dòng)作表示方法（PAR）用于連接自然語(yǔ)言命令和動(dòng)作執(zhí)行動(dòng)畫。JACK相關(guān)項(xiàng)目JackMOOJACK+LambdaMOO(byPavelCurtisatXeroxParc)SmartAgent.

第十一頁(yè)，共二十九頁(yè)。5/13/2023智能虛擬人（3）第十二頁(yè)，共二十九頁(yè)。5/13/2023智能虛擬人（4）第十三頁(yè)，共二十九頁(yè)。5/13/2023基于Web的分布式虛擬環(huán)境（1）VRML

它的出現(xiàn)主要是為了在Internet范圍內(nèi)建立一個(gè)全球統(tǒng)一的基于網(wǎng)絡(luò)的三維標(biāo)準(zhǔn).V1.0(1994)-->V2.0(1996)->VRML97(ISO)-V3.0(X3D)完整的三維建模語(yǔ)言:完整描述三維場(chǎng)景的物體、光、材料、環(huán)境特性和真實(shí)感效果分布處理方式:支持多個(gè)分布式文件的多種對(duì)象和機(jī)制,包括內(nèi)聯(lián)式嵌入其他VRML文件,通過(guò)超鏈接指向其它文件三維交互功能:能夠檢測(cè)用戶和虛擬環(huán)境中幾何造型交互動(dòng)作(如按動(dòng)開關(guān)，碰撞檢測(cè)),用戶在虛擬環(huán)境中的行為以及時(shí)間推移。檢測(cè)器提供的這些信息通過(guò)由VRML定義的整個(gè)事件體系產(chǎn)生視覺或聽覺效果,給用戶造成和境界互動(dòng)的交互式體驗(yàn)平臺(tái)無(wú)關(guān)性多媒體集成（背景音樂(lè),空間立體聲支持，電影貼圖）第十四頁(yè)，共二十九頁(yè)。5/13/2023基于Web的分布式虛擬環(huán)境（2）

原型節(jié)點(diǎn)(PROTO)便于用戶利用已有節(jié)點(diǎn)定義面向?qū)ο蟮男碌墓?jié)點(diǎn)。使用腳本節(jié)點(diǎn)(Script)用戶可以定義更加復(fù)雜的執(zhí)行邏輯，支持VrmlScript以及Java等語(yǔ)言。第十五頁(yè)，共二十九頁(yè)。5/13/2023基于Web的分布式虛擬環(huán)境（3）EAI(ExternalAuthoringInterface)

EAI允許一個(gè)JavaApplet主要以三種方式訪問(wèn)VRML的場(chǎng)景：

可以發(fā)送一個(gè)事件到VRML場(chǎng)景中節(jié)點(diǎn)的事件入口

可以收到VRML場(chǎng)景中節(jié)點(diǎn)的事件出口發(fā)出的最新值當(dāng)VRML場(chǎng)景中節(jié)點(diǎn)的事件入口發(fā)出一個(gè)事件時(shí)，能得到一個(gè)通知，激活callback方法

VRML本身不具備網(wǎng)絡(luò)通訊能力，Java提供了該功能。Java彌補(bǔ)VRML計(jì)算，程序設(shè)計(jì)方面的不足，可以加入復(fù)雜的邏輯第十六頁(yè)，共二十九頁(yè)。5/13/2023基于Web的分布式虛擬環(huán)境（4）圖1B/S結(jié)構(gòu)的分布式虛擬環(huán)境框架Web服務(wù)器分布式虛擬環(huán)境服務(wù)器虛擬人物控制器

瀏覽器AppletVRML插件客戶端1服務(wù)器端客戶端2客戶端n。。。本地圖形數(shù)據(jù)庫(kù)拷貝用戶操作界面EAI全局?jǐn)?shù)據(jù)庫(kù)及語(yǔ)義服務(wù)器下載C-S結(jié)構(gòu)（Java安全性）全局?jǐn)?shù)據(jù)庫(kù)以及語(yǔ)義服務(wù)器，用于記錄全局幾何信息以及一些非幾何的語(yǔ)義信息

在網(wǎng)絡(luò)上傳輸?shù)闹皇前l(fā)生改變的幾何信息或者控制信息

虛擬人控制器決定虛擬場(chǎng)景中自主的虛擬人需要采取的行為

第十七頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（1）

設(shè)計(jì)考慮虛擬人對(duì)周圍環(huán)境刺激的反應(yīng)應(yīng)該是迅速以及穩(wěn)定的，傳統(tǒng)人工智能耗費(fèi)時(shí)間的復(fù)雜的邏輯推理和符號(hào)處理并不適合于設(shè)計(jì)這樣的虛擬人。分布式環(huán)境中是一個(gè)動(dòng)態(tài)環(huán)境，不斷有新的情況發(fā)生。虛擬人要能處理突發(fā)事件。該虛擬人應(yīng)該具有比較廣泛的能力。與傳統(tǒng)人工智能針對(duì)某個(gè)方面進(jìn)行深入分析達(dá)到很強(qiáng)的智能相比，該虛擬人具有綜合智能，盡管各個(gè)方面的智能由于一些限制還不是很強(qiáng)。但卻給人以一個(gè)整體的逼真的人物的感覺。

設(shè)計(jì)應(yīng)該與前述基于Web的分布式虛擬環(huán)境對(duì)應(yīng)。在每個(gè)客戶端的VRML世界中都包含了一個(gè)虛擬人的圖形拷貝，而行為決策和各種語(yǔ)義邏輯應(yīng)該放在服務(wù)器端

第十八頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（2）虛擬人物控制器用于感知各種外界以及內(nèi)部的刺激，并根據(jù)局部信念、規(guī)劃以及行為庫(kù)、內(nèi)部精神狀態(tài)進(jìn)行行為規(guī)劃和實(shí)現(xiàn)。它包括兩個(gè)主要模塊：行為引擎主要用于做高層行為決策和分解，將分解到的最底層的原子行為傳給動(dòng)作引擎，動(dòng)作引擎將其語(yǔ)義轉(zhuǎn)化成幾何變化信息，并通過(guò)Socket封裝協(xié)議發(fā)送控制信息給客戶端的幾何修改器。

內(nèi)部精神狀態(tài)

采用一組變量描述虛擬人的內(nèi)部精神狀態(tài)，

規(guī)劃及行為庫(kù)是支持虛擬人控制器作出行為選擇的知識(shí)庫(kù)。規(guī)劃以及行為庫(kù)的設(shè)計(jì)是可以擴(kuò)充的.人物幾何造型行為引擎動(dòng)作引擎外界環(huán)境幾何修改器內(nèi)部精神狀態(tài)VRMLEAI虛擬人物控制器規(guī)劃及行為庫(kù)客戶端服務(wù)器端虛擬人物物理模型局部信念圖2虛擬人物整體框架感知-改變第十九頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（3）局部信念表示由該虛擬人維護(hù)的信念，包括對(duì)自己狀態(tài)的維護(hù)以及其他環(huán)境中相關(guān)性很強(qiáng)的信息。

幾何修改器接收由動(dòng)作引擎發(fā)過(guò)來(lái)的控制命令以及其中的參數(shù)，直接修改VRML中的屬性，從而使得人物的幾何形體發(fā)生變化，表示一定的動(dòng)作。使用EAI實(shí)現(xiàn)。動(dòng)作的成功完成或者失敗都應(yīng)該發(fā)回一個(gè)反饋信息給服務(wù)器端的虛擬人控制器，主動(dòng)感知與被動(dòng)感知主動(dòng)感知：全局環(huán)境數(shù)據(jù)庫(kù)管理器管理整個(gè)分布式虛擬環(huán)境中的事件，并把事件發(fā)送給相應(yīng)的接收者被動(dòng)感知：虛擬人在行為規(guī)劃中，主動(dòng)查詢?nèi)謹(jǐn)?shù)據(jù)庫(kù)獲得相關(guān)信息第二十頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（4）一個(gè)規(guī)劃可以描述為下面六元組：Pi：：=(Triggeri,Propertyi,Pci,Bsi,Statei,Efi)

Triggeri

：是引發(fā)該規(guī)劃的事件；

Propertyi記錄了該規(guī)劃的一些特殊屬性，如優(yōu)先級(jí)大小，以及可否被其他規(guī)劃搶占等；

Pci是一組實(shí)行該規(guī)劃需要滿足的前提條件，

Bsi表示一組完成該規(guī)劃需要采取的行為，

Statei是該規(guī)劃目前執(zhí)行的狀況，為活動(dòng)狀態(tài)集中的某個(gè)狀態(tài)，

Efi表示該規(guī)劃成功后將對(duì)環(huán)境以及自身產(chǎn)生的一組后果。第二十一頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（5）

行為是由一組動(dòng)作序列組成的，所以B也可以如此定義：B::=Ф（Actioni，i=0，1，..）。其中Ф是一種復(fù)合函數(shù)，表示了動(dòng)作的組合。動(dòng)作可以通過(guò)原子動(dòng)作的組合遞歸定義如下：①原子動(dòng)作是一個(gè)動(dòng)作。②如果Action1,Action2是動(dòng)作，則Action1∧Action2是動(dòng)作，∧表示連接，即Action2在Action1完成后執(zhí)行。③如果Action1,Action2是動(dòng)作，則Action1∨Action2是動(dòng)作，∨表示并行，即Action2可以和Action1同時(shí)執(zhí)行。④如果Action1,Action2是動(dòng)作，則Action1+Action2是動(dòng)作，其中表示可選，即Action1和Action2兩個(gè)分支過(guò)程中選擇其中一個(gè)執(zhí)行即可。⑤如果Action1,Action2,Action3是動(dòng)作，則（Action1∨Action2）*Action3是動(dòng)作，其中*表示非等待連接，即Action1和Action2中有任何一個(gè)動(dòng)作完成即可執(zhí)行Action3.

第二十二頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（6）規(guī)劃行為庫(kù)可以采用產(chǎn)生式系統(tǒng)結(jié)合計(jì)算程序庫(kù)來(lái)實(shí)現(xiàn)。一個(gè)產(chǎn)生式系統(tǒng)包含一系列產(chǎn)生式規(guī)則，規(guī)則形如：IF條件THEN采取的規(guī)劃條件相當(dāng)于前述的Trigger，它基于虛擬智能人物的信念以及對(duì)環(huán)境的感知。虛擬人控制器以一定的時(shí)鐘步對(duì)規(guī)則庫(kù)所有規(guī)則進(jìn)行檢測(cè)，將所有條件都符合的規(guī)劃放入待執(zhí)行的規(guī)劃隊(duì)列虛擬人控制器從該隊(duì)列中選取優(yōu)先級(jí)別最高的規(guī)劃執(zhí)行外界環(huán)境的變化和執(zhí)行規(guī)劃的過(guò)程中，信念也將發(fā)生動(dòng)態(tài)的變化，這樣當(dāng)前規(guī)劃可能被具有更高級(jí)別的規(guī)劃打斷，或者當(dāng)前規(guī)劃的前提條件在執(zhí)行的過(guò)程中已經(jīng)不復(fù)成立，從而取消。隨著規(guī)劃的執(zhí)行（表現(xiàn)為采取的行為個(gè)數(shù)增加），該數(shù)值將增加，即一個(gè)規(guī)劃的優(yōu)先級(jí)別是動(dòng)態(tài)的。在規(guī)劃行為庫(kù)中所有的規(guī)則最后，設(shè)計(jì)一個(gè)條件一直為真的規(guī)劃。一般是為了維護(hù)虛擬人的逼真性使其隨機(jī)采取一些行為第二十三頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（7）基于H-Anim的人物造型以及動(dòng)作實(shí)現(xiàn)

H-Anim標(biāo)準(zhǔn)是為了提供一個(gè)具有良好兼容性、靈活性、簡(jiǎn)單性的人物模型構(gòu)造方法而提出來(lái)的標(biāo)準(zhǔn)。標(biāo)準(zhǔn)通過(guò)原型構(gòu)造擴(kuò)充VRML2定義了三個(gè)主要的新的節(jié)點(diǎn)，在這些節(jié)點(diǎn)中可以包含豐富的信息，比如身體段的質(zhì)量，包圍整個(gè)身體段或者人物的長(zhǎng)方體尺寸，關(guān)節(jié)的運(yùn)動(dòng)范圍等

：

Joint節(jié)點(diǎn)：定義關(guān)節(jié)Segment節(jié)點(diǎn)：定義身體段。Site定義相對(duì)于該Segment的位置，可用于往身體段上附著衣服以及定義反向動(dòng)力學(xué)方法的終端效應(yīng)器等Displacer節(jié)點(diǎn)用于定義一組具有特殊特征或者配置的頂點(diǎn)，可以用于肌肉變形動(dòng)畫等Humanoid節(jié)點(diǎn)：包含指向Joint節(jié)點(diǎn)和Segment節(jié)點(diǎn)的引用數(shù)組以及作者版本等信息第二十四頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（8）H-Anim標(biāo)準(zhǔn)通過(guò)Joint節(jié)點(diǎn)將整個(gè)人體組織成一個(gè)分層的結(jié)構(gòu)。除開根節(jié)點(diǎn)HumanoidRoot，每個(gè)Joint節(jié)點(diǎn)是另外一個(gè)Joint節(jié)點(diǎn)的子節(jié)點(diǎn)。作為Joint原型的典型實(shí)現(xiàn)，可以是一個(gè)Translation節(jié)點(diǎn)，這樣，可以對(duì)Joint進(jìn)行平移動(dòng)和轉(zhuǎn)動(dòng)等操作從而改變作為身體段的Segment節(jié)點(diǎn)以及該Joint節(jié)點(diǎn)的Joint子節(jié)點(diǎn)，實(shí)現(xiàn)人物動(dòng)畫。由該標(biāo)準(zhǔn)構(gòu)造的虛擬人可以使用關(guān)鍵幀、反向動(dòng)力學(xué)、運(yùn)動(dòng)捕捉等方法產(chǎn)生動(dòng)畫。第二十五頁(yè)，共二十九頁(yè)。5/13/2023分布式虛擬環(huán)境中的智能虛擬人建模（9）虛擬人的行為最后都由一些原子動(dòng)作所組成。這些原子動(dòng)作可以具有參數(shù)。原子動(dòng)作是在客戶端通過(guò)外部EAI和VRML文件中的節(jié)點(diǎn)路由Route、插值器等實(shí)現(xiàn)的。一般的做法是，將VRML文件中需要參數(shù)化變化的字段通過(guò)與EAI程序中的變量進(jìn)行綁定，Java程序通過(guò)實(shí)時(shí)計(jì)算而給這些變量賦值使得VRML中的相應(yīng)屬性發(fā)生變化，從而實(shí)現(xiàn)參數(shù)化改變某些屬性