內(nèi)蒙古工業(yè)大學(xué) 多媒體技術(shù)(第12章)課件

1、第十二章 多媒體的應(yīng)用與發(fā)展計(jì)算機(jī)支持的協(xié)同工作系統(tǒng)數(shù)字視頻服務(wù)系統(tǒng)多媒體技術(shù)相關(guān)的幾個(gè)研究熱點(diǎn) 12.1 計(jì)算機(jī)支持的協(xié)同工作系統(tǒng) 12.1.1 CSCW概念 CSCW最早是在1986年提出的。與CSCW密切相關(guān)的一個(gè)概念是群件。 CSCW致力于研究協(xié)同工作的本質(zhì)和特征, 探討如何利用各種計(jì)算機(jī)技術(shù)設(shè)計(jì)出支持協(xié)同工作的信息系統(tǒng)。 Ellis在1991年定義：CSCW是支持有著共同目標(biāo)或共同任務(wù)的群體性活動(dòng)的計(jì)算機(jī)系統(tǒng)，并且系統(tǒng)為共享的環(huán)境提供接口。 CSCW系統(tǒng)具有以下特點(diǎn): 協(xié)同性 有共同的工作目標(biāo)即群體工作目標(biāo)。 群體性 設(shè)計(jì)人員采用群體工作方式,設(shè)計(jì)群體有合理組成。 交互性 群接口支持

2、用戶與系統(tǒng)的交互 分布性 設(shè)計(jì)人員分布在不同地點(diǎn)。與CSCW相關(guān)的群件定義 為協(xié)作群體使用而設(shè)計(jì)的特殊計(jì)算機(jī)系統(tǒng)。 群件包括軟件、硬件、服務(wù)和群體工作過(guò)程支持等。 12.1.2 CSCW系統(tǒng)分類 共同任務(wù)就是合作者共同完成的任務(wù)。 在傳統(tǒng)的時(shí)間共享系統(tǒng)中, 多用戶執(zhí)行相對(duì)獨(dú)立的任務(wù), 無(wú)協(xié)作意識(shí), 處于共同任務(wù)的低級(jí)。遠(yuǎn)程醫(yī)療、電視會(huì)議系統(tǒng)等多人合作在實(shí)時(shí)交互期內(nèi)協(xié)作意識(shí)強(qiáng), 處于共同任務(wù)的高級(jí)。 共享環(huán)境是合作者所處于的某個(gè)可共享的環(huán)境. 共享環(huán)境是從時(shí)間和空間角度來(lái)考慮。電子郵件系統(tǒng)對(duì)環(huán)境信息要求低,很少提供環(huán)境信息, 處于共享環(huán)境的低級(jí);而實(shí)時(shí)會(huì)議系統(tǒng)要模擬傳統(tǒng)的會(huì)議室,對(duì)于會(huì)議現(xiàn)場(chǎng)、人

3、員、討論問(wèn)題要有清楚及時(shí)地提示,處于共享環(huán)境高級(jí)。 分類原則；群體規(guī)模 兩人或是多人地理位置 遠(yuǎn)程或是同地交互形式 同步或是異步CSCW目前活躍的領(lǐng)域:(1) 電子郵件系統(tǒng) (2) 電子布告欄系統(tǒng) (3) 群決策支持系統(tǒng)和電子會(huì)議室系統(tǒng) (4) 多用戶共同編輯系統(tǒng) (5) 計(jì)算機(jī)會(huì)議系統(tǒng) 12.1.3 CSCW系統(tǒng)實(shí)現(xiàn)理論與方法 群體協(xié)作模型 群體成員進(jìn)行協(xié)作共同完成任務(wù)的模式。 它涉及群體成員間如何開(kāi)展協(xié)作,在協(xié)作時(shí)如何進(jìn)行交互,如何進(jìn)行操作的協(xié)調(diào),如何使協(xié)作過(guò)程向前推進(jìn)以及如何結(jié)束協(xié)作完成協(xié)作任務(wù)等問(wèn)題。 典型的協(xié)作模型對(duì)話模型 會(huì)議模型 過(guò)程模型 活動(dòng)模型 分層抽象模型 基于對(duì)話模型的系

4、統(tǒng)主要是消息系統(tǒng),它們支持參與者通過(guò)彼此發(fā)送的異步的消息來(lái)進(jìn)行協(xié)調(diào)與合作。在講話-行為理論基礎(chǔ)上, Medina-Mora將兩人間的協(xié)作抽象為一個(gè)動(dòng)作環(huán), 兩人的身份分別為客戶和執(zhí)行者,這個(gè)動(dòng)作環(huán)由4個(gè)階段組成。ActionWorkFlow系統(tǒng)即是基于這種模型。 “你能做嗎?”“我能做”“多謝！”“做完了”1.客戶請(qǐng)求2.執(zhí)行者同意4.客戶表示滿意3.執(zhí)行者完成并匯報(bào)會(huì)議模型 會(huì)議是常見(jiàn)的多人間協(xié)作形式。會(huì)議是多人聚集在一起,各自發(fā)表意見(jiàn), 聽(tīng)取他人看法,交流協(xié)商達(dá)成共識(shí)。會(huì)議有以下作用：(1)參與者通過(guò)交流思想,相互學(xué)習(xí),吸取經(jīng)驗(yàn),促進(jìn)知識(shí)、方法、策略的結(jié)合。(2)參與者經(jīng)過(guò)討論, 糾正錯(cuò)誤

5、的看法,消除誤解,使各觀點(diǎn)融合,得到對(duì)某問(wèn)題的一致認(rèn)識(shí)。(3)參與者對(duì)共同事物施以動(dòng)作,協(xié)同完成同一任務(wù)。 會(huì)議模型特點(diǎn)：協(xié)作參與者一般不進(jìn)行兩兩間的交互,而是通過(guò)共享的信息空間彼此溝通。 共享討論空間或共享信息協(xié)作參與者1協(xié)作參與者3協(xié)作參與者2協(xié)作參與者4過(guò)程模型 將協(xié)作任務(wù)分成相互關(guān)聯(lián)的多個(gè)小步驟,通過(guò)多個(gè)人分別單獨(dú)地對(duì)小步驟的執(zhí)行共同來(lái)完成任務(wù)的協(xié)作模型成為過(guò)程模型。 在這種模型下協(xié)作任務(wù)完成是由多個(gè)人的單獨(dú)異步的行為彼此相連而形成一個(gè)復(fù)雜的過(guò)程。目前具體的過(guò)程模型有OM-1模型、OTM模型等,及基于這些模型的CSCW系統(tǒng)。 這種模型嚴(yán)格定義了協(xié)作參與者行為,屬高度結(jié)構(gòu)化的協(xié)作,適合具

6、有良好規(guī)范的設(shè)計(jì)或辦公過(guò)程。其缺點(diǎn)是缺乏靈活性,應(yīng)用有局限性。活動(dòng)模型 活動(dòng)模型與過(guò)程模型類似, 其中多個(gè)人也是通過(guò)分工與合作來(lái)共同完成協(xié)作任務(wù)。將協(xié)作任務(wù)分成一個(gè)個(gè)目標(biāo)確定的子任務(wù)(活動(dòng)), 定義這些子任務(wù)間關(guān)系及子任務(wù)的完成者,然后通過(guò)各協(xié)作參與者分別對(duì)相應(yīng)任務(wù)的執(zhí)行,使整個(gè)協(xié)作任務(wù)得以完成?；顒?dòng)模型主要著眼于在執(zhí)行任務(wù)時(shí)參與活動(dòng)的成員間交換什么信息, 而并不規(guī)定子任務(wù)完成時(shí)所需執(zhí)行的操作。 分層抽象模型 人與人間協(xié)作的層次性 如一門(mén)課教學(xué), 協(xié)作任務(wù)首先要分成多個(gè)小的子任務(wù),如各章的教學(xué)、實(shí)驗(yàn)及測(cè)驗(yàn)等, 而完成這些子任務(wù)時(shí)候,如一堂課教學(xué)又需教師講、學(xué)生聽(tīng)及相互討論等。會(huì)議-活動(dòng)-合作模

7、型 Vin等人將群體協(xié)作行為抽象: 會(huì)議 是多個(gè)人通過(guò)各種途徑進(jìn)行時(shí)間上連續(xù)的一次性同步交互過(guò)程。如一堂課的教學(xué)、討論會(huì)等,刻畫(huà)多人間的關(guān)系。 活動(dòng) 是一組語(yǔ)義上相關(guān)的同時(shí)進(jìn)行的會(huì)議的集合,有時(shí)一個(gè)會(huì)議的進(jìn)行取決于其它會(huì)議的狀況。 合作 是一個(gè)具有時(shí)間順序的多個(gè)活動(dòng)組成的序列。如一門(mén)課的教學(xué)就是一個(gè)合作。上述模型有效地劃分協(xié)作層次性,但無(wú)法處理由不同的人完成不同子任務(wù)的情況。為了描述協(xié)同任務(wù)中子任務(wù)情況, 有人提出了活動(dòng)-任務(wù)-合作抽象模型。活動(dòng)-任務(wù)-合作抽象模型。 最高層抽象為合作 它是多個(gè)人為完成獨(dú)立長(zhǎng)期的合作項(xiàng)目而執(zhí)行的所有行為,具有完全獨(dú)立性。 第二層抽象為任務(wù) 任務(wù)為合作的各個(gè)階段

8、所需完成的具有一定目標(biāo)、語(yǔ)義完整的相對(duì)獨(dú)立的長(zhǎng)時(shí)間協(xié)同行為,它具有相對(duì)獨(dú)立性; 最底層抽象為活動(dòng)?；顒?dòng)為完成某項(xiàng)具體任務(wù)時(shí),單個(gè)人或一組人執(zhí)行的在時(shí)間上連貫的一次行為,它強(qiáng)調(diào)的是時(shí)間連貫性,也是同時(shí)性。 這三層抽象將獨(dú)立的合作看成多個(gè)彼此相關(guān)的子任務(wù)網(wǎng)絡(luò),并且將各子任務(wù)看成多個(gè)活動(dòng)組成的序列,此模型可以概括人與人之間的協(xié)作行為。具體的協(xié)作通過(guò)以上3層抽象表示后, 其實(shí)際的執(zhí)行過(guò)程就是自下而上, 即活動(dòng),任務(wù),合作。CSCW系統(tǒng)實(shí)現(xiàn)方法 多Agent方法 群接口方法 協(xié)作機(jī)制與通告機(jī)制 通信網(wǎng)絡(luò)及控制 多Agent方法多Agent方法來(lái)源于分布式人工智能的研究。 分布式人工智能的研究一般分為分布

9、式問(wèn)題求解和多Agent系統(tǒng)兩個(gè)方面。DPS的研究側(cè)重于如何分解某個(gè)特定問(wèn)題,并分配到一組擁有分布知識(shí)并相互連接節(jié)點(diǎn)上分別處理；MAS側(cè)重于研究由多個(gè)Agent組成的多Agent系統(tǒng)中各Agent行為的協(xié)調(diào)及它們之間的協(xié)同工作。 定義1(弱定義) Agent是具有下列特性的計(jì)算機(jī)軟硬件系統(tǒng)：自治性可以不受人或任何外界因素的干涉而獨(dú)立存在,對(duì)自己的行為和狀態(tài)有一定的控制權(quán)；社會(huì)性可以通過(guò)某種Agent通信語(yǔ)言ACL和其它Agent(包括人)進(jìn)行信息交流；反應(yīng)性可以理解周圍的環(huán)境,并對(duì)環(huán)境的變化作出實(shí)時(shí)的響應(yīng)；能動(dòng)性可以主動(dòng)地做出有目標(biāo)的動(dòng)作。群接口方法CSCW系統(tǒng)的人機(jī)接口應(yīng)能體現(xiàn)群體活動(dòng)及多用

10、戶控制的特征,這種接口稱群接口,它能處理多用戶控制的復(fù)雜性。 群接口研究基礎(chǔ)是用戶界面管理系統(tǒng)(UIMS) 群接口可分3類 (a)支持表現(xiàn)級(jí)共享的接口,屬緊藕合型。每個(gè)合作者有相同的顯示, WYSIWIS。 (b)支持視圖級(jí)共享的接口,屬中藕合型。每個(gè)合作者表現(xiàn)信息相同, 但可有不同的顯示方式 (c)支持對(duì)象級(jí)共享的接口,屬松藕合型。每個(gè)合作者有不同的顯示(內(nèi)容和方式)。 UIMS模型 用戶接口部件應(yīng)用程序語(yǔ)義部件用戶交互高層的語(yǔ)義請(qǐng)求/響應(yīng)協(xié)作機(jī)制與通告機(jī)制 協(xié)作機(jī)制是用戶間約定的交互方式,可完成調(diào)度用戶活動(dòng)、分配共享資源等任務(wù)。協(xié)作機(jī)制設(shè)計(jì)和實(shí)現(xiàn)主要考慮： 允許用戶根據(jù)實(shí)際應(yīng)用的需要靈活地

11、改變協(xié)作機(jī)制, 能處理協(xié)作過(guò)程意外事件的發(fā)生, 能將系統(tǒng)的各層協(xié)作活動(dòng)集成為一個(gè)整體等。協(xié)調(diào)機(jī)制主要用于解決實(shí)時(shí)性活動(dòng)中同步問(wèn)題。通告機(jī)制主要用于處理異步活動(dòng)。通信網(wǎng)絡(luò)及控制 組通信涉及多種傳輸要求,包括點(diǎn)到點(diǎn),點(diǎn)到多點(diǎn),多點(diǎn)到點(diǎn),多點(diǎn)到多點(diǎn)等。CSCW對(duì)網(wǎng)絡(luò)特定要求包括: 能支持集成多媒體數(shù)據(jù)傳輸；能支持多點(diǎn)通訊等。另外數(shù)據(jù)交換格式標(biāo)準(zhǔn)化也非常重要。網(wǎng)絡(luò)資源存取控制確定CSCW系統(tǒng)的用戶存取系統(tǒng)或其它用戶數(shù)據(jù)的方式。存取控制的狀態(tài)不是靜態(tài)而是動(dòng)態(tài)的。CSCW應(yīng)定義靈活有效而快速的存取控制機(jī)制，允許用戶方便地修改信息的存取控制狀態(tài)。 12.1.4 CSCW系統(tǒng)實(shí)例 斯坦福研究所(SRI)研制的

12、多媒體協(xié)同工作系統(tǒng)(CECED)。 普渡大學(xué)研制的SHASTRA協(xié)同工作的多媒體科學(xué)設(shè)計(jì)系統(tǒng)。 IBM歐洲網(wǎng)絡(luò)中心、DEC公司等共同開(kāi)發(fā)的BERKOM多媒體協(xié)同服務(wù)器。 另外,最近幾年國(guó)際國(guó)內(nèi)開(kāi)通了很多遠(yuǎn)程醫(yī)療系統(tǒng)和遠(yuǎn)程教學(xué)系統(tǒng), 它們大多是基于在寬帶網(wǎng)上運(yùn)行的視頻服務(wù)系統(tǒng),這些系統(tǒng)已獲得了顯著的社會(huì)效益和經(jīng)濟(jì)效益。 12.2 數(shù)字視頻服務(wù)系統(tǒng) 數(shù)字音頻視頻理事會(huì)(DAVIC)是國(guó)際上致力于研究數(shù)字音頻視頻應(yīng)用和服務(wù)標(biāo)準(zhǔn)的組織其工作目標(biāo)是通過(guò)數(shù)字音頻視頻應(yīng)用和服務(wù)系統(tǒng)接口、協(xié)議和體系結(jié)構(gòu)描述規(guī)范的正式標(biāo)準(zhǔn)，簡(jiǎn)稱為DAVIC協(xié)議。DAVIC協(xié)議在不斷完善和擴(kuò)充, 自1994年發(fā)布DAVIC1.0

13、后, 1996年3月發(fā)布了DAVIC1.1,1998年又公布了DAVIC1.4標(biāo)準(zhǔn)。 12.2.1 DAVIC系統(tǒng)結(jié)構(gòu)DAVIC系統(tǒng)一般包括5個(gè)部分(或稱實(shí)體),即內(nèi)容提供者系統(tǒng)(CPS)、服務(wù)提供者系統(tǒng)(SPS)、服務(wù)消費(fèi)者系統(tǒng)(SCS)以及連接它們的CPS-SPS傳輸系統(tǒng)和SPS-SCS傳輸系統(tǒng)。 在實(shí)際系統(tǒng)中,上述邏輯實(shí)體對(duì)應(yīng)著相應(yīng)服務(wù)器、端點(diǎn)設(shè)備和計(jì)算機(jī)系統(tǒng)。例如VOD系統(tǒng)包括下面幾部分物理設(shè)備：(1)視頻服務(wù)器; (2)ATM交換機(jī); (3)SDH傳輸網(wǎng) 寬帶傳輸網(wǎng)絡(luò); (4)ADSL復(fù)接器; (5)機(jī)頂盒(STB). DAVIC系統(tǒng)CPSCPS-SPS傳遞系統(tǒng)SPSSPS-SCS傳

14、遞系統(tǒng)scs視頻服務(wù)器系統(tǒng)應(yīng)由下列部分組成：(1) 一個(gè)或多個(gè)媒體服務(wù)器(2) 應(yīng)用服務(wù)器(AS) 服務(wù)提供者系統(tǒng)。(3) 管理工作站VOD系統(tǒng)的一級(jí)網(wǎng)關(guān)(L1GW)負(fù)責(zé)STB和應(yīng)用服務(wù)器之間的會(huì)話管理。 VOD系統(tǒng)的結(jié)構(gòu)示意圖視頻服務(wù)器ATM交換機(jī)ADSL復(fù)接器PABX 電話STB電視SDH環(huán)中心機(jī)房局端機(jī)房用戶端155/622Mbps ATM信元話音話音視頻信號(hào)交互信息及視頻流155/622Mbps ATM信元155/622Mbps 12.2.2 數(shù)字音頻視頻服務(wù)系統(tǒng)的協(xié)議 DAVIC系統(tǒng)協(xié)議流程分兩大階段：U-N階段和U-U階段。U-N階段主要完成S2流連接的建立U-U階段主要完成用戶(

15、如STB)和服務(wù)器(如AS)之間S2流的交互控制及S1流的建立。 以VOD系統(tǒng)為例介紹協(xié)議流程 VOD系統(tǒng)U-N階段分UN配置和UN會(huì)話兩個(gè)階段,具體協(xié)議流程： (1)STB得到預(yù)置的到L1GW上的UN配置服務(wù)器實(shí)體的通路(IP和UDP服務(wù)的端口號(hào))。 (2)使用UDP協(xié)議與UN配置實(shí)體通信, 利用 UNConfig Request消息。 (3)STB設(shè)置接收UNConfigConfirm的時(shí)鐘, 準(zhǔn)備接收UNConfigConfirm消息。 (4)STB如果接收到了L1GW配置實(shí)體返回給STB的UNConfigConfirm消息,分析UNConfig Confirm消息中的各個(gè)域,然后進(jìn)行與

16、用戶的交互,準(zhǔn)備進(jìn)行UN會(huì)話。 (5) 利用預(yù)置的到L1GW上的UN配置服務(wù)器實(shí)體的通路向L1GW發(fā)送會(huì)話建立請(qǐng)求消息；設(shè)置時(shí)鐘，準(zhǔn)備接收會(huì)話建立確認(rèn)消息。 (6) L1GW在接收STB來(lái)的請(qǐng)求建立會(huì)話消息。查看這個(gè)STB是否加入STB表，STB狀態(tài)是不是“Enabled”。如果不在表中，應(yīng)該拒絕其要求；若未被“Enabled”，也拒絕其要求。如果是合法STB,發(fā)送會(huì)話建立指示消息。 (7) AS接收到會(huì)話建立指示消息,從消息的userData域中取出用戶的名字和口令,在用戶表中查詢是否是合法用戶,用戶的狀態(tài)是否“Enabled”。(8) L1GW為此STB分配S2流資源,發(fā)送增加資源確認(rèn)消息

17、給AS。(9) AS接收從L1GW來(lái)的增加資源確認(rèn)消息,如果資源分配成功,向L1GW發(fā)送會(huì)話建立響應(yīng)消息,其userData域中包括主菜單的URL地址或上次用戶沒(méi)有看完節(jié)目的URL地址和播放位置。(10) L1GW接收到AS來(lái)會(huì)話建立響應(yīng)消息, 向STB發(fā)送會(huì)話建立確認(rèn)消息。 U-U階段具體協(xié)議流程如下: (11) STB接收到會(huì)話建立確認(rèn)消息,從中取出上次會(huì)話的信息, 啟動(dòng)瀏覽器, 通過(guò)HTTP協(xié)議向AS請(qǐng)求菜單。(12) AS返回STB請(qǐng)求的菜單, STB在菜單中瀏覽各種節(jié)目的信息。(13) 當(dāng)用戶從中選擇一個(gè)節(jié)目后, 按預(yù)覽按鈕就進(jìn)入預(yù)覽窗口。 (14)節(jié)目正常觀看結(jié)束時(shí),媒體服務(wù)器會(huì)給

18、AS發(fā)節(jié)目結(jié)束消息。AS自動(dòng)拆除S1流,STB自動(dòng)關(guān)閉播放窗口,返回到節(jié)目菜單。(15) 如果用戶關(guān)閉瀏覽器,STB就在S3鏈路上發(fā)出拆除會(huì)話消息,然后返回到選擇AS的窗口。(16)如果用戶此時(shí)選擇退出,STB端的交互就結(jié)束了。 VOD系統(tǒng)DAVIC系統(tǒng)的信息流包括:(1) S1流 從內(nèi)容提供者到服務(wù)消費(fèi)者系統(tǒng)內(nèi)容信息, 采用MPEG標(biāo)準(zhǔn)協(xié)議。(2) S2流 從服務(wù)提供者系統(tǒng)到服務(wù)消費(fèi)者系統(tǒng)間控制信息流，采用MPEG2 DSMCC協(xié)議。(3)S3流 用于服務(wù)消費(fèi)者系統(tǒng)、服務(wù)提供者系統(tǒng)和傳輸實(shí)體之間的雙向控制信息流, 交換會(huì)話信息, 它在任何層上對(duì)傳遞系統(tǒng)不透明。(4) S4流 網(wǎng)絡(luò)服務(wù)層支持呼

19、叫/連接控制和資源控制功能的雙向流, 標(biāo)準(zhǔn)的B-ISDN呼叫/連接控制協(xié)議有ITU-T Q.2931, Q.2130, Q.2110。(5) S5流 與網(wǎng)絡(luò)管理有關(guān)信息流, 它由一些維護(hù)和管理網(wǎng)絡(luò)資源所需的功能組成。網(wǎng)絡(luò)管理標(biāo)準(zhǔn)協(xié)議有 CMIP, SNMP。12.2.3 典型應(yīng)用 影片點(diǎn)播(Movies on Demand) 遠(yuǎn)程購(gòu)物(Teleshopping) 影片點(diǎn)播(Movies on Demand) 系統(tǒng)描述基本功能 端點(diǎn)用戶功能 服務(wù)提供者功能 內(nèi)容提供者功能 網(wǎng)絡(luò)提供者功能 特點(diǎn) 擴(kuò)展 遠(yuǎn)程購(gòu)物(Teleshopping) 系統(tǒng)描述基本功能 端點(diǎn)用戶功能 服務(wù)提供者功能 內(nèi)容提供者

20、功能 網(wǎng)絡(luò)提供者功能 DAVIC系統(tǒng)典型應(yīng)用視頻廣播、視頻點(diǎn)播、準(zhǔn)視頻點(diǎn)播、延時(shí)廣播、新聞點(diǎn)播;游戲、卡拉OK點(diǎn)播、因特網(wǎng)接入;遠(yuǎn)程購(gòu)物、遠(yuǎn)程學(xué)習(xí)、遠(yuǎn)程醫(yī)療;視頻電話、電視會(huì)議、家庭銀行、內(nèi)容制作、虛擬光盤(pán)等。 介紹多媒體技術(shù)相關(guān)的幾個(gè)研究熱點(diǎn)MPEG-21標(biāo)準(zhǔn)智能交互設(shè)備虛擬現(xiàn)實(shí)技術(shù)What next?12.3 MPEG-21標(biāo)準(zhǔn)信息技術(shù)的發(fā)展要求有統(tǒng)一的標(biāo)準(zhǔn)來(lái)規(guī)范交流行為, 使用戶能得到更多的信息提供源,并擴(kuò)大網(wǎng)絡(luò)電子交易的機(jī)會(huì)。MPEG組織在1999年10月墨爾本會(huì)議上提出了MPEG-21(多媒體框架)的概念并試圖用多媒體框架將各種服務(wù)綜合在一起并進(jìn)行標(biāo)準(zhǔn)化。 MPEG-21的最終目標(biāo)是

21、協(xié)調(diào)不同層次間的多媒體技術(shù)標(biāo)準(zhǔn), 建立一個(gè)交互式的多媒體框架, 此框架能夠支持各種不同的應(yīng)用領(lǐng)域, 允許不同用戶使用和傳遞不同類型的數(shù)據(jù)，并實(shí)現(xiàn)對(duì)知識(shí)產(chǎn)權(quán)的管理和數(shù)字媒體內(nèi)容的保護(hù)。根據(jù)2000年3月的MPEG會(huì)議報(bào)告,最初希望MPEG-21能包含6個(gè)方面： 用戶需求；內(nèi)容之間的相互作用；內(nèi)容的描述；內(nèi)容的認(rèn)證；知識(shí)產(chǎn)權(quán)管理和保護(hù)相關(guān)技術(shù)；終端和網(wǎng)絡(luò)。隨后的2000年6月會(huì)議中進(jìn)一步定義了多媒體框架的范圍，將工作放在10個(gè)主題： 網(wǎng)絡(luò)傳輸；服務(wù)質(zhì)量和靈活性；內(nèi)容質(zhì)量；使用方便；媒體物理格式的相互協(xié)調(diào)能力；支持/訂閱模式；內(nèi)容的查詢、過(guò)濾、定位、恢復(fù)和存儲(chǔ)；消費(fèi)內(nèi)容的公布；消費(fèi)者的使用權(quán)；消費(fèi)者

22、的隱私權(quán).2001年1月在意大利召開(kāi)的MPEG第55次會(huì)議中,決定把多媒體框架暫時(shí)濃縮到以下幾個(gè)方面： 數(shù)字項(xiàng)目說(shuō)明(Digital Item Declaration)內(nèi)容表示(Content Representation)數(shù)字項(xiàng)目的標(biāo)識(shí)與描述(Digital Item Identification and Description)內(nèi)容管理與使用(Content Management and Usage)知識(shí)產(chǎn)權(quán)管理與保護(hù)(Intellectual Property Management and Protection)內(nèi)容發(fā)送與終端及網(wǎng)絡(luò)(Terminals and Networks)事件報(bào)告

23、(Event Reporting)。 多媒體電子商務(wù)系統(tǒng)的用戶模型MPEG專家組還就如下幾個(gè)問(wèn)題達(dá)成一致意見(jiàn)： (1)MPEG-21中, 對(duì)用戶的定義取決于他們?cè)诮灰走^(guò)程中擔(dān)當(dāng)?shù)慕巧? 無(wú)論是信息的提供方還是信息的接受方, 或是傳遞信息方都是用戶。他們都是電子商務(wù)的主體之一, 地位平等,并可在不同的交易中擔(dān)當(dāng)不同的角色。 (2)MPEG-21中,聯(lián)系用戶并使用戶之間發(fā)生相互作用的稱為內(nèi)容。對(duì)內(nèi)容的使用包括對(duì)內(nèi)容施加的操作, 如內(nèi)容的建立、定位,內(nèi)容的傳送、收集、發(fā)布、提交, 內(nèi)容的消費(fèi)等。(3)數(shù)字化條目聲明部分已由需求階段轉(zhuǎn)移到規(guī)范階段，等收集到數(shù)字化條目認(rèn)證和描述的相關(guān)建議和對(duì)版權(quán)數(shù)據(jù)字典

24、、版權(quán)描述語(yǔ)言的需求方面的建議之后,在作進(jìn)一步討論。 (4)深入發(fā)展MPEG-21工作計(jì)劃,包括研究多媒體框架組成部分之間需要哪些認(rèn)證,是否遺漏掉了某些現(xiàn)有的認(rèn)證技術(shù)等,從而增強(qiáng)MPEG-21的能力。 (5)調(diào)研其它標(biāo)準(zhǔn)化組織在多媒體處理方面的相關(guān)措施,與這些組織聯(lián)系,為MPEG-21的進(jìn)一步發(fā)展創(chuàng)造更多的機(jī)會(huì)。 MPEG-21與電子商務(wù)無(wú)論從MPEG-21的初衷還是它所包含的內(nèi)容來(lái)看,無(wú)一不在為電子商務(wù)做鋪墊。2001年1月的會(huì)議上更進(jìn)一步指明MPEG-21要和電子貿(mào)易緊密聯(lián)系,建立數(shù)字多媒體內(nèi)容交易的電子貿(mào)易環(huán)境。從電子商務(wù)的角度來(lái)看,我們更容易理解MPEG-21所涉及的內(nèi)容和應(yīng)當(dāng)解決的問(wèn)

25、題： (1)網(wǎng)絡(luò)方面的問(wèn)題。網(wǎng)絡(luò)作為底層的傳輸媒體,它的性能直接關(guān)系到整個(gè)上層應(yīng)用的效果。因此,首先要保證高質(zhì)量的傳輸網(wǎng)。(2)內(nèi)容方面的要求。內(nèi)容必須具有權(quán)威性、健康性、真實(shí)性和完整性,所標(biāo)明的內(nèi)容的價(jià)格應(yīng)和內(nèi)容本身的價(jià)值相匹配。用于交易的內(nèi)容應(yīng)能為用戶提供詳細(xì)的相關(guān)內(nèi)容的介紹和查找,以便消費(fèi)者決定是否購(gòu)買(mǎi)。(3)相關(guān)服務(wù)。所提供的服務(wù)是為了及時(shí)響應(yīng)消費(fèi)者需求。消費(fèi)者在網(wǎng)上購(gòu)買(mǎi)商品時(shí),能快速地檢索到商品的地點(diǎn)、價(jià)格、提供方及其可靠性。同時(shí)消費(fèi)者應(yīng)知道自己對(duì)消費(fèi)內(nèi)容所享有的權(quán)利,如所有權(quán)、使用權(quán)、拷貝權(quán)、編輯權(quán)和傳遞權(quán)。消費(fèi)者購(gòu)買(mǎi)商品后，應(yīng)有憑據(jù)來(lái)證明消費(fèi)者已經(jīng)付費(fèi)。 (4)安全性問(wèn)題。它需要

26、保證網(wǎng)絡(luò)傳輸過(guò)程中內(nèi)容不被破壞、修改和丟失;在保證交易合法的基礎(chǔ)上,交易雙方都需要認(rèn)證對(duì)方的身份。 上述問(wèn)題與MPEG-21正考慮解決的內(nèi)容不謀而合。電子商務(wù)中的買(mǎi)方、賣(mài)方、中介方在MPEG-21中統(tǒng)稱為用戶；買(mǎi)賣(mài)的商品在MPEG-21中屬于數(shù)字化條目的部分；涉及的買(mǎi)賣(mài)行為在MPEG-21中被稱為使用(Use)。下圖表示電子商務(wù)的交易過(guò)程.用戶1電子化(交易物品,身份,交易過(guò)程等電子化)網(wǎng)絡(luò)管理(提供內(nèi)容的數(shù)字化、查詢、定位、傳輸、交易，電子物品的實(shí)時(shí)傳輸、存儲(chǔ)、交易)認(rèn)證機(jī)構(gòu)(認(rèn)證用戶身份、交易物品、交易過(guò)程及用戶支付的電子貨幣)用戶2用戶nMPEG-21對(duì)電子商務(wù)存在的問(wèn)題網(wǎng)絡(luò)方面: MP

27、EG-21決定由相關(guān)網(wǎng)絡(luò)協(xié)議以及MPEG-2、MPEG-4中的成熟技術(shù)予以支持。內(nèi)容方面: MPEG-21已做明確的要求, 具體實(shí)現(xiàn)正在探討中。相關(guān)問(wèn)題主要集中兩個(gè)方面: 一是對(duì)查詢問(wèn)題的研究, 考慮用MPEG-7的特征描述來(lái)解決。另一方面是對(duì)版權(quán)保護(hù)起關(guān)鍵作用的信息隱藏技術(shù)的研究。專家們分歧較大, 但認(rèn)為身份驗(yàn)證和版權(quán)保護(hù)必不可少。因此, 認(rèn)證問(wèn)題應(yīng)是多媒體框架的重要部分。MPEG-21標(biāo)準(zhǔn)正在探討中, 對(duì)MPEG-21包含的內(nèi)容方面意見(jiàn)比較統(tǒng)一, 內(nèi)容劃分和側(cè)重點(diǎn)方面差異較大。隨著研究的深入, MPEG-21標(biāo)準(zhǔn)問(wèn)題都會(huì)得到解決, 在此基礎(chǔ)上的電子商務(wù)也會(huì)得到越來(lái)越廣泛的應(yīng)用。12.4 智

28、能交互設(shè)備人機(jī)交互中文字的輸入方法對(duì)使用計(jì)算機(jī)的效率有重要影響。文字輸入技術(shù)大致可分為3大類： 鍵盤(pán)輸入法; 手寫(xiě)輸入法; 語(yǔ)音識(shí)別輸入法。鍵盤(pán)輸入是最早使用的文字輸入方法,而且目前仍然是主要使用的輸入技術(shù) 。光學(xué)字符識(shí)別(OCR)OCR技術(shù)主要研究計(jì)算機(jī)自動(dòng)識(shí)別文字的技術(shù)。OCR系統(tǒng)涉及數(shù)字圖象處理、模式識(shí)別和人工智能、認(rèn)知心理學(xué)、體系結(jié)構(gòu)等許多領(lǐng)域。一個(gè)OCR系統(tǒng)可分為3個(gè)部分: (1)預(yù)處理部分; (2)識(shí)別部分; (3)后處理部分漢字OCR的基本方法有以下3類: (1)象素統(tǒng)計(jì)法 (2)結(jié)構(gòu)分析法 (3)智能識(shí)別法 預(yù)處理 模式表達(dá)測(cè)度估計(jì) 字典 判決圖象輸入識(shí)別輸出字符識(shí)別系統(tǒng)工作原

29、理語(yǔ)音交互技術(shù)語(yǔ)音識(shí)別技術(shù)研究起步較晚, 大規(guī)模的研究起始于70年代初期, 近年來(lái)已取得長(zhǎng)足的進(jìn)展。 1997年秋季, IBM公司推出的中文語(yǔ)音識(shí)別系統(tǒng)Viavoice聽(tīng)寫(xiě)系統(tǒng), Viavoice充分運(yùn)用了在語(yǔ)音識(shí)別、模糊處理和人工智能方面的最新成果，能夠把不同人的連續(xù)語(yǔ)音流自動(dòng)識(shí)別、轉(zhuǎn)化為計(jì)算機(jī)文字信息 。語(yǔ)音識(shí)別與合成系統(tǒng)原理 預(yù)處理聲學(xué)參數(shù)分析語(yǔ)音庫(kù)測(cè)度估計(jì)知識(shí)庫(kù)判決語(yǔ)音單元字典語(yǔ)言規(guī)則連接規(guī)則語(yǔ)音輸入識(shí)別輸出文本輸入發(fā)音代碼語(yǔ)音輸出(a)語(yǔ)音識(shí)別系統(tǒng)原理(b)語(yǔ)音合成系統(tǒng)原理12.5 虛擬現(xiàn)實(shí)技術(shù) 虛擬現(xiàn)實(shí)(VR) 或稱虛擬環(huán)境(VE)是由計(jì)算機(jī)生成具有臨場(chǎng)感覺(jué)的環(huán)境，它是一種全新人機(jī)

30、交互系統(tǒng) 。虛擬現(xiàn)實(shí)技術(shù)本質(zhì)上說(shuō)是一種高度逼真地模擬人在現(xiàn)實(shí)生活中視覺(jué)、聽(tīng)覺(jué)、動(dòng)作等行為的交互技術(shù) 。1968年，Ivan Sutherland研制出頭盔式顯示器(HMD)、頭部及手跟蹤器，是用于虛擬環(huán)境技術(shù)的最早產(chǎn)品。 八十年代末以來(lái)隨著計(jì)算機(jī)圖形軟硬件技術(shù)、數(shù)字信號(hào)處理技術(shù)、傳感技術(shù)和跟蹤定位技術(shù)與數(shù)據(jù)手套等三維交互設(shè)備的成熟，VE設(shè)備價(jià)格下降，使VE技術(shù)普及成為可能。模型與系統(tǒng)構(gòu)成從系統(tǒng)的角度來(lái)說(shuō)是顯示/檢測(cè)模型。顯示指系統(tǒng)向用戶提供各種感官刺激; 監(jiān)測(cè)指系統(tǒng)監(jiān)視用戶的各種動(dòng)作,即感知并辯識(shí)用戶的視點(diǎn)變化及頭、手、肢體的動(dòng)作。從用戶角度來(lái)看是輸入/輸出模型。用戶接受系統(tǒng)提供的各種感官刺激

31、(輸入); 用戶動(dòng)作被系統(tǒng)檢測(cè)(輸出) 。當(dāng)前VE提供的感官刺激主要為視覺(jué)、聽(tīng)覺(jué)與部分觸覺(jué)。同時(shí), VE中還提供了檢測(cè)用戶的各種動(dòng)作的檢測(cè)裝置 。典型的虛擬環(huán)境系統(tǒng)由頭盔式立體顯示器、數(shù)據(jù)手套和計(jì)算機(jī)構(gòu)成。 VR參考模型用戶 感覺(jué)器官 肌肉 虛擬環(huán)境(感覺(jué)刺激)(用戶動(dòng)作)VE提供的各種感官刺激感官刺激 說(shuō) 明 顯 示 視覺(jué)感知可見(jiàn)光圖象生成系統(tǒng)，光學(xué)或顯示屏聽(tīng)覺(jué)感知聲波計(jì)算機(jī)控制的聲音合成器耳機(jī)喇叭嗅覺(jué)感知空氣中化學(xué)成分氣味傳遞裝置味覺(jué)感知液體中化學(xué)成分尚未實(shí)現(xiàn)觸覺(jué) 觸覺(jué)皮膚感知的觸摸，溫度，壓力，紋理等 觸覺(jué)傳感顯示器，弱力或溫度變化 動(dòng)覺(jué)肌肉，關(guān)節(jié)，腱感知的力 中到強(qiáng)的力反饋裝置身體感覺(jué)感知肢體或身驅(qū)的位置和角度變化 數(shù)據(jù)衣服 前庭感覺(jué)平衡感知，由內(nèi)耳感知頭部線性加速度和角加速度 動(dòng)平臺(tái) 檢測(cè)用戶的各種動(dòng)作與檢測(cè)裝置 用戶動(dòng)作 檢測(cè)裝置 頭部運(yùn)動(dòng)肢體或軀體運(yùn)動(dòng)指頭動(dòng)作眼球轉(zhuǎn)動(dòng)語(yǔ)言 使力 頭部跟蹤裝置跟蹤器,力反饋裝置,空間球數(shù)據(jù)手套,按鈕裝置,操縱桿,鍵盤(pán)眼球跟蹤器語(yǔ)言識(shí)別裝置帶力傳感器的力反饋裝置 虛擬現(xiàn)實(shí)造型語(yǔ)言(VRML)虛擬現(xiàn)實(shí)造型語(yǔ)言(VRML) 是一種用