多媒體計(jì)算機(jī)　

第七章多媒體計(jì)算機(jī)

的應(yīng)用技術(shù)

主講：清華大學(xué)鐘玉琢教授

1

第七章多媒體計(jì)算機(jī)

的應(yīng)用技術(shù)

7.1多媒體會(huì)議系統(tǒng)

7.2多媒體數(shù)據(jù)庫(kù)及基于內(nèi)容檢索

2

一、視頻會(huì)議系統(tǒng)的結(jié)構(gòu)和標(biāo)準(zhǔn)

一、視頻會(huì)諛系統(tǒng)的分類

二、視頻會(huì)議系統(tǒng)的結(jié)構(gòu)

三、視頻會(huì)議系統(tǒng)的標(biāo)準(zhǔn)

3

一）視頻會(huì)議系統(tǒng)的分類

根據(jù)通信節(jié)點(diǎn)的數(shù)量，視

頻會(huì)議系統(tǒng)可分為

點(diǎn)對(duì)點(diǎn)視頻會(huì)議系統(tǒng)

多點(diǎn)視頻會(huì)議系統(tǒng)

1.點(diǎn)對(duì)點(diǎn)的視頻會(huì)議系統(tǒng)

點(diǎn)對(duì)點(diǎn)視頻會(huì)議系統(tǒng)支

持兩個(gè)通信節(jié)點(diǎn)間視頻會(huì)議

通訊功能，它的主要業(yè)務(wù)是:

?可視電話

?臺(tái)式機(jī)一臺(tái)式機(jī)視頻會(huì)議

?會(huì)議室一會(huì)議室視頻會(huì)議

2.多點(diǎn)視頻會(huì)議系統(tǒng)

多點(diǎn)視頻會(huì)議系統(tǒng)允許三個(gè)或三個(gè)以

上不同地點(diǎn)的參加者同時(shí)參與會(huì)議。多點(diǎn)

視頻會(huì)議系統(tǒng)一個(gè)關(guān)鍵技術(shù)是多點(diǎn)控制問(wèn)

題，多點(diǎn)控制單元（MCU）在通訊網(wǎng)絡(luò)上

控制各個(gè)點(diǎn)的視頻、音頻、通用數(shù)據(jù)和控

制信號(hào)的流向，使與會(huì)者可以接收到相應(yīng)

的視頻、音頻等信息，維持會(huì)議正常進(jìn)行。

-）視頻會(huì)議系統(tǒng)的結(jié)構(gòu)

視頻會(huì)議系統(tǒng)主要由視頻會(huì)

議終端、多點(diǎn)控制器、信道（網(wǎng)

絡(luò)）及控制管理軟件組成。

視頻會(huì)議系統(tǒng)結(jié)構(gòu)框圖

8

一、視頻會(huì)議系統(tǒng)的結(jié)構(gòu)

終端

多點(diǎn)控制器

信道（網(wǎng)絡(luò)）

控制管理軟件fQOS(QualityofService)

f安全保密

9

三）視頻會(huì)議系統(tǒng)的標(biāo)準(zhǔn)

H.320

LH系列國(guó)際電訊聯(lián)盟ITUH.323

H.324

系列國(guó)際電報(bào)電話

2.TT.120

咨詢委員會(huì)CCITT

3.個(gè)人會(huì)議標(biāo)準(zhǔn)PCS(Personal

ConferencingSpecificatiea==

H.261H.221

H.320標(biāo)準(zhǔn)系列框圖

11

H.261.H.263H.22Z

H.323標(biāo)準(zhǔn)系統(tǒng)框圖

12

H.263H.223

H.324標(biāo)準(zhǔn)系統(tǒng)框圖

13

二、多媒體終端的設(shè)計(jì)的實(shí)現(xiàn)

綜合亞務(wù)多媒體通信終端可以廣

泛用于多媒體通信、交互式分布多媒

體系統(tǒng)，特別是各種計(jì)算機(jī)支持的協(xié)

同工作系統(tǒng)(CSCW)的通用設(shè)備，是

目前世界各國(guó)大力研究的熱點(diǎn)課題。

由于各種技術(shù)發(fā)展較快，因此要求總

體結(jié)構(gòu)設(shè)計(jì)要考慮通用性和可擴(kuò)展性

設(shè)計(jì)一個(gè)視頻會(huì)議系統(tǒng)要解決的問(wèn)題

?綜合業(yè)務(wù)多媒體終端

?多點(diǎn)控制單元MCU

?信道（網(wǎng)絡(luò)）

?控制管理軟件［服務(wù)質(zhì)量QOS

L安全保密

15

綜合業(yè)務(wù)多媒體終端如何設(shè)計(jì)?

■解決視頻音頻輸入問(wèn)題

■解決視頻音頻壓縮編和解碼問(wèn)題

■多媒體信息處理和通訊問(wèn)題

16

1996年3月清華大學(xué)計(jì)算機(jī)系

設(shè)計(jì)實(shí)現(xiàn)了一種綜合業(yè)務(wù)多媒體通

信終端(IMCT),它的方案是：

?①終端的軟、硬件支撐環(huán)境采用多媒

體個(gè)人計(jì)算機(jī)(MPC)與清華大學(xué)和中國(guó)

銀河公司共同設(shè)計(jì)制造的滿足H.320系列

標(biāo)準(zhǔn)的視頻音頻實(shí)時(shí)壓縮和處理卡VC-

1000Ao

1996年3月清華大學(xué)計(jì)算機(jī)系

設(shè)計(jì)實(shí)現(xiàn)了一種綜合業(yè)務(wù)多媒體通

信終端(IMCT),它的方案是：

?②系統(tǒng)應(yīng)用軟件采用模塊化結(jié)構(gòu)，如

視頻討論、多媒體電子郵件、協(xié)同編著

等，可相對(duì)獨(dú)立運(yùn)行，又能集成在一個(gè)

統(tǒng)一的平臺(tái)上。

三、多點(diǎn)控制單元的

―_作原理與實(shí)現(xiàn)技術(shù)

傳統(tǒng)的電話業(yè)務(wù)僅限于點(diǎn)對(duì)

點(diǎn)的通信，為了支持位于不同地

點(diǎn)的多個(gè)成員協(xié)同工作，有必要

把多個(gè)地點(diǎn)連接起來(lái)。為此需要

多點(diǎn)控制單元(MCU一

MultipointControlUnit),也

可稱為橋接設(shè)備，來(lái)提供這種功

能?！?/p>

多點(diǎn)控制單元的

工作原理與實(shí)現(xiàn)技術(shù)

MCU-MultipointControlUnit

主要組成:

1.絡(luò)接口單元

2.多路復(fù)用與解多路復(fù)用

3.視頻、音頻、數(shù)據(jù)、控制密匙及

呼叫處理

犯視頻會(huì)議系統(tǒng)的服務(wù)質(zhì)量

視頻會(huì)議系統(tǒng)是一種分布式多媒體信息管理系

統(tǒng)，或稱分布式多媒體通訊系統(tǒng)。它不僅僅要求

能夠快速傳送視頻、音頻和數(shù)據(jù)，而且要求要能

滿足一定的服務(wù)質(zhì)量，如視頻和音頻連續(xù)媒體，

必須保證在明確規(guī)定的時(shí)間內(nèi)無(wú)差錯(cuò)的傳送給用

戶，以便在終端系統(tǒng)播放具備良好的質(zhì)量。為了

獲得服務(wù)質(zhì)量保證，在業(yè)務(wù)執(zhí)行過(guò)程中，需要對(duì)

計(jì)算機(jī)、網(wǎng)絡(luò)、MCU及終端的各種資源進(jìn)行控制和

管理。

22

1.視頻會(huì)議系統(tǒng)的資源管理

視頻會(huì)議系統(tǒng)需要：

■高數(shù)據(jù)吞吐量：視頻會(huì)議系統(tǒng)中

的視頻和視頻數(shù)據(jù)的特性需要高的

數(shù)據(jù)吞吐量，即使經(jīng)過(guò)壓縮，一個(gè)

視頻數(shù)據(jù)流也需要64Kbit/s到

2Mbits/s的數(shù)據(jù)吞吐率。

視頻會(huì)議系統(tǒng)的資源管理

■實(shí)時(shí)性：視頻會(huì)議系統(tǒng)的終端同時(shí)

要播放視頻、音頻和數(shù)據(jù)信息，這些

信息之間存在較嚴(yán)格的時(shí)間要求，因

此需要為無(wú)差錯(cuò)傳送提供時(shí)間保證。

視頻會(huì)議系統(tǒng)的資源管理

■服務(wù)質(zhì)量保證：用戶使用視頻會(huì)議

業(yè)務(wù)總是和其它業(yè)務(wù)進(jìn)行對(duì)比，如果

不能提供一定的服務(wù)質(zhì)量保證，用戶

就會(huì)選擇其它種類的業(yè)務(wù)，如無(wú)線電、

電話等。

2.視頻會(huì)議系統(tǒng)的服務(wù)質(zhì)量

視頻會(huì)議系統(tǒng)需求是多樣化，多媒體業(yè)

務(wù)也是多樣化，為使這些需求和業(yè)務(wù)能夠定量

化的描述，往往采用參數(shù)化，這樣不必每個(gè)應(yīng)

用都實(shí)行一套新的系統(tǒng)服務(wù)集。為使服務(wù)參數(shù)

化，國(guó)際標(biāo)準(zhǔn)化組織采用服務(wù)質(zhì)量QoS-

QualityofService,到八十年代末，人們開始

從不同角度深入研究QoS,主要集中在QoS管

理，QoS標(biāo)準(zhǔn)，QoS主客觀的統(tǒng)一等問(wèn)題。

在用戶層，一個(gè)網(wǎng)絡(luò)多媒

體系統(tǒng)可能包含三個(gè)抽象層:

應(yīng)用層、系統(tǒng)層（通信和操作

系統(tǒng)）和設(shè)備層（網(wǎng)絡(luò)和多媒

體終端設(shè)備），這三層都需要

考慮QoS參數(shù)

五.視頻會(huì)議系統(tǒng)的安全保密

隨著計(jì)算機(jī)、網(wǎng)絡(luò)、通訊技術(shù)發(fā)展,

視頻會(huì)議系統(tǒng)會(huì)變成協(xié)同合作、信息

交流越來(lái)越方便的手段。它可以廣泛

地用于政府各個(gè)部委、國(guó)防機(jī)構(gòu)、工

商企業(yè)等，會(huì)議內(nèi)容常常會(huì)涉及到許

多國(guó)家機(jī)密、軍事情報(bào)、商業(yè)秘密及

私人信息等。因此，安全保密問(wèn)題是

視頻會(huì)議系統(tǒng)的一個(gè)重要問(wèn)題O

視頻會(huì)議系統(tǒng)中安全保密結(jié)構(gòu)圖

密鑰密鑰

.初始矢量

29

第七章多媒體計(jì)算機(jī)

的應(yīng)用技術(shù)

7.1多媒體會(huì)議系統(tǒng)

7.2多媒體數(shù)據(jù)庫(kù)及基于內(nèi)容檢索

30

一、多媒體數(shù)據(jù)庫(kù)的關(guān)鍵技術(shù)

1.多媒體數(shù)據(jù)大容量的存儲(chǔ)技術(shù)

(1).光盤存儲(chǔ)子系統(tǒng)和高速大容

量磁盤、光盤庫(kù)保存時(shí)間很長(zhǎng)。

(2).超媒體文檔和超媒體數(shù)據(jù)庫(kù)

的隨機(jī)存取、檢索、存儲(chǔ)盤標(biāo)識(shí)和關(guān)

系數(shù)據(jù)庫(kù)。在設(shè)計(jì)上僅支持表結(jié)構(gòu)的

字母數(shù)字?jǐn)?shù)據(jù)。

31

多媒體數(shù)據(jù)的管理

(1).關(guān)系數(shù)據(jù)庫(kù)支持表結(jié)構(gòu)的字

母數(shù)字?jǐn)?shù)據(jù)。缺乏安全性和完整性,

受到并發(fā)性和事物控制的影響。

SQL中沒有對(duì)BLOB處理的協(xié)議。

解決辦法：將SQL非過(guò)程性語(yǔ)言

和面向?qū)ο蟮臄?shù)據(jù)庫(kù)結(jié)合起來(lái)。

多媒體應(yīng)用程序的數(shù)據(jù)庫(kù)組織

多媒體系統(tǒng)數(shù)據(jù)組織:

(1).數(shù)據(jù)獨(dú)立

(2).通用分布式數(shù)據(jù)庫(kù)結(jié)構(gòu)

(3).多媒體對(duì)象管理

(4).多重?cái)?shù)據(jù)服務(wù)器

生且媒體系纏的事務(wù)管理

事物用戶發(fā)出請(qǐng)求創(chuàng)建、表

現(xiàn)（顯示或播放）、編輯或打印一超

媒體文檔開始的一系列事件。

多媒體事物處理器中基于對(duì)象的

方法：

HDD超媒體顯示對(duì)象一提出事務(wù)

請(qǐng)求一建立TCO（事務(wù)控制

對(duì)象）以處理整個(gè)請(qǐng)求

5.超媒體技術(shù)管理

超媒體記錄或文檔包含多媒體對(duì)象

（多個(gè)對(duì)象）。

對(duì)象：放到記錄、文檔中

、嵌入一個(gè)引用一對(duì)象存放到新建

的數(shù)據(jù)庫(kù)中

好處是對(duì)象被許多記錄和文檔所共享。

文檔和數(shù)據(jù)包括：引用和指向?qū)?/p>

象的鏈、對(duì)象類型、對(duì)象的標(biāo)識(shí)號(hào)、

存儲(chǔ)位置、對(duì)象大小、創(chuàng)建它的服

務(wù)器、創(chuàng)建對(duì)象應(yīng)用程序、創(chuàng)建時(shí)

間和日期、顯示播放特性（壓縮方法、

分辨率）、查找索引信息。

二、多媒體數(shù)據(jù)庫(kù)基于內(nèi)容檢索概述

web上出現(xiàn)大量多媒體信息,

例如：遙感、醫(yī)療、安全、商業(yè)

等部門，都會(huì)產(chǎn)生大量信息。

37

IBM公司開發(fā)的QBIC是最具代

通過(guò)友好的界面為用戶提供

顏色、紋理、草圖、形狀等多種

檢索方法。

系統(tǒng)以示例方式進(jìn)行查詢，

查找物體的移動(dòng)，攝影機(jī)的操作。

38

.美國(guó)加州大學(xué)伯克利分校與

加州水資源部合作

Chabot計(jì)劃，對(duì)水利資源部

大量圖象提供基于內(nèi)容的有效檢

索手段。

3.麻省理工學(xué)院

Photobook可以利用人臉

Face（臉卜shape（形狀）、

texture（聶理）進(jìn)行基于內(nèi)容

的檢索。Virage系統(tǒng)又進(jìn)一

步發(fā)展了將多種檢索特征的

融合。

40

4.澳大利亞NewSouthWales

澳大利亞NewSouth

Wales（新南威爾士大學(xué)）已開發(fā)

了NUTTAB系統(tǒng)。

用于食品成分?jǐn)?shù)據(jù)庫(kù)的檢索。

5.清華大學(xué)計(jì)算機(jī)系

清華大學(xué)計(jì)算機(jī)系結(jié)合863

高技術(shù)研究發(fā)展項(xiàng)目“Web上基

于內(nèi)容圖像檢索”的研究。

Internet/1ntranet通過(guò)友

好的人機(jī)界面可以顏色、紋理

或樣本圖像進(jìn)行圖像檢索。

目前該系統(tǒng)已可對(duì)12000張學(xué)物照

井高維特征建玄孑Gss—索引。

采用Java語(yǔ)言來(lái)實(shí)現(xiàn)人機(jī)交互模

塊。通過(guò)瀏覽器為用戶提供界面。

檢索請(qǐng)求轉(zhuǎn)換為cbExpr基于內(nèi)

容的檢索表達(dá)式，通過(guò)檢索引擎處理

與網(wǎng)絡(luò)延遲相比，檢索時(shí)間基本上可

以忽略，體現(xiàn)了較好的實(shí)時(shí)性。

43

基于內(nèi)容檢索的系統(tǒng)結(jié)構(gòu)

現(xiàn)有的許多多媒體數(shù)據(jù)庫(kù)系

統(tǒng)只提供基本媒體的描述、關(guān)鍵

字一類的檢索和查詢，但很多的

應(yīng)用要求數(shù)據(jù)庫(kù)系統(tǒng)能對(duì)圖像或

聲音等媒體進(jìn)行內(nèi)容語(yǔ)義分析,

已達(dá)到更深的檢索層次。因而有

必要討論多媒體數(shù)據(jù)庫(kù)基于內(nèi)容

的檢索與查詢方法。

基

于

內(nèi)

容

檢

索

的

體

媒體庫(kù)］特征置、知識(shí)庫(kù)系

數(shù)據(jù)庫(kù)生成子系統(tǒng)?數(shù)據(jù)庫(kù)查詢子系統(tǒng)結(jié)

構(gòu)

圖6.4基于內(nèi)容檢索的體系結(jié)構(gòu)

特

征

調(diào)

整用戶的查詢說(shuō)明

示例

，?

重?一般性描述

新

匹

配

的

處

理

過(guò)

程

(1).首先由用戶提交查詢要求,

或啟用上述的查詢接口:

交互式輸入方式

模板選擇輸入方式

特征樣板輸入方式

(2).相似性匹配

將查詢的特征與數(shù)據(jù)庫(kù)

中的特征按照一定的匹配算

法進(jìn)行匹配。

(3).返回候選結(jié)果

滿足一定相似性的一組候選結(jié)果,