多媒體技術原理及應用

多媒體技術原理及應用第1頁，共56頁，2023年，2月20日，星期一9.1概述

1.歷史與現(xiàn)狀

現(xiàn)代通信技術以電報(1835年)和電話(1876年)出現(xiàn)為誕生的標志計算機技術和通信技術結合產(chǎn)生了一批種類不同用途各異的通信網(wǎng)絡形式和通信業(yè)務2.多媒體對通信的影響

(1)多媒體數(shù)據(jù)量；(2)多媒體實時性；(3)多媒體時空約束；(4)多媒體交互性；(5)多媒體分布式處理和協(xié)同工作要求。第2頁，共56頁，2023年，2月20日，星期一實現(xiàn)途徑

(1)話路+視頻→多媒體通信；(2)網(wǎng)絡+視頻→多媒體通信；(3)有線電視+交換功能→多媒體通信。關鍵技術

(1)聲音、視頻、動畫等的傳輸技術；(2)數(shù)據(jù)壓縮和解壓縮技術；(3)解決多媒體實時同步問題；(4)解決協(xié)議和標準化問題。

第3頁，共56頁，2023年，2月20日，星期一9.2可視電話系統(tǒng)

理想的多媒體通信方式是人們可以在任何地點，任何時間通過網(wǎng)絡進行多媒體信息交換。為了使電話網(wǎng)能傳送視頻信號，人們很早就開始可視電話的研究。由于傳輸線路性能的局限性，可視電話一直沒能廣泛應用。隨著多媒體技術和通信網(wǎng)的發(fā)展，可視電話會越來越普及。第4頁，共56頁，2023年，2月20日，星期一9.2.1可視電話系統(tǒng)的組成原理

1.可視電話分類與組成

語音處理部分圖像輸入部分圖像輸出部分

圖像信號處理部分

第5頁，共56頁，2023年，2月20日，星期一2.可視電話控制器

(1)圖像信號A/D和D/A轉換；(2)幀存儲器；(3)信源編碼/解碼；(4)信道編碼/解碼；(5)調(diào)制/解調(diào)；(6)轉輸信道。

第6頁，共56頁，2023年，2月20日，星期一圖9.1可視電話控制器功能框圖

幀儲存器A/DD/A信源編碼解碼信道編碼解碼調(diào)制解調(diào)攝像顯示模擬信道(公用電話網(wǎng))數(shù)字信道(ISDN)數(shù)字網(wǎng)第7頁，共56頁，2023年，2月20日，星期一9.2.2靜止圖像傳輸靜止圖像傳輸?shù)倪^程：在發(fā)送端攝得的圖像首先經(jīng)A/D轉換，把模擬信號變成數(shù)字信號后存入幀存儲器，即把活動圖像凍結，獲取一幀畫面，并高速寫入數(shù)字存儲器；該靜止圖像以低速讀出，經(jīng)信源編碼和信道編碼后送到電話線上傳送；在接收端，接收信號經(jīng)解調(diào)、解碼恢復成原來的數(shù)字信號后，再送入幀存儲器，然后反復以高速讀出，D/A變換后送往顯示器或監(jiān)視器；在顯示器上顯示出原來的靜止圖像。第8頁，共56頁，2023年，2月20日，星期一靜止圖像傳輸原理主要是利用幀存儲器來改變信號的時間軸，把快信號變成慢信號，頻帶相應由寬變窄，使其能在電話線上傳送，這實際上是利用延長時間軸的方法傳輸要求寬帶的大數(shù)據(jù)量的數(shù)字圖像信號。傳輸時，會引起聲音中斷，因而要求高速傳輸圖像信號。可從兩方面予以解決：

圖像處理；

通信處理。

第9頁，共56頁，2023年，2月20日，星期一9.2.3動態(tài)圖像傳輸技術ISDN的應用為動態(tài)圖像的傳輸開辟了廣闊的前景，可視電話正朝看動態(tài)圖像方向發(fā)展。早期編碼/解碼無標準，互不兼容，無法通信。為此CCITT制訂了H.261標準，它規(guī)定了視頻編碼傳輸速度。目前H.262(MPEG-2)，H.263(低速線路)等標準提供了不同速率的視頻編碼技術.第10頁，共56頁，2023年，2月20日，星期一9.3視頻會議系統(tǒng)

視頻會議系統(tǒng)是一種在位于兩個或多個地點的一群用戶之間提供語音和運動彩色畫面的雙向實時傳送的視聽會話型電信會議業(yè)務。早期的視頻會議系統(tǒng)推廣受到很大的限制。CCITT為視聽通信系統(tǒng)制定了H.261標準，解決了不同廠商產(chǎn)品兼容性問題，為其普及打下良好的基礎。第11頁，共56頁，2023年，2月20日，星期一商品化的視頻會議系統(tǒng)(1)高檔會議室型–—DDN，專網(wǎng)，300K~2M。(2)桌面會議系統(tǒng)–—DDN，ISDN(112~768K) 或LAN(384K)。(3)可視電話型–—

PSTN(28.8，33.6K)。第12頁，共56頁，2023年，2月20日，星期一1990年12月，ITU-T批準了在窄帶ISDN上進行視聽業(yè)務的標準H.320建議視頻會議系統(tǒng)的組成

視頻編解碼器及附屬設備；音頻編解碼器及附屬設備；信息通訊設備；多路復用/信號分離設備；用戶/網(wǎng)路接口；多點控制設備(MCU)；系統(tǒng)控制部分。第13頁，共56頁，2023年，2月20日，星期一圖9.2多點視頻會議系統(tǒng)視頻輸入輸出設備視頻編解碼器音頻輸入輸出設備音頻編解碼器時延用戶/網(wǎng)絡接口多路復用/信號分離設備信息通信設備系統(tǒng)控制會議電視終端設備B會議電視終端設備CMCU會議電視終端設備A傳輸信道H.320建議H.261H.221G.703G.711，G.722.G.728H.242.H.230，H.221.H.243.H.281T.120系列H.200/AV.270第14頁，共56頁，2023年，2月20日，星期一ITU多媒體通信標準

ITU從1990發(fā)布了H系列、G系列、T系列等規(guī)范，形成了多媒體視頻會議系統(tǒng)標準體系，解決了不同系統(tǒng)的互通問題。H.320系統(tǒng)的其他相關協(xié)議包括：H.243–—多個終端與MCU之間的通信規(guī)程；H.230–—幀同步控制與指示信號；H.233–—視聽業(yè)務的加密系統(tǒng)；H.234–—視聽業(yè)務的密鑰管理與認證；H.281–—

會議電視遠端攝像機控制規(guī)程。等等第15頁，共56頁，2023年，2月20日，星期一H.320系統(tǒng)在N-ISDN的64Kbps(B信道)、384Kbps(H0信道)和1536/1920Kbps(H11/H12信道)上提供視聽業(yè)務。這是ITU最早批準的視頻會議系統(tǒng)標準，因而被廣泛應用。其他標準H.323—運行在LAN/Intranet的視頻會議框架標準H.324—運行在低速率傳統(tǒng)電話線和無線通信信道上的視頻會議框架標準；H.321/H.310—ATM環(huán)境規(guī)定了2種可視通信協(xié)議。第16頁，共56頁，2023年，2月20日，星期一視頻會議系統(tǒng)的基本功能

視頻會議系統(tǒng)工作時，各會議點的多媒體終端將反映各個會場的主要場景、人物及有關資料的圖像以及發(fā)言者的聲音同時進行數(shù)字化壓縮；根據(jù)視頻會議的控制模式，經(jīng)過數(shù)字通信系統(tǒng)，沿指定方向進行傳輸；同時在各個會議點的多媒體計算機上，通過數(shù)字通信系統(tǒng)實時接收解壓縮多媒體會議信息，并在其監(jiān)視器上實時顯示出指定會議參加方的會議室場景、人物圖像、圖片和語音。第17頁，共56頁，2023年，2月20日，星期一

視頻顯示的轉換控制的3種模式：(1)語音激活模式

或稱自動模式；(2)主席控制模式；

(3)講課模式。第18頁，共56頁，2023年，2月20日，星期一9.4多媒體網(wǎng)絡

9.4.1概述計算機網(wǎng)絡：通過通信線路將多臺地理上分散的獨立工作的計算機互聯(lián)起來，以達到通信和共享資源的目的，這樣一個松散耦合的系統(tǒng)就叫計算機網(wǎng)絡。多媒體網(wǎng)絡：將多臺地理上分散的具有處理多媒體功能的計算機和終端通過高速通信線路互聯(lián)起來，以達到多媒體通信和共享多媒體資源的網(wǎng)絡。

第19頁，共56頁，2023年，2月20日，星期一多媒體網(wǎng)絡發(fā)展：(1)1980年—1990年，局域網(wǎng)(10Mbps)，以Ethernet、Novell、TokenRing為代表，傳輸線路以雙絞線和同軸電纜為主，傳送的信息媒體以正文為主。廣域網(wǎng)Internet傳送正文，提供文件和Email服務。(2)1990年—2000年，高速局域網(wǎng)(100Mbps)，窄帶ISDN光纖網(wǎng)絡，提供瀏覽、圖形、聲音、電子郵件和靜止圖像傳送。(3)2000年—2010年，B-ISDN，寬帶IP，高速光纖網(wǎng)絡，提供視頻圖像傳輸和實時多媒體服務。第20頁，共56頁，2023年，2月20日，星期一9.4.2現(xiàn)有網(wǎng)絡對多媒體通信的支持

電話交換網(wǎng)Ethernet(以太網(wǎng))分組交換網(wǎng)FDDI(光纖分布式接口)ISDN第21頁，共56頁，2023年，2月20日，星期一1.電話交換網(wǎng)

電話網(wǎng)是通信網(wǎng)的基礎，它的組成部分包括傳輸線路、交換機和用戶終端。結構有星型網(wǎng)、網(wǎng)狀網(wǎng)、樹型網(wǎng)及復合網(wǎng)多種。電話網(wǎng)本質上是用于模擬語音通信的，經(jīng)調(diào)制解調(diào)將二進制數(shù)據(jù)調(diào)制成模擬信號在電話網(wǎng)中傳送。電話網(wǎng)一般由若干級交換中心組成自動交換網(wǎng)，再通過端局連接到各個電話用戶。電話接續(xù)方式為電路交換，目前電話交換網(wǎng)功能及性能不斷擴充，支持多種電信業(yè)務。但對多媒體業(yè)務支持能力較差。第22頁，共56頁，2023年，2月20日，星期一圖9.3我國電話網(wǎng)路的等級結構第23頁，共56頁，2023年，2月20日，星期一2.Ethernet(以太網(wǎng))

以太網(wǎng)1978年提出。典型的結構為總線方式，現(xiàn)有星形連接方式以適應電話線的結構方式。傳輸速率為10Mbps，最大站間距離為1500米，可通過中繼器擴展網(wǎng)絡覆蓋范圍。訪問控制方法為CSMA/CD，既可單點通信，又可單點對多點廣播。10BASE-T以太網(wǎng)范圍和速度有限，不能完全適應多媒體通信實時性要求和媒體種類變換的要求，但對靜態(tài)媒體的傳輸效果還可以。第24頁，共56頁，2023年，2月20日，星期一100BASE-T是由快速以太網(wǎng)聯(lián)盟開發(fā)的100Mbps高速以太網(wǎng)，組成的LAN較好地支持多媒體通信，IEEE已將100BASE-T確定為IEEE802.3u標準。千兆以太網(wǎng)聯(lián)盟開發(fā)的1000Mbps以太網(wǎng)技術，已作為IEEE802.3z和802.3ab標準，千兆以太網(wǎng)技術顯著地提高了網(wǎng)絡的可用帶寬，可用在任何規(guī)模的局域網(wǎng)的通信中。但以太網(wǎng)沒有提供QoS的支持，這對多媒體通信來說是一種缺陷。第25頁，共56頁，2023年，2月20日，星期一圖9.4以太網(wǎng)構成重發(fā)器重發(fā)器服務器第26頁，共56頁，2023年，2月20日，星期一3.分組交換網(wǎng)X.25PSN(分組交換網(wǎng))是大型的計算機網(wǎng)絡，它由數(shù)據(jù)交換節(jié)點和連接它們的各種不同信道組成。數(shù)據(jù)傳輸速率在500Kbps到2～3Mbps。CCITT對分組交換的特點：

(1)所有報文必須劃分為分組。每個分組的大小一般有一定的限制(如1000bits左右)；(2)分組必須附加目的地址、分組編號及校驗碼等控制信息，且有標準格式；(3)按存儲—轉發(fā)方式傳遞分組，由于分組長度較短，利用高速傳輸實時性較好；(4)各分組可通過不同的傳輸途徑先后到達目的地。第27頁，共56頁，2023年，2月20日，星期一傳統(tǒng)的X.25分組交換網(wǎng)非常適合于數(shù)據(jù)傳輸，但存在著傳輸速率低、網(wǎng)絡時延大、吞吐量小以及通信費用高等缺點，很難滿足多媒體通信的要求。新的分組交換技術，如幀中繼(FR)、ATM等提高了分組交換技術的性能。其中FR是一種支持HDLC規(guī)程的寬帶數(shù)據(jù)業(yè)務標準，它一方面繼承了X.25的優(yōu)點，如提供統(tǒng)計復用功能、永久虛電路、交換虛電路等，另一方面又改進了X.25的性能。幀中繼業(yè)務兼有X.25分組交換業(yè)務和電路交換業(yè)務的長處，在實現(xiàn)上又比ATM簡單，是現(xiàn)階段數(shù)據(jù)交換網(wǎng)升級的有效途徑。第28頁，共56頁，2023年，2月20日，星期一圖9.5分組交換網(wǎng)與PSN示意圖第29頁，共56頁，2023年，2月20日，星期一4.FDDI(光纖分布式接口)

FDDI實際上是以光纖為傳輸媒介的、速率為100Mbps的令牌環(huán)局域網(wǎng)的ANSI標準。IEEE已將FDDI確定為IEEE802.8標準。它既可用于主機與外圍設備之間、各主機之間的互連，又可作為主干網(wǎng)，實現(xiàn)了多個LAN連接。FDDI是一種提供面向連接傳輸服務的高速局域網(wǎng)，固定分配通信信道帶寬。16個面向連接服務，每個6.144Mbps。由于它專用于數(shù)據(jù)傳輸，不能為不同媒體選擇不同協(xié)議、不能動態(tài)分配帶寬，所以對多媒體通信支持有局限性。第30頁，共56頁，2023年，2月20日，星期一圖9.6FDDI結構及應用節(jié)點機PABXCTVCTV數(shù)據(jù)交換機………2MbpsTELTELFAXFAX2Mbps會議電視FDDI以太網(wǎng)以太網(wǎng)以太網(wǎng)第31頁，共56頁，2023年，2月20日，星期一

5.

ISDNITUISDN定義：ISDN是以提供端到端連接的電話網(wǎng)IDN為基礎發(fā)展而成的通信網(wǎng)，用以支持電話及非話的多種業(yè)務。用戶對通信網(wǎng)有一個由有限個標準多用途的用戶/網(wǎng)絡接口構成的出入口：(1)基本速率接口(BRI)2B+D，即2個傳輸用戶信息的64Kbps的B通道，1個傳輸?shù)退贁?shù)據(jù)信息的16Kbps的D通道共計144Kbps，距離在7km之內(nèi)；(2)基群速率接口(PRI)30B+D，主要面向設有PBX(用戶小交換機)或具有召開電視會議用的高速信道等需要大業(yè)務量的用戶。

第32頁，共56頁，2023年，2月20日，星期一9.4.3B-ISDN及ATM

1.B-ISDNB-ISDN的寬帶業(yè)務常指其傳輸速率超過一次群速率的業(yè)務。可利用H21(32.768Mbps)，H22(43～45Mbps)，H4(132~138.24Mbps)等固定速率通路來傳送以動態(tài)圖像為主的編碼信息，其中H21，H22適合傳送現(xiàn)有的廣播電視信號，H4用來傳輸HDTV信號。第33頁，共56頁，2023年，2月20日，星期一圖9.7各類應用及速率要求信息速率ISDNB-ISDN10Kbps，100kbps，1Mbps10Mbps，100Mbps傳送連續(xù)快信息語音TV電話、TV會議FAXCATVHDTV傳送數(shù)據(jù)信息CAD/CAM低速數(shù)據(jù)LAN間通信高速數(shù)據(jù)可視圖文靜態(tài)圖像檢索高清晰度圖像傳送多路信息多媒體多路通信第34頁，共56頁，2023年，2月20日，星期一2.ATM交換技術

B-ISDN中交換主要是高速分組交換、高速電路交換、異步傳輸模式(ATM)和光交換技術。在電路交換模式中收發(fā)兩端之間建立了一條傳輸速率固定的信息通路。在通信過程中，不論是否發(fā)送信息，該通路均被某呼叫所獨占，這種傳輸模式稱同步傳輸模式(STM)。第35頁，共56頁，2023年，2月20日，星期一

ATM采用的對策(1)以固定長度的信元發(fā)送信息，能適應任何速率。信元長為53B，其中5B為信元頭，其余48B為數(shù)據(jù)。(2)在協(xié)議處理上用硬件對頭部信息進行識別，采用光纖高速傳輸，不用誤碼控制和流量控制，大大降低了時延，使信息傳送速度快、容量大。(3)盡量采用簡單協(xié)議，靈活性強，用戶可以應用從零到極限速率的任一有效碼速，并可根據(jù)需要靈活地配置網(wǎng)絡接口所用的帶寬，使帶寬“按需分配”。第36頁，共56頁，2023年，2月20日，星期一

ATM的優(yōu)點(1)用戶信息進入網(wǎng)絡具有高度的靈活性。由于不再有通路速率的限制，任何輸出速率終端都可以進網(wǎng)通信。(2)可動態(tài)分配和更有效地利用網(wǎng)絡資源。

ATM本質上是一種高速分組傳輸模式，與分組長度可變的X.25分組交換相比：

(1)它不采用通常存儲/轉發(fā)方式而使用硬件交換；(2)ATM將分組交換協(xié)議簡化，無誤碼流量控制。

第37頁，共56頁，2023年，2月20日，星期一

圖9.8ATM的信元

第38頁，共56頁，2023年，2月20日，星期一3.ATM視聽業(yè)務標準

ATM是ITU-T建議的B-ISDN傳輸模式，因此制定ATM環(huán)境下的視聽系統(tǒng)和終端的標準很有必要。該標準不僅應保證ATM環(huán)境下不同系統(tǒng)的互通，而且具有連接在其他類型網(wǎng)絡上的終端之間的互操作性，首先是具備與已廣泛應用的H.320系統(tǒng)的互操作性。ITU-T為ATM環(huán)境規(guī)定了2種系統(tǒng)：

(1)H.321它將H.320終端適配到B-ISDN中，即除了網(wǎng)絡接口和呼叫控制外，其余部分還保持H.320終端所使用的協(xié)議。(2)H.310它定義了B-ISDN上的系統(tǒng)和終端，包括一個H.320/H.321互操作模式，和一個ATM本地模式，即完全在ATM環(huán)境下的模式。H.310包括與320終端互通的部分，是H.321的一個超集。第39頁，共56頁，2023年，2月20日，星期一

圖9.9H.310終端協(xié)議參考模型

第40頁，共56頁，2023年，2月20日，星期一9.5多媒體通信網(wǎng)的QoS

服務質量(QoS)是說明多媒體性能目標的元組，通過該元組的性能說明，可以對通信系統(tǒng)性能進行指定不同應用有不同的QoS要求第41頁，共56頁，2023年，2月20日，星期一9.5.1多媒體信息傳輸對網(wǎng)絡的要求(1)

吞吐量(throughput)

網(wǎng)絡傳輸二進制信息的速率，又稱比特率或帶寬。支持不同應用的網(wǎng)絡應滿足不同吞吐量需求：圖像傳輸：HDTV(MPEG2，20~40Mbps)；演播室質量的普通電視(MPEG2，6~8Mbps)；廣播質量電視(MPEG2，3~6Mbps)；錄像質量電視(MPEG1，1.4Mbps)；

會議質量電視(H.261，128Kbps)。第42頁，共56頁，2023年，2月20日，星期一

聲音傳輸：話音(帶寬限制在3.4KHz內(nèi)，壓縮后到4~32Kbps)；高質量的話音(50Hz~7KHz，48~64Kbps)；CD質量的音樂(20KHz，MPEG~1，128~192Kbps)；5.1聲道立體環(huán)繞聲(3~20KHz，AC-3，320Kbps)。(2)

延時(Delay)傳輸延時定義為信源發(fā)出第一個比特到信宿接收到第一個比特之間的時間差。

網(wǎng)絡的單程傳輸延時應在100~500ms，一般250ms；交互式多媒體應用，系統(tǒng)對用戶指令響應1~2s。第43頁，共56頁，2023年，2月20日，星期一

(3)

延時抖動(Delayjitter)網(wǎng)絡傳輸延時的變化。一般來講，人耳對聲音抖動比較敏感，人眼對視頻抖動不很敏感。參考指標：CD質量聲音，小于100ms；電話質量聲音，小于400ms；嚴格要求的應用(如虛擬現(xiàn)實)，抖動小于20~30ms。HDTV圖像，小于50ms；廣播質量電視，小于100ms；會議質量電視，小于400ms。

第44頁，共56頁，2023年，2月20日，星期一

(4)

錯誤率(ErrorRate)誤碼率BER，從一點到另一點的傳輸過程中所殘留的錯誤比特的頻數(shù)。如光纜傳輸，10-9~10-12的范圍。包錯誤率BER，指同一個包兩次接收、包丟失、或包的次序顛倒而引起的包錯誤。包丟失率PLR，指包丟失而引起的包錯誤。參考指標：壓縮的CD質量聲音，BER小于1/10000；未壓縮的CD質量聲音，BER小于1/1000；電話質量聲音，BER小于1/100。壓縮的HDTV圖像，BER小于10-10；壓縮的廣播質量電視，BER小于10-9；壓縮的會議質量電視，BER小于10-8。第45頁，共56頁，2023年，2月20日，星期一9.5.2服務質量(QoS)描述

ITU將QoS定義為決定用戶對服務的滿意程度的一組性能參數(shù)。兩種描述方法：確定性描述：

QoS參數(shù)<=Upper_boundQoS參數(shù)>=Lower_bound

統(tǒng)計性描述：Prob[QoS參數(shù)<=Upper_bound]>=Prob_boundProb[QoS參數(shù)>=Lower_bound]>=Prob_bound第46頁，共56頁，2023年，2月20日，星期一9.6分布式多媒體系統(tǒng)

分布式處理使通信和計算機兩個領域都發(fā)生深刻變化，并產(chǎn)生了一批新的應用領域，如實時會議系統(tǒng)、計算機協(xié)同工作系統(tǒng)、電子報紙共編和發(fā)行系統(tǒng)、家庭信息服務和娛樂等。第47頁，共56頁，2023年，2月20日，星期一9.6.1分布式多媒體系統(tǒng)概述

1.分布式多媒體系統(tǒng)的基本特征所謂分布式處理就是要將所有介入到分布處理過程中的對象、處理及通信都統(tǒng)一控制起來，對合作活動進行有效地協(xié)調(diào)，使所有任務都能正常地完成。分布式多媒體系統(tǒng)有以下基本特征：(1)多媒體集成性；(2)資源分散性；(3)運行實時性；(4)操作交互性；(5)系統(tǒng)透明性。第48頁，共56頁，2023年，2月20日，星期一2.分布式處理中的協(xié)同工作

分布系統(tǒng)的建立與控制是建立在網(wǎng)絡基礎上的，與用戶交互有關的分布式應用的控制與協(xié)調(diào)。對這種分布式系統(tǒng)從時間和空間概念分類

時間空間同時不同時同地點面對面交互異步交互不同地點同步分布式交互異步分布式交互表9.2分布處理的時空分類第49頁，共56頁，2023年，2月20日，星期一4種不同情況(1)同時同地點。不是分布處理，屬于像電化教室這樣的應用。(2)不同時同地點?？梢钥醋饕环N異步式的交互方式，可以是本機留言或電子布告，是同地點的交互，不屬于分布處理。(3)不同時不同地點。存在用戶有目的地尋找路徑和目的地的動作，屬于分布式處理的范疇。不需實時處理，只需存儲轉發(fā)。典型應用如電子郵件。(4)同時不同地點。第50頁，共56頁，2023年，2月20日，星期一9.6.2分布式多媒體系統(tǒng)的實現(xiàn)模型

1.開放分布處理參考模型