淺析多媒體同步技術(shù)

1、百度文庫讓每個(gè)人平等地提升口我 7 7%匕工工省土孕 論文題目：淺談多媒體同步技術(shù) 作者姓名 作者學(xué)號(hào) 指導(dǎo)教師 徐曉霞 201120110221 盧為黨 學(xué)科專業(yè)通信行04 所在學(xué)院信息工程學(xué)院 提交日期 2014年12月10日 摘要： 維持多媒體的同步關(guān)系是對(duì)多媒體通信的一個(gè)重要要求，也是多媒體通信區(qū) 別于傳統(tǒng)通信的一個(gè)重要特征。在多媒體系統(tǒng)中，各種媒體并存，既有視覺方面 的文字、圖像，乂有語音.音樂等信息，多媒體對(duì)象表現(xiàn)的基本思想是以時(shí)間為 主線來安排活動(dòng)的開始.中斷、繼續(xù)、終止等操作，可見，多媒體對(duì)象表現(xiàn)的關(guān) 鍵是確定多媒體對(duì)象在時(shí)間上的順序，即多媒體的時(shí)間同步。 關(guān)鍵詞：多媒體通信同

2、步技術(shù)多媒體信息傳輸 淺談多媒體同步技術(shù) 1、多媒體同步特性 1.1什么是多媒體及多媒體同步 1.1.1多媒體的概念 多媒體在計(jì)算機(jī)系統(tǒng)中，兩個(gè)或兩個(gè)以上的信息和互動(dòng)媒體的人機(jī)交流的媒 體組合。使用的媒體包括文字，圖像，照片聲音，動(dòng)畫和視頻，以及由該計(jì)劃 提供的互動(dòng)功能。 多媒體是計(jì)算機(jī)和視頻技術(shù)相結(jié)合，它實(shí)際上是兩個(gè)媒體；聲音和圖像。多 媒體本身有兩個(gè)方面，和所有現(xiàn)代技術(shù)一樣，它是一個(gè)硬件和軟件，或機(jī)器和思 想混合。多媒體技術(shù)和能力，在概念上可以分為控制系統(tǒng)和信息。多媒體已經(jīng)能 夠?qū)崿F(xiàn)是依靠數(shù)字技術(shù)，多媒體數(shù)字控制和數(shù)字媒體代表的數(shù)字式計(jì)算機(jī)控制系 統(tǒng)的銜接，在當(dāng)今最先進(jìn)的音頻和視頻的存儲(chǔ)和

3、傳輸形式的數(shù)字媒體。 1丄2什么是多媒體同步 能夠?qū)Χ喾N媒體進(jìn)行處理是多媒體系統(tǒng)的基本特征之一。在這些媒體之中文 字、圖形、圖像等是不隨時(shí)間變化的，而聲音或視頻信號(hào)則是時(shí)間的函數(shù)。數(shù)學(xué) 上隨時(shí)間變化的函數(shù)在實(shí)際中表現(xiàn)為一個(gè)數(shù)據(jù)流；數(shù)據(jù)流中各個(gè)相繼的單元之間 有確定的時(shí)問關(guān)系。如果媒體的每個(gè)單元在播放時(shí)所用的時(shí)間都相同，則稱這種 媒體為連續(xù)(continuous)媒體。 一個(gè)多媒體系統(tǒng)至少應(yīng)該能夠支持一種連續(xù)媒體。媒體之間的相互依存關(guān)系, 不只是顯示時(shí)才有，在捕獲、存儲(chǔ)、傳輸和處理過程中也是存在的。不同媒體對(duì) 象之間的相互依存關(guān)系可概括為3類： (1) 內(nèi)容關(guān)系。根據(jù)某一組數(shù)據(jù)既可以列出表格，同

4、時(shí)乂可以畫出曲線，那 么，在計(jì)算機(jī)中只需要保存一份數(shù)據(jù)，而將表達(dá)這組數(shù)據(jù)的方式另作定義，這稱 為指定數(shù)據(jù)間的內(nèi)容關(guān)系。同一組數(shù)據(jù)可以對(duì)應(yīng)于兒個(gè)不同的內(nèi)容關(guān)系。 (2) 空間關(guān)系。主要指不同媒體對(duì)象在顯示中所處的相互位置關(guān)系通常它們 分別在不同的窗口中顯示，而每個(gè)窗口乂允許有縮放.移動(dòng)、激活等功能，這些 復(fù)雜的相對(duì)位置關(guān)系需要有一定的方法來描述。 (3) 時(shí)間關(guān)系。電視中的伴音要求很好地和人的口形動(dòng)作相吻合，幻燈片的 解說詞應(yīng)該與正在顯示的圖像相對(duì)應(yīng)，這是媒體對(duì)象之間必須保持一定時(shí)間關(guān)系 的典型例子。 因此，媒體同步指的是上述3種關(guān)系確立。顯然，在集成了多種媒體的多媒 體系統(tǒng)中，同步是一個(gè)關(guān)鍵性

5、問題。系統(tǒng)的各個(gè)組成部分。例如，操作系統(tǒng)、數(shù) 據(jù)庫、文件系統(tǒng)、傳輸數(shù)據(jù)的通信系統(tǒng)，以至于應(yīng)用程序等，都需要不同層次上 支持媒體的同步。而多媒體通信同步就是使得經(jīng)網(wǎng)絡(luò)傳輸后的多媒體對(duì)象序列仍 能保持原來的約束關(guān)系，在LI標(biāo)結(jié)點(diǎn)上仍能得到和源結(jié)點(diǎn)相同的多媒體表現(xiàn)。 1.2多媒體的同步要求 多媒體的同步要求主要分為多媒體通信同步、多媒體表現(xiàn)同步及多媒體交互 同步等。這些同步功能體現(xiàn)為多媒體同步體系結(jié)構(gòu)中的不同層次的同步要求，山 它們共同來實(shí)現(xiàn)系統(tǒng)中的媒體同步。這兒種同步要求相互影響相互制約，其中， 表現(xiàn)同步和交互同步屬于上層同步，即用戶層同步，是山用戶的需求來決定的一 種大體上的同步。用戶可以對(duì)各個(gè)

6、媒體進(jìn)行編排，山此決定何種媒體何時(shí)以何種 時(shí)空關(guān)系表現(xiàn)岀來。多媒體通信同步則屬于中層同步，即合成同步，它的作用就 是將不同媒體的數(shù)據(jù)流按一定的時(shí)間關(guān)系進(jìn)行合成。多媒體通信同步的要求是分 布系統(tǒng)同步的最基本的要求，是其他同步功能的基礎(chǔ)。 1.3多媒體同步研究的意義 隨著語音，圖像壓縮技術(shù)的不斷突破，和數(shù)據(jù)寬帶移動(dòng)互聯(lián)網(wǎng)的增加，開發(fā) 新一代高品質(zhì)的多媒體移動(dòng)終端的客觀條件已經(jīng)成熟。新一代的終端的研究和應(yīng) 用是在無線互聯(lián)網(wǎng)的同時(shí)音頻和視頻通信的重要方向之一。音頻和視頻對(duì)象的表 現(xiàn)，即動(dòng)態(tài)再現(xiàn)聲音和圖像序列，同步是非常重要的。音頻信息的需求，以保持 其連續(xù)性和變化必須是同步的視頻信息，音頻信息的變化。

7、我們必須在發(fā)送器和 接收器同步控制，恢復(fù)的數(shù)據(jù)之間的時(shí)間同步。因此，多媒體同步研究的問題具 有重要的理論意義和實(shí)踐意義。 2、多媒體同步方法及比較 早期對(duì)多媒體同步的研究主要集中在對(duì)多媒體流的同步，已經(jīng)提出了一些同 步方法。例如分層同步、時(shí)間軸同步.參考點(diǎn)同步等方法，隨著高速網(wǎng)絡(luò)的發(fā)展， 多媒體流在網(wǎng)絡(luò)上或分布式系統(tǒng)中的同步問題變得非常突出。傳統(tǒng)的多媒體流同 步技術(shù)不能解決網(wǎng)絡(luò)多媒體流同步的問題。U前開展這方面的研究也極為活躍。 提出了一些同步方法。 2.1分層同步法 分層同步法是基于分層同步模型基礎(chǔ)上的一種同步方法，主要基于兩種同步 操作：一種是動(dòng)作的串行同步；另一種是動(dòng)作的并行同步。該方法

8、的優(yōu)點(diǎn)是易于 操作并且應(yīng)用廣泛，但其限制是每一個(gè)動(dòng)作只能在起點(diǎn)和終點(diǎn)進(jìn)行同步。這就使 得分層同步法不能支持多媒體對(duì)象內(nèi)部結(jié)構(gòu)的適當(dāng)抽取，從而無法實(shí)現(xiàn)靈活的交 互操作。另外，還存在一些不能由分層結(jié)構(gòu)來描述的同步情況。 在分層同步法中，把多媒體對(duì)象看成一個(gè)樹型結(jié)構(gòu)，由串并行演示子樹組成。 主要基于動(dòng)作的串行同步和動(dòng)作的并行同步兩種操作。動(dòng)作可以是原子的，也可 以是復(fù)合的。原子動(dòng)作管理著一個(gè)媒體或一個(gè)用戶輸入或一個(gè)延時(shí)的播放，復(fù)合 動(dòng)作是原子動(dòng)作和同步操作的組合。 優(yōu)點(diǎn)：層次清晰、管理方便； 缺點(diǎn)：同步僅在動(dòng)作開始和結(jié)束時(shí)進(jìn)行。 2.2時(shí)間軸同步法 時(shí)間軸同步法是基于時(shí)間軸同步模型，是將所有獨(dú)立的對(duì)

9、象依附在一個(gè)時(shí)間 軸上進(jìn)行描述，去掉任何一個(gè)對(duì)象都不會(huì)影響其他對(duì)象的同步。這種同步方法是 維持一個(gè)整體時(shí)間，每個(gè)對(duì)象可以將整體時(shí)間映射到它的局部時(shí)間，并山此局部 時(shí)間表現(xiàn)。當(dāng)局部時(shí)間與整體時(shí)間的誤差超出一個(gè)指定門限時(shí)，則需要重新與整 體時(shí)間進(jìn)行同步。通過時(shí)間軸方法同步的對(duì)象可以較好地從單媒體對(duì)象和多媒體 對(duì)象的內(nèi)部進(jìn)行抽取。然而，多媒體流之間的相關(guān)性使得基于整體時(shí)間的同步方 法不能有效地表述不同流之間的同步情況。 它將互相獨(dú)立的多媒體對(duì)象附加在一個(gè)時(shí)間軸上，丟掉一個(gè)對(duì)象不影響其他 對(duì)象的同步，它維持一個(gè)全局的時(shí)間，每個(gè)對(duì)象都能得到它。每個(gè)對(duì)象可以從全 局時(shí)間映射到局部時(shí)間，沿局部時(shí)間運(yùn)行。當(dāng)全

10、局時(shí)間和局部時(shí)間誤差超過一個(gè) 給定的范圍時(shí)，兩者要重新進(jìn)行同步。它優(yōu)于分層同步法。 2.3參考點(diǎn)同步法 借助參考點(diǎn)的同步可把多媒體對(duì)象分為兩類基本對(duì)象。動(dòng)態(tài)基本對(duì)象山播放 對(duì)象的序列（視頻中幀）組成，周期性岀現(xiàn)。每個(gè)播放對(duì)象的索引叫一個(gè)參考點(diǎn)。 這樣的單一媒體序列的同步叫作對(duì)象的內(nèi)部同步。靜態(tài)基本對(duì)象播放僅有兩個(gè)參 考點(diǎn)，即播放開始和結(jié)束?；緦?duì)象間的同步山參考點(diǎn)定義。一個(gè)參考點(diǎn)及其對(duì) 應(yīng)的基本對(duì)象稱為一個(gè)同步元素，兩個(gè)或兩個(gè)以上的同步元素可結(jié)合為一個(gè)同步 點(diǎn)。一個(gè)完整的對(duì)象之間同步山全部同步點(diǎn)組成的表定義。如果一個(gè)多媒體播放 中對(duì)象總是變化的，用參考點(diǎn)同步就有問題。例如，要插入或刪除視頻圖象

11、中的 一幀，就可能丟失同步。 2.4時(shí)間戳同步法 時(shí)間戳同步法把每個(gè)媒體間的數(shù)據(jù)流單元加進(jìn)統(tǒng)一的時(shí)間戳（時(shí)間碼），具 有相同時(shí)間戳媒體單元同時(shí)進(jìn)行播放，以達(dá)到媒體間同步的訂的。時(shí)間戳同步法 乂分為絕對(duì)時(shí)間戳同步和相對(duì)時(shí)間戳同步。絕對(duì)時(shí)間戳同步使用絕對(duì)時(shí)間標(biāo)識(shí)。 相對(duì)時(shí)間戳同步使用全局時(shí)間和局部時(shí)間標(biāo)識(shí)，它既可用于實(shí)時(shí)多媒體通信，也 可用于多媒體信息存取，還可適應(yīng)于多點(diǎn)通信，即同一信源發(fā)往不同口的地，不 同信源發(fā)往同一接收地。 2.5同步標(biāo)記法 同步標(biāo)記法是在發(fā)送端發(fā)出一個(gè)同步標(biāo)記，接收端接收同步標(biāo)記，用來對(duì)各 個(gè)媒體進(jìn)行同步處理以達(dá)到雙方通信同步的LI的。分為兩種同步標(biāo)記方法：輔助 同步信道方

12、法各媒體在不同信道上傳輸，專門增加一個(gè)信道來傳輸媒體各路同步 標(biāo)記信息，指示各個(gè)媒體信道中的同步參考點(diǎn)。各同步點(diǎn)到達(dá)才開始輸岀。輔助 信道還可傳輸控制信息；插入同步標(biāo)記方法，發(fā)送端在每個(gè)媒體流中插入同步標(biāo) 記，每個(gè)媒體流通過不同信道傳輸，在接收方緩沖存儲(chǔ)數(shù)據(jù)，直到所有信道中的 同步都到達(dá)，才將已同步化的數(shù)據(jù)提交給用戶。 2.6多路復(fù)用同步法 多路復(fù)用同步法將多個(gè)媒體流的數(shù)據(jù)復(fù)用到一個(gè)數(shù)據(jù)流或一個(gè)報(bào)文中，從而 使它們?cè)诙嗝襟w傳輸中自然保持著媒體間的相互關(guān)系，以達(dá)到媒體間同步的LI的。 例如，分組交換網(wǎng)多媒體會(huì)議系統(tǒng)中，為每個(gè)會(huì)議建立一個(gè)多媒體虛電路，發(fā)送 者將所有媒體流多路復(fù)用到該上，復(fù)合成一條

13、順序組織的分組報(bào)文流，保證了媒 體間的同步。到接收端從把各種媒體流解復(fù)用出來，提交給用戶進(jìn)程。虛電路多 路復(fù)用同步方法，接收端無須重新同步，無須全網(wǎng)絡(luò)同步時(shí)鐘，也無須附加同步 信道，故實(shí)現(xiàn)較簡單。 3多媒體同步模型 3.1同步機(jī)制的4層參考模型 圖1：同步機(jī)制的4層參考模型 多媒體信息同步技術(shù)涉及領(lǐng)域較大。同步機(jī)制的4層參考模型如圖1所示， 它山規(guī)定層、對(duì)象層、流層、媒體層4層組成。參考模型為多媒體信息同步技術(shù) 的系統(tǒng)研究提供了可遵循的參照與思路，它規(guī)定了同步機(jī)制所應(yīng)具有的層次關(guān)系 以及各層需要實(shí)現(xiàn)的功能。 (1) 規(guī)定層：山多媒體應(yīng)用生成的時(shí)域場景，是規(guī)定層的對(duì)象。規(guī)定層的核 心是時(shí)域定義方

14、案，其接口為用戶提供了使用時(shí)間模型描述多媒體數(shù)據(jù)時(shí)域約束 關(guān)系的工具，如同步編輯器、多媒體文檔編輯器、著作系統(tǒng)等。規(guī)定層產(chǎn)生的描 述數(shù)據(jù)和定時(shí)要求，經(jīng)山對(duì)象層的適當(dāng)轉(zhuǎn)換后進(jìn)入山對(duì)象層、流層和媒體層所構(gòu) 成的同步機(jī)制。 (2) 媒體層：媒體層的處理對(duì)象是來源于連續(xù)視頻、音頻數(shù)據(jù)碼流的基本信 息單元(BIU)。BIU的大小在一定程度上取決于定時(shí)要求的內(nèi)容，偏差的許可范 圉越小，BIU越小；反之，BIU越大。通常，視頻信號(hào)的BIU為一幀圖像，而音 頻信號(hào)的BIU則是由若干在時(shí)域上相鄰的釆樣構(gòu)成的一個(gè)集合。此外，媒體層 對(duì)BIU的處理通常有時(shí)間限制，因而需要底層服務(wù)系統(tǒng)(如操作系統(tǒng)、通信系 統(tǒng)等)提供

15、必要的資源預(yù)留及相應(yīng)的管理措施。媒體層接口主要負(fù)責(zé)向上提供與 設(shè)備無關(guān)的操作，而媒體層內(nèi)部則主要完成兩項(xiàng)任務(wù)：申請(qǐng)必要的資源與系統(tǒng) 服務(wù)，為該層各項(xiàng)功能的實(shí)施提供支持；媒體層訪問各類設(shè)備的接口，獲取或 提交一個(gè)完整的BIU,例如，當(dāng)設(shè)備代表一條數(shù)據(jù)傳輸通道時(shí)，在發(fā)端媒體層負(fù) 責(zé)將BIU進(jìn)一步劃分成若干適合于網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)包，而收端的媒體層需要將 相關(guān)的數(shù)據(jù)包組合成一個(gè)完整的BIUo (3) 流層：流層的處理對(duì)象是連續(xù)碼流或碼流組，主要完成流內(nèi)部及流間同 步兩項(xiàng)任務(wù)。流內(nèi)同步和流間同步是多媒體同步的關(guān)鍵，因而在同步機(jī)制的3個(gè) 層次中，流層最為重要。流層接口向用戶提供了一些功能函數(shù)，這些函數(shù)將連續(xù)

16、 碼流作為一個(gè)整體來看待，因而對(duì)該流層用戶來說，流層利用媒體層的接口功能 對(duì)BIU所作的各種處理是透明的。當(dāng)多媒體應(yīng)用直接使用流層的各接口功能時(shí)， 連續(xù)數(shù)據(jù)與非連續(xù)數(shù)據(jù)之間的同步控制則山應(yīng)用本身來完成。流層在對(duì)碼流或碼 流組進(jìn)行處理時(shí)，首先需要根據(jù)定時(shí)要求決定BIU的大小以及對(duì)各BIU的處理 方案。此外，流層還要向媒體層提交必要的QoS要求，這種要求山定時(shí)要求推 導(dǎo)岀來，是媒體層對(duì)BIU的處理應(yīng)當(dāng)滿足的條件，如傳輸BIU時(shí)，BIU的最大 延時(shí)及延時(shí)抖動(dòng)范圉等。媒體層將依照流層提交的QoS要求，向底層服務(wù)系統(tǒng) 百度文庫讓每個(gè)人平等地提升口我 申請(qǐng)資源及QoS保障。在執(zhí)行BIU處理方案的過程中，流

17、層負(fù)責(zé)維持連續(xù)媒體 對(duì)象內(nèi)及對(duì)象間的偏差在一定許可范用之內(nèi)，即實(shí)施流內(nèi)與流間的同步控制。 (4) 對(duì)象層：對(duì)象層能夠?qū)Σ煌愋偷拿襟w對(duì)象進(jìn)行統(tǒng)一處理，從而對(duì)用戶 隱藏了連續(xù)媒體對(duì)象和非連續(xù)媒體對(duì)象之間的差異。對(duì)象層的主要任務(wù)是實(shí)現(xiàn)連 續(xù)媒體對(duì)象與非連續(xù)媒體對(duì)象之間的同步以及具體完成對(duì)非連續(xù)媒體對(duì)象的處 理。與流層相比，對(duì)象層同步控制的精度較低。對(duì)彖層在處理多媒體對(duì)象之前, 首先需要完成兩項(xiàng)匚作：山規(guī)定層提供的描述數(shù)據(jù)出發(fā)，推導(dǎo)出必要的調(diào)度方 案。為了確保調(diào)度方案的合理性與可行性，在推導(dǎo)過程中，對(duì)象層除了要以描述 數(shù)據(jù)為根據(jù)外，還要考慮各媒體對(duì)象的統(tǒng)計(jì)特征及定時(shí)要求的內(nèi)容，同時(shí)對(duì)象層 還需要從媒體層了解底層服務(wù)系統(tǒng)現(xiàn)有的資源狀況；進(jìn)行必要的初始化匸作, 對(duì)象層首先將調(diào)度方案及定時(shí)要求中與連續(xù)媒體對(duì)象相關(guān)的部分提交給流層并 要求流層進(jìn)行初始化，然后對(duì)象層將要求媒體層向底層服務(wù)系統(tǒng)申請(qǐng)必要的資源 與QoS保障服務(wù)，并完成其他一些初始化工作。 3.2多媒體的時(shí)序同步模型 以下為兩個(gè)對(duì)象之間的七種典型的時(shí)序關(guān)系： (a)A before B (b) A overlaps B A B