多媒體通信同步技術(shù)

1、第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 第第9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 9.1 概述概述 9.2 多媒體同步參考模型多媒體同步參考模型 *9.3 同步的描述方法同步的描述方法 *9.4 多媒體同步控制機(jī)制多媒體同步控制機(jī)制 練習(xí)與思考題練習(xí)與思考題 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 9.1 概概 述述 多媒體系統(tǒng)中集成了具有各種不同時態(tài)特性的媒體， 這些媒體有依賴于時間的媒體(例如視頻、 音頻、 動畫等)和獨(dú)立于時間的媒體(例如文本、 靜止圖像、 表格等)。 媒體對象的時間相關(guān)性可能隱藏在建立過程中， 也可能由用戶自己定義。 在單一的媒體系統(tǒng)

2、中， 所有的媒體表現(xiàn)出同樣的時態(tài)行為， 時間并不需要特別的注意。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 隨著多媒體系統(tǒng)的發(fā)展， 媒體間的各種時態(tài)關(guān)系變得越來越復(fù)雜。 任何一種情況下， 媒體對象的時間相關(guān)性必須在多媒體系統(tǒng)中得到體現(xiàn)和支持。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 多媒體數(shù)據(jù)多媒體數(shù)據(jù)由于多媒體系統(tǒng)中集成了多種不同時態(tài)特征的媒體，如視頻、音頻和動畫的媒體是依賴于時間的，而文本、靜止圖像和表格是獨(dú)立于時間的。實(shí)時媒體數(shù)據(jù)/連續(xù)媒體數(shù)據(jù)有著嚴(yán)格時間關(guān)系的音頻、視頻等類型的數(shù)據(jù)；非實(shí)時媒體數(shù)據(jù)/靜態(tài)媒體數(shù)據(jù)其他類型的數(shù)據(jù)。一般的講，多媒體數(shù)據(jù)這種復(fù)合數(shù)據(jù)體

3、中至少包含一種非實(shí)時數(shù)據(jù)和一種實(shí)時數(shù)據(jù)。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 多媒體數(shù)據(jù)內(nèi)部約束關(guān)系多媒體數(shù)據(jù)內(nèi)部約束關(guān)系 多媒體數(shù)據(jù)所包含的各種媒體對象并不是相互獨(dú)立的，它們之間存在著多種相互制約的關(guān)系（或者稱同步關(guān)系）。 多媒體數(shù)據(jù)內(nèi)部所固有的約束關(guān)系可以概括為基于內(nèi)容的約束關(guān)系、空域約束關(guān)系和時域約束關(guān)系。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 基于內(nèi)容的約束關(guān)系基于內(nèi)容的約束關(guān)系 指在用不同的媒體對象代表同一內(nèi)容的不同表現(xiàn)形式時，內(nèi)容與表現(xiàn)形式之間所具有的約束關(guān)系。 這種約束關(guān)系在數(shù)值分析中應(yīng)用較多。 支持這種約束關(guān)系需要解決的問題是，在多媒體數(shù)據(jù)更新過程

4、中確保不同媒體對象所含信息的一致性，即在數(shù)據(jù)更新后，保證代表不同表現(xiàn)形式的各媒體對象都與更新后的數(shù)據(jù)相對應(yīng)。 解決問題的方法有：定義原始數(shù)據(jù)與不同媒體數(shù)據(jù)之間的轉(zhuǎn)換原則，由系統(tǒng)而不是用戶來完成對媒體數(shù)據(jù)的調(diào)整。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 空域約束關(guān)系空域約束關(guān)系 又稱布局關(guān)系，用來定義在多媒體數(shù)據(jù)顯示過程中的某一時刻，不同媒體對象在輸出設(shè)備上的空間位置關(guān)系。時域約束關(guān)系時域約束關(guān)系 又稱時域特征，反映媒體對象在時間上的相對依賴關(guān)系，主要表現(xiàn)在兩個方面： 連續(xù)媒體對象內(nèi)的相對時間關(guān)系； 各個媒體對象之間的相對時間關(guān)系。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技

5、術(shù) 多媒體同步就是保持和維護(hù)各個媒體對象之間和各個媒體對象內(nèi)部存在的時態(tài)關(guān)系， 組織多種媒體序列以實(shí)現(xiàn)某種特定的表現(xiàn)任務(wù)。 多媒體同步的核心基礎(chǔ)是為這些同步關(guān)系建立一個獨(dú)立于實(shí)現(xiàn)環(huán)境的抽象的描述模型。 同步問題有兩層含義： 首先， 時態(tài)行為(包括表示單元的彼此關(guān)系)必須有明確的定義， 使用時態(tài)定義可以方便用戶復(fù)審、 系統(tǒng)表示和存儲。 其次， 在表示媒體單元的時候， 多媒體系統(tǒng)必須保證各媒體時態(tài)的正確性。 多媒體同步可以從多媒體同步規(guī)范和多媒體同步控制兩個層次來討論。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 多媒體同步規(guī)范描述了媒體對象之間和各個媒體對象內(nèi)部存在的時態(tài)關(guān)系， 確定了

6、多媒體的時態(tài)說明， 是多媒體系統(tǒng)的重要組成部分。 多媒體同步規(guī)范通常包括： 媒體對象內(nèi)的同步、 媒體對象之間的同步以及業(yè)務(wù)品質(zhì)QoS描述。 多媒體同步控制機(jī)制是開發(fā)各種同步控制策略以及同步控制協(xié)議， 解決由于網(wǎng)絡(luò)延遲、 抖動、 進(jìn)程調(diào)度等各種不確定因素帶來的負(fù)面影響， 實(shí)現(xiàn)多媒體同步規(guī)范描述的多媒體時態(tài)說明。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 1 上層同步 上層同步又稱表現(xiàn)級同步或交互同步， 即用戶級同步。 這一級同步從用戶的角度出發(fā)設(shè)計模型框架， 要求模型既能體現(xiàn)用戶的交互性， 又能容易被用戶理解和使用； 同時還是一個同步模型， 即以時間為控制線索的模型。 用戶可以對各個

7、媒體進(jìn)行編排， 由此決定何種媒體何時以何種時空關(guān)系表現(xiàn)出來。 上層同步的同步機(jī)制是由多媒體信息中的腳本信息來提供的， 在實(shí)際的多媒體應(yīng)用中， 它是一種事件驅(qū)動同步， 它發(fā)生在系統(tǒng)中某一節(jié)點(diǎn)需要起始動作的情況下。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 此動作的發(fā)生， 即同步點(diǎn)， 如文獻(xiàn)中的特定點(diǎn)、 用戶鼠標(biāo)的動作點(diǎn)、 系統(tǒng)設(shè)備到達(dá)某特定狀態(tài)等。 例如， 在一個多媒體幻燈片的演示過程中， 要對一組圖像進(jìn)行口頭解釋， 這就要求在上一段說明語音完成以后， 才能出現(xiàn)下一幅圖像， 這種情況下， 同步點(diǎn)處于圖像段的改變點(diǎn)或講解段的起始點(diǎn)（或結(jié)束點(diǎn)）上。 第第9 9章章 多媒體通信同步技術(shù)多媒

8、體通信同步技術(shù) 2 中層同步 中層同步即合成同步， 這里的合成指的是信息的合成， 即不同媒體類型的數(shù)據(jù)之間的合成， 所以， 合成同步又稱為“媒體之間的同步”。 這層同步涉及到不同類型的媒體數(shù)據(jù)， 側(cè)重于它們在合成表現(xiàn)時的時間關(guān)系的描述。 合成同步的作用就是將不同媒體數(shù)據(jù)流按一定的時間關(guān)系進(jìn)行合成。 一些要求精度較高的連續(xù)同步就屬于這一類。 如在可視電話中， 音頻和視頻必須始終同步地表現(xiàn)在接收端上， 以確?？谛闻c聲音的同步。 這時媒體之間的同步， 除了數(shù)據(jù)的開始點(diǎn)和結(jié)束點(diǎn)必須保證以外， 從開始點(diǎn)到結(jié)束點(diǎn)的整個過程中均要求保持同步。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 3 底層同

9、步 底層同步即系統(tǒng)同步， 又稱媒體內(nèi)部同步。 這里， 系統(tǒng)同步指的是該層同步如何根據(jù)各種輸入媒體對應(yīng)的實(shí)際硬件系統(tǒng)的性能參數(shù)來協(xié)調(diào)完成其上層合成同步所描述的各對象內(nèi)的時序關(guān)系。 譬如在單機(jī)情況下， 同步技術(shù)要考慮的時間因素有讀盤時間， 這與磁盤存取速度和磁盤碎片有關(guān)； 還有圖像幀的顯示速度， 這與適配器有關(guān)； 另外還有機(jī)器的處理速度等。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 對于通信網(wǎng)上分布媒體表現(xiàn)的同步， 要考慮更為復(fù)雜的問題： 網(wǎng)絡(luò)的延遲以及無法預(yù)料的網(wǎng)絡(luò)阻塞， 不僅影響到單一連續(xù)媒體傳輸和播放的穩(wěn)定性（媒體內(nèi)部的同步）， 而且給各媒體相互配合（媒體之間的同步）設(shè)置了障礙，

10、 從而引出同步協(xié)議的設(shè)計和各種相應(yīng)的同步技術(shù)。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 從媒體關(guān)系的角度出發(fā)， 媒體對象的同步包括兩個方面： 媒體內(nèi)同步和媒體間同步。 媒體內(nèi)同步主要是維持一個媒體流內(nèi)部各信息單元的連續(xù)性； 媒體間同步主要是維持多個相關(guān)媒體流中媒體單元間的時間關(guān)系。 媒體同步關(guān)系主要受以下因素的影響： 媒體間時延偏移、 網(wǎng)絡(luò)抖動、 端系統(tǒng)抖動、 時鐘漂移和網(wǎng)絡(luò)條件變化。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 由于各個相關(guān)媒體流可能來自不同的信源， 每個信源所處的地理位置可能不同， 每個媒體流選擇的信道也不同， 因此各個媒體流的時延也不同， 這就是媒體

11、間的時延偏移， 這些偏移使媒體間的時間關(guān)系發(fā)生變化。 解決辦法可以通過在信宿端設(shè)置緩存加以補(bǔ)償， 也可使各個媒體流在不同時刻發(fā)送， 但須保證在經(jīng)歷了不同時延后能夠同時到達(dá)接收端。 后者特別適合存儲數(shù)據(jù)， 能夠充分利用存儲數(shù)據(jù)的靈活性， 大大節(jié)省信宿端緩存。 此外還可以將這兩種方法配合使用。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 抖動定義為最大時延與最小時延的差， 也即時延的變化。 網(wǎng)絡(luò)抖動是指數(shù)據(jù)包從發(fā)送方到接收方網(wǎng)絡(luò) IO設(shè)備的傳輸過程中所經(jīng)歷的時延變化， 這是由中間節(jié)點(diǎn)的緩存引入的。 端系統(tǒng)抖動是指端系統(tǒng)中引起的時延變化， 這些變化主要是由于系統(tǒng)負(fù)荷的改變以及媒體單元在各個

12、協(xié)議層的打包拆包。 抖動通常是在信宿端通過采用彈性緩沖區(qū)來補(bǔ)償?shù)摹?第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 連續(xù)媒體的捕獲、 重新生成和播映都是由端系統(tǒng)時鐘來驅(qū)動的。 一般來說， 不能假定所有時鐘同步。 由于溫度的變化或晶體振蕩器本身的缺陷， 在經(jīng)過了較長一段時間后， 端系統(tǒng)的時鐘頻率會發(fā)生變化， 其結(jié)果是與真實(shí)時間或其他時鐘產(chǎn)生偏移， 漂移速率從10-610-3。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 時鐘漂移的問題可以通過在網(wǎng)絡(luò)中使用時間同步協(xié)議來解決， 例如， 網(wǎng)絡(luò)時間協(xié)議(NTP)為它的用戶提供一個全網(wǎng)(虛擬)時鐘。 如果忽略時鐘漂移， 在較長一段時間后，

13、 客戶端的緩存就會發(fā)生上溢或下溢。 時鐘漂移的結(jié)果也稱為偏移， 它被定義為一段時間間隔內(nèi)的平均抖動。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 網(wǎng)絡(luò)條件的變化不是由抖動引入的， 它是指網(wǎng)絡(luò)連接性質(zhì)的變化。 例如， 平均時延的改變或媒體單元丟失率的增高。 般地， 多媒體數(shù)據(jù)的傳輸都是利用無證實(shí)的數(shù)據(jù)報服務(wù)， 重傳是不適合的， 數(shù)據(jù)報服務(wù)是種不可靠的服務(wù)， 不時會發(fā)生媒體單元丟失的事件。 處理丟失單元的同步機(jī)制是重復(fù)播映前一個媒體單元的內(nèi)容。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 同步問題同步問題有兩層含義： 首先， 時態(tài)行為(包括表示單元的彼此關(guān)系)必須有明確的定義，

14、 使用時態(tài)定義可以方便用戶復(fù)審、 系統(tǒng)表示和存儲。其次， 在表示媒體單元的時候， 多媒體系統(tǒng)必須保證各媒體時態(tài)的正確性。 多媒體同步可以從多媒體同步規(guī)范和多媒體同步控制兩個層次來討論。 9.2 多媒體同步參考模型多媒體同步參考模型 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 多媒體同步規(guī)范多媒體同步規(guī)范描述了媒體對象之間和各個媒體對象內(nèi)部存在的時態(tài)關(guān)系（約束關(guān)系）， 確定了多媒體的時態(tài)說明， 是多媒體系統(tǒng)的重要組成部分。 多媒體同步規(guī)范通常包括： 媒體對象內(nèi)的同步、 媒體對象之間的同步以及業(yè)務(wù)品質(zhì)QoS描述。在存儲和傳輸多媒體數(shù)據(jù)時，必須同時存儲和傳輸它們之間的同步關(guān)系。第第9 9章

15、章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 當(dāng)只考慮時域同步關(guān)系時，時域同步規(guī)范由同步描述數(shù)據(jù)和同步容限兩部分組成。同步描述數(shù)據(jù)表示媒體內(nèi)部和媒體之間的時間約束關(guān)系，同步容限則表示這些約束關(guān)系所允許的偏差范圍。 多媒體同步控制機(jī)制是開發(fā)各種同步控制策略以及同步控制協(xié)議， 解決由于網(wǎng)絡(luò)延遲、 抖動、 進(jìn)程調(diào)度等各種不確定因素帶來的負(fù)面影響， 實(shí)現(xiàn)多媒體同步規(guī)范描述的多媒體時態(tài)說明。 即在處理多媒體數(shù)據(jù)的過程中（如采集、傳輸、播放等），如何維持約束關(guān)系。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 媒體同步模型用來從整體上描述多媒體同步， 以利于媒體同步處理。 其主要目的是用于表征多種媒體之

16、間的時序關(guān)系。 目前較為流行的多媒體同步模型有三種： 參考點(diǎn)同步模型、 時間軸同步模型、 層次同步模型。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 參考點(diǎn)同步模型將連續(xù)媒體看作是一系列離散的子單元構(gòu)成的序列， 一個子單元所在位置稱為一個參考點(diǎn)。 不同媒體之間的同步是通過將其在某一時刻的子單元相連接來定義的。 參考點(diǎn)同步模型的缺點(diǎn)是將連續(xù)媒體離散化， 從而破壞了連續(xù)媒體之間的相互依賴關(guān)系， 破壞了連續(xù)媒體的整體特性。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 時間軸同步模型中， 所有媒體對象都是彼此獨(dú)立地依賴于同一時間軸。 這樣， 一個對象的丟失或剔除不會影響其他對象的同

17、步。 這種模型對于那些起始時間點(diǎn)固定的多媒體對象而言， 無疑非常合適。 時間軸同步模型應(yīng)用比較廣泛， 例如， 非線性視頻編輯系統(tǒng)、 多媒體演示編輯器大都是基于時間軸的。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 在層次同步模型中， 對多媒體同步進(jìn)行了分層處理， 這樣有利于得到一個比較完善、 較為通用的多媒體同步模型。 下面將以層次同步模型為例重點(diǎn)介紹。 在介紹層次同步參考模型之前先簡單介紹一下與之相關(guān)的LDU（Logical Data Unit： 邏輯數(shù)據(jù)單元）以及同步容限的概念。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 1 邏輯數(shù)據(jù)單元（LDU） 各種媒體信息經(jīng)數(shù)字

18、化和編碼之后形成的數(shù)據(jù)根據(jù)其與 時間的關(guān)系可分為連續(xù)媒體數(shù)據(jù)（實(shí)時媒體數(shù)據(jù)）和離散媒體數(shù)據(jù)（靜態(tài)媒體數(shù)據(jù)）。 連續(xù)媒體數(shù)據(jù)可以看成是由邏輯數(shù)據(jù)單元LDU構(gòu)成的時間序列（或稱為流）。 LDU的劃分（即所包含的內(nèi)容）由具體的應(yīng)用、 編碼方式、 數(shù)據(jù)的存儲方式和傳輸方式等因素決定。 例如， 對于符合H.261標(biāo)準(zhǔn)的視頻碼流， 一個LDU可以是一個宏塊、 一個塊組、 一幀圖像， 或者是構(gòu)成一個場景的幾幀圖像等。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 一個場景宏塊組宏塊一幀圖像LDULDULDULDU第4種劃分第3種劃分第2種劃分第1種劃分圖 H.261碼流中LDU的不同劃分第第9 9章

19、章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 連續(xù)數(shù)據(jù)的各個LDU之間存在著固定的時間關(guān)系。 例如， 以一幀圖像為一個LDU， 則相繼的LDU之間的時間間隔為40 ms。 這種時間關(guān)系是在數(shù)據(jù)的獲取時確定的， 而且要在存儲、 處理、 傳輸和播放過程中保持不變， 否則就會損傷媒體顯示時的質(zhì)量， 例如， 產(chǎn)生圖像的停頓、 跳動， 或聲音的間斷等。 在靜態(tài)媒體數(shù)據(jù)內(nèi)部則不存在這種時間關(guān)系。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 因此， 可以認(rèn)為邏輯數(shù)據(jù)單元是時間相關(guān)媒體流中的一個信息單元。 把時間相關(guān)媒體細(xì)分成邏輯數(shù)據(jù)單元有利于簡化時間相關(guān)媒體的同步處理。 圖9.2-1是用LDU來表示一

20、段音頻與一段視頻之間的同步關(guān)系的示例， 一個音頻LDU的展示時間與兩個視頻LDU的展示時間相同。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.2-1 不同媒體LDU同步關(guān)系示例 視 頻 幀 1視 頻 幀 2視 頻 幀 3視 頻 幀 4音 頻 1音 頻 2音 頻 m視 頻 幀n第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 2 同步容限 在一個多媒體系統(tǒng)的實(shí)際運(yùn)作過程中總存在著一些妨礙準(zhǔn)確恢復(fù)時域場景的因素， 例如其他進(jìn)程對CPU的搶占、 緩沖區(qū)不夠大、 傳輸帶寬不足等， 這些因素往往會導(dǎo)致在恢復(fù)后的時域場景中時域事件間的相對位置發(fā)生變化， 我們將這種變化稱為事件間偏差。

21、屬于同一媒體對象的時域事件之間的偏差稱為對象內(nèi)偏差， 不同媒體對象的時域事件之間的偏差為對象間偏差。 偏差的存在必然會造成多媒體同步質(zhì)量的降低。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 同步容限是用戶與同步機(jī)制之間就偏差的許可范圍所達(dá)成的協(xié)議。 同步容限包含了用戶對偏差許可范圍的定義， 同步機(jī)制則需依據(jù)同步容限， 保證在恢復(fù)后的時域場景中， 事件間的偏差在其許可范圍之內(nèi)。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 3、多媒體時域特征表示1）時域場景及時域定義方案在表示多媒體數(shù)據(jù)時域特征的過程中所要完成的具體任務(wù)，是對多媒體數(shù)據(jù)進(jìn)行抽象、描述和給出必要的同步容限。時域特

22、征的表示過程可以用下圖來表示。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 其中，抽象的過程是忽略多媒體數(shù)據(jù)中與時域特征不相干的細(xì)節(jié)（比如數(shù)據(jù)量、編碼方式、傳輸方式等），將多媒體數(shù)據(jù)概括為一個時域場景的過程。一個時域場景是由若干時域事件構(gòu)成，其中的每一個時域事件都是與多媒體數(shù)據(jù)在時域中發(fā)生的某個具體動作相對應(yīng)的。這些具體動作可以是開始播放、暫停、結(jié)束播放、恢復(fù)播放等。時域事件的發(fā)生可以是在某個時刻瞬間完成，也可以是持續(xù)一段時間完成。如果一個時域事件在時域場景中的時間位置是完全確定的，該事件稱為確定性事件；否則稱為非確定性事件。例如暫停、恢復(fù)播放等事件，要根據(jù)用戶的使用情況確定。第第9

23、9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 在將一個多媒體數(shù)據(jù)對象進(jìn)行抽象并轉(zhuǎn)變?yōu)橐粋€時域場景后，需要利用某種時間模型對此時域場景加以描述。 時間模型是對數(shù)據(jù)進(jìn)行抽象描述的數(shù)據(jù)模型，它是由若干基本部件和部件的使用規(guī)則組成。時間模型是在計算機(jī)系統(tǒng)內(nèi)為時域場景進(jìn)行建模的依據(jù)。 所采用的時間模型不同，得到的同步描述數(shù)據(jù)也就不會完全相同。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 兩個時刻之間的基本時域關(guān)系有三種，即之前(before)、之后(after)和同時（at the same time）。例如：在一個時域場景中，可以得到三種同步描述數(shù)據(jù)。 圖像P音頻A文本T0 6 24 32第第

24、9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 時間模型針對事件發(fā)生的時刻t0秒時顯示圖像P，t6秒時停止顯示圖像P；t6秒時播放音頻A，t24秒時停止播放音頻A；t24秒時顯示文本T，t32秒時停止顯示文本T。時間模型針對事件發(fā)生的相對時刻音頻A的播放時刻比圖像P的顯示時刻晚6秒；文本T的顯示時刻比圖像P的顯示時刻晚24秒；文本T的顯示時刻比音頻A的播放時刻晚18秒。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 時間模型針對事件對應(yīng)的時間間隔 圖像P的顯示間隔為6秒，音頻A的播放間隔為18秒，文本T的顯示間隔為8秒； A間隔緊接著P間隔，T間隔緊接著A間隔；T間隔與P間隔相差24秒

25、（以間隔起點(diǎn)計）。 建模的結(jié)果再通過某種形式化語言轉(zhuǎn)化為形式化描述，這種形式化描述數(shù)據(jù)就是同步描述數(shù)據(jù)。 時間模型及其形式化語言合稱為時域定義方案。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 為了使同步機(jī)制能夠了解并維持多媒體對象的時域特征，除了同步描述數(shù)據(jù)之外，還需要向同步機(jī)制提出必要的服務(wù)質(zhì)量要求，這種要求是用戶和同步機(jī)制之間，在應(yīng)當(dāng)以何種準(zhǔn)確程度來維持時域特征方面所達(dá)成的一種約定。這種約定就是前面所說的同步容限。 同步描述數(shù)據(jù)和同步容限構(gòu)成了在計算機(jī)系統(tǒng)內(nèi)部對多媒體數(shù)據(jù)時域特征（同步規(guī)范）的表示。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 2）時域參考框架 時域參考框

26、架是由多媒體場景、時域定義方案和同步機(jī)制三個部分構(gòu)成。 時域定義方案中包含時間模型（基本時間單位、關(guān)聯(lián)信息和時間表示技術(shù)）和形式化語言。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 對于多媒體通信應(yīng)用來說， 同步是建立在不同層次的基礎(chǔ)上， 通過層次化分析來理解各種相關(guān)的因素， 從而找出能夠滿足要求的解決方法。 圖9.2-2所示是Meyer、 Effelsberg和Steinmetz提出的一個四層同步模型， 該模型本身的層次結(jié)構(gòu)與ISO-OSI七層網(wǎng)絡(luò)協(xié)議模型以及時域參考框架的大致對應(yīng)關(guān)系如圖9.2-2所示。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.2-2 層次同步參

27、考模型 多媒體場景時域參考框架四層同步參考模型七層網(wǎng)絡(luò)協(xié)議模型多媒體應(yīng)用應(yīng)用層時域定義方案描述層對象層流 層媒體層同步機(jī)制表現(xiàn)層會話層傳輸層網(wǎng)絡(luò)層鏈路層物理層第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 為實(shí)現(xiàn)同步所做的規(guī)劃常稱為調(diào)度。 同步機(jī)制首先依照同步描述數(shù)據(jù)生成某種調(diào)度方案； 其次， 同步機(jī)制需要根據(jù)同步容限以及多媒體數(shù)據(jù)的特點(diǎn)申請必要的資源（如 CPU時間、 通信帶寬、 通信緩沖區(qū)等）； 然后， 在執(zhí)行調(diào)度方案的過程中， 同步機(jī)制將按照同步容限要求完成對偏差的控制， 以維持多媒體數(shù)據(jù)的時域關(guān)系。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 1. 媒體層 媒體層的處理

28、對象是來自于連續(xù)碼流（如音頻、 視頻數(shù)據(jù)流）的LDU， LDU的大小在一定程度上取決于同步容限。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 在媒體層接口， 該層負(fù)責(zé)向上提供與設(shè)備無關(guān)的操作， 如 Read（Devicehandle， LDU）、 Write（Devicehandle， LDU）等。 在媒體層內(nèi)主要完成兩項任務(wù)， 其一是申請必要的資源（如CPU時間、 通信帶寬、 通信緩沖區(qū)等）和系統(tǒng)服務(wù)（如服務(wù)質(zhì)量保障服務(wù)等）， 為該層各項功能的實(shí)施提供支持； 其二是訪問各類設(shè)備的接口函數(shù)， 獲取或提交一個完整的LDU。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 2. 流層

29、 流層的處理對象是連續(xù)碼流或碼流組， 其內(nèi)部主要完成流內(nèi)同步和流間同步兩項任務(wù). 由于流內(nèi)同步和流間同步是多媒體同步的關(guān)鍵， 所以在同步機(jī)制的三個層次中， 流層是最為重要的一層。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 在接口處， 流層向用戶提供諸如Start（Stream）、 Stop（Stream）、 Creategroup（list-of-streams）、 Start（group）、 Stop（group）等功能函數(shù)。 這些函數(shù)將連續(xù)碼流作為一個整體來看待。 當(dāng)多媒體應(yīng)用直接使用流層的各接口功能時， 連續(xù)數(shù)據(jù)與非連續(xù)數(shù)據(jù)之間的同步控制則要由應(yīng)用本身來完成。 第第9 9章章

30、 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 流層在對碼流或碼流組進(jìn)行處理前， 首先需要根據(jù)同步容限決定LDU的大小以及對各LDU的處理方案（即何時對何LDU作何種處理）。 此外， 流層還要向媒體層提交必要的服務(wù)質(zhì)量（QoS）要求， 這種要求是由同步容限推導(dǎo)而來的。 媒體層將依照流層提交的 QoS要求， 向底層服務(wù)系統(tǒng)申請資源以及QoS保障。 在執(zhí)行LDU處理方案的過程中， 流層負(fù)責(zé)將連續(xù)媒體對象內(nèi)的偏差以及連續(xù)媒體對象間的偏差保持在許可的范圍之內(nèi)， 即實(shí)施流內(nèi)與流間的同步控制。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 3. 對象層 對象層能夠?qū)Σ煌愋偷拿襟w對象進(jìn)行統(tǒng)一地處理， 使用

31、戶不必考慮連續(xù)媒體對象和非連續(xù)媒體對象之間的差異。 對象層的主要任務(wù)是實(shí)現(xiàn)連續(xù)媒體對象和非連續(xù)媒體對象之間的同步并完成對非連續(xù)媒體對象的處理。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 對象層在處理多媒體對象之前先要完成兩項工作： 第一， 從規(guī)范層提供的同步描述數(shù)據(jù)出發(fā)， 推導(dǎo)出必要的調(diào)度方案（如顯示調(diào)度方案、 通信調(diào)度方案等）。 第二， 進(jìn)行必要的初始化工作。 對象層首先將調(diào)度方案及同步容限中與連續(xù)媒體對象相關(guān)的部分提交給流層并要求流層進(jìn)行初始化； 然后， 對象層要求媒體層向底層服務(wù)系統(tǒng)申請必要的資源和QoS保障服務(wù)， 并完成其他一些初始化工作， 如初始化編/解碼器、 播放設(shè)備、

32、通信設(shè)備等與處理連續(xù)媒體對象相關(guān)的設(shè)備。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 對象層的接口提供諸如prepare、 run、 stop、 destroy等功能函數(shù)， 這些函數(shù)通常以一個完整的多媒體對象為參數(shù)。 顯然， 同步描述數(shù)據(jù)和同步容限是多媒體對象的必要組成部分。 當(dāng)多媒體應(yīng)用直接使用對象層的功能時， 多媒體應(yīng)用只需利用描述層所提供的工具完成對同步描述數(shù)據(jù)和同步容限的定義即可。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 4 描述層 描述層的處理對象是由多媒體應(yīng)用生成的時域場景。 它主要解決的是多媒體表現(xiàn)中各個場景的安排與對象同步的描述問題。 描述層的核心是時域定

33、義方案， 其接口為用戶提供了使用時間模型描述多媒體數(shù)據(jù)時域約束關(guān)系的工具。 描述層產(chǎn)生的同步描述數(shù)據(jù)和同步容限， 經(jīng)由對象層的適當(dāng)轉(zhuǎn)換后進(jìn)入由對象層、 流層和媒體層構(gòu)成的同步機(jī)制。 此外， 還可以將用戶級的QoS要求映射到對象層接口。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) *9.3 同步的描述方法同步的描述方法 多媒體同步的描述可以利用描述層的工具生成并為對象層接口所使用， 盡管多媒體同步描述不能直接實(shí)現(xiàn)同步， 但它決定著整個同步過程， 因此是多媒體系統(tǒng)的一個中心問題。 一個同步描述包括兩個方面： 對同步的QoS的描述和對多媒體對象同步關(guān)系的描述。 多媒體同步關(guān)系的描述方法較多

34、， 這里主要介紹基于路徑的描述方法、 基于Petri網(wǎng)的描述方法以及時間標(biāo)記法三種， 它們分別適用于不同的場合。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 同步要求可以用服務(wù)質(zhì)量來表達(dá)， 所需的服務(wù)質(zhì)量取決于媒體的應(yīng)用。 為保證同步要求而定義的QoS參數(shù)包括單個媒體流所允許的時延抖動以及兩個媒體流中相關(guān)媒體單元的時間差即偏移。 對于單個媒體， 最重要的同步要求是時延抖動和時延。 例如， 對于音頻類業(yè)務(wù)允許的最大端到端時延為0.25 s， 時延抖動應(yīng)小于10 ms， 否則就不能保證音頻流的連續(xù)性。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 對于兩個相關(guān)媒體的QoS， 定義

35、了可以接受的同步邊界， 例如， 一部影片的音頻和視頻分別保存在數(shù)據(jù)庫的不同目錄下， 此時要考慮唇同步， 音頻和視頻的相關(guān)LDU的時間差稱為偏移。 研究表明， 當(dāng)偏移在-80(音頻滯后視頻）80 ms(音頻超前視頻)之間時， 多數(shù)觀眾都不會感到偏移的存在， 這就是同步區(qū)域； 當(dāng)偏移在-160160 ms之外時， 幾乎所有觀眾都對播映不滿意， 這一區(qū)域稱為失步區(qū)域。 對于多個相關(guān)媒體的QoS， 可以通過給出的兩兩媒體的QoS要求計算出所需要的媒體間的QoS， 如果應(yīng)用程序?qū)⒁唤M相關(guān)的同步要求加于個多媒體系統(tǒng)， 也可以通過計算找出最嚴(yán)格的同步要求。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技

36、術(shù) 1 動作 動作表示發(fā)生的事情。 事件（event）是動作的最小單位。 一個動作就是一個事件的復(fù)合體， 如果一個動作的某些事情和別的動作的某些事情有對應(yīng)關(guān)系， 那么這個事件就稱為同步點(diǎn)。 一個動作始于一個起點(diǎn)， 結(jié)束于一個結(jié)束點(diǎn)。 根據(jù)起始點(diǎn)和結(jié)束點(diǎn)是否存在同步這一準(zhǔn)則， 可以把動作分為下述兩類： 原子動作（Atomic Action）： 在起始點(diǎn)間不再有同步點(diǎn)的動作； 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 復(fù)合動作（Composed Action）： 由多個原子動作組成， 和復(fù)合動作有關(guān)的動作必須同步才能完成一個確定的演示序列。 出于同步的需要， 每一個動作必須分解成原子動

37、作， 通過適當(dāng)?shù)耐綑C(jī)制使它們在起始點(diǎn)和結(jié)束點(diǎn)同步。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 2 動作和時間的關(guān)系 動作間的時間關(guān)系有： 先于、 銜接、 包含、 相交、 同始、 同終、 平行以及前六種的逆關(guān)系（如先于的逆關(guān)系是后于）， 如圖9.3-1（a）所示。 這些關(guān)系可以抽象出一組通用的時間關(guān)系： 串行同步、 并行同步， 如圖9.3-1 (b)所示。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.3-1 動作間的時間關(guān)系示意圖 A先 于串行同 始并行先且并行后BAB銜 接BA包 含AB相 交BABA同 終BA平 行(a)BABAT并行先且并行后并行先或并行后BA

38、ABT并行先或并行后ABTABABT串行并行先或并行后(b)第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 3 路徑表達(dá)式 在路徑表達(dá)式中， 由路徑操作符來定義動作的同步。 這些操作符是： AB： A和B同時開始， 同時執(zhí)行。 當(dāng)?shù)谝粋€參與的動作結(jié)束時， 復(fù)合動作結(jié)束。 AB： A和B同時開始， 同時執(zhí)行。 當(dāng)A和B中有一個參與的動作結(jié)束時， 復(fù)合動作結(jié)束。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) A;B： 只有當(dāng)A動作執(zhí)行完成B動作方開始執(zhí)行， A的結(jié)束點(diǎn)和B的起始點(diǎn)相同， 當(dāng)B的動作結(jié)束時， A和B所組成的復(fù)合動作才結(jié)束。 A/B： 選擇操作。 A和B任選一個執(zhí)行。 A

39、i*： 循環(huán)操作。 A動作循環(huán)執(zhí)行i次。 N:A： 并發(fā)操作。 可有N個動作被允許并發(fā)執(zhí)行。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 以上六種操作基本上表示所有的基于起點(diǎn)、 結(jié)束點(diǎn)的同步關(guān)系。 利用這六種操作， 還可以很方便地用表達(dá)式的形式寫出多媒體對象的同步關(guān)系。 例如， A;(BC)(DE)； F end， 它表示由A開始執(zhí)行， 當(dāng)A結(jié)束時， B， C， D， E同時開始執(zhí)行， 當(dāng)B和C或D和E中有一組結(jié)束時， F動作開始執(zhí)行。 F動作執(zhí)行完畢， 則整個復(fù)合動作結(jié)束。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 1 Petri網(wǎng)概念第第9 9章章 多媒體通信同步技術(shù)

40、多媒體通信同步技術(shù) 為了描述Petri網(wǎng)中的非零時間費(fèi)用， 需要在Petri網(wǎng)中引入時間約束， 即賦予每個變遷以觸發(fā)時間， 或賦予每個位置以運(yùn)行時間， 這種增強(qiáng)型Petri網(wǎng)稱之為定時Petri網(wǎng)。 以定時Petri網(wǎng)為基礎(chǔ)， 可以描述多媒體信息的同步關(guān)系， 其中典型的定時Petri網(wǎng)有OCPN模型、 XOCPN模型、 DTPN模型以及ISPN模型。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 2 OCPN模型 OCPN模型是對象合成Petri網(wǎng)(Object Composite Petri Net， OCPN)模型的英文縮寫。 OCPN模型描述了媒體對象內(nèi)和媒體間的時間關(guān)系， 它是

41、一個定時Petri網(wǎng)， 用一個六元組OCPN=T，P，A，D，R，M表示， 其中： T=t1, t2, , tn為變遷集， ti表示同步點(diǎn)和處理位置， 在圖中用“”表示。 P=p1, p2, pm為位置集， pi表示進(jìn)程， 并假定變遷瞬時發(fā)生， 故pi具有相應(yīng)狀態(tài)， 在圖中用圓表示。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) A ： TPPTI=1,2,是有向孤集， 在圖中用箭頭表示。 D： PRe定義了由位置集向?qū)崝?shù)集的映射， 實(shí)數(shù)集Re表示OCPN中的時間約束。 R: Pr1, r2, , rk定義了由位置集向資源集r1, r2, , rk的映射。 M: PI, I=1,2,定

42、義了由位置集向整數(shù)集的映射， 它表示集中的標(biāo)記(Token)分布。 兩個對象的時間合成能夠基于順序的和并行的兩種時間關(guān)系發(fā)生。 對于給定的兩個對象， 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 則在時間上存在先于、 銜接、 包含、 相交、 同始、 同終、 平行以及前六種的逆關(guān)系。 OCPN能夠捕捉用于說明不同對象計時和顯示需求的任何時間關(guān)系， 這種時間關(guān)系模型如圖9.3-2(a)所示。 其中， Pd是延時計時， 對應(yīng)圖9.3-2（a）時間關(guān)系的OCPN模型如圖9.3-2（b）所示。 當(dāng)然用這種方法也可以描述多個對象組成的復(fù)雜多媒體之間的時間關(guān)系， 因為多個對象的時間關(guān)系可以用兩兩之間

43、的時間關(guān)系逐級描述出來。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.3-2 OCPN模型與時間關(guān)系對應(yīng)示意圖 (a) 時間關(guān)系； (b) OCPN模型 PaPa先于PbtdPbPa銜 接PbPaPbPa包含PbPbPatdPa相交PbPaPbtdPaPdPbPaPbPdPaPbPaPdPb第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.3-2 OCPN模型與時間關(guān)系對應(yīng)示意圖 (a) 時間關(guān)系； (b) OCPN模型 PbPaPa同 始 PbPbPatdPa同 終 PbPbPaPa平 行 Pb(a)PaPbPbPdPaPbPa(b)第第9 9章章 多媒體通信同步技

44、術(shù)多媒體通信同步技術(shù) 對于任何兩個原子進(jìn)程和它們的時間關(guān)系， 存在相應(yīng)的OCPN模型， 反過來也成立。 對于任何OCPN模型能夠惟一確定相應(yīng)的時間關(guān)系。 OCPN模型可以描述多媒體系統(tǒng)中媒體對象之間存在的各種同步關(guān)系。 OCPN模型是一個粗粒度同步模型， 可以表示多媒體系統(tǒng)的同步規(guī)范和時態(tài)說明。 但是， OCPN沒有提供描述對象內(nèi)同步關(guān)系的能力。 為了便于存儲和檢索多媒體數(shù)據(jù)， 可對OCPN模型形式進(jìn)行簡化， 采用統(tǒng)一的OCPN模型， 如圖9.3-3所示， 這個模型可以用于表示任何時間關(guān)系。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.3-3 統(tǒng)一的OCPN模型 PbPaPd第

45、第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.3-4是一個電視新聞廣播時間線的例子， 圖中以時間軸為基礎(chǔ)， 按照所需要的時間順序用時間線對多種媒體進(jìn)行了表示。 圖9.3-5是該電視新聞廣播的OCPN例子， 這個OCPN捕捉了全部的時間關(guān)系， 可以在正向和逆向兩個方向上模擬。 OCPN中的每一個位置表示多媒體對象的播放， 而每一個變遷即為同步點(diǎn)。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 圖9.3-4 一個電視新聞廣播時間線的例子 引導(dǎo)音樂播音員念第一條新聞時 間音樂漸隱節(jié)目片頭播音員全景播音員上方照片話音音樂視頻圖片第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù)

46、圖9.3-5 電視新聞廣播的OCPN例子 引導(dǎo)音樂視頻頭延 時延 時音 樂延 時話 音視頻照 片第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 對象合成Petri網(wǎng)模型能夠以統(tǒng)一的方式描述通信、 播放和同步機(jī)理， 可以獲得虛電路開通和媒體對象間同步操作時刻表， 以及關(guān)于虛電路信道屬性的信息。 它除了在用戶端進(jìn)行常規(guī)的播放操作、 在服務(wù)端進(jìn)行常規(guī)的發(fā)送操作外， 還可以進(jìn)行動態(tài)資源分配和釋放等操作。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 3 XOCPN模型 XOCPN模型就是擴(kuò)展對象合成Petri網(wǎng)模型。 與OCPN模型相對應(yīng)， XOCPN是一個細(xì)粒度的同步模型， 可以用于分

47、布式多媒體信息系統(tǒng)中的同步關(guān)系描述以及同步傳輸控制。 XOCPN考慮了連續(xù)媒體基于速率控制進(jìn)行傳輸?shù)囊螅?將連續(xù)媒體對象劃分為一系列同步間隔單元（SIU）， 即細(xì)粒度單元。 XOCPN模型包括傳輸方模型和接收方模型， 分別用于傳輸和接收多媒體信息。 XOCPN將Petri網(wǎng)中的位置劃分為對象位置和控制位置。 對象位置對應(yīng)于傳輸和播放對象的動作。 控制位置表示建立連接、 釋放連接以及QoS協(xié)商。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) XOCPN是在OCPN模型的基礎(chǔ)上擴(kuò)展了對多媒體對象通信和同步機(jī)理的描述。 XOCPN可以形式化地定義為一個八元組XOCPN=T，P，A，D，R，

48、M，Y，Z表示， 也就是在OCPN模型的基礎(chǔ)上擴(kuò)展了兩個映射函數(shù)Y(p )和Z(pi)。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) D： Pd1, d2。 Y： P控制， 對象定義了位置集向位置類型的映射。 位置分為對象位置和控制位置兩種。 Z： P動作， 函數(shù)地址， 同步單元地址， 通信和同步的信息地址定義了由位置集向地址集的映射。 其他參數(shù)定義與OCPN模型相同。 D中d1和d2分別表示一個動作之前延遲以及動作的執(zhí)行時間。 R表示各個位置對應(yīng)的媒體類型。 Y表示各個位置對應(yīng)媒體單元在通信過程中所執(zhí)行的動作。 Z表示各個位置對應(yīng)媒體單元的相關(guān)參數(shù)地址。 第第9 9章章 多媒體通信

49、同步技術(shù)多媒體通信同步技術(shù) 4 動態(tài)時間Petri網(wǎng)模型（DTPN）第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 為了處理用戶交互控制動作， DTPN引入了中斷概念， 以便終止Petri網(wǎng)的正常執(zhí)行過程， 處理用戶的動作。 另外， 在Petri網(wǎng)的每個位置還引入了剩余時間間隔， 說明終止Petri網(wǎng)正常執(zhí)行時的精確時間。 DTPN可以形式化地定義為 DTPN=T，P，A，D，R，M，C，E 其中， T， P， A， D， R， M的定義與OCPN模型一致。 CPT； AC=0 E： PR第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) C是PT的子集， 是出口弧(escape ar

50、cs)的集合， 并且集合A和集合C不相交。 E表示位置對應(yīng)剩余時間間隔， D表示“正?！辈シ诺臅r間間隔。 最初， D和E具有相同的值。 在DTPN的圖形表示中， 有向弧利用箭頭表示， 出口弧利用點(diǎn)表示。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 5 交互式同步Petri網(wǎng)模型（ISPN） 一種理想的同步模型， 應(yīng)該符合多媒體實(shí)際制作、 播放的要求。 在動態(tài)時間Petri網(wǎng)模型DTPN中， 假定對一個媒體流施加的動作會對所有的并行媒體流產(chǎn)生相同的影響， 則是一種確定性時態(tài)說明的規(guī)范方法。 ISPN模型擴(kuò)展了DTPN模型， 既支持受用戶交互影響的多媒體同步關(guān)系描述(動態(tài)規(guī)范)， 也支持

51、不受用戶交互影響的多媒體同步關(guān)系描述(靜態(tài)規(guī)范)； 用戶可以對個別媒體對象進(jìn)行控制， 從而使得多媒體文件中每個媒體對象既可以按標(biāo)準(zhǔn)的時間表現(xiàn)， 也可以具有可變的表現(xiàn)時間。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 用戶的交互控制產(chǎn)生的影響還可以傳播到其他媒體對象， 從而影響其他媒體對象的表現(xiàn)過程。 為此， 在ISPN模型中包含一種制約機(jī)制， 在用戶交互控制下， 始終保持同步關(guān)系的全局一致性。 由于邏輯上不同的同步關(guān)系， 媒體對象的操作可能傳播到其他媒體， 也可能不影響其他媒體對象。 ISPN模型將同步點(diǎn)擴(kuò)展到連續(xù)媒體的邏輯數(shù)據(jù)單元， 支持用戶定義的多媒體同步關(guān)系描述， 是一種動態(tài)規(guī)

52、范。 ISPN可以形式化地定義為 ISPN=T，P，A，D，R，M，E，C，X，S，V第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 其中， T， P， A， D， R， M， E， C的定義與DTPN模型一致。 X=xp, xj, xb, xr, xt S: TAND, OR VXT第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 在ISPN中， T表示變遷的集合； P表示位置的集合； A表示有向弧的集合； D表示時間間隔； R表示資源集合； M表示令牌數(shù)目； E表示在表現(xiàn)過程中位置pi對應(yīng)媒體對象剩余的、 尚未表現(xiàn)的時間間隔。 最初， D和E相等， 隨著位置的執(zhí)行而相應(yīng)減少。 C

53、是PT的子集， 是出口弧的集合， 并且集合A和集合C不相交。 X表示用戶操作集合， 共有五種操作： 暫停xp、 前跳xj、 重啟xb、 回退xr、 變速xt。 S表示同步關(guān)系集合， 當(dāng)變遷T的所有輸出位置邏輯上完全同步時， ST=AND； 否則， ST=OR。 V是操作弧集合。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 用戶的操作定義在對單個媒體對象上， 用戶操作采用中斷方式傳給系統(tǒng)， 系統(tǒng)收到該類中斷后立即掛起該媒體對象的表現(xiàn)進(jìn)程， 然后檢查S（ti）的值。 若值為AND， 則立即將中斷傳播到ti 的所有輸出位置， 并激發(fā)該操作??； 若值為OR， 則在ti的其他輸出位置之后增加相

54、應(yīng)時間的延時等待， 并激發(fā)該操作弧。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 前面介紹的兩種模型都是在數(shù)據(jù)生成后抽象出來的。 而基于時間標(biāo)記的描述方法是在數(shù)據(jù)生成過程中在數(shù)據(jù)流中加同步標(biāo)記的方法。 一個多媒體對象中包含許多內(nèi)容， 如音頻、 視頻和文本等。 這些內(nèi)容可以來自同一地點(diǎn)同一信源， 也可以來自不同地點(diǎn)不同信源， 這時， 要讓這些信息同步地表現(xiàn)出來， 使人們產(chǎn)生一個整體的多媒體對象表現(xiàn)印象， 就必須采用一定的同步描述方法和相應(yīng)的同步機(jī)制。第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 對于不同媒體的產(chǎn)生地點(diǎn)和時間的不同， 引進(jìn)相對時間系統(tǒng)是一種可行的方法。 多媒體對象

55、起始處的媒體單元位于時間系統(tǒng)的零點(diǎn)， 一個媒體單元在相對時間系統(tǒng)中的位置就作為它的時間標(biāo)記。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 每個媒體單元（如視頻幀和音頻抽樣）都有一個時間標(biāo)記， 在播放時， 有相同的時間標(biāo)記的媒體單元必須同步。 如果在沒有全局同步時鐘的情況下， 時間標(biāo)記必須由主設(shè)備驅(qū)動， 主設(shè)備上的第一個單元啟動時間標(biāo)記， 以后的媒體單元參照主設(shè)備使時間標(biāo)記遞增。 當(dāng)接收數(shù)據(jù)服務(wù)器接收到不同信源的媒體數(shù)據(jù)單元時， 首先判斷這些媒體數(shù)據(jù)單元是否位于一個有界的時間窗口。 如果是， 則這些媒體數(shù)據(jù)單元被賦予相同的時間標(biāo)記， 在播放時要求同步。 這些媒體數(shù)據(jù)單元組成的集合稱為同

56、步集合。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 設(shè)媒體單元nm和ns分別是由主設(shè)備Sm和從設(shè)備Ss生成的， 僅當(dāng) dSgngSgngsstartsreadmstartmread)()()()(時，nm和ns屬于同一個同步集合。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 其中， gread(nm)和gread(ns)是nm和ns單元的實(shí)際生成時間； gstart(Sm)和gstart(Ss)是媒體流在Sm和Ss上生成的起始時間。 如果用g(nm)=gread(nm)-gstart(Sm), g(ns)=gread(ns)-gstart(Ss)表示媒體的相對生成時間，

57、則同步集合的定義為 | g(nm)-g(ns) | d 式中的d可以認(rèn)為是媒體單元間允許的最大的非同步區(qū)間。 d和主設(shè)備共同決定賦予媒體單元的時間標(biāo)記。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 這種方法可以解決由不同媒體間產(chǎn)生的媒體流組成的媒體對象的同步問題。 在播放時保持由時間標(biāo)記描述的同步關(guān)系的方法是由回放設(shè)備定期向接收數(shù)據(jù)服務(wù)器發(fā)一個反饋單元， 這個反饋單元中包含媒體單元的時間標(biāo)記， 接收數(shù)據(jù)服務(wù)器通過反饋單元， 判斷現(xiàn)在正播放的媒體單元是否同步， 如果不同步， 則進(jìn)行相應(yīng)的調(diào)整。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) *9.4 多媒體同步控制機(jī)制多媒體同步

58、控制機(jī)制 在多媒體通信中， 多媒體數(shù)據(jù)在傳輸、 分組、 交換等過程中不可避免地會引入信號的延遲、 抖動， 導(dǎo)致媒體間應(yīng)有的相對關(guān)系發(fā)生變化。 對于那些經(jīng)過壓縮編解碼的多媒體數(shù)據(jù)， 或者經(jīng)過不同渠道而匯聚到同一點(diǎn)的多種媒體數(shù)據(jù)而言， 這種情況將更為嚴(yán)重。 由此， 多媒體通信的一個很重要的問題就是如何保持各種媒體之間的同步， 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 即就是如何采取有效的措施來消除延時、 抖動， 恢復(fù)、 保持這些媒體流之間的時間同步關(guān)系， 特別是實(shí)時連續(xù)媒體流之間的同步關(guān)系， 同時多媒體終端設(shè)備要把多種媒體信息按人們接收信息的方式表現(xiàn)出來， 也需要有一種同步機(jī)制來控制多

59、種媒體信息流之間的確定的關(guān)系， 并控制多種媒體交互的精確時間。 多媒體同步機(jī)制多媒體同步機(jī)制的作用就是要將各個媒體的同步誤差控制在它所能容忍的范圍內(nèi)。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 同步機(jī)制實(shí)質(zhì)上是一種服務(wù)過程， 它能夠了解同步描述數(shù)據(jù)所定義的時域特征， 并根據(jù)用戶所要求的同步容限， 完成對該特征的維護(hù)(即在運(yùn)行過程中保證時域特征不受破壞)。 一般而言， 所使用的同步控制機(jī)制既要保證多媒體數(shù)據(jù)流的媒體內(nèi)同步， 又要保證多媒體數(shù)據(jù)流的媒體間同步。 媒體內(nèi)的同步關(guān)系表現(xiàn)為媒體流的連續(xù)性和實(shí)時性， 媒體間的同步關(guān)系表現(xiàn)為各種媒體流中同步點(diǎn)的同時播放。第第9 9章章 多媒體通信

60、同步技術(shù)多媒體通信同步技術(shù) 傳統(tǒng)的多媒體同步控制機(jī)制的設(shè)計是基于音頻信息和視頻信息的交織同步的， 即將音頻信息與視頻信息在數(shù)據(jù)源端進(jìn)行同步編碼， 之后將它們合成為單一的信息流， 通過傳輸媒介， 在數(shù)據(jù)表現(xiàn)端進(jìn)行同步解碼， 從而獲得媒體同步。 這種方法在一定程度上是出于對節(jié)約帶寬資源的考慮， 雖然它可以確保媒體同步， 但是卻給編碼器和解碼器帶來了很大的復(fù)雜度。 對實(shí)時性要求很高的多媒體應(yīng)用系統(tǒng)來說是不利的。 第第9 9章章 多媒體通信同步技術(shù)多媒體通信同步技術(shù) 隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展， 局域網(wǎng)和互聯(lián)網(wǎng)的帶寬資源在不斷加寬， 完全有能力讓視頻信息和音頻信息獨(dú)立傳輸。 針對這種情況， 各種同步控制機(jī)