研究生多媒體03_多媒體數(shù)據(jù)壓縮-MPEG部分

1、11. 簡介簡介Motion Picture Experts Group運動圖象專家組，運動圖象專家組，ISO領導下的一個小組，自領導下的一個小組，自1988年開始研究，年開始研究，1990年提年提出和建立了一個出和建立了一個MPEG標準草案，標準草案，1991年底提出用于數(shù)字存儲介質的位率年底提出用于數(shù)字存儲介質的位率為為1.5Mbps的運動圖象及其伴音的壓縮編碼方案。這個方案于的運動圖象及其伴音的壓縮編碼方案。這個方案于1992年正式年正式通過，通常稱為通過，通常稱為MPEG標準，此后定名為標準，此后定名為MPEG-I 標準。標準。1993年年11月，又通過了另外一個建議，定名為月，又通過

2、了另外一個建議，定名為 MPEG II標準。標準。之后，之后，MPEG小組有推出來幾個后續(xù)的標準，其中較為著名的是小組有推出來幾個后續(xù)的標準，其中較為著名的是MPEG 4, MPEG 7，兩個標準。，兩個標準。21. 簡介簡介MPEG標準文件的創(chuàng)建過程和其他的標準文件的創(chuàng)建過程和其他的ISO標準文件一樣，有一個較長的過程。標準文件一樣，有一個較長的過程。（1）工作文件（工作文件（Working Draft）：由工作組提出）：由工作組提出（2）委員會草案（委員會草案（Committee Draft）：從工作組準備好的工作文件中）：從工作組準備好的工作文件中提升上來的文件。這是提升上來的文件。這是

3、ISO文檔的最初形式，它由文檔的最初形式，它由ISO內(nèi)部正式調(diào)查研究投內(nèi)部正式調(diào)查研究投票決定。票決定。（3）國際標準草案（國際標準草案（Draft International Standard）：投票成員國對）：投票成員國對委員會草案的內(nèi)容和說明滿意之后由委員會草案提升上來的文件。委員會草案的內(nèi)容和說明滿意之后由委員會草案提升上來的文件。（4）國際標準（國際標準（International Standard）。）。ISO標準化組織最后出版標準化組織最后出版和發(fā)布的文件。和發(fā)布的文件。標準的推出一般都有一個較漫長的過程，需要考慮和現(xiàn)有系統(tǒng)的融合等。標準的推出一般都有一個較漫長的過程，需要考慮和

4、現(xiàn)有系統(tǒng)的融合等。31. 簡介簡介MPEG 壓縮：壓縮：多媒體數(shù)據(jù)中信息的冗余可能是由以下一些原因造成的：多媒體數(shù)據(jù)中信息的冗余可能是由以下一些原因造成的：空間冗余：空間上占據(jù)位置，但不載有有效信息；空間冗余：空間上占據(jù)位置，但不載有有效信息；時間冗余：動態(tài)媒體信息，視頻，音頻等和時間相關的媒體信時間冗余：動態(tài)媒體信息，視頻，音頻等和時間相關的媒體信息，不同時刻的信息內(nèi)容相同或相似；息，不同時刻的信息內(nèi)容相同或相似；編碼冗余：不合理的編碼；編碼冗余：不合理的編碼；結構冗余：如對稱的內(nèi)容；結構冗余：如對稱的內(nèi)容；MPEG系列的壓縮算法中，是如何去除這些冗余的？系列的壓縮算法中，是如何去除這些冗余

5、的？42. MPEG -1MPEG1的標準號為的標準號為ISO/IEC 11172，名稱為，名稱為“信息技術信息技術用于數(shù)據(jù)速用于數(shù)據(jù)速率大約高達率大約高達1.5Mbps的數(shù)字存儲媒體的電視圖像和伴音信號編碼。的數(shù)字存儲媒體的電視圖像和伴音信號編碼。”(Information technology Coding of moving pictures and associated audio for digital storage media at up to about 1.5M b/s)。 2.1 簡介簡介52. MPEG -1MPEG標準是一種通用標準，能支持廣泛的應用，標準以一種標準是一

6、種通用標準，能支持廣泛的應用，標準以一種“組合工具組合工具”的方式建立。的方式建立。標準分為標準分為5個部分：個部分：& MPEG1系統(tǒng)：規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關數(shù)據(jù)的同步；系統(tǒng)：規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關數(shù)據(jù)的同步；& MPEG1電視圖像：規(guī)定電視數(shù)據(jù)的編碼和解碼；電視圖像：規(guī)定電視數(shù)據(jù)的編碼和解碼；& MPEG1聲音：規(guī)定聲音數(shù)據(jù)的編碼和解碼；聲音：規(guī)定聲音數(shù)據(jù)的編碼和解碼；& MPEG一致性測試：在這個標準中說明了如何測試位數(shù)據(jù)流和解碼器一致性測試：在這個標準中說明了如何測試位數(shù)據(jù)流和解碼器是否滿足是否滿足MPEG1前三個部分中所規(guī)定的要求；前三個部分中所規(guī)定的要求

7、；& MPEG1軟件模擬：這部分的內(nèi)容不是一個標準，而是一個技術報告，軟件模擬：這部分的內(nèi)容不是一個標準，而是一個技術報告，給出了用軟件執(zhí)行標準前給出了用軟件執(zhí)行標準前3部分的結果。部分的結果。2.1 簡介簡介62. MPEG -1除了視頻和音頻壓縮以外，標準還涉及回放時的一些有關問題，包括：除了視頻和音頻壓縮以外，標準還涉及回放時的一些有關問題，包括：隨機訪問：隨機訪問：用戶能索引信息并能隨機地訪問它們。用戶能索引信息并能隨機地訪問它們。VCR模式：模式：VCR模式包括了模式包括了VCR上一些典型的控制功能，如播放、快進、倒帶、正上一些典型的控制功能，如播放、快進、倒帶、正向搜索和倒帶搜索。

8、雖然模式很簡單，但一些操作，如快進等要求比較高，例如快向搜索和倒帶搜索。雖然模式很簡單，但一些操作，如快進等要求比較高，例如快進搜索以及更為復雜的倒帶搜索要求在正向或逆向方向中都能極快速地解壓縮和回進搜索以及更為復雜的倒帶搜索要求在正向或逆向方向中都能極快速地解壓縮和回放，所有這些必須在不損失音頻視頻同步性的情況下進行。放，所有這些必須在不損失音頻視頻同步性的情況下進行。音頻視頻同步：音頻視頻同步：當信號朝正向運動時，是音頻和視頻通道同步并不太復雜，但在當信號朝正向運動時，是音頻和視頻通道同步并不太復雜，但在快進搜索和倒帶搜索要求的高速同步就復雜得多?？爝M搜索和倒帶搜索要求的高速同步就復雜得多

9、。MPEG標準試圖在所有環(huán)境下保標準試圖在所有環(huán)境下保持同步而定義接口和工具。持同步而定義接口和工具?？删庉嬓裕嚎删庉嬓裕杭羟胁⒄迟N音頻和視頻剪輯是剪切并粘貼音頻和視頻剪輯是MPEG標準中很重要的一個考慮。標準中很重要的一個考慮。2.1 簡介簡介72. MPEG -1MPEG視頻壓縮標準提供了兩種基本方法：視頻壓縮標準提供了兩種基本方法：&基于離散變換的壓縮可用于減小空間冗余度；基于離散變換的壓縮可用于減小空間冗余度；&基于塊的運動補償用于減少時間冗余度。運動補償壓縮是基于塊的運動補償用于減少時間冗余度。運動補償壓縮是MPEG的關鍵的關鍵特點。特點。具體的做法：采用幀內(nèi)圖象數(shù)據(jù)壓縮和幀間圖象數(shù)

10、據(jù)壓縮技術。具體的做法：采用幀內(nèi)圖象數(shù)據(jù)壓縮和幀間圖象數(shù)據(jù)壓縮技術。 MPEG專專家組定義了三種圖像：幀內(nèi)圖像家組定義了三種圖像：幀內(nèi)圖像I(intra)，預測圖像，預測圖像P(predicted )和雙向預和雙向預測圖像測圖像B(bidirectionally interpolated )2.1 簡介簡介82. MPEG -12.1 簡介簡介92. MPEG -1幀內(nèi)圖像幀內(nèi)圖像I的壓縮編碼算法算法：與的壓縮編碼算法算法：與JPEG壓縮算法大致相同，去除幀內(nèi)圖壓縮算法大致相同，去除幀內(nèi)圖像的空間冗余。像的空間冗余。不用以任何圖片為參考就可以對這種類型的幀編碼。幀內(nèi)圖片可以放在序不用以任何圖片

11、為參考就可以對這種類型的幀編碼。幀內(nèi)圖片可以放在序列中的任何位置，并可用于對序列的隨機訪問。幀內(nèi)圖片由于是獨立編碼列中的任何位置，并可用于對序列的隨機訪問。幀內(nèi)圖片由于是獨立編碼的，所以它的壓縮率相對來說要小一些。的，所以它的壓縮率相對來說要小一些。2.2 MPEG1視頻壓縮視頻壓縮2.2.1 幀內(nèi)壓縮算法幀內(nèi)壓縮算法10112. MPEG -1運動補償：一種預測技術。假設當前圖片是前面圖片的某種平移，當某幀運動補償：一種預測技術。假設當前圖片是前面圖片的某種平移，當某幀圖片被作為參考幀時，當前編碼的幀和參考幀相比只是由于攝像機的移動圖片被作為參考幀時，當前編碼的幀和參考幀相比只是由于攝像機的

12、移動造成兩者的不同。造成兩者的不同。預測圖片：預測圖片分為兩種，單向預測圖片預測圖片：預測圖片分為兩種，單向預測圖片P和雙向預測圖片和雙向預測圖片B。預測圖。預測圖片的編碼要參考以前的圖片，被參考的圖片可以是幀內(nèi)圖片也可以是單向片的編碼要參考以前的圖片，被參考的圖片可以是幀內(nèi)圖片也可以是單向預測圖片。雙向預測圖片永遠也不能作為參考圖片。預測圖片。雙向預測圖片永遠也不能作為參考圖片。我們通常把幀內(nèi)圖片和單向預測圖片成為錨圖片。我們通常把幀內(nèi)圖片和單向預測圖片成為錨圖片。2.2 MPEG1視頻壓縮視頻壓縮2.2.2 幀間壓縮算法幀間壓縮算法運動補償運動補償162. MPEG -1單向預測圖片單向預

13、測圖片P（這里簡稱為（這里簡稱為P幀）的編碼方法：幀）的編碼方法：對某一個對某一個P幀進行編碼時，在它之前（可以是相鄰的也可以不相鄰）的幀內(nèi)幀進行編碼時，在它之前（可以是相鄰的也可以不相鄰）的幀內(nèi)圖片或單向預測圖片就作為參考，圖片或單向預測圖片就作為參考，P幀對照著參考圖片進行編碼，提高幀對照著參考圖片進行編碼，提高P幀幀壓縮率的方法我們稱為運動補償。編碼后，預測圖像壓縮率的方法我們稱為運動補償。編碼后，預測圖像P使用兩種類型的參數(shù)使用兩種類型的參數(shù)來表示：來表示：一種是當前要編碼的圖像塊與參考圖像的塊之間的差值；一種是當前要編碼的圖像塊與參考圖像的塊之間的差值；另一種參數(shù)是塊的移動矢量。另一

14、種參數(shù)是塊的移動矢量。編碼方法：對每一塊（一般來說編碼方法：對每一塊（一般來說1616象素），到參考幀中去尋找最佳匹象素），到參考幀中去尋找最佳匹配的塊。找到這個塊以后，算法如下所示。配的塊。找到這個塊以后，算法如下所示。2.2 MPEG1視頻壓縮視頻壓縮2.2.2 幀間壓縮算法幀間壓縮算法運動補償運動補償17182. MPEG -12.2 MPEG1視頻壓縮視頻壓縮2.2.2 幀間壓縮算法幀間壓縮算法運動補償運動補償192. MPEG -1塊匹配法（塊匹配法（Block Matching Algorithm）需要解決兩個關鍵問題：）需要解決兩個關鍵問題：（1）匹配準則：均方誤差，平均絕對幀差

15、等）匹配準則：均方誤差，平均絕對幀差等（2）搜索算法：）搜索算法：2.2 MPEG1視頻壓縮視頻壓縮2.2.2 幀間壓縮算法幀間壓縮算法運動補償運動補償202. MPEG -1雙向預測圖片雙向預測圖片 B（這里簡稱為（這里簡稱為B幀）的編碼方法：幀）的編碼方法：雙向預測圖片通過對前面和后面的錨圖片的運動補償方法來編碼。雙向預測圖片通過對前面和后面的錨圖片的運動補償方法來編碼。運用雙向預測塊可以有效預測不清楚的背景，即過去沒有出現(xiàn)，將來會出運用雙向預測塊可以有效預測不清楚的背景，即過去沒有出現(xiàn)，將來會出現(xiàn)的當前圖像區(qū)域。雙向運測在兩個方面增加了預測估計的復雜性。首先，現(xiàn)的當前圖像區(qū)域。雙向運測在

16、兩個方面增加了預測估計的復雜性。首先，它要在兩個不同的錨圖片之間進行兩次運動估計。另外，錨圖片可能由多它要在兩個不同的錨圖片之間進行兩次運動估計。另外，錨圖片可能由多個圖像隔開，我們要在更大的運動估計范圍中跟蹤物體。個圖像隔開，我們要在更大的運動估計范圍中跟蹤物體。2.2 MPEG1視頻壓縮視頻壓縮2.2.2 幀間壓縮算法幀間壓縮算法運動補償運動補償21222. MPEG -1MPEG編碼器算法允許選擇編碼器算法允許選擇I圖像的頻率和位置。圖像的頻率和位置。I圖像、圖像、P圖像和圖像和B圖像數(shù)目的選擇依據(jù)主要是節(jié)目的內(nèi)容。圖像數(shù)目的選擇依據(jù)主要是節(jié)目的內(nèi)容。例如，對于快速運動的圖像，例如，對于

17、快速運動的圖像，I圖像的頻率可以選擇高一些，圖像的頻率可以選擇高一些，B圖像的數(shù)目圖像的數(shù)目可以選擇少一點；對于滿速運動的圖像可以選擇少一點；對于滿速運動的圖像I圖像的頻率可以低一點，而圖像的頻率可以低一點，而B圖像圖像的數(shù)目可以選擇多一點。此外，在實際應用中還要考慮媒體的速率。的數(shù)目可以選擇多一點。此外，在實際應用中還要考慮媒體的速率。I幀幀(又稱內(nèi)碼幀又稱內(nèi)碼幀)的作用：隨機訪問，正向、逆向的快速訪問的作用：隨機訪問，正向、逆向的快速訪問2.2 MPEG1視頻壓縮視頻壓縮2.2.3 幀的編排序列幀的編排序列233. MPEG -2MPEG-2可以看成是可以看成是MPEG-1的擴充，因為它們

18、的基本編碼算法是相同的，的擴充，因為它們的基本編碼算法是相同的，MPEG-2增加了隔行掃描電視的編碼，提供了位速率的可變性能等功能。增加了隔行掃描電視的編碼，提供了位速率的可變性能等功能。MPEG-2要達到的目標是：速率為要達到的目標是：速率為49Mb/s，最高達，最高達15Mb/s。標準號：標準號：ISO/IEC 13818,標準名稱：（標準名稱：（Information technology-Generic coding of moving pictures and associated audio information）.信息技術：電視圖像和伴信息技術：電視圖像和伴音信息的通用編碼。音

19、信息的通用編碼。3.1 MPEG-2簡介簡介24MPEG2 在視頻部分的擴充是定義了電視圖像的各種規(guī)格。以適應不同在視頻部分的擴充是定義了電視圖像的各種規(guī)格。以適應不同的應用。的應用。MPEG2在音頻方面定義了兩種聲音數(shù)據(jù)壓縮格式：在音頻方面定義了兩種聲音數(shù)據(jù)壓縮格式：& 一種在標準中稱為一種在標準中稱為MPEG2 Audio，是以，是以MPEG-1Audio兼容的，又兼容的，又稱為稱為MPEG-2 BC(backward compatible)。& 另一種稱為另一種稱為MPEG2 AAC(Advanced Audio Coding)，它與，它與MPEG1聲音格式不兼容。聲音格式不兼容。3.

20、MPEG -23.1 MPEG-2簡介簡介253. MPEG -2MPEG-2 Audio和和MPEG1標準都使用相同種類的編譯碼器，層標準都使用相同種類的編譯碼器，層1，層，層2，層，層3的結構也相同。的結構也相同。 MPEG2聲音標準和聲音標準和MPEG1標準相比，標準相比，MPEG2做了如下擴充：做了如下擴充：&增加了采樣頻率；增加了采樣頻率；&擴展了編碼器的輸出速率范圍；擴展了編碼器的輸出速率范圍；&增加了聲道數(shù)，支持增加了聲道數(shù)，支持5.1聲道和聲道和7.1聲道的環(huán)繞聲；聲道的環(huán)繞聲；&MPEG2 還支持還支持Linear PCM(線性線性PCM)和和Dolby AC3 編碼。編碼。

21、3.2 MPEG-2音頻音頻263. MPEG -2MPEG2Audio的的“5.1環(huán)繞聲環(huán)繞聲”也稱為也稱為“3/2立體聲加立體聲加LFE”，其中的，其中的“.1”就是指就是指LFE聲道。左、中、右、兩個環(huán)繞、聲道。左、中、右、兩個環(huán)繞、LFE（low frequency effects，低頻音效）。低頻音效）。3.2 MPEG-2音頻音頻2728293. MPEG - 2MPEG2 AAC是是MPEG2標準中的一種非常靈活動聲音感知編碼標準。標準中的一種非常靈活動聲音感知編碼標準。MPEG2AAC主要使用聽覺系統(tǒng)的屏蔽特性來減少聲音的數(shù)據(jù)量，并且通主要使用聽覺系統(tǒng)的屏蔽特性來減少聲音的數(shù)據(jù)

22、量，并且通過把量化噪聲分散到各個子帶中，減少噪聲的影響。過把量化噪聲分散到各個子帶中，減少噪聲的影響。ACC提供更廣泛的支持，支持的頻率可從提供更廣泛的支持，支持的頻率可從8KHz到到96kHz，AAC編碼器的音編碼器的音源可以是單聲道的、立體聲的和多聲道的聲音。源可以是單聲道的、立體聲的和多聲道的聲音。MPEG2AAC提供很高的壓縮率，與提供很高的壓縮率，與MPEG1 的的layer3相比，在質量相相比，在質量相同的條件下，數(shù)據(jù)率是它的同的條件下，數(shù)據(jù)率是它的70%左右。左右。3.2 MPEG-2音頻音頻304. MPEG - 4一種低速度音頻、視頻編碼標準。一種低速度音頻、視頻編碼標準。名

23、稱：名稱： very-low-bit-rate audio visual coding。極低速率視聽編碼。極低速率視聽編碼。MPEG-4 與與 前兩個前兩個MPEG壓縮算法最基本的區(qū)別在于，壓縮算法最基本的區(qū)別在于，MPEG-4是基于內(nèi)是基于內(nèi)容的壓縮編碼方法。為了達到在低速率的環(huán)境工作，容的壓縮編碼方法。為了達到在低速率的環(huán)境工作，MPEG4引入了基于引入了基于對象的表達方式，對象的表達方式，object-based representation。MPEG-4 Video算法的核心是支持內(nèi)容基算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功的編碼和解碼功能，也就是對場景中使

24、用分割算法抽取的單獨的物理對象進行編碼和解碼。能，也就是對場景中使用分割算法抽取的單獨的物理對象進行編碼和解碼。MPEG-4 Video還提供管理這些電視內(nèi)容的最基本方法。還提供管理這些電視內(nèi)容的最基本方法。4.1 MPEG-4簡介簡介314. MPEG - 4MPEG4標準是對一幅圖像按內(nèi)容切分塊，如圖像的場景，畫面上的物體標準是對一幅圖像按內(nèi)容切分塊，如圖像的場景，畫面上的物體（物體（物體1，物體，物體2），被分割成不同的子塊，將感興趣的物體從場景中），被分割成不同的子塊，將感興趣的物體從場景中截取出來，進行編碼處理。截取出來，進行編碼處理。子塊的起始位置和子塊的大小，取決于所截取物體的形

25、狀和尺寸。子塊的起始位置和子塊的大小，取決于所截取物體的形狀和尺寸。基于內(nèi)容或物體截取的子塊內(nèi)信息相關性強，可以產(chǎn)生高壓縮比的效果?；趦?nèi)容或物體截取的子塊內(nèi)信息相關性強，可以產(chǎn)生高壓縮比的效果。4.1 MPEG-4簡介簡介324. MPEG - 44.1 MPEG-4簡介簡介334. MPEG - 44.1 MPEG-4簡介簡介34MPEG-1, MPEG 2 不關心幀中圖象的整體內(nèi)容，只是將其劃分成子塊。不關心幀中圖象的整體內(nèi)容，只是將其劃分成子塊。而而MPEG-4標準是對一幀中的圖象按內(nèi)容分開，分成塊。標準是對一幀中的圖象按內(nèi)容分開，分成塊。MPEG4，將感興趣的物體從場景中截取出來，以

26、后的操作就針對這些物，將感興趣的物體從場景中截取出來，以后的操作就針對這些物體來進行。體來進行。為了將感興趣的物體從場景中截取出來，引入了視頻物體，視頻物體平面為了將感興趣的物體從場景中截取出來，引入了視頻物體，視頻物體平面等概念來實現(xiàn)基于內(nèi)容的表示。等概念來實現(xiàn)基于內(nèi)容的表示。視頻對象（視頻對象（VO）: Video Object,視頻對象區(qū)（視頻對象區(qū)（VOP）: Video Object Plane4. MPEG - 44.1 MPEG-4簡介簡介35VO的選擇依賴于具體應用和系統(tǒng)實際所處的環(huán)境，若不關心內(nèi)容，的選擇依賴于具體應用和系統(tǒng)實際所處的環(huán)境，若不關心內(nèi)容，VO可可以是一個矩形框

27、，這樣的話，和以是一個矩形框，這樣的話，和MPEG-1,MPEG-2兼容。對于要求較高的兼容。對于要求較高的應用，可以使場景中的物體，實現(xiàn)基于物體的編碼。應用，可以使場景中的物體，實現(xiàn)基于物體的編碼。4. MPEG - 44.2 VO和和VOP 36當當VO被定義為場景中被截取出來的不同物體時，每個被定義為場景中被截取出來的不同物體時，每個VO有三類信息來描有三類信息來描述：述：運動信息，形狀信息，紋理信息。運動信息，形狀信息，紋理信息。也就是說，也就是說，MPEG4標準的視頻編碼是針對這三種信息的編碼技術。標準的視頻編碼是針對這三種信息的編碼技術。 4. MPEG - 44.2 VO和和VO

28、P 37第一步：第一步：VO的形成。先要從原始的視頻流中分割出的形成。先要從原始的視頻流中分割出VO。第二步：編碼。對各個第二步：編碼。對各個VO分別獨立的編碼，即包括分別獨立的編碼，即包括VO的三類信息，（運的三類信息，（運動信息，形狀信息，紋理信息）分別編碼，分配不同碼字。動信息，形狀信息，紋理信息）分別編碼，分配不同碼字。第三步：復合。將各個第三步：復合。將各個VO的碼流復合成一個符合的碼流復合成一個符合MPEG-4標準的位流。標準的位流。在編碼和復合階段可以加入用戶的交互控制或由智能化算法進行控制。在編碼和復合階段可以加入用戶的交互控制或由智能化算法進行控制。MPEG4標準提供靈活的框

29、架和開放的工具集，它通過工具集和句法描述標準提供靈活的框架和開放的工具集，它通過工具集和句法描述語言不同的組合，支持功能的不同組合。語言不同的組合，支持功能的不同組合。4. MPEG - 44.3 編碼方法編碼方法 38VO是場景中的某個物體，它由時間上連續(xù)的幀畫面序列構成。是場景中的某個物體，它由時間上連續(xù)的幀畫面序列構成。VOP是某一是某一時刻某一幀畫面的時刻某一幀畫面的VO，VOP編碼即針對某一時刻該幀畫面編碼即針對某一時刻該幀畫面VO的形狀、的形狀、運動、紋理等三類信息進行編碼。運動、紋理等三類信息進行編碼。4. MPEG - 44.4 基于基于VOP的編碼的編碼39形狀編碼形狀編碼V

30、OP是一個不規(guī)則的形狀。表示是一個不規(guī)則的形狀。表示VOP的形狀可用二值圖表示，或者用灰度的形狀可用二值圖表示，或者用灰度圖表示。圖表示。如果采用一位表示，約定如果采用一位表示，約定0表示非表示非VOP區(qū)域，也就是背景，區(qū)域，也就是背景，1表示表示VOP區(qū)域。區(qū)域。對于用灰度圖表示的對于用灰度圖表示的VOP形狀，形狀，0表示非表示非VOP區(qū)域，區(qū)域，1255表示表示VOP區(qū)區(qū)域，以灰度表示域，以灰度表示VOP形狀時，物體與背景的邊界輪廓線比二值表示方式形狀時，物體與背景的邊界輪廓線比二值表示方式要柔和。要柔和。4. MPEG - 44.4 基于基于VOP的編碼的編碼40形狀編碼形狀編碼MPEG

31、-4標準形狀編碼方法是用位圖法，標準形狀編碼方法是用位圖法，VOP被一個邊框框注，邊框長、被一個邊框框注，邊框長、寬均為寬均為16的整數(shù)倍，同時保證邊框最小。位圖表示法實際上就是一個邊的整數(shù)倍，同時保證邊框最小。位圖表示法實際上就是一個邊框矩陣，矩陣元素為框矩陣，矩陣元素為0255（或（或0，1），編碼變?yōu)閷@個矩陣的編碼，），編碼變?yōu)閷@個矩陣的編碼，邊界信息包含在邊界信息包含在1616的形狀塊中。的形狀塊中。4. MPEG - 44.4 基于基于VOP的編碼的編碼41運動編碼：運動估計和運動補償運動編碼：運動估計和運動補償MPEG4標準中的標準中的VOP運動估計和運動補償與以前的壓縮標準一

32、樣。類似運動估計和運動補償與以前的壓縮標準一樣。類似于以前的壓縮標準的三種幀格式：于以前的壓縮標準的三種幀格式：I（幀內(nèi)）幀，（幀內(nèi)）幀，P（預測）幀，（預測）幀，B（雙向預（雙向預測幀）幀，測幀）幀，MPEG4中也有相應的幀格式，中也有相應的幀格式，IVOP，PVOP，BVOP，一表示運動補償類型的不同。一表示運動補償類型的不同。4. MPEG - 44.4 基于基于VOP的編碼的編碼42紋理編碼紋理編碼紋理信息有兩種，可能是內(nèi)部編碼的紋理信息有兩種，可能是內(nèi)部編碼的I-VOP的象素值，也可能是幀間編碼的的象素值，也可能是幀間編碼的P-VOP,B-VOP的運動估計殘差值。為了達到簡單，高性能

33、，容錯性好的目的運動估計殘差值。為了達到簡單，高性能，容錯性好的目的，仍采用基于分塊的紋理編碼。的，仍采用基于分塊的紋理編碼。VOP邊框仍被分成邊框仍被分成1616的宏塊，宏塊的宏塊，宏塊由由88的子塊構成。對每一個宏塊，可以分成的子塊構成。對每一個宏塊，可以分成3種情況：種情況：VOP外，邊框內(nèi)的塊：不編碼；外，邊框內(nèi)的塊：不編碼；VOP內(nèi)的塊：傳統(tǒng)內(nèi)的塊：傳統(tǒng)DCT方法編碼；方法編碼；部分在部分在VOP內(nèi)，部分在內(nèi)，部分在VOP外的塊，目前使用的方法是采用重復填充的方外的塊，目前使用的方法是采用重復填充的方法將該塊在法將該塊在VOP外的部分進行填充，再用外的部分進行填充，再用DCT編碼。這

34、樣是為了增加塊內(nèi)編碼。這樣是為了增加塊內(nèi)數(shù)據(jù)的空域相關性從而利于數(shù)據(jù)的空域相關性從而利于DCT變換和量化后的編碼。變換和量化后的編碼。4. MPEG - 44.4 基于基于VOP的編碼的編碼43最大的特點，基于內(nèi)容的交互性：最大的特點，基于內(nèi)容的交互性：1基于內(nèi)容的多媒體數(shù)據(jù)訪問工具：通過使用各種訪問工具，基于內(nèi)容的多媒體數(shù)據(jù)訪問工具：通過使用各種訪問工具，MPEG4提供基于音像內(nèi)容的數(shù)據(jù)訪問，例如：索引查詢等。提供基于音像內(nèi)容的數(shù)據(jù)訪問，例如：索引查詢等。2基于內(nèi)容的處理和比特流編輯：基于內(nèi)容的處理和比特流編輯：MPEG4提供提供“MPEG4句法描句法描述語言述語言”和編碼模式，以支持基于內(nèi)

35、容的處理和比特流編輯，且不需要和編碼模式，以支持基于內(nèi)容的處理和比特流編輯，且不需要代碼轉換。這個特點使得它的應用領域得到很大的增加，例如，數(shù)字特代碼轉換。這個特點使得它的應用領域得到很大的增加，例如，數(shù)字特技（對某些物體進行特殊的處理）。技（對某些物體進行特殊的處理）。3改進的時間隨機訪問：改進的時間隨機訪問：MPEG4提供一種有效的方法，可以在有提供一種有效的方法，可以在有限的時間內(nèi)，且以較高的分辨率，隨機訪問視頻序列的部分內(nèi)容。包括限的時間內(nèi)，且以較高的分辨率，隨機訪問視頻序列的部分內(nèi)容。包括在很低的比特率下的隨機訪問。在很低的比特率下的隨機訪問。4. MPEG - 44.5 MPEG4

36、視頻編碼方法的應用視頻編碼方法的應用44微軟的微軟的ASF（Advanced Streaming format）格式，采用的就是）格式，采用的就是MPEG4算法思算法思想。想。ASF：微軟公司為了和現(xiàn)在的：微軟公司為了和現(xiàn)在的 Real player 競爭而發(fā)展出來的一種可以直接在網(wǎng)上競爭而發(fā)展出來的一種可以直接在網(wǎng)上觀看視頻節(jié)目的文件壓縮格式。觀看視頻節(jié)目的文件壓縮格式。4. MPEG - 44.5 MPEG4視頻編碼方法的應用視頻編碼方法的應用45DivX 視頻編碼技術是一種基于視頻編碼技術是一種基于MPEG4標準的數(shù)位編碼標準的數(shù)位編碼/解碼系統(tǒng)，利用解碼系統(tǒng)，利用MPEG-4視視頻格式

37、與頻格式與MP3音頻格式結合而成的。它由美國音頻格式結合而成的。它由美國DivXNetworks公司研制開發(fā)，它公司研制開發(fā)，它是為了打破是為了打破 ASF的種種協(xié)定而發(fā)展出來的，同時對的種種協(xié)定而發(fā)展出來的，同時對 DVD 造成一定威脅。造成一定威脅。DivX 的優(yōu)勢：的優(yōu)勢：& 視頻質量好視頻質量好& 數(shù)據(jù)量小數(shù)據(jù)量小& 伴音質量好伴音質量好4. MPEG - 44.5 MPEG4視頻編碼方法的應用視頻編碼方法的應用46MPEG-4 Audio標準可集成從話音到高質量的多通道聲音，從自然聲音到標準可集成從話音到高質量的多通道聲音，從自然聲音到合成聲音。合成聲音。編碼方法還包括參數(shù)編碼編碼方

38、法還包括參數(shù)編碼(parametric coding)，碼激勵線性預測，碼激勵線性預測(code excited linear predictive，CELP)編碼，時間編碼，時間/頻率頻率T/F(time/frequency)編碼，結構化聲音編碼，結構化聲音SA(structured audio)編碼和文本編碼和文本-語音語音TTS(text-to-speech)系統(tǒng)的合成聲音等。系統(tǒng)的合成聲音等。 4. MPEG - 44.6 MPEG4音頻音頻47越來越多的聲像信息以數(shù)字形式存儲和傳輸，這為人們更靈活地使用這些越來越多的聲像信息以數(shù)字形式存儲和傳輸，這為人們更靈活地使用這些信息提供了可能

39、性。信息提供了可能性。但隨之而來的問題：隨著網(wǎng)絡上信息爆炸性的增長，獲取到我們感興趣的但隨之而來的問題：隨著網(wǎng)絡上信息爆炸性的增長，獲取到我們感興趣的信息，難度越來越大。傳統(tǒng)的基于關鍵字或文件名的檢索方法顯然不適于信息，難度越來越大。傳統(tǒng)的基于關鍵字或文件名的檢索方法顯然不適于數(shù)據(jù)量龐大，又不具有固定結構特征的聲像數(shù)據(jù)。需要基于內(nèi)容的檢索。數(shù)據(jù)量龐大，又不具有固定結構特征的聲像數(shù)據(jù)。需要基于內(nèi)容的檢索。5. MPEG - 75.1 產(chǎn)生背景產(chǎn)生背景48實現(xiàn)基于內(nèi)容的檢索的一個關鍵性的步驟：要定義一種描述聲像信息內(nèi)容實現(xiàn)基于內(nèi)容的檢索的一個關鍵性的步驟：要定義一種描述聲像信息內(nèi)容的格式，而這與聲

40、像信息的存儲形式（或者說是編碼方式）又是密切相關的格式，而這與聲像信息的存儲形式（或者說是編碼方式）又是密切相關的。的。國際標準化組織國際標準化組織ISO/IEC領導下的運動圖像專家組領導下的運動圖像專家組MPEG，在推出影響極大，在推出影響極大的的MPEG1，MPEG2，MPEG4之后，又制定了支持多媒體信息基于之后，又制定了支持多媒體信息基于內(nèi)容檢索的編碼方案：內(nèi)容檢索的編碼方案：MPEG-7。5. MPEG - 75.1 產(chǎn)生背景產(chǎn)生背景49MPEG7的正式名稱：的正式名稱：“多媒體內(nèi)容描述接口多媒體內(nèi)容描述接口”。其目標：。其目標：& 它將為各種類型的多媒體信息規(guī)定一種標準化的描述它將

41、為各種類型的多媒體信息規(guī)定一種標準化的描述& MPEG-7并不針對某種特殊的應用，相反它的標準化的要素將支持盡可能廣泛的并不針對某種特殊的應用，相反它的標準化的要素將支持盡可能廣泛的應用應用& MPEG7希望將標準化的描述加到任何類型的多媒體資料上。希望將標準化的描述加到任何類型的多媒體資料上。& MPEG-7標準允許對一個事物的描述有不同的細節(jié)層次。標準允許對一個事物的描述有不同的細節(jié)層次。 5. MPEG - 75.2 MPEG7的目標的目標50MPEG7 中中“描述描述”是依賴于應用的。不同用戶、不同應用所使用的描述是依賴于應用的。不同用戶、不同應用所使用的描述是不同的。也就是說，同一材

42、料可以使用不同類型的特征進行描述。例如：是不同的。也就是說，同一材料可以使用不同類型的特征進行描述。例如：& 視頻材料的低級抽象是它的視頻材料的低級抽象是它的shape, size, texture, colour, movement (trajectory) and position (where in the scene can the object be found?)等的描述等的描述. & 音頻材料的低級抽象是它的音頻材料的低級抽象是它的key, mood, tempo, tempo changes, position in sound space等的描述；等的描述；& 而高級的描述也

43、許是給出語義信息如而高級的描述也許是給出語義信息如: This is a scene with a barking brown dog on the left and a blue ball that falls down on the right, with the sound of passing cars in the background. 5. MPEG - 75.2 MPEG7的目標的目標51MPEG7的優(yōu)勢：的優(yōu)勢：& 達到了更高的抽象層次：達到了更高的抽象層次：& MPEG-7能獨立于其他能獨立于其他MPEG標準來使用標準來使用& MPEG-7標準可以用于提高先前標準可以用于提

44、高先前MPEG系列標準的功能系列標準的功能5. MPEG - 75.2 MPEG7的目標的目標52名稱：名稱：“Multimedia Framework”。MPEG21標準正是致力于在大范圍標準正是致力于在大范圍的網(wǎng)絡上實現(xiàn)透明的傳輸和對多媒體資源的充分利用。的網(wǎng)絡上實現(xiàn)透明的傳輸和對多媒體資源的充分利用。 產(chǎn)生背景：產(chǎn)生背景：&對于不同網(wǎng)絡之間用戶的互通問題，至今仍沒有成熟的解決方案。對于不同網(wǎng)絡之間用戶的互通問題，至今仍沒有成熟的解決方案。&所有所有“內(nèi)容提供商（內(nèi)容提供商（content creator）”都有共同的關注目標：內(nèi)容的都有共同的關注目標：內(nèi)容的管理、版權的保護、對非授權接入

45、和修改防范以及對于提供商和使用者隱管理、版權的保護、對非授權接入和修改防范以及對于提供商和使用者隱私的保護。私的保護。6. MPEG - 216.1 背景背景53MPEG21是一個可互操作和高度自動化的框架，而且這個框架還考慮到是一個可互操作和高度自動化的框架，而且這個框架還考慮到了了DRM（digital rights management）的要求、對象化的多媒體接入以及）的要求、對象化的多媒體接入以及使用不同網(wǎng)絡和終端進行傳輸?shù)葐栴}。使用不同網(wǎng)絡和終端進行傳輸?shù)葐栴}。6. MPEG - 216.1 背景背景541.DRM（digital rights management） 如果不能對系統(tǒng)

46、進行認真規(guī)劃，那么實現(xiàn)網(wǎng)際互操作的愿望將與保護版權如果不能對系統(tǒng)進行認真規(guī)劃，那么實現(xiàn)網(wǎng)際互操作的愿望將與保護版權擁有者的權力相沖突。實際上，如果它們使用非標準化保護機制的話，擁有者的權力相沖突。實際上，如果它們使用非標準化保護機制的話，DRM系統(tǒng)將難以實現(xiàn)網(wǎng)際的互操作目標。因此，一個開放的多媒體結構對系統(tǒng)將難以實現(xiàn)網(wǎng)際的互操作目標。因此，一個開放的多媒體結構對于在于在DRM系統(tǒng)中實現(xiàn)更多的網(wǎng)際互操作是至關重要的。系統(tǒng)中實現(xiàn)更多的網(wǎng)際互操作是至關重要的。 6. MPEG - 216.1 背景背景552.不同類型的終端和網(wǎng)絡不同類型的終端和網(wǎng)絡 接入到不同類型網(wǎng)絡的需求變得愈來愈普遍；另外，終端

47、處于不同的位置接入到不同類型網(wǎng)絡的需求變得愈來愈普遍；另外，終端處于不同的位置和不同的環(huán)境中，對于移動性也有越來越高的要求。終端和網(wǎng)絡的不同性和不同的環(huán)境中，對于移動性也有越來越高的要求。終端和網(wǎng)絡的不同性質使得內(nèi)容提供商和服務提供商很難保證信息能在這樣復雜的環(huán)境中傳輸。質使得內(nèi)容提供商和服務提供商很難保證信息能在這樣復雜的環(huán)境中傳輸。 6. MPEG - 216.1 背景背景563.MPEG21景象（景象（MPEG21 Vision） MPEG21致力于為多媒體傳輸和使用定義一個標準化的開放框架。這種致力于為多媒體傳輸和使用定義一個標準化的開放框架。這種框架將在開放的市場中為內(nèi)容提供商和業(yè)務

48、提供商創(chuàng)造同等的機會。同時，框架將在開放的市場中為內(nèi)容提供商和業(yè)務提供商創(chuàng)造同等的機會。同時，這將在一種互操作的模式下為用戶提供更豐富的信息，用戶將因此而受益。這將在一種互操作的模式下為用戶提供更豐富的信息，用戶將因此而受益。 MPEG21景象可以總結如下：一個多媒體框架，它可以在廣闊的范圍里，景象可以總結如下：一個多媒體框架，它可以在廣闊的范圍里，為不同的網(wǎng)絡用戶提供透明的和可不斷擴展的多媒體資源。為不同的網(wǎng)絡用戶提供透明的和可不斷擴展的多媒體資源。 6. MPEG - 216.1 背景背景57MPEG21基于兩個基本概念：分布和處理基本單元基于兩個基本概念：分布和處理基本單元DI（the

49、Digital Item）以及以及DI與用戶間的互操作。與用戶間的互操作。 MPEG21也可表述為：以一種高效、透明和可互操作的方式支持用戶交也可表述為：以一種高效、透明和可互操作的方式支持用戶交換、接入、使用甚至操作換、接入、使用甚至操作DI的技術。的技術。 6. MPEG - 216.2 規(guī)范規(guī)范58(1)DI DI是是MPEG-21框架中，一個具有標準表示、身份認證和相關元數(shù)據(jù)的數(shù)字框架中，一個具有標準表示、身份認證和相關元數(shù)據(jù)的數(shù)字對象。這個實體是框架中分布和處理的基本單元。對象。這個實體是框架中分布和處理的基本單元。 為定義為定義DI，MPEG-21描述了一系列抽象術語和概念以形成一

50、個實用的模型。描述了一系列抽象術語和概念以形成一個實用的模型。這些模型的目的是盡可能的靈活和通用，同時提供盡可能多的功能。這些模型的目的是盡可能的靈活和通用，同時提供盡可能多的功能。 6. MPEG - 216.2 規(guī)范規(guī)范59(2)用戶用戶 在在MPEG21中，一個用戶是指與中，一個用戶是指與MPEG21進行環(huán)境交互或者使用進行環(huán)境交互或者使用DI的的任何實體。這些用戶包括個人、消費者、社團、組織、公司和政府部門。任何實體。這些用戶包括個人、消費者、社團、組織、公司和政府部門。從單純技術的角度來說，從單純技術的角度來說，MPEG21認為認為“內(nèi)容提供商內(nèi)容提供商”和和“使用者使用者（cons

51、umer）”之間沒有分別之間沒有分別他們都是用戶。一個單獨的實體可以他們都是用戶。一個單獨的實體可以以幾種方式使用網(wǎng)絡的內(nèi)容，同時所有這些與以幾種方式使用網(wǎng)絡的內(nèi)容，同時所有這些與MPEG21交互的實體都被交互的實體都被平等對待。然而，一個用戶可以根據(jù)與之交互的其他用戶的不同來承擔特平等對待。然而，一個用戶可以根據(jù)與之交互的其他用戶的不同來承擔特定的角色，發(fā)揮不同的作用。在最基本的層次上，定的角色，發(fā)揮不同的作用。在最基本的層次上，MPEG21可以被看成可以被看成是提供用戶間交互的一個框架。是提供用戶間交互的一個框架。 6. MPEG - 216.2 規(guī)范規(guī)范60當前當前MPEG21標準的組成

52、部分標準的組成部分 第一部分：景象、技術和策略（第一部分：景象、技術和策略（Vision，Technologies，and Strategy） MPEG21的第一部分在的第一部分在2001年年9月正式被批準。它主要提供了框架的定月正式被批準。它主要提供了框架的定義并介紹了用戶和義并介紹了用戶和DI的概念。的概念。 第一部分的題目第一部分的題目“景象、技術和策略景象、技術和策略”用于反映該技術標準的根本目的。用于反映該技術標準的根本目的。 6. MPEG - 216.2 規(guī)范規(guī)范61第二部分：（第二部分：（DID）Digital Item Declaration DI包括視頻、音頻、文本和圖形等

53、媒體源。對于所有包括視頻、音頻、文本和圖形等媒體源。對于所有MPEG21系統(tǒng)來說，系統(tǒng)來說，DI的確切含義都是很重要的。但要想為的確切含義都是很重要的。但要想為DI定義一個精確的定義，同時滿足定義一個精確的定義，同時滿足如此眾多的文件格式的要求，將是十分困難的。如此眾多的文件格式的要求，將是十分困難的。 第三部分：（第三部分：（DII）Digital Item Identification DII以標準化的形式來描述特定地點中與之相關的以標準化的形式來描述特定地點中與之相關的DI、容器、器件和片斷等。、容器、器件和片斷等。在在MPEG21的框架中的框架中DI通過將統(tǒng)一的源標識符（通過將統(tǒng)一的源

54、標識符（URIUniform Resource Identifiers）壓縮成標識元素來進行區(qū)分。）壓縮成標識元素來進行區(qū)分。 6. MPEG - 216.2 規(guī)范規(guī)范62第四部分：第四部分：IPMP（Intellectual Property Management and Protection） MPEG21的第四部分為的第四部分為IPMP定義了一個互操作的框架。此部分包括從遠定義了一個互操作的框架。此部分包括從遠程位置重新獲得程位置重新獲得IPMP工具以及在工具以及在IPMP工具之間、工具之間、IPMP和終端之間交換信和終端之間交換信息的標準方法。它提出了息的標準方法。它提出了IPMP工具的認證，同時實現(xiàn)了權力數(shù)據(jù)字典工具的認證，同時實現(xiàn)了權力數(shù)據(jù)字典（Rights Data Dictionary）和權力表達語言（）和權力表達語言（Rights Expression Language）二者的集成。）二者的集成。 6. MPEG -