H3C 多媒體培訓教材-基礎知識-視頻編碼v1

杭州華三通信技術有限公司H3C多媒體培訓教材

－視頻編碼培訓對象:內(nèi)部人員,合作伙伴,客戶前言了解當前視頻編碼領域的主要發(fā)展情況了解常用視頻編碼的主要特點及應用領域培訓目標:學習完本課程，您應該能夠：目錄MPEG系列和H.26X系列視頻編碼概述H.264簡介其他常見視頻編碼原理引入：關于視頻編碼定義：所謂多媒體編輯碼方式就是指通過特定的壓縮技術，將某個視頻格式的文件轉(zhuǎn)換成另一種視頻格式文件的方式。

意義：視頻編碼最主要的目的是為了對數(shù)字視頻信息進行壓縮，從而降低數(shù)字視頻的存儲（容量）與傳輸（帶寬）的成本。原理：視頻圖像數(shù)據(jù)有極強的相關性，也就是說有大量的冗余信息。其中冗余信息可分為空域冗余信息和時域冗余信息；通過壓縮技術，可將數(shù)據(jù)中的冗余信息去掉（去除數(shù)據(jù)之間的相關性）；壓縮技術包含幀內(nèi)圖像數(shù)據(jù)壓縮技術、幀間圖像數(shù)據(jù)壓縮技術和熵編碼壓縮技術。視頻編碼技術的主要標準組織在視頻編解碼技術定義方面主要有兩大標準機構：

國際電信聯(lián)盟(ITU)

：ITU-T視頻編碼工作組的視頻編碼研究主要是面向視頻通信，如會議電視、可視電話等視頻通信應用，推出的視頻壓縮標準為H.26x系列，包括H.261、H.262、H.263與H.264；

國際標準化組織(ISO)

：ISO下屬的運動圖像工作組（MPEG，MotionPictureExpertGroup）也對視頻編碼進行研究，推出的標準為MPEG系列，主要針對消費類數(shù)字視頻應用，如廣播電視、VCD/DVD等視頻存儲，已經(jīng)針對運動圖像壓縮定義了的MPEG標準包括MPEG1、MPEG2與MPEG4等。注意：除了ITU與ISO兩個主要的標準組織以外，還有很多廠商、和組織也進行視頻編碼技術研究，并提出了相應的技術標準，如微軟提出WMV9（并經(jīng)美國電影電視工程協(xié)會(SMPTE)標準化為VC-1標準），中國數(shù)字音視頻編解碼技術標準工作組提出AVS標準等。（這兩個標準組織的工作并非完成獨立，有時會相互合作，進行聯(lián)合研究。隨著視頻應用的日益廣泛，兩個標準組織之間的重合交叉部分會越來越多）視頻編碼編碼標準概述：MPEG系列標準標準名稱發(fā)布時間主要內(nèi)容主要應用MPEG-11993年正式推出包括系統(tǒng)（system）、視頻（Video）、音頻（Voice）、一致性（compliance）和參考軟件（Software）五個部分編碼高至1.5Mbit/s，編碼分辨率為SIF（StandInputFormat：320×240），主要應用為VCD。

MPEG-21994年1）前五部分與MPEG1相同，在MPEG-1的基礎上附加了一些特征幀格式和編碼選項。2）相對于MPEG-1，可支持更高的分辨率和傳輸率，支持固定比特率傳送、可變比特率傳送、隨機訪問、分級編碼、比特流編輯等功能。MPEG-2主要用于數(shù)字存儲媒體、高清晰度電視和數(shù)字視頻廣播等領域（SVCD，HDTV，DVD，DVB等），能夠提供廣播級的視像和CD級的音質(zhì)。MPEG-2是迄今為止最成功的視頻編碼技術MPEG-41999年1月第一版1）標準中規(guī)定適應的3段比特率范圍分別為：低于64kbit/s；64kbit/s~384kbit/s；384kbit/s～4Mbit/s。2）MPEG-4標準定義了一種框架而不是具體的算法，采用基于對象的方式，通過對不同的視聽對象（自然的或合成的）獨立進行編碼實現(xiàn)較高的壓縮效率，同時可實現(xiàn)基于內(nèi)容的交互功能，滿足了多媒體應用中人機交互的需求。MPEG-4定位于多媒體業(yè)務在各個領域的應用，不同的應用對應的碼率、分辨率、質(zhì)量和服務也不同。目前MPEG-4標準的主要應用領域有：數(shù)字電視、實時多媒體監(jiān)控、互聯(lián)網(wǎng)視頻通信、低比特率下的移動多媒體通信等。視頻編碼編碼標準概述：MPEG系列標準標準名稱發(fā)布時間主要內(nèi)容主要應用MPEG-7

MPEG-7（ISO/IEC15938）一般稱為多媒體內(nèi)容描述接口，主要是為了圖像、聲音信息的有效管理和迅速搜索問題。MPEG-7定義了一個關于內(nèi)容描述方式的可互操作的框架，對多媒體內(nèi)容進行描述和檢索，使多媒體信息查詢更加智能化。目前已經(jīng)實現(xiàn)了的應用包括數(shù)字圖書館、廣播媒體選擇、多媒體目錄服務、多媒體編輯、電子商務、家庭娛樂等。MPEG-21

正式名稱是多媒體框架，重點是為從多媒體內(nèi)容發(fā)布到消費所涉及的所有標準建立一個基礎體系，支持各種多媒體設備之間的互操作。

MPEG系列國際標準已經(jīng)成為影響最大的多媒體技術標準，對數(shù)字電視、視聽消費電子產(chǎn)品、廣播電視、多媒體通信等產(chǎn)業(yè)都有重大影響視頻編碼編碼標準概述：MPEG系列標準注意：1、MPEG-4標準定義的是一種框架，而不是具體的編碼算法，這使得視頻產(chǎn)品具備更大的靈活性和可擴展性。按照MPEG4標準，設備廠商采用MPEG-4標準進行產(chǎn)品開發(fā)時，可根據(jù)應用需求的不同，適當選擇標準工具的子集。2、這同時也是導致MPEG4產(chǎn)品之間兼容性差的一個重要原因。視頻編碼編碼標準概述：H系列標準標準名稱發(fā)布時間主要內(nèi)容主要應用H.261

最早的運動圖像壓縮標準，主要針對ISDN上的雙向視頻通信應用（如視頻會議、可視電話）設計，支持CIF（352×288）及QCIF(176×144)分辨率，編碼速率為64kb/s的倍數(shù)（P*64）。由于主要用于對延遲敏感的雙向視頻，因此H.261僅允許采用I與P幀，而不允許B幀。H.261已經(jīng)過時，基本沒有應用H.2621994年與MPEG2相同

H.263

H.263是ITU-T為低于64kb/s的窄帶通信信道制定的視頻編碼標準。它是在H.261基礎上發(fā)展起來的，其標準輸入圖像格式可以是S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亞取樣圖像。其基本原理與H.261大同小異。隨后出現(xiàn)的第二版(H.263+)及H.263++增加了許多選項，使其具有更廣泛的適用性。H.263及其附件構成了MPEG-4中許多編碼工具的核心。H.263主要用于可視電話和視訊會議系統(tǒng)H.2642003.07H.264是視頻編碼技術在過去幾年最重要的發(fā)展之一,由ITU和ISO/IEC的聯(lián)合視頻小組(JVT)開發(fā)，具備比以往各種視頻編碼標準更高的壓縮效率。（更詳細情況參考后面的介紹）H.264是目前應用前景最廣泛的視頻編碼，目前已經(jīng)廣泛應用于視訊會議、視頻監(jiān)控、可視電話、IPTV等領域，此外，DVD、數(shù)字電視、移動視頻等領域也開始采用H.264視頻編碼編碼標準概述：兩大系列標準的關系MPEG2(也叫H.262)和H.264（也叫MPEG-4AVC或MPEG-4part10）都是ITU-T和ISO兩個標準組織合作的結果目錄MPEG系列和H.26X系列視頻編碼概述H.264簡介其他常見視頻編碼關于H.264

H.264是兩大標準組織合作的最新、最重要的成果：

H.264是ITU-T對該標準的稱呼，在ISO的MPEG方面就稱其為MPEG-4Part10（第10部分，也叫ISO/IEC14496-10），有時也叫MPEG-4AVC（AdvancedVideoCoding）H.264是當前最炙手可熱的視頻編碼標準！H.264的主要優(yōu)勢1、壓縮效率更高：在相同的視頻質(zhì)量下，H.264與MPEG2相比節(jié)約超過50％的帶寬2、對信道時延的適應性較強：既可工作于低時延模式以滿足實時業(yè)務，如會議電視等；又可工作于無時延限制的場合，如視頻存儲等；

3、更好的網(wǎng)絡適應性：H.264提供更多的容錯工具，加強對誤碼和丟包的處理，提高解碼器的差錯恢復能力；4、在編/解碼器中采用復雜度可分級設計：在圖像質(zhì)量和編碼處理之間可分級，以適應不同復雜度的應用。H.264的幾個等級

基本類（BaseLineProfile）：降低了計算及系統(tǒng)內(nèi)存需求，而且針對低時延進行了優(yōu)化，所以BaseLine中不包括B幀的處理；適合于可視電話應用以及其他需要低成本實時編碼的應用；主類（MainProfile）：相比于基本類，壓縮效率提高了很多，但其要求的處理能力也比基本類高許多，適合于廣播與內(nèi)容存儲應用，如SDTV/HDTV、DVD等；擴展類（ExtendProfile）：擴展類支持除CABAC外所有H.264/AVC特性，更適合于用于各種網(wǎng)絡視頻流傳輸，主要定位于網(wǎng)絡流媒體應用等；

高級類（HighProfile）：H.264HP是后來又新推出一個版本，主要是保真度范圍擴展(FRExt)

，H.264中添加了一整套工具，大幅提升H.264的性能，主要應用于高清廣播與DVD等應用。TempeteCIF30Hz25262728293031323334353637380500100015002000250030003500Bit-rate[kbit/s]QualityY-PSNR[dB]MPEG-2H.263MPEG-4H.264幾種常用編碼算法的壓縮效率比較可見，H.264的編碼壓縮性能最高，在相同的圖象質(zhì)量下，H.264所需帶寬約為MPEG-2的36%、H.263的51％、MPEG-4的61％幾種常用編碼算法對性能的要求比較單片TIDM6446平臺處理D130fps(480）、YUV4:2:0性能所需要頻率典型值。1、不同編碼算法的壓縮率不同，復雜度也不同，對編碼/解碼設備的性能要求也不同2、H.264算法是最復雜的，對編碼器/解碼器的系統(tǒng)要求最高，同樣的清晰度要求時，H.264BP編碼對CPU的性能要求是H.263/MPEG4的1.6，H.264解碼對CPU的性能要求是H.263/MPEG-4的3倍；（該數(shù)據(jù)僅供參考）目錄MPEG系列和H.26X系列視頻編碼概述H.264簡介其他常見視頻編碼中國自己的視頻編碼標準-AVS據(jù)一些測試顯示：AVS的優(yōu)勢體現(xiàn)在算法復雜度低和易于實現(xiàn)，在清晰度略低于甚至接近H.264的前提下，AVS解碼復雜度相當于H.264的30%，AVS編碼復雜度相當于H.264的70%；另外一個很重要的優(yōu)勢就是標準使用費用低。1、AVS視頻編碼標準（AudioVideocodingStandard）是中國數(shù)字音視頻編解碼技術標準工作組制定的數(shù)字音視頻編碼標準。AVS國家標準包括9個部分，其中《第2部分視頻》（簡稱AVS視頻）于2006年2月頒布，3月正式實施。2、AVS在具體的實現(xiàn)技術上與H.264有很多相似之處，如采用了變換、量化、幀內(nèi)預測、幀間預測、環(huán)路濾波、熵編碼等流行的壓縮技術，同時在幀內(nèi)預測時AVS將時間域和空間域相結合。3、AVS目前已經(jīng)在IPTV等領域開始應用（如網(wǎng)通采用AVS作為IPTV的視頻標準），此外，在視頻監(jiān)控、手機電視等領域的應用也在不斷推進中，并將為這些應用推出專用的AVS版本，如為視頻監(jiān)控推出AVS-S。JPEG、JPEG2000、MJPEG1、JPEG：JPEG（JointPhotographicExpertsGroup，聯(lián)合圖像專家組)，是一種有損壓縮格式。由于可以做到壓縮比例和圖像質(zhì)量之間較好的平衡，JPEG成為目前最流行的圖像壓縮格式之一。JPEG壓縮比率通常在10：1到40：1之間可調(diào)。2、JPEG2000：JPEG2000作為JPEG的升級版，其壓縮率比JPEG高約30％左右，同時支持有損和無損壓縮。JPEG2000最重要的改進之一在于它能實現(xiàn)漸進傳輸，即先傳輸圖像的輪廓，然后逐步傳輸數(shù)據(jù)，不斷提高圖像質(zhì)量，讓圖像由朦朧到清晰顯示，這點非常適合互聯(lián)網(wǎng)應用。此外，JPEG2000還支持所謂的“感興趣區(qū)域”特性，可以任意指定影像上感興趣區(qū)域的壓縮質(zhì)量，還可以選擇指定的部分先解壓縮。3、MJPEG：MJPEG（MotionJPEG）壓縮技術是在JPEG基礎發(fā)展起來的動態(tài)圖像壓縮技術，它的特點是全部采用幀內(nèi)編碼，而基本不考慮視頻流中不同幀之間的變化。但是可靈活設置每路的視頻清晰度和壓縮幀數(shù)。在有些國家，只有采用幀內(nèi)編碼的視頻錄像才可作為法律證據(jù)，這也是MJPEG在視頻監(jiān)控中應用的優(yōu)勢之一。主要問題：1）對系統(tǒng)的性能要求高，一般很難做到滿幀率，同時實時性較差。2）壓縮效率低，占用存儲空間較大。其他編碼技術除了上述標準外，還有很多廠商、和組織也進行視頻編碼技術研究，并提出了相應的技術解決方案，尤其是在互聯(lián)網(wǎng)視頻應用領域，如RealNetworksRealVideo(RV10)、WMV（MicrosoftWindowsMediaVideo）系列等。其中比較受關注的是WMV9。1、WMV是微軟創(chuàng)立的視頻壓縮技術標準，WMV是在微軟的ASF（AdvancedStreamFormat）格式升級而來，WMV文件一般同時包含視頻和音頻部分。視頻部分使用WMV編碼，音頻部分使用WindowsMediaAudio編碼。2、WMV9是微軟WMV系列中的最新版本。在同等視頻質(zhì)量下，WMV格式的體積較小，因此比較適合在網(wǎng)絡傳輸和播放。其中WMV-HD，基于WMV9標準，目前已經(jīng)通過美國電影電視工程協(xié)會(SMPTE)標準化為VC-1標準。WMV9（VC-1）目前主要用于網(wǎng)絡視頻傳輸和播放，但是微軟正努力推廣該標準的應用常見視頻應用領域的標準進展情況

主要視頻應用領域中的標準情況（僅供參考）應用主要需求當前應用的主要編碼近期發(fā)展趨勢視頻監(jiān)控

MPEG2、MPEG4、MJPEG、H.264H.264、AVS可視電話、會議電視低時延、低比特率H.261、H.264H.264互聯(lián)網(wǎng)流媒體