H.視頻編碼標(biāo)準(zhǔn)分析和算法優(yōu)化

1、H.264編碼標(biāo)準(zhǔn)的分析和算法優(yōu)化一、研究背景：隨著社會的不斷進(jìn)步和多媒體信息技術(shù)的發(fā)展，人們對信息的需求越來越豐富，方便、快捷、靈活地通過語音、數(shù)據(jù)、圖像與視頻等方式進(jìn)行多媒體通信已成不可或缺的工具。其中視覺信息給人們直觀、生動的形象，因此圖像與視頻的傳輸更受到廣泛的關(guān)注。然而，視頻數(shù)據(jù)具有龐大的數(shù)據(jù)量，以普通的25幀每秒，CIF格式（分辨率為352×288）的視頻圖像為例，一秒鐘的原始視頻數(shù)據(jù)速率高達(dá)3.8M字節(jié)。不對視頻信號進(jìn)行壓縮根本無法實時傳輸如此龐大的數(shù)據(jù)量，因此，視頻壓縮技術(shù)成為研究熱點。隨著近幾年來視頻圖像傳輸領(lǐng)域的不斷擴(kuò)展，以往的標(biāo)準(zhǔn)己經(jīng)難于適應(yīng)不同信道的傳輸特征及

2、新興的應(yīng)用環(huán)境。為此，ISO/IEC&ITU-T共同開發(fā)了最新視頻編碼標(biāo)準(zhǔn)H.264/AVC。相對以前的視頻編碼標(biāo)準(zhǔn)，H.264集成了許多新的視頻壓縮技術(shù)，具有更高的壓縮效率和圖像質(zhì)量。在同等的圖像質(zhì)量條件下，H.264的數(shù)據(jù)壓縮比是應(yīng)用于當(dāng)前DVD系統(tǒng)MPEG-2的23倍，比MPEG-4高1.52倍，并且具有更好的網(wǎng)絡(luò)友好性。但是H.264高壓縮比的代價是編碼器計算復(fù)雜度大幅度地提高。因此在保持編碼效率幾乎不變的同時盡可能提高編碼速度是H.264/AVC視頻編碼標(biāo)準(zhǔn)能否得到廣泛應(yīng)用的關(guān)鍵。在上述研究背景下，本文深入探討了H.264/AVC標(biāo)準(zhǔn)，分析了編碼器主要耗時模塊的工作原理，提出

3、三種降低H.264/AVC高計算復(fù)雜度的優(yōu)化算法快速幀內(nèi)預(yù)測模式選擇算法、快速幀間預(yù)測模式選擇算法以及快速運動估計算法。實驗結(jié)果表明：本文所提快速算法都可大幅度地降低H.264編碼器的計算復(fù)雜度，并且保持基本不變的編碼效率。二、新一代視頻編碼標(biāo)準(zhǔn)H.264簡介：編碼標(biāo)準(zhǔn)演進(jìn)過程：H.261 MPEG-1 MPEG-2 H.263 MPEG-4從視頻編碼標(biāo)準(zhǔn)的發(fā)展歷程來看，視頻編碼標(biāo)準(zhǔn)都有一個不斷追求的目標(biāo)：在盡可能低的碼率（或存儲容量）下獲得盡可能好的圖像質(zhì)量。MPEG-2、MPEG-4、H.263等標(biāo)準(zhǔn)都取得了巨大的成功，但在應(yīng)用中也發(fā)現(xiàn)一些問題。H.263眾多的選項往往令使用者無所適從；M

4、PEG-2壓縮效率己顯略低；引人注目的MPEG-4的“基于對象的編碼”由于尚有技術(shù)障礙，目前還難以普遍應(yīng)用。在此背景下，兩大國際標(biāo)準(zhǔn)化組織ITU-T和ISO共同制定了新一代視頻編碼標(biāo)準(zhǔn)H.264。該編碼標(biāo)準(zhǔn)在混合編碼的框架下引入新的編碼方式，解決了目前編碼標(biāo)準(zhǔn)存在的問題，進(jìn)一步貼近實際應(yīng)用，其應(yīng)用前景是不言而喻的。三、H.264視頻編碼標(biāo)準(zhǔn)概述JVT的工作目標(biāo)是制定一個新的視頻編碼標(biāo)準(zhǔn)，以實現(xiàn)視頻的高壓縮比、高圖像質(zhì)量、良好的網(wǎng)絡(luò)適應(yīng)性等目標(biāo)。JVT的工作已于2003年3月被ITU-T采納，新的視頻編碼標(biāo)準(zhǔn)稱為H.264標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)也被ISO采納，稱為AVC（Advanced Video Co

5、ding）標(biāo)準(zhǔn)，是國際標(biāo)準(zhǔn)ISO14496-10（MPEG-4的第10部分），因此總稱為H.264/AVC。H.264著重于提高壓縮效率和傳輸?shù)目煽啃?，因而其?yīng)用面十分廣泛。具體來說，H.264支持三個不同檔次的應(yīng)用：1、基本檔次：H.264簡單版本，應(yīng)用面廣，主要用于視頻會話，如會議電視、可視電話、遠(yuǎn)程醫(yī)療、遠(yuǎn)程教學(xué)等。2、主要檔次：采用了多項提高圖像質(zhì)量和增加壓縮比的技術(shù)措施，主要用于消費電子應(yīng)用，可用于SDTV、HDTV和DVD等。3、擴(kuò)展檔次：主要用于各種網(wǎng)絡(luò)的視頻流傳輸，如視頻點播等。H.264和以前的視頻編碼標(biāo)準(zhǔn)一樣，也是傳統(tǒng)的混合編碼模式，其編碼器框架如圖2.1編碼器結(jié)構(gòu)所示。但

6、它采用“回歸基本”的簡潔設(shè)計，沒有設(shè)定眾多的選項，獲得比H.263+好得多的壓縮性能；采用“網(wǎng)絡(luò)友好（Network friendly）”的結(jié)構(gòu)和語法，加強(qiáng)了對各種信道的適應(yīng)能力，有利于對誤碼和丟包的處理；應(yīng)用目標(biāo)范圍較寬，可以滿足不同速率、不同解析度以及不同傳輸（存儲）場合的需求。與以往視頻編碼標(biāo)準(zhǔn)不同的是，H.264充分考慮了“網(wǎng)絡(luò)友好”特性，將編碼器中面向視頻信號的編碼部分與面向網(wǎng)絡(luò)的打包部分分離，形成視頻編碼層和網(wǎng)絡(luò)適配層，從而方便使用不同的傳輸網(wǎng)絡(luò)和協(xié)議進(jìn)行傳輸。1、視頻編碼層（Video Coding Layer, VCL）VCL中包括VCL編碼器與VCL解碼器，主要功能是視頻數(shù)據(jù)

7、壓縮編碼和解碼，包括運動補(bǔ)償、變換編碼、熵編碼等壓縮單元。2、網(wǎng)絡(luò)適配層（Network Abstraction Layer ,NAL）NAL則用于為VCL提供一個與網(wǎng)絡(luò)無關(guān)的統(tǒng)一接口，負(fù)責(zé)對視頻數(shù)據(jù)進(jìn)行封裝打包后使其在網(wǎng)絡(luò)中傳送。它采用統(tǒng)一的數(shù)據(jù)格式，包括單個字節(jié)的包頭信息、多個字節(jié)的視頻數(shù)據(jù)與組幀、邏輯信道信令、定時信息、序列結(jié)束信號等。包頭中包含存儲標(biāo)志和類型標(biāo)志。存儲標(biāo)志用于指示當(dāng)前數(shù)據(jù)不屬于被參考的幀。類型標(biāo)志用于指示圖像數(shù)據(jù)的類型。而且VCL可以根據(jù)當(dāng)前的網(wǎng)絡(luò)情況調(diào)整編碼參數(shù)。因為H.264采用了大量的新技術(shù)，所以其編碼性能大大優(yōu)于其他標(biāo)準(zhǔn)，具體表現(xiàn)如下：1、和H.263或MPEG

8、-4相比，在相同編碼質(zhì)量下，H.264最多可節(jié)省50的比特率。2、高質(zhì)量的重建圖像。H.264在各種比特率條件下，包括低比特率時，都可以提供滿意的圖像質(zhì)量。3、適應(yīng)不同的延時要求。H.264可以在低延時的模式下適應(yīng)通信的應(yīng)用（如視頻會議），可以應(yīng)用在無延時的模式下（如視頻圖像的存儲），甚至還可以在高延時的模式下工作并取得最佳的壓縮效果。4、穩(wěn)健性。H.264在設(shè)計時，針對分組交換網(wǎng)如Internet中的分組丟失和無線網(wǎng)絡(luò)中比特誤碼都提供了相應(yīng)的工具，使得H.264在這些網(wǎng)絡(luò)中傳播時具有更強(qiáng)的抗誤碼能力。5、網(wǎng)絡(luò)友好性。H.264增加了NAL層，負(fù)責(zé)將編碼器的輸出碼流適配到各種類型的網(wǎng)絡(luò)中，從而

9、提供了友好的網(wǎng)絡(luò)接口。H.264視頻編碼標(biāo)準(zhǔn)關(guān)鍵技術(shù)：1、幀內(nèi)預(yù)測編碼：為了進(jìn)一步利用空間相關(guān)性，H.264引入了幀內(nèi)預(yù)測以提高壓縮效率。它利用鄰近塊已解碼重構(gòu)的像素在空域中按照不同的方向?qū)Ξ?dāng)前塊進(jìn)行預(yù)測。在幀內(nèi)預(yù)測過程中，只有預(yù)測塊和實際塊的殘差才被編碼傳輸。因此對于變化平坦、存在大量空間冗余的視頻對象，利用幀內(nèi)預(yù)測可以大大減少編碼所需的比特數(shù)，取得較高的編碼效率16。在幀間編碼中，同樣可結(jié)合幀內(nèi)預(yù)測技術(shù)以進(jìn)一步提高編碼效率。但H.264參考代碼的幀內(nèi)預(yù)測編碼具有相當(dāng)高的計算復(fù)雜度，因此本論文對幀內(nèi)預(yù)測編碼進(jìn)行優(yōu)化2、幀間預(yù)測編碼：對于視頻圖像來說，前一幀圖像和后一幀圖像之間有很多的相同（相

10、似）部分，存在大量的時間冗余信息。幀間預(yù)測編碼就是基于連續(xù)圖像序列之間的時域相關(guān)性，利用前一幀圖像和當(dāng)前幀圖像中的相同（相似）部分來預(yù)測當(dāng)前幀，然后對預(yù)測圖像與實際圖像的差值進(jìn)行編碼，從而實現(xiàn)大幅度地壓縮。在H.264中，除了具有在以往標(biāo)準(zhǔn)（H.263,MPEG-4等）中的P幀、B幀預(yù)測方法外，還增加了許多新技術(shù)，如：采用不同大小尺寸塊進(jìn)行預(yù)測、采用1/4甚至1/8像素精度的運動補(bǔ)償算法、采用多參考幀等等。但H.264的幀間預(yù)測編碼在提高編碼效率的同時也大大增加了計算復(fù)雜度，因此幀間預(yù)測編碼算法優(yōu)化也是本文的工作重點，相關(guān)細(xì)節(jié)將在第四、五章進(jìn)行詳細(xì)討論。3、4×4 DCT變換：H.2

11、64中的DCT變換是基于傳統(tǒng)DCT的，但它與傳統(tǒng)DCT之間又有著本質(zhì)的差別：1）H.264采用4×4整數(shù)變換代替以前通用的8×8浮點塊DCT變換避免了浮點操作帶來的四舍五入誤差。此外，采用小的形狀塊（4×4）有助于降低塊效應(yīng)和明顯的人工處理痕跡。2）H.264采用52個梯狀量化系數(shù)，量化值的設(shè)計使得量化參數(shù)QP（Quantization Parameter）值每增加1，量化步長大約增加12.5%。同時，H.264將變換中的尺度變化計算并入量化中進(jìn)行，通過巧妙的設(shè)計用移位代替了乘法運算，極大地降低了計算復(fù)雜度。4、環(huán)內(nèi)去塊狀效應(yīng)自適應(yīng)濾波器：考慮到基于塊的視頻編碼的

12、解碼圖像在塊邊緣會出現(xiàn)失真，H.264定義了一個環(huán)內(nèi)去塊狀效應(yīng)自適應(yīng)濾波器（In-loop Deblocking Filter），通過對4×4的塊邊界進(jìn)行濾波，使之趨于緩和，從而達(dá)到去除塊效應(yīng)的目的。該濾波器作用于編碼器和解碼器的運動補(bǔ)償之后、重建幀之前，濾波強(qiáng)度由幾個語法元素的值來控制（如預(yù)測類型、運動矢量數(shù)據(jù)、預(yù)測誤差能量以及量化參數(shù)）。該濾波器在減少塊狀效應(yīng)的同時，還會增強(qiáng)圖像邊緣，使得圖像的主觀質(zhì)量有顯著的提高。此外，與產(chǎn)生同樣客觀質(zhì)量的沒有經(jīng)過濾波器作用的視頻流相比，采用該濾波器通?？梢越档?10的比特率。5、先進(jìn)的熵編碼方法：H.264中提供了兩種基于信息量可選的熵編碼模

13、式來提高編碼效率：一是統(tǒng)一變長編碼（Universal Variable Length Coding ,UVLC）18；二是基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼（Context-based Adaptive Binary Arithmetic Coding ,CABAC）。CABAC是一種效率很高的編碼方法，為了提高算術(shù)編碼的效率，CABAC通過內(nèi)容建模的過程，使基本概率模型能適應(yīng)隨視頻幀而改變的統(tǒng)計特性。內(nèi)容建模提供了編碼符號的條件概率估計，建立合適的內(nèi)容模型。四、幀內(nèi)預(yù)測編碼算法研究及改進(jìn)：通常，視頻圖像中，特別是變化平緩的背景區(qū)域中空間相鄰像素間具有很強(qiáng)的相關(guān)性，存在大量的空域冗余。H.26

14、4根據(jù)多數(shù)相鄰像素具有類似性質(zhì)的特點，引入了幀內(nèi)預(yù)測，利用圖像的空間相關(guān)性進(jìn)一步提高壓縮效率。H.264幀內(nèi)預(yù)測在變換編碼之前進(jìn)行，并且提供了多種不同的幀內(nèi)預(yù)測編碼模式，最大程度地減少圖像的空間冗余信息。它分別對亮度分量和色度分量進(jìn)行幀內(nèi)預(yù)測，共支持9種Intra_4×4和4種Intra_16×16幀內(nèi)亮度預(yù)測模式，以及4種8×8幀內(nèi)色度預(yù)測模式。為了獲得較高的編碼質(zhì)量，H.264采用拉格朗日率失真優(yōu)化（Rate Distortion Optimization ,RDO）技術(shù)來選擇最佳幀內(nèi)預(yù)測模式，計算復(fù)雜度相當(dāng)高。減小幀內(nèi)預(yù)測計算復(fù)雜度有兩種途徑：一是簡化H.2

15、64參考代碼所采納的模式選擇標(biāo)準(zhǔn)RDO函數(shù)；二是利用一些先驗方法縮小候選預(yù)測模式的范圍，以減少候選模式數(shù)來提高編碼速度。提出一種快速4×4幀內(nèi)模式選擇算法，該方法降低計算復(fù)雜度。提出了一種縮減候選預(yù)測模式選擇范圍的算法，該方法從而降低計算復(fù)雜度，其缺點是需要增加額外的比特開支。提出一種幀內(nèi)預(yù)測快速三步算法，僅選擇可能性較大的幀內(nèi)預(yù)測模式作為候選預(yù)測模式，從而大大降低計算復(fù)雜度，取得優(yōu)于第一種的效果。H.264幀內(nèi)預(yù)測編碼相關(guān)技術(shù)：14×4亮度預(yù)測模式216×16亮度預(yù)測模式和8×8色度預(yù)測模式3H.264參考代碼的幀內(nèi)預(yù)測模式選擇算法基于塊邊緣方向的快速

16、幀內(nèi)預(yù)測模式選擇算法：快速幀內(nèi)預(yù)測模式選擇算法描述五、實驗結(jié)果與分析四、幀間模式選擇算法分析與優(yōu)化：幀間預(yù)測編碼是一種利用先前已編碼幀對當(dāng)前幀進(jìn)行預(yù)測，并只對預(yù)測誤差（殘差圖像）進(jìn)行編碼的編碼方式。由于視頻序列前后兩幀圖像之間具有很強(qiáng)的時域相關(guān)性，殘差圖像的能量通常遠(yuǎn)小于原始幀圖像的能量，因此編碼殘差圖像所需的碼率也遠(yuǎn)小于編碼原始幀圖像的碼率，從而極大地提高了編碼效率。H.264對幀間預(yù)測模塊引入了多參考幀和更高精度的運動矢量來進(jìn)行更為精確的運動估計，并提供了眾多預(yù)測模式和窮盡模式選擇機(jī)制以在給定的碼率下獲得更好的編碼性能。這些模式選擇和新的運動估計技術(shù)大大提高了H.264的視頻編碼效率但其高

17、計算復(fù)雜度卻限制了H.264在實時編碼系統(tǒng)的應(yīng)用。為了突破這個瓶頸，本文下面兩章將對H.264的模式選擇和運動估計技術(shù)進(jìn)行分析，并分別對其做出優(yōu)化，以求在編碼效率基本不變的條件下提高編碼速度，從而使之能更好的滿足實時編碼的要求。本章介紹模式選擇算法的優(yōu)化，下一章將探討運動估計算法的優(yōu)化。H.264參考代碼的幀間模式選擇算法基于局部運動特征的快速幀間模式選擇算法：1快速模式選擇：如果能夠預(yù)先判斷出宏塊的運動特征，我們就可以根據(jù)此特征只計算那些比較有可能成為最佳模式的候選預(yù)測模式，從而大大降低計算復(fù)雜度。進(jìn)一步研究表明，在這10種模式中，相近的模式可能都適合于編碼具有某種運動特征的圖像區(qū)域，很難預(yù)

18、先根據(jù)運動特征直接判斷這些相近模式中哪種模式更有可能成為最佳模式。把10種預(yù)測模式分為5個模式類。表4.1總結(jié)了模式分類情況；接著通過判定當(dāng)前宏塊的運動特征選擇相對應(yīng)的模式類作為候選預(yù)測模式，再具體計算出每個候選模式的RD值，從中選擇具有最小RD值的模式作為最佳模式，以縮減預(yù)測模式選擇范圍來達(dá)到提高編碼速度的目的。對所有幀間預(yù)測模式進(jìn)行分類后，關(guān)鍵問題就在于如何準(zhǔn)確地判斷當(dāng)前宏塊的運動特征。只有準(zhǔn)確地判斷出宏塊的運動特征，才能保證算法的編碼效率。2算法描述五、實驗結(jié)果與分析為了證明本章所提算法的正確性，本文在JVT所提供的JM10.2上實現(xiàn)了該算法，并用各種不同類型的QCIF和CIF格式視頻序

19、列對它進(jìn)行測試。其中，所采用的實驗平臺為Intel Pentium M1.6G、512M內(nèi)存、Microsoft XP操作系統(tǒng)。對JM軟件設(shè)置實驗結(jié)果表明，同H.264窮盡模式選擇算法相比，本章所提快速模式選擇算法降低了約56.65%的計算復(fù)雜度，而PSNR僅下降0.059dB，總比特率僅增加0.20%。圖4.7和4.8給出了兩個視頻序列“Mobile”和“News”的RD曲線。由圖可見，本章所提出的快速模式選擇算法和H.264窮盡模式選擇算法具有十分接近的RD特性。實驗結(jié)果也表明了本章所提出的快速模式選擇算法在三個性能指標(biāo)上表現(xiàn)全面超過文獻(xiàn)37計算復(fù)雜度下降約28、PSNR提高約0.029d

20、B、總比特率下降約2.59%。六、運動估計算法探討：一、連續(xù)視頻序列間有很強(qiáng)的時間相關(guān)性，利用運動估計和運動補(bǔ)償技術(shù)可以有效地消除圖像的幀間冗余度，從而實現(xiàn)比幀內(nèi)壓縮方案更高的壓縮比。消除或降低時間冗余度的幀間運動估計壓縮編碼大致分為以下步驟：第一步是用相鄰幀估計當(dāng)前幀中的運動物體的位移量，稱為運動估計（Motion Estimation ,ME），也稱為位移估值（Displacement Estimation, DE）、運動估值等等。運動估計目的在于尋找運動信息即運動矢量（Motion Vector, MV）。第二步則是計算出運動估計后得到的預(yù)測圖像和原始圖像的差值（估計殘差），然后將這個差

21、值傳送到解碼端，以便解碼端能夠獲取準(zhǔn)確的圖像。該過程叫做運動補(bǔ)償（Motion Compensation ,MC）。第三步是對運動估計所得運動矢量和運動補(bǔ)償?shù)墓烙嫐埐钸M(jìn)行編碼。H.264仍然沿用基于塊的混合編碼結(jié)構(gòu)，也就是“運動估計變換編碼熵編碼”的模式。運動估計是編碼器中的關(guān)鍵模塊，它的性能優(yōu)劣對編碼后的碼流大小及圖像質(zhì)量好壞都有著至關(guān)重要的影響?？焖佟⒏咝У倪\動估計算法成為H.264編碼器優(yōu)化的關(guān)鍵問題，這也是本章的目標(biāo)。二、運動估計概述在幀間預(yù)測編碼中，連續(xù)視頻序列多數(shù)情況下只是其中的很少一部分圖像在運動，同一場景相鄰的兩幅視頻幀之間在內(nèi)容上的差異不會太大。簡單的說，后一幀的內(nèi)容與前一幀

22、的重復(fù)部分很多。因此，只要充分利用運動估計和運動補(bǔ)償技術(shù)做到最小化運動殘差，編碼器就可以在保持編碼質(zhì)量的前提下，獲得最好的壓縮性能。其中的關(guān)鍵在于運動估計算法的性能優(yōu)劣。運動估計算法主要歸為兩類：一類為圖樣匹配算法，一類為遞歸算法。第一類算法假定一個圖塊中的所有像素做同一運動，運動估計可以從前一幀中搜索最佳匹配得到。后一類方法是基于遞歸思想。如果連續(xù)幀中，像素數(shù)據(jù)的變化是因為物體的移位引起的，這類算法就會在梯度方向做迭代運算，使連續(xù)的運算最后收斂于一個運動矢量?；谶@兩種算法類型，各種實用的方法紛紛出現(xiàn)，其中主要有光流法、塊匹配法、像素遞歸法、相位相關(guān)法、貝葉斯法和全局運動估計等。1. 光流法

23、的計算量非常大，而且對噪聲比較敏感，對硬件要求比較高，難以實時實現(xiàn)。2. 但由于其跟蹤單元小，導(dǎo)致它可以跟蹤的位移范圍小，對運動劇烈的序列效果不好；而且由于計算量大，硬件實現(xiàn)復(fù)雜度較高，一般較少被采用。3塊匹配法（Block Matching Algorithm, BMA）由于算法簡單有效，易于大規(guī)模集成實現(xiàn)，在視頻編碼中得到廣泛應(yīng)用，是目前最為常用的運動估計算法。最新視頻編碼標(biāo)準(zhǔn)H.264所采用的也是基于塊匹配的全搜索運動估計算法。因此，本文研究和涉及到的運動估計算法均為基于塊匹配的算法。運動估計算法的目的就是在保持計算復(fù)雜度在可接受的范圍內(nèi)尋找一個運動矢量，使得運動補(bǔ)償后的殘差塊的能量最小

24、。三、H.264運動估計算法分析：同以往視頻編碼標(biāo)準(zhǔn)的運動估計模塊相比，H.264采用了如下新的技術(shù)來提高編碼效率：1、 支持多種尺寸塊的預(yù)測2、 多參考幀技術(shù)3、 運算精度達(dá)到1/4像素典型運動估計算法：一般而言，降低運動估計計算復(fù)雜度的方法可分為以下兩類：1、簡化代價函數(shù)2、改進(jìn)運動估計匹配模板的形狀和大小，減少搜索點數(shù)，從而減少搜索時間，提高編碼速度。現(xiàn)有資料中基于簡化代價函數(shù)來降低計算復(fù)雜度的快速運動估計算法比較少，大部分文章都屬于第二類。下面就目前比較經(jīng)典的幾種運動估計算法進(jìn)行簡單介紹。七、基于塊尺寸預(yù)選和部分像素匹配的快速運動估計算法：針對H.264的運動估計特性，本章提出了一種簡單、高效的快速運動估計算法首先，計算出當(dāng)前宏塊的SAD值。如果SAD值小于所預(yù)設(shè)的閾值，則跳過小尺寸塊的運動估計過程；否則