第4章視頻數(shù)據(jù)的壓縮編碼

第4章視頻數(shù)據(jù)的壓縮編碼第4章視頻數(shù)據(jù)的壓縮編碼

掌握典型的視頻編碼器和解碼器理解視頻序列編碼和視頻播放中的隨機接入

掌握壓縮編碼算法的性能評價

了解圖像和視頻壓縮編碼的國際標(biāo)準學(xué)習(xí)目標(biāo)第4章視頻數(shù)據(jù)的壓縮編碼4.1基于幀的視頻編碼4.1.1典型的編碼器與解碼器4.1.2視頻序列的編碼4.1.7碼流結(jié)構(gòu)4.5壓縮編碼算法的性能評價4.6圖像和視頻編碼的國際標(biāo)準4.1基于幀的視頻編碼4.1.1典型的編碼器與解碼器一、視頻圖像的條（片）與宏塊劃分對視頻圖像的壓縮編碼，是分塊進行的，一幀圖像首先分成若干條（片），每條又分成許多宏塊；宏塊（MB）：是基本的處理單元，包含一個亮度塊和兩個色度塊。二、編碼器的工作原理1、圖像信號的預(yù)處理二、編碼器的工作原理

2、運動估值/補償視頻信號并不是逐幀單獨壓縮傳送，只有其中一部分幀是這樣傳送，對于大多數(shù)幀，只發(fā)送實際圖像和預(yù)測圖像的差值（DFD）運動估值：預(yù)測精度取決于對相鄰幀間運動的估值運動補償：由于估值并不精確，需要發(fā)送額外的信息來指明運動部分的預(yù)測位置與實際位置的差別2、運動估值/補償

說明：DFD：幀間差運動矢量的獲?。寒?dāng)前幀在參考幀中，塊匹配得到最佳匹配塊，估計得到位移矢量D；參考幀的獲?。河芍貥?gòu)的DFD加上當(dāng)前塊預(yù)測值bk-1得來，包含兩者信息；預(yù)測幀的獲?。簠⒖紟ㄟ^運動補償，得到當(dāng)前幀的預(yù)測值；幀間編碼塊幀內(nèi)編碼塊帶有運動估值與補償?shù)膸g預(yù)測編碼原理3、DCT變換圖像經(jīng)DCT變換后，DCT系數(shù)之間相關(guān)性已經(jīng)很小，而且大部分能量集中在少數(shù)的系數(shù)上?？梢詫φ鶊D像進行DCT變換，但由于圖像各部位的細節(jié)不同，常采用分塊DCT的辦法，即將宏塊再分為8X8個子塊，對每個子塊進行DCT變換，不同細節(jié)的子塊，DCT保留的系數(shù)可不同，從而降低運算量和存儲空間。4、量化量化會帶來誤差(信息損失)。通過量化(Q)，可以保留重要的DCT系數(shù)，并將不重要的DCT系數(shù)量化到零，這是數(shù)據(jù)壓縮的重要的一步。5.從二維矩陣到一維序列的轉(zhuǎn)換（游程編碼）DCT系數(shù)矩陣經(jīng)量化后，已經(jīng)變得很稀疏，相當(dāng)多的系數(shù)已經(jīng)量化到零，只剩下低頻系數(shù)和少量高頻系數(shù)。為了進行后面的熵編碼，需要將二維矩陣系數(shù)轉(zhuǎn)換為一維序列，這種轉(zhuǎn)換叫：游程編碼。游程編碼的方法：（1）對稀疏的DCT系數(shù)矩陣，進行“之”字形掃描，得到一個系數(shù)序列：5.從二維矩陣到一維序列的轉(zhuǎn)換（游程編碼）（2）當(dāng)掃描到高頻區(qū)域，遇到若干個零之后才有一個非零值時，為了記錄該非零值的位置，該值前面的零的個數(shù)用游程編碼來表示。（3）當(dāng)剩下的系數(shù)均為零時，用符號EOB（EndofBlock）來代表序列的截止。格式為：(run,level)run：表示這個非零系數(shù)前面的零的數(shù)目Level：表示這個非零系數(shù)的數(shù)值游程編碼的方法：6、熵編碼格式：(last,run,level)說明：last：表示是否為游程編碼非零序列的最后符號，last=1：代表“是”；run：表示這個非零系數(shù)前面的零的數(shù)目；level：表示這個非零系數(shù)的絕對值；碼字后的s：0為正值，1為負值。游程編碼之后，還需要使用熵編碼來進一步消除冗余，壓縮數(shù)據(jù)。實際設(shè)計中，是將游程編碼后的組合（run，level）看成一個符號，并給予一個碼字，這樣的碼表稱為二維霍夫曼表。7、速率控制由于編碼的原因，例如，熵編碼產(chǎn)生的是變長碼、幀內(nèi)編碼與幀間編碼產(chǎn)生的數(shù)據(jù)量不同、視頻信號的統(tǒng)計特性不平穩(wěn)，復(fù)雜度高的圖像經(jīng)壓縮后產(chǎn)生的數(shù)據(jù)量大，等等，因此，編碼輸出的比特流速率是變化的。為了能在恒定比特率的信道上傳送，需要在進入信道之前加一個緩沖器，用以對輸出的比特流速率進行平滑和控制；4.1.2視頻序列的編碼幀內(nèi)編碼：采用類似于靜止的圖像壓縮（JPEG算法)進行編碼,通常第一幀(I幀)采用幀內(nèi)編碼,后繼幀采用幀間預(yù)測編碼。幀間編碼：即幀間預(yù)測壓縮編碼?！駢嚎s編碼的幀，一般有獨立編碼的幀（幀內(nèi)編碼），和預(yù)測編碼的幀（幀間編碼）兩大類型?！耠S機接入：接收機在剛開機、改換頻道、進行快進快退等操作時，需要從碼流的某個中間點處開始解碼，這稱為隨機接入。4.1.2視頻序列的編碼I幀：即實行幀內(nèi)編碼的幀。B幀：雙向預(yù)測的幀間編碼幀。P幀：前向預(yù)測的幀間編碼幀。GOP：兩個I幀之間的圖像所構(gòu)成的一個圖像組，其中的P幀和B幀數(shù)目可以根據(jù)實際需要選擇?！?.1.7碼流結(jié)構(gòu)

視頻序列是以幀為單位進行編碼，每一幀又被劃分為條、宏塊和塊分別進行具有運動補償?shù)膸g預(yù)測和DCT編碼，然后轉(zhuǎn)換成一維的符號序列，經(jīng)熵編碼形成一串由0、1組成的碼流。

要使解碼器能夠從碼流恢復(fù)出原來的視頻序列，必須給出碼流的各段與幀、條、宏塊與塊之間的對應(yīng)關(guān)系，通常是將碼流按層次結(jié)構(gòu)來組織，并在每個層次插入相應(yīng)的頭信息來完成?！?.1.7碼流結(jié)構(gòu)

碼流共分為六個層次:圖像序列是由數(shù)據(jù)頭和若干圖像組構(gòu)成的。數(shù)據(jù)頭中包含圖像的大小，量化矩陣等信息。圖像組：一個圖像組是由數(shù)據(jù)頭和若干圖像構(gòu)成。數(shù)據(jù)頭中包含時間代碼等信息。圖像組中每一幅圖像既可以是I幀，也可以是P幀或B幀。但需說明的是GOP中的第一幅圖像必須是I幀，這樣可以便于提供圖像接入點。圖像：一幅圖像是由數(shù)據(jù)頭和若干片構(gòu)成的。其中數(shù)據(jù)頭包含該圖像的編碼類型及碼表選擇信息等。它是最基本的顯示單元。通常我們也稱其為幀?！?.1.7碼流結(jié)構(gòu)

碼流共分為六個層次:圖像條：一個圖像條是由附加數(shù)據(jù)與若干個宏塊組成。附加數(shù)據(jù)包括該圖像條在整個圖像中的位置、默認的全局量化參數(shù)等。圖像條是進行圖像同步的基本單元。應(yīng)該說明的是在一幀圖像中，圖像條越多，其編碼效率越低，但處理誤碼的操作更容易，只需跳過出現(xiàn)誤碼的圖像條即可。宏塊：一個宏塊是由附加數(shù)據(jù)與4個8×8亮度塊和2個8×8色差塊組成。其中附加數(shù)據(jù)包含宏塊的編碼類型、量化參數(shù)、運動矢量等。宏塊是進行運動補償運算的基本單元。塊：一個塊是由8×8像素構(gòu)成的。亮度信號、色差信號都采用這種結(jié)構(gòu)。它是DCT變換的最基本單元。4.5壓縮編碼算法性能的評價衡量數(shù)據(jù)壓縮技術(shù)的性能主要有壓縮比、重建圖像質(zhì)量、算法復(fù)雜性、時延等。此外，一個好的算法還要考慮多媒體技術(shù)的軟硬件適應(yīng)能力、應(yīng)用標(biāo)準、技術(shù)標(biāo)準等?！駭?shù)據(jù)壓縮的倍數(shù)（壓縮比）數(shù)據(jù)壓縮倍數(shù)為壓縮前后的數(shù)據(jù)量之比

衡量另一種壓縮倍數(shù)是用平均像素所使用的比特數(shù)表示數(shù)據(jù)量大小?！裰亟▓D像質(zhì)量的客觀評價通常用重建圖像與原圖像之間像素值的均方誤差（MSE）來衡量，將均方誤差作為由數(shù)據(jù)壓縮而產(chǎn)生的噪聲能量，定義峰值信噪比為：4.5壓縮編碼算法性能的評價●視頻壓縮的率失真性能率-失真（RD）性能：綜合考慮壓縮后的碼率和重建圖像的信噪比?！裰亟▓D像的主觀評價主觀評價是指觀察者根據(jù)自己的感覺對圖像質(zhì)量進行的評價，為此，國際電聯(lián)無線電組在BT500-11對圖像主觀評價做出規(guī)定：主觀評價的觀察者主觀評價的方法、條件和尺度（進行5星評定）計算平均評價分數(shù)：●4.6圖像和視頻壓縮編碼的國際標(biāo)準1、JPEG是英文JointPhotographicExpertsGroup的縮寫，即聯(lián)合圖像專家組。該標(biāo)準是一種適用于靜止圖像壓縮算法的國際標(biāo)準。包含四種運行模式，其要點如下:4.6.1靜止圖像壓縮標(biāo)準JPEG順序編碼模式：根據(jù)DCT變換原理，從上到下，從左到右順序地對圖像數(shù)據(jù)進行壓縮編碼。在此過程中存在信息丟失，因此這是一種有損圖像壓縮編碼。漸進編碼模式：以DCT變換為基礎(chǔ)，不同的是先傳送部分DCT系數(shù)信息，使接收端獲得一個“粗略”圖像，再將剩余頻帶系數(shù)漸次傳送，最終形成清晰圖像。無損編碼模式：采用幀內(nèi)預(yù)測（DPCM）和熵編碼以保證重建圖像與原圖像完全相同。分層編碼模式：以圖像分辨率為基準進行圖像編碼，首先將輸入圖像的分辨率逐層降低，先對低分辨率的底層圖像進行編碼，逐步提高分辨率，直到與源圖像分辨率相同為止。2.新一代靜止圖像壓縮標(biāo)準JPEG2000JPEG2000與傳統(tǒng)JPEG最大的不同，是放棄了以DCT變換為主的區(qū)塊編碼方式，而采用以小波變換為主的多解析編碼方式。其主要特征如下：高效的編碼方法。壓縮比提高10%—30%。；支持ROI編碼。支持對ROI進行比對背景質(zhì)量更高的編碼；可伸縮編碼。支持類似于分層方式的空間分辨率可伸縮性和信噪比可伸縮性編碼；

H.261是ITU-T制定的視頻壓縮編碼標(biāo)準，也是世界上第一個得到廣泛承認的、針對動態(tài)圖像的視頻壓縮標(biāo)準，而且其后出現(xiàn)的MPEG系列標(biāo)準、H.262以及H.263等數(shù)字視頻壓縮標(biāo)準的核心都是H.261。

規(guī)定采用CIF（通用中間格式）和QCIF格式（1/4CIF）作為視頻輸入格式。

4.6.2視聽會議壓縮編碼標(biāo)準H.2611、H.261簡介2、H.261壓縮編碼原理第一幀圖像采用幀內(nèi)預(yù)測編碼。對于圖像序列的第一幅圖像或景物變換后的第一幅圖像，采用幀內(nèi)變換編碼。采用具有運動補償?shù)膸g預(yù)測。塊DCT變換和霍夫曼編碼。

4.6.3數(shù)字聲像壓縮編碼標(biāo)準MPEG-1

MPEG-1是1993年8月正式通過的技術(shù)標(biāo)準，其全稱為“適用于約1.5Mbit/s以下數(shù)字存儲媒體的運動圖像及伴音的編碼”。

MPEG-1標(biāo)準由三個部分組成：聲像同步與復(fù)用（系統(tǒng)）部分。描述了幾種伴音和圖像壓縮數(shù)據(jù)的復(fù)用以及加入同步信號后的整個系統(tǒng)（編號為11172-1）。視頻編碼部分。規(guī)定了圖像壓縮編碼方法（編號為11172-2）音頻編碼部分。規(guī)定了數(shù)字伴音壓縮編碼（11172-3）

MPEG-1可處理的圖像格式為SIF（SourceInputFormat）格式。處理隔行掃描的視頻信號能力。專門設(shè)置“按場掃描模式”顯著提高了壓縮編碼效率。更高的色度信號取樣模式。

規(guī)定了3種色差取樣模式：4:2:0；4:2:2；4:4:4可伸縮的視頻編碼方式。

對碼流的一部分進行解碼，可以獲得完整的重建圖像。MPEG-2視頻編碼即分“范疇”又分“層次”。5種范疇包括：無B幀的簡單型、允許B幀的主型、信噪比可伸縮型、空間可伸縮性和高型。（詳見表4-4）層次規(guī)定了最高分辨率（詳見表4-5）4.6.4通用視頻及伴音壓縮編碼標(biāo)準MPEG-2（H.262）1994年出臺的MPEG-2（ISO/IEC13818）標(biāo)準所追求的是針對廣播電視質(zhì)量的視頻信號及其伴音的壓縮編碼標(biāo)準。它是在MPEG-1的基礎(chǔ)上進行了重大的改進和擴充，主要體現(xiàn)在以下幾方面：H.263能夠支持更多的圖像模式。高效的編碼模式。半像素精度的運動補償8*8的幀間預(yù)測DCT系數(shù)的空間預(yù)測基于句法的算術(shù)編碼不受限的運動矢量算法PB幀模式抗誤碼措施

4.6.5低比特率視聽會議壓縮編碼標(biāo)準H.263H.263是一種低比特率的視頻壓縮標(biāo)準，主要適用于可視電話和視頻會議。它是以H.261為基礎(chǔ)的，其編碼原理和數(shù)據(jù)結(jié)構(gòu)都與H.261相似。4.6.6通用音視頻對象壓縮編碼標(biāo)準MPEG-4

MPEG-4是一種第二代視音頻編碼技術(shù)。它是一種適用于各種多媒體應(yīng)用的“視音頻對象編碼”標(biāo)準。在可視對象編碼方面，MPEG-4具有以下特點：MPEG-4采用：場景二進格式BIFS來描述多媒體場景，即用BIF定義構(gòu)成場景的對象之間的空間和時間關(guān)系，這些關(guān)系通常以樹的結(jié)構(gòu)表示。（如圖4-32）對象描述符OD描述某個對象信息，通過OD可以找到對應(yīng)于該對象的媒體流，媒體流中包含對象的運動、紋理和形狀信息。

場景描述符流（BIF流）、對象描述符流（OD流）和媒體流復(fù)接成一個流輸出，接收端首先通過一個初始OD找到BIFS流和OD流，然后通過這兩個流找到構(gòu)成場景的各個媒體流?；趯ο蟮木幋a和場景的組合4.6.6通用音視頻對象壓縮編碼標(biāo)準MPEG-4

低碼率的核心編碼以H.263為基礎(chǔ)，借鑒并改進了其中高效編碼工具，同時采取多種方法提高已編碼流在噪聲信道上傳輸?shù)聂敯粜?。高效率和強魯棒性的編碼

將背景作為整體，進行編碼和傳輸。靜止背景編碼

支持空間可伸縮性、時間可伸縮性、信噪比可伸縮性編碼，其中支持細粒度可伸縮性FGS技術(shù)。可伸縮性編碼

允許使用小波變換進行圖像的編碼。小波紋理編碼

對二維、三維的合成圖像進行編碼。動畫對象編碼由ISOMPEG和ITU-T的視頻專家組VCGE組成的聯(lián)合視頻組JVT于2003年制定的一個視頻壓縮編碼標(biāo)準。H.264不僅具有高壓縮比，而且在惡劣的網(wǎng)絡(luò)傳輸條件下，具有較高的抗誤碼性能。4.6.7視頻壓縮編碼標(biāo)準H.264改進情況如下：幀內(nèi)預(yù)測編碼。大量細節(jié)