《電視原理》課件第7章

7.1數(shù)字電視的視頻編碼

7.2視頻圖像的DCT變換編碼7.3視頻圖像的熵編碼

7.4圖像的差值與矢量預(yù)測(cè)

7.5圖像的運(yùn)動(dòng)估計(jì)與補(bǔ)償

7.6音頻信號(hào)的壓縮編碼技術(shù)

復(fù)習(xí)題

7.1.1數(shù)字電視的視頻編碼概述

視頻編碼作為多媒體數(shù)據(jù)壓縮的重點(diǎn)與核心，其壓縮本質(zhì)就是在保證一定重構(gòu)質(zhì)量(圖像不失真或少失真)的前提下，以盡量少的比特?cái)?shù)來(lái)表征視頻圖像信息，從而實(shí)現(xiàn)最大限度地降低圖像數(shù)據(jù)傳輸率、減小信道寬度、減少數(shù)據(jù)存儲(chǔ)空間。7.1數(shù)字電視的視頻編碼1.視頻壓縮編碼可行性分析

1)利用空間冗余度進(jìn)行壓縮編碼

2)利用時(shí)間冗余度進(jìn)行壓縮編碼

3)利用視覺(jué)冗余度進(jìn)行壓縮編碼

2．視頻圖像的編碼技術(shù)

1)視頻圖像預(yù)測(cè)編碼技術(shù)

2)視頻圖像變換編碼技術(shù)

3)圖像熵編碼

4)霍夫曼編碼

5)具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)編碼技術(shù)7.1.2數(shù)字電視視頻編碼的流程

視頻編碼作為多媒體數(shù)據(jù)壓縮的重點(diǎn)與核心，其壓縮本質(zhì)就是在保證一定重構(gòu)質(zhì)量(圖像不失真或少失真)的前提下，以盡量少的比特?cái)?shù)來(lái)表征視頻圖像信息，從而實(shí)現(xiàn)最大限度地降低圖像數(shù)據(jù)傳輸率、減小信道寬度、減少數(shù)據(jù)存儲(chǔ)空間。

實(shí)現(xiàn)數(shù)字電視視頻信號(hào)壓縮編碼的硬件或軟件稱為視頻編碼器，其簡(jiǎn)化的功能框圖如圖7.1所示。圖7.1視頻編碼器功能框圖變換編碼是大多數(shù)視頻編解碼系統(tǒng)和標(biāo)準(zhǔn)的核心?？臻g圖像數(shù)據(jù)(圖像采樣點(diǎn)或者運(yùn)動(dòng)補(bǔ)償殘余采樣點(diǎn))被變換成不同的表示，即變換域，這樣對(duì)圖像數(shù)據(jù)進(jìn)行處理是有好處的。

圖7.2顯示了DCT的這兩種變換形式。7.2視頻圖像的DCT變換編碼圖7.21-D和2-D離散余弦變換圖7.3說(shuō)明了DCT能量壓縮屬性。變換后圖像的能量集中在陣列的左上角，形成了一個(gè)山峰對(duì)應(yīng)著低頻能量；而陣列右邊的系數(shù)則迅速地減少到零(圖像的高頻分量)。DCT系數(shù)的去相關(guān)表面大多數(shù)價(jià)值不大的系數(shù)可以被丟掉而對(duì)圖像的質(zhì)量影響不大。相對(duì)于那些跟圖像像素相關(guān)性很強(qiáng)的系數(shù)矩陣，這些緊湊的去相關(guān)的系數(shù)矩陣能夠更有效地壓縮。圖7.3DCT能量壓縮屬性

DCT變換將圖像采樣點(diǎn)的每個(gè)塊表示為2-D余弦函數(shù)(基本函數(shù))的一個(gè)加權(quán)和。圖7.4給出的是將函數(shù)繪制成表面圖的結(jié)果，圖7.5則表示為8×8像素的基礎(chǔ)圖案。最左上角的圖案是最低頻的部分并且只是一個(gè)相同的塊。越往右，那些圖案沿水平方向有了越來(lái)越多的黑白交替，這表示水平方向空間頻率的增加。越往下，圖案包含垂直方向空間頻率的增加。往右下角，圖案包含水平以及垂直的頻率。這樣采樣點(diǎn)就能以這個(gè)64個(gè)樣點(diǎn)為模板，每樣點(diǎn)通過(guò)乘以一個(gè)權(quán)值(對(duì)應(yīng)于DCT系數(shù)Fx，y)得到重建。圖7.4DCT基函數(shù)(平面圖形式)圖7.58×8像素的基礎(chǔ)圖案圖7.6(b)顯示的是取自圖像7.6(a)的一幅8×8的群采樣點(diǎn)圖像。這個(gè)塊通過(guò)2-DDCT變換產(chǎn)生如圖7.6(c)所示的系數(shù)。6個(gè)最重要的系數(shù)是(0，0)、(1，0)、(1，1)、(2，0)、(3，0)、(4，0)，即表格中高光顯示的那些系數(shù)(表7.1)。圖7.6DCT變換示例圖表7.1DCT變換系數(shù)最后的結(jié)果(在圖7.7的最下面的右圖上顯示并且只由64個(gè)系數(shù)中的6個(gè)系數(shù)產(chǎn)生)是原圖像的一個(gè)很好的近似值。這個(gè)例子說(shuō)明DCT的兩個(gè)關(guān)鍵性質(zhì)：重要的系數(shù)緊緊圍著DC系數(shù)(密度)；塊能用較少系數(shù)重建(去相關(guān))。圖7.7IDCT重建示意圖一個(gè)視頻編碼器主要有兩個(gè)功能：源模型編碼和熵編碼。

在一個(gè)典型的基于傳輸?shù)囊曨l編解碼器中，使用熵編碼器編碼的數(shù)據(jù)有三類：變換系數(shù)(如量化過(guò)的DCT系數(shù))、運(yùn)動(dòng)矢量和輔助信息(如頭標(biāo)記、同步標(biāo)記等)。7.3視頻圖像的熵編碼7.3.1游程編碼

在基于DCT的視頻編碼器中，量化器的輸出是一量化的變換系數(shù)矩陣。

圖7.8給出了從MPEG-4“幀內(nèi)”塊中量化系數(shù)的典型塊。量化塊的結(jié)構(gòu)基本具有這個(gè)特性：量化后比較少的非零系數(shù)被保持，且大部分聚集在DCT系數(shù)(0，0)點(diǎn)周圍。

(0，0)點(diǎn)是“DC”系數(shù)，對(duì)于重建圖像是最重要的系數(shù)。圖7.8MPEG-4“幀內(nèi)”塊中量化系數(shù)重排量化數(shù)據(jù)的最佳方法依賴于非零系數(shù)的分布。如果原圖像(或運(yùn)動(dòng)補(bǔ)償殘差值)數(shù)據(jù)均勻分布在水平或垂直方向(例如，在兩個(gè)方向上都沒(méi)有更強(qiáng)圖像特征優(yōu)勢(shì))，則重要系數(shù)將趨向于平均分布在矩陣的左上方(圖7.9(a))。在這種情況下，像圖7.9(c)那樣的ZigZag字重排序模式會(huì)把非零系數(shù)更有效地排列。圖7.9幀編碼及ZigZag字重排序模式7.3.2哈夫曼編碼

哈夫曼熵編碼將每個(gè)輸入符號(hào)映射到可變長(zhǎng)的碼字，這種類型的編碼器在1952年首先被提出。變長(zhǎng)碼字的局限是：它必須包含整數(shù)位，并必須唯一地被解碼。

例：用MPEG-4(短頭信息模式)編碼“Carphone”視頻序列，表7.2列出了在編碼序列中最常出現(xiàn)的運(yùn)動(dòng)矢量概率及其內(nèi)容的信息量lb(1/P)。為了達(dá)到最佳的壓縮，每個(gè)運(yùn)動(dòng)矢量值必須用精確的lb(1/P)位來(lái)表示。圖7.10以圖形方式說(shuō)明矢量概率的分布(實(shí)線)。表7.2“Carphone”運(yùn)動(dòng)矢量的出現(xiàn)概率圖7.10運(yùn)動(dòng)矢量概率分布的圖形表示

1.產(chǎn)生哈夫曼編碼樹(shù)

對(duì)于一個(gè)數(shù)據(jù)集合，為產(chǎn)生哈夫曼編碼表，迭代執(zhí)行下面的步驟(忽略在表7.2中沒(méi)有出現(xiàn)的任何矢量值)：

(1)以概率增加方式排序數(shù)據(jù)。

(2)把概率最低的兩個(gè)數(shù)據(jù)項(xiàng)合并成一個(gè)節(jié)點(diǎn)，把數(shù)據(jù)項(xiàng)的聯(lián)合概率分配給此節(jié)點(diǎn)。

(3)重復(fù)步驟(2)，以概率遞增方式重排剩下的數(shù)據(jù)項(xiàng)和節(jié)點(diǎn)。

反復(fù)執(zhí)行這個(gè)過(guò)程，直到一個(gè)單獨(dú)的根節(jié)點(diǎn)出現(xiàn)，這個(gè)根節(jié)點(diǎn)包括了其他所有的節(jié)點(diǎn)和列在其下的數(shù)據(jù)項(xiàng)，圖7.11說(shuō)明了這個(gè)過(guò)程。圖7.11“Carphone”運(yùn)動(dòng)矢量的霍夫曼編碼樹(shù)

2.編碼

二叉樹(shù)的每個(gè)葉子被映射為一個(gè)VLC，為了找到這個(gè)節(jié)點(diǎn)，從根節(jié)點(diǎn)(這里是F)一直到子節(jié)點(diǎn)(數(shù)據(jù)項(xiàng))遍歷二叉樹(shù)，對(duì)于每一個(gè)分支，設(shè)置0或1。0是上分支，1是下分支(如圖7.11所示最終二叉樹(shù))。這樣就得到如表7.3所示的編碼集。表7.3“Carphone”運(yùn)動(dòng)矢量的霍夫曼編碼

3.解碼

為了對(duì)數(shù)據(jù)解碼，解碼器必須對(duì)哈夫曼樹(shù)(或查找表)進(jìn)行本地備份。為實(shí)現(xiàn)這個(gè)功能，要傳輸查找表本身，或者發(fā)生數(shù)據(jù)列表及其概率，其次才發(fā)送已編碼的數(shù)據(jù)，這樣才能保證每個(gè)可被唯一解碼的碼值可以被閱讀及轉(zhuǎn)化回原數(shù)據(jù)。視頻信號(hào)由一系列單獨(dú)的幀組成。每一幀可以單獨(dú)地被前面描述的圖像編解碼器壓縮，這稱為幀內(nèi)編碼(Intra-frameCoding)，每一幀在“內(nèi)部”進(jìn)行編碼而沒(méi)有參考其他的幀。而消除視頻序列中的冗余信息(連續(xù)視頻幀中的相似性)，可以達(dá)到更好的壓縮效果，這可通過(guò)給圖像編解碼器增加一個(gè)“前后幀”來(lái)實(shí)現(xiàn)，如圖7.12所示。7.4圖像的差值與矢量預(yù)測(cè)圖7.12視頻預(yù)測(cè)編碼7.4.1圖像的差值

最簡(jiǎn)單的預(yù)測(cè)器就是采用前一個(gè)傳輸?shù)膸鲄⒖?。圖7.13顯示了在一個(gè)視頻序列中用當(dāng)前幀減去前一幀得到的殘差幀。在殘差幀中，中等灰度區(qū)域的數(shù)據(jù)都是零，淺色和黑色區(qū)域分別表示正的和負(fù)的殘差數(shù)據(jù)。圖7.13原幀圖像、當(dāng)前幀圖像以及殘差幀圖像7.4.2圖像的矢量預(yù)測(cè)

下面舉例說(shuō)明解碼器處理幀間預(yù)測(cè)可能存在的問(wèn)題。表7.4表示了采用幀間殘差編碼和解碼序列視頻幀所需要的一系列操作。表7.4預(yù)測(cè)漂移這個(gè)問(wèn)題的解決方法是編碼器采用解碼的幀來(lái)形成預(yù)測(cè)。因而上面例子中的編碼器解碼(或重建)幀1來(lái)形成對(duì)幀2的預(yù)測(cè)。編碼器和解碼器采用相同的預(yù)測(cè)，漂移就可以減少或消除。圖7.14顯示了一個(gè)完整的編碼器，為了重建它的預(yù)測(cè)參考幀，它包含了一個(gè)解碼的“環(huán)”。圖7.14具有解碼環(huán)的編碼圖7.15顯示了一個(gè)采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的視頻編解碼器。

在編碼器中必須增加兩個(gè)新的步驟：

(1)運(yùn)動(dòng)估計(jì)。

(2)運(yùn)動(dòng)補(bǔ)償。7.5圖像的運(yùn)動(dòng)估計(jì)與補(bǔ)償圖7.16顯示了一個(gè)殘差幀，它是通過(guò)將當(dāng)前幀(圖7.13)減去前一幀的運(yùn)動(dòng)補(bǔ)償來(lái)得到的。這個(gè)殘差幀比圖7.13中的殘差幀明顯包含更少的數(shù)據(jù)。壓縮率的提高并不是沒(méi)有代價(jià)的：運(yùn)動(dòng)估計(jì)可能需要很大的計(jì)算量。運(yùn)動(dòng)估計(jì)算法的設(shè)計(jì)對(duì)視頻編解碼器的壓縮效果和計(jì)算復(fù)雜度具有很重要的影響。圖7.15視頻編解碼器的運(yùn)動(dòng)估計(jì)和補(bǔ)償圖7.16殘差幀運(yùn)動(dòng)估計(jì)是根據(jù)先前編碼的一幀或者多幀(參考幀)數(shù)據(jù)產(chǎn)生了當(dāng)前幀的一個(gè)模型。在圖7.17中，運(yùn)動(dòng)估計(jì)模塊通過(guò)修改一個(gè)或者多個(gè)參考幀建立一個(gè)當(dāng)前幀的模型，通過(guò)對(duì)當(dāng)前幀進(jìn)行運(yùn)動(dòng)補(bǔ)償，以達(dá)到盡可能逼近匹配當(dāng)前幀(依據(jù)一個(gè)匹配原則)。同時(shí)，編碼后的殘差數(shù)據(jù)被解碼并加到這個(gè)模型上，從而產(chǎn)生當(dāng)前幀的一個(gè)解碼版本(它不一定與原始幀完全相同，因?yàn)榇嬖诰幋a損失)。這個(gè)重建幀在編碼端被存儲(chǔ)起來(lái)以用于將來(lái)作預(yù)測(cè)用的參考幀。圖7.17運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)目驁D殘差幀(或者稱移位幀差值，DFD)被編碼和傳輸，一起編碼和傳輸?shù)倪€有其他的額外信息(例如運(yùn)動(dòng)矢量)，解碼器重建模型時(shí)需要這些信息。當(dāng)編碼的DFD的大小和編碼的輔助信息尺寸最小時(shí)，就達(dá)到了最好的壓縮性能。運(yùn)動(dòng)補(bǔ)償之后的DFD大小與DFD中的殘余能量有關(guān)。圖7.18顯示了一個(gè)原幀、一個(gè)當(dāng)前幀和一個(gè)沒(méi)有經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)臍埐顜?DFD)圖像。圖7.18原幀、當(dāng)前幀及沒(méi)有經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)臍埐顜瑘D像圖7.19解釋了塊匹配的過(guò)程。當(dāng)前塊(圖中是3×3個(gè)像素)如左邊所示，這個(gè)塊與參考幀中相同位置的塊(如中心的黑線所示)和緊接著的臨近位置(每個(gè)方向正負(fù)一個(gè)像素)作比較。

表7.5中列出了每個(gè)搜索位置的MSE值，而圖7.20則以圖像的形式表示了這些差值。在9個(gè)候選位置中，(-1，-1)的MSE最小，因此這個(gè)位置是最好的匹配。在這個(gè)例子中，當(dāng)前塊的最好模型(就是最好預(yù)測(cè))是以位置(-1，-1)為中心的3×3區(qū)域。圖7.19當(dāng)前3×3塊以及5×5參考區(qū)域表7.5塊匹配例子的MSE計(jì)算數(shù)值圖7.20塊匹配例子MSE的圖形例子圖7.21顯示了對(duì)圖7.18中圖像幀的每個(gè)16×16塊(宏塊)進(jìn)行運(yùn)動(dòng)估計(jì)之后產(chǎn)生的運(yùn)動(dòng)矢量。多少矢量對(duì)應(yīng)于運(yùn)動(dòng)，女孩和自行車向左移，所以運(yùn)動(dòng)矢量指向右(也就是物體移來(lái)的區(qū)域)。在中心有一個(gè)反常的矢量(它大于其他的矢量，沿對(duì)角線指向上)。這個(gè)矢量不對(duì)應(yīng)真實(shí)的運(yùn)動(dòng)，它只表示在這個(gè)位置上有最佳的匹配。圖7.21

16×16塊的運(yùn)動(dòng)矢量

1．比較原則

2．參考幀的選擇

3．前向預(yù)測(cè)

4．后向預(yù)測(cè)

5．雙向預(yù)測(cè)

6．多個(gè)參考幀

圖7.22揭示了上面講到的各種預(yù)測(cè)方法，包括應(yīng)用過(guò)去幀和將來(lái)幀進(jìn)行前向預(yù)測(cè)和后向預(yù)測(cè)。圖7.22