圖像的編碼技術(shù)

第九章圖像編碼與圖像通信數(shù)字圖像處理安徽建筑

大學(xué)圖像編碼的研究背景

——

通信方式改變帶來的需求信息傳輸方式發(fā)生了很大的改變通信方式的改變

文字+語音

圖像+文字+語音通信對象的改變

人與人人與機(jī)器，機(jī)器與機(jī)器由通信方式和通信對象的改變帶來的最大問題是：

傳輸帶寬、速度、存儲器容量的限制。帶來的難題，也創(chuàng)造了機(jī)會：如何用軟件的手段來解決硬件上的物理極限。圖像編碼的研究背景

——

通信方式改變帶來的需求圖像編碼的研究背景

——

海量數(shù)據(jù)帶來的需求數(shù)字圖像數(shù)據(jù)量的龐大。圖像的傳輸與存儲，必須解決圖像數(shù)據(jù)的壓縮問題。彩色視頻數(shù)據(jù)量分析對于電視畫面的分辨率640×480的彩色圖像(像素分辨率為24bit)，每秒30幀，則一秒鐘的數(shù)據(jù)量為：

640×480×24×30=221.12M播放時，需要221Mbps的通信回路。

彩色視頻數(shù)據(jù)量分析實時傳輸：在10M帶寬網(wǎng)上實時傳輸?shù)脑挘枰獕嚎s到原來數(shù)據(jù)量的0.045，即0.36bit/pixel。存儲：

（按1張光盤可存640M計算）如果不進(jìn)行壓縮，1張CD則僅可以存放2.89秒的數(shù)據(jù)。存2小時的信息則需要壓縮到原來數(shù)據(jù)量的0.0004，即：0.003bit/pixel。傳真數(shù)據(jù)量分析如果只傳送2值圖像，以200dpi的分辨率傳輸，一張A4稿紙的數(shù)據(jù)量為：

1654×2337×1=3888768bit=3900K按14.4K的電話線傳輸速率，需要傳送的時間是：270秒（4.5分）

圖像通信系統(tǒng)模型圖像信息源圖像預(yù)處理圖像信源

編碼信道編碼調(diào)制信道傳輸解調(diào)信道解碼圖像信源

解碼顯示圖像9.1基本概念9.2圖像壓縮原理9.3圖像的壓縮編碼第九章圖像編碼與圖像通信一、圖像編碼壓縮的必要性海量圖像數(shù)據(jù)的存儲和處理、通信的是現(xiàn)代信

息傳輸?shù)碾y點。二、圖像編碼壓縮的可能性組成圖像的各像素之間，在行列方向存在一定的相關(guān)性。從信息論角度來看，描述圖像信源數(shù)據(jù)是由有效信息量和冗余量兩個部分組成，可以在保持圖像原有信息量的同時，去除冗余量能夠節(jié)省存儲和傳輸中的開銷，同時又不損害圖像信源的有效信息。

9.1基本概念數(shù)據(jù)的冗余你的大學(xué)同學(xué)，李某某，將于明天晚上6點零5分在合肥的安徽建筑大學(xué)北區(qū)大門口等你。

(36×2+5=77個半角字符)你的同學(xué)將于明天晚上6點零5分在安徽建筑大學(xué)北區(qū)大門口等你

(29×2+2=60個半角字符）李某某將于明晚6點在安建大北區(qū)大門口等你

(18×2+1=37個半角字符）結(jié)論：只要接收端不會產(chǎn)生誤解，就可以減少承載信息的數(shù)據(jù)量。數(shù)據(jù)冗余——

描述上的冗余描述方式：

1）這是一幅2×2的圖像，圖像的第一個像素是綠的，第二個像素是綠的，第三個像素是綠的，第四個像素是綠的。

2）這是一幅2×2的圖像，整幅圖都是綠色的。

3）一幅綠色2×2的圖像。整理圖像的描述方法可以達(dá)到壓縮的目的。1234圖像冗余

——

數(shù)據(jù)冗余的壓縮

圖像冗余無損壓縮的原理RGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGB16RGB從16×3×8=284bits壓縮為：(1+3)×8=32bits壓縮比為：12：1圖像冗余

——

數(shù)據(jù)冗余的壓縮圖像冗余有損壓縮的原理36353434343434323434333730343434343434343435343431343434343434343434343434343434343434343434343434342534圖像冗余

——

實際圖像中的數(shù)據(jù)冗余

實際圖像中冗余信息的表現(xiàn)圖像冗余

——

視覺冗余的壓縮圖像的視覺冗余（彩色）

RG

B2488822×2×2=242=16,777,216(248,27,4)(251,32,15)(248,27,4)(248,27,4)9.2圖像壓縮原理由于一幅圖像存在數(shù)據(jù)冗余和主觀視覺冗余，所以壓縮方式可以從這兩方面著手開展。改變圖像信息的描述方式，以壓縮掉圖像中的數(shù)據(jù)冗余。忽略一些視覺不太明顯的微小差異，以壓縮掉圖像中的視覺冗余。9.3圖像的壓縮編碼第一代壓縮編碼

八十年代以前，主要是根據(jù)傳統(tǒng)的信源編碼方法。第二代壓縮編碼

八十年代以后，突破信源編碼理論，結(jié)合分形、模型基、神經(jīng)網(wǎng)絡(luò)、小波變換等數(shù)學(xué)工具，充分利用視覺系統(tǒng)生理心理特性和圖像信源的各種特性。9.3圖像的壓縮編碼像素編碼變換編碼預(yù)測編碼位平面編碼增量調(diào)制熵編碼算術(shù)編碼DCT變換DPCM調(diào)制第一代壓縮編碼其他編碼行程編碼9.3圖像的壓縮編碼子帶編碼模型編碼分層編碼分形編碼第二代壓縮編碼H.261標(biāo)準(zhǔn)(ITU-T,可視電話

,視頻會議)H.263、H.26L標(biāo)準(zhǔn)H.264MPEG-1標(biāo)準(zhǔn)(視頻會議、VCD)MPEG-2標(biāo)準(zhǔn)(通用活動圖像及其編碼)MPEG-4標(biāo)準(zhǔn)(通用活動圖像及其編碼)AVS(audio

video

coding

standard))一、行程編碼(RLE編碼)行程編碼是一種最簡單的，在某些場合是非常有效的一種無損壓縮編碼方法。雖然這種編碼方式的應(yīng)用范圍非常有限，但是因為這種方法中所體現(xiàn)出的編碼設(shè)計思想非常明確，所以在圖像編碼方法中都會將其作為一種典型的方法來介紹。

一、行程編碼通過改變圖像的描述方式，來實現(xiàn)圖像的壓縮。將一行中灰度值相同的相鄰像素，用一個計數(shù)值和該灰度值來代替。一、行程編碼

例：

aaaa

bbb

cc

d

eeeee

fffffff

432157

(共22×8=176bits)

4a3b2c1d5e7f

(共12×

8=96bits)壓縮比為：176：96=1.83:1一、行程編碼——傳真中的應(yīng)用方法傳真圖像中一般都是白色比較多，而黑色相對比較少。常常會出現(xiàn)如下的情況：

500W3b470w12b4w

3b3000w

上面行程編碼所需用的字節(jié)數(shù)(最高)為：

2048<3000<4096

所以計數(shù)值須用12bit來表示

采用行程編碼對于：500W3b470w12b4w

3b3000w

編碼為：500,3,570,

12,4,

3,3000

編碼位數(shù)為:12,12,12,12,12,12,12需要的數(shù)據(jù)量為：12×7=84bit一般情況下，只傳輸計數(shù)值即可。壓縮比為：176：84=2.1：1行程編碼——傳真中的應(yīng)用方法根據(jù)傳真件的特點，對其進(jìn)行改進(jìn)。已知白色多黑色少，可對白色和黑色的計數(shù)值采用不同的位數(shù)。上例，重新定義：

白色：12bit，黑色：4bit

行程編碼——傳真中的應(yīng)用方法編碼為：500,3,570,12,4,3,3000

編碼位數(shù)為:12,4,12,4,12,4,12所需字節(jié)數(shù)為：4×

12+3×

4=60bit比原來的RLE方式84bit減少了60bit,相當(dāng)于又提高了壓縮比為84/60=1.4：1。壓縮比為：176：60=2.93：1

二維行程編碼

——

基本概念二維行程編碼要解決的核心問題是:

將二維排列的像素，采用某種方式轉(zhuǎn)化成一維排列的方式。之后按照一維行程編碼方式進(jìn)行編碼。二維行程編碼

——

數(shù)據(jù)排序如下圖所示，是兩種典型的二維行程編碼的排列方式：(a)(b)二維行程編碼——例題例：數(shù)據(jù)量：64×

8=512(bit)

如果按照行掃描的順序排列的話，數(shù)據(jù)分布為：130，130，130，129，134，133，129，130；130，130，130，129，134，133，130，130；

130，130，130，129，132，132，130，130；129，130，130，129，130，130，129，129；127，128，127，129，131，129，131，130；127，128，127，128，127，128，132，132；125，126，129，129，127，129，133，132；127，125，128，128，126，130，131，131二維行程編碼——例題二維行程編碼——例題一維行程編碼后為:（3，130），（1，129），（1，134），（1，133），（1，129），（4，130），（1，129），（1，134），（1，133），（5，130），（1，129），（2，132），（2，130），（1，129），（2，130），（1，129），（2，130），（2，129），（1，127），（1，128），（1，127），（1，129），（1，131），（1，129），（1，131），（1，130），（1，127），（1，128），（1，127），（1，128），（1，127），（1，128），（2，132），（1，125），（1，126），（2，129），（1，127），（1，129），（1，133），（1，132），（1，127），（1，125），（2，128），（1，126），（1，130），（2，131）壓縮比為：512：506=1.01:1數(shù)據(jù)量為:46×

（3+8）=506(bit)二維行程編碼——例題如果按照列掃描的順序排列的話，數(shù)據(jù)分布為：130，130，130，129，127，127，125，127；130，130，130，130，128，128，126，125；130，130，130，130，127，127，129，128；129，129，129，129，129，128，129，128；134，134，132，130，131，127，127，126；133，133，132，130，129，128，129，130；129，130，130，129，131，132，133，131；130，130，130，129，130，132，132，131二維行程編碼

——例題一維行程編碼為:壓縮比為：512：462=1.11:1（3，130），（1，129），（2，127），（1，125），（1，127），（4，130），（2，128），（1，126），（1，125），（4，130），（2，127），（1，129），（1，128），（5，129），（1，128），（1，129），（1，128），（2，134），（1，132），（1，130），（1，131），（2，127），（1，126），（2，133），（1，132），（1，130），（1，129），（1，128），（1，129），（1，130），（1，129），（2，130），（1，129），（1，131），（1，132），（1，133），（1，131），（3，130），（1，129），（1，130），（2，132），（1，131）數(shù)據(jù)量為:42×

（3+8）=462(bit)二維行程編碼——例題如果按照Z字掃描的順序排列的話，數(shù)據(jù)分布為：130，130，130，129，127，127，125，127；130，130，130，130，128，128，126，125；130，130，130，130，127，127，129，128；129，129，129，129，129，128，129，128；134，134，132，130，131，127，127，126；133，133，132，130，129，128，129，130；129，130，130，129，131，132，133，131；130，130，130，129，130，132，132，131二維行程編碼

——例題一維行程編碼為:壓縮比為：512：462=1.11:1（9，130），（1，129），（2，130），（4，129），（2，134），（1，132），（1，130），（1，131），（1，129），（1，127），（1，128），（2，127），（1，128），（1，127），（1，128），（1，127），（1，128），（1，129），（1，130），（1，132），（2，133），（1，129），（2，130），（1，129），（1，131），（1，132），（1，133），（1，129），（1，127），（2，129），（1，126），（1，125），（1，127），（1，125），（2，128），（1，126），（1，130），（2，131），（2，132），（1，130），（1，129），（3，130）數(shù)據(jù)量為:42×

（3+8）=462(bit)二、Huffman編碼（熵編碼）行程編碼要獲得好的壓縮率的前提，有比較長的相鄰像素的值是相同的。熵是指數(shù)據(jù)中承載的信息量。熵編碼是指在完全不損失信息量前提下最小數(shù)據(jù)量的編碼。二、Huffman編碼為了達(dá)到大的壓縮率，將在圖像中出現(xiàn)頻度大的像素值，給一個比較短的編碼，將出現(xiàn)頻度小的像素值，給一個比較長的編碼。二、Huffman編碼例：

aaaa

bbb

cc

d

eeeee

fffffff

432157如果不進(jìn)行特殊的編碼，按照圖像像素的描述，需要的數(shù)據(jù)量為：

22×

8=176bits

二、Huffman編碼——基本原理

aaaa

bbb

cc

d

eeeee

fffffff

432157按照熵編碼的原理進(jìn)行編碼：

f=0e=10a=101b=1111c=11100d=11101編碼規(guī)則是長短不一的異字頭碼，具有碼字唯一可譯性，能實時進(jìn)行解碼。(一)

基本原理

由：f=0e=10a=101b=1111c=11100d=11101

aaaabbbccdeeeeefffffff

10110110110111111111111111100111001110110101010100000000

數(shù)據(jù)量：7×

1+5×

2+4×

3+3×

4+2×

5+1×

5=56bit

壓縮比為：176：56=3.14：1(二)編碼基本步驟

首先求出圖像中灰度分布的灰度直方圖；根據(jù)該直方圖，對其按照分布概率從小到大的順序進(jìn)行排列；每一次從中選擇出兩個概率為最小的節(jié)點相加，形成一個新的節(jié)點，構(gòu)造一個稱為“Huffman樹”的二叉樹；對此二叉樹進(jìn)行編碼，得到Huffman編碼碼字。(三)實例

數(shù)據(jù)序列

aaaabbbccdeeeeefffffff

其概率分布為：

a:4/22b:3/22c:2/22d:1/22e:5/22f:7/22

概率大小的排序為：

dc

b

a

e

f

1/222/22

3/22

4/22

5/22

7/22例cbafe7/225/224/222/2210f=11e=01a=00b=101c=1001d=1000d1/223/226/2222/2213/229/223/2210101010

f=11e=01a=00b=101c=1001d=1000經(jīng)Huffman編碼后的數(shù)據(jù)為：1010101010001001001000100010000111111111101010101010101共7×

2+5×

2+4×

2+3×

3+2×

4+1×

4=53bit壓縮比為176：53=3.32:1(四)Huffman編碼在圖像壓縮中的實際應(yīng)用對一幅圖像進(jìn)行編碼時，如果圖像的大小大于256時，這幅圖像的不同的碼字就有可能是很大，例如極限為256個不同的碼字。如果采用全局Huffman編碼則壓縮效率不高。甚至有可能與原來的等長編碼的數(shù)據(jù)量相同。

(四)Huffman編碼在圖像壓縮中的實際應(yīng)用

常用的且有效的方法是：將圖像分割成若干的小塊，對每塊進(jìn)行獨立的Huffman編碼。例如：分成8×8

的子塊，可以大大降低不同灰度值的個數(shù)（最多是64而不是256）。(四)

Huffman編碼在圖像壓縮中的實際應(yīng)用8×

8分塊的編碼壓縮比為2.12:116×

16分塊的編碼壓縮比為1.64:1全圖的編碼壓縮比為1.09:1三、預(yù)測編碼(DPCM)利用圖像信號的空間或時間相關(guān)性，用已傳輸?shù)南袼貙Ξ?dāng)前的像素進(jìn)行預(yù)測，然后對預(yù)測值與真實值的差(預(yù)測誤差)進(jìn)行編碼處理和傳輸。三、預(yù)測編碼-+f

’(m,n)e’(m,n)e(m,n)輸入f(m,n)量化器Q預(yù)測器輸出f’

(m,n)反量化器IQ預(yù)測器e(m,n)編碼器輸出預(yù)測誤差的量化值三、預(yù)測編碼預(yù)測器的設(shè)計主要是確定預(yù)測器的階數(shù)N，以及各個預(yù)測系數(shù)。階數(shù)N是指預(yù)測器的輸出是由N個輸入數(shù)據(jù)的線性組合而成。

三、預(yù)測編碼X0X4X2X3X1×a0×a1×a2×a3X0X1X2X3根據(jù)圖像信號的統(tǒng)計特性，可以通過一組合適的預(yù)測系數(shù)，使得預(yù)測誤差e’(m,n)的分布大部分集中在0附近，經(jīng)過非均勻量化，減少量化層，壓縮圖像數(shù)據(jù)。

安徽建筑工業(yè)學(xué)院最優(yōu)線性預(yù)測假定當(dāng)前待編碼的像素為XN，其前面N個已編像素分別為X0，X1，….，XN-1，若用它們對XN進(jìn)行預(yù)測，｛ai/i=0,1,….N-1｝表示預(yù)測系數(shù)，則可以寫成預(yù)測誤差為：

預(yù)測誤差的均方值為

極小值

由此解出N個預(yù)測系數(shù)｛ai

/i=0,1,….N-1｝，由于本方法求解時使預(yù)測誤差的均方值極小，因此稱為最佳預(yù)測系數(shù)。四、算術(shù)編碼

算術(shù)編碼方法：

將被編碼的信源消息表示成實數(shù)軸上0~1之間的一個間隔，消息越長，編碼表示它的間隔就越小，表示這一間隔所需的二進(jìn)制位數(shù)就越多，碼字就越長，反之，編碼所需的二進(jìn)制位數(shù)就越少，碼字就越短。例：設(shè)圖像信源編碼用a、b、c、d表示，出現(xiàn)的概率分別為1/2、1/4、1/8、1/8。則信源編碼符號集的所有符號的概率之和組成了一個完整的概率空間，用單位長度的矩形來表示。1/2、1/4、1/8、1/8(一)、編碼過程對aabc進(jìn)行算術(shù)編碼1、編碼前，指針指向碼點0，指針活動寬度為1，即從0到1；2、編碼a，指針指向新的碼點0+1×0.011=0.011(前面的碼點+前面指針活動寬度×a的碼點)，指針有效活動寬度1×0.1=0.1(前面的單位長度×a的概率)；3、編碼a，指針指向新的碼點0.011+0.1×0.011=0.1001，指針有效活動寬度0.1×0.1=0.01；4、編碼b，指針指向新的碼點0.1001+0.01×0.001=0.10011，指針有效活動寬度0.01×0.01=0.0001；5、編碼c，指針指向新的碼點0.10011+0.0001×0.111=0.1010011，指針有效活動寬度0.0001×0.001=0.0000001。最后的碼點值1010011就是對aabc進(jìn)行算術(shù)編碼的結(jié)果。1/2、1/4、1/8、1/8a0.0110.1、0.01、0.001、0.0010.011+0.1×0.011=0.1001(0.1×0.1=0.01)0.1001+0.01×0.001=0.10011(0.01×0.01=0.0001)0.10011+0.0001×0.111=0.1010011隨著碼字的增加，指針活動范圍越來越小，也就越來越精確，編碼的碼字位數(shù)就越多，算法中只含有加法和移位運算，因此稱為算術(shù)編碼。(二)、解碼過程①在0~1區(qū)間里定位，由于0.011<0.1010011<0.111，解得第一個碼字為a；②碼字序列減去前面的碼點值，0.1010011-0.011=0.0100011，再乘以2，0.0100011×2=0.100011，因為在編碼過程中子區(qū)間寬度乘以a的概率(0.1=1/2)，0.011<0.0100011<0.111，解得第二個碼字為a；③碼字序列減去前面的碼點值，0.100011-0.011=0.001011，再乘以2，0.001011×2=0.01011，因為在編碼過程中子區(qū)間寬度乘以a的概率(0.1=1/2)，0.001<0.01011<0.011，解得第二個碼字為b；④01011-0.001=0.00111，再乘以4，0.00111×4=0.111，因為在編碼過程中子區(qū)間寬度乘以b的概率(0.01=1/4)，正好是c。算術(shù)編碼效率比霍夫曼編碼效率高，在H.263、H.264/AVC和AVS編碼標(biāo)準(zhǔn)中用算術(shù)編碼(基于內(nèi)容的自適應(yīng)算術(shù)編碼)代替霍夫曼編碼，提高編碼效率。五、變換編碼行程編碼與Huffman編碼的設(shè)計思想都是基于對信息表述方法的改變，屬于無損壓縮方式。雖然無損壓縮可以保證接收方獲得的信息與發(fā)送方相同，但是其壓縮率一定有極限。因此，采用忽略視覺不敏感的部分進(jìn)行有損壓縮是提高壓縮率的一條好的途徑。

(一)

設(shè)計思想基于DCT變換編碼是希望在接收方不產(chǎn)生誤解的前提下進(jìn)行一定的信息丟失。由前面所講到的頻域變換得到的啟示，就是將低頻與高頻部分的信息，分別按照不同的數(shù)據(jù)承載方式進(jìn)行表述。(二)基本概念將空域描述的圖像經(jīng)過某種變換，在變換域中進(jìn)行描述，達(dá)到改變能量分布的目的，將圖像能量在空域的分散分布變?yōu)樵谧儞Q域的能量的相對集中分布，利于進(jìn)一步處理，獲得對圖像信息量有效壓縮。DCT變換：正變換：逆變換：其中：(三)DCT變換編碼DCT變換DCT逆變換原圖像量化取整1）編碼過程：2）解碼過程：壓縮圖像反量化取整壓縮圖像解壓圖像例：原圖像為：DCT變換變換編碼把統(tǒng)計上彼此密切相關(guān)的像素所構(gòu)成的矩陣通過線性變換正交變換，變成統(tǒng)計上彼此較為相互獨立，甚至達(dá)到完全獨立的變換系數(shù)所構(gòu)成的矩陣。由信息論可知，正交變換不改變信源的熵值，變換前后的圖像的信息量并無損失，完全可以通過反變換得到原來的圖像值。但經(jīng)正交變換后的數(shù)據(jù)分布發(fā)生了很大的改變，系數(shù)向新坐標(biāo)點集中。正交變換本身并不壓縮數(shù)據(jù)，但它為新坐標(biāo)系中的數(shù)據(jù)壓縮創(chuàng)造了條件。DCT變換編碼原圖重建圖六、靜止圖像編碼又稱方塊截短編碼，把一幅圖像分成若干個子塊，子塊大小為N×N個像素，子塊中第i個像素為Pi(i=1,2,…m)，其亮度值為Xi；子塊的代表性亮度即亮度級分量為a0，a1，用一個二元碼Фi指明像素Pi編碼后屬于a0或a1，Φi稱為分辨力分量。子塊的亮度閾值為XT，像素Pi編碼后的亮度值為Yi，

基本編碼方法為

編碼后的子塊像素亮度為{Y1,Y2,…Ym}