數(shù)字圖像與視頻壓縮編碼原理1

1、數(shù)字圖像與視頻壓縮編碼原理張亞飛信息工程教研室2012-2013學(xué)年第2學(xué)期數(shù)字圖像與視頻壓縮編碼原理 主要內(nèi)容¾數(shù)字圖像和視頻壓縮編碼概述¾無(wú)失真編碼¾預(yù)測(cè)編碼¾變換編碼數(shù)字圖像和視頻壓縮編碼概述 壓縮的概念¾壓縮的必要性：數(shù)字視頻信號(hào)巨大的數(shù)據(jù)量，給存儲(chǔ)、處理和傳輸帶來(lái)了不少壓力¾壓縮的可能性：冗余的存在¾壓縮的目的：確保重建圖像或視頻質(zhì)量的前提下，盡可能減小碼率數(shù)字圖像和視頻壓縮編碼概述 相對(duì)數(shù)據(jù)冗余的定義¾設(shè)：為表達(dá)一個(gè)信息，方法A用的數(shù)據(jù)量為n1,方法B用的數(shù)據(jù)量為n29壓縮率（壓縮比）：CR=n1/n2

2、9相對(duì)數(shù)據(jù)冗余：RD=1-1/CR9n1=n2，CR=1，RD=0，表示方法A相對(duì)于方法B不包含冗余9n1>>n2，CR，RD1，表示顯著的壓縮和大量的數(shù)據(jù)冗余9n1<<n2，CR0，RD-,表示方法B的數(shù)據(jù)量遠(yuǎn)大于方法A數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾空間冗余¾時(shí)間冗余¾統(tǒng)計(jì)冗余¾結(jié)構(gòu)冗余¾知識(shí)冗余¾人眼的視覺冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾空間冗余9空間冗余也稱為空域冗余或像素間冗余9空域冗余是一種與像素間相關(guān)性直接聯(lián)系的數(shù)據(jù)冗余9圖像中，相鄰像素的亮度

3、和色度信號(hào)值比較接近，具有很強(qiáng)的相關(guān)性，即數(shù)據(jù)中存在較多的空間冗余，如果先去除冗余數(shù)據(jù)再進(jìn)行編碼，則使表示每個(gè)像素的平均比特?cái)?shù)下降9空間冗余是靜態(tài)圖像中存在的最主要的一種數(shù)據(jù)冗余9消除空間冗余的方法行程編碼和預(yù)測(cè)編碼數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾空間冗余例：原圖像數(shù)據(jù)：234 223 231 238 235去除空間冗余：234 -11 8 7 -3數(shù)字圖像和視頻壓縮編碼概述行程編碼二值圖像有62%的數(shù)據(jù)是冗余的8數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾時(shí)間冗余9時(shí)間冗余也稱為時(shí)域冗余9時(shí)間冗余是視頻序列圖像（電視圖像、運(yùn)動(dòng)圖像）表示中經(jīng)常包

4、含的冗余9視頻序列的相鄰幀往往包含相同的背景和移動(dòng)物體，只是其空間位置略有不同，所以后一幀的數(shù)據(jù)與前一幀的數(shù)據(jù)有許多共同的地方，即存在大量相關(guān)信息9常采用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)來(lái)消除時(shí)間冗余數(shù)字圖像和視頻壓縮編碼概述圖像和視頻數(shù)據(jù)中的冗余¾時(shí)間冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾統(tǒng)計(jì)冗余9統(tǒng)計(jì)冗余也稱為編碼表示冗余或符號(hào)冗余9由信息論的編碼原理可知，表示一個(gè)像素點(diǎn)的數(shù)據(jù)，只要按其信息熵的大小分配相應(yīng)的比特?cái)?shù)即可9在實(shí)際圖像中，每一個(gè)像素點(diǎn)都用相同的比特?cái)?shù)來(lái)表示，必然存在冗余9消除方法：Huffman編碼如果用8bits表示該圖像的像素，則該圖像存在編

5、碼冗余，因?yàn)樵搱D像的像素只有兩個(gè)灰度，用一位即可表示數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾結(jié)構(gòu)冗余9在有些圖像的部分區(qū)域內(nèi)有著很相似的紋理結(jié)構(gòu)，或是圖像的各部分之間存在著某種關(guān)系，如自相似性，這使圖像在結(jié)構(gòu)上產(chǎn)生了冗余9消除方法：分形編碼數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾知識(shí)冗余9有些圖像的理解與某些知識(shí)有相當(dāng)大的相關(guān)性9例如：關(guān)于人臉的結(jié)構(gòu)的知識(shí)人臉的圖像有固定的結(jié)構(gòu)9這類規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到，我們稱此類冗余為知識(shí)冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾知識(shí)冗余9對(duì)圖像中所包含的某些物體，我們可以

6、根據(jù)已有的知識(shí)構(gòu)造其基本模型，并創(chuàng)建對(duì)應(yīng)各種特征的圖像庫(kù)。這樣，圖像的存儲(chǔ)只需要保存一些特征參數(shù)，從而可以大大減少數(shù)據(jù)量9知識(shí)冗余是模型基編碼（或稱知識(shí)基編碼、語(yǔ)義基編碼）主要利用的特性數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾人眼的視覺冗余9人類的視覺系統(tǒng)對(duì)圖像場(chǎng)的敏感性是非均勻和非線性的9在記錄原始的圖像數(shù)據(jù)時(shí)，對(duì)視覺敏感和不敏感的部分同等對(duì)待，從而產(chǎn)生了比理想編碼（即把視覺敏感和不敏感的部分區(qū)分開來(lái)編碼）更多的數(shù)據(jù)，這就是視覺冗余9壓縮視覺冗余的核心思想是去掉那些相對(duì)于人眼而言看不到或可有可無(wú)的圖像數(shù)據(jù)9如DCT編碼中對(duì)直流和低頻系數(shù)細(xì)量化，高頻系數(shù)粗量化數(shù)字圖像和視

7、頻壓縮編碼概述圖像和視頻數(shù)據(jù)中的冗余¾人眼的視覺冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻編碼方法分類¾無(wú)失真編碼9又稱為無(wú)損編碼、統(tǒng)計(jì)編碼、信息保持編碼、熵編碼9解碼后還原的數(shù)據(jù)與編碼前的原始數(shù)據(jù)完全相同而不引入任何失真9壓縮比較低，一般為2:1到5:19常用方法：Huffman編碼、算術(shù)編碼、游程編碼等數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻編碼方法分類¾限失真編碼9也稱為有損編碼、非信息保持編碼9解碼后還原的數(shù)據(jù)與編碼前的原始數(shù)據(jù)是有差別的，編碼會(huì)造成一定程度的失真9常用的編碼方法：預(yù)測(cè)編碼、變換編碼、矢量量化編碼、基于模型的編碼等無(wú)失真編碼行程編碼¾

8、;一維行程編碼：用一長(zhǎng)度序列表示圖像或位平面的每一行，這些長(zhǎng)度描繪了對(duì)黑色和白色像素的連續(xù)行程，這稱為行程編碼¾是傳真編碼的標(biāo)準(zhǔn)壓縮方法¾編碼方式9每個(gè)行程由0或1及其長(zhǎng)度組成9只記錄1的起始點(diǎn)和長(zhǎng)度9只記錄0和1的長(zhǎng)度，假定每行的起始點(diǎn)都是1，否則就特殊標(biāo)出0無(wú)失真編碼算術(shù)編碼¾算術(shù)編碼并不是將單個(gè)信源符號(hào)映射成一個(gè)碼字，而是把整個(gè)信源表示為實(shí)數(shù)線上0到1之間的一個(gè)區(qū)間,其長(zhǎng)度等于該序列的概率。制作為實(shí)際的編碼輸出¾在該區(qū)間內(nèi)選擇一個(gè)代表性的小數(shù)，轉(zhuǎn)換為二進(jìn)¾消息序列中的每個(gè)元素都要用來(lái)壓縮這個(gè)區(qū)間¾消息序列中元素越多，所得到的區(qū)間

9、就越小，當(dāng)區(qū)間變小時(shí)，就需要更多的位數(shù)來(lái)表示這個(gè)區(qū)間無(wú)失真編碼無(wú)失真編碼算術(shù)編碼¾設(shè)定初值9low=09length=high-low=1.0¾對(duì)符號(hào)序列中每一個(gè)輸入的信源符號(hào)進(jìn)行編碼，計(jì)算high,low及l(fā)ength的新值9high=low+length×symbol_high(c)9low=low+length×symbol_low(c)無(wú)失真編碼算術(shù)編碼¾符號(hào)定義9等號(hào)右邊的low和length分別為前面已編碼符號(hào)序列所對(duì)應(yīng)編碼區(qū)間的下界和區(qū)間長(zhǎng)度9等號(hào)左邊的low和high分別為輸入待編碼符號(hào)后所對(duì)應(yīng)的當(dāng)前區(qū)間的下界和上界9symbo

10、l_high(c): 當(dāng)前輸入符號(hào)c的上界9symbol_low(c):當(dāng)前輸入符號(hào)c的下界9length: “當(dāng)前區(qū)間”的區(qū)間長(zhǎng)度，length=high-low無(wú)失真編碼無(wú)失真編碼算術(shù)編碼編碼過(guò)程¾¾根據(jù)每個(gè)符號(hào)出現(xiàn)的概率將半開區(qū)間0,1)分成四個(gè)區(qū)域0,0.2) 0.2,0.4) 0.4,0.8) 0.8,1)對(duì)輸入的第一個(gè)符號(hào)a1編碼9symbol_high(a1)=0.2 symbol_low(a1)=09high=0+1.0×0.2=0.2 low=0+1.0×0=0¾對(duì)輸入的符號(hào)序列a1a2進(jìn)行編碼無(wú)失真編碼 算術(shù)編碼編碼過(guò)程&#

11、190;¾¾無(wú)失真編碼算術(shù)編碼譯碼過(guò)程¾通過(guò)查看哪一個(gè)信源符號(hào)擁有已編碼消息所落入的數(shù)值范圍，找到消息中的第一個(gè)信源符號(hào)，0.06752在0,0.2)之間，所以第一個(gè)符號(hào)為a1從編碼數(shù)值中消去第一個(gè)符號(hào)a1的影響，即首先減去a1的所在區(qū)間的下界值，然后除以a1對(duì)應(yīng)區(qū)間的寬度，即查表找到該結(jié)果0.3376落入哪一個(gè)符號(hào)對(duì)應(yīng)的數(shù)值范圍，得到第二個(gè)符號(hào)a2重復(fù)上述過(guò)程直至解出整個(gè)符號(hào)流¾¾¾無(wú)失真編碼算術(shù)編碼¾算術(shù)編碼對(duì)整個(gè)消息只產(chǎn)生一個(gè)碼字，這個(gè)碼字是在間隔0,1)中的一個(gè)實(shí)數(shù)，因此譯碼器在接收到這個(gè)實(shí)數(shù)的所有位之前不能進(jìn)行譯碼

12、有一位發(fā)生錯(cuò)誤就會(huì)導(dǎo)致整個(gè)消息譯錯(cuò)¾算術(shù)編碼是一種對(duì)錯(cuò)誤很敏感的編碼方法，如果限失真編碼預(yù)測(cè)編碼概述¾預(yù)測(cè)編碼可以再一幅圖像內(nèi)進(jìn)行，稱為幀內(nèi)預(yù)測(cè)編碼；也可以在圖像序列之間進(jìn)行，稱為幀間預(yù)測(cè)編碼¾預(yù)測(cè)編碼的基本原理是利用圖像數(shù)據(jù)的空間和時(shí)間相關(guān)性，用相鄰的已編碼傳輸?shù)南袼刂祦?lái)預(yù)測(cè)當(dāng)前待編碼的像素值，然后對(duì)當(dāng)前待編碼像素的實(shí)際值與預(yù)測(cè)值之差值（預(yù)測(cè)誤差）進(jìn)行編碼輸出，而不是對(duì)當(dāng)前像素本身進(jìn)行編碼傳輸，以去除圖像數(shù)據(jù)中的空間相關(guān)冗余或時(shí)間相關(guān)冗余。在接收端，將接收的預(yù)測(cè)誤差的碼字解碼后再與預(yù)測(cè)值相加，得到當(dāng)前像素值限失真編碼預(yù)測(cè)編碼概述¾在視頻編碼中，根據(jù)預(yù)測(cè)

13、像素選取的位置不同，預(yù)測(cè)編碼分為幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)。¾幀內(nèi)預(yù)測(cè)編碼時(shí)，選取的預(yù)測(cè)像素位于待編碼像素同一幀的相鄰位置。¾幀間預(yù)測(cè)編碼時(shí)，則選取時(shí)間上相鄰幀間的像素進(jìn)行預(yù)測(cè)限失真編碼預(yù)測(cè)編碼概述¾幀內(nèi)預(yù)測(cè)編碼一般采用像素預(yù)測(cè)形式的差值脈沖編碼調(diào)制(DPCM)，其優(yōu)點(diǎn)是算法簡(jiǎn)單，易于硬件實(shí)現(xiàn)。缺點(diǎn)是對(duì)噪聲及誤碼敏感，會(huì)產(chǎn)生誤碼擴(kuò)散，使得圖像質(zhì)量下降。幀內(nèi)DPCM編碼壓縮比很低，現(xiàn)在很少單獨(dú)使用，一般要結(jié)合其他編碼方法綜合使用¾幀間預(yù)測(cè)編碼可以獲得比幀內(nèi)預(yù)測(cè)編碼高得多的壓縮比，主要的幀間預(yù)測(cè)編碼方法有幀重復(fù)法、幀內(nèi)插法、運(yùn)動(dòng)補(bǔ)償法、自適應(yīng)交替幀內(nèi)/幀間預(yù)測(cè)編碼法

14、等。其中運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼效果最好。限失真編碼圖像差值信號(hào)的統(tǒng)計(jì)特性¾幀內(nèi)相鄰像素差值信號(hào)的統(tǒng)計(jì)特性9一般情況下，相鄰像素灰度值突變的概率較小，圖像在垂直和水平方向相鄰像素的差值信號(hào)分別為dv(i,j)=f(i,j)f(i1,j)dH(i,j)=f(i,j)f(i,j1)限失真編碼 圖像差值信號(hào)的統(tǒng)計(jì)特性¾幀內(nèi)相鄰像素差值信號(hào)的統(tǒng)計(jì)特性9差值信號(hào)的概率分布限失真編碼圖像差值信號(hào)的統(tǒng)計(jì)特性¾幀內(nèi)相鄰像素差值信號(hào)的統(tǒng)計(jì)特性9差值信號(hào)絕對(duì)值較小者所對(duì)應(yīng)的概率大，且差值為零所對(duì)應(yīng)的概率最大9如果用傳輸差值信號(hào)代替?zhèn)鬏斣夹盘?hào)，會(huì)使傳輸?shù)臄?shù)碼率降低，從而實(shí)現(xiàn)幀內(nèi)預(yù)測(cè)編碼限失真

15、編碼圖像差值信號(hào)的統(tǒng)計(jì)特性¾相鄰幀間差值信號(hào)的統(tǒng)計(jì)特性9相鄰幀間差值是指在序列圖像的某一個(gè)固定像素位置(i,j)上，當(dāng)前幀的亮度值與上一幀的亮度值之間dk(i,j)=fk(i,j)fk1(i,j)9大部分時(shí)間，場(chǎng)景中物體的運(yùn)動(dòng)速度是較慢的，這時(shí)幀間的統(tǒng)計(jì)相關(guān)性會(huì)增加。但在運(yùn)動(dòng)較劇烈的區(qū)域，像素間的相關(guān)性隨著運(yùn)動(dòng)速度的增加而降低，從而在幀間預(yù)測(cè)結(jié)果中出現(xiàn)大誤差的概率增加有損預(yù)測(cè)編碼 幀內(nèi)預(yù)測(cè)編碼預(yù)測(cè)器N=aixixi=1N1誤差誤差量化重構(gòu)信號(hào)NeN=xNxeNeNxN=eN+xN限失真編碼幀內(nèi)預(yù)測(cè)編碼¾預(yù)測(cè)模型9預(yù)測(cè)編碼的關(guān)鍵時(shí)如何選擇一個(gè)足夠好的預(yù)測(cè)模型，使預(yù)測(cè)值盡可能與

16、當(dāng)前需要傳輸?shù)南袼貙?shí)際值相接近9預(yù)測(cè)編碼器有線性和非線性預(yù)測(cè)編碼器兩種9預(yù)測(cè)值和各樣本呈線性關(guān)系的為線性預(yù)測(cè)器N=aixNixi=1m限失真編碼幀內(nèi)預(yù)測(cè)編碼-預(yù)測(cè)模型¾¾N=xN1前值預(yù)測(cè)：x一維預(yù)測(cè)：用同一掃描行的前面幾個(gè)采樣值預(yù)測(cè)(x,y)=af(x,yi)fini=1m¾二維預(yù)測(cè)：不但用同一掃描行的前面幾個(gè)采樣值，還要用前幾行中的采樣值一起來(lái)預(yù)測(cè)=af+af+af+affn11223344限失真編碼幀內(nèi)預(yù)測(cè)編碼¾德爾塔調(diào)制（DM），是一種簡(jiǎn)單的幀內(nèi)預(yù)測(cè)編碼形式，預(yù)測(cè)器和量化器分別為N=axxN1+ceN=c當(dāng)eN>0其他因?yàn)榱炕鞯妮敵隹捎脝?/p>

17、個(gè)位符表示(輸出只有2個(gè)值)，所以編碼器中的符號(hào)編碼器只用長(zhǎng)度固定為1bit的碼，由DM方法得到的碼率是1比特/像素限失真編碼幀內(nèi)預(yù)測(cè)編碼¾設(shè)輸入序列為14,15,14,15,13,15,15,14,20,26,27,28,27,27,29,37,47,62,75,77,78,79,80, 81,82,83，a=1，c=6.5，用德爾塔調(diào)制編碼¾編碼開始時(shí)，先將第一個(gè)輸入像素直接傳給編碼器。在編碼器和解碼器兩端都建立初始條件,e,e,x可用上述公式計(jì)=x0=14后，其余的xx0算得到限失真編碼幀內(nèi)預(yù)測(cè)編碼¾當(dāng)c遠(yuǎn)大于輸入中的最小變化時(shí)，如在n=0到n=7的相對(duì)平滑

18、區(qū)域，DM編碼會(huì)產(chǎn)生顆粒噪聲。¾當(dāng)c遠(yuǎn)小于輸入中的最大變化時(shí)，如在n=14到n=19的相對(duì)陡峭區(qū)間，DM編碼會(huì)產(chǎn)生斜率過(guò)載¾對(duì)大多數(shù)圖像而言，上述2種情況分別會(huì)導(dǎo)致圖像中目標(biāo)邊緣發(fā)生模糊和整個(gè)圖像產(chǎn)生紋狀表面限失真編碼 幀內(nèi)預(yù)測(cè)編碼德爾塔調(diào)制（DM）預(yù)測(cè)誤差圖像解碼后圖像限失真編碼幀內(nèi)預(yù)測(cè)編碼最優(yōu)量化器¾量化過(guò)程會(huì)導(dǎo)致圖像的失真，可以根據(jù)不同的優(yōu)化準(zhǔn)則和輸入（即預(yù)測(cè)誤差）的概率密度函數(shù)選擇最佳的量化方法¾優(yōu)化準(zhǔn)則：可以是統(tǒng)計(jì)上的或心理上的，如均方量化誤差最小¾概率密度函數(shù)：緩慢變化的區(qū)域的量化比較精細(xì)，快速變化的區(qū)域可以比較粗糙，從而減少顆粒噪聲和斜率過(guò)載限失真編碼 幀內(nèi)預(yù)測(cè)編碼最佳預(yù)測(cè)器¾預(yù)測(cè)編碼的數(shù)據(jù)壓縮率大小取決于預(yù)測(cè)器性能的好壞¾最佳線性預(yù)測(cè)就是選擇合適的系數(shù)使得誤差信號(hào)的均方誤差最小¾信號(hào)的均方誤差（即方差）為nEe=Exnx求預(yù)測(cè)系數(shù)的限制條件2n2=en+xnen+xn=xnxnn=aixnixi=1mDPCM限失真編碼 幀內(nèi)預(yù)測(cè)編碼最佳預(yù)測(cè)器預(yù)測(cè)器系數(shù)a=RrExn1xnm"#%#"ExnmxnmExnxnmT