第三章圖像壓縮編碼

第三章圖像壓縮編碼3.1圖像壓縮的必要性和可行性3.2圖像編碼理論基礎(chǔ)3.3無失真編碼3.4有失真編碼作業(yè)3.1圖像壓縮的必要性和可行性一、圖像壓縮的必要性以一般彩色電視信號(hào)為例，設(shè)代表光強(qiáng)、色彩和色飽和度的YIQ空間中各分量的帶寬分別為4MHz、1.3MHz和0.5MHz。3.1圖像壓縮的必要性和可行性根據(jù)采樣定理，僅當(dāng)采樣頻率大于或等于2倍的原始信號(hào)的頻率時(shí)，才能保證采樣后的信號(hào)可能被無失真地恢復(fù)為原始信號(hào)。再設(shè)各樣點(diǎn)均被數(shù)字化8bit，從而1秒鐘的電視信號(hào)的數(shù)據(jù)量為(4+1.3+0.5)×2×8bit=92.8Mbit。3.1圖像壓縮的必要性和可行性二、圖像壓縮的可行性在圖像數(shù)據(jù)中，一般存在以下一些數(shù)據(jù)冗余類型?？臻g冗余：在任何一幅圖像中，均有許多灰度和顏色都相同的鄰近像素組成的局部區(qū)域，它們形成了一個(gè)性質(zhì)相同的集合塊，在圖像中就表現(xiàn)為空間冗余。3.1圖像壓縮的必要性和可行性3.1圖像壓縮的必要性和可行性對(duì)空間冗余的壓縮方法就是把這種集合塊當(dāng)做一個(gè)整體，用極少的數(shù)據(jù)量來表示它，從而節(jié)省了存儲(chǔ)空間。這種壓縮方法叫空間壓縮或幀內(nèi)壓縮，它的基本點(diǎn)在于減少鄰近像素之間的空間相關(guān)性。3.1圖像壓縮的必要性和可行性時(shí)間冗余：活動(dòng)圖像中的兩幅相鄰的圖像有較大的相關(guān)性，這反映為時(shí)間冗余。時(shí)間壓縮/幀間壓縮3.1圖像壓縮的必要性和可行性信息熵冗余（編碼冗余）所謂信息熵，是指數(shù)據(jù)所帶的信息量。信息熵的數(shù)學(xué)表達(dá)式為：式中，Pi為任意一個(gè)碼元i出現(xiàn)的概率，k為數(shù)據(jù)碼元的總個(gè)數(shù)。3.1圖像壓縮的必要性和可行性

H的單位是bit/碼元。如果對(duì)碼元采用二進(jìn)制編碼，并且第i個(gè)碼元yi所分配的比特?cái)?shù)為b(yi)，那么碼元的平均長(zhǎng)度（即包含的平均比特?cái)?shù)或平均信息量）為：3.1圖像壓縮的必要性和可行性為了使編碼后的信息不損失，應(yīng)當(dāng)使d接近H，理論上應(yīng)取b(yi)=-lbPi。實(shí)際上，很難估計(jì){P0，…，Pk-1}，因此，一般總是取b(y0)=b(y1)=…=b(yk-1)，而等概情況下的平均信息量是最大的，這樣d必定大于H，由此帶來的冗余稱為信息熵冗余或編碼冗余。3.1圖像壓縮的必要性和可行性結(jié)構(gòu)冗余：有些圖像從整體上看存在著非常強(qiáng)的紋理結(jié)構(gòu)，稱它在結(jié)構(gòu)上存在冗余。3.1圖像壓縮的必要性和可行性知識(shí)冗余：人們通過認(rèn)識(shí)世界而得到某些圖像所具有的先驗(yàn)知識(shí)和背景知識(shí)，由此帶來的冗余稱為知識(shí)冗余。視覺冗余：人的眼睛是圖像信息的接收端，而人類的視覺系統(tǒng)并不能對(duì)圖像畫面的任何變化都能感覺到，這稱為視覺冗余。3.1圖像壓縮的必要性和可行性空間冗余和時(shí)間冗余是將圖像信號(hào)看作隨機(jī)信號(hào)時(shí)反映出來的統(tǒng)計(jì)特征，因此有時(shí)把這兩種冗余稱為統(tǒng)計(jì)冗余。它們也是圖像數(shù)據(jù)處理中兩種最主要的數(shù)據(jù)冗余。3.2圖像編碼理論基礎(chǔ)一、圖像壓縮編碼系統(tǒng)的基本結(jié)構(gòu)對(duì)圖像的壓縮編碼是信源編碼問題，其目的是減少冗余數(shù)據(jù)。3.2圖像編碼理論基礎(chǔ)變換器對(duì)輸入圖像數(shù)據(jù)進(jìn)行一對(duì)一的變換，其輸出是比原始圖像數(shù)據(jù)更適合高效壓縮的圖像表示形式。量化器要完成的功能是按一定的規(guī)則對(duì)采樣值作近似表示，使量化器輸出幅值的大小為有限個(gè)數(shù)。3.2圖像編碼理論基礎(chǔ)編碼器為量化器輸出端的每個(gè)符號(hào)分配一個(gè)碼字或二進(jìn)制比特率，編碼器可采用等長(zhǎng)碼或變長(zhǎng)碼。不同的圖像編碼系統(tǒng)可能采用上述框圖中的不同組合。3.2圖像編碼理論基礎(chǔ)按照壓縮編碼過程是否失真，圖像壓縮編碼可分為：（1）無失真壓縮方法（或稱為無損壓縮方法）：這是在不引人任何失真的條件下使比特率為最小的壓縮方法，它可以保證圖像內(nèi)容不發(fā)生改變。3.2圖像編碼理論基礎(chǔ)（2）有失真壓縮方法（或稱為有損壓縮方法）：這種方法是使圖像內(nèi)容的差別控制在一定的范圍內(nèi)，保證觀察效果的主觀質(zhì)量。這種方法能夠在一定比特率下獲得最佳的保真度，或在給定的保真度下獲得最小的比特率。3.2圖像編碼理論基礎(chǔ)按照壓縮方法的原理，數(shù)字圖像壓縮方法可分為：

（1）預(yù)測(cè)編碼（PredictiveCoding）：是一種針對(duì)統(tǒng)計(jì)冗余進(jìn)行壓縮的方法，主要是減少數(shù)據(jù)在空間和時(shí)間上的相關(guān)性。它是一種有失真的壓縮方法。3.2圖像編碼理論基礎(chǔ)（2）變換編碼（TransformCoding）：也是一種針對(duì)統(tǒng)計(jì)冗余進(jìn)行壓縮的方法。這種方法將圖像光強(qiáng)矩陣（時(shí)域信號(hào)）變換到系數(shù)空間（頻域）上進(jìn)行處理。（3）標(biāo)量量化和矢量量化編碼（VectorQuantization）：本質(zhì)上也還是一種針對(duì)統(tǒng)計(jì)冗余進(jìn)行壓縮的方法。3.2圖像編碼理論基礎(chǔ)（4）信息熵編碼（EntropyCoding）：根據(jù)信息熵原理，用短的碼字表示出現(xiàn)概率大的信息，用長(zhǎng)的碼字表示出現(xiàn)概率小的信息。（5）子帶編碼（Sub-bandCoding）：將圖像數(shù)據(jù)變換到頻域后，按頻率分帶，然后用不同的量化器進(jìn)行量化，從而達(dá)到最優(yōu)的組合。3.2圖像編碼理論基礎(chǔ)（6）結(jié)構(gòu)編碼（StructureCoding）：也稱為第二代編碼（SecondGenerationCoding）。編碼時(shí)首先求出圖像中的邊界、輪廓、紋理等結(jié)構(gòu)特征參數(shù)，然后保存這些參數(shù)信息。3.2圖像編碼理論基礎(chǔ)（7）基于知識(shí)的編碼（Knowledge-BasedCoding）：對(duì)于人臉等可用規(guī)則描述圖像，利用人們對(duì)其的知識(shí)形成一個(gè)規(guī)則庫，據(jù)此將人臉的變化等特征用一些參數(shù)進(jìn)行描述，從而用參數(shù)加上模型就可以實(shí)現(xiàn)人臉的圖像編碼與解碼。3.2圖像編碼理論基礎(chǔ)3.2圖像編碼理論基礎(chǔ)二、信源模型及其熵1、圖像的信息量已知某一個(gè)圖像信息源所發(fā)出的符號(hào)集合為X={S1，S2，…，Sn}，發(fā)出符號(hào)Si的概率為p(Si)，且p(Si)滿足條件：0≤p（Si）≤1（）。這樣，符號(hào)Si所攜帶的信息量I(Si)可以表示為I(Si)=log(1/p(Si))=-logp(Si)。

3.2圖像編碼理論基礎(chǔ)以上定義的信息量也稱為自信息量，在公式中，對(duì)數(shù)的底不同，則計(jì)算的值也不同。當(dāng)r=2時(shí)，相應(yīng)的單位為“bit”；當(dāng)r=e時(shí)，其單位為奈特（Nat），當(dāng)r=10時(shí)，其單位稱為哈特（Hart）。3.2圖像編碼理論基礎(chǔ)自信息量的含義：

自信息量表示在接收者未收到符號(hào)Si之前，并不清楚究竟會(huì)收到符號(hào)集X={S1，S2，…，Sn}中的哪一個(gè)符號(hào)，即存在不確定性。只有當(dāng)接收者收到Si符號(hào)之后，才可能消除這種不確定性，這就是通過接收所獲得的信息量。3.2圖像編碼理論基礎(chǔ)2、離散信源如果信息源所發(fā)出的符號(hào)均取自某一個(gè)離散集合，這樣的信息源稱為離散信源。離散信源X可以描述為：其中：?íì=)(,),(),(,,,2121nnSpSpSpSSSXLL3.2圖像編碼理論基礎(chǔ)如果從離散信息源X中所發(fā)出的各種符號(hào)彼此獨(dú)立無關(guān)，即任意兩個(gè)相繼發(fā)出的符號(hào)Si和Sj，Si符號(hào)不會(huì)對(duì)Sj符號(hào)構(gòu)成影響，稱這樣的圖像信息源為“無記憶”的離散信息源，或者叫獨(dú)立信源。

3.2圖像編碼理論基礎(chǔ)由一個(gè)無記憶的離散信息源所發(fā)出的任意長(zhǎng)度的符號(hào)序列S1，S2，…，Sn的信息量為：

I(S1,S2,…,Sn)=-lb[p(S1)p(S2)…p(Sn)]=I(S1)+I(S2)+…+I(Sn)3.2圖像編碼理論基礎(chǔ)實(shí)際的圖像信息源所發(fā)出的各符號(hào)并不是相互獨(dú)立的，而是具有一定的相關(guān)性，即相繼發(fā)出的符號(hào)序列中Si符號(hào)的出現(xiàn)與它之前已相繼出現(xiàn)的幾個(gè)符號(hào)Si-1，Si-2，…有關(guān)，這樣的信源就是“有記憶”信息源，或叫聯(lián)合信源。3.2圖像編碼理論基礎(chǔ)3、圖像的信息熵獨(dú)立信源獨(dú)立圖像信息源X的熵為：其單位為bit/符號(hào)。

3.2圖像編碼理論基礎(chǔ)如果考慮一個(gè)多幅圖像的集合，以每一幅圖像為一個(gè)基本符號(hào)單位時(shí)，pi表示集合中某一幅圖像出現(xiàn)的概率，H(x)的單位是bit/每幅圖像。以圖像為一個(gè)基本符號(hào)單位時(shí)，每幅圖像的內(nèi)容被認(rèn)為是確定的，需要消除的不確定性是當(dāng)前接收的圖像是集合中的哪一幅。

3.2圖像編碼理論基礎(chǔ)實(shí)際通信圖像是以每一幅圖像表達(dá)的內(nèi)容為傳送信息的，這時(shí)pi為各采樣值出現(xiàn)的概率，H(x)的單位是bit/像素。圖像熵H表示各個(gè)灰度級(jí)比特?cái)?shù)的統(tǒng)計(jì)平均值。熵越大，圖像含有的信息量越豐富，各個(gè)灰度級(jí)的出現(xiàn)呈等概率分布的可能性也越大。3.2圖像編碼理論基礎(chǔ)聯(lián)合信源具有實(shí)際通信意義的圖像，其相鄰像素間必有一定的聯(lián)系，因此圖像信息源是一種有記憶的信源。如果一個(gè)信源符號(hào)發(fā)生的概率和其前面的M個(gè)符號(hào)有關(guān)，這種信源就叫做M階馬爾可夫信源。3.2圖像編碼理論基礎(chǔ)馬爾可夫信源用一組條件概率來表示：條件熵為：

3.2圖像編碼理論基礎(chǔ)對(duì)所有狀態(tài)下的條件熵計(jì)算統(tǒng)計(jì)平均，即得到M階馬爾可夫信源的熵為：式中SM是所有狀態(tài)的集合。

3.2圖像編碼理論基礎(chǔ)的含義：在前M個(gè)符號(hào)取值分別為sj1、sj2一直到sjM的條件下，當(dāng)前符號(hào)取si值的概率。條件信息熵的含義：在前M個(gè)符號(hào)取值分別為sj1、sj2一直到sjM的條件下，當(dāng)前符號(hào)的平均信息量。3.2圖像編碼理論基礎(chǔ)兩個(gè)信息源X和Y，分別取值于集合和，對(duì)X和Y作笛卡爾乘積，就構(gòu)成聯(lián)合信源（X,Y）。3.2圖像編碼理論基礎(chǔ)描述聯(lián)合信源的性能指標(biāo)：聯(lián)合概率：P(xi,yj)——聯(lián)合信源(X,Y)取值為(xi,yj)的概率。邊緣概率：3.2圖像編碼理論基礎(chǔ)條件概率：X與Y的聯(lián)合熵：3.2圖像編碼理論基礎(chǔ)X的條件熵：Y的條件熵：3.3無失真編碼一、無失真編碼理論無失真壓縮方法是指編碼后的圖像可經(jīng)譯碼完全恢復(fù)為原圖像的壓縮編碼方法。在編碼系統(tǒng)中，無失真編碼也稱為熵編碼。3.3無失真編碼【無失真編碼定理】

對(duì)于離散信源X，對(duì)其編碼時(shí)每個(gè)符號(hào)能達(dá)到的平均碼長(zhǎng)滿足不等式：式中，為編碼的平均碼長(zhǎng)，單位為每符號(hào)比特?cái)?shù)；ε為任意小的正數(shù)，H(X)為X的熵，即，P(xi)為信源X發(fā)出符號(hào)xi的概率。3.3無失真編碼該定理一方面指出了每個(gè)符號(hào)平均碼長(zhǎng)的下限為信源的熵，另一方面說明存在任意接近該下限的編碼。對(duì)于獨(dú)立信源，該定理適用于單個(gè)符號(hào)編碼的情況，也適用于對(duì)符號(hào)塊編碼的情況。對(duì)于M階馬爾可夫信源，該定理只適用于不少于M個(gè)符號(hào)的符號(hào)塊編碼的情況。3.3無失真編碼1、變字長(zhǎng)編碼經(jīng)過數(shù)字化后的圖像，每個(gè)采樣值都是以相同長(zhǎng)度的二進(jìn)制碼表示的，稱為等長(zhǎng)編碼。等長(zhǎng)編碼的優(yōu)點(diǎn)是編碼簡(jiǎn)單，但編碼效率低。改進(jìn)編碼效率的方法是采用不等長(zhǎng)編碼，或稱為變字長(zhǎng)編碼。3.3無失真編碼設(shè)圖像信源X有n種符號(hào)，，且它們出現(xiàn)的概率為，那么，不考慮信源符號(hào)的相關(guān)性，對(duì)每個(gè)符號(hào)單獨(dú)編碼時(shí)，平均碼長(zhǎng)為：。式中，Li是xi的碼字長(zhǎng)度。3.3無失真編碼不等長(zhǎng)編、譯碼過程都比較復(fù)雜。首先，編碼前要知道個(gè)符號(hào)的概率p(xi)，為了具有實(shí)用性，還要求碼字具有唯一可譯性和實(shí)時(shí)可譯性。此外，還要與輸入、輸出的速率匹配。解決譯碼的唯一可譯性和實(shí)時(shí)性的方法是采用非續(xù)長(zhǎng)碼，解決速度匹配則是在編碼、譯碼器中引入緩沖匹配器。3.3無失真編碼所謂非續(xù)長(zhǎng)碼，是指碼字集合中的任何一個(gè)碼字都不是其他碼的字頭（前綴）。非續(xù)長(zhǎng)碼保證了譯出的碼字的唯一性，而且沒有譯碼延遲。3.3無失真編碼2、最佳變長(zhǎng)編碼定理【最佳變長(zhǎng)編碼定理】

在變長(zhǎng)編碼中，對(duì)出現(xiàn)概率大的信息符號(hào)賦予短碼字，而對(duì)于出現(xiàn)概率小的信息符號(hào)賦予長(zhǎng)碼字。如果碼字長(zhǎng)度嚴(yán)格按照所對(duì)應(yīng)符號(hào)出現(xiàn)概率大小逆序排列，則編碼結(jié)果平均碼字長(zhǎng)度一定小于任何其他排列方式。3.3無失真編碼【證明】

設(shè)最佳排列方式的碼字平均長(zhǎng)度為，則有，其中pi為符號(hào)xi出現(xiàn)的概率，Li為xi的碼字長(zhǎng)度。設(shè)pi≥ps，則Li≤Ls，其中ps為符號(hào)xs出現(xiàn)的概率，Ls為xs的碼字長(zhǎng)度，i，s取值為1~n。3.3無失真編碼如果將xi的碼字和xs的碼字互換，而其余碼字不變，這時(shí)的平均碼字長(zhǎng)度記為L(zhǎng)‘，則它可以表示為加上兩碼字互換后的平均長(zhǎng)度之差，即：因?yàn)閜i≥ps，且Li≤Ls，所以L‘≥，這說明原先給出的是最短的碼長(zhǎng)。3.3無失真編碼3、準(zhǔn)變長(zhǎng)編碼

即雙字長(zhǎng)編碼。這種編碼只有兩種長(zhǎng)度的碼字，對(duì)概率小的符號(hào)用長(zhǎng)碼，反之用短碼。同時(shí)，在短碼字中留出一個(gè)作為長(zhǎng)碼字的字頭（前綴），保證整個(gè)碼字集的非續(xù)長(zhǎng)性。3.3無失真編碼3/6比特雙字長(zhǎng)編碼3.3無失真編碼4、性能指標(biāo)平均碼字長(zhǎng)度：設(shè)βk為數(shù)字圖像第k個(gè)碼字Ck的長(zhǎng)度，其相應(yīng)出現(xiàn)的概率為Pk，則該數(shù)字圖像所賦予的碼字平均長(zhǎng)度R為:3.3無失真編碼壓縮比：編碼前后平均碼長(zhǎng)之比，即n為壓縮前圖像每個(gè)像素的平均比特?cái)?shù)，通常為用自然二進(jìn)制碼表示時(shí)的比特?cái)?shù)；表示壓縮后每個(gè)像素所需的平均比特?cái)?shù)。3.3無失真編碼編碼效率：信源的熵與平均碼長(zhǎng)之比，即H(X)為信源熵，為平均碼長(zhǎng)。3.3無失真編碼冗余度：如果編碼效率η≠100%，這說明還有冗余信息。冗余度可由下式表示：ξ=1-η。比特率：通常指編碼的平均碼長(zhǎng)。在數(shù)字圖像中，對(duì)于靜止圖像，指每個(gè)像素平均所需的比特?cái)?shù)，單位為bit。而對(duì)于活動(dòng)圖像，常指每秒輸出或輸入的比特?cái)?shù)，單位為Mb/s，kb/s等。3.3無失真編碼二、哈夫曼編碼哈夫曼編碼是根據(jù)最佳變長(zhǎng)編碼定理，應(yīng)用哈夫曼算法而產(chǎn)生的一種編碼方法。該方法于1952年由哈夫曼提出，該編碼的碼字長(zhǎng)度的排列與符號(hào)的概率大小的排列是嚴(yán)格逆序的，理論上已經(jīng)證明其平均碼長(zhǎng)最短，因此被稱為最佳碼或緊湊碼。3.3無失真編碼【編碼步驟】(1)按概率從大到小的順序排列信源符號(hào)；(2)從最小的兩個(gè)概率開始編碼，將概率較大的信源符號(hào)編為1（或0），將概率較小的信源符號(hào)編為0（或1）；(3)對(duì)已編的兩個(gè)概率相加，將結(jié)果與未編碼的概率從大到小進(jìn)行排序；3.3無失真編碼(4)重復(fù)(2)、(3)兩步，直到概率達(dá)到1.0為止；(5)畫出由每個(gè)信源符號(hào)概率到1.0處的路徑，記下沿路徑的1和0；(6)對(duì)于每個(gè)信源符號(hào)都寫出1、0序列，則從右到左就得到哈夫曼編碼。3.3無失真編碼【例】對(duì)一個(gè)6符號(hào)信源X={x1，x2，…，x6}進(jìn)行哈夫曼編碼。其概率為{p1，p2，…，p6}={0.4,0.25,0.15,0.1,0.05,0.05}。3.3無失真編碼編碼結(jié)果：x1→0，x2→10，x3→110，x4→1111，x5→11101，x6→11100。平均碼長(zhǎng)：信源熵：

3.3無失真編碼編碼效率：

壓縮比：r=3/2.25=1.33冗余度：ξ=1-η=1-97.94%=2.06%說明：由于“0”和“1”的指定是任意的，因此由上述過程編成的最佳碼并不唯一，但其平均碼長(zhǎng)是一樣的。

3.3無失真編碼哈夫曼碼的解碼過程：解碼器中有一個(gè)緩沖器，用于存放從已編碼的碼流中收到的比特。一開始緩沖器為空，每收到一個(gè)比特，將它依次壓于緩沖器，并將緩沖器中已形成的碼字與哈夫曼碼表中的每一碼字比較。如果找到一個(gè)相同的，則輸出該碼字對(duì)應(yīng)的信源符號(hào)，并將緩沖器刷新為空；否則，繼續(xù)讀取碼流中的下一個(gè)比特，這一過程一直持續(xù)到結(jié)束。3.3無失真編碼【練習(xí)】已知一個(gè)8符號(hào)信源X={x1，x2，…，x8}的概率為{p1，p2，…，p8}={0.4,0.18,0.10,0.10,0.07,0.06,0.05,0.04}。對(duì)其進(jìn)行哈夫曼編碼并計(jì)算編碼效率。3.3無失真編碼三、游程編碼當(dāng)圖像不太復(fù)雜時(shí)，往往存在著灰度或顏色相同的圖像子塊。由于圖像編碼是按順序?qū)γ總€(gè)像素進(jìn)行編碼的，因而會(huì)存在多行的數(shù)據(jù)具有相同數(shù)值的情況，這樣可只保留連續(xù)相同像素值和像素點(diǎn)數(shù)目。這種方法就是游程編碼。

3.3無失真編碼二值圖像是指圖像中的像素值只有兩種取值，即“0”和“1”，因而在圖像中這些符號(hào)會(huì)連續(xù)地出現(xiàn)，通常將連“0”這一段稱為“0”游程，而連“1”的一段則稱為“1”游程，它們的長(zhǎng)度分別為L(zhǎng)(0)和L(1)，往往“0”游程與“1”游程會(huì)交替出現(xiàn)，即第一游程為“0”游程，第二游程為“1”游程，第三游程又為“0”游程。3.3無失真編碼【例】已知一個(gè)二值序列00101110001001……，根據(jù)游程編碼規(guī)則，可知其游程序列為21133121……

圖像中具有相同灰度（或顏色）的圖像塊越大、越多時(shí)，壓縮的效果就越好，反之當(dāng)圖像越復(fù)雜，即其中的顏色層次越多時(shí)，則壓縮效果越不好。對(duì)于復(fù)雜的圖像，通常采用游程編碼與哈夫曼編碼的混合編碼方式。

3.4有失真編碼一、有失真編碼理論失真不超過某給定條件下的編碼可稱為限失真編碼。能使限失真條件下比特?cái)?shù)最少的編碼則為最佳編碼。在限失真圖像編碼方法中，允許有一定的失真存在，因而可以大大提高壓縮比。3.4有失真編碼【條件信息量】

設(shè)信源發(fā)出符號(hào)為xi，編碼輸出為yj，用P(xi,yj)表示聯(lián)合概率；用P(xi|yj)表示已知編碼輸出為yj，估計(jì)信源發(fā)出xi的條件概率；Q(yj|xi)表示發(fā)出xi而編碼輸出yj的概率。條件信息量定義為：I(xi|yj)=-logP(xi|yj)

I(yj|xi)=-logQ(yj|xi)3.4有失真編碼【互信息量】

互信息量定義為：I(xi,yj)=I(xi)-I(xi|yj)，式中，I(xi)是xi所含的信息量，I(xi|yj)表示已知yj后xi還保留的信息量。它們的差，即互信息量代表了信源符號(hào)yj為xi所提供的信息量。互信息量是扣除了信道中噪聲干擾或量化損失的信息量。

3.4有失真編碼【平均互信息量】

可以證明：I(X,Y)=H(X)-H(X|Y)。

3.4有失真編碼由于

3.4有失真編碼所以

3.4有失真編碼該式表明，平均互信息量由信源符號(hào)概率P(xi)、編碼輸出符號(hào)概率Q(yj)及已知信源符號(hào)出現(xiàn)的條件概率Q(yj|xi)所確定。在信源一定的情況下，P(xi)是確定的。編碼方法的選擇實(shí)際上是改變條件概率Q(yj|xi)，它同時(shí)也決定了引入失真（量化噪聲）的大小。3.4有失真編碼在允許一定失真D條件下的最低平均互信息量稱為率失真函數(shù)，記為R(D)：

R(D)是在平均失真小于允許失真D以內(nèi)能夠編碼的碼率下界。3.4有失真編碼

D‘代表平均失真，可將其寫為：其中，d(xi,yj)表示信源發(fā)出xi，而被編碼成yj時(shí)引起的失真量。3.4有失真編碼對(duì)于數(shù)字型的符號(hào)，通常采用以下兩種失真（誤差）度量：均方誤差，計(jì)算公式為(xi-yj)2

絕對(duì)誤差，計(jì)算公式為|xi-yj|3.4有失真編碼在圖像編碼中還采用超視覺閾值均方值:d=(xi-yj)2u其中：圖像信號(hào)的誤差在一定大小范圍之內(nèi)人眼感覺不出來，這個(gè)范圍對(duì)應(yīng)一個(gè)視覺閾值T。3.4有失真編碼率失真函數(shù)還可以寫成更為緊湊的式子：其中，QD=Q(D(Q)<D)，表示在所有允許失真范圍D內(nèi)的條件概率的集合，也就是各種編碼方法。3.4有失真編碼【有失真時(shí)信源編碼的逆定理】

當(dāng)數(shù)碼率R小于率失真函數(shù)時(shí)，無論采用何種編碼方式，其平均失真必大于D。

3.4有失真編碼率失真函數(shù)R(D)與失真D的關(guān)系曲線：

3.4有失真編碼率失真函數(shù)R(D)的性質(zhì)：R(D)為有限值。當(dāng)D<0時(shí)，不存在R(D)。當(dāng)D≥Dmax（Dmax為正值，其數(shù)值上等于信號(hào)方差σ2）時(shí)，R(D)=0，表示此時(shí)所傳輸?shù)臄?shù)據(jù)信息毫無意義。當(dāng)0<D<Dmax時(shí)，R(D)是一個(gè)下凸型連續(xù)函數(shù)，并且R(0)小于接收信號(hào)的熵值H(Y)。3.4有失真編碼二、線性預(yù)測(cè)編碼預(yù)測(cè)編碼通過減小圖像信息在時(shí)間上和空間上的相關(guān)性達(dá)到數(shù)據(jù)壓縮的目的。對(duì)于一個(gè)圖像信源，首先根據(jù)某一模型，并利用以往的樣本值對(duì)新樣本值進(jìn)行預(yù)測(cè)，得出預(yù)測(cè)值，然后將預(yù)測(cè)值與實(shí)際樣本值相減，從而得出誤差值，最后對(duì)誤差值進(jìn)行量化、編碼和傳輸。3.4有失真編碼1、線性預(yù)測(cè)原理

1952年貝爾實(shí)驗(yàn)室的B.M.Oliver等人開始了線性預(yù)測(cè)編碼理論的研究，同年，該實(shí)驗(yàn)室的C.C.Cutler取得了差分脈沖編碼調(diào)制DPCM系統(tǒng)的專利，奠定了真正使用的預(yù)測(cè)編碼系統(tǒng)的基礎(chǔ)。3.4有失真編碼DPCM編碼原理3.4有失真編碼設(shè)輸入信號(hào)xn為tn時(shí)刻的取樣值。是根據(jù)tn時(shí)刻以前已知的m個(gè)取樣值xn-m，…，xn-1對(duì)xn所作的預(yù)測(cè)值，即ai(i＝1,…,m)稱為預(yù)測(cè)系數(shù)，m為預(yù)測(cè)階數(shù)。

3.4有失真編碼

en為預(yù)測(cè)誤差信號(hào)，顯然:ai(i＝1,…,m)稱為預(yù)測(cè)系數(shù)，m為預(yù)測(cè)階數(shù)。設(shè)qn為量化器的量化誤差，為量化器輸出信號(hào)，可見qn=en-en＇。

3.4有失真編碼接收端解碼輸出為，如果信號(hào)在傳輸過程中不產(chǎn)生誤差，則有，，。此時(shí)發(fā)送端的輸入信號(hào)xn與接收端的輸出信息之間的誤差為：3.4有失真編碼2、最佳線性預(yù)測(cè)應(yīng)用均方誤差為極小值準(zhǔn)則獲得的線性預(yù)測(cè)稱為最佳線性預(yù)測(cè)。線性預(yù)測(cè)DPCM中，對(duì)xn作最佳預(yù)測(cè)時(shí)，如何取用以前的已知像素值xn-1,xn-2,…,x1?3.4有失真編碼3.4有失真編碼前值預(yù)測(cè)：若取用現(xiàn)在像素xn的同一掃描行中前面最鄰近像素x1來預(yù)測(cè)xn，即xn的預(yù)測(cè)值，則稱為前值預(yù)測(cè)。一維預(yù)測(cè)（行內(nèi)預(yù)測(cè)）：若取用xn的同一掃描行中前幾個(gè)已知像素值，如x1,x5,…來預(yù)測(cè)xn，則稱為一維預(yù)測(cè)。3.4有失真編碼二維預(yù)測(cè)（幀內(nèi)預(yù)測(cè)）：若取用xn的同一行和前幾行若干個(gè)已知像素值，如x1,x5,x2,x3,x4,…來預(yù)測(cè)xn，則稱為二維預(yù)測(cè)。三維預(yù)測(cè)（幀間預(yù)測(cè)）：若取用已知像素不但是前幾行的而且還包括前幾幀的，那么稱為三維預(yù)測(cè)。3.4有失真編碼【求一維最佳線性預(yù)測(cè)系數(shù)】

設(shè)xn是期望E{xn}=0的廣義平穩(wěn)隨機(jī)過程，則：為了使最小，必定有：

，i=1，2，…，m。

3.4有失真編碼解這m個(gè)聯(lián)立方程可得ai（i=1，2，…，m）。由于xn的自相關(guān)函數(shù)為R(k)=E{xnxn-k}，且R(-k)=R(k)，因此：i＝1，2，…，m。寫出矩陣的形式：3.4有失真編碼3.4有失真編碼【應(yīng)用均方差極小準(zhǔn)則所獲得的各個(gè)預(yù)測(cè)系數(shù)ai之間的約束關(guān)系】3.4有失真編碼在最佳預(yù)測(cè)前提下，可以證明預(yù)測(cè)誤差的均方值為：因?yàn)镋{xn}=0,所以R(0)即為xn的方差，可見：因而傳送差值en比直接傳送原始信號(hào)xn更有利于數(shù)據(jù)壓縮。3.4有失真編碼三、變換編碼如果對(duì)圖像數(shù)據(jù)進(jìn)行某種形式的正交變換，并對(duì)變換后的數(shù)據(jù)進(jìn)行編碼，從而達(dá)到數(shù)據(jù)壓縮的目的，這就是變換編碼。變換編碼是所有有損壓縮國(guó)際標(biāo)準(zhǔn)的基礎(chǔ)。

3.4有失真編碼1、變換編碼的工作原理變換編碼不直接對(duì)原圖像信號(hào)壓縮編碼，而首先將圖像信號(hào)映射到另一個(gè)域中，產(chǎn)生一組變換系數(shù)，然后對(duì)這些系數(shù)進(jìn)行量化、編碼、傳輸。

3.4有失真編碼圖像變換編碼一般采用統(tǒng)計(jì)編碼和視覺心理編碼。前者是把統(tǒng)計(jì)上彼此密切相關(guān)的像素矩陣，通過正交變換變成彼此相互獨(dú)立，甚至完全獨(dú)立的變換系數(shù)所構(gòu)成的矩陣。后者即對(duì)每一個(gè)變換系數(shù)或主要的變換系數(shù)進(jìn)行量化和編碼。量化特性和變換比特?cái)?shù)由人的視覺特性確定。3.4有失真編碼變換編碼也是一種限失真編碼。經(jīng)過變換編碼而產(chǎn)生的恢復(fù)圖像的誤差與所選用的正交變換的類型、圖像類型和變換塊的尺寸、壓縮方式和壓縮程度等因素有關(guān)。在變換方式確定以后，還應(yīng)選擇變換塊的大小。3.4有失真編碼2、子塊劃分變換塊的尺寸選得太小，