信息論與編碼信息率失真函數(shù)與限失真編碼.ppt

,1,第5章 信息率失真函數(shù) 與限失真編碼,信道編碼定理雖然告訴我們，有噪聲信道的無失真的編碼似乎是可能的，但是，這里的無失真只能無限逼近于0，而無法達(dá)到0，除非編碼分組的長度是無窮大，因此從這個(gè)角度，有噪聲信道無失真的要求也是不可能的。然而在實(shí)際生活中，人們一般并不要求完全無失真恢復(fù)信息，通常要求在保證一定質(zhì)量(一定保證度)的條件下再現(xiàn)原來的消息，也就是說允許失真的存在。,學(xué)習(xí)得來終覺淺，絕知此事要自悟,2,第5章 信息率失真函數(shù) 與限失真編碼,不同的要求允許不同大小的失真存在，完全無失真的通信既不可能也無必要，有必要進(jìn)行將失真控制在一定限度內(nèi)的壓縮編碼，我們稱為限失真編碼。 信息率失真理論是進(jìn)行量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。本章主要介紹信息率失真理論的基本內(nèi)容及相關(guān)的編碼方法。,第5章 信息率失真函數(shù) 與限失真編碼,如何進(jìn)行這種限失真編碼呢？考慮我們前面提出的問題，如果要將有10萬位小數(shù)的1-100之間的數(shù)字進(jìn)行壓縮，我們可以采取四舍五入的方法，將這個(gè)數(shù)轉(zhuǎn)換為只有10位小數(shù)的數(shù)值，由于小數(shù)點(diǎn)10位之后的數(shù)值都是微不足道的，所以這種壓縮帶來的失真并不大。我們可以理解為將一個(gè)集合中的元素映射為另外一個(gè)集合中的壓縮，或者是映射為原集合中的一部分的元素。,5.1 失真測度,5.1.1 系統(tǒng)模型 5.1.2失真度與平均失真度,5.1.1系統(tǒng)模型,通過前面的例子和討論，我們可以建立研究限失真信源編碼（有損壓縮）的系統(tǒng)模型：信源發(fā)出的消息X通過有失真的信源編碼輸出為Y，由于是有失真的編碼，所以X和Y的元素不存在一一對應(yīng)的關(guān)系，我們可以假設(shè)X通過一個(gè)信道輸出Y，這種假想的信道我們稱為試驗(yàn)信道。這樣，我們就可以通過研究信道的互信息來研究限失真編碼，而X和Y的關(guān)系也可以用轉(zhuǎn)移概率矩陣（信道矩陣）來表示。,5.1.1系統(tǒng)模型,圖5-1 限失真編碼模型,除了描述輸入輸出的關(guān)系外，我們還關(guān)心如何才能限制失真的問題，因?yàn)檫@一切都是建立在限失真的要求之上的，既然要限制失真，就需要有關(guān)于失真的度量。,5.1.2 失真度與平均失真度,如何來度量失真呢？我們先從最為簡單的單個(gè)符號(hào)的信源的失真度量（distortion measure）開始，然后以此為基礎(chǔ)來建立更多符號(hào)的失真度量。 1.單個(gè)符號(hào)失真度 設(shè)有離散無記憶信源,信源符號(hào)通過信道傳送到接收端Y，,信道的轉(zhuǎn)移概率矩陣,對于每一對(xi，yj)，指定一個(gè)非負(fù)的函數(shù)d(xi，yj)為單個(gè)符號(hào)的失真度或失真函數(shù)（distortion-function）。用它來表示信源發(fā)出一個(gè)符號(hào)xi，而在接收端再現(xiàn)yj所引起的誤差或失真。 失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、主觀感覺上的差別大小等因素人為規(guī)定的。有時(shí)候未必能夠證明為什么采用這個(gè)函數(shù)是合理的，其他的函數(shù)沒有它好。 我們假設(shè)發(fā)出一個(gè)符號(hào)，如果收到也是它，則失真為0，如果收到的不是它，而是其他的符號(hào)，則存在失真，失真函數(shù)大于0，即有：,失真度還可表示成矩陣的形式：,D稱為失真矩陣。它是nm階矩陣。,（5-1）,9,均方失真：,相對失真：,誤碼失真：,絕對失真：,前三種失真函數(shù)適用于連續(xù)信源，后一種適用于離散信源。,最常用的失真函數(shù),5.2 信息率失真函數(shù)及其性質(zhì),前面我們通過簡單的分析指出，要進(jìn)行最大限度的壓縮，根據(jù)香農(nóng)第一定理，壓縮的極限為H(Y)=I(X;Y)。但是，我們必須考慮信息壓縮造成的失真是在一定的限度內(nèi)的，因此，這個(gè)平均互信息量應(yīng)該在我們允許的失真范圍內(nèi)盡量小。從直觀感覺可知，若允許失真越大，信息傳輸率可越??；若允許失真越小，信息傳輸率需越大。所以信息傳輸率與信源編碼所引起的失真(或誤差)是有關(guān)的，對信息進(jìn)行壓縮的效果與失真也是相關(guān)的。,5.2 信息率失真函數(shù)及其性質(zhì),5.2.1 信息率失真函數(shù)的定義 5.2.2 信息率失真函數(shù)的性質(zhì),12,5.2.1 信息率失真函數(shù)的定義,為了討論在允許一定失真D的情況下，信源可以壓縮的極限應(yīng)該是一個(gè)與失真相關(guān)的函數(shù)，我們可以定義信息率失真函數(shù)（information rate distortion function）為這一極限，簡稱率失真函數(shù)，記為R(D)。,5.2.1 信息率失真函數(shù)的定義,在信源的概率分布（P(X)給定）和失真度D給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，即我們把X和Y當(dāng)做信道的輸入輸出的話，這個(gè)信道集合中的信道的決定性的參數(shù)就是信道傳遞（轉(zhuǎn)移）概率p(yj|xi)。,5.2.1 信息率失真函數(shù)的定義,在信源和失真度給定以后，信道的輸入和輸出的平均互信息I(X;Y)是信道傳遞概率p(yj|xi)的下凸函數(shù)，所以在這些滿足保真度準(zhǔn)則的PD集合中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，而這個(gè)最小值可以從直觀上理解為，并且可以被證明為在保真度準(zhǔn)則下的信源壓縮極限，即信息率失真函數(shù)R(D)，所以,（5-12）,5.2.1 信息率失真函數(shù)的定義,或者可以直接地表述為：,其中，R(D)的單位是奈特/信源符號(hào)或比特/信源符號(hào)。 關(guān)于上面定義的式子為限失真編碼的壓縮極限的證明，可以利用漸進(jìn)等分性來證明，本章后面部分會(huì)給出證明。 信息率失真函數(shù)這一命名也體現(xiàn)了信息的壓縮極限是與允許的失真D相對應(yīng)的一個(gè)函數(shù)，所以下面我們將會(huì)討論這個(gè)函數(shù)的性質(zhì)。 如果說試驗(yàn)信道的說法可能會(huì)難于理解的話，我們可以將試驗(yàn)信道理解為限失真信源編碼器的輸入X和輸出Y之間的一種概率上的映射關(guān)系，或者直接理解為概率p(yj|xi)。,5.2.1 信息率失真函數(shù)的定義,在離散無記憶平穩(wěn)信源的情況下，可證得序列信源的信息率失真函數(shù)： （5-13） 從數(shù)學(xué)上來看，平均互信息是輸入信源的概率分布的型上凸函數(shù)，而平均互信息是信道傳遞概率p(yj|xi)的U型下凸函數(shù)。因此，可以認(rèn)為信道容量C和信息率失真函數(shù)具有對偶性。,5.2.1 信息率失真函數(shù)的定義,研究信道容量C是為了解決在已知信道中傳送最大的信息量。為了充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖e(cuò)誤概率任意小，就是一般信道編碼問題。研究信息率失真函數(shù)是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給用戶的信息量最小。這個(gè)問題就是在可以接受的失真度D的條件下，盡可能用最少的碼符號(hào)來傳送信源消息，是信源的信息盡快地傳送出去來提高通信的有效性。這是信源編碼問題。,它們之間的對應(yīng)關(guān)系下表5-1所示： 表5-1 信道容量C和R(D)的比較,5.2.2 信息率失真函數(shù)的性質(zhì),下面我們來討論函數(shù)R(D)的性質(zhì)，作為一個(gè)函數(shù)，其函數(shù)值處決于自變量，所以我們首先討論關(guān)于它的自變量的取值范圍，即定義域。 1.信息率失真函數(shù)的定義域 R(D)的自變量是允許平均失真度D，它是人們規(guī)定的平均失真度的上限值。這個(gè)值是否可以任意選取呢？其實(shí)不然。因?yàn)槠骄д娑鹊闹凳鞘苤萍s的，而且失真度與平均失真度均為非負(fù)值，顯然滿足下式：,（5-14）,（5-15）,以上最小值的計(jì)算方法都是直接求各個(gè)失真度的最小值，然后按照概率加權(quán)平均，是否正確，為什么？,1）最小值 對于離散信源，在一般的情況下可以采用我們前面的定義，當(dāng)X和Y一一對應(yīng)的時(shí)候，此時(shí)平均失真度為0，而平均失真度顯然不可能小于0，所以Dmin為0，此時(shí)，R(Dmin)= R(0)= H(X)。 對于連續(xù)信源，Dmin趨向于0時(shí)， R(Dmin)= R(0)=Hc(X)=。 連續(xù)信源無失真的時(shí)候，傳輸?shù)男畔⒘渴菬o窮大，實(shí)際信道容量總是有限的，無失真?zhèn)魉瓦@種連續(xù)信息是不可能的。只有當(dāng)允許失真(R(D)為有限值)，傳送才是可能的。,2）最大值 信源最大平均失真度Dmax ：必須的信息率越小，容忍的失真就越大。當(dāng)R(D)等于0時(shí)，對應(yīng)的平均失真最大，也就是函數(shù)R(D)定義域的上界值Dmax最大。由于信息率失真函數(shù)是平均互信息的極小值，平均互信息量大于等于0，當(dāng)R(D)=0時(shí)，即平均互信息的極小值等于0。滿足信息率為0的D值可能存在多個(gè)，但是鑒于我們總是希望失真度最小，存在多種選擇的時(shí)候，總是選擇最小值，所以這里定義當(dāng)R(D)=0時(shí)，D的最小值為R(D)定義域的上限，即Dmax是使R(D)=0的最小平均失真度。,R(D)=0時(shí)，X和Y相互獨(dú)立，所以，,滿足X和Y相互獨(dú)立的試驗(yàn)信道有許多，相應(yīng)地可求出許多平均失真值，這類平均失真值的下界就是Dmax。,（5-16）,令,則,（5-17）,上式是用不同的概率分布p(yj)對Dj求數(shù)學(xué)期望，取數(shù)學(xué)期望當(dāng)中最小的一個(gè)，作為Dmax。實(shí)際上是用p(yj)對Dj進(jìn)行線性分配，使線性分配的結(jié)果最小。 當(dāng)p(xi)和失真矩陣已給定時(shí)，必可計(jì)算出Dj。Dj隨j的變化而變化。p(yj)是任選的，只需滿足非負(fù)性和歸一性。若Ds是所有Dj當(dāng)中最小的一個(gè)，我們可取p(ys)=1，其他p(yj)為零，此時(shí)Dj的線性分配值（或數(shù)學(xué)期望）必然最小，即有,（5-18）,通俗地說，當(dāng)我們要進(jìn)行最大限度的壓縮的時(shí)候，極端的情況就是將輸出端符號(hào)壓縮為一個(gè)，我們可以將任意信源符號(hào)xi都轉(zhuǎn)換為一個(gè)相同的符號(hào)ys，由于對方接受到的符號(hào)是確定的，所以，可以無需傳遞任何信息，或者說傳遞的信息量為0。對于不同的ys，會(huì)帶來不同的失真度，我們當(dāng)然會(huì)選擇失真度最小的一個(gè)。,實(shí)際上，不是有意去進(jìn)行理性的選擇，平均失真度的值是可以超過這一值的。由于R(D)是非負(fù)函數(shù)，因?yàn)镽(D)是用從中選出的求得的最小平均互信息，所以當(dāng)D增大時(shí)，的范圍增大，所求的最小值不大于范圍擴(kuò)大前的最小值，因此R(D)為D的非增函數(shù)。當(dāng)D增大時(shí)，R(D)可能減小，直到減小到R(D)=0，此時(shí)對應(yīng)著。如果當(dāng)DDmax時(shí)，仍然為零。,我們有下面的結(jié)論：,當(dāng)且僅當(dāng)失真矩陣的每一行至少有一個(gè)零元素時(shí)， ，一般情況下的失真矩陣均滿足此條件； 可適當(dāng)修改失真函數(shù)使得 ； 和 僅與 和 有關(guān)。,例5-1 設(shè)試驗(yàn)信道輸入符號(hào)集，各符號(hào)對應(yīng)概率分別為1/3,1/3,1/3，失真矩陣如下所示，求和以及相應(yīng)的試驗(yàn)信道的轉(zhuǎn)移概率矩陣。,解：,令對應(yīng)最小失真度 的 ，其它為“0”，可得對應(yīng) 的試驗(yàn)信道轉(zhuǎn)移概率矩陣為,上式中第二項(xiàng)最小，所以令 ， ，可得對應(yīng) 的試驗(yàn)信道轉(zhuǎn)移概率矩陣為,5.3 離散無記憶信源的信息率失真函數(shù),5.3.1* 離散無記憶信源的信息率失真函數(shù) 5.3.2* 連續(xù)無記憶信源的信息率失真函數(shù),5.3.1* 離散無記憶信源的信息率失真函數(shù),已知信源的概率分布P(X)和失真函數(shù)d(x，y)，就可求得信源的R(D)函數(shù)；原則上它與信道容量一樣，即在有約束條件下求極小值的問題。也就是適當(dāng)選取試驗(yàn)信道P(y|x)使平均互信息最小化：,（5-20）,其約束條件除了保真度準(zhǔn)則外，還包括轉(zhuǎn)移概率必然滿足的一些基本條件，比如非負(fù)性、歸一化條件：,求解這類極值有好幾種方法：如變分法、拉氏乘子（拉格朗日乘子，Lagrange multiplier）法、凸規(guī)劃方法等等。應(yīng)用上述的方法，嚴(yán)格地說可以求出解來，但是，如果要求得到明顯的解析表達(dá)式，則比較困難，通常只能用參量形式來表達(dá)。這種非顯式的表達(dá)式依然不能直接求解信息率失真函數(shù)，必須采用收斂的迭代算法求解信息率失真函數(shù)。 如果信源和失真矩陣存在某種對稱性，則可以大大簡化信息率失真函數(shù)的計(jì)算。這里我們先討論一些簡單情形下的信息率失真函數(shù)的計(jì)算。 以上求解的思路是否可以解決所有的問題？得到的解就是進(jìn)行限失真編碼時(shí)，某一失真度限制下的最合理的解嗎？,對于等概、對稱失真信源，存在一個(gè)與失真矩陣具有相同對稱性的轉(zhuǎn)移概率矩陣分布達(dá)到信息率失真函數(shù)值。對于n元等概率信源，各個(gè)信源符號(hào)的概率均為1/n，當(dāng)失真函數(shù)對稱時(shí)，即,定理5-1 設(shè)信源的概率分布為P=p(a1), p(a2), , p(ar)，失真矩陣為d(ai, bj)rs。為1,2,r上的一個(gè)置換，使得p(ai)= p(ai),i= 1,2,r，為1,2,s上的一個(gè)置換，使得d(ai, bj)= d(ai), (bj) )，i= 1,2, r, j= 1,2, s，則存在一個(gè)達(dá)到信息率失真函數(shù)的信道轉(zhuǎn)移概率分布Q= q(bj |ai)具有與d(ai, bj)rs相同的對稱性，即q(bj|ai)= q(bj)|(ai)。 該定理證明略。,利用這種性質(zhì)我們可以減少信道轉(zhuǎn)移概率矩陣的未知參數(shù)，便于求解。當(dāng)然，以上定理依然顯得復(fù)雜，為了保證信源概率分布重排后一定能夠與原排列一一對應(yīng)相等，我們可以直接要求信源等概率分布。此時(shí)如果失真矩陣對稱，則滿足上述定理的條件。 我們還可以發(fā)現(xiàn)，漢明失真具有對稱性，當(dāng)信源等概率分布，且失真矩陣為漢明失真矩陣時(shí)，即：,顯然滿足上述的條件，可以利用以上定理來簡化問題。,例5-5 有一個(gè)二元等概率平穩(wěn)無記憶信源U=0,1，接收符號(hào)集V=0,1，3，失真矩陣為 試求其信息率失真函數(shù)R(D)。,解：求定義域,由于信源等概率分布，失真矩陣具有對稱性，因此存在著與失真矩陣具有同樣的對稱性的轉(zhuǎn)移概率分布達(dá)到信息率失真函數(shù)。 由,為了運(yùn)算方便，取,上式中，由于信源等概率，所以 （允許失真）給定。,則 一一對應(yīng)，要失真為有限值，兩個(gè)無窮對應(yīng)的概率必然為0，轉(zhuǎn)移概率矩陣與失真矩陣的對應(yīng)關(guān)系為0對應(yīng)A，1對應(yīng)B，考慮歸一性，B=1-A，對應(yīng)0， 所以根據(jù)對應(yīng)關(guān)系，可得,代入上述公式，有,再將它代入轉(zhuǎn)移概率公式中：,由：接受端的概率分布 ，得： 三個(gè)概率 則:,平均失真度D一定的時(shí)候，,圖5-4 信息率失真函數(shù)曲線,5.3.2* 連續(xù)無記憶信源的信息率失真函數(shù),補(bǔ)充知識(shí)：設(shè)為實(shí)數(shù)的有界集合。若:(1)每一個(gè)滿足不等式;(2)對于任何的，存在有，使，則數(shù)稱為集合X的下確界。通俗地理解：如果有最小值m，則其最小值就是其下確界，如果其集合中較小的值大于m，且無限地趨向于m，則m也是其下確界。與此類似，有上確界的概念。,連續(xù)信源信息量為無限大（取值無限），如果要進(jìn)行無失真信源編碼，編碼長度為無窮大，所以連續(xù)信源無法進(jìn)行無失真編碼，而必然采用限失真編碼。連續(xù)信源的信息率失真函數(shù)的定義與離散信源的信息率失真函數(shù)相類似，但是需要對應(yīng)地將只需將概率 換為概率密度 ,由于連續(xù)性，需要將求和換為積分（本質(zhì)上是一種求和形式），而失真的表示也表示為連續(xù)形式的 ,離散信源下的最小值替換為下確界。 假設(shè)連續(xù)信源為X，試驗(yàn)信道的輸出為連續(xù)隨機(jī)變量Y，連續(xù)信源的平均失真度定義為：,(5-21),通過試驗(yàn)信道獲得的平均互信息為：,同樣，確定一允許失真度D，凡滿足平均失真小于D的所有試驗(yàn)信道的集合記為PD，則連續(xù)信源的信息率失真函數(shù)定義為：,(5-22),嚴(yán)格地說，連續(xù)信源的情況下，可能不存在極小值，但是下確界是存在的，如我們上面討論的無限趨向于下確界。 連續(xù)信源的信息率失真函數(shù)依然滿足前面的信息率失真函數(shù)的性質(zhì)（針對于離散信源討論的）。對于N維連續(xù)隨機(jī)序列的平均失真度和信息率失真函數(shù)也可以類似進(jìn)行定義。 連續(xù)信源的信息率失真函數(shù)的計(jì)算依然是求極值的問題，同樣可以采用拉格朗日乘子法進(jìn)行，較為復(fù)雜。 這里討論較為簡單的高斯信源的情形，對高斯信源，在一般失真函數(shù)下，其率失真函數(shù)是很難求得的，但在平方誤差失真度量下，其率失真函數(shù)有簡單的封閉表達(dá)式。 對平方誤差失真，試驗(yàn)信道輸入符號(hào)和輸出符號(hào)之間失真為：,對應(yīng)的平均失真度為：,在平方誤差失真下，設(shè)允許失真為D，則高斯信源 的率失真函數(shù)為：,(5-23),其曲線如下圖5-6所示。,圖5-6 高斯信源在均方誤差準(zhǔn)則下的R(D)函數(shù),實(shí)際上，我們還可以證明在平均功率 受限條件下，正態(tài)分布R(D)函數(shù)值最大，它是其他一切分布的上限值，也是信源壓縮比中最小的，所以人們往往將它作為連續(xù)信源壓縮比中最保守的估計(jì)值。具體見下面的定理。,定理5-2 :對任一連續(xù)非正態(tài)信源，若已知其方差為 ,熵為 ,并規(guī)定失真函數(shù)為 ,則其R(D)滿足下列不等式：,（正態(tài)是上限） （5-24）,5.4 保真度準(zhǔn)則下的信源編碼定理,5.4.1* 失真典型序列 5.4.2* 保真度準(zhǔn)則下信源編碼定理的證明 5.4.3* 保真度準(zhǔn)則下信源編碼逆定理證明,5.4 保真度準(zhǔn)則下的信源編碼定理,信息率失真函數(shù)R(D)是滿足保真度準(zhǔn)則（D）時(shí)所必須具有的最小信息率，在進(jìn)行信源壓縮之類的處理時(shí)，R(D)就成為一個(gè)界限，不能讓實(shí)際的信息率低于R(D)。把相關(guān)的結(jié)論用定理的形式給出，即限失真信源編碼定理，又稱為保真度準(zhǔn)則下的信源編碼定理，也就是通常所說的香農(nóng)第三編碼定理。 本節(jié)中，我們將闡述相關(guān)定理，并且從數(shù)學(xué)上嚴(yán)格證明。為了簡化問題，這里我們的討論限于離散無記憶平穩(wěn)信源，但是所述的定理可以推廣到連續(xù)信源，有記憶信源等一般情況。定理的通俗形式如下：,定理5-3 ：設(shè)離散無記憶平穩(wěn)信源的信息率失真函數(shù)為R(D)，只要滿足RR(D)，并且失真度是有限的，當(dāng)信源系列長度L足夠長時(shí)，一定存在一種編碼方法，其譯碼失真小于或等于D+，其中是任意小的正數(shù)；反過來，若RR(D)，則無論采用什么樣的編碼方法，其譯碼失真必大于D。,該定理包含兩部分：RR(D)的情形稱為正定理，RR(D)時(shí)，譯碼失真小于或等于D+的碼肯定存在，但定理本身并未告知碼的具體構(gòu)造方法。一般來說，要找到滿足條件的碼，只能用優(yōu)化的思路去尋求，迄今為止，尚無合適的系統(tǒng)編碼方法來接近香農(nóng)給出的界R(D)。反定理告訴我們，RR(D)時(shí)，譯碼失真必大于D，肯定找不到滿足條件的碼，因此用不著浪費(fèi)時(shí)間和精力。,總結(jié)起來，香農(nóng)信息論的三個(gè)基本概念信源熵、信道容量和信息率失真函數(shù)，都是臨界值，是從理論上衡量通信能否滿足要求的重要極限。對應(yīng)這三個(gè)基本概念的是香農(nóng)的三個(gè)基本編碼定理無失真信源編碼定理、信道編碼定理和限失真信源編碼定理，分別又稱為香農(nóng)第一、第二和第三編碼定理，或第一、第二、第三極限定理。這是三個(gè)理想編碼的存在性定理，它們并不能直接得出相應(yīng)的編碼方法，但是對編碼具有指導(dǎo)意義。,為便于后續(xù)的證明，將正定理和逆定理分別轉(zhuǎn)換為嚴(yán)格的數(shù)學(xué)形式： 定理5-4 保真度準(zhǔn)則下（限失真）信源編碼正定理：設(shè)R(D)為一離散無記憶信源的信息率失真函數(shù)，并且有有限的失真測度。對于任意的 以及任意足夠長的碼長n，則一定存在一種信源編碼C，其碼字個(gè)數(shù)為：,（5-25）,而編碼后的平均失真度 ，其中R(D)以h為底，h為編碼的進(jìn)制數(shù)。如果用二元編碼，且R(D)計(jì)算以二為底，即以bit為單位，則： 。,它告訴我們，對于任何失真度 ，只要碼長n足夠長，總可以找到一種編碼C，使編碼后的每個(gè)信源符號(hào)的信息傳輸率 ，即 。而碼的平均失真度 。定理說明在允許失真D的條件下，信源最小的、可達(dá)到的信息傳輸率是信源的 。,定理5-5保真度準(zhǔn)則下（限失真）信源編碼逆定理：不存在平均失真度為D，而平均信息傳輸率 ，的任何信源碼。即對任意碼長為n的信源碼C，若碼字個(gè)數(shù) ，一定有:,逆定理告訴我們：如果編碼后平均每個(gè)信源符號(hào)的信息傳輸率 小于信息率失真函數(shù) ,就不能在保真度準(zhǔn)則下再現(xiàn)信源的消息，即失真必然超過D。,5.4.1* 失真典型序列,正定理的證明也可采用聯(lián)合典型序列及聯(lián)合漸近等分割性。利用當(dāng)序列長度趨向于無窮大的時(shí)候體現(xiàn)出來的大數(shù)定律性質(zhì)。當(dāng)序列長度趨向于無窮長的時(shí)候，有些序列體現(xiàn)出均等化的性質(zhì)，并且這些序列的概率和趨向于1，我們稱為典型序列，而其他的序列的概率則趨向于0，可以忽略，限失真編碼的壓縮就體現(xiàn)在對這些非典型序列的忽略上。在對于限失真編碼的討論中新增了失真測度的條件。所以，在證明定理前，我們先給出失真典型序列和證明定理所需用到的定義、結(jié)論。,定義:設(shè)單符號(hào) 空間的聯(lián)合概率分布為 P(x,y) 。其失真度為d（x，y）。若任意0，有n長的序列對 滿足：,（5-26）,（5-27）,（5-28）,（5-29）,則稱 為失真典型序列或簡稱失真典型序列。,序列信源的單個(gè)符號(hào)的失真度：,（5-30）,序列的聯(lián)合概率等于單個(gè)符號(hào)聯(lián)合概率累積結(jié)果,=,（5-31）,所以，根據(jù)大數(shù)定律， 以概率（也稱為依概率）收斂于單個(gè)隨機(jī)變量的均值,引理5-1 : 設(shè)隨機(jī)序列 和 ，它們各分量之間都是相互統(tǒng)計(jì)獨(dú)立且同分布，并且滿足 =,當(dāng) ，則,（5-32）,引理5-2 ：對所有 ，有,（5-33）,香農(nóng)第三定理證明中要用到下面一個(gè)有趣的不等式。 引理5-3： 對于 ，有,（5-34）,說明：其中e為自然常數(shù)e=2.71828。,5.4.2* 保真度準(zhǔn)則下信源編碼定理的證明,定義了失真典型序列后，我們可以來證明信源編碼定理，證明R(D)是在允許失真D的條件下信源的最大的信息傳輸率。,證明：設(shè)信源序列 是統(tǒng)計(jì)獨(dú)立等同分布的隨機(jī)序列，其 的概率分布為 。又設(shè)此單個(gè)符號(hào)信源的失真測度為 ，信源的率失真函數(shù)為 。,設(shè)達(dá)到 的試驗(yàn)信道為 ，在這試驗(yàn)信道中 。 現(xiàn)需證明，對于任意 時(shí)，存在一種信源符號(hào)的信息傳輸率為 的信源編碼。其平均失真度小于或等于 。,對于某固定碼書C和 0，我們將信源序列空間 中的信源序列 分成兩大類型： （1）信源序列 ：在碼書中存在一個(gè)碼字 ，使 其 。這是因?yàn)椋?與 是構(gòu)成失真典型序列對，,所以它們是密切相關(guān)的，而且滿足,則得,又因這些失真典型序列總體出現(xiàn)的概率接近等于1，所以這些失真典型序列對,平均失真度的貢獻(xiàn)最多等于,（2）另一類信源序列 ：在碼書中不存在一個(gè)碼字 ，使 與 構(gòu)成失真典型序列對。即 ， 。 設(shè)這些序列總體出現(xiàn)的概率為 。因?yàn)槊總€(gè)信源序列最大的失真為 ，因此這類信源序列對平均失真的貢獻(xiàn)最多的是 。因此，由 得,（5-37）,以上提到，為了讓失真滿足保真度準(zhǔn)則，就需要 趨向于0。,的計(jì)算：為了計(jì)算 ，我們設(shè) 為碼 中至少有一個(gè)碼字與信源序列 構(gòu)成失真典型序列對的所有信源序列 的集合，即,（5-38）,所以， 是由于 引起的，則,（5-39）,上式表示，所有不能用碼字來描述的那些信源序列的概率對所有可能產(chǎn)生的隨機(jī)碼書進(jìn)行統(tǒng)計(jì)平均，對上式（5-39）交換求和號(hào)。這樣可以解釋為，選擇沒有碼字能描述信源序列的隨機(jī)碼書出現(xiàn)的概率對所有信源序列進(jìn)行統(tǒng)計(jì)平均。則,（5-40）,定義函數(shù),（5-41）,碼書C中的碼字是在 空間中根據(jù) 的概率來隨即地選取的。對于在 中隨機(jī)選取的某個(gè)碼字不與信源序列構(gòu)成失真典型序列對的概率應(yīng)等于,=,（5-42）,碼書C中共有 個(gè)碼字，而且是獨(dú)立地、隨機(jī)地選擇的。因此，碼書中沒有碼字能描述信源序列的隨機(jī)碼書的出現(xiàn)概率為,（5-43）,將上式代入式（5-40）得,（5-44）,運(yùn)用引理5-2 得,（5-45）,代入式（5-44）得,（5-46）,又根據(jù)引理5-3，將 中的n用 代替，x用 代替，y用 代替，得,（5-47）,代入式（5-46）得,（5-48）,觀察上式（5-48）中最后一項(xiàng) ，當(dāng)選擇 另若我們選取的試驗(yàn)信道 正好是使平均互信息達(dá)到 的 試驗(yàn)信道，所以， 。因此，當(dāng) ， 足夠 小時(shí)， 時(shí)，最后一項(xiàng)趨于零。,式（5-48）中前兩項(xiàng)是聯(lián)合概率分布為 的序列對 不是失真典型序列對的概率。由引理5-1得，當(dāng)n足夠大時(shí),（5-49）,所以，適當(dāng)?shù)剡x擇 和 可使 盡可能地小。,綜上所述，對所有隨機(jī)編碼的碼書C當(dāng) ，任意選取 ，只要選擇 足夠大，及適當(dāng)小的 ，可使,（5-50）,因此，至少存在一種碼書C，其碼字個(gè)數(shù) ，即信源符號(hào)的信息傳輸率 ，而碼的平均失真度 。,5.4.3* 保真度準(zhǔn)則下信源編碼逆定理證明,逆定理是一種不可能的形式，顯然我們直接去證明很難著手，對于這種結(jié)論，一般用反證法先假設(shè)其成立，然后得出矛盾來證明。,證明：假設(shè)存在一種信源編碼 C，有 M 個(gè)碼字， ，而且M個(gè)碼字是從 空間中選取的序列 ，它能使得 。編碼方法仍采用前面所述的方法，將所有信源序列 映射成碼字 ，而使 。根據(jù)失真典型序列的定義， 與 是構(gòu)成失真典型序列，所以她們是彼此經(jīng)常聯(lián)合出現(xiàn)的序列對。而且又滿 足 ，所以它們之間的失真 。 這種編碼方法可看成一種特殊的試驗(yàn)信道：,（5-51）,根據(jù)假設(shè)則在這個(gè)試驗(yàn)信道中，可得 又因在這信道中 =0，所以平均互信息,（5-52）,上式（5-52）中的不等式是因?yàn)樵诰幋a范圍內(nèi)，最多只有M個(gè) ，所以 空間最大的熵值為 。又因?yàn)樾旁词请x散無記憶信源，所以有,（5-53）,設(shè) 以平均失真 再現(xiàn)，則必有,又根據(jù)信息率失真函數(shù)的U型凸?fàn)钚院蛦握{(diào)遞減性得,（5-54）,上式最后一項(xiàng)是根據(jù)離散無記憶平穩(wěn)信源求得。因此得,或者 這個(gè)結(jié)果與定理的假設(shè)相矛盾，所以逆定理成立。,（5-55）,正如前面所述，保真度準(zhǔn)則下的信源編碼定理及其逆定理是有失真信源壓縮理論基礎(chǔ)。這兩個(gè)定理證實(shí)了允許失真D確定后，總存在一種編碼方法，使編碼的信息傳輸率 ，那么編碼的平均失真度將大于D。如果用二元碼符號(hào)來進(jìn)行編碼的話，在允許一定量失真D的情況下，平均每個(gè)信源符號(hào)所需二元碼符號(hào)的下限值就是R(D)?？梢?，從香農(nóng)第三定理可知，R(D)確實(shí)是允許失真度為D的情況下信源信息壓縮的下限值。比較香農(nóng)第一定理和第三定理可知，當(dāng)信源給定后，無失真信源壓縮的極限值是信源熵H(S)；而有失真信源壓縮的極限值是信息率失真函數(shù)R(D)。在給定某D后，一般R(D) H(S)。 無失真信源編碼可以看成是限失真編碼的一種特例，根據(jù)我們對失真的正常定義，一般當(dāng)輸入和輸出符號(hào)一一對應(yīng)時(shí)，失真才為0，此時(shí)，R(0)=H(S)，可以通過限失真信源編碼定理來證明無失真信源編碼定理。,5.5 限失真信源編碼定理的實(shí)用意義,5.5 限失真信源編碼定理的實(shí)用意義,類似于無失真信源編碼利用信源熵來衡量編碼的效率一樣，信息率失真函數(shù)可以用來度量限失真編碼在某一失真下編碼的效率。信源的R(D)函數(shù)可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種尺度。 但香農(nóng)第三定理同樣只給出了一個(gè)存在定理。至于如何尋找這種最佳壓縮編碼方法，定理中并沒有給出。在實(shí)際應(yīng)用中，該理論主要存在著幾類問題。 在實(shí)際應(yīng)用中，該定理主要存在以下兩大類問題： 第一類問題是符合實(shí)際信源的R(D)函數(shù)的計(jì)算相當(dāng)困難。 （1）需要對實(shí)際信源的統(tǒng)計(jì)特性有確切的數(shù)學(xué)描述，即概率分布明確； （2）需要對符合主客觀實(shí)際的失真給與正確的度量，否則不能求得符號(hào)主客觀實(shí)際的R(D)函數(shù)。例如，通常采用均方誤差來表示信源的平均失真度。但對于圖像信源來說，均方誤差較小的編碼方法，而人們視覺感到失真較大。所以，人們?nèi)圆捎弥饔^觀察來評價(jià)編碼方法的好壞。因此，如何定義符合主觀和客觀實(shí)際情況的失真測度就是件較困難的事。 （3）即便對實(shí)際信源有了確切的數(shù)學(xué)描述，又有符合主客觀實(shí)際情況的失真測度，而失真率函數(shù)R(D)的計(jì)算也還較困難。,第二類問題是即便求得了符合實(shí)際的信息率失真函數(shù)，還需研究采取何種實(shí)用的最佳編碼方法才能達(dá)到極限值R(D)。目前，這兩方面工作都有進(jìn)展。尤其是對實(shí)際信源的各種壓縮方法，如對語音信號(hào)、電視信號(hào)和遙感圖像等信源的各種壓縮方法有了較大進(jìn)展。 第三類問題是信息率失真函數(shù)的求解是在給定試用信道的輸入輸出及其失真矩陣的情況下計(jì)算的，當(dāng)輸出的符號(hào)集未定的時(shí)候，我們不能確定到底怎么樣的符號(hào)集才是最優(yōu)的，即使得信息率失真函數(shù)值最低。,5.5 限失真信源編碼定理的實(shí)用意義,在信息論中，特別是信息熵中，許多時(shí)候?qū)⒏鱾€(gè)信源符號(hào)一視同仁地對待，但是實(shí)際上，各個(gè)符號(hào)有它們的語義和語用，在數(shù)值上是不同的。這當(dāng)然帶來相應(yīng)的局限性，信息率失真函數(shù)中的失真度量，實(shí)際上可以認(rèn)為是一個(gè)很好的補(bǔ)充，用于彌補(bǔ)對于語義和語用度量的缺失，比如，陰天、晴天、大雨、中雨、小雨所代表的降雨量、陽光強(qiáng)弱是不一樣的，且是有不同幅度差異的?，F(xiàn)在信息率失真函數(shù)也用于度量損失和信息價(jià)值，實(shí)際上還可以做進(jìn)一步的推廣。,5.5 限失真信源編碼定理的實(shí)用意義,5.6 限失真信源編碼,限失真信源編碼定理指出：在允許一定失真度D的情況下，信源輸出的信息傳輸率可壓縮到R(D)值，這就從理論上給出了信息傳輸率與允許失真之間的關(guān)系，奠定了信息率失真理論的基礎(chǔ)。但是它并沒有告訴我們?nèi)绾芜M(jìn)行編碼可以達(dá)到這一極限值。 一般情況下信源編碼可分為離散信源編碼，連續(xù)信源編碼和相關(guān)信源編碼三類。前兩類編碼方法主要討論獨(dú)立信源編碼問題，后一類編碼方法討論非獨(dú)立信源編碼問題。離散信源可做到無失真編碼，而連續(xù)信源則只能做到限失真信源編碼，通常我們將限失真信源編碼簡稱限失真編碼。 無失真編碼和限失真編碼本身也具有相通之處，有些方法和思想本質(zhì)上可以同時(shí)用于限失真編碼和無失真編碼。 采用限失真編碼采用的方法主要有矢量量化、預(yù)測編碼和變換編碼。,5.6 限失真信源編碼,5.6.1 矢量量化編碼 5.6.2 預(yù)測編碼 5.6.3 變換編碼,5.6.1 矢量量化編碼,量化(Quantization)就是把經(jīng)過抽樣得到的瞬時(shí)值將其幅度離散，即用一組規(guī)定的電平，把瞬時(shí)抽樣值用最接近的電平值來表示。量化一般用于連續(xù)信源的編碼，但是它也可以用于離散信源的編碼。對小數(shù)、實(shí)數(shù)進(jìn)行四舍五入，就是一個(gè)最為簡單通俗的例子，比如通過四舍五入取整，會(huì)將區(qū)間1.5,2.5)的數(shù)值都量化為2。 按照量化級(jí)的劃分方式分，有均勻量化（uniform quantization）和非均勻量化。其中最為簡單的是均勻量化，也稱為線性量化，它將輸入信號(hào)的取值域等間隔分割的量化。反之，則稱為非均勻量化，其范圍的劃分不均勻，一般用類似指數(shù)的曲線進(jìn)行量化。非均勻量化是針對均勻量化提出的，為了適應(yīng)幅度大的輸人信號(hào)，同時(shí)又要滿足精度要求，就需要增加樣本的位數(shù)。但是，對話音信號(hào)來說，大信號(hào)出現(xiàn)的機(jī)會(huì)并不多，增加的樣本位數(shù)沒有充分利用。為了克服這個(gè)不足，出現(xiàn)了非均勻量化的方法，這種方法也叫做非線性量化。非均勻量化的基本想法是，對輸人信號(hào)進(jìn)行量化時(shí)，大的輸入信號(hào)（概率小的）采用大的量化間隔，小的輸入信號(hào)采用小的量化間隔。這樣就可以在滿足精度要求的情況下，用較少的位數(shù)來表示。聲音數(shù)據(jù)還原時(shí)，采用相同的規(guī)則。常見的非均勻量化有A律和率等，它們的區(qū)別在于量化曲線不同。均勻量化的好處就是編解碼的很容易，但要達(dá)到相同的信噪比占用的帶寬要大。現(xiàn)代通訊系統(tǒng)中都用非均勻量化。,5.6.1 矢量量化編碼,按照量化的維數(shù)分，量化分為標(biāo)量量化(scalarquantization,SQ)和矢量量化(vector quantization,VQ).。標(biāo)量量化是一維的量化，一個(gè)幅度值對應(yīng)一個(gè)量化結(jié)果。而矢量量化是二維甚至多維的量化，兩個(gè)或兩個(gè)以上的幅度值作為一個(gè)整體決定一個(gè)量化結(jié)果。以二維情況為例，兩個(gè)幅度決定了平面上的一點(diǎn)。而這個(gè)平面事先按照概率已經(jīng)劃分為N個(gè)小區(qū)域，每個(gè)區(qū)域?qū)?yīng)著一個(gè)輸出結(jié)果。由輸入確定的那一點(diǎn)落在了哪個(gè)區(qū)域內(nèi)，矢量量化器就會(huì)輸出那個(gè)區(qū)域?qū)?yīng)的碼字。無失真信源編碼中我們可以看到，對單個(gè)符號(hào)進(jìn)行相應(yīng)信源編碼的壓縮效果比對序列進(jìn)行信源編碼的效果要差，類似地，矢量量化由于考慮將一個(gè)序列當(dāng)做整體來看待，可以消除序列內(nèi)部相關(guān)性的影響，一般會(huì)比標(biāo)量量化效率更高。 矢量量化中碼書的碼字越多，維數(shù)越大，失真就越小。只要適當(dāng)?shù)剡x擇碼字?jǐn)?shù)量，就能控制失真量不超過某一給定值，因此碼書控制著矢量的大小。,5.6.1 矢量量化編碼,實(shí)驗(yàn)證明，即使各信源符號(hào)相互獨(dú)立，多維量化通常也可壓縮信息率。因而矢量量化引起人們的興趣而成為當(dāng)前連續(xù)信源編碼的一個(gè)熱點(diǎn)?？墒钱?dāng)維數(shù)較大時(shí)，矢量量化尚無解析方法，只能求助于數(shù)值計(jì)算；而且聯(lián)合概率密度也不易測定，還需采用諸如訓(xùn)練序列的方法。一般來說，高維矢量的聯(lián)合是很復(fù)雜的，雖已有不少方法，但其實(shí)現(xiàn)尚有不少困難，有待進(jìn)一步研究。,5.6.2 預(yù)測編碼,常用的解除相關(guān)性的措施是預(yù)測和變換，其實(shí)質(zhì)都是進(jìn)行序列的一種映射。一般來說，預(yù)測編碼有可能完全解除序列的相關(guān)性，但必需確知序列的概率特性；變換編碼一般只解除矢量內(nèi)部的相關(guān)性，但它可有許多可供選擇的變換方法，以適應(yīng)不同的信源特性。下面介紹預(yù)測編碼的一般理論與方法。,5.6.2 預(yù)測編碼,預(yù)測編碼（prediction coding）是數(shù)據(jù)壓縮三大經(jīng)典技術(shù)(統(tǒng)計(jì)編碼，預(yù)測編碼，變換編碼)之一，它是建立在信源數(shù)據(jù)相關(guān)性之上的，由信息理論可知，對于相關(guān)性很強(qiáng)的信源，條件熵可遠(yuǎn)小于無條件熵，因此人們常采用盡量解除相關(guān)性的辦法，使信源輸出轉(zhuǎn)化為獨(dú)立序列，以利于進(jìn)一步壓縮碼率。我們可以從預(yù)測這個(gè)名字上來理解預(yù)測編碼，如果一個(gè)序列后面的符號(hào)由前面的若干個(gè)符號(hào)決定，我們可以認(rèn)為前面的符號(hào)可以預(yù)測后面的符號(hào)，這樣，我們只需要發(fā)送前面的符號(hào)，后面的符號(hào)完全可以預(yù)測出來。顯而易見，這種可預(yù)測性是因?yàn)榉?hào)之間具有相關(guān)性。這是一種極端的情況，實(shí)際上，序列之間的相關(guān)性可能存在，但是它不足以完全決定后面的符號(hào)，可能只是能夠減少后面符號(hào)的不確定性，此時(shí)從信息論的角度來說，前面的符號(hào)提供了后面符號(hào)的信息，利用這種相關(guān)性也可以進(jìn)行預(yù)測。再舉一個(gè)例子，一個(gè)單一的正弦波形，一旦知道了一個(gè)周期之內(nèi)的波形，就可以根據(jù)周期性重復(fù)這個(gè)波形來預(yù)測后面的波形。同樣是這個(gè)例子，通過波形中的若干點(diǎn)可以確定整個(gè)波形，所以，我們可以利用這些點(diǎn)完全地預(yù)測后面各個(gè)位置的波形。,5.6.2 預(yù)測編碼,預(yù)測編碼的基本思想是通過提取與每個(gè)信源符號(hào)有關(guān)的新信息，并對這些新信息進(jìn)行編碼來消除信源符號(hào)之間的相關(guān)性。實(shí)際中常用的新信息為信源符號(hào)的當(dāng)前值與預(yù)測值的差值，這里正是由于信源符號(hào)間存在相關(guān)性，所以才使預(yù)測成為可能，對于獨(dú)立信源，預(yù)測就沒有可能。 預(yù)測的理論基礎(chǔ)主要是估計(jì)理論。所謂估計(jì)就是用實(shí)驗(yàn)數(shù)據(jù)組成一個(gè)統(tǒng)計(jì)量作為某一物理量的估值或預(yù)測值，若估值的數(shù)學(xué)期望等于原來的物理量，就稱這種估計(jì)為無偏估計(jì)；若估值與原物理量之間的均方誤差最小，就稱之為最佳估計(jì)，基于這種方法進(jìn)行預(yù)測，就稱為最小均方誤差預(yù)測，所以也就認(rèn)為這種預(yù)測是最佳的。,5.6.2 預(yù)測編碼,在具體的預(yù)測編碼實(shí)現(xiàn)過程中，編碼器和譯碼器都存貯有過去的信號(hào)值，并以此來預(yù)測或估計(jì)未來的信號(hào)值。在編碼器發(fā)出的不是信源信號(hào)本身，而是信源信號(hào)與預(yù)測值之差；在譯碼端，譯碼器將接收到的這一差值與譯碼器的預(yù)測值相加，從而恢復(fù)信號(hào)。 要實(shí)現(xiàn)最佳預(yù)測就是要找到計(jì)算預(yù)測值的預(yù)測函數(shù)。這個(gè)函數(shù)根據(jù)數(shù)據(jù)的相關(guān)性來決定。,5.6.2 預(yù)測編碼,設(shè)有信源序列 ，k階預(yù)測就是由 的前k個(gè)數(shù)據(jù)來預(yù)測 。 可令預(yù)測值為： 式中函數(shù) 是待定的預(yù)測函數(shù)。要使預(yù)測值具有最小均方誤差，必須確知k個(gè)變量的聯(lián)合概率密度函數(shù) ，這在一般情況下較難得到，因而常用比較簡單的線性預(yù)測方法。 線性預(yù)測（linear prediction）是取預(yù)測函數(shù)為各已知信源符號(hào)的線性函數(shù)，即取 的預(yù)測值為：,（5-56）,其中 為預(yù)測系數(shù)。 最簡單的預(yù)測是令 ，稱為前值預(yù)測，常用的差值預(yù)測就屬于這類。,5.6.2 預(yù)測編碼,利用預(yù)測值來編碼的方法可分為兩類：一類是對實(shí)際值與預(yù)測值之差進(jìn)行編碼，也叫差值預(yù)測編碼；另一類方法是根據(jù)差值的大小，決定是否需傳送該信源符號(hào)。例如，可規(guī)定某一閾值T，當(dāng)差值小于T時(shí)可不傳送，對于相關(guān)性很強(qiáng)的信源序列，常有很長一串符號(hào)的差值可以不傳送，此時(shí)只需傳送這串符號(hào)的個(gè)數(shù)，這樣能大量壓縮碼率。這類方法一般是按信宿要求來設(shè)計(jì)的，也就是壓縮碼率引起的失真應(yīng)能滿足信宿需求。 實(shí)現(xiàn)預(yù)測編碼要進(jìn)一步考慮3個(gè)方面的問題： 預(yù)測誤差準(zhǔn)則的選取，比如采用使預(yù)測誤差的均方值達(dá)到最小作為準(zhǔn)則，或者絕對誤差均值最小等。 預(yù)測函數(shù)的選?。?預(yù)測器輸入數(shù)據(jù)的選取。,5.6.3 變換編碼,預(yù)測編碼認(rèn)為冗余度是數(shù)據(jù)固有的，通過對信源建模來盡可能精確地預(yù)測源數(shù)據(jù)，去除數(shù)據(jù)的時(shí)間冗余度。但是冗余度有時(shí)與不同的表達(dá)方法也有很大的關(guān)系，變換編碼是將原始數(shù)據(jù)“變換”到另一個(gè)更為緊湊的表示空間，去除數(shù)據(jù)的空間冗余度，可得到比預(yù)測編碼更高的數(shù)據(jù)壓縮。 能量集中是指對N維矢量信號(hào)進(jìn)行變換后，最大的方差見集中在前M個(gè)低次分量之中（MN）。,5.6.3 變換編碼,變換編碼（transform coding）的基本原理是將原來在空間(時(shí)間)域上描述的信號(hào)，通過一種數(shù)學(xué)變換(例如傅里葉變換等)，將信號(hào)變到變換域(例如頻域等)中進(jìn)行描述，在變換域中，變換系數(shù)之間的相關(guān)性常常顯著下降，并常有能量集中于低頻或低序系數(shù)區(qū)域的特點(diǎn)，這樣就容易實(shí)現(xiàn)碼率的壓縮，并還可大大降低數(shù)據(jù)壓縮的難度。,5.6.3 變換編碼,高性能的變換編碼方法不僅能使輸出的壓縮信源矢量中各分量之間的相關(guān)性大大減弱，而且使能量集中到少數(shù)幾個(gè)分量上，在其他分量上數(shù)值很小，甚至為“0“。因此在對變換后的分量(系數(shù))進(jìn)行量化再編碼時(shí)，因?yàn)樵诹炕蟮扔凇?“的系數(shù)可以不傳送，因此在一定保真度準(zhǔn)則下可達(dá)到壓縮數(shù)據(jù)率的目的，量化參數(shù)的選取主要根據(jù)保真度要求或恢復(fù)信號(hào)的主觀評價(jià)效果來確定。,5.6.3 變換編碼,下面我們首先介紹變換編碼的基本原理，然后介紹變換編碼中常用的幾種變換。 1.正交變換編碼的基本原理 設(shè)信源連續(xù)發(fā)出的兩個(gè)信源符號(hào)s1與s2之間存在相關(guān)性，如果均為3比特量化，即它們各有八種可能的取值，那么s1與s2之間的相關(guān)特性可用圖5-7表示。,圖5-7 s1與s2之間的相關(guān)特性圖,圖5-7中的橢圓區(qū)域表示s1與s2相關(guān)程度較高的區(qū)域，此相關(guān)區(qū)關(guān)于s1軸和s2軸對稱。顯然如果s1與s2的相關(guān)性越強(qiáng)，則橢圓形狀越扁長，而且變量s1與s2幅度取值相等的可能性也越大，二者方差近似相等，即 。,如果我們將s1與s2的坐標(biāo)軸逆時(shí)針旋轉(zhuǎn)45，變成 平面，則橢圓區(qū)域的長軸落在 軸上，此時(shí)當(dāng) 取值變動(dòng)較大時(shí)， 所受影響很小，說明 與 之間的相關(guān)性大大減弱。同時(shí)由圖5-7可以看出：隨機(jī)變量 與 的能量分布也發(fā)生了很大的變化，在相關(guān)區(qū)域內(nèi)的大部分點(diǎn)上 的方差均大于 的方差，即 。 另外，由于點(diǎn)與坐標(biāo)原點(diǎn)o的距離不變，所以坐標(biāo)變換不會(huì)使總能量發(fā)生變化，所以有：,=,（5-57）,由此可見，通過上述坐標(biāo)變換，使變換后得到的新變量 ， 呈現(xiàn)兩個(gè)重要的特點(diǎn)： （1）變量間相關(guān)性大大減弱，如其中一個(gè)變化時(shí)，另外一個(gè)幾乎不變; （2）能量更集中，即 ，且 小到幾乎可忽略。,這兩個(gè)特點(diǎn)正是變換編碼可以實(shí)現(xiàn)數(shù)據(jù)壓縮的重要依據(jù)，即數(shù)據(jù)可以忽略。,上述坐標(biāo)旋轉(zhuǎn)對應(yīng)的變換方程為：,因?yàn)?因此，坐標(biāo)旋轉(zhuǎn)變換矩陣,是一個(gè)正交矩陣，由正交矩陣決定的變換稱為正交變換。 進(jìn)行正交變換的目的是使得變換后的各個(gè)分量相互獨(dú)立。按照均方誤差最小準(zhǔn)則來計(jì)算相關(guān)參數(shù)，如，得到的一種正交變換叫做K-L變換，不過使用KL變換需要知道信源的協(xié)方差矩陣，再求出協(xié)方差矩陣的特征值和特征矢量，然后據(jù)此構(gòu)造正交變換矩陣；但求特征值和特征矢量是相當(dāng)困難的，特別是在高維信源情況下，甚至求不出來。即使借助于計(jì)算機(jī)求解，也難于滿足實(shí)時(shí)處理的要求。,K-L變換具有如下特性：（1）去相關(guān)特性。K-L變換是變換后的矢量信號(hào)Y的分量互不相關(guān)。（2）使得能量集中于個(gè)別分量中。（3）最佳特性。K-L變換是在均方誤差測度下，失真最小的一種變換，其失真為被略去的各分量之和。由于這一特性，K-L變換被稱為最佳變換。許多其他變換都將K-L變換作為性能上比較的參考標(biāo)準(zhǔn)。 除了用于數(shù)據(jù)壓縮，利用K-L變換還可以進(jìn)行人臉圖象識(shí)別和人臉圖象合成。這些功能與K-L變換的冗余控制能力和提取關(guān)鍵的信息的能力顯然是相關(guān)的。 人臉圖象識(shí)別步驟簡述為：首先搜集要識(shí)別的人的人臉圖像，建立人臉圖像庫，然后利用K-L變換確定相應(yīng)的人臉基圖像，再反過來用這些基圖像對人臉圖像庫中的有人臉圖像進(jìn)行K-L變換，從而得到每幅圖像的參數(shù)向量并將每幅圖的參數(shù)向量存起來。在識(shí)別時(shí)，先對一張所輸入的臉圖像進(jìn)行必要的規(guī)范化，再進(jìn)行K-L變換分析，得到其參數(shù)向量。將這個(gè)參數(shù)向量與庫中每幅圖的參數(shù)向量進(jìn)行比較，找到最相似的參數(shù)向量，也就等于找到最相似的人臉，從而認(rèn)為所輸入的人臉圖像就是庫內(nèi)該人的一張人臉，完成了識(shí)別過程。 類似地，人臉圖象合成中，比如人臉表情圖像合成中可以通過有目的的控制各個(gè)分量的比例，也就是通過調(diào)整參數(shù)向