信息率失真函數(shù)

1、關(guān)于信息率失真函數(shù)第1頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.1 概 述 對于有失真信源編碼，總希望在不大于一定編碼速率（即傳送每信源符號所需的平均的二進(jìn)數(shù)字?jǐn)?shù)）的條件下，使平均失真最??；或者在平均失真不大于某個(gè)值的條件下，使編碼速率最小。仙農(nóng)提出的信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎(chǔ)，該理論的核心是在保真度準(zhǔn)則下的信源編碼定理，也稱仙農(nóng)第三定理定理指出信源編碼的碼率大于R(D)是存在平均失真不大于D的信源編碼的充分與必要條件。對有損壓縮編碼系統(tǒng)，確定失真測度是首要的工作，不同的失真測度會(huì)得到不同R(D)函數(shù)。2第2頁，共112頁，2022年，5月20日，8點(diǎn)41分，星

2、期四9.1.1 系統(tǒng)模型一個(gè)有損壓縮系統(tǒng)對信源發(fā)出的消息X進(jìn)行有失真信源編碼，經(jīng)理想無噪聲信道傳輸，到達(dá)信源譯碼器，輸出為Y。由于編碼有失真，所以Y不是X的精確復(fù)現(xiàn)。 限失真編碼通信系統(tǒng)模型 3第3頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.1.2 失真測度 1單符號失真測度 試驗(yàn)信道的輸入x和輸出y之間的失真用 表示，其中 。 定義失真矩陣 其中， 表示當(dāng)試驗(yàn)信道的輸入為ai時(shí)，輸出為bj所產(chǎn)生的失真。 4第4頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.1.2 失真測度 如果規(guī)定 那么失真矩陣變?yōu)?第5頁，共112頁，2022年，5月20日，8點(diǎn)41分，星

3、期四9.1.2 失真測度2序列失真測度 設(shè)序列 其中 取自符號集A； 其中 取自符號集B；序列失真測度定義為： 上式表明，序列的失真測度是所包含符號失真的算術(shù)平均。6第6頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.1.2 失真測度3平均失真 單符號平均失真定義為： 序列平均失真定義為：7第7頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2 離散信源信息率失真函數(shù) 8第8頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.1 信息率失真函數(shù) 定義信息率失真函數(shù)(rate-distortion function)為： 或9第9頁，共112頁，2022

4、年，5月20日，8點(diǎn)41分，星期四9.2.2 R(D)函數(shù)的性質(zhì)1、R(D)的定義域及關(guān)鍵點(diǎn)取值： 且10第10頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.2 R(D)函數(shù)的性質(zhì) 例9.2.1 設(shè)試驗(yàn)信道輸入符號 ，概率分別為1/3，1/3，1/3，失真矩陣如下所示，求Dmin和Dmax和相應(yīng)的試驗(yàn)信道的轉(zhuǎn)移概率矩陣。 11第11頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.2 R(D)函數(shù)的性質(zhì)解 =1 令對應(yīng)最小 的 ，其它為0?？傻脤?yīng)Dmin 的轉(zhuǎn)移概率矩陣為： 12第12頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.2 R

5、(D)函數(shù)的性質(zhì)= 5/3 上式中第2項(xiàng)最小，所以令 ?？傻脤?yīng)Dmax 的轉(zhuǎn)移概率矩陣為： 13第13頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.2 R(D)函數(shù)的性質(zhì)2R(D) 是關(guān)于D的下凸函數(shù)(P194) 設(shè)D1,D2為任意兩個(gè)平均失真， ，那么14第14頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.2 R(D)函數(shù)的性質(zhì)3、R(D)是(Dmin, Dmax)區(qū)間的連續(xù)和嚴(yán)格遞減函數(shù) 證：R(D)在定義域內(nèi)為凸函數(shù)，從而保證了連續(xù)性。下面證明在定義域內(nèi)也是非增函數(shù)。由 ，在較大范圍內(nèi)求極小值一定不大于在所含小范圍內(nèi)求的極小值，所以 。由于在定義

6、域內(nèi)R(D)不是常數(shù)，而又是非增下凸函數(shù)，從而推出R(D)連續(xù)和嚴(yán)格遞減函數(shù)15第15頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.2 R(D)函數(shù)的性質(zhì)4關(guān)于信息率失真函數(shù)的幾點(diǎn)解釋： （1）通?？傁Ｍ畔⑼ㄟ^信道傳輸時(shí)輸入與輸出之間的互信息最大，是在信道給定情況下的要求。而這里是在信源給定而不是信道給定條件下的傳輸。信息率失真理論要解決的問題就是計(jì)算滿足失真要求的傳輸所需要的最小信道容量或傳輸速率，以達(dá)到降低信道的復(fù)雜度和通信成本的目的。16第16頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.2.2 R(D)函數(shù)的性質(zhì) （2）根據(jù)R(D)為單調(diào)減函數(shù)的性

7、質(zhì)，如果固定平均互信息，選擇信道的轉(zhuǎn)移概率使平均失真最小，可以得到同樣的R(D) 函數(shù)曲線，唯一的差別就是變量之間作用交換。這時(shí)就得到“失真率函數(shù)”(distortion-rate function)。 失真率函數(shù)定義為17第17頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.3 限失真信源編碼定理 本節(jié)包括限失真信源編碼定理和限失真信源信道編碼定理。限失真信源編碼定理指出，當(dāng)給定一個(gè)平均失真D時(shí)，對信源碼率壓縮的最低限度為R(D) ，而限失真信源信道編碼定理指出，當(dāng)信道容量C大于R(D)時(shí)，信息能夠通過信道以不大于D的平均失真?zhèn)鬏敗?18第18頁，共112頁，2022年，5月2

8、0日，8點(diǎn)41分，星期四9.3.1碼率的壓縮 設(shè)信源X發(fā)出長度為N的序列，而碼字僅有M個(gè)，即僅對M個(gè)信源序列進(jìn)行編碼。設(shè)信源的熵為H，如果 ，那么當(dāng)N足夠長時(shí)就存在無失真信源編碼。令 ，就有 。但如果 ，編碼就會(huì)產(chǎn)生失真。這就是限失真信源編碼要解決的問題。由于壓縮了碼率，可以提高信息傳輸速率，從而減小了通信的成本。19第19頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.3.1碼率的壓縮 圖中，信源發(fā)出的N長符號序列u（符號集U）進(jìn)入編碼器，編碼器按照最小失真的原則搜索到一個(gè)碼字，設(shè)為ym（其中碼字集合為Y）；設(shè)碼字?jǐn)?shù)為M，m為信源序列對應(yīng)碼字的序號；那么將ym的序號m發(fā)送到譯碼

9、器，譯碼器根據(jù)接收的序號恢復(fù)原始碼字，輸出到用戶。 限失真信源編碼系統(tǒng) 20第20頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.3.1碼率的壓縮 例9.3.1 設(shè)信源X，符號集為a1,a2,a2n，等概分布pi=1/2n，i=1,2n，給定失真測度為 ，設(shè)計(jì)一種單符號壓縮算法使得平均失真D=1/2并求壓縮后的碼率R.。21第21頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.3.1碼率的壓縮 解：失真測度為漢明測度，實(shí)際上要求誤碼率為1/2。設(shè)Y為X的壓縮編碼，符號集為b1,b2,bn，下面為壓縮算法和對應(yīng)的試驗(yàn)信道轉(zhuǎn)移概率矩陣：22第22頁，共112頁，2022

10、年，5月20日，8點(diǎn)41分，星期四9.3.1碼率的壓縮 平均失真 算法滿足要求。 的概率分布為： 所以 ， 23第23頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.3.2 限失真信源編碼定理定理9.3.1 任意給定 ，總存在一種信源編碼，使當(dāng) 時(shí)，平均失真 ；反之，如果RR(D)，就不可能存在使平均失真 的編碼。(香農(nóng)第三定理)24第24頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.3.3 限失真信源信道編碼定理定理9.3.2 設(shè)離散無記憶信源的信息率失真函數(shù)為R(D)(比特/秒)，離散無記憶信道的容量為C（比特/秒），若滿足 則信源序列通過信道傳輸后的平均失真

11、D；若 ，則信源序列通過信道傳輸后的平均失真大于D。（教材中的幾點(diǎn)解釋，P190）（例9.3，P194， 習(xí)題集P188, 習(xí)題9.15）25第25頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4 離散信源信息率失真函數(shù)的計(jì)算本節(jié)研究離散信源信息率失真函數(shù)的計(jì)算問題，這歸結(jié)到求有約束的極值問題。即使很簡單的信源和簡單的失真測度，求解的過程都比較復(fù)雜，而且只有特殊情況才有解析解，對于一般的計(jì)算需要借助于迭代算法。26第26頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四設(shè)試驗(yàn)信道輸入X，符號集A=a1,an，對應(yīng)概率分布為p1,pn；信道輸出 Y，符號集B=b1,bm，

12、對應(yīng)概率分布為q1,qm，失真矩陣為 （9. 4. 1） 試驗(yàn)信道轉(zhuǎn)移概率矩陣為 （9. 4. 2） 信道輸出概率分布 27第27頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.1 R(D)參量表示法求解對于給定信源X，符號概率分布為p1,pn的已知，給定（9. 4. 1）確定的失真矩陣，求解R(D)，實(shí)際上是通過（9.4.3）所描述的有約束極值，確定實(shí)驗(yàn)信道轉(zhuǎn)移概率pij。 （9.4.3）28第28頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.1 R(D)參量表示法求解由于使R最小的pij總是在PD的邊界上，所以在求極值時(shí)，平均失真約束條件的不等式取等號

13、，即 （9.4.4）從（9.4.3）式可知，約束條件有n+1個(gè)，其中1個(gè)為平均失真約束，n個(gè)條件概率歸一化約束，未知數(shù)pij有mn個(gè)。下面用拉格朗日乘子法求有約束極值。29第29頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.1 R(D)參量表示法求解設(shè)s, (i=1,n)為常數(shù)，求下式極值（以e為底）： 30第30頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.1 R(D)參量表示法求解令 ，得其中 （9.4.5）31第31頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.1 R(D)參量表示法求解所以當(dāng) 時(shí) （9.4.6）（9.4.7）

14、32第32頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.1 R(D)參量表示法求解結(jié)合（9.4.6）與（9.4.7）式，得式中含m個(gè)方程，m個(gè)未知數(shù)qj(j=1,m)，而s為參量，一般能解。33第33頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.1 R(D)參量表示法求解將（9.4.5）代入（9.4.4）（9.4.3），分別得（9.4.10） （9.4.9）34第34頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.2 R(D)求解過程歸納現(xiàn)將R(D)求解的過程歸納如下： （1）根據(jù)（9.4.7）式求，；（2）根據(jù)（9.4.6）式求，j=

15、1,m；（3）根據(jù)（9.4.9）式求D(s)；（4）根據(jù)（9.4.10）式求R(s)。35第35頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.2 R(D)求解過程歸納設(shè)為列矢量，由（9.4.7）得寫成矩陣形式為（9.4.11） P19236第36頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.2 R(D)求解過程歸納由（9.4.6），得寫成矩陣形式為其中， （9.4.12） 37第37頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.2 R(D)求解過程歸納當(dāng)m=n且A-1存在時(shí)，求解過程為：由 解得 由 解得 設(shè)矩陣為 ，有 38第38頁

16、，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.2 R(D)求解過程歸納（9.4.14） （9.4.13）其中，H(p)為信源的熵。39第39頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義現(xiàn)求R(D)對D的導(dǎo)數(shù)，由（9.4.10）得 （9.4.15） 40第40頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義在（9.4.7）式的兩邊，對s求導(dǎo)，得兩邊都乘以 ，得 根據(jù)（9.4.6），得 將（9.4.16）的結(jié)果代入（9.4.15），得（9.4.16） （9.4.17） 41第41頁，共112頁，2022年，5

17、月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義由此可得如下結(jié)論：(1)s是R(D)函數(shù)的斜率；(2)因?yàn)镽(D)在0DDmax嚴(yán)格單調(diào)遞減，所以s0。42第42頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義例9.4.1 一個(gè)二元信源，符號集A=0,1，概率為p(0)=p1=p，p(1)=p2=1-p，其中p1/2；試驗(yàn)信道輸出符號集B=0,1，失真測度函數(shù)為漢明失真，求R(D)函數(shù)。43第43頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義解 （1）設(shè) ，所以 44第44頁，共112頁，2022年，5月20日，8點(diǎn)41

18、分，星期四9.4.3 參量s的意義（2）由 得（3） 解得 45第45頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義 （4） （9.4.18） （9.4.19）46第46頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義由（9.4.18）得， 和 將這些結(jié)果代入（9.4.19），得 （9.4.20） 圖9.4.1 為二元信源在不同概率p條件下的R(D)函數(shù)曲線?？梢钥闯?，對于給定的失真測度D，信源分布越接近等概率，R(D)越大，也就是說越難壓縮，反之，信源分布越不均勻，R(D)越小，越容易壓縮。47第47頁，共112頁，202

19、2年，5月20日，8點(diǎn)41分，星期四9.4.3 參量s的意義 圖9.4.1 二元信源的R(D)函數(shù)曲線 48第48頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5 連續(xù)信源信息率失真函數(shù)在前面學(xué)習(xí)離散信源R(D)函數(shù)的基礎(chǔ)上，本節(jié)介紹離散時(shí)間連續(xù)信源的R(D)函數(shù)。首先介紹R(D)函數(shù)定義和性質(zhì)，然后推導(dǎo)R(D)函數(shù)的計(jì)算，特別是差值失真測度的R(D)函數(shù)。與離散情況相比，R(D)函數(shù)定義和性質(zhì)有類似性，但也有不同；而R(D)函數(shù)的計(jì)算需要求有約束的泛函極值，因此過程更為復(fù)雜。49第49頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.1 信息率失真函數(shù)與性質(zhì)設(shè)

20、時(shí)間離散連續(xù)信源X，概率密度為p(x)，試驗(yàn)信道轉(zhuǎn)移概率p(y|x)，輸出為q(y)。定義平均失真為 （9. 5. 1）50第50頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.1 信息率失真函數(shù)與性質(zhì)對所有試驗(yàn)信道集合PD，在滿足失真度DD*時(shí)，信息率失真函數(shù)定義為： （9. 5.2）其中 。 51第51頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.1 信息率失真函數(shù)與性質(zhì)與離散信源類似，可以證明R(D)函數(shù)有以下性質(zhì)：（1）非負(fù)性；（2） 在區(qū)間是單調(diào)遞減函數(shù)；（3） 在區(qū)間是下凸函數(shù)；其中， 對應(yīng)著X，Y獨(dú)立時(shí)的最小平均失真，所以 （9. 5.3）5

21、2第52頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.1 信息率失真函數(shù)與性質(zhì)與離散情況不同的是，在D=0時(shí)，R(D)并不連續(xù)。在D0時(shí)，R(D) ，趨近信源的絕對熵。對離散情況，H(X)是R(0)的上界；對連續(xù)情況，h(X)不是R(0)的上界，而且h(X)還可能為負(fù)。53第53頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.2 R(D)函數(shù)的計(jì)算在連續(xù)信源情況下用條件概率密度來描述試驗(yàn)信道，在滿足（9. 5. 1）約束條件下，求（9. 5.2）R(D)函數(shù)的極小值確定試驗(yàn)信道的條件概率密度，歸結(jié)為求有約束泛函極值的問題。即求 （9. 5. 4） 54第5

22、4頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.2 R(D)函數(shù)的計(jì)算的極小值，滿足約束為 （9. 5. 5） 和 （9. 5. 6） 求泛函極值，等價(jià)于使下式的一階變分為0。 (9. 5. 7）55第55頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.2 R(D)函數(shù)的計(jì)算令 ，有通過推導(dǎo)，得 (9. 5. 8）其中， 與離散情況相似，可得 (9. 5. 9） 56第56頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.2 R(D)函數(shù)的計(jì)算當(dāng)時(shí) ，有 (9. 5. 10）平均失真為 (9. 5.11） (9. 5. 12） 57第57頁

23、，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.2 R(D)函數(shù)的計(jì)算可以證明，s是R(D)函數(shù)的斜率。58第58頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.3 差值失真測度 差值失真測度指的是平方誤差測度 和絕對值誤差測度 。在差值失真測度下， (9. 5. 10）式變?yōu)?(9. 5. 13）59第59頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.3 差值失真測度(9. 5. 13）式表示 與 的卷積為1，所以 的頻譜與 的頻譜乘積為沖激。 而 在整個(gè)頻率域，所以 的頻譜為沖激，因此， （常數(shù)） (9. 5. 14） (9. 5. 1

24、5） (9. 5. 15）成立的條件是 。在差值失真測度下，(9. 5. 9）變?yōu)?0第60頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.3 差值失真測度 (9. 5. 16）由(9. 5. 14）、(9. 5. 16）和(9. 5. 15），得 (9. 5. 17） 可見，p(x)為q(x)與的卷積，其中 (9. 5. 18） 61第61頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.5.3 差值失真測度設(shè)表示隨機(jī)變量 的概率密度，那么x= +y，或 = x-y，所以表示誤差的概率密度。62第62頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.

25、6 高斯信源的R(D)函數(shù) 本節(jié)就高斯信源和平方誤差測度 的情況下研究R(D)函數(shù)。這里僅研究離散時(shí)間無記憶高斯信源和獨(dú)立并聯(lián)信源兩種情況。63第63頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源 由(9. 5. 15），對于平方誤差測度有 (9. 6. 1）根據(jù)(9. 5. 18），得 (9. 6. 2） 應(yīng)注意，(9. 6. 2）的結(jié)果僅與失真測度的選取有關(guān)，而與信源分布無關(guān)。 64第64頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源設(shè) ， ， ， 這里表示傅氏變換關(guān)系。對于均值為零、方差 為 的高斯信源X

26、，概率密度為 ，那么 ，同時(shí)還有 由 65第65頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源得知y也為高斯分布，且 (9. 6. 3）平均失真為 （與q(y)無關(guān)） (9. 6. 4）66第66頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源將(9. 6. 4）的結(jié)果代入(9. 6. 2），得 (9. 6. 5） (9. 6. 5）表明達(dá)到R(D)時(shí)，誤差是高斯分布，方差等于D。將(9. 6. 4）的結(jié)果代入(9. 6. 3），得 (9. 6. 6）67第67頁，共112頁，2022年，5月20日，8點(diǎn)41分，

27、星期四961 離散時(shí)間無記憶高斯信源(9. 6. 5）表明達(dá)到R(D)時(shí)，試驗(yàn)信道的輸出也是高斯分布，方差等于 ，并且與誤差獨(dú)立。率失真函數(shù)為將(9. 6. 4）和(9. 6. 1）代入，得 68第68頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源對以上結(jié)果，我們歸納為下面的定理：定理9.6.1 一個(gè)無記憶任意均值、方差為 的高斯信源，在平方誤差準(zhǔn)則下的信息率失真函數(shù)為： 其中, ,且69第69頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源圖961為高斯信源的R(D)函數(shù)曲線。下面為高斯信源R(D)函數(shù)的注釋：

28、70第70頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源圖961 高斯信源的R(D)函數(shù)71第71頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源（1）此R(D)函數(shù)是在平方誤差準(zhǔn)則下推出的，不適用其他準(zhǔn)則；（2）R(D)函數(shù)是高斯信源實(shí)現(xiàn)平均失真小于等于D的有損編碼可達(dá)到的最低速率。簡單說明如下：設(shè)一個(gè)有失真編碼包含 個(gè)碼字，每個(gè)信源序列的長度為n。所有信源序列都位于半徑為 的大球內(nèi)，且都應(yīng)該位于以某個(gè)碼字為中心，半徑為 的小球內(nèi)。 72第72頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離

29、散時(shí)間無記憶高斯信源因此為充滿大球所需最少的小球數(shù)目也就是最少的碼字?jǐn)?shù)為 (9. 6. 8） 因此，只要 ，就能使平均失真小于等于D。（3） 稱為有損壓縮的信噪比；當(dāng)信源功率給定，平均失真越大，信噪比越小，所需碼率也越小。73第73頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源（4）當(dāng)D=0時(shí)，R(D)= ；當(dāng)D= 時(shí)， R(D)=0。這說明，對于連續(xù)信源，當(dāng)平均失真為0時(shí)，所需要的信息率為無限大5）高斯信源失真率函數(shù) (9. 6. 9）上式通過求(9. 6. 7）的反函數(shù)得到，其中，R為編碼器的碼率，單位為比特/符號。D(R)表示，當(dāng)高斯信源有損壓縮

30、的碼率為R時(shí)，可以達(dá)到的最小平均失真。所以對于任意碼率為R的高斯信源有損編碼器，其平均失真D，滿足 (9. 6. 10）74第74頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源例961 一個(gè)均值為零的離散時(shí)間高斯信源作為限失真信源編碼器的輸入，該編碼器是一個(gè)量化器，輸出256個(gè)量化電平，輸出信噪比SNR用輸入信號的均方值與均方誤差的比來量度；（1）求編碼器的碼率；（2）SNR能否達(dá)到49dB？ 解 （1）編碼器的碼率： 比特/信源符號； 75第75頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四961 離散時(shí)間無記憶高斯信源（2）SNR不能達(dá)

31、到49dB。解釋如下： 根據(jù) (9. 6. 10），有76第76頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四 962 獨(dú)立并聯(lián)高斯信源一個(gè)多維離散時(shí)間高斯信源 ，其中，X1、X2、XN是N個(gè)獨(dú)立零均值、方差為 的高斯隨機(jī)變量 ，稱這種信源為獨(dú)立并聯(lián)高斯信源，其中各Xi為子信源。 設(shè)每個(gè)的失真測度為均方失真，即 ，i=1，N；獨(dú)立并聯(lián)高斯信源 的失真測度為 (9. 6. 8）77第77頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源設(shè)信源 的信息率失真函數(shù)為 ，各并聯(lián)信源的信息率失真函數(shù)為 ，i=1，N；那么 (9. 6. 9） (9. 6. 10

32、）78第78頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源因?yàn)閄1、X2、 是獨(dú)立的，所以，僅當(dāng)各信道獨(dú)立時(shí)等式成立，即時(shí)等式成立，所以 僅當(dāng) 各信道獨(dú)立時(shí)等式成立，即 時(shí)等式成立，所以 (9. 6. 11）79第79頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源這樣，相當(dāng)于在 (9. 6. 9）的約束下，求 (9. 6. 11）的極小值，與求并聯(lián)高斯信道容量類似，采用拉格朗日乘子法。由于各 的方差為 ，平均失真為 ，所以令 得 （常數(shù)），但由于對各子信源，最大的失真就是方差，所以當(dāng) 時(shí)， ；80第80頁，共112頁，20

33、22年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源綜合起來，就有 (9. 6. 12）這是因?yàn)?，對于每個(gè) ， 的最大值就是 。 81第81頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源圖962為平均失真分配示意圖，與信道容量的注水解釋類似，稱為倒注水原理。假定水池中的總水量（圖中的陰影部分）表示總平均失真，并聯(lián)信源各子信源的方差表示倒置在水池中的容器底部的高度，達(dá)到R（D）時(shí)，底部高的未注滿水，且各個(gè)未注滿水部分的水面高度是相同的，B就是水面高度，也就是分配的平均失真；底部低的部分（相當(dāng)于方差小于B）已注滿水，水面高度與底部高度同，分配的平均失真

34、就是方差。82第82頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源從所需碼率的角度看，方差小于B的Xi的為0，即所需的碼率為零，發(fā)送端僅對方差不小于B的Xi進(jìn)行編碼并傳送，就能達(dá)到平均失真的要求。根據(jù)倒注水原理，有 (9. 6. 13） B可通過下式來確定 (9. 6. 14） 83第83頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源其中，K 為滿足 的子信源的個(gè)數(shù)，滿足此條件的稱為被使用的子信源。所求函數(shù)為 (9. 6. 15）84第84頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源注

35、：（1）如果對總失真有要求，那么重點(diǎn)處理功率大的信號；（2）如果總失真允許較大，功率小的信號可以不予處理；（3）只有滿足 的子信源對R（D）有貢獻(xiàn)。 將每個(gè)子信源的方差按大小順序排序，得 (9. 6. 16）85第85頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源在平均失真從0逐漸增大的過程中，從對所有子信源的全部使用開始，按(9. 6. 16）所表示的方差大小的順序，逐個(gè)從被使用的子信源集合中排除，直至所有子信源都不被使用，此時(shí)對應(yīng)最大的平均失真，為所有子信源方差的和，對應(yīng)的R（D）=0。86第86頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四

36、962 獨(dú)立并聯(lián)高斯信源圖962 平均失真分配的倒注水原理。87第87頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源例9.6.1 一個(gè)二維獨(dú)立高斯信源（X1X2），其中X1 、X2均值都為零，方差分別為2和4，采用均方失真測度，求該信源的R(D)函數(shù)。如果 X1、X2都使用，根據(jù)(9. 6. 14）和 (9. 6. 12），有 和 ，得 ， 88第88頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四962 獨(dú)立并聯(lián)高斯信源如果僅使用X2，有 和 ，得，由 和所求 R(D)函數(shù)89第89頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四 9.

37、7 一般連續(xù)信源R(D)函數(shù)對于一般的信源分布，難于得到簡明的函數(shù)的表達(dá)式。下面的定理給出了一般連續(xù)信源的函數(shù)的界 90第90頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四 9.7 一般連續(xù)信源R(D)函數(shù)定理9.7.1 一均值為0，方差為 的連續(xù)信源X，熵為h(X)，定義失真函數(shù)為 ，則 (9. 7. 1）僅當(dāng)X為高斯信源時(shí)，等式成立。91第91頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9.7 一般連續(xù)信源R(D)函數(shù)不等式的左邊是均方失真準(zhǔn)則下的仙農(nóng)低界（Shannon lower bound）。定理的結(jié)果表明，在均方失真準(zhǔn)則下，相同方差的信源要達(dá)到同樣的均方失

38、真，高斯信源有最大的值。從數(shù)據(jù)壓縮的角度看，高斯信源是最難壓縮的信源。 92第92頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四*9.8 有損數(shù)據(jù)壓縮技術(shù)簡介 雖然信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎(chǔ)，但在相當(dāng)長的時(shí)間內(nèi)將這種理論應(yīng)用于有損數(shù)據(jù)壓縮實(shí)踐的成效不大。原因是：（1）這種理論需要研究信源的統(tǒng)計(jì)模型；（2）對不同的信源，有效的失真測度難于確定；（3）有效編碼的復(fù)雜度較大。 近十幾年來，信息率失真理論的研究和應(yīng)用得到很大發(fā)展，主要包括：開發(fā)達(dá)到R(D)速率的信源編碼技術(shù)，尋找符合用戶需要的有意義的失真測度，尋求對重要信源的合理的統(tǒng)計(jì)模型。本節(jié)就有損編碼的主要方式：量化，預(yù)測

39、編碼和變換編碼做簡單介紹。 93第93頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9. 8. 1 量化1標(biāo)量量化 連續(xù)信源限失真編碼的主要方法是量化，就是把連續(xù)的樣值離散化成若干離散值。設(shè)離散值的個(gè)數(shù)為n，那么這n個(gè)實(shí)數(shù)可用n個(gè)數(shù)字來表示。量化后的信號成為數(shù)字信號。由于這種數(shù)字化必然引入失真，所以在量化時(shí)必須使失真限制到最小。 對于一維連續(xù)信源輸出的量化稱為標(biāo)量量化。最佳標(biāo)量量化就是使量化后的平均失真最小。量化后的信息率為R=log n，也就是表示量化后每個(gè)樣值所需的比特?cái)?shù)。 實(shí)際上，為使編譯碼簡單可以采用均勻量化。在語音編碼中，先對信號進(jìn)行非線性壓縮，再進(jìn)行均勻量化。 標(biāo)量量化

40、主要分為：均勻標(biāo)量量化和非均勻標(biāo)量量化94第94頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9. 8. 1 量化2矢量量化 矢量量化的基本原理就是將若干個(gè)標(biāo)量數(shù)據(jù)構(gòu)成一個(gè)矢量，然后在矢量空間中量化。為壓縮比特率，當(dāng)矢量被量化后，傳送的是它的一個(gè)序號。 這樣，需要一個(gè)碼書儲(chǔ)存典型的數(shù)據(jù)矢量（碼矢量）和對應(yīng)的序號。當(dāng)編碼時(shí)，將輸入數(shù)據(jù)矢量和每個(gè)碼矢量比較，并將與輸入矢量最相似的碼矢量對應(yīng)的序號作為輸入數(shù)據(jù)的編碼來發(fā)送。在接收端則利用與發(fā)送端相同的碼書尋找與發(fā)送序號所對應(yīng)的碼矢量重建信源信號。矢量量化主要分為：均勻矢量量化和非均勻矢量量化。 95第95頁，共112頁，2022年，5月2

41、0日，8點(diǎn)41分，星期四9. 8. 2 預(yù)測編碼 預(yù)測編碼是基于時(shí)域波形信源壓縮的技術(shù)，是語音編碼中使用的重要方法并在圖象編碼中得到應(yīng)用。預(yù)測編碼的基本思想是：由于量化器輸入為信號樣值和預(yù)測值的差，與原信號相比動(dòng)態(tài)范圍減小，從而使碼率減小；而且這個(gè)差值基本上不相關(guān)甚至獨(dú)立，因此可以用對無記憶信源的方法實(shí)現(xiàn)信源編碼。雖然上面所述的最佳預(yù)測函數(shù)可使均方誤差最小，但為求預(yù)測函數(shù)必須知道r+1個(gè)隨機(jī)變量的聯(lián)合概率密度函數(shù)。在一般情況下，這是很困難的。對于聯(lián)合高斯分布的隨機(jī)變量，由條件期望所得的最佳預(yù)測函數(shù)就是線性函數(shù)，而對于其他分布，線性預(yù)測不是最佳預(yù)測。線性預(yù)測方法比求條件期望簡單得多，所以常將線性

42、預(yù)測用于所有的隨機(jī)過程。96第96頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9. 8. 2 預(yù)測編碼線性預(yù)測在語音編碼得到廣泛應(yīng)用。在語音波形編碼中，有調(diào)制、DPCM調(diào)制和 APC編碼（自適應(yīng)預(yù)測編碼）。在參量編碼中，有線性預(yù)測（LPC）聲碼器（ 利用線性預(yù)測技術(shù)對話音進(jìn)行分析合成的系統(tǒng)）。在經(jīng)典的LPC聲碼器中，發(fā)送端提取話音的線性預(yù)測系數(shù)、基音周期、清/濁音判決信息以及增益參數(shù)，然后進(jìn)行量化編碼；在接收端則利用線性預(yù)測語音產(chǎn)生模型來恢復(fù)原始話音。由于預(yù)測模型所采用的激勵(lì)源不同，可分為三類不同的LPC聲碼器：經(jīng)典LPC聲碼器、混合激勵(lì)LPC聲碼器和殘差激勵(lì)線性預(yù)測（RELP）

43、聲碼器。 97第97頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9. 8. 2 預(yù)測編碼近十幾年來，參量編碼與波形編碼相結(jié)合的語音混合編碼技術(shù)得到很大發(fā)展，這種技術(shù)的特點(diǎn)是（1）編碼器既利用聲碼器的特點(diǎn)（利用語音產(chǎn)生模型提取語音參數(shù)）又利用波形編碼的特點(diǎn)（優(yōu)化激勵(lì)信號使其達(dá)到與輸入語音波形的匹配）；（2）利用感知加權(quán)最小均方誤差準(zhǔn)則使編碼器成為一個(gè)閉環(huán)優(yōu)化系統(tǒng)；（3）在較低碼率上獲得較高的語音質(zhì)量。98第98頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9. 8. 2 預(yù)測編碼這類編碼器包括：多脈沖激勵(lì)線性預(yù)測（MPLP或MPC）編碼，正規(guī)脈沖激勵(lì)（RPE）編碼和碼激

44、勵(lì)線性預(yù)測（CELP）編碼CELP語音編碼器是最具有吸引力的語音壓縮編碼方式之一，它的特點(diǎn)是： 1）使用矢量量化的碼書對激勵(lì)序列進(jìn)行編碼； 2）采用包含感知加權(quán)濾波器和最小均方誤差準(zhǔn)則的閉環(huán)系統(tǒng)選擇碼矢量 當(dāng)前使用CELP算法的語音編碼標(biāo)準(zhǔn)有，低延遲碼激勵(lì)線性預(yù)測（LD-CELP）編碼器（16kbps語音編碼國際標(biāo)準(zhǔn)(G.728建議)）， 共軛結(jié)構(gòu)代數(shù)碼激勵(lì)線性預(yù)測（CS-ACELP）編碼器（8kbps語音編碼國際標(biāo)準(zhǔn)(G.729建議)）等。99第99頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9. 8. 3 子帶編碼子帶編碼的技術(shù)要點(diǎn)如下：（1）信源通過一個(gè)帶通濾波器組，濾波器的輸出搬移到低通并進(jìn)行抽??；（2）每路時(shí)域信號用PCM，DPCM或其他時(shí)域壓縮技術(shù)編碼；（3）在接收機(jī)，每路信號被譯碼后，再搬移回到原來濾波前的頻帶，所有的信號再進(jìn)行內(nèi)插；（4）然后所有分量相加得到總的重建信號；（5）采用正交鏡象濾波器，以保證信號被濾波器組濾波后能夠在恢復(fù)時(shí)頻譜上不失真。 子帶編碼技術(shù)首先應(yīng)用于語音壓縮然后用于圖象壓縮。在子帶編碼中，可以用不同的比特?cái)?shù)對子帶編碼將失真孤立在單個(gè)頻帶以實(shí)現(xiàn)較好的感知編碼性能。子帶編碼在12到24kbps速率范圍，在性能和復(fù)雜度上很有競爭力。100第100頁，共112頁，2022年，5月20日，8點(diǎn)41分，星期四9. 8. 4 變