信息論與編碼講義第十八講

1、信息論與編碼講義第十八講第1頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/115.2 離散信道編碼定理首先需要說明，上述離散信道編碼的編碼速率（信息率R ）本來是設(shè)備所確定的。當(dāng)信源每秒產(chǎn)生ns個字母，信道編碼所使用的設(shè)備每秒產(chǎn)生nc個字母，則設(shè)備所確定的編碼速率就是R = ns/nc。其次，實際編碼速率（實際信息率L/N ）必須不小于設(shè)備所確定的編碼速率：L/N R。于是對離散信道編碼有了以下兩條相互矛盾的要求：（1）實際編碼速率L/N 盡可能小以便使正確譯碼（正確接收）的概率盡可能接近1。（2）實際編碼速率不小于設(shè)備所確定的編碼速率L/N R。第2頁，共11頁，20

2、22年，5月20日，1點17分，星期一2022/9/125.2 離散信道編碼定理設(shè)信源序列經(jīng)過信源編碼后變成了如下的序列X-2X-1X0X1X2。設(shè)各隨機變量獨立同分布。記H(X)為X0的熵，C為信道容量。如果設(shè)備所確定的編碼速率RC/H(X)，則不能夠同時滿足這兩條要求。（如果設(shè)備所確定的編碼速率R=C/H(X)，則情況如何？很復(fù)雜，屬于邊界情況，沒有簡單整齊的結(jié)論。 ）第3頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/135.2 離散信道編碼定理 ，F(xiàn)ano不等式。上面定義的U和V空間中的事件滿足下述不等式：第4頁，共11頁，2022年，5月20日，1點17分，星期

3、一2022/9/145.2 離散信道編碼定理令 是信息序列 和譯碼判決序列 的聯(lián)合集，令 。則第5頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/155.2 離散信道編碼定理定理5.2.3（編碼逆定理）設(shè)離散平穩(wěn)源的字母表有M個字母，且熵為 ，每 秒產(chǎn)生一個字母。令離散無記憶信道的容量為 ，每 秒送出一個信道符號。若長為L的信息序列被編成長為 的碼子，則誤碼率 滿足（5.2.8）式，當(dāng) 時 為非零值。第6頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/16定義令X、Y是兩個概率空間， ， 。若序列對 和 滿足：是 典型序列，即對任意小的正數(shù) ，存在

4、使是 典型序列，即對任意小的正數(shù) ，存在 使是 典型序列，即對任意小的正數(shù) ，存在 使就稱序列對 和 是聯(lián)合 典型序列第7頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/17定義 長 的 典型序列集定義為式中的 是 中的任意子集。第8頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/185.2 離散信道編碼定理定義對給定離散無記憶信道和任意 ，若有一種編碼速率為的 碼，在 足夠大時，能使 ，就稱 是可達的。第9頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/195.2 離散信道編碼定理（Shannon信道編碼定理）給定容量為 的離散無記憶信道 ，若編碼速率 ，則 是可達的。第10頁，共11頁，2022年，5月20日，1點17分，星期一2022/9/1105. 3 離散信道編碼定理定理(p122) （Shannon信道編碼定理）如果設(shè)備所確定的編碼速率RC/H(X)，則對任何正整數(shù)L（L