信息論與編碼清華大學

1、本課程主要內(nèi)容1. 緒論2. 信源與信息熵3. 信道與信道容量4. 信息率失真函數(shù)5. 信源編碼6. 信道編碼7. 加密編碼8. 網(wǎng)絡(luò)信息理論簡介2普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著第1章 緒論 通信系統(tǒng)模型方框圖:信源信宿信源編碼加密信源譯碼解密信道編碼信道譯碼信道干擾噪聲有效性、可靠性、安全性( )( )()iip xI xH X第2章 信源與信息熵()RH X012( )( )( )( )H XH XHHXX():11()mHXHX 冗余度()()log ()iiiH Xp xp x ,(/)( ,)log(/)ijiji jH X Yp x yp xy ,(,

2、 )( ,)log ( ,)ijiji jH X Yp x yp x y 單符號離散信源熵u符號熵u條件熵u聯(lián)合熵(, )()(/)H X YH XH YX第2章 信源與信息熵 馬氏鏈信源：()( )(/)iiiHp s H X sX第3章 信道與信道容量信道容量);(max)(YXICiap(/)(; )jip yxI X YCRC(; )1I X YC信道相對剩余度 = 第3章 信道與信道容量mjijijppmC1loglog對稱DMC信道的容量準對稱DMC信道的容量（三種求法）限時限頻限功率加性高斯白噪聲信道log(1)/tCWSNR bit s第4章 信息率失真函數(shù)平均失真率失真函數(shù)其

3、定義域為0Dmax，其值域為0H(X)。當DDmax時，R(D) 0。,( )/( ,)ijiiji jDp x p yx d x y ()min (; )ijDpPR DI X YniijimjdpD1,2, 1maxmin普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著8第5章 信源編碼 編碼的定義：分組碼、變長碼、非奇異碼、唯一可譯碼、即時碼、非延長碼 唯一可譯碼存在的充要條件 編碼效率 香農(nóng)（Shannon）碼、哈夫曼（Huffman）碼、算術(shù)碼 無失真信源編碼定理 /限失真信源編碼定理 9普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 差錯、差錯控制差錯、差

4、錯控制 信道編碼、信道編碼定理信道編碼、信道編碼定理 糾錯編碼糾錯編碼 信道譯碼信道譯碼第6章 信道編碼10普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著最優(yōu)譯碼與最大似然譯碼 最佳譯碼最佳譯碼 Max P(ci /r)，性能優(yōu)，實現(xiàn)難 最大似然譯碼最大似然譯碼 Max P(r / ci)，性能次優(yōu)，實現(xiàn)容易 最佳譯碼等同最大似然譯碼：最佳譯碼等同最大似然譯碼： 碼集的碼字以相同概率發(fā)送 接收碼等概分布icic第6章 信道編碼11普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著線性分組碼 線性分組碼基本概念 碼元、碼字、碼集重量、重量分布、恒重碼線性碼（封閉性）基底、

5、矢量正交、矢量空間正交、對偶空間、線性相關(guān)、線性無關(guān) 生成矩陣、校驗矩陣、伴隨式、標準陣列譯碼、完備碼、循環(huán)碼12普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著碼距與糾、檢錯能力 碼的總體性能取決于碼距的分布特性（重重量譜量譜），而糾、檢錯能力取決于其中的最小者dmin ，dmin = min w (C i ) 檢、糾錯能力： 可檢dmin1個差錯 可糾t= INT(dmin1)/2個差錯 校驗矩陣H中有（dmin-1)列線性無關(guān) dmin (n-k+1)，極大最小距離碼極大最小距離碼 13普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著第7章 加密編碼 加密編碼的基本概念