信息論與編碼復(fù)習(xí)

1、信息論與編碼信息論與編碼復(fù)習(xí)復(fù)習(xí)2022年5月12日星期四考試題型考試題型簡答題（簡答題（30分，（分，（7分、分、8分分/題）題）*2）計算題（計算題（10分分/題題*7）卷面成績卷面成績70%,平時成績平時成績30分分第1章 概論掌握通信系統(tǒng)的基本模型；掌握通信系統(tǒng)的基本模型；掌握信息論的研究內(nèi)容。掌握信息論的研究內(nèi)容。第2章 信源熵概念：概念：自信息量自信息量平均互信息量平均互信息量熵功率熵功率信源冗余度信源冗余度極限熵極限熵平均符號熵：見例題平均符號熵：見例題第2章 信源熵定理定理離散信源的最大熵定理離散信源的最大熵定理限平均功率的連續(xù)信源的最大熵定理限平均功率的連續(xù)信源的最大熵定理離

2、散信源的無失真定長編碼定理離散信源的無失真定長編碼定理離散信源的最佳變長編碼定理離散信源的最佳變長編碼定理第二章續(xù)計算：計算：某個事件發(fā)生后對外提供的自信息量某個事件發(fā)生后對外提供的自信息量例如作業(yè)（例如作業(yè)（2.1，2.4（1），），2.15（2），），2.18（自信息量的綜合應(yīng)用）（自信息量的綜合應(yīng)用）某個單符號信源的熵某個單符號信源的熵例如作業(yè)：例如作業(yè)：（2.5（3）（）（4），），2.17（1）序列信源的熵序列信源的熵例如作業(yè)：（例如作業(yè)：（2.15（3）第二章續(xù)計算：計算：對于一階和二階馬爾可夫信源：對于一階和二階馬爾可夫信源：會計算達到穩(wěn)態(tài)時的狀態(tài)概率分布（作業(yè)會計算達到穩(wěn)態(tài)時的

3、狀態(tài)概率分布（作業(yè)2.16（1）和極限熵（作業(yè)）和極限熵（作業(yè)2.16（2），），2.17（2）和）和p48 例例2.2.4）；）；給定狀態(tài)轉(zhuǎn)移概率，會畫狀態(tài)轉(zhuǎn)移圖，反給定狀態(tài)轉(zhuǎn)移概率，會畫狀態(tài)轉(zhuǎn)移圖，反之亦要求。之亦要求。第二章第二章續(xù)續(xù)計算：計算：信源冗余度的計算（作業(yè)信源冗余度的計算（作業(yè)2.172.17（3 3）根據(jù)給出的離散信源，能夠進行定長編碼，根據(jù)給出的離散信源，能夠進行定長編碼，求出碼字（作業(yè)求出碼字（作業(yè)5.15.1）。）。掌握信源編碼器的性能指標(biāo)（編碼效率掌握信源編碼器的性能指標(biāo)（編碼效率）及其與碼長（及其與碼長（k k）之間的關(guān)系。）之間的關(guān)系。第二章續(xù)計算：計算：已知一

4、個非高斯信源的熵已知一個非高斯信源的熵H H，能夠求出高斯信源達到此熵所需的功能夠求出高斯信源達到此熵所需的功率率求出此高斯信源的概率密度函數(shù)求出此高斯信源的概率密度函數(shù)PxePxp2221)(HeeP221第3章 信道容量概念與定理：概念與定理：掌握信道容量的概念和用途掌握信道容量的概念和用途掌握什么是信道編碼定理掌握什么是信道編碼定理掌握連續(xù)信源的信道容量掌握連續(xù)信源的信道容量第3章 信道容量計算：計算：對稱離散無記憶信道的容量的求解和應(yīng)用對稱離散無記憶信道的容量的求解和應(yīng)用如課后作業(yè)如課后作業(yè)4.6準(zhǔn)對稱信道的容量的求解和應(yīng)用。準(zhǔn)對稱信道的容量的求解和應(yīng)用。rkkkmiMNHnC122l

5、oglog準(zhǔn)對稱maxmax2)(HlogRXItCRHmCmi消息的長度符號速率對稱第3章 信道容量計算：計算：均勻信道容量的求解：已知一個信源有均勻信道容量的求解：已知一個信源有n n個符號，個符號，傳輸?shù)恼_概率為傳輸?shù)恼_概率為p p，錯誤概率均勻的分配給其，錯誤概率均勻的分配給其余的符號，求余的符號，求該信道的轉(zhuǎn)移概率矩陣該信道的轉(zhuǎn)移概率矩陣求該信道的信道容量求該信道的信道容量miHnC2log對稱nnpnpnpnpnpnpnppnpnpnppXYP111111111)/(第3章 信道容量掌握離散無記憶信道的掌握離散無記憶信道的N N次擴展信道的容量的次擴展信道的容量的求解求解無噪信

6、道的容量：見作業(yè)無噪信道的容量：見作業(yè)3.143.14應(yīng)用連續(xù)信道的信道容量公式進行解題應(yīng)用連續(xù)信道的信道容量公式進行解題連續(xù)信道的容量連續(xù)信道的容量)1 (log2NSBC連續(xù)單符號無記憶信道次擴展NCCN第3章 信道容量應(yīng)用連續(xù)信道的信道容量公式進行解題應(yīng)用連續(xù)信道的信道容量公式進行解題所需的信號功率所需的信號功率如作業(yè)如作業(yè)3.193.19注意：注意：C C就是信號的傳輸速率就是信號的傳輸速率dBdB表示的信噪比在代入時要進行轉(zhuǎn)換表示的信噪比在代入時要進行轉(zhuǎn)換第3章 信道容量計算計算帶寬無窮大時連續(xù)信道的容量帶寬無窮大時連續(xù)信道的容量帶寬無窮大時，連續(xù)信號傳輸所需的信號功率帶寬無窮大時，

7、連續(xù)信號傳輸所需的信號功率如作業(yè)如作業(yè)3.203.20：注意：注意：噪聲功率有時并不直接給出，而是給出噪聲功率有時并不直接給出，而是給出噪聲功率譜密度噪聲功率譜密度N N0 0和帶寬和帶寬B,B,則則N= NN= N0 0B BenSCB20log第4章 信息率失真函數(shù)概念和定理：概念和定理：掌握保真度準(zhǔn)則下的信源編碼定理掌握保真度準(zhǔn)則下的信源編碼定理掌握信息率失真函數(shù)的概念、哪些應(yīng)用掌握信息率失真函數(shù)的概念、哪些應(yīng)用信息率失真函數(shù)與信道容量的區(qū)別與聯(lián)系信息率失真函數(shù)與信道容量的區(qū)別與聯(lián)系計算：計算：對于離散信源對于離散信源( (如作業(yè)如作業(yè)4.1(1)4.1(1)：D Dmaxmax,R(D

8、,R(Dmaxmax) )，及達到，及達到D Dmaxmax時對應(yīng)的信道轉(zhuǎn)移概率分時對應(yīng)的信道轉(zhuǎn)移概率分布布010010)/(XYP*121211111max)(),(minminjnnnnnjjjDddddddxpxpDD0)(maxDR第j*列(1)(2)(3)第4章 信息率失真函數(shù)計算：計算：對于離散信源對于離散信源( (如作業(yè)如作業(yè)4.1(2)4.1(2)：D Dminmin,R(D,R(Dminmin) )，及達到，及達到D Dminmin時對應(yīng)的信道轉(zhuǎn)移概率分布時對應(yīng)的信道轉(zhuǎn)移概率分布ijijiyxdxpDD),(min)(minmin)50. 2 . 4( ,120),()()0

9、()(, 0minminpDRXHRDRD詳見為對稱時的種等概信源，失真函數(shù)否則，只要求大家會一則若P(Y/X):P(Y/X):失真矩陣每行最小的元素對應(yīng)的位置的轉(zhuǎn)失真矩陣每行最小的元素對應(yīng)的位置的轉(zhuǎn)移概率才為移概率才為1 1，其它為，其它為0 0(1)(2)(3)第4章 信息率失真函數(shù)計算：計算：對于離散信源對于離散信源( (如作業(yè)如作業(yè)4.1(3)4.1(3)：R(D)R(D)的計算、的計算、R(D)R(D)與與D D的關(guān)系圖的關(guān)系圖只要求等概信源，對稱失真的只要求等概信源，對稱失真的R(D),R(D),見見P120 P120 (4.2.50(4.2.50式式) )關(guān)系圖見關(guān)系圖見P109

10、 P109 圖圖4.1.14.1.1（注意區(qū)分離散和連續(xù)（注意區(qū)分離散和連續(xù)信源），所取的點的縱坐標(biāo)根據(jù)信源），所取的點的縱坐標(biāo)根據(jù)R(D)R(D)的計算式的計算式求得求得第4章 信息率失真函數(shù)計算：計算：對于連續(xù)信源（例：課堂上講的兩個例子）對于連續(xù)信源（例：課堂上講的兩個例子）失真函數(shù)為均方失真時，給定的連續(xù)信源的失真函數(shù)為均方失真時，給定的連續(xù)信源的D Dmaxmax和和R(D)R(D)的計算。的計算。失真函數(shù)是絕對失真時，給定的指數(shù)分布信源的失真函數(shù)是絕對失真時，給定的指數(shù)分布信源的D Dmaxmax和和R(D)R(D)的計算。的計算。DDDRdxyxdxpDymaxmaxln21)(

11、),()(minDDRD1ln)(1max第4章 信息率失真函數(shù)計算：計算：信息率價值（課后作業(yè)：信息率價值（課后作業(yè)：4.94.9）)/()()()/()/()();()()(maxXYPXPYPDXYPXYHYHYXIDRDRDDv 移概率分布時選擇的試驗信道的轉(zhuǎn)是達到其中，第4章 信息率失真函數(shù)第5章 信源編碼掌握最佳變長信源編碼定理。掌握最佳變長信源編碼定理。計算：計算：給定一個離散信源：給定一個離散信源：能進行二進制香農(nóng)編碼能進行二進制香農(nóng)編碼二二/ /三進制費諾編碼三進制費諾編碼二二/ /三進制哈夫曼編碼三進制哈夫曼編碼等長編碼等長編碼平均碼長、編碼速率和編碼效率。平均碼長、編碼速

12、率和編碼效率。給定一個采樣信號值，會計算：給定一個采樣信號值，會計算：A A率率1313折線非均勻量化編碼折線非均勻量化編碼量化噪聲量化噪聲第6章 信道編碼概念和定理：概念和定理：信道編碼的作用信道編碼的作用; ;信道編碼器的性能指標(biāo)及其與碼長之間的關(guān)系信道編碼器的性能指標(biāo)及其與碼長之間的關(guān)系第6章 信道編碼計算：計算：對于線性分組碼對于線性分組碼已知已知G,G,會求碼字；或已知編碼規(guī)則，會求會求碼字；或已知編碼規(guī)則，會求G G：例例p176 6.2.2p176 6.2.2已知已知G G，會求，會求G GS S和和H HS S: :例：例：p177 6.2.3p177 6.2.3能夠進行伴隨式

13、譯碼能夠進行伴隨式譯碼: :例：步驟見例：步驟見p178p178，課，課件中有具體的例子件中有具體的例子計算：對于循環(huán)碼，已知（對于循環(huán)碼，已知（n,kn,k）循環(huán)碼）循環(huán)碼且已知且已知m,m,求生成的一般循環(huán)碼。求生成的一般循環(huán)碼。方法方法1 1：c(x)=m(x)g(xc(x)=m(x)g(x) )方法方法2 2：求：求g(xg(x),),并根據(jù)并根據(jù)g(xg(x) )求求G G，最后：，最后： c=mGc=mG 例例p191-192 6.3.3,p193 6.3.4p191-192 6.3.3,p193 6.3.4第6章 信道編碼計算：計算：對于循環(huán)碼，已知（對于循環(huán)碼，已知（n,kn,

14、k）循環(huán)碼）循環(huán)碼會求系統(tǒng)循環(huán)碼碼字會求系統(tǒng)循環(huán)碼碼字: :方法方法1 1：由：由G G經(jīng)過初等行變換得經(jīng)過初等行變換得G Gs s, ,再通過再通過C=mGC=mGS S得系統(tǒng)循環(huán)碼碼字：變換方法見得系統(tǒng)循環(huán)碼碼字：變換方法見p177 6.2.3p177 6.2.3方法方法2 2：)(mod)()()()(xgxmxxpxpxmxcrr其中，系統(tǒng)循環(huán)碼第6章 信道編碼計算：計算：對于循環(huán)碼，已知（對于循環(huán)碼，已知（n,kn,k）循環(huán)碼）循環(huán)碼會使用伴隨式進行校驗，即根據(jù)接收的向量會使用伴隨式進行校驗，即根據(jù)接收的向量r r進進行判斷行判斷方法方法1 1：s=rHs=rHT T, ,看看s s是否為是否為0 0，非零則說明有差，非零則說明有差錯錯H H的求法：先求的求法：先求h(xh(x)=(x)=(xn n+1)/g(x),+1)/g(x),再由再由h(xh(x) )得得H H 例例p193 6.3.4p193 6.3.4方法方法2 2：s(x)=r(x)mod g(xs(x)=r(x)mod g(x) )，看是否有余數(shù)，看是否有余數(shù)，有則說明有差錯：例有則說明有差錯：例p200 (6.3.16p200 (6.3.16式式) )第6章 信道編碼能畫出一般循環(huán)碼的數(shù)字編碼電路圖：例能畫出一般循環(huán)碼的數(shù)字編碼電路圖：例p196 p196