2023年西安郵電大學信息論與編碼復習題

一、選擇題(共15題）1、有一離散無記憶信源X，其概率空間為,則其無記憶二次擴展信源的熵H(Ｘ2)=(Ｂ）A、1．７5比特/符號；Ｂ、3.5比特／符號;C、9比特/符號；D、１8比特／符號。2、信道轉移矩陣為，其中兩兩不相等，則該信道為DＡ、一一相應的無噪信道Ｂ、具有并歸性能的無噪信道Ｃ、對稱信道D、具有擴展性能的無噪信道3、設信道容量為C，下列說法對的的是：(A)A、互信息量一定不大于ＣＢ、交互熵一定不小于ＣC、有效信息量一定不大于CD、條件熵一定不大于C4、在串聯(lián)系統(tǒng)中,有效信息量的值（B）Ａ、趨于變大B、趨于變小C、不變Ｄ、不擬定５、若BSC信道的差錯率為P，則其信道容量為:（C)Ａ、B、Ｃ、Ｄ、6、設信道輸入為xm，輸出為y，若譯碼準則是當P(y｜xm’)≥Ｐ(y|ｘm),對所有ｍ≠m’時，將y判為m’，則稱該準則為(D）Ａ最大后驗概率譯碼準則B最小錯誤概率準則Ｃ最大相關譯碼準則D最大似然譯碼準則7、線性分組碼不具有的性質是（C)A任意多個碼字的線性組合仍是碼字B最小漢明距離等于最小非０重量Ｃ最小漢明距離為3Ｄ任一碼字和其校驗矩陣的乘積cmHT=08.條件熵H（Ｘ∣Y）CH（X)。（A）小于（B)大于(Ｃ)小于等于（D）大于等于９．聯(lián)合熵C。(A）小于（Ｂ）大于(C)小于等于（Ｄ)大于等于10.相對熵總是D。(A）為正（Ｂ）為負(C）非正（D)非負11.B是最佳碼。(A）Fａno編碼(Ｂ）Huffman編碼（C)Shａnnon編碼(D)算術編碼12.字母表為∑＝｛0，1｝,情況下的Shannon編碼碼長為B。(Ａ)（Ｂ）(C)(D）13.字母表為∑={0,1}，情況下的Shannon－Fano-Elｉas編碼碼長為A。(Ａ)(B)（C)(D)１4.譯碼錯誤概率最小的譯碼為B。(Ａ)最大似然譯碼（B)最大后驗概率譯碼(C)最小距離譯碼(Ｄ)擇多譯碼15.下列D不屬于距離空間的公理。(Ａ)非負性(B)對稱性(C)三角不等式(D)反對稱性二、填空題（共29題）1、（7,4)線性分組碼中,接受端收到分組R的位數(shù)為_7___,隨著式S也許的值有＿＿__8種，差錯圖案e的長度為７,系統(tǒng)生成矩陣Gs為＿_４*７＿_行的矩陣,系統(tǒng)校驗矩陣Hs為____3＊７行的矩陣,Ｇs和Hs滿足的關系式是。一張１02４×5１2像素的16位彩色BMＰ圖像能包含的最大信息量為。3、香農編碼中,概率為的信源符號xi相應的碼字Ｃｉ的長度Ki應滿足不等式。4、設有一個信道,其信道矩陣為,則它是信道（填對稱，準對稱)，其信道容量是比特／信道符號。1948年,美國數(shù)學家香農發(fā)表了題為“通信的數(shù)學理論”的長篇論文,從而創(chuàng)建了信息論。必然事件的自信息是0。離散平穩(wěn)無記憶信源Ｘ的N次擴展信源的熵等于離散信源X的熵的Ｎ倍。對于離散無記憶信源,當信源熵有最大值時，滿足條件為__信源符號等概分布_。若一離散無記憶信源的信源熵H（Ｘ)等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為3。對于香農編碼、費諾編碼和霍夫曼編碼，編碼方法惟一的是香農編碼。已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測出＿2＿___＿_＿個碼元錯誤，最多能糾正___1__個碼元錯誤。設有一離散無記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R_＿小于___Ｃ(大于、小于或者等于）,則存在一種編碼,當輸入序列長度n足夠大，使譯碼錯誤概率任意小。平均錯誤概率不僅與信道自身的記錄特性有關,還與___譯碼規(guī)則_____＿______和___編碼方法___有關14、必然事件的自信息量是__＿_＿__＿,不也許事件的自信息量是_＿_____＿_。１5、一信源有五種符號{ａ，b，c，ｄ,ｅ}，先驗概率分別為Pa=０.５,Pb＝0.２5，Ｐc=0.１2５，Pd=Pe=0.0６２５。符號“a”的自信息量為__＿____＿bit,此信源的熵為_______＿ｂit／符號。16、如某線性分組碼的最小漢明距ｄmin=6，最多能糾正___＿＿＿個隨機錯。１7、平均互信息量I(X;Y）與信源熵和條件熵之間的關系是＿_＿_＿___________。1８、克勞夫特不等式是唯一可譯碼__＿_____＿的充要條件。｛０0,01,10，１1}是否是唯一可譯碼?_＿_＿_＿_＿_。1９、在Shaｎnon信息論中,最重要的概念是20、通信系統(tǒng)一般由５個部分組成。2１、字母表為∑＝{0,1｝,且取值空間χ=｛ａ,ｂ,c，ｄ,e｝下的概率分布為Ｐ(a)=0.2,P（b)=０．５，P（c)=0．1,P(ｄ)=０.1,Ｐ(e)=0．1則Ｃ(χ)的一種可行的Huffmａn編碼是。唯一可譯碼的碼長必須滿足。23、二元無噪信道的信道轉移矩陣為。?24、二元對稱信道的信道轉移矩陣為。25、二元刪除信道的信道轉移矩陣為。27、信道轉移矩陣為p（y｜ｘ）=時,該信道的容量為。２8、信道轉移矩陣為0.60.20.20.20.20.60.60.20.20.20.20.6P(ｙ|ｘ）=時,該信道的容量為。29、（2nR，n）碼的碼率為。三、判斷題（共15題)1信息就是一種消息。()2信息論研究的重要問題是在通信系統(tǒng)設計中如何實現(xiàn)信息傳輸、存儲和解決的有效性和可靠性。（)3概率大的事件自信息量大。()４互信息量可正、可負亦可為零。（)5信源剩余度用來衡量信源的相關性限度,信源剩余度大說明信源符號間的依賴關系較小。(）６對于固定的信源分布,平均互信息量是信道傳遞概率的下凸函數(shù)。()７非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。(）8信源變長編碼的核心問題是尋找緊致碼(或最佳碼），霍夫曼編碼方法構造的是最佳碼。（)９信息率失真函數(shù)R(D)是關于平均失真度D的上凸函數(shù).()10校驗矩陣的各行是線性無關的。（)11冗余度是表征信源信息率多余限度的物理量,它描述的是信源的剩余。（)12當信道固定期,平均互信息是信源分布的∪型凸函數(shù)。()1３互信息Ｉ(X;Ｙ)與信息熵H(Ｙ)的關系為:I(X;Y）≤Ｈ(Y)。（）1４信道容量隨信源概率分布的變化而變化。（)1５一個唯一可譯碼成為即時碼的充要條件是其中任何一個碼字都不是其它碼字的前綴。（）三、計算題(共6題)【2．5】設離散無記憶信源=其發(fā)生的消息為()，求：此消息的自信息是多少？在此消息中平均每個符號攜帶的信息量是多少?【３．1】設信源通過一干擾信道,接受符號為Ｙ=,信道傳遞概率如圖3.2所示，求(1)信源X中事件和分別具有的自信息。(2)收到消息(J=１，2）后，獲得的關于(i=1,2)信息量。(３）信源X和信源Y的信息墑。（４)信道疑義度H(X︱Y）和噪聲熵H（Y︱X)。(5)接受到信息Y后獲得的平均互信息。5設二元對稱信道的傳遞矩陣為(1）若P（０）=3/4,P(1)=1/4,求H(X),H(X︱Y)，H(Ｙ︱X）和Ｉ(X;Y);(2)求該信道的信道容量及其達成信道容量時的輸入概率分布?！?.22】有兩個信源X和Y如下：分別用霍夫曼碼編成二元變長唯一可譯碼,并計算編碼效率。分別用香農編碼法編成二元變長唯一可譯碼,并計算編碼效率(即選取是大于或等于的整數(shù))。分別用費諾編碼方法編成二元變長唯一可譯碼，并計算編碼效率。從Ｘ,Y兩種不同信源來比較這三種編碼方法的優(yōu)缺陷?！荆?12】求概率分布為信