2021年科技大學(xué)通信專業(yè)信息論與編碼課程期末考試(B)卷及答案

1、試卷第 頁(yè)共6頁(yè)2021年科技大學(xué)通信專業(yè)信息論與編碼課程期末考試（B）卷課程名稱：信息論與編碼適用年級(jí)/專業(yè)：試卷類別開(kāi)卷（）閉卷3）學(xué)歷層次本科考試用時(shí)120分鐘考生注意答案要全部抄到答題紙上,一做在試卷上不給分一、填空題（每空2分，共22分）1廣義的通信系統(tǒng)模型是由信源、譯碼器和信宿五個(gè)部分組成。信息熵H（X）是對(duì)信源的的描述。要對(duì)信源輸出的消息進(jìn)行無(wú)失真的編碼，平均每個(gè)信源符號(hào)至少需要用H（X）個(gè)碼符號(hào)。（最大值、平均不確定性）1已知某信道的信道轉(zhuǎn)移矩陣為P=32323，且輸入為等概分布，若根據(jù)極大3似然譯碼準(zhǔn)則確定譯碼規(guī)則，相應(yīng)的平均錯(cuò)誤概率為。4對(duì)于連續(xù)信源來(lái)說(shuō)，當(dāng)輸出幅度受限時(shí)，

2、服從分布的隨機(jī)變量具有最大熵；對(duì)于平均功率受限的連續(xù)隨機(jī)變量，當(dāng)服從分布時(shí)具有最大熵。（均勻、指數(shù)、高斯）若離散無(wú)記憶信源的信源符號(hào)有q個(gè)，信源熵為H（X）,那么對(duì)其進(jìn)行N次擴(kuò)展后的信源符號(hào)共有個(gè),N次擴(kuò)展信源XN的熵等于。對(duì)于給定的，I（X;Y）是輸入分布p（x）的上凸函數(shù)，因此總能找到一i種概率分布p（x）（即某一種信源），使信道所能傳送的信息率為最大。i信道容量是完全描述信道特性的參量，信道實(shí)際傳送的信息量必然信道容量。（不大于、不小于或等于）8非奇異碼是指一種分組碼中的所有碼字都的碼。（相同、不相同）二、簡(jiǎn)答題（每小題5分，共20分）簡(jiǎn)述什么是馬爾可夫信源？2簡(jiǎn)述H（X|Y）和H（Y|

3、X）在信道描述中的物理含義。什么是即時(shí)碼？它和唯一可譯碼的關(guān)系？簡(jiǎn)述平均互信息I（X;Y）的物理含義？三、計(jì)算及編碼題（第1題13分，其余每小題15分，共58分）某氣象員報(bào)告氣象狀態(tài)，有四種可能的消息：晴、云、雨和霧。（1）若每個(gè)消息是等概率分布的，那么發(fā)送每個(gè)消息最少所需的二元脈沖數(shù)是多少？又若四個(gè)消息出現(xiàn)的概率分別為4,1,1,2，問(wèn)在此情況下消息平均所需的二元脈沖數(shù)最少是多少？如何進(jìn)行編碼？設(shè)離散無(wú)記憶信源a=0a=1a=2a=3X1234=：3111_p(x)_8448_其發(fā)出的消息為202120130213001203210110321010021032011223210），求1）此

4、消息的自信息是多少？2）在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少？（3）信源的熵H（X）是多少？3.求下列信道的信道容量，已知信道轉(zhuǎn)移矩陣為P0.50.30.20.20.30.5100101設(shè)一線性分組碼具有一致校驗(yàn)矩陣如下：H=010011001111（1）求這分組碼共有多少個(gè)碼字？寫(xiě)出此分組碼的所有碼字，并判斷101010是否是碼字？（2）此分組碼的生成矩陣G=？（3）碼字間的最小距離dmin及此碼的糾錯(cuò)能力。（4）若接收到的序列為R=（110100）,且假設(shè)錯(cuò)誤的發(fā)生在其糾錯(cuò)能力范圍之內(nèi)，那么其伴隨式S是什么？并指出錯(cuò)誤發(fā)生在什么地方。參考答案及評(píng)分標(biāo)準(zhǔn)一、填空題（每空2分，共22分）編

5、碼器信道平均不確定性均勻高斯_qN_NH（X）信道轉(zhuǎn)移概率p（y/x）ji不大于（或小于等于）二、簡(jiǎn)答題（每小題5分，共20分）1有一類信源，它在某時(shí)刻發(fā)出的符號(hào)僅與在此之前發(fā)出的有限個(gè)符號(hào)有關(guān)，而與更早些時(shí)候發(fā)出的符號(hào)無(wú)關(guān)，這類信源稱為馬爾可夫信源。幾個(gè)熵在信道描述中的物理含義：H（X|Y）-信道疑義度，表示如果有干擾的存在，接收端收到Y(jié)后對(duì)信源仍然存在的不確定性。也稱為損失熵，表示信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。（3分）H（Y|X）噪聲熵，它反映了信道中噪聲源的不確定性。（2分）無(wú)須考慮后續(xù)的碼符號(hào)就可以從碼符號(hào)序列中譯出碼字，這樣的唯一可譯碼稱為即時(shí)碼。（3分）唯一可譯碼

6、包含即時(shí)碼和非即時(shí)碼。（2分）平均互信息I（X;Y）是收到Y(jié)以后所消除的對(duì)信源X不確定性，也就是從Y所獲得的關(guān)于X的平均信息量。三、計(jì)算及編碼題（第1、3題14分，其余每小題15分，共58分）1參考答案：（1）當(dāng)消息晴、云、雨和霧是等概分布時(shí)，對(duì)這四個(gè)消息進(jìn)行二元脈沖無(wú)失真編碼時(shí)必須滿足q=4=2l試卷第 頁(yè)共6頁(yè)所以1=2，得每個(gè)消息最少所需2個(gè)二元脈沖。也可通過(guò)計(jì)算其信息熵H(X)=1og4=2bit/符號(hào)得出結(jié)論。(3分)當(dāng)四個(gè)消息不是等概率分布時(shí)，我們采用二元霍夫曼編碼，可以用最少的二元脈沖來(lái)發(fā)送。(2分)11霧201晴3000云3001雨碼長(zhǎng)碼字信源符號(hào)概率1/81/84分)平均碼長(zhǎng)

7、為：L=才p(s)1二1.75二元脈沖/消息iii=1此時(shí)計(jì)算其信息熵也同樣為H(X)=1.75bit/符號(hào)(4分)所以，不等概率分布時(shí)，平均每個(gè)消息所需1.75個(gè)二元脈沖來(lái)發(fā)送。2因?yàn)殡x散信源是無(wú)記憶的，所以其所發(fā)出的消息序列中各個(gè)符號(hào)是無(wú)依賴、統(tǒng)計(jì)獨(dú)立的。因此，此消息的自信息就等于消息中各個(gè)符號(hào)的自信息之和。(1)根據(jù)題意得，3I(a=0)=-logp(a)=-logq1.415比特TOC o 1-5 h z12128I(a=1)=-logp(a)=-log丄=2比特2224(每個(gè)式子2分，共8分)I(a=2)=logp(a)=log=2比特2324I(a=1)=-logp(a)=-log

8、丄=3比特2428此消息中共有14個(gè)“0”，13個(gè)“1”，12個(gè)“2”，6個(gè)“3”符號(hào)，則得到消息的自信息是I=14I(a=0)+13I(a=1)+121(a=2)+61(a=3)1234(3分)=14*1.415+13*2+12*2+6*3=87.81比特(2)此消息共含45個(gè)信源符號(hào)，這45個(gè)信源符號(hào)攜帶87.81比特信息量，則此消息中平均每個(gè)符號(hào)攜帶的信息量為I=87：81=1.95t特/符號(hào)（2分）TOC o 1-5 h z HYPERLINK l bookmark7 o Current Document 245（3）信源的熵oQI1111iH（X）二fp（a）logp（a）二一-lo

9、gloglog-log-沁1.91比特/符號(hào)（2分）i/88444488i勻4分)4分)N二0.32M=0.3+0.3二0.62這是一個(gè)準(zhǔn)對(duì)稱信道，可以劃分為兩個(gè)子矩陣分別為：0.50.2-0.3P=P=-0.20.520.3“N=0.5+0.2二0.7則-M=0.5+0.2二0.7-所以信道容量為C=logr-fNlogM-H(p,p,p)kk-23k=-=log2-0.7log0.7-0.3log0.6-H(0.5,0.3,0.2)(7分)=log2-0.7log0.7-0.3log0.6-(-0.5log0.5-0.3log0.3-0.2log0.2)=0.096比特/符號(hào)（1）由一致校驗(yàn)矩陣可得，n=6,r=3,k=3,是（6,3）分組碼，碼字共有2k=8個(gè)（2分）這（6，3）分組碼所有碼字為000000010011100101110110001111011100101010111001注：前三位為信息位，后三位為校驗(yàn)位（4分）1分)可以看出101010是碼字。（2）因?yàn)橐恢滦ｒ?yàn)矩陣H不是系統(tǒng)碼，可以變換成系統(tǒng)碼形式，如下:101100_H=PI=011010111001-00-0-答案不唯一（4分）所以，生成矩陣G=IPT=0100