《信息論基礎(chǔ)》模擬試題

《信息論基礎(chǔ)》模擬試題題號(hào)———四五六七八總分得分評(píng)卷人一、填空題(本大題共10小空，每小空2分，共20分)1.按信源發(fā)出符號(hào)所對(duì)應(yīng)的隨機(jī)變量之間有無統(tǒng)計(jì)依賴關(guān)系，可將離散信源分為和O2.—個(gè)八進(jìn)制信源的最大炳為-3.信源冗余度存在的原因是。4.設(shè)有一連續(xù)隨機(jī)變量X表示信號(hào)x(t)的幅度，其幅值在［-4V,4V］均勻分布，那么該信源的炳h(x)=,則該信源的絕對(duì)炳是

」5.若某一連續(xù)信源X,其平均功率受限為8W,其概率密度函數(shù)是高斯分布時(shí)，差炳的最大值為，與其炳相等的非高斯分布信源的功率為>6.對(duì)稱離散信道的轉(zhuǎn)移概率矩陣P的特點(diǎn)是二、擲兩粒骰子，各面出現(xiàn)的概率都是1/6,計(jì)算信息量：1.兩骰子面朝上點(diǎn)數(shù)之和為2,該消息包含的信息量是多少？(3分)2.兩骰子而朝上點(diǎn)數(shù)之和為8時(shí)，該消息包含的信息量是多少？(3分)3.兩骰子血朝上點(diǎn)數(shù)是3和4,該消息包含的信息量是多少？(3分)三、設(shè)X,Y是二個(gè)相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取-1或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z,取Z=XY。試計(jì)算：1.H(Y)、H(Z);

(6分)2.H(XY);

(3分)3.I(X;Y),I(Y;Z).

(8分)四、一階馬爾可夫鏈信源有3個(gè)符號(hào)｛a,b.c),轉(zhuǎn)移概率為：P(a/a)二1/2,p(b/a)=1/4,p(c/a)=1/4,p(a/b)=1/2,p(b/b)二0,p(c/b)=1/2,p(a/c)=1/2,p(b/c)=1/2,p(c/c)=0。1.畫出狀態(tài)圖；寫出轉(zhuǎn)移概率矩陣；(6分)2.求出各符號(hào)穩(wěn)態(tài)概率；(6分)3.計(jì)算其極限滴；(4分)五、在干擾離散對(duì)稱信道上傳輸符號(hào)1和0,已知p(0)=1/4,p(1)=3/4,試求:1該信道的轉(zhuǎn)移概率矩陣P(3分)2該信道的信道容量及其輸入概率分布(7分)0.6試求：該信道的信道容量及最佳輸入概率分布o(jì)（6分）七、設(shè)在平均功率受限高斯可加波形信道中，信道寬帶為5KH乙乂設(shè)信噪比為20db1肖H?聳'該隹1首的隹1首恣晶.分）2若功率信嬴比降或lOdbi達(dá)到相同的最大信息傳輸率，信道帶寬應(yīng)是多少？（3分）八、信源符號(hào)X有6種字母，概率為0.25,0.2,0.16,0.15,0.1,0.07,0.04,0.03.用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼，寫出編程過程并計(jì)算：（共16分）1.編碼前信源X的信源剩余度，2.平均碼長(zhǎng)3.編碼效率?！缎畔⒄摶A(chǔ)》參考答案試題編號(hào):重慶郵電大學(xué)2007-2008學(xué)年第2學(xué)期《信息論基礎(chǔ)》試題（期末）（B卷（半開卷）

一、填空題（本大題共10小空，每小空2分，共20分）1.按信源發(fā)出符號(hào)所對(duì)應(yīng)的隨機(jī)變量之間有無統(tǒng)計(jì)依賴關(guān)系，可將離散信源分為有記憶信源和無記憶信源2.一個(gè)八進(jìn)制信源的最大炳為。3.信源冗余度存在的原因是多信源符冗非度概分布利符號(hào)之間有源關(guān)性

°4.設(shè)有一連續(xù)隨機(jī)變量X表示信號(hào)x(t)的幅度，其幅值在［-4V,4V］均勻分布，那么該信源的炳h(x)=3bit/j|山度，則該信源的絕對(duì)焰是一8

°5.若某一連續(xù)信源X,其平均功率受限為8W,其概率密度函數(shù)是高斯分布時(shí)，差炳的最大值為1oqJ16"bit/自山度，與其炳相等的非高斯分布信源的功率為N8Wo6.對(duì)稱離散信道的轉(zhuǎn)移概率矩陣P的特點(diǎn)是：

輸入輸出都對(duì)稱二、擲兩粒骰子，各面出現(xiàn)的概率都是1/6,計(jì)算信息量：1.兩骰子面朝上點(diǎn)數(shù)之和為2,該消息包含的信息量是多少？(3分)2.兩骰子而朝上點(diǎn)數(shù)之和為8時(shí)，該消息包含的信息量是多少？(3分)3.兩骰子血朝上點(diǎn)數(shù)是3和4,該消息包含的信息量是多少？(3分)解：1.“兩個(gè)骰子點(diǎn)數(shù)之和為2”P(0)=(l/6)x(l/6)=l/36..?該文件包含的信息量為：/(A)=-logP(A)=log36=5.17bit2.兩骰子的點(diǎn)數(shù)之和為8P(B)=P[(2,6),(6,2),(5,3),(3,5),(4,4)]=l/3&5=5/3(該文件包含的信息量為：1(B)=-logP(B)=log(36/5)=2.85阮3.“兩個(gè)骰子點(diǎn)數(shù)是3和4”P(C)=P[(3,4),(4,3)]=(1/36)x2=1/18該文件包含的信息量為：I(C)=-logP(C)=logl8=4Albit三、設(shè)X,Y是二個(gè)相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取-1或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z,取Z=XY。試計(jì)算：1.H(Y)、H(Z);

(6分)2.H(XY);

(3分)3.I(X;Y),I(Y;Z).

(8分)解：依題意：

:=

魁Y?=lbU符號(hào)IB???H(Z)=—￡p(Z,)1o電Z,)=(17,4)x2(1/2)x1(|/4)x2=1.5Z?z7/符號(hào)2.VX,Y是兩個(gè)相互獨(dú)立的變量???H(XY)=H(X)H(Y)=2bit/符號(hào)3.1(^^=H(X)-H(X/Y)=H(X)-H(X)=Obit/Z二XY..?(Y,Z)的聯(lián)合概率P(YZ)-202-202-11/41/40P(F/Z)=P(KZ)/P(Z)-111/20101/4q1/4-31■101/21???H(F/Z)=-￡ZP()"g(月/4)=0.75%/符號(hào)「?/(Y;Z)=H(Y)-ff(Y/Z)=0.25b〃符號(hào)四、一階馬爾可夫鏈信源有3個(gè)符號(hào){a,b,c},轉(zhuǎn)移概率為：P（a/a）=1/2,p（b/a）二1/4,p(c/a)=1/4,p(a/b)=1/2,p(b/b)=0,p(c/b)=1/2,p(a/c)=1/2,p(b/c)=1/2,p(c/c)=0。1.畫出狀態(tài)圖；寫出轉(zhuǎn)移概率矩陣：（6分）2.求出各符號(hào)穩(wěn)態(tài)概率；（6分）3.計(jì)算其極限滴：（4分）解：1,狀態(tài)圖：轉(zhuǎn)移矩陣2.由p(Ej)=p(Ej)p(EJEj)得p(E1)=(l/2)P(E1)(l/2)P(E2)(l/2)P(E3)p(E2)=(l/4)P(E1)(l/2)P(E3)p(E3)=(l/4)P(E1)(l/2)P(E2)p(ejp(edp(E3)=i解得p(E,)=l/2p(E2)=l/4p(E3)=l/43.其極限炳:七=P(E?P(Ej/Ejlogp(Ej/E)=(l/i)[l/21og2l/41og4l/41og4]l/4[l/21og2x2]x2=1.25bit/符號(hào)五、在干擾離散對(duì)稱信道上傳輸符號(hào)1和0,已知p(0)=1/4.p(1)=3/4,試求:1該信道的轉(zhuǎn)移概率矩陣P(3分)2該信道的信道容量及其輸入概率分布(7分)1解1、f0.60.4)P=

頃.40.6)2.c、=logs-H(p的行矢量)=log2-H(0.6,0.4)=log2-(-0.6log0.6-0.4log0.4)=0.03/2/7/符號(hào)這時(shí)，輸入概率分布為試求：該信道的信道容量及最佳輸入概率分布。（6分）解：將該準(zhǔn)對(duì)稱信道容量及其最佳輸入概率分布的子矩陣:_&n=2,r=2；旦有=0.8,N2=0.2M,=0.8,

=0.21—該信道的信道容量：2C=logr-H(P的矢量)-￡NklogYkk=l=log2-H(0.5,0.3,0.2)—0.8log0.8-0.2log0.2=1一1.02-0.46—0.72=0.24/刀77符號(hào)七、設(shè)在平均功率受限高斯可加波形信道中，信道寬帶為5KH乙乂設(shè)信噪比為20db1試計(jì)算該信道的信道容量；(3分)2若功率信噪比降為10db,要達(dá)到相同的最大信息傳輸率，信道帶寬應(yīng)是多少？(3分)解：1.VSNR=20db/.SNR=1OO..?該信道的信道容量為：<?=wlog(lS2V7?)=5xl03xlogl01=3.33xl04to/s2.若SNR=10dB=>SNR=10；則在相同的信道容量下C=3.33xlO4=Wlog(lSNR)=Wlog11=3.47vv八、信源符號(hào)X有6種字母,概率為0.25,0.2,0.16,0.15,0.1,0.07,0.04,0.03.用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼，寫出編程過程并計(jì)算：(共16分)4.編碼前信源X的信源剩余度,5.平均碼長(zhǎng)6.編碼效率。r0.24*0.56>0.44解：編碼過程：碼字_0.31

Q01

0.25111

0.2000—0]160001—0.15

1

0.14

01010.1

一1f-0.07-9-looi

r10.04loooo-]iooq^47o31、編碼前侑源x的滴