2023年信息論編碼試卷文檔

信息論編碼試卷2

一、填空題(共15分，每空1分)

1、信源編碼的重要目的是提高有效性,信道編碼的重要目的是提高可靠性。

2、信源的剩余度重要來自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性,二是信源符號(hào)的記錄不均勻

性。

3、三進(jìn)制信源的最小嫡為。，最大皤為log；bit/符號(hào)。

4、無失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源烯(或H(S)/logr=H,(S))。

5、當(dāng)R當(dāng)或(信道剩余度為0)時(shí)，信源與信道達(dá)成匹配。

6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。

7、根據(jù)是否允許失真,信源編碼可分為無失真信源編碼和限失真信源編碼。

8、若連續(xù)信源輸出信號(hào)的平均功率為則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分

布或=2,時(shí)，信源具有最大嫡，其值為值glog2s:

9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“=,N,V,〉”或

(1)當(dāng)X和Y互相獨(dú)立時(shí),H(XY)=H(X)+H(X/Y)=H(Y)+H(X)O

(2)〃2(X)=蘭“3(X)=',-

(3)假設(shè)信道輸入用X表達(dá)，信道輸出用Y表達(dá)。在無噪有損信道中，H(X/Y)>0,H(Y

/X)=0,I(X;Y)<H(X)?

二、(6分)若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻

分布時(shí)，計(jì)算該信源的相對(duì)烯，并說明該信源的絕對(duì)蠟為多少。

八\—,2<x<6

Q/(x)=4

0,其它

,相對(duì)端h(x)=-j：f(x)logf(x)公

=2bit/自由度

該信源的絕對(duì)嫡為無窮大。

三、(16分)已知信源

SS|S]S3S4S556

P」一[o.20.20.20.20.10.1

(1)用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；(6分)

(2)計(jì)算平均碼長(zhǎng)Z；(4分)

(3)計(jì)算編碼信息率R';(2分)

(4)計(jì)算編碼后信息傳輸率R;(2分)

(5)計(jì)算編碼效率(2分)

(1)

c0

n0.920

c1

“n2o

1.0

0*20

S、0.2—―1

M4

S50.1—^―

1

s?0.1_J_

編碼結(jié)果為：

5,=00

52=01

S3=100

S4=101

$5=11。

56=111

(2)Z=A月8=04x2+0.6x3=2.6碼號(hào)

(3)R=￡logr=2.6b%^

(4)/?=孥=矍=0.973%元其中，

4(S)="(0.2,020.2,0.2,0.1,0.1)=2.53b%號(hào)

-”冊(cè)…

評(píng)分：其他時(shí)的的編碼方案：1,規(guī)定為即時(shí)碼2,平均碼長(zhǎng)最短

四、（10分）某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1

/8、1/8、1/8、1/2、1/8。假如符號(hào)的碼元寬度為0.5〃s。計(jì)算:

（1）信息傳輸速率凡。（5分）

（2）將這些數(shù)據(jù)通過一個(gè)帶寬為B=2023kHz的加性白高斯噪聲信道傳輸,噪聲的單邊功率譜

密度為%=10-6%?。試計(jì)算對(duì)的傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）

解：

w（^）=-1'og|x4-llog|

=—log8-1-^log2

31

=—log24--log2

=21og2

=2bit

R「=2blt-=4x\06bps

0.5〃$

4xl06=2xl06log|1+P——

（10-6X2X106J

（2）l+-=22

2

P=6W

五、（16分）一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為

21

P（S,|5I）=-,P（S2|SI）=-,P（SI|S2）=1,P（S2|S2）=0,

（1）畫出狀態(tài)轉(zhuǎn)移圖。（4分）

（2）計(jì)算穩(wěn)態(tài)概率。（4分）

（3）計(jì)算馬爾可夫信源的極限嫡。（4分）

（4）計(jì)算穩(wěn)態(tài)下“2及其相應(yīng)的剩余度。（4分）

解：（1）

1

工邑

1

(2)由公式P(S,.)=2P(EISJ)P⑸)

22

P(SJ=ZP(SJS,)P(S,)=”)+P(S2)

/=13

21

有尸(E)〃P恪)

1=1J

P(51)+P(S2)=1

P⑸二

(3)該馬爾可夫信源的極限燧為:

22

“8=一2￡P(guān)(s,)p(s/s.)logP(SJsj

=-xO.578+-xl.599

24

=0.681/?〃/符號(hào)

=0.472〃af/符號(hào)

=0.205符號(hào)

(4)在穩(wěn)態(tài)下：

=-￡P(guān)㈤bgPkJnj]xlog；+：xk)g；=0.811珈符號(hào)

i=\14444y

H2=乩=0.205癡“符號(hào)=().472〃?！胺?hào)=0.68?"/符號(hào)

相應(yīng)的剩余度為

7i=l-

六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。

Y

解：信道傳輸矩陣如下

——00

22

11

00

22

11

00

22

11

00

,22.

可以看出這是一個(gè)對(duì)稱信道，L=4,那么信道容量為

C=log4—嗚

L

=i（）gL+ZMyj\%）logP（yjI%,）

j=l

I-1

=log4+2x—log—

=Ibit

七、（16分）設(shè)X、Y是兩個(gè)互相獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)

二元隨機(jī)變量Z=XY（一般乘積）。試計(jì)算

（1）H（X）,H（Z）;

（2）H（XY）,H（XZ\,

⑶H（X|Y）,”（Z|X）;

（4）/（x；y）,7（x；z）;

解：（i）

z01

P(Z3/41/4

)

H(X)=H\bit

“⑵==0.8113〃萬

(2)H(xy)=H(x)+“(y)=i+i=2沅”對(duì)

H(XZ)=H(X)+”(Z|X)=l+；HaO)+；dg,；卜L5則對(duì)

(3)H(X[Y)=H(X)=lbit

”(Z|X)=J"(l,0)+"t3)=0.5m

乙乙\乙乙J

(4)/(x,y)="(y)-"(y|x)="(y)—"(y)=o

/(X,Z)=H(Z)—H(Z|X)=O.8U3—0.5=0.311如/

八、(10分)設(shè)離散無記憶信源的概率空間為X=斗2，通過干擾信道，信道輸出

_P]|_0.80.2

端的接受符號(hào)集為y=[y,%]，信道傳輸概率如下圖所示。

(1)計(jì)算信源X中事件為包含的自信息量;

(2)計(jì)算信源X的信息燃；

⑶計(jì)算信道疑義度”(Xi丫)；

⑷計(jì)算噪聲焙"(wx)；

(5)計(jì)算收到消息y后獲得的平均互信息量。

解：（1）/（x）=-log0.8=0.322/?萬=0.0969法〃=0.223〃〃

（2）H（X）=H（0.8,0.2）=0.722勵(lì)符號(hào)=0.5〃”/符號(hào)=0.217/“M符號(hào)

（3）轉(zhuǎn)移概率:

yi歹2

y