武漢理工信息理論編碼試卷(07電信科)

第第頁武漢理工信息理論編碼試卷(07電信科)武漢理工信息理論編碼試卷(07電信科)

武漢理工高?？荚囋囶}紙(A卷)課程名稱題號題分一20二24信息理論與編碼三10四46五六七專業(yè)班級電信科0701-0702八九十總分100

備注:

同學(xué)不得在試題紙上答題(含填空題、選擇題等客觀題

一、填空題(共20分，每題2分)1.輸出的是單個符號的消息，不同時刻發(fā)出的符號之間彼此統(tǒng)計獨立，而且符號集中的符號數(shù)目是有限的或可數(shù)的信源是______________信源。2.當(dāng)信道給定，平均互信息量是信源概率分布的__________函數(shù)。3.在一組碼字集合中全部的碼字長度都相同，稱這組碼為________碼。4.對于給定信源，使平均碼長達到最小的編碼方法，稱為最正確編碼，得到的碼集稱為______。5.一個號碼鎖有3個數(shù)字，每個數(shù)字可設(shè)置為0~99(含0和99)中的任何一個整數(shù)值，打開該鎖所需的信息量為__________bit。6.擲5次勻稱的錢幣，當(dāng)被告之結(jié)果是“正反正反反”時，所獲的信息量_______bit。7.同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都是1/6,那么“兩個1同時涌現(xiàn)”這一事項的自信息量為比特。8.假設(shè)有一信源，其符號集的元素個數(shù)為n,此信源通過一個具有一一對應(yīng)關(guān)系的無噪信道，這個信道的信道容量為__________。9.假如對一個單符號離散無記憶信道進行N次擴展，那么擴展后的信道容量CN與原來信道的信道容量C之間的關(guān)系是__________。10.將循環(huán)碼0010111循環(huán)左移3位后的碼字為。二、簡答題(共24分)1.在通信系統(tǒng)中信源編碼的主要功能是什么?(6分)2.寫出Fano不等式，并說明其物理含義。分)(63.目前對卷積碼有哪些描述方法？這幾種描述方法各從什么角度考慮的？(6分)4.試闡述變長編碼定理。分)(6三、證明題(10分)設(shè)兩個信源分布q1(*)和q2(*),分別對應(yīng)的平均互信息量為I1(*;Y)和I2(*;Y),記概率分布q(*)=θq1(*)+(1-θ)q2(*)(式中0θ1),對應(yīng)平均互信息量I(*;Y),假設(shè)I(*;Y)是信源概率分布的n型凸函數(shù)，證明θI1(*;Y)+(1-θ)I2(*;Y)I(*;Y)。

武漢理工信息理論編碼試卷(07電信科)

四、計算題(共46分)1.設(shè)某班同學(xué)在一次考試中獲優(yōu)(A)、良(B)、中(C)、及格(D)和不及格(E)的人數(shù)相等。當(dāng)老師通知某甲：“你沒有不及格”,甲獲得了多少比特信息？為確定自己的成果，甲還需要多少信息量？(8分)*2.給定信源分布q(**1)0.3*20.5

4*3,失真測度矩陣[d]10.20

202

01,求R(D)的定義域4

和值域。分)(83.設(shè)二元對稱信道的轉(zhuǎn)移矩陣為2/31/31/3,2/3

(1)假設(shè)信源分布p(*10)3/4

,p(*21)1/4,求H(*),H(*Y),H(Y*)和I(*;Y)(2)求該信道的信道容量及其達到信道容量時的輸入概率分布。(10分)(注：log231.585,log252.3219,log272.8074)14、設(shè)線性分組碼的生成矩陣G0001000111001110,求：1

(1)此(n,k)碼的n=?k=?,寫出此(n,k)碼的全部碼字；(2)求其對應(yīng)的校驗矩陣H。(3)確定最小碼距，問此碼能訂正幾位錯？列出其能糾錯的全部錯誤圖樣和對應(yīng)的伴隨式；(4)假設(shè)接收碼字為000110,用伴隨式法求譯碼結(jié)果。(10分)

5、設(shè)信源

*

*1p(*)12

*21/4

*31/8

*41/16

*51/32

*61/64

*71/128

。1/128*8

(10分)

1)求信源熵H(*);2)編二進制香農(nóng)碼和二進制費諾碼，計算二進制香農(nóng)碼和費諾碼的平均碼長和編碼效率；

武漢理工信息理論編碼試卷(07電信科)

武漢理工高校教務(wù)處

試題標準答案及評分標準用紙

課程名稱信息理論與編碼〔A卷〕

一、填空題〔共20分，每題2分〕1．離散無記憶2．上凸3．等長4．最正確碼5．log(

1100

)

3

6．5

7．Log36或者5.178．logn9．CNNC

10.0111001

二、簡答題〔共24分〕

1.〔6分〕答：信源編碼主要實現(xiàn)以下兩個功能：將信源符號變換成適合信道傳輸?shù)姆枺粔嚎s信源冗余度，提高傳輸率。2．〔6分〕答：設(shè)信道輸入符號*和輸出符號Y取自同一符號集A={a1,a2,…,ak}，那么傳輸過程中的錯誤概率pe和信道疑義度H(*︱Y)之間滿意以下關(guān)系式H(*︱Y)H2(pe)+pelog(k-1)；Fano不等式的物理意義：〔1〕H2(pe)為是否判對的疑義度；〔2〕假如判決出錯〔概率為pe〕，錯在k-1中的符號中的一個，疑義度不會超過log(k-1).3．〔6分〕答：卷積碼的描述方法有：轉(zhuǎn)移函數(shù)矩陣、狀態(tài)流圖、網(wǎng)格圖。轉(zhuǎn)移函數(shù)矩陣描述方法將矩陣、多項式與編碼器結(jié)構(gòu)的關(guān)系描述的很清晰，狀態(tài)流圖揭示了卷積碼的內(nèi)在特性，網(wǎng)格圖將狀態(tài)轉(zhuǎn)移開展于時間軸上，使編碼的過程顯示的很清晰。

**1

4．〔6分〕答：答：給定熵為H〔*〕的離散無記憶信源

H(*)q(*1)*

其L次擴展信源

H(*

*1

)q(*1)

*2q(*2)

*Mq(*ML

*2q(*2)

，q(*M)*M

，給定有D個元素的碼符的熵記為H〔*〕

)

H(*)logD

nLLH(*)logD

1L

號集，對擴展信源進行編碼，總可以找到一種惟一可譯碼，使碼長nL滿意L為信源序列長度。。三、證明題〔10分〕

由于p(*iyj)q(*i)p(yj*i)[q1(*i)(1)q2(*i)]p(yj*i)

p1(*iyj)(1)p2(*iyj)〔4分〕

，

武漢理工信息理論編碼試卷(07電信科)

I1(*;Y)(1)I2(*;Y)I(*;Y)

i

j

p1(*iyj)log

p(yj*i)w1(yj)

(1)

i

j

p2(*iyj)log

p(yj*i)w2(yj)

i

j

[p1(*iyj)(1)p2(*iyj)]logp1(*iyj)log

p1(*iyj)

w(yj)w1(yj)w(yj)w1(yj)

(1)

i

p(yj*i)w(yj)

〔6分〕

w(yj)w2(yj)w(yj)w2(yj)

i

j

j

p2(*iyj)log

p2(*iyj)

log

i

j

(1)log

i

j

j

w1(yj)w(yj)

w1(yj)

(1)

j

w2(yj)w(yj)

w2(yj)

0

四、計算題〔共46分〕1、〔共8分〕解：依據(jù)題意，“沒有不及格”或“pass”的概率為

Ppass1

1545

因此當(dāng)老師通知某甲“沒有不及格”后，甲獲得信息

IpasslogPpass

log

45

0.322bits

在已知“pass”后，成果為“優(yōu)”〔A〕，“良”〔B〕，“中”〔C〕和“及格”〔D〕的概率相同：

PscoreP(A|pass)P(B|pass)P(C|pass)P(D|pass)

1

4

為確定自己的成果，甲還

需信息

IscorelogPscorelog

14

2bits

〔評分標準：每問計算正確得4分〕

2．〔8分〕解：定義域Dmin=0

I

Dma*

minq(*

j

i1

i

)dijmin1{.7,1,1.3}1(4分)

值域Rmin(D)=0，Rma*(D)H(*)〔4分〕

2

3．〔10分〕解：1〕p(y1=0)=q(*i)p(y1*i)=

i1

2

34

23

14

13

712

；

p(y2=1)=q(*i)p(y2*i)=

i1

34

13

14

23

512

p(*0y0)6/7；p(*1y0)1/7；p(*0y1)3/5；p(*1y1)2/5H(*)p(*)logp(*)0.811比特/符號

*

武漢理工信息理論編碼試卷(07電信科)

H(*)q(*)p(y*)logp(*y)0.75比特/符號

*

Y

H(Y*)

*

q(*)p(y*)log

Y

p(y*)0.918比特/符號

I(*;Y)H(*)H(*Y)0.06比特/符號〔6分〕

2〕Cma*I(*;Y)log

2

1122

Klog(K1)H2log2(loglog)0.082bit/symbol

3333

輸入概率分布p(*1)=p(*2)=0.5〔4分〕

4．解：〔1〕n=6,k=3，由C=mG可得全部碼字為：

000000，001011，010110，011101，100101，101110，110011，111000〔3分〕1

2〕此碼是系統(tǒng)碼，由G知，P=1

01

T

H[PI]0

1

110

011

100

010

011

1

0，得1

0

0〔3分〕1

3〕由H可知，其任意兩列線性無關(guān)，而有3列線性相關(guān)，故dmin=3，能訂正一位錯誤。錯誤圖樣e伴隨式seH000001

000010000100001000010000100000(4)由syH

T

T

001010100011110

101〔2分〕

110知e=010000，那么譯碼結(jié)果c=y+e=010110〔2分〕

8

5〔10分〕〔1〕H(*)=-p(*i)log

i1

2

p(*i)=1.98(b/s)〔2分〕

〔2〕二進制香農(nóng)碼

*1*2*3*4*5*6*7*8

010110111011110111110111111011111111〔3分〕

二進制費諾碼

*1*2*3*4*5*6*7*8

0101101110111101111