信息論與編碼習(xí)題參考答案(全)

信息論與編碼習(xí)題參考答案第一章單符號離散信源同時擲一對均勻的子，試求：“2和6同時出現(xiàn)”這一事件的自信息量；⑵“兩個5同時出現(xiàn)”這一事件的自信息量：(3)兩個點數(shù)的各種組合的爛；⑷兩個點數(shù)之和的爛；⑸“兩個點數(shù)中至少有一個是1”的自信息量。解：樣本空間：N=c；c；=6x6=36⑴人=等=77??2)=iogR=logl8=4?17肋N36￡=令=存.1(a)=一log巴=log36=5.1Ibit⑶信源空間：X(1,1)(1,2)(1,3)(1,4)(1,5)⑴6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)|(5,6)(6,6)P(x)1/362/361/36H(x)=15x—xlog—+6x—xlog36=4?32bif⑷信源空間:X23456789101112P(x)第62/36対6的65/365/36436沖62/361/36TOC\o"1-5"\h\z“、2|*丄4|366|368|36/.H(x)=—xlog36+—xlog—+—xlog——+—xlog—3636236?336410.36丄6.36+—xlog—十一xlog—=3.7lbif365536?6如有6行、8列的棋型方格，若有兩個質(zhì)點A和B,分別以等概落入任一方格內(nèi)，且它們的坐標(biāo)分別為(Xa,Ya),(Xb,Yb)，但A,B不能同時落入同一方格內(nèi)。若僅有質(zhì)點A,求A落入任一方格的平均信息量；若已知A已落入，求B落入的平均信息量；若A,B是可辨認(rèn)的，求A,B落入的平均信息量。解：⑴A落入任一格的概率:—=-logP(%)=log48484SH(d)=P(q)logP(q)=log48=5.5Sbitz-i⑵?.?在已知A落入任一格的情況下B落入任一格的概率是:P(bJ=爲(wèi)/($)=-log)=log474S???H(b)=-工P(bJlogP($)=log47=5.55bitAB同時落入某兩格的概率=占Z(ABr)=-logP(ABJ48x47H(AB()=—工P(AlogP(ABJ=log(48x47)=1LI4bitj-i從人量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為％.如果你問一位男士:“你是否是紅綠色盲”他的回答可能是：“是”，也可能“不是”。問這兩個回答中各含有多少信息量平均每個回答中各含有多少信息量如果你問一位女士，則她的答案中含有多少平均信息量解：對于男士：回答“是"的信息量：/(用、)=—logP(〃/J=—log7%=3.84仞7回答“不是”的信息量I{inn)=-logP(mn)=-log93%=0.1Q5bit平均每個回答信息量：H(加)=-P(〃片.)xlogP(my)-P(mn)xlogP(叫)=-7%xlog7%-93%xlog93%=0.366bit對于女：回答“是”WfgMM:/(wv)=-logP(wy)=-log0.5%回答“不是"的信息量/(/???)=-log)=-log99.5%平均每個回答信息量：H(〃?)=-P(Wy)XlogP(wy)-P(叫)XlogP(叫)=-0.5%xlog0.5%-99.5%xlog99.5%=0.0454肋某一無記憶信源的符號集為(0,1},已知“°=1,幾=|o求符號的平均信息量；由1000個符號構(gòu)成的序列，求某一特定序列(例如有m個“0”,(1000-m)個“1”)的自信量的表達(dá)式；計算(2)中序列的爛。解：1122H(x)=-/70log/；0-p{log/?1=--xlog---xlog-=0.918bit/symble12I(A)=一mlogPo一(1000一m)logp=-/??log--(1000一加)log—bitH(A)=1000H(X)=1000x0.918=918bit/sequeace12(1000-2log3TOC\o"1-5"\h\zm1000-wi加i12(1000-2log3H(A)=￡polog”o_ZPilogA=-—log--j-i/-i》》設(shè)信源X的信源空間為:0.160.180.3fx：a】a2a0.160.180.3b(X)0.170.190.18求信源爛，并解釋為什么H(X)>log6,不滿足信源爛的極值性。解：H(x)=-》>a)iog“a)r-l=-0.171og0.17-0.191og0.19-2x0.181og0.18-0.161og0.16-0.31og0.3=2.725bit/svmbleJ對見H(X)=2.725>log6=2.585不滿足信源爛的極值性這是因為信源爛的最夫值是在￡卩=1的約束條件下求得的，但是本題中/-I=1.18不滿足信源爛最大值成立的約束條件，所也(X)>log6。為了使電視圖彖獲得良好的清晰度和規(guī)定的對比度，需要用5x105個像素和10個不同的亮度電平，并設(shè)每秒要傳送30幀圖彖，所有的像素是獨立的，且所有亮度電平等概出現(xiàn)。求傳輸此圖彖所需要的信息率(bit/s)o解：由于亮度電平等概出現(xiàn)由爛的極值性：10每個像素的爛是：H(x0)=工“(q)logp(Gj)=log10=3?322bit/pelsr-l每幀圖像的爛是JH(X)=5xl05xH(x0)=5x105x3322=1.661x106bit/frame??所需信息速率為：R=r(frame/s)xH(X)(bit/frame)=30xl.661xl06=4.983x10bit/s設(shè)某彩電系統(tǒng)，除了滿足對于黑白電視系統(tǒng)的上述要求外，還必須有30個不同的色彩度。試證明傳輸這種彩電系統(tǒng)的信息率要比黑白系統(tǒng)的信息率人倍左右。證：增加30個不同色彩度在滿足黑白電視系統(tǒng)要求下，每個色彩度需娶0個亮度，所以每個像素需要?0xl0=300bit量化300???每個像素的爛是:H(“)=工p(b-)log〃(切)=log300bit/pels?.?竺亠蜒型=2477“5H(a0)log10二彩色電視系統(tǒng)每個像素信息量比黑白電視系統(tǒng)夫2.5倍作甩所以傳輸相同的圖形,彩色電視系統(tǒng)信息率黠匕黑白電視系統(tǒng)劭.5倍左右每幀電視圖像可以認(rèn)為是由3xl05個像素組成，所以像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)。問每幀圖像含有多少信息量若現(xiàn)在有一個廣播員，在約10000個漢字中選1000個字來II述這一電視圖像，試問若要恰當(dāng)?shù)孛枋龃藞D像,廣播員在口述中至少需要多少漢字解：每幀圖象所含信息量H(X)=3xl0‘xH(x)=3x105xlog128=2.1x106bit/symble每個漢字所出現(xiàn)概樸牆皿???每個漢字所包含信息量H(c)=-logp描述一幀圖像需要漢H(X)%)-logO.lH(X)%)-logO.l=6.322x10’/frame??.最少需要6.322x10'個漢字給定一個概率分布p”)和一個整數(shù)m,0<m<n.定義qm=l-^/z,證明:(=1H(p“p“???,pn)<H(pl,p2,...,%log(〃-加)。并說明等式何時成立證：先證明f(X)=-Alogx(x>0)為凸函數(shù)，如下：???廠(x)=(_xlogx)n=一又X>0???廠(x)=(-xlogx)"=一<0即/(x)=-xlogx(x>0)為凸函數(shù)。Xmn又???H%p2,…必)=一工PilogPi一X必logPi/-Ii-m+l山凸函數(shù)的性質(zhì)，變顯數(shù)的平均值小于變圜勺算術(shù)平均值的函數(shù)，可得:?乞伽）工門工?乞伽）工門工Pi工卩<-（/?_加）/（皿）=_（〃_加）Hlog—n一mn一mn一m=一％logq’nn一m即一S門bgPi<一％bgclm+%log（”一加）/-wr+l當(dāng)且僅當(dāng)Pg=I治=???=I兒時等式成立。inftm???Hgpwpj=-Xpi°g1人一E門i°g【人-一工卩i°g【人一4“i°g6”+q加iog（”一〃?）/-I/-/n+1i-l???HUbp-…、［幾心）=-工log］人一qmlogqinr-l???H（“I,"2SH（Pi,/Z,...,p,n,q）n）+qmlog（/?一m）當(dāng)且僅當(dāng)Pg=］治2=???=］兒時等式成立。找出兩種特殊分布：Pl>P2>P3>...>PntPi>P2>P3>...>Pm/使H（Pi/p2,P3/.../Pn）=H（Pi/P2/p3/-./Pm）<>nm解：Hpn）=一工門logPi=H?,%,???,qj=一工Glog4/-I/-i兩個離散隨機(jī)變量X和Y,其和為Z=X+Y,若X和Y統(tǒng)計獨立，求證:H(X)WH(Z)，H(Y)WH(Z)H(XY)2H(Z)證明：設(shè)X、Y的信源空間為：X①

.P(X)X①

.P(X)P1Pl???Prq?…q$又X#統(tǒng)計獨立二H(Z)=-另pzklogpzk<一乞乞卩(倚+巧)bgPS*+巧)S-三另S?幻)bg(H?幻)=H(XY)Jt-li?lJ-li-1)-1又H(Z)=-另logg?-(￡乞門幻)log(￡￡p,qj)+>4-1i-1j-1i-1)-1=-乞乞Slog(Pi+幻))-￡￡幻log(Pi+幻)TOC\o"1-5"\h\z1-1)-1/-I)-1ris?-5藝殆bg(P+幻)》■另幻bg(Gj)i-1J-l)-1第二章單符號離散信道fXa{g設(shè)信源[X>P]J“1-[P(X)0.70.3通過一信道，信道的輸出隨機(jī)變量Y的符號集九b2Y:{b[yb2},信道的矩陣：aLL尸J=「5/61/6-a21/43/4試求：信源X中的符號】和2分別含有的自信息量；收到消息Y=bi，Y=b2后,獲得關(guān)于1、2的互交信息量:1(血)、1(血)、l(2；b])、1(2血)；⑶信源X和信宿Y的信息爛：⑷信道疑義度H(X/Y)和噪聲爛H(Y/X)；⑸接收到消息Y后獲得的平均互交信息量l(X;Y)。解：l(aj=-log)=-log0.7=0.5415bitI(?2)=-logl(aj=-log)=-log0.7=0.5415bitI(?2)=-logp(a2l)=-log0.3=1.737bit

人、i〃(切①)?5/61(①如=log———I(q;br)=log""J=log=-1.036bit1心)0.7x1/6+03x3/4I(4血)=log/UJ"'J=log=1.134bitP(bJ0.7x1/6+03x3/4279由±:p(bL)=工p(e)卩(咖)=—-z=i-,di卩(化)=工〃(①)卩(婦4)=而~10g0.7x5/6+03x1/4-°341/61/4-10g0.7x5/6+03x1/4-_0-766blt3/4??.H(X)=一工“(a,)logp(cl)=-(0.7log0.7+0.31og0.3)=0.881bit/symblei=i279794141H(丫)="(巧)logP(S)=-(—log—+—log—)=0.926bit/svmble/7(Y\X)=￡￡p(?E)logp(bj\ai)=0.698bit/svmble;=1/=!；=1Z=1乂I(X;Y)=H(<Y)-H(Y\X)=H(X)-H(<X\f).?.H(Xy)=H(X)+H(y|X)—H(y)=0.881+0.698—0.926=0.653bit/svmble/.I(X;Y)=H(Y)-H(Y\X)=0.926-0.698=0.228bit/svmble某二進(jìn)制對稱信道，其信道矩陣是:oro.9810.02oro.9810.020.020.98設(shè)該信道以1500個二進(jìn)制符號/秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二進(jìn)制符號，并設(shè)在這消息中p(0)=p(l)=o問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真的傳送完。解：由于二進(jìn)制對稱信道輸入等概信源/(x；y)=c=1-//($)=i+￡iogw+(i-w)iog(i-w)=1+0.02log0.02+0.981og0.98=0.859bit/svmble信道在10秒鐘內(nèi)傳送14000個二進(jìn)制符號最大碼率匕C,=Cxl4000symble/10s=1201.98bit/s而輸入信源碼率為500bit/s,超過了信道所能提供白養(yǎng)大碼率,故不可能無失真?zhèn)鬏?/p>

有兩個二元隨機(jī)變量X和Y,它們的聯(lián)合概率為P[X=0/Y=0]=l/8.P[X=OZY=1]=3^.P[X=l/Y=l]=iy8,P[X=lzY=0]=3^o定義另一隨機(jī)變量Z=XY,試計算：H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);⑵H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);⑶l(X;Y),l(X;Z),l(Y;Z),l(X;Y/Z),l(Y;Z/X),l(X;Z/Y)°解：8821882Y的分布:882882(1)由題意：X的分布：p(X=0)=——=—;p(X8821882Y的分布:88288288888且p(X=0,Z=0)=p(X=0)=—■p(X=0,Z=1)=0;p(X=1,Z=0)=§;p(X=1,Z=!)=—'H(Y)=-(一log—+—log—)=1bit/symbleH(Z)=-(-log-+-log-)=0.544bit/svmbleH(XZ)=-工工＞(g)log"(?也)=-(入=-(入(00)logpJ00)+入(10)logpJ10)+入(01)logRv.(01)+Px-(H)logpxg1))由上面X、Y.Z的概率分布:H(YZ)=H(XZ)=1.406bit/symble(2)]?x=o|r=o)=入(o|o)=/7vv(QQ)=字=丄，?入(i|o)=/?xv(10)=竽=?；1-1p、(0)1/24-1pv(0)1/24n(0|1)=厶?L藝丄衛(wèi)(1|1)=空HL必顯幾KI}0(1)1/24心1}久(1)1/24■J???H(X|Y)=)logp(x，M)i=l7=1=-kn(00)log幾,(0|0)+pn.(01)logp.ry(0|l)+/7rv(10)log幾,.(l|0)+pn,(ll)logpxv(l|l)]11333311=一(一xlog—+-xlog—+-xlog—+-xlog-)=0.81lbit/svmblevz(x；r)=//(x)-//(x|r)=//(r)-//(r|x)_gH(x)=//(y):.H(Y\X)=H(X\Y)=O.Sllbit/symble同理：H(x|Z)=￡P(guān)(xtzk)log”(咔Q=_￡Ep(g)logP’X'k)/=1k=Li=l1=1=-[%(00)logp癥(0|0)+p」01)logp疵(0|l)+p」10)logpxz0\0)+pxz(ll)logpr;(l|l)]TOC\o"1-5"\h\zJ.1/2介3|3/81.1/8xRI=一(一xlog+0+-xlog+-xlog——)=0.862bit/symble27/887/881/8-h(z|x)=-￡￡“(za)iog卩⑷兀)=p(站)iogA=1Z=1A=1Z=1P\^i)=-[“(OO)log耳(0|0)+p'01)log厲(0|1)+耳(10)log耳(1|0)+“(1l)log%1)]」i1/2c3|3/81|1/8、—_=—xlog——+0+-xlog+-xlog——)=0.406bit/symble21/281/281/2由X、Y、Z的概率://(r|Z)=//(X|Z)=0.862bit/svmbleH(Z|Y)=H(Z\X)=0.406bit/symble???%(ooi)=〃燼(101)=代興(011)=s(iio)=oh(X\yz)"(兀g)iog〃u|g)=-￡￡￡)iog"HZ=17=1A=1i=l7=1A=1P\yj^k)Pd11)比(11)=-(P’(OOO)logP；'鶯)+p.(,.(010)log需)Pd11)比(11)1,1/83/8313/81/8、―=一(一log+-log+—log+-log——)=0.406bit/symble81/283/881/281/8「H(Y\XZ)=H(X\YZ)=0.406bit/symbleh(z\xy)=-￡乞￡/?g)iogp(訃兀)=￡〃3g)iog1=17=1a=ii=ij=i^=1P\^jyj)啓(111)f(11)=-(P’(OOO)logP；'鶯)+p.(,.(010)log卩；嚮)啓(111)f(11)1,1/8313/83】3/81,1/8、A”K1=一(一log——+—log+-log+-log——)=0bit/symble81/883/883/881/8「由±:I(X;Y)=H(X)-//(X|r)=1-0.811=0.189bit/svnibleI(X;Z)=H(X)-H(X|Z)=1-0.862=0.138bit/svnibleI(Y;Z)=H(Y)-H(Y\Z)=1-0.862=0.138bit/symbleI(X;Y\Z)=H(X\Z)-H(X\YZ)=0.862-0.406=0.456bit/symbleI(Y;Z\X)=H(Y\X)-H(Y\XZ)=0.811-0.406=0.405bit/svnibleZ(X;Z|y)=//(X|r)-//(X|rZ)=0.811-0.406=0.405bit/svnible已知信源X的信源空間為(X:a、a.ci.[XePlJ1*34[P(X):0.1030.20.4某信道的信道矩陣為：bib2b3b4「0.20.30.10.4a20.60.20.10.10.50.20.10.240.10.30.40.2試求：“輸入m，輸出b2的概率”；⑵“輸出b4的概率”；“收到b3條件下推測輸入2”的概率。解：/?(?5;Z?2)=p(a^)p(b2|tz3)=0.2x0.2=0.04TOC\o"1-5"\h\z44”(/?4)=工]心山)=工PWi)P(b」\ai)=0.1x0.4+0.3x0.1+0.2x0.2+0.4x0.2=0.19/=!f=l44〃(A)=工〃(①仇)=工"(a,)pG血)=0.1x0.1+0.3x0.1+0.2x0.1+0.4x0.4=0.22i=i<=ip(誹)=匹2輕k也亠0.1360.22己知從符號B中獲取關(guān)于符號A的信息量是1比特，當(dāng)符號A的先驗概率P(A)為下列各值時，分別計算收到B后測A的后驗概率應(yīng)是多少。⑴P(A)=10-2；(2)P(A)*2；⑶P(A)=o由題意?.?/(△;〃)=log"⑴")=1p(A\B)=2p(A)p(A)p(A)=1CT'時,p(A0)=2xl0-2“(4)=1/32時,“(40)=1/16p(A)=0.5時,p(A|B)=l某信源發(fā)出8種消息，它們的先驗概率以及相應(yīng)的碼字如卞表所列。以a。為例，試求:消息ai^2^38435^68738概率1781/16V161/161/16碼字000001010011100101110111(1)在W4=011中，接到第一個碼字“0”后獲得關(guān)于a4的信息量l(a4；0)；⑵在收到“0”的前提下，從第二個碼字符號“1”中獲取關(guān)于a。的信息量l(a4；W):(3)在收到“01”的前提下,從第三個碼字符號“1”中獲取關(guān)于a4的信息量l(a4;Wl):⑷從碼字W4=011中獲取關(guān)于34的信息量l(a4；011)o解：1/8⑴畑。)現(xiàn)獰赳⑻沁卜0.415bxtPWJ1/831/8_bg_bg(1/8)/(1/4+1/4+1/8+1/8)_1°83_1，585blt⑶“恥】)=108冊=108(1/8)/(1/8+1/8)=，O82=1blt⑷畑W)=bg?，F(xiàn)需沁8=3b"把n個二進(jìn)制對稱信道串接起來，每個二進(jìn)制對稱信道的錯誤傳輸概率為p(O<p<l),試證明:整個串接信道的錯誤傳輸概率pn=[l-(l-2p)n]o再證明：nT*時,liml(Xo；Xn)=Oo信道串接如卜圖所示:卜圖所示:解：用數(shù)學(xué)歸納法證明：口jP1J2i」口jP1J2i」L〃1-〃」|_1-2”+2/廣1_2p+2p，2卩一2]￡1-卩PP1-卩p2=2p-2p2=l[l-(l-2p)2]假設(shè)“時公式成立則|[l-(l-2p/]1?尹+(1-2川]*[1+(1—2滬]|[l-(l-2p/]1?尹+(1-2川]*[1+(1—2滬]l_pp[P亠?-[i-(i-2Py]_*[l+(l-2p嚴(yán)]i[l-(l-2p/+1].?也土[1一(1一2曠]故^=|[l-(l-2p)n]—2p<1lunPn=Um丄[1一(1一2p)'1]=-n->x22設(shè)輸入信源空I'眠o：p(X°=O)=a,p(Xo=l)=l-d(其中Ovavl)貝|J輸出fg:p(Xx=0)=p(XQ=0)?p(Xx=0|Xo=0)+p(XQ=0)?p(Xx=0|Xo=1)=1卩(X*=1)=扌???卩(心|兀)=/心00)(兀、耳取0或1)/=!；=1P(入呵丿r=l；=1P(入呵丿二工5>(X。,—)logl=0z=ij=i試求卜列各信道矩陣代表的信道的信道容量:(1)a.a3b2*ba.a3b2*b4010000001100a2a.[斫a2a.[斫a,blb2b3b4_0.10.2030.4［乙］=①00000000Sb2b,

「10o-100010010001001b5b7bsb9b100000000.30.70000000.40.20.10.3解：信道為一一對應(yīng)確定鬆的無噪信道??.C=logr=log4=2bit/svmble信道為歸并性無噪信道??.C=log5=log3=1.585bit/svmble(3)信道為擴(kuò)張性無噪信道vC=logr=log3=1.585bit/symble設(shè)二進(jìn)制對稱信道的信道矩陣為：010'3/41/4'[P]=11/43/4若p(0)=於，p(l)=V3,求H(X),H(X/Y),H(Y/X)和l(X;Y)：求該信道的信道容量及其達(dá)到的輸入概率分布。解:TOC\o"1-5"\h\z2211(l)H(X)=-工p(兀)logp(xt)=-(—xlog—+-xlog-)=0.9183bit/svmbler=i3333Py(0)=牙p(X{)p(y=0\Xi)=-x-+-x-=—“、?(1)=Smw=ik,)=|x^+|x^=A27755H(Y)=-若"(兀)bgp(兀)=-(—xlog—+—xlog—)=0.9799bit/symbleh⑴X)=-￡￡〃(兀兒)iog卩()訃兀)=-￡1>(兀)卩(兀肉)iog卩(兀氏)f=l;=11=1J=1233111211133=-(—x—log—+-x—log—+—x-log-+-x—log—)=0.8113bit/symble344344344344:.1(X;Y)=H(Y)+H(Y\X)=0.9799-0.8113=0.1686bit/symbleH(X|Y)=H(X)—/(X；y)=0.9183—0.1686=0.7497bit/symble(2)本信道為強(qiáng)對稱信道/.C=logr-H{s)-￡log(r-1)=log2-//(0.25)-0.25log1=0.1887bit/svmble信源輸入為等概分布即p(X=0)=p(X=l)=丄時達(dá)到信道容量c.2設(shè)某信道的信道矩陣為b2b3b4b5al0.60.10.10.10.1ci20.10.60.10.10.1[P]=60.10.10.60.10.1a40.10.10.10.60.1a50.10.10.10.10.2試求：(1)該信道的信道容量c：⑵l?；Y)；⑶l(92；Y)o解：本信道為強(qiáng)對稱離散信道/.C=logr-H(s)~^log(r-l)=log5-H(0.4)-0.4log4=0.551bit/symble>(3)/(?3；y)=1(ci5,Y)=C=0.551bit/symbleb2b3b41/31/61/61/61/31/3blclri/3[P]=1/Acr>1/6設(shè)某信道的信道矩陣為設(shè)某信道的信道矩陣為試求：⑴該信道的信道容量c；⑵l（a】；Y）；（3）l（a2;Y）o解：（1）本信道為對稱離散信S/.C=logs-H（p；,p；,p；,p：）=log4-H（丄，-，-,-）=0.0817bit/symble366（2）、（3）/（d]；F）=I（ci2;Y）=C=0.0817bit/bvmble設(shè)某信道的信道矩陣為ri/21/41/81/8][P]=.1/41/21/81/8_試該信道的信道容量c：解：此信道為準(zhǔn)對稱離散信道，且、=2,t=2=嘰）十吋+扣*丐€==P（b22）=1.[i+i]=1?i=1=）l=2???0=_￡?〃（切）100”（切）_//（”；丿；丿；,龍）=_[2乂石10￡石+2><6100石]_//（十亍6，石）/=]ooooz4oo=0.0612bit/symble求下列二個信道的信道容量，并加以比較（其中0<p,q<l/P+q=l）⑴比]=q-Sp-S25⑵[勺=0⑴比]=q-Sp-S25⑵[勺=0p-3q-S25q_6p-S解：(1)此信道為準(zhǔn)對稱離散信苣，且亠=2宀=1=丄?("_5+g_5)=；?(/?+q_25)r2P?)e=片?(2$)氣?25=5???G=-工刀p(bJlog“⑷-H(〃；,/X丿；)/=i=-[2X*?(”+g一25)log*?(p+q一25)+Slog5]一//(/?一5,g一5,25)=-(P+q_25)log"+；2"+(〃_5)log(“_5)+?_5)iog(g_5)+25+Slog5⑵此信道為準(zhǔn)對稱離散信fi,且耳=2宀=2〃($)/=]=+?(25+0)=j?25=5P&)z=L.(p_5+q_5)=t.(p+q_25)r2G=-工％(bjlog〃(勺)-丹(〃；丿；,〃；,〃：)/=!=_[25log5+2x*?(〃+q一25)logj?(〃+q一25)]-H(p-5、q-5,25,0)=-(P+q-25)log——；"+(”-5)iog(p_5)+(g_5)log(q-5)+25由上ffiCpG表達(dá)式可知：C<C2且當(dāng)5=0時等號成立設(shè)某信道的信道矩陣為Pl[P]=Pl0[P]=Pl0其中PbP2,…，Pn是N個離散信道的信道矩陣。令Cl，C2,…,Cn表示N個離散信道的容量。試證明，該信道的容量C=log±2“比特/符號，且當(dāng)每個信道i的利用率小=23印=12…,N)時達(dá)其容量Co證明：設(shè):匕為/，”行x燈列(加=1,2,…N)TOC\o"1-5"\h\z由方程組fp{bj/cii)Pj=￡p(bj/aJlogp{bj/a^i=1,2,r)(1)j=LJ=1解出0可得C=log［f2約(其中$==7=1/n=lw=l由［P］特點,方程組(1)可以改寫為工/%)0刃丿=工卩(0丿/qjlog/djTOC\o"1-5"\h\z冃ji=i(z=l,2<r)￡恥巴g)0巴二士恥巴％jbg恥巴g)(z=l,2<r)冃八=1土p?“ja)0J=$p(bJajbgp(bjkJ)=i/i=i其中q=log[±2k]伽=1,2,…,N),即±2你=2。J=1j=L???C=1。壯2勺=log[￡(±2k)]=log[f2。]7=1/7?=1J=1加=1-(Zlog2^.C)且在各信道利用率為pn嚴(yán)乞2曠7=2"=2?°(加=1,2廠顯);=1N時取得信道容量c=log[￡2“]m=l第三章多符號離散信源與信道設(shè)X=X】X2…XN是平穩(wěn)離散有記憶信源，試證明：H(XiX2-Xn)=H(Xi)+H(X2/X1)+H(X3/XiX2)+???+H(Xn/XiX2-Xn-i)o(證明詳見pl61-pl62)試證明:logr^H(X)^HfXz/Xi)^H(X3/XiX2)》?JH(Xn/X】X2…Xn』°證明：由離散平穩(wěn)有記憶信游條件概率的平穩(wěn)性有Pg/…收-】)=Pg/^2…aik-2)rrr.?.Hg/X"…工…工…?-J-工〃(收/勺心…糾―)^P(aik/4也3…4—)zi=ia-1=1La=irrr=一工…工工pa如…昭弘血paj①2山…g)rl=liHTrrr=一工…工!>(4口2?5-4)10&卩(收?】/4“廠5-2)rl=liHTrr=-E…工P(anai2…%JlogP(畋T/anai2…%2)rl=l次一1=4=H(Xk_l/XlX2-Xk_2)重復(fù)應(yīng)用上面式子可得H(X)>H(XJXl)>H(Xi/XlX2)>--H(XN/XlX2--XN_l)又僅當(dāng)輸入均勻分布時H(X)達(dá)到最大logr,即logr>//(%).?.logr>//(X)>//(X2/X1)>//(X3/X1X2)>-//(XjV/XIX2--X?v_1)試證明離散平穩(wěn)信源的極限嫡：(證明詳見P165-R167)設(shè)隨機(jī)變量序列(XYZ)是馬氏鏈,且X：{a】,a2,…,a「},Y：{bizb2/…,bs},Z:{ci,C2,…,cL}。又設(shè)X與Y之間的轉(zhuǎn)移概率為p(bj/ad(i<L,2,-,r;j=lz2,???,$)；Y與Z之間的轉(zhuǎn)移概率為p(cic/bj)(k=12…,L;j=l,2,…,s)。試證明:X與Z之間的轉(zhuǎn)移概率:p(ck/aj=工p(bj/e)p(q/bj);=i證明:p(ck/cii)=p(Z=ck/X=af)="(Z=ck，U$=bJX=a；)=》p(Z=ck,Y=bj/X=a/)j=\j=l=±p(Y=b/X=ajPlZ=cJY=bj,X=cijj=\'：XYZ為Marko妨列/.P(ck/bj,ai)=P(ck/b/):.p(ck/aj=f“(Y=bj/X=q)P(Z=cJY=bj;=1試證明：對于有限齊次馬氏鏈，如果存在一個正整數(shù)nO^l,對于一切i,j=l,2,r,都有Pij（no）＞O,則對每個j=l,2,r都存在狀態(tài)極限概率：徑耳（〃）=匕（丿=12…』）（證明詳見:P171-175）設(shè)某齊次馬氏鏈的第一步轉(zhuǎn)移概率矩陣為:12P00Pqpo「q(1)[P(2)]=[P[P]=qQpq0qp0(2)由:rp（o）「「qpo「T■p(0)_p⑴——qop■p⑴卩⑵1——10qp/⑵一=></?(0)+p(l)+p(2)=lP0~g2P0~g2+pqpq9/”0P—（廠2pq/”qp_■（廠pqpq"P⑼丄pqpq試求：（1）該馬氏鏈的二步轉(zhuǎn)移概率矩陣；⑵平穩(wěn)后狀態(tài)“0”、“1”、“2”的極限概率。解：n(D=(1一°)D=pqpqp(i)>0(/=0丄2)”(p(i)>0(/=0丄2)pqpq設(shè)某信源在開始時的概率分布為P{Xo=O}=;P{Xo=l}=；P{X0=2}=o第一個單位時間的條件概率分22布分別是:P{Xx=0/Xo=O}=第；P{X1="Xo=O}=l/3;P{X訐”Xo=O}=l/3;P{X訐0/XO=1}=V3；P{Xi=l/XO=1}=V3；P{X訐”X0=l}=iy3；

P{X訐0/Xo=2}=l/2;P{Xi=l/X0=2}=l/2;P{XgX0=2}=0.后面發(fā)出的Xi概率只與Xi-1有關(guān),有P(Xi/Xi-l)=P(Xi/Xo)(i>2)試畫出該信源的香農(nóng)線圖，并計算信源的極限矯H8。解^010'1/31/3且一步轉(zhuǎn)移概率為jp]=l1/31/321/21/2「1/31/31/3-.?.[p⑵]=MM=1/31/31/3■1/21/20由題意，此信源為一階有記憶信源:21/31/301/31/31/3-■1/37/182/91/31/31/3—7/187/182/91/21/201/31/31/3???n0=2時二步轉(zhuǎn)移概率均大刊,既有pij5o=2)>0(/J=1,2,3).?.信源具有各態(tài)經(jīng)歷性，存在極限概紳(S=1,2,3)P(SJ「P(SJ「「1/31/3l/3_T-p(SJP(SJ—1/31/31/3■P(sjPisJ1/21/20*3)p(SJ+p(S2)+p(SJ=l=><P(SJ=|lp(SJ>0Q=123)???Ha=-工工〃(S,)P(Sj/Sjlog〃(Sj/S,)EJ=-3x(-x-log-3x(-x-log-2x(—x—log-)=1.439bit/svmbl

83&383&342&2「香農(nóng)線圖如下:01/201/2某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號集為X：{0,1,2},并定義P=\-P試求信源平穩(wěn)后狀態(tài)“0”、“1”、“2”的概率分布p(0)、p⑴、p(2)：⑵求信源的極限矯Ha⑶p取何值時Hr取得最人值。解：⑴由題意，此信源一步轄多概率為:0120P"2P/2[P]=lp/2~PP/22p/2"2P???“。=1時二步轉(zhuǎn)移概率均大寸0,既有=1)〉0(/,J=1,2,3).??信源具有各態(tài)經(jīng)歷性，存在極限概紳(SJ(心1,2,3)X\)_"2p/2「X\)_"2p/2「P(sj—〃/2"2_p(sj_〃/2"2p(SJ+p(SJ+p(SJ=l“(SJ〉0(心1,2,3)P(52)=|P(SJ=*⑵H*=-工工P(SJp(S了/SJlogp(S./S,)_3x(*log”+￡x彳log#+￡x彳logy)=-(plogp+plogy)bit/svmbl(3)Hs=_(plogp+plogy)=_(plog/?+ylOgy+ylog彳)?"+#+#…由爛的極限定理,當(dāng)K牛畀即p=I時弘取得最大,且Hhmax=log3=1.585bit/svnible

某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號集為X：{0,1,2}。試求:⑴試求信源平穩(wěn)后狀態(tài)“0”、“1”、“2”的概率分布p(0)、p(l)、p(2)：求信源的極限燒H"⑶求當(dāng)p=o,p=l時的信息爛，并作出解釋。pPpP解：(1)由題意，此信源一步車矯多概率為:01oTpo[P]=ip解：(1)由題意，此信源一步車矯多概率為:01oTpo[P]=ip120/?2p0p???由狀態(tài)轉(zhuǎn)移圖可知此信源為不可約、非悄期性、各態(tài)經(jīng)歷性信源???存在極限概的(S,)(2123)?p(Sj7oP?p(Sj7oPrP0)——P?0■P0)_P0)Opp/(S3)P(SJ+p(S2)+p(Sd)=l亠P(sj=*p(SJ>0(7=123)p(SJ>0(7=123)⑵???Hoc=-工工〃(S?(S)/SJlogp(Sj/SJxplogp)1--11--11--1=-(-/；logp+-xplogp+-/?log/；+-xplogp+-plOg/；+-=-(plog/?+plogp)=//(/?)bit/symblxplogp)p=0時,Hoc=H(0)=Obit/symblp=1時，H==H(1)=Obit/svmbl

設(shè)某馬爾柯夫信源的狀態(tài)集合s：{S1S2S小符號集X：2宀5在某狀態(tài)Sj(i"23)下發(fā)發(fā)符號ak(k=l,2,3)的概率p(aJS,)(i=l,2,3；k=l,2,3)標(biāo)在相應(yīng)的線段旁,如下圖所示.(1)求狀態(tài)極限概率并找出符號的極限概率；⑵計算信源處在Sj(j=l,2,3)狀態(tài)下輸出符號的條件爛H(X/Sj);⑶信源的極限爛He解：(1)由題意，此信源一步轉(zhuǎn)移概率為:S|s2S303/41/4[P]=s201/21/2S3100???由狀態(tài)轉(zhuǎn)移圖可知此信源為不可約、非馬期性、各態(tài)經(jīng)歷性信源[p(Sj_03/4l/4_P([p(Sj_03/4l/4_P(sj—01/21/2100???存在極限概紳(S,)(2123)p(SJ+p(S2)+p(S,)=l“(SJ?P0)"(SJp(SJ>0(412,3)P(sj=f亠P(^2)=|P(sj=彳各符號極限概率為TOC\o"1-5"\h\z32124P(ai)=工P(Sf/d])“(SJ=—x—+-xl=—r=i/z//p(&2)=EP0/“2)P(y)=彳X扌+彳X*=￡321213P(a3)=XP(3/a5)p(Sf)=yx+yx2=j431111(2)H(X/SJ=-g“a/SJlogpa/S1)=-(-log-+-log-)=lbit/svnible31111H(X/S2)=一工“(a,/S2)logp(aJSJ=-(—log—+-log—)=lbit/symbler=i2222H(X/S3)=一工“(a,/S$)logp(a(/S3)=-log1=Obit/symble/=!⑶/.He=-工工卩(Si)。?/S,)log/?(S./SJmj2331131111274&44&472&22&27&=0.660bit/symbl下圖所示的二進(jìn)制對稱信道是無記憶信道，其中0V〃帀Vl,p+萬=1J?卩，試寫出N=3次擴(kuò)展無記憶信道的信道矩陣[P]?解:將二進(jìn)制對稱無記憶ON=3次擴(kuò)展辰信源輸入符號集為y=皿3)，其中％心?3g{o」}」=i,2，??8；即：q=(000)，4=(001),^3=(010),q=(°11),他=(100),%=(101),a7=(110),a8=(111)輸出符號集為：0={巧02如},其中巧]、氐、巧3w{0,l}J=l,2,…8;即胡=(000),0廠(001),03=(010),0廠(011),05=(100),06=(101),07=(11O),0S=(111)???Pl0ja)=P(5/如)?pawp(ajbjj故直接可以寫出N=3次擴(kuò)展信道信道矩陣匕=(000)—3P局pp2pp2pp2p‘a(chǎn).=(001)力—3Ppp2P2Ppp2p3pp2=(010)力PP2―3P局~pp~局亦4=(011)pp2—3pp—3p~p—3Pp3pp2pp2—3ppa5=(100)—7PPPP2亦/—3P—?>pp—rpp亦冬=（101）pp2—rppp‘pp2—Tpp—3Ppp2rpp0=(110)pp2/局pp2局pp'—3P込=(111)p3pp2pp2P2Ppp2局—3P[P]=010203040506Pl0S(000)(001)(010)(Oil)(100)(101)(110)(111)第五章多維連續(xù)信源與信道設(shè)X()是時間函數(shù)x(t)的頻譜，而函數(shù)在TKt<T2區(qū)間以為的值均為零.試證：X(/)=±X("嚴(yán)-勿),2THTT-TlfT(頻域抽樣定理，證明詳見P263-R265)設(shè)隨機(jī)過程x(t)通過傳遞函數(shù)為K()的線性網(wǎng)絡(luò)，如卜圖所示?若網(wǎng)絡(luò)的頻寬為F,觀察時間為T.試證明:輸入隨機(jī)過程的爛h(X)和輸出隨機(jī)過程的爛h(Y)之間的關(guān)系為：x(t)網(wǎng)絡(luò)y(t)-K()1rnrn1廳丿/?(y)=/?(X)+》logK/?=!(證明詳見p283?p287)證明:加性高斯白噪聲信道的信道容量：C=—log(l+^f)信息單位/N維2以其中N=2FT,62x是信號的方差(均值為零),62n是噪聲的方差(均值為零).再證:單位時間的最大信息傳輸速率G=Flog(l+￡-)信息單位/秒nF(證明詳見p293?p297)設(shè)加性高斯白噪聲信道中，信道帶寬3kH乙又設(shè)｛(信號功率+噪聲功率)/噪聲功率｝=10dB.試計算改信道的最大信息傳輸速率Q.解：由題意有：101og±l=10.?.土1=1OH卩2=9NNNS:.C,=Flog(l+―)=3000Xlog(l+9)=9965.78bit/s在圖片傳輸中，每幀約有X106個像素，為了能很好的重現(xiàn)圖像，需分16個量度電平，并假設(shè)量度電平等概率分布，試計算每分鐘傳輸一幀圖片所需信道的帶寬(信噪功率比為30dB).解：由題意用16個亮度電平來表示一令象素則需要4位二進(jìn)制編碼￡乂由Cr=Flog(l+—)得：NF=—^-―=—=2.2'xWx丁&0=1505x104=15.05k比log(l+—)iog(i+10斂加)10g(1+1°)設(shè)電話信號的信息率為X104比特/秒.在一個噪聲功率譜為N0=5X10-6mW/Hz,限頻F、限輸入功率P的高斯信道中傳送，若F=4kHz,問無差錯傳輸所需的最小功率P是多少W若F-8則P是多少W解：F=時,實現(xiàn)無差錯傳輸貝吹<Flog(l+—)NqF取等號即R=Flog(l+隹)得NqFR5.6X104Pmia=NqF①-l)=5xIO-6xio_3x4xio3x(2*^-1)=0.32766W所以無差錯傳輸所需要得最小功Wmm=0.32766WFtoo時，由實現(xiàn)無差錯傳輸貝吹<InnCt=—^―fIn2取等號，貝y/^b=/?^olii2=5.6xl04x5xl0-<5xl0-3xlii2=1.941xl0"4=0.1941inW己知一個高斯信道，輸入信噪功率比為3dB,頻帶為3kH乙求最人可能傳送的信息率是多少若信噪比提高到15dB,求理論上傳送同樣的信息率所需的頻帶.解：最大可能傳輸?shù)乃俾蕿镽=c,=Flog(l4-—)=Flog(l+1010jV)=3xio3xlog(l+1010)=4748.05bit/s廿/SR4748.05n/1/1?若(—)dB=15則尸二==944.36HzNi“'、-log(l+萬)log(l+1010)設(shè)某加性高斯白噪聲信道的通頻帶足夠?qū)?F->oo)z輸入信號的平均功率PS=1W,噪聲功率譜密度NO=l(PW/Hz〃若信源輸出信息速率Rt=X104比特/秒?試問單位時間內(nèi)信源輸出的信息量

是否全部通過信道為什么解：Pr1?/lullC===1.4427xlO4bit/s</?f=1.5xlO4bit/s戶蟲『In2ICT4xIn2f即信源輸出信息速率夫于信道所能提供的最夫傳輸速率所以單位時間內(nèi)信源輸出的信息量不能全部通過信道，否則會產(chǎn)生失真第六章無失真信源編碼設(shè)平穩(wěn)離散有記憶信源X=XiX2-XN,如果用r進(jìn)制符號集進(jìn)行無失真信源編碼?試證明當(dāng)N-8時，平均碼長辦每信源X的符號需要的碼符號數(shù))的極限值：Innn=HxrNtoc其中H★表示「進(jìn)制極限爛.證明：對于平穩(wěn)離散有記憶信原X=其中H★表示「進(jìn)制極限爛.證明：對于平穩(wěn)離散有記憶信原X=…XnHa=lullHn(X)=lullN?'7NTHN由平均碼長界限定理H(X)H(X)|—<nx<+1logrlogr則H(X)<H(X)=Inn//(Xn/X1X2--X4V)NT0CNxlogrNNxlogrNH(X)八nxrzH(X)+丄)??.Inn八'八7<Inn—<Inn(nthnxlogrnthnntxnxlogrNnnHb..-Hb即<Innn<logrntoclogr-Hoc??.Innn==HanthlogrAr->x設(shè)某信源S:{s】甩s/4心S6》其概率分布如下表所示，表中也給出了對應(yīng)的碼223456試問表中哪些碼是單義可譯碼試問表中哪些碼是非延長碼⑶求出表中單義可譯碼的平均碼長并.SiPiW(1)W⑵W⑶W(4)W⑸W(6)S1m00000000S21400101100110100S3010Oil110001110101

S41/16Oil0111111000011110110S41/321000111111110000011011111S61/321010111111111100000011101Oil解：⑴W⑴是定長非奇異碼，單義可譯,W⑵是延長碼，單義可譯,W⑶是即時碼，單義可譯;(2)W(1)、W(3)是非延長碼；⑶_6W(l):n=YP^i=r=i_6w⑵G=j=i-x3+-x3+_6W(l):n=YP^i=r=i_6w⑵G=j=i—xl+—x2+_x3+—x4+——x5+——x6=——_6W(3)加=i=iIxl+lx2+lx3+±x4+±x5_6W(3)加=i=iIxl+lx2+lx3+±x4+±x5+±x6=^216323232某信源S的信源空間為:Js：Js：S1[p(s):0.2s20.8若用U:{0」}進(jìn)行無失真信源編碼，試計算平均碼長齊的下限值；把信源S的N次無記憶擴(kuò)展信源SN編成有效碼，試求N=2,3,4時的平均碼長齊；⑶計算上述N=l,2,3,4,這四種碼的信息率.解：2H(S)=一￡p(5f.)logp(5.)=-(0.2xlog0.2+0.8xlog0.8)=0.7219bit/symblez=i由平均碼長界限定理->Wi2=22^12=o.72i9logrlog2N=2時TOC\o"1-5"\h\z.[s2S]5PS“[S2^P]=l111--1-[P(52)0.040.160.160.64對其進(jìn)行Huffman編碼：

A/?(2)=Ypit=0.64X1+0.16X2+0.16X3+0.08X3=1.68碼符號72信源符號r=in==2168=0.842碼符號/信源符號N=3時[S'?P]=<s'SmP(S')0.008S心S⑵s縱s#S221S2220.0320.0320.1280.0320.1280.1280.512碼長編碼信符信符概率10S222L3100S2210J3111S212h-JU13110S122n丄511100S112LQ1-r1511101S121—-d511110^211LQ.15muSin—T???〃⑶=r=i=0.512x1+0.128x3+0.128x3+0.128x3+0.032x5+0.032x5++0.032x5+0.008x5=2.184碼符號/3信源符號-〃⑶n==2.184=0.728碼符號/信源符號33N=4時-〃⑶n==2.184=0.728碼符號/信源符號33N=4時s^1111saill2\121P(S，)0.00160.00640.0064[SUP]斗52s^2111?^2112*^2121P(S')0.00640.02560.0256^1122sa1211^1212^1221sa12220.05120.00640.05120.05120.1024^2122*^2211^2212*^2221s沖0.10240.02560.10240.10240.4096碼長編碼信符信符概率10S22223100S22213101S221241100S212241101S12226111000S21126111001S21216111010S2211110006111010S12216111100S12126111101S112271111100S111271111101S112171111110S12118S21118S1111_1(5???M4)=工PM1=1=0.4096x1+0.1024x(3+3+4+4)+0.0256x(6+6+6+6+6+6)+0.0064x(7+7+7)+0.0064x8+0.0016x8=2.9632碼符號/4信源符號齊=型=蘭空=07408碼符號/信源符號44⑶N=1時，進(jìn)行Huffman^碼則〃=1..R==0.7219bit/symblen若編碼平均碼長達(dá)到邢醞=0.71290寸,/?=坐衛(wèi)=lbit/symblenH(￡\07719N=2時.R===0.8594bit/svmblen0.84H(S\07219N=3時,R=—=—==0.9916bit/svmblen0.728H(S\07219N=4時、R=—=—=—=0.9745bit/svmblen0.7408設(shè)信源S的信源空間為S：S]S->S3S4S5S-ssP(S):0.20.10.30.20.050.050.050.05符號集U:{0,l,2},試編出有效碼并計算其平均碼長二解:進(jìn)行Huffman編碼：r=3,q=8,因為(q-r)mod(卜l)=5mod2="0,所以插入m=(r-l)-(q-r)mod(r-l)=2-l=l個虛假符號，令其為％則：碼長編碼信符信符概率10S30r11S11220S401―2.221S23220S5丄

3221Ss42220S742221S842222S9（不使用）0_8?"=5>心i=l=0.3x1+0.2x1+0.2x2+0.1x2+0.05x3+0.05x3++0.05x4+0.05x4=1.8碼符號/信源符號設(shè)信源S的N次擴(kuò)展信源SU用霍夫曼編碼法對它編碼，而碼符號U:{aiz□乙?：aJ編碼后所得的碼符號可以看作一個新的信源[U>P]:Ju：[U>P]:Ju：?[P(U):P\ci2Pi試證明:當(dāng)N-8時，Jima=1(/=L2<-,r).Ntx廣證明：

對信源S的N次擴(kuò)展信源^進(jìn)行Huffam編碼,得到的編碼是無失真耳険長有效碼由平均碼長的界限定理有：H(SN)/-H(Sn)|logrlogr則H0)比vH(S')+丄其中，為N次擴(kuò)張信源每個符號叢的平均碼長NxlogrNNxlogrN.?.空2<萬<空2+丄其中并為信源5每個符號所需要的平均i馬長logrlogrN對上式各項求極限不等式仍成立血空^血門血】（空2+丄）NtoclogrNTXNT3ClogrNHr

logr<Innn<Hr

logr<Innn<NYlogr:.Innn=NtocHoclogr=Ha同時由無失真信源編?駝理，有編碼速率/?=聖4=巴?nNnnrqrH(S")rH(S)Hh,―??./?x=luii/<=mil—==Inn_=—-—=logrbit/svmblentrnyhnnt”nHhlogr:.在N*時,編碼速率即碼符號集y每一符號所包含信源的F均信息??x=logr,可見對于碼符號集/在Nts時提供的信息量達(dá)到了最大//“?)=100由信源爛的最大值定珈口，此時各符號等概出現(xiàn)：???lullpt=-(/=L2<??、r)設(shè)某企業(yè)有四種可能出現(xiàn)的狀態(tài)盈利、虧本、發(fā)展、倒閉，若這四種狀態(tài)是等概率的，那么發(fā)送每個狀態(tài)的消息量最少需要的二進(jìn)制脈沖數(shù)是多少又若四種狀態(tài)出現(xiàn)的概率分別是:1/2,昭,1A,昭，問在此情況下每消息所需的最少脈沖數(shù)是多少應(yīng)如何編碼解：設(shè)S:{S尸“盈利”，S2=“虧本”曲“發(fā)展”*“倒閉”},⑴若四種情況等概率出現(xiàn)時，即p(S1)=p(S2)=p(S3)=p(S4)=M,用脈沖來表示各信息可視為對信源S進(jìn)行編碼，由平均碼長界限定理知：齊》空2=空仝竺22蘭2衛(wèi)=2脈沖數(shù)/信源符號logrlog2所以發(fā)送每個狀態(tài)的信息最少需要2個二進(jìn)制脈沖.p(Si)=V2/p(S2)=178,p(S3)=Vl,P(S4)=iy8時，由平均碼長界限定理:

所以此情況下每消息所需的最少脈沖數(shù)是個.達(dá)到此下限時要求各消息對應(yīng)碼長m與出現(xiàn)概率p(Si)關(guān)系為:卩(5)=2巴則ni=2,n2=3,n尸2,r)4=3?對信源進(jìn)行Huffman編碼：碼長編碼信符信符概率U110S11/2V2-210S31A—L-3100S21A3101S?可見上面編碼符號最小碼長條件，可使發(fā)送每信息的脈沖數(shù)最少.>-1-21-42og-脈沖數(shù)/信源符號4>-1-21-42og-脈沖數(shù)/信源符號4設(shè)某信源的信源空間為:TOC\o"1-5"\h\zS]SrS3S4S5S7J_J.￡J_J_J_J_解：24816326464解：碼長編碼信符信符概率10S1V21Z2V2m71210S21A141/43110S3_1/4-41110S41/161/161/16杯—511110S5圮26111110S6.36111111S7場遼］■試用U:{O,1}作碼符號集，采取香農(nóng)編碼方法進(jìn)行編碼,并計算其平均碼長〃?_7???〃=2＞心7=1TOC\o"1-5"\h\z=—xl+—x2+-x3+—x4+—x5+——x6+——x624816326464=1.96875碼符號7信源符號第七章抗干擾信道編碼設(shè)有一離散信道，其信道矩陣為：1-21-41-4當(dāng)信源X的概率分布為p(l)=於，P(2)=P(3)=S時，按最人后驗概率準(zhǔn)則選擇譯碼函數(shù),并計算其平均錯誤譯碼概率Pemin-當(dāng)信源是等概信源時，按最人似然譯碼準(zhǔn)則選擇譯碼函數(shù)，并計算其平均錯誤譯碼概率Pemin?解：⑴計算后驗概率，有：3733737，哋)=工哋)=工％)胞也)=石；

/=!r=iP?)=§PG)P(?|aJ=^1心)10*3p(b,)10*訕》警瀘嶺陰小治2冷F(?)=?F(bJ=?1心)10*3p(b,)10*訕》警瀘嶺陰小治2冷F(?)=?F(bJ=?1.3.?.取解碼規(guī)則為：F(bJ=?肚=1-1>(巧)如巧)=j=\(2)由信道矩陣，取譯碼規(guī)則為：F(bj=°]F(?)=冬F(xiàn)($)=偽331由于信源等概分布.?.pe=pemin=i一￡〃(/)卩(乞|/)=￡工“a)”(b也)=-7=1；=1M**L某信道的輸入符號集X：{0,172,lb輸出符號集Y：{0,1},信道矩陣為:0

0

￡21[P]=-21現(xiàn)有四個消息的信源通過這信道，設(shè)信息等概出現(xiàn)。若對信源進(jìn)行編碼，我們選這樣一種碼:C:{(X]如1/2,?)},“0,1(匸1,2)其碼長n=4,并選取這樣的譯碼原則：(yi,y2,y3,y4)=(yi,y2,V2,l/2)這樣的編碼后信息傳輸效率等于多少證明在選用的編碼規(guī)則下，對所有碼字有Pe=0o解：?/信道輸入等概出現(xiàn)TR==&=0.5bit/symbleN4證明：222Vp.=(bj)為=￡p(bj)(l-PRj)=￡p(bj(1-P{X=F(bj)=勺/bJ)j=ij=ij=i=P(0)(l_l)+P(l)(l_l)=0.??在這樣的譯碼原則下，對所以的碼孔=0c考慮一個碼長為4的二進(jìn)制碼，其碼字為W!=0000：w2=0011；w3=1100：w4=llllo若碼字送入一個二進(jìn)制對稱信道(其單符號的誤傳概率為p，p<),而碼字的輸入是不等概率的，其概率為：p(wi)=l/2,P(W2)=城，P(W3)=V8'p(w4)=1A試找出一種譯碼規(guī)則使平均錯誤概率Pemin=Pe0解：由于信道為二進(jìn)制對稱信道，所以先驗概率等于后驗概率，且P<，故可以根據(jù)信道輸出的F個碼字的最犬后驗概率選擇譯碼規(guī)則，即可使平均錯誤概率Pemin=Peo發(fā)送概收到碼事\Wi=0000W2=0011W3=1100W4=llll譯碼規(guī)則0000Ip42lp2p28lp2p28-P44F(0000)=00000001-PP32-PP38-P3P8-P3P4F(0001)=00000010ipP32-PP38-P3P8-P3P4F(0010)=00000011ip2P22-P488ip2P24F(0011)=00110100-PP32-P3P8-PP38ip3P4F(0100)=00000101-P2P22-P2P28-P2P28-P2P24F(0101)=00000110丄p2p22丄戸巒8lp2p28lp2p2F(0110)=00000111-P8P2ipF38-P3P8-PP34F(0111)=llll1000-PP32-P3P8-PP38-P3P4F(1000)=00001001丄p2p22-P2P28ip2P28-P2P24F(1001)=00001010丄p2p22-P2P28ip2P28-P2P24F(1010)=00001011-P3P2-PP38-P3P8-PP34F(1011)=llll1100lp2p22-P48-P48lp2p24F(1100)=1100

1101ip3P2-P3P8ipP38-PP34F(1101)=llll1110-P3P2lp3p8Ipp38-PP34F(1110)=llll1111-P42-P2P281p2p28中4F(llll)=llll;=1=l_(lp4+Ip?3+Zpp3+2p4+]pp3+Ip2p2+9p2p2+Ipp^+Ipp32228222424-p1-4+3-pp4-p1-4+3-pp1-4+3-pp1-4+4一p1-8224=1-P4-3PP3-2P2P2設(shè)一離散無記憶信道，其信道矩陣為：ooo1-21-2oo1-21ooo1-21-2oo1-21-2o220丄20000-02計算信道容量C；找出一個長度為二的碼，其信息傳輸率為(即五個字符)，如果按最大似然譯碼準(zhǔn)則設(shè)計譯碼器，求譯碼器輸出端平均錯誤譯碼的概率Pe(輸入字符等概)；有無可能存在一個長度為2的碼而使每個碼字的平均誤譯概率Pe(i)=O(匸123,4,5),也即使平均錯譯概率Pe=O如存在的話請找出來。解:(1)vr=5=5,且［P］為非奇異矩陣???由工/心/①)0丿=》P(bj?)logp(bj/a,)(/=1,2,3,4,5)得J=1+J=1+0U=-202+03=-203+0」=一2=><04+05=-2.A+05=-20=-1卩嚴(yán)一\55/?,=-1=>C=log工2巧=log—=I322bit/symbleA=-17=12A=-i設(shè)有二個等概信息A和B,對它們進(jìn)行信道編碼，分別以w1=000,w2=lll表示。若二進(jìn)制對稱信道的正確傳遞概率p'?錯誤傳遞概率Po試選擇譯碼函數(shù)，并使平均錯誤概率Pe=Pemin,寫出Pemin的表達(dá)式。解：000001010100011101110111f1=OOOTPp2pp2pp2pp2p_1UPf1=OOOTPp2pp2pp2pp2p_1UP3P2PP2PP2PP2pP!因為正確傳遞概率p、＞＞錯誤傳遞概率p,所以選擇譯碼函數(shù)如下:F(000)=F(010)=F(100)=F(001)=000F(111)=F(O11)=F(1O1)=F(11O)=F(111)=111s1Pe==工工=〒(6P2P+2P3)=3P2P+P3設(shè)離散無記憶信道的輸入符號集）G{0,1},輸出符號集Y：{0,1,2},信道矩陣為:oo若某信源輸出兩個等概消息S］和S2,現(xiàn)在用信道輸入符號集中的符號對S］和S2進(jìn)行信道編碼，以W1=00代表S1，W2“l(fā)代表S2。試寫出能使平均錯誤譯碼概率Pe=Pemin的譯碼規(guī)則，并計算Pemino解：■1TTT11■1TTT11T11"48881616816161111111111681684816816由題意可得轉(zhuǎn)移矩陣:0001021011122021220011???取譯碼規(guī)則F(00)=F(01)=尸(02)=F(10)=F(20)=00F(11)=F(12)=F(21)=F(22)=119乂輸入等概???Pe=Pcmia=工工P（wjP（b加）11_32;=1占"設(shè)某信道的信道矩陣為：「0.50.30.2[P]=0.20.30.50.30.30.4其輸入符號等概分布，在最人似然譯碼準(zhǔn)則下，有三種不同的譯碼規(guī)則，試求之，并計算出它們對應(yīng)的平均錯誤概率。

解：輸入符號等概分布，在最人似然譯碼準(zhǔn)則下，有三種不同的譯碼規(guī)則:⑴F(bi)=i?F(b2)=i?F(b3)=2F(bi)=i,F(b2)=2,F(b解：輸入符號等概分布，在最人似然譯碼準(zhǔn)則下，有三種不同的譯碼規(guī)則:⑴F(bi)=i?F(b2)=i?F(b3)=2F(bi)=i,F(b2)=2,F(b3)=2F(bi)=i?F(b2)=3?F(b3)=2TP(2MJ=HE|。2)=|。3)???==嚴(yán)=P?=f工Pa)P?|q)=0.56677=1淨(jìng)材第八章限失真信源編碼設(shè)信源X的概率分布P(X):{p(dP(d…皿)},失真度為dCj)級其中(i=12???J；j=12…，s)?試證明：Dmm=工〃a){inin〃(①也)}/=!i并寫出取得萬nun的試驗信道的傳輸概率選取的原則，其中mnid(q,b)=nmi{p(bL/aj、p(b“/?),???,〃(“/aj)}jj(證明詳見:p468-p470)設(shè)信源X的概率分布P(X):{p(jpQ),…,p(J},失真度為此,慮0,其中(i=l,2,…,r;j=l,2,…,s).試證明:r￡>max=niiiip(ai)d(ai,bj)}Ji=i并寫出取得萬嘶汽的試驗信道傳遞概率的選取原則.(證明詳見:p477-p478)設(shè)二元信源X的信源空間為:[X>P]:X0〔P(X)e1Is令必血設(shè)信道輸岀符號集Y：{O,1}7并選定漢明失真度?試求:⑴Dmin/R(Dmin)/(2)Drnax/R(Dmax)J⑶信源X在漢明失真度下的信息率失真函數(shù)R(D),并畫出R(D)的曲線;計算RM).解：最小允許失真度:Dmin=￡p(e){minMa，E)}=p(O)?O+p(l)?O=O1=1則滿足保真換=Dmm=O的信道矩陣010「10][P]=LJ吐0]p?jg)=0或p(巧/a,)=1(/=1,2),故此時H(X/Y)=0:.R(DQ=R⑼=min{/(X;Y)}=min{H(X)-H(X")}=H(X)=H(e)Dmax=萬min=minj^〃(①)d(q,乞)卜巴111{〃(0)〃(0,0)+“(l)d(l,0);〃⑼d(0,l)+卩(1)〃(1.1)}=min{p(l);p(0)}=p(l)=coj此時/(X;Y)=0/.R(DmJ=R?=0離散信源在漢明失真度卜;R(D)=H(X)-H(D)-Dlog(r-1)對此信&(D)=H(X)-H(D)=H(o)-H(D)anH(e)—H(D)0<D<co即/?(D)=qi丿'丿'oD>cd由上，可得R(D)曲線如卞：R(l/8)=H(u))-H(l/^)=H(u))bit/symble一個四進(jìn)展等概信源[U>P]JTOC\o"1-5"\h\z23[U>P]JP(U)J_j.P(U)44接收符號集V:{O,1,2,3},其失真矩陣為：011011r1[D]=11011110⑴Dmin/R(Dmin)/(2)Dmax/R(Dmax)J

⑶試求R(D),并畫出R(D)的曲線(去4到5個點).解：⑴設(shè)輸出符號集丫:{勺,厲}最小允許失真度：Dmill=為”(％){min.d(丐，仇)}=p(0)*0+”⑴?0+°(2)?0+p(3)?0=0/=1則滿足保真S5=r>mm=啲信道矩陣_1000_0100[P]=00100001p(bj/?.)=0或/“J=1(/=1,2,34),故此時/Y)=0:.7?(Draill)=7?(O)=mni{/(i/；y)}=min{/7(t/)-H((//r)}=/7(i/)=/7(i,i,i,i)=2bit/symble_rf4"『33333(2)Dmnx=Dmm=mm(號”)d("iO)j=niin|-,-,-,-j>=-此時tAY相互獨立故Z(X；r)=0???R(DQ=R{CO)=0⑶離散信源在漢明失真度0R(D)=H(X)-H(D)-Z)log0?-1)???對此信&(D)=H(")-H(D)-Dlog3=2-H(D)一Dlog3即/?(?)=<即/?(?)=<2-H(D)-Dlog30<D<-^4可計算得:4可計算得:D=0,R(0)=2bit/symbl：D=*,/?(i)=1.258bit/symble;D=?R(扌)=0.792bit/symble;￡)=#,^(~)=0.208bit/symblq￡)=扌，尺(扌)=Obit/symble可得R(D)曲線如下:某二進(jìn)制信源:u01[U?P]:?P0)1122其失真矩陣為:0

oro[D]=(1)試求Dmin/R(Dmin);⑵試求DmaX/R(Dmax)；⑶試求R(D);(1)設(shè)輸岀符號集T；?厶}最小允許失真度：Dmin=￡〃(他)価叫du，?)}=〃(())?0+卩(1)?0=01=1則滿足保真坯==0的信道矩陣p3j他)=0或p(b,仏)=1(/=1,2),故此時=0RQmin)=尺(°)=min{/(U;y)}=min{H(U)-H(U/Y)}=H(U)=log2=1bit/svmble(2)￡>max=萬皚=itin{gp(%)d(%，E)}=”in{p(0)d(0,