曹雪虹 信息論與編碼答案

求此信道的信道容量。3.3在有擾離散信道上傳輸符號0和1,在傳輸過程中每100個符號發(fā)生一個錯誤，已知P（0）=P（1）=1/2，信源每秒內(nèi)發(fā)出1000個符號，解：求此信道的信道容量。由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：0.99 0.010.01 0.99為一個0.99 0.010.01 0.99為一個BSC信道所以由BSC信道的信道容量計算公式得到:C=logs一H(P)=log2-Xplog—=0.92bit/signPiC=-C=1000C=920bit/sectt3.5求下列二個信道的信道容量，并加以比較(1)p—￡p—￡2￡'(2)p—￡p—￡2￡0][p—￡p—￡2七、p—￡p—￡02七其中p+P=1解：（1）此信道是準對稱信道，信道矩陣中Y可劃分成三個互不相交的子集由于集列所組成的矩陣]P-￡P(guān)一°]j2']而這兩個子矩陣滿足對稱性，因此可直接利用準對[pYp-8）〔2㈡稱信道的信道容量公式進行計算。C1=logr-H(p1’p2’p3’)-XNklogMkk=1其中r=2,Ni=mi=?i-2N2=2￡ M2=4e所以C1=log2-H(P-￡,p-￡,2s)-(1-2￡)log(1-2￡)-2￡log4￡=log2+(p-￡)log(p-￡)+(p-￡)log(p-￡)+2￡log2￡-(1-2￡)log(1-2￡)-2￡log4￡=log2-2￡log2-(1-2￡)log(1-2￡)+(p-￡)log(p-￡)+(p-￡)log(p-￡)=(1-2￡)log2/(1-2￡)+(p-￡)log(p-￡)+(p-￡)log(p-￡)輸入等概率分布時達到信道容量。（2）此信道也是準對稱信道，也可采用上述兩種方法之一來進行計算。先采用準對稱信道的信道容量公式進行計算，此信道矩陣中Y可劃分成兩個互不相交的子集，由子集列所組成的矩陣為f集列所組成的矩陣為fp-￡[p-￡2：]這兩矩陣為對稱矩陣其中r=2,N1=M1=1-2￡N2=M2=2￡，所以C=logr-H(p-￡C=logr-H(p-￡,p-￡,2￡,0)-XNklogMkk=11/21/2 1/2二1/21/2圖3-17「110220111/21/2 1/2二1/21/2圖3-17「110220112200121002解：對稱信道00:T2」C=logm-H(YIa.) =log取2為底C=1bit/符號4.2某二元信源%和D和R(D)函數(shù)。解；minDmax-X-=V〔0nD=a0P(X)、1/21/2J其失真矩陣為0a求這信源的=minD.=min￡p(x)d(x,y=2p(x)mind(x,y)=^x0+^x0=0.j" 2 2Dmin因為二元等概信源率失真函數(shù):(D\R(D)=lnn-H—"a)其中n=2,所以率失真函數(shù)為:=log2+(p-￡)log(p-￡)+(p-￡)log(p-￡)+2slog2￡-(1-2￡)log(1-2s)-2￡log2s=log2-(1-2s)log(1-2￡)+(p-￡)log(p-￡)+(p-￡)log(p-￡)=(1-2￡)log2/(1-2￡)+2slog2+(p-￡)log(p-￡)+(p-￡)log(p-￡)=C1+2slog2輸入等概率分布(P(a1)=P(a2)=1/2)時達到此信道容量。比較此兩信道容量，可得C2=C1+2elog23-6設(shè)有擾離散信道的傳輸情況分別如圖3—17所示。求出該信道的信道容量。1/2-D—InD+r1—Dlnr1—D_aaiaJIaJJR(D)=In2-3},其失真矩陣為-X-P(X)=101/44.3一個四元對稱信源01113},其失真矩陣為-X-P(X)=101/44.3一個四元對稱信源0111101111011110其曲線(取4至5個點)。1/41/4max1/4〕，接收符號Y={0,1,2,L及信源的R(D)函數(shù)，并畫出解：Dmax=minD.=minZp(x,)d(x,y—X1+-^X1+-^X1+-^X0=■—4 4 4 4Dmin=Zp(x)mind(x,y)=—x0+—x0+i.ij4 41 1—X0+—X0=044因為n元等概信源率失真函數(shù):h-D:lnr1—D]IaJiaJ,、、DaR(D)=Inn+—In +an—1其中a=1,n=4,所以率失真函數(shù)為:R(D)=In4+DIn—+G—D)lnG—D)函數(shù)曲線:1R(D)ln4i —i————i *0 1/4 1/2 3/4D其中:0,R(0)=ln4nat/symbol1 16In4——In—nat/symbol231In4——In12nat/symbol20nat/symbol4-3"0111:10111101<1110)信源熵為H(x)=Log(4)=2Dmax=min(3,3,3，旦｝R(Dmax)=04444Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2p(yi),p(y2),p(y3),p(y4)只要滿足p(y1)+p(y2)+p(y3)+p(y4)=1在［0,1］區(qū)間可以任意取值。5-7(1)符號X1xlx2x3x4x5x6x7概率J/21/41/8J/161/321/641/1281/256*?'■家加概率00.50.750.8750.9380.9690.9840.992■*fr碼長1234567元碼010110mo11110lilllO111宿。11111110---|〔2)信源的佶息量為H(X)=-Log(Z)+-Log(今4--Log(8)+—Log(16)+ +—Log's1'+ 2 4 8 16 項亍均碼般為：K=+1-2+-3+—44- +-14- 2 4 S16 ￥碼字的平均信息傳輸率為只=嚀=頃碼編碼效率瑚為-.R=^~-100%5-10

rI)H(X)r-037Log<037>-0.25Logt025)+0.l8Log(0.18)-0.1L3g(01)-0.07Log(0.07)-0.03Lag(0.03)1.33S:?■信源符號si符號概率PiX10.37信源符號si符號概率PiX10.37x20.25x30J8x40J0x5CL07x60.030□編碼過程*0.37?0.37\時％-*0.25-*0.25r037-?0.18nv°-2G0>f25-?O.iOJfP*0J8J—O.IO'u\0.62u1§志0.38U編碼碼長002012112100310104101141.338rt士 0J822.3K=0.37-2+0.25-2+0.13-2+0,1531.338rt士 0J822.3H(為..n=■~~—K⑴HM=-OIL做1)-C楸岫啤-G4"*-。心*睇助-0O6LU敏晚」01 共舟她順-OUMLegf^-1J52信息傳輸速率2552b就?⑵K=0.41+018-3+0.13+0.14+順4+0?4+0055+0M5^=2.61喝婆=竺.岫K拘⑶杏農(nóng)編嶺怡源荷號xi辭司癖率piM依喂睪xl也40i20.18V.4Nv.t也5占也1臨N也0707Sx6岫也85汀0.050.9)也04U.96-Luyptxi)冊&Kj明字1.322—2.4743oil&4IWI3,3224ioid混374HLX14.0595nun屯3羽5mot*445iiiiuK=0.42+O.1S3+0.14-k0.1^3+0