信息率失真函數(shù)的定義

1、刃匕即平均”上息的慣小仏二憐嫩真曲率火真函數(shù)中的門變也就是人們現(xiàn)定的平均失真度D的上限值。-率失克函數(shù)的定義域問題就是在信源和失克函數(shù)已知的悄況下，討論允許平均失貞皮D的報(bào)小和報(bào)人値宛口I卿數(shù)(河數(shù)飛燃掉為社圖此允許平弊昨g這就是不允許仃任何失真的情況。-允許平均失克度D能否達(dá)到其下限值0,與單個(gè)符號(hào)的失真函數(shù)右關(guān)。-佇源讓小平均失氏度)十：對(duì)J樂個(gè)找出個(gè)乃與之對(duì)應(yīng),使(兀刀)最小，不同兀對(duì)應(yīng)的浪小巾也不同。這相巧于在失真炬陣的毎行找出J1從小”、”mW期值癇制対&?廠就是仁源的2小的迓，并行的耀小旳我衣度。A-lJ4符專仿源和鬲號(hào)信道的信息率失真函數(shù)二在佶源和失或度給定以廟p是渦足保真度準(zhǔn)P

2、!JdW(.v,yf)-上農(nóng)薜騙器牙需（叨對(duì)屛缽i麗習(xí)露爲(wèi)雖當(dāng)中最小的一個(gè)作為/_一_c4.5為D數(shù)。某二元信源pwo50.5_，求iffiil耳,英失冥矩陣7A，EJ；iw）用解：最大允許失真度為D腫吧叱p（詢z=麗軌+；0+；七）p/2令最小允許失真度訊點(diǎn)麗以）疵定時(shí).必吋訐訊TDr測(cè)i磁O殛I罰詁足任選血公需滿定非炭性和歸性。若0是所有9當(dāng)中最小的個(gè)，町取/心）=1其它卩）為0.這時(shí)q的線性分配（數(shù)學(xué)期望必然叔小.即先計(jì)篦g：。=（計(jì)（兀丿sD=04aD2=0.6a1DA我們引進(jìn)一反娜試臉信道，設(shè)反向信道的倍道矩陣為p云Ir可計(jì)算得Piv-0i-i.P-l）-i因?yàn)閛D.oPA由此可得，

3、所選擇的這個(gè)試驗(yàn)倍曲正是篠足平均失真度,而平均互佶息達(dá)到最小值的佶道.因此，求得二元對(duì)稱倍道，在失其度矩陣D下的倍息率失真函數(shù)為l-Hl|.0D*4.1設(shè)無阻1Q而最小乎均失真兒=叫,川曲他.3)=*1+1+1=1檔達(dá)到心的信道為or01戒ol10叫1/)卜I010aaa1-a1-a03S1l-a卜腫優(yōu)血ip.；試求:4和現(xiàn)盤川幾，川川nu小解：根據(jù)最大平均火貞度郎抨，仃Dz=minP(H)J(M.u)=minG+?+#)G+制卜|如果p1/2,010.250.25*D4.2已知二元信源爲(wèi)H；打以及失真矩陸小D込:(2)D:(3)川。解：(1)6廣八0+0叩-祈0達(dá)到的命道為個(gè)對(duì)應(yīng)的無喋借道b

4、:所R(O)=l(U;V)=H(U)=H(p)報(bào)丿、允許失貞度為D=minSP(w)J(w.u)=min(“.(l-p),X-XvV因?yàn)槎獙?duì)稱信源,所以R(D)=0Dp存4.4設(shè)一個(gè)四.元等概信源卩爲(wèi)卜L接收符號(hào)集為A=03.2.3,次賓短陽顯義為！f，求dl及們?cè)吹暮瘮?shù)R(D),)率失罰函數(shù)曲線(取4到5個(gè)點(diǎn)).C統(tǒng)：垃人允許失真度為113F)=minZP(z/)J(M,v)=1=QnmvuV/V/r4宀最小jR(D)=log4-Dlog3-H(D)0DA4C為畫岀女曲線取D=0R(D)=2比號(hào)D=-8R(D)=1.2583比號(hào)D=-4R(D)=0.7925比%號(hào)4R(D)=0.7952比

5、%號(hào)D=-5R(D)=0.2075比號(hào)/d=24R(D)=O1以1266I舍腳的購用巧送人臬兀Q傳遞二個(gè)二元符號(hào)。c(1)試何f澈喰竹切此fd(?l史r(2)升此信液失賓度巡定為漢即源臆可以左佶遭中傳輸，C慣Ct根恥世m(xù)卩.不論疋朋闿此f澈mb能右此皿創(chuàng)偵現(xiàn)上錨以地傳輸.所以4佶源在此佶道中傳箍會(huì)引起錯(cuò)誤和失具.，2廠Ci.山.輸入昱寫相“所以信源的信謁電失賓函：OR(D)=1-H(D)比特/信源符號(hào)小Rt(D)=2.66*R(D)叱特/秒小若肖Ct=Rt(D)Q則此信源在此倍道小傳諭時(shí)不會(huì)引起汕id廂道匚泊兒工?？偟男旁吹氖涫切旁磯航j(luò)饗二MJ允許矢戊D所以仃；62=2.66*1-H(D)O

6、-2.66H(D)=0.664H(D)忙0.2481一故D0.04154-允許信源平均失真D0.0415時(shí)此信獗就可以在次信道中傳輸。若碼長/厶，人不滿足克拉夫特不等式，則一定不是的惟一可譯碼，但碼長浦足克拉夫特不等式的碼，則不一定是惟一可譯碼。只能根據(jù)懂一可譯碼的定義來判斷.古-丁耳刖:當(dāng)且僅當(dāng)有限長的碼符號(hào)序列能譯成兩種不同的碼字序列，JM此碼是非怡一可譯變長碼，即如下圖中情況發(fā)生，其中A,B,都是碼字SiB,eC)。AiAzAsAmBiIBzIB?IBmB|定是、的前綴，而的尾隨后綴一定是另一碼字B、的前綴，B,的尾隨后綴又是其他碼字的前綴.最后，碼符號(hào)序歹tl的尾部一定基一個(gè)碼字。由此

7、可得:將碼C中所有可能的尾隨后綴組成一個(gè)集合F,當(dāng)且僅當(dāng)集合F中沒有包含任一碼字，則可判斷此碼C為惟一可譯變長碼。構(gòu)成集合F的方法：觀察碼C中最短的碼字是否是其他碼字的前綴。若是，將其所有可能的尾隨后綴排列出.而這些尾隨后綴又可能是某些碼字的前綴，再將由這些尾隨后綴產(chǎn)生的新的尾隨后綴列出。再觀察這些新的尾隨后綴是否是某些碼字的前綴，再將產(chǎn)生的尾陸后綴列岀。碼字可能產(chǎn)生的尾隨后綴全部列岀O用越藝薩JI*D-*O碼C=110t11,100,00,10。計(jì)算其尾隨后綴?，F(xiàn)設(shè)碼c=0,10,1100t1110,101b1101,根據(jù)上述測(cè)試方法，判斷是否是惟一可譯碼。:最短碼字為計(jì)二不是其他碼字的前綴

8、，所以它沒有尾隨后綴。故得F=0在F集中沒有碼C中的碼字，所以碼C是惟一可譯碼。初字W它是碼字()1廣的前綴，所以有尾隨后綴：所以得：F：lb(M),10,Ob0可見，在F集中TO和P都是碼字，故碼C不是惟一可譯碼。1.將下表所列的信源進(jìn)行六種無冋的二進(jìn)制編碼,試問:(D11：譯碼f碼)：其平消息.ABcDE1/2000000001/4001011010101001/16010011110110111001011；1601!01111110110011011101H6ICO01111111101C0TK10T111/16TCI01111111X1011HK11011編解：(1)惟一可譯碼：A.

9、B、C、E即時(shí)碼：A、C、E=(3)(3la=m:尤碼符號(hào)冷源符切Z；=2125(二元瑪符號(hào)/位解心=225(二元/信源符號(hào))6666241111/O1O1O1oO1IoOoooO1100011001111001111110011111T1100111T1H1110000101010011011100101110011011101001111011111111111011-.A.J：IIP：WA：.丿iH.創(chuàng)|時(shí)丹期已錮出是變枚碼町采區(qū)世訶詳芟三碼的判斷法來災(zāi)斷碼組民聶短碼字為期，碑它瑪字術(shù)?紜伍這些足曲5級(jí)祁C-5加g汝個(gè)%字翅軸礎(chǔ)字的冊(cè)檢tfnlBWB/的“#IIyiHilbJtiS處：)

10、1-/:!-.irV：解：(1)H(X)=5.6某信源有8個(gè)符號(hào)，概率分別為I/2,I/4,1/8,1/16,1/32,1/64,1/128,1/128,試編成這樣的碼：000,001,010,011,100,101,110,111的碼。求(1)信源的符號(hào)墻H(X)；(2)出現(xiàn)-個(gè)“1”或一個(gè)“0”的概峯;(3)這種碼的編碼效率；(4)和應(yīng)的香農(nóng)碼和費(fèi)諾碼；(5)該碼的編碼效率(2)等價(jià)于不是全和全零的概率1-P(a1)-P(a2)=1-1/2-1/128=0.4922(3)5詈普皿(4)和應(yīng)的香農(nóng)編碼*HMR4a-再SIR-pk4代什11211anrmr*kiiiiTD*Iklinn1-wa

11、-DW-iitiii0-iMiuiiinn0.875=0.1110000.938=0.11110010.269=0.11(11010.984=0.111111000.992=0.11111110(5)香農(nóng)碼和費(fèi)諾碼相同平均碼長為編碼效率為:P=C爲(wèi)和“+C冷嚴(yán)+*甲+C；詔00=_廠pioo_iP99P-C2PP1-CP97Py1-lOO10lOO1011lOO101IlOO1011=0.0017H(X)=(3/8*og(3A8)+f1/6)*logfH6)+(1/8)*fog(1/8)+(8)Mog(1/8)+(1/8)*log1/8)+(1/12)*log(1/12)=2.3852H3(X

12、)=HfX)/1.5850=2.3852/1.5850=1.504S何字f傭踏(1/8)A2+(1/8)*2+(1/8J*2+i：1-12)*2：i=H3(X：i=1.5049/1.625=92.6：15.7設(shè)無記憶二元信源，概率為=0.00,0.995信源輸出的：元序列在氏為L二100的信源序列中只對(duì)含有3個(gè)或小于3個(gè)W的各信源序列構(gòu)成一一對(duì)應(yīng)的組定長碼.(1)求碼字所需的最小氏度：(2)考慮沒仃給際碼的信源序列出現(xiàn)的該定長碼引起的錯(cuò)誤概率P是多少？做(1)信源序列中含仃3個(gè)或小j：3個(gè)O的各信源序列個(gè)數(shù)彳j：=1+100+4950+161700=166750対M個(gè)仁源庁列進(jìn)彳丁無失1X的二

13、兀等氏緇砒必須:20M=166750f所以莎需需碼反的婁小度:/=185.17一信源可能發(fā)出的數(shù)字有I、2、3、4、5、6、7,對(duì)應(yīng)的概率分別為p(1)=p(2)=1/3,p(3)=p(4)=l/9,p(5)=p(6)=p(7)=1/27t在二進(jìn)制或三進(jìn)制無噪信道中傳輸，若二進(jìn)制信道中傳輸一個(gè)碼字需要18元人民幣，三進(jìn)制信道中傳輸個(gè)碼字潘要2.7元人民幣。(1)編出二進(jìn)制符號(hào)的霍夫曼碼，求其編碼效率：(2)編出三進(jìn)制符號(hào)的費(fèi)諾碼，求其編碼效率：(3)根據(jù)(1)和(2)的結(jié)果，確定在哪種信道中傳輸可得到較小的花費(fèi)。5.19離散無記憶信源發(fā)出A,B,C三種符號(hào)，其概率分布為5/9,1/3,1/9,

14、應(yīng)用算術(shù)編碼方法對(duì)序列(C,A,B,A)進(jìn)行編碼,并對(duì)結(jié)果進(jìn)行解碼。解：設(shè)A:B,C對(duì)應(yīng)的三元碼符號(hào)分別為：P(2)=P(A)=5/9,P(1)=P(B)=1/3,P(0)=P(C)=1/9.那么要對(duì)(cab,a)進(jìn)行編碼即對(duì)序列S=0212進(jìn)行編碼。F(0)=0,F(1)=1/9,F(2)=1/9+1/3=4/9編碼過程為：根據(jù)多元信源序列的累積分布函數(shù)的遞推公式:F(sak)=F(s)+P(s)F(ak)A(sak)=P(sak)=P(s)P(ak)可得F(S=0212)=F(021)+P(021)F(2)=F(02)+P(02)F(1)+P(021)F(2)=F(0)-P(0)F(2)十P(02)F(1”P(021)F(2)=0.0654笫-次第一個(gè)區(qū)間的思點(diǎn)為0.:xfiij長度為仃9弟個(gè)X間的思點(diǎn)為1/9.|x(nJ長