信息論第2章作業(yè)(DOC)

1、信息論第2章作業(yè)(DOC)信息論第2章作業(yè)(DOC)20/20信息論第2章作業(yè)(DOC)19第2章作業(yè)1同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)孟ぁ皟慎蛔用嫦蛏宵c(diǎn)數(shù)之和為2”或“面向上點(diǎn)數(shù)之和為8”或“兩骰子面向上點(diǎn)數(shù)是3和4”時(shí)，試問(wèn)這三種狀況分別獲取多少信息量？2居住在某地域的女孩中有25%是大學(xué)生,在大學(xué)生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占總數(shù)一半.若是我們得悉“身高1.6米以上的某女孩是大學(xué)生”的消息，問(wèn)獲取多少信息量？解：信息量：比特Xa10a21a32a433設(shè)失散無(wú)記憶信源3/81/41/41/8，其發(fā)出的信息為P），求1）求每個(gè)符號(hào)的自信息量；（2）若信源發(fā)出一信息符

2、號(hào)序列為(202120130213001203210110321010021032119223210)，求該信息序列的自信息量及均勻每個(gè)符號(hào)攜帶的信息量。4有一信源輸出X0,1,2，其概率為p0=1/4，p1=1/4，p2=1/2。設(shè)計(jì)兩個(gè)獨(dú)立實(shí)驗(yàn)去察看它，其結(jié)果為Y10,1和Y20,1。已知條件概率為P(Y1|X)01P(Y2|X)0101001010111021/21/2201求：I(X;Y1)和I(X;Y2)，并判斷哪一個(gè)實(shí)驗(yàn)好些。2)I(X;Y1,Y2)，并計(jì)看作Y1和Y2兩個(gè)實(shí)驗(yàn)比做Y1或Y2中的一個(gè)實(shí)驗(yàn)各可多得多少關(guān)于X的信息。I(X;Y1/Y2)和I(X;Y2/Y1)，并解說(shuō)它們

3、的含義。219211111解：（1）P(Y10)P(Xi)P(Y10Xi)1022i0442P(Y11)1P(Y10)12近似的P(Y21)P(Y20)12H(Y1)H(Y2)log21bit/symH(Y1X)P(xi)P(y1j/xi)logP(y1j/xi)=0.5bit/symijI(X;Y1)=H(Y1)H(Y1/X)=0.5bit/symH(Y2X)P(xi)P(y2j/xi)logP(y2j/xi)=0bit/symijI(X;Y1)=H(Y2)H(Y2X)=1bit/symI(X;Y1)I(X;Y2),故第二次試驗(yàn)更好，由于獲取的信息量更多。（2）由于Y1和Y2互相獨(dú)立11P(

4、Y0,Y20)P(Y10)P(Y20)4近似地得出Y1和Y2的結(jié)合概率散布由P(XY1Y2)=P(X)P(Y1Y2X)=P(X)P(Y1X)P(Y2X)，得出X和Y1Y2的結(jié)合概率散布Y2Y101Y1Y201X011010444111110444Y1和Y2的結(jié)合概率散布21144X和YY2的結(jié)合概率散布111=2bit/symH(Y1Y2)=-4log441log1H(XY1Y2)=-4=2bit/sym44H(X)=H(111)=1.5bit/sym,4,42I(X;Y1Y2)H(X)H(XY1Y2)H(X)H(Y1Y2)H(XY1Y2)=1.5+2-2=1.5bit/symI(X;Y1Y2

5、)-I(X;Y1)=1.5-0.5=1bit/sym319I(X;Y1Y2)-I(X;Y2)=1.5-1=0.5bit/sym故做Y1和Y2兩個(gè)實(shí)驗(yàn)比做Y1或Y2中的一個(gè)實(shí)驗(yàn)各可多得1bit/sym和0.5bit/sym。3）I(X;Y1Y2)=H(XY2)H(XY1Y2)=H(X)I(X;Y2)H(X)I(X;Y1Y2)=I(X;Y1Y2)I(X;Y2)=0.5bit/sym同理，得出I(X;Y2Y1)=I(X;Y1Y2)I(X;Y1)=1bit/sym結(jié)果說(shuō)明，在做完實(shí)驗(yàn)Y1或Y2的條件下再做第二個(gè)實(shí)驗(yàn)，并無(wú)獲取更多的信息，因12互相獨(dú)立，沒(méi)有任何關(guān)系。為Y和Y5為了傳輸一個(gè)由字母A、B、

6、C、D構(gòu)成的符號(hào)集，把每個(gè)字母編碼成兩個(gè)二元碼脈沖序列，以00代表A,01代表B,10代表C,11代表D。每個(gè)二元碼脈沖寬度為5ms。1）不一樣樣字母等概率出現(xiàn)時(shí)，計(jì)算傳輸?shù)木鶆蛐畔⑺俾剩?）若每個(gè)字母出現(xiàn)的概率分別為pA=1/5，pB=1/4，pC=1/4，pD=3/10，試計(jì)算傳輸?shù)木鶆蛐畔⑺俾?？由于A,B,C,D四個(gè)字母,每個(gè)字母用兩個(gè)碼,每個(gè)碼為5ms,因此每個(gè)字母用10ms當(dāng)信源等概率散布時(shí),信源熵為H(X)=log(4)=2均勻信息傳達(dá)速率為=2bit/ms=200bit/s信源熵為H(X)=傳輸?shù)木鶆蛐畔⑺俾蕿?0.198bit/ms=198bit/s6（1）為了使電視圖像獲取優(yōu)

7、秀的清楚度和規(guī)定的適合的比較度，需要用5105個(gè)像素和10個(gè)不一樣樣亮度電平，設(shè)每秒要傳達(dá)30幀圖像，全部像素是獨(dú)立變化的，且全部亮度電相同概率出現(xiàn)，求傳達(dá)此圖像所需的信息率（bit/s）。（2）設(shè)某彩電系統(tǒng)，除了知足關(guān)于黑白電視系統(tǒng)的上述要求外，還必然有30個(gè)不一樣樣的色彩度，試證明傳輸這彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大概2.5倍。解：（1）需要5105個(gè)像素和10個(gè)不一樣樣亮度電平，則可能出現(xiàn)的不一樣樣畫(huà)面為105105每個(gè)畫(huà)面等概率出現(xiàn)，P=1/1051055每幀圖像的熵H(X)=Log(10510)=5105Log10=1.66106比特419傳達(dá)此圖像所需的信息率：30H(X)

8、=4.98107比特/秒（2）彩色系統(tǒng)，要求三十個(gè)不一樣樣色彩度，則有可能出現(xiàn)的不一樣樣畫(huà)面為51053010每個(gè)畫(huà)面等概率出現(xiàn)，P=1/3005105每幀圖像的熵H(X)=Log(30010Log3005105)=55傳達(dá)此圖像所需的信息率：30H(X)=1.234108比特/秒305105log3003052.5105log10故傳輸這彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大概2.5倍。7設(shè)有一個(gè)信源，它產(chǎn)生0、1序列的信息。它在隨意時(shí)間并且無(wú)論從前發(fā)生過(guò)什么符號(hào)，均按P(0)=0.4，P(1)=0.6概率發(fā)出符號(hào)。1）試問(wèn)這個(gè)信源能否安穩(wěn)的？2）試計(jì)算H(X2)，H(X3/X1X2)及l(fā)i

9、mHN(X)。N（3）試計(jì)算H(X4)并寫(xiě)出X4信源中可能有的全部符號(hào)。解：(1)這個(gè)信源是安穩(wěn)無(wú)記憶信源。由于有這些詞語(yǔ)：“它在隨意時(shí)間并且無(wú)論從前發(fā)生過(guò)什么符號(hào)”(2)H(X2)2H(X)2(0.4log0.40.6log0.6)1.942bit/symbolH(X3/X1X2)H(X3)p(xi)logp(xi)(0.4log0.40.6log0.6)0.971bit/symboliHlimH(XN/X1X2.XN1)H(XN)0.971bit/symbolN(3)H(X4)4H(X)4(0.4log0.40.6log0.6)3.884bit/symbolX4的全部符號(hào)：00000001

10、001000110100010101100111100010011010101111001101111011118給定語(yǔ)聲樣值X的概率密度為519pX(x)1ex,x2求HC(X)，并證明它小于相同方差的正態(tài)變量的微分熵。解：Hc(X)p(x)logp(x)dxp(x)log1e|x|dx2logp(x)dxp(x)loge|x|dx2log21e|x|loge|x|dx2log2exlogexdx0loge2e（奈特/符號(hào)）mE(X)p(x)xdx1e|x|xdx01exxdx1xxdx22e0201xxdx01(y)(y)d(y)01yydy1yydyeeee22202m1exxdx1exxdx002022Exm2E(x2)p(x)x2dx1e|x|x2dx0exx2dx2x2dexexx2exdx20exdx22exxdx00002xdex2exx0exdx2002相同方差的正態(tài)變量的微分熵H(X)=1loge(2e2)1loge(2e22)loge2e22HC(X)H2,表示的物理含義是：無(wú)記憶