第二章習(xí)題答案84600

1、第2章習(xí)題2-3 同時(shí)擲兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都是l/6，求： (1) “3和5同時(shí)出現(xiàn)”事件的自信息量； (2)“兩個(gè)1同時(shí)出現(xiàn)”事件的自信息量；(3)兩個(gè)點(diǎn)數(shù)的各種組合（無(wú)序?qū)Γ┑撵鼗蚱骄畔⒘浚?4) 兩個(gè)點(diǎn)數(shù)之和(即 2，3，12構(gòu)成的子集）的熵； (5)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息。 解：（1）P（3、5或5、3）P（3、5）+P（5、3）1/18Ilog2（18） 4.1699bit。（2）P（1、1）l/36。Ilog2（36）5.1699bit。（3）相同點(diǎn)出現(xiàn)時(shí)（11、22、33、44、55、66）有6種，概率1/36。 不同點(diǎn)出現(xiàn)時(shí)有15種，概率1/18。

2、H（i，j）6*1/36*log2（36）+15*1/18*log2（18）4.3366bit/事件。 （4）i+j2 3 4 5 6 7 8 9 10 11 12P(i+j)1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。（5）P（1、1or1、j or i、1）1/36+5/36+5/3611/36。Ilog2（36/11）1.7105bit/2-5 居住某地區(qū)的女孩中有2

3、5是大學(xué)生，在女大學(xué)生中有75身高為1.6m以上，而女孩中身高1.6m以上的占總數(shù)一半。假如得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？、解：P（女大學(xué)生）1/4；P（身高>1.6m / 女大學(xué)生）=3/4；P（身高>1.6m）1/2； P（女大學(xué)生 / 身高>1.6m）P（身高>1.6m、女大學(xué)生）/P（身高>1.6m ） 3/4*1/4*23/8 Ilog2（8/3）1.4150bit。2-7兩個(gè)實(shí)驗(yàn)和，聯(lián)合概率為（1）如果有人告訴你和的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？（2）如果有人告訴你的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？（3）在

4、已知的實(shí)驗(yàn)結(jié)果的情況下，告訴你的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？解：P(x,y)Y.xy1 y2 y3Xx1x2x37/24 1/24 01/24 1/4 1/240 1/24 7/241/31/31/3.y 1/3 1/3 1/3（1）（2）（3）211某一無(wú)記憶信源的符號(hào)集為，已知，。（1）求信源符號(hào)的平均信息量；（2）由100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有個(gè)0和個(gè)1）的信息量的表達(dá)（3）計(jì)算（2）中的序列熵。解：（1）因?yàn)樾旁词菬o(wú)記憶信源，所以符號(hào)的平均熵（2）某一特定序列（例如：m個(gè)0和100-m個(gè)1）出現(xiàn)的概率為所以，自信息量為（3）序列的熵2-13 有一個(gè)馬爾可夫信源

5、，已知轉(zhuǎn)移概率為。試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。解：（1）由題意可得狀態(tài)轉(zhuǎn)移圖2/3S11/31S2由狀態(tài)轉(zhuǎn)移圖可知：該馬爾可夫鏈具有遍歷性，平穩(wěn)后狀態(tài)的極限分布存在。一步轉(zhuǎn)移矩陣由和可得方程組 解方程組得到各狀態(tài)的穩(wěn)態(tài)分布概率，因?yàn)?，所以信源的?-14有一個(gè)一階馬爾可夫鏈各取值于集，已知起始概率為，其轉(zhuǎn)移概率如下：ji1231231/22/32/31/401/31/41/30（1）求的聯(lián)合熵和平均符號(hào)熵；（2）求這個(gè)鏈的極限平均符號(hào)熵；（3）求和它們對(duì)應(yīng)的冗余度。解：（1）方法一、因?yàn)榭梢杂?jì)算得到 所以，所以，平均符號(hào)熵方法二、所以，平均符號(hào)熵（2）因?yàn)檫@個(gè)信源是一階馬爾可夫鏈，其狀態(tài)極

6、限概率分布就是信源達(dá)到平穩(wěn)后的符號(hào)概率分布.由題意得到一步轉(zhuǎn)移矩陣由和可得方程組 解方程組得到各狀態(tài)的穩(wěn)態(tài)分布概率，所以信源平穩(wěn)后的概率分布為因?yàn)樾旁礊橐浑A馬爾可夫信源，所以信源的熵（3）對(duì)應(yīng)的冗余度分別為2-16 一階馬爾可夫信源的狀態(tài)如圖所示，信源X的符號(hào)集為0,1,2。（1）求平穩(wěn)后的信源的概率分布；（2）求信源熵；（3）求當(dāng)和時(shí)信源的熵，并說明其理由。021解：（1）由狀態(tài)轉(zhuǎn)移圖可得狀態(tài)一步轉(zhuǎn)移矩陣由狀態(tài)轉(zhuǎn)移圖可知：該馬爾可夫鏈具有遍歷性，平穩(wěn)后狀態(tài)的極限分布存在。由和可得方程組 解方程組得到各狀態(tài)的穩(wěn)態(tài)分布概率，所以信源平穩(wěn)后的概率分布為（2）因?yàn)樾旁礊橐浑A馬爾可夫信源，所以信源的熵（3）當(dāng)或時(shí)，信源的熵為0。因?yàn)榇藭r(shí)它表明信源從某一狀態(tài)出發(fā)轉(zhuǎn)移到另一狀態(tài)的情況是一定發(fā)生或一定不發(fā)生，即是確定的事件。2-19設(shè)有一信源，它在開始時(shí)以的概率發(fā)出，如果為時(shí)，則為的概率為；如果為時(shí)，則為的概率為；如果為時(shí)，則為概率為，為的概率為0。而且后面發(fā)出的概率只與有關(guān)。有。試?yán)民R爾可夫信源的圖示法畫出狀態(tài)轉(zhuǎn)移圖，并且計(jì)算信源熵。解：（1）由題目可知，這個(gè)信源為一階馬爾可夫信源，狀態(tài)空間就等于信源符號(hào)集合a,b,c,其狀態(tài)轉(zhuǎn)移圖為1/31/31/3