第二章總結(jié)與習(xí)題課件

第二章總結(jié)(1)單符號離散信源①信息量自信息、條件自信息概念、性質(zhì)、計算互信息、條件互信息概念、性質(zhì)、計算互信息的三種表達方式（輸入端、輸出端、系統(tǒng)總體）②熵信息熵的概念、性質(zhì)、計算無條件熵、條件熵（信道疑義度、噪聲熵）平均互信息概念、性質(zhì)、計算平均互信息的三種表達方式平均互信息的凸函數(shù)性I(X;Y)是p(ai)的上凸函數(shù)I(X;Y)是p(bj/ai)的上凸函數(shù)③數(shù)據(jù)處理定理概念④理解各種熵之間的關(guān)系5/10/20231第1頁，共60頁。(2)多符號離散信源①離散平穩(wěn)無記憶信源概念、計算②離散平穩(wěn)有記憶信源概念、簡單計算條件熵、極限熵概念、簡單計算③馬爾可夫信源概念、極限熵計算④信源冗余度概念、通信效率與可靠性的關(guān)系(3)連續(xù)信源①概念、與離散信源的比較和區(qū)別、簡單計算②理解最大連續(xù)熵定理③熵功率的概念(4)離散無失真信源編碼定理①定長編碼定理②變長編碼定理5/10/20232第2頁，共60頁。作業(yè)題12.1試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？解：四進制脈沖可以表示4個不同的消息，例如：{0,1,2,3}八進制脈沖可以表示8個不同的消息，例如：{0,1,2,3,4,5,6,7}二進制脈沖可以表示2個不同的消息，例如：{0,1}假設(shè)每個消息的發(fā)出都是等概率的，則：四進制脈沖的平均信息量八進制脈沖的平均信息量二進制脈沖的平均信息量所以：四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。

5/10/20233第3頁，共60頁。作業(yè)題22.2.一幅充分洗亂了的牌（含52張牌），試問(1)任一特定排列所給出的信息量是多少？(2)若從中抽取13張牌，所給出的點數(shù)都不相同能得到多少信息量？5/10/20234第4頁，共60頁。作業(yè)題2解答：(1)任意排列共有種，則任一排列的自信息量為：(2)應(yīng)將點數(shù)相同花色不同的牌看作一類，則任意抽取的13張牌應(yīng)在13類種分別進行。其概率為信息量為：5/10/20235第5頁，共60頁。作業(yè)題32.3.居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？

5/10/20236第6頁，共60頁。作業(yè)題3解答：設(shè)隨機變量X代表女孩子學(xué)歷:設(shè)隨機變量Y代表女孩子身高

Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.55/10/20237第7頁，共60頁。作業(yè)題3已知：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：5/10/20238第8頁，共60頁。作業(yè)題42.4.設(shè)離散無記憶信源為:其發(fā)出的信息為:(23211223210)求:(1)此消息的自信息量是多少？(2)此消息中平均每符號攜帶的信息量是多少？5/10/20239第9頁，共60頁。作業(yè)題4解(1)此消息總共有14個0、13個1、12個2、6個3，因此此消息發(fā)出的概率是：此消息的信息量是：

(2)此消息中平均每符號攜帶的信息量是：

5/10/202310第10頁，共60頁。作業(yè)題52.5從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？5/10/202311第11頁，共60頁。作業(yè)題5解：男士發(fā)病的分布：5/10/202312第12頁，共60頁。作業(yè)題5解：女士發(fā)病的分布：5/10/202313第13頁，共60頁。作業(yè)題65/10/202314第14頁，共60頁。作業(yè)題65/10/202315第15頁，共60頁。作業(yè)題72.7.同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)“3和5同時出現(xiàn)”這事件的自信息量；(2)“兩個1同時出現(xiàn)”這事件的自信息量；(3)兩個點數(shù)的各種組合(無序?qū)?的熵或平均信息量；(4)兩個點數(shù)之和(即構(gòu)成的子集)的熵；(5)兩個點數(shù)中至少有一個是1的自信息量。5/10/202316第16頁，共60頁。作業(yè)題75/10/202317第17頁，共60頁。作業(yè)題75/10/202318第18頁，共60頁。作業(yè)題75/10/202319第19頁，共60頁。作業(yè)題82.8.證明：H(X1X2

…Xn)≤H(X1)+H(X2)+…+H(Xn)。證明：5/10/202320第20頁，共60頁。作業(yè)題92.9證明：H(X3/X1X2)≤H(X3/X1)，并說明等式成立的條件。證明：5/10/202321第21頁，共60頁。作業(yè)題91離散時間隨機過程。該過程中，在給定當(dāng)前知識或信息的情況下，過去（即當(dāng)期以前的歷史狀態(tài)）對于預(yù)測將來（即當(dāng)期以后的未來狀態(tài)）是無關(guān)的5/10/202322第22頁，共60頁。作業(yè)題102.10對某城市進行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對頻度如下：

5/10/202323第23頁，共60頁。作業(yè)題10若把這些頻度看作概率測度，求:(1)忙閑的無條件熵；(2)天氣狀態(tài)和氣溫狀態(tài)已知時忙閑的條件熵；(3)從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解：設(shè)X、Y、Z分別表示{忙閑}、{晴雨}和{冷暖}，(1)先求忙閑的概率分布5/10/202324第24頁，共60頁。作業(yè)題10(2)5/10/202325第25頁，共60頁。作業(yè)題10(3)=0.105比特/符號5/10/202326第26頁，共60頁。作業(yè)題112.11有兩個二元隨機變量，它們的聯(lián)合概率為并定義另一隨機變量Z=XY(一般乘積)。試計算：(1)(2)(3)YX

x1=0x2=1y1=0y2=11/83/83/81/8和

5/10/202327第27頁，共60頁。作業(yè)題115/10/202328第28頁，共60頁。作業(yè)題115/10/202329第29頁，共60頁。作業(yè)題115/10/202330第30頁，共60頁。作業(yè)題115/10/202331第31頁，共60頁。作業(yè)題115/10/202332第32頁，共60頁。作業(yè)題11(3)5/10/202333第33頁，共60頁。作業(yè)題122.12有兩個隨機變量X和Y，其和為Z=X+Y（一般加法），若X和Y相互獨立，求證：H(X)≤H(Z),H(Y)≤H(Z)。

由對離散型,值不同,但概率一樣.5/10/202334第34頁，共60頁。作業(yè)題132.13設(shè)有一個信源，它產(chǎn)生0，1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號。(1)試問這個信源是否是平穩(wěn)的？(2)試計算H(X2),H(X3/X1X2)及H∞；(3)試計算H(X4)并寫出X4信源中可能有的所有符號。5/10/202335第35頁，共60頁。作業(yè)題13(3)5/10/202336第36頁，共60頁。作業(yè)題142.14設(shè)X=X1,X2,…,XN是平穩(wěn)離散有記憶信源，試證明：P44略5/10/202337第37頁，共60頁。作業(yè)題152.15某一無記憶信源的符號集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號的平均熵；(2)有100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100-m）個“1”）的自信息量的表達式；(3)計算(2)中序列的熵。5/10/202338第38頁，共60頁。作業(yè)題155/10/202339第39頁，共60頁。作業(yè)題162.165/10/202340第40頁，共60頁。作業(yè)題16(1)5/10/202341第41頁，共60頁。作業(yè)題165/10/202342第42頁，共60頁。作業(yè)題172.17.一黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑,白}。設(shè)黑色出現(xiàn)的概率為P(黑)=0.3，白色的出現(xiàn)概率P(白)=0.7。(1)假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)；(2)假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2(X)；(3)分別求上述兩種信源的剩余度，比較和的大小，并說明其物理意義。5/10/202343第43頁，共60頁。作業(yè)題175/10/202344第44頁，共60頁。作業(yè)題17(2)H2(X)5/10/202345第45頁，共60頁。作業(yè)題17(3)5/10/202346第46頁，共60頁。作業(yè)題182.18每幀電視圖像可以認為是由3105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？5/10/202347第47頁，共60頁。作業(yè)題185/10/202348第48頁，共60頁。作業(yè)題192.195/10/202349第49頁，共60頁。作業(yè)題19其中因為5/10/202350第50頁，共60頁。作業(yè)題19正態(tài)5/10/202351第51頁，共60頁。作業(yè)題202.205/10/202352第52頁，共60頁。作業(yè)題205/10/202353第53頁，共60頁。作業(yè)題205/10/202354第54頁，共60頁。作業(yè)題205/10/202355第55頁，共60頁。作業(yè)題205/10/202356第56頁