信息論與編碼期末復(fù)習(xí)填空

1、log 32H 2 f x e21 log2 2。e2, ”X和Y。121232323XY。1、在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到 形式、含義和效用 三個(gè)方面的因素。2、1948 年，美國(guó)數(shù)學(xué)家 香農(nóng) 發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。3、按照信息的性質(zhì)，可以把信息分成 語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息 。4、按照信息的地位，可以把信息分成 客觀信息和主觀信息 。5、人們研究信息論的目的是為了 高效、可靠、安全 地交換和利用各種各樣的信息。6、信息的 可度量性 是建立信息論的基礎(chǔ)。7、 統(tǒng)計(jì)度量 是信息度量最常用的方法。8、 熵 是香農(nóng)信息論最基本最重要的概念。9

2、、事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生 概率的對(duì)數(shù) 來(lái)描述的。10、單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用 隨機(jī)矢量 描述。、一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為自信息量，定義為 其發(fā)生概率對(duì)數(shù)的負(fù)值 。12、自信息量的單位一般有 比特、奈特和哈特 。13、必然事件的自信息是 0 。14、不可能事件的自信息量是 。15、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于 兩個(gè)自信息量之和 。16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量 趨于變小 。 H(X / X XH N12Nm20、一維連續(xù)隨即變量 X在a，b區(qū)間內(nèi)均勻分布

3、時(shí)，其信源熵為 log （） 。21log 2 eP21、平均功率為 P 的高斯分布的連續(xù)信源，其信源熵，H （X）=222、對(duì)于限峰值功率的 N維連續(xù)信源，當(dāng)概率密度 均勻分布 時(shí)連續(xù)信源熵具有最大值。23、對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度 高斯分布 時(shí)，信源熵有最大值。2c24 0 P 和信源的熵功率 之P比 。25、若一離散無(wú)記憶信源的信源熵 （）等于 2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少n26、m 元長(zhǎng)度為 k，i=1，2n 的異前置碼存在的充要條件是：i27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為 log 6 。228 1/63 和 5 log 18

4、（1+22log 321xp(x) em，其中：x 0m 是 X的數(shù)學(xué)m2C30、一副充分洗亂的撲克牌（52 1 張，然后放回，若把這一過(guò)程看作離散無(wú)記憶信源，則2222NNCk。N39、多用戶信道可以分成幾種最基本的類型： 多址接入信道、廣播信道 和相關(guān)信源信道。40、廣播信道是只有 一個(gè)輸入端和多個(gè)輸出端 的信道。41、當(dāng)信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱為 加性連續(xù)信道 。log )2N43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無(wú)失真?zhèn)鬟f信息的條件是 信息率小于信道容量 。1/2 1/2 000 1代表的信道的信道容量C= 1 。代表的信道的信道

5、容量 C= 1 。46、高斯加性噪聲信道中，信道帶寬 3kHz，信噪比為 7，則該信道的最大信息傳輸速率 C= 9 kHz 。tj 6*10 C= 10kHz 。5t51、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就 越大 ，獲得的信息量就越小。52、信源的消息通過(guò)信道傳輸后的誤差或失真越大道傳輸消息所需的信息率 也越小 。53、單符號(hào)的失真度或失真函數(shù) d（x，y）表示信源發(fā)出一個(gè)符號(hào) x，信宿再現(xiàn) y 所引起的 誤差或失真 。ijij0 i jij2ijji56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即（xy）在X和 Y 的 聯(lián)合概率空間 （）中 的統(tǒng)計(jì)平i

6、j均值。57、如果信源和失真度一定，則平均失真度是 信道統(tǒng)計(jì)特性 的函數(shù)。58、如果規(guī)定平均失真度 不能超過(guò)某一限定的值 ，即： 。我們把 稱為 保真度準(zhǔn)則 。D DDD D59、離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記憶 N 次擴(kuò)展信道的平均失真度是單符號(hào)信源通過(guò)單符號(hào)信道的平均失真度的 N 倍。p(y /x ):D ;i , j ,mDDjij2maxInfD12(D) 268、當(dāng) 時(shí)，高斯信源在均方差失真度下的信息率失真函數(shù)為 R2DD1，則該信源的 D = a/2 。1，則該信源的 D = 0 。1a 0，則該信源的 R（）= （D/a） 。2ii2iiixxxxxx12345678P(）

7、1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 1 。79、對(duì)具有 8 個(gè)消息的單符號(hào)離散無(wú)記憶信源進(jìn)行 4 進(jìn)制哈夫曼編碼時(shí)，為使平均碼長(zhǎng)最短，應(yīng)增加 2 個(gè)概率為 0 的消息。80、對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是 香農(nóng)編碼 。81、對(duì)于二元序列 1 其相應(yīng)的游程序列是 23652457 。L。010183、游程序列的熵 等于 原二元序列的熵。84、若“0 1 對(duì)應(yīng)的二元序列的編01010185、在實(shí)際的游程編碼過(guò)程中，對(duì)長(zhǎng)碼一般采取 截?cái)?處理的方法。860”游程和“1”游程可以分別進(jìn)行哈夫曼編碼，兩個(gè)碼表中的碼字可以重復(fù)，但 C 碼 必須不同。87、在多符號(hào)的消息序列中，大量的重復(fù)出現(xiàn)的，只起占時(shí)作用的符號(hào)稱為 冗余位 。88 縮短了的多元序列 。89、L-D編碼是一種 分幀傳送冗余位序列 的方法。90、L-D編碼適合于冗余位