信息論與編碼試題集與答案(2014)改

1、平均自信息為表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量、發(fā)X前后Y的平均不確定性減少的量、通信前后整個(gè)系統(tǒng)不確定性減少的量。2、最大離散熵定理為：離散無(wú)記憶信源，等概率分布時(shí)熵最大,最大熵值為。3、香農(nóng)公式為為保證足夠大的信道容量，采用（1用頻帶換信噪比；（2用信噪比換頻帶。4、只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編碼。5、當(dāng)R＜C時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無(wú)窮小。6、1948年，美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。7.研究信息論目的高效、可靠、安全地交換利用信息。8.可度量性建立信息論的基礎(chǔ)。9.統(tǒng)計(jì)度量信息度量最常用方法。10、單符號(hào)離散信源用隨機(jī)變量描述，多符用隨機(jī)矢量。11、一隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為自信息量，定義為其發(fā)生概率對(duì)數(shù)的負(fù)值。12、自信息量單位比特、奈特、笛特。13、必然事件的自信息0。14、不可能事件的自信息量是∞。15、兩相互獨(dú)立隨機(jī)變量的聯(lián)合自信息量等于兩個(gè)自信息量之和。16、數(shù)據(jù)處理定理：消息多級(jí)處理后，處理器數(shù)目增多，輸入消息與輸出之間的平均互信息量趨于變小。17、離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于X的熵的N倍。18、離散平穩(wěn)有記憶信源的極限熵。19、n元m階馬爾可夫信源，狀態(tài)空間有nm個(gè)不同狀態(tài)。20、一維連續(xù)隨即變量X在[a，b]內(nèi)均勻分布，信源熵log2（b-a）。21、平均功率為P高斯分布連續(xù)信源，信源熵Hc（X）=。22、對(duì)限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時(shí)連續(xù)信源熵最大值。23、對(duì)限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時(shí)信源熵有最大值。24、均值為0，平均功率受限連續(xù)信源，信源冗余度決定于平均功率限定值P和信源的熵功率之比。25、若一離散無(wú)記憶信源的信源熵H（X）等于2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為3。26、m元長(zhǎng)度為ki，i=1，2，···n的異前置碼存在的充要條件是：。27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為log26。28.熵是香農(nóng)信息論最基本最重要的概念。29.事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生概率的對(duì)數(shù)來(lái)描述的。30、一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過(guò)程看作離散無(wú)記憶信源，則其信源熵為。31、根據(jù)輸入輸出信號(hào)的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道稱為無(wú)記憶信道。33、具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道的信道容量C=log2n。34、強(qiáng)對(duì)稱信道的信道容量C=log2n-Hni。35、對(duì)稱信道的信道容量C=log2m-Hmi。36、對(duì)于離散無(wú)記憶信道和信源的N次擴(kuò)展，其信道容量CN=NC。37N個(gè)對(duì)立并聯(lián)信道，信道容量CN=。41、當(dāng)信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊加時(shí)，此信道稱為加性連續(xù)信道。42、高斯加性信道的信道容量C=。43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無(wú)失真?zhèn)鬟f信息的條件是信息率小于信道容量。44、信道矩陣代表信道容量C=1。45、信道矩陣代表的信道信道容量C=1。46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=9kHz。47、對(duì)于具有歸并性能的無(wú)燥信道，達(dá)到信道容量的條件是p（yj）=1/m）。48、信道矩陣代表的信道，若每分鐘可以傳遞6*105個(gè)符號(hào)，則該信道的最大信息傳輸速率Ct=10kHz。50、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。51、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過(guò)信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、單符號(hào)的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個(gè)符號(hào)xi，信宿再現(xiàn)yj所引起的誤差或失真。54、漢明失真函數(shù)d（xi，yj）=。55、平方誤差失真函數(shù)d（xi，yj）=（yj-xi）2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d（xi，yj）在X和Y的聯(lián)合概率空間P（XY）中的統(tǒng)計(jì)平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計(jì)特性的函數(shù)。58、如果規(guī)定平均失真度不能超過(guò)某一限定的值D，即：。我們把稱為保真度準(zhǔn)則。59、離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散