老師整理的信息論知識(shí)點(diǎn)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上Chp02知識(shí)點(diǎn)：自信息量： 1） 2）對(duì)數(shù)采用的底不同，自信息量的單位不同。 2-比特（bit）、e-奈特（nat）、10-哈特（Hart）3）物理意義：事件發(fā)生以前，表示事件發(fā)生的不確定性的大??；事件發(fā)生以后，表示事件所含有或所能提供的信息量。平均自信息量（信息熵）：1） 2）對(duì)數(shù)采用的底不同，平均自信息量的單位不同。 2-比特/符號(hào)、e-奈特/符號(hào)、10-哈特/符號(hào)。3）物理意義：對(duì)信源的整體的不確定性的統(tǒng)計(jì)描述。表示信源輸出前，信源的平均不確定性；信源輸出后每個(gè)消息或符號(hào)所提供的平均信息量。4）信息熵的基本性質(zhì)：對(duì)稱性、確定性、非負(fù)性、擴(kuò)展性、連續(xù)性、遞推性、

2、極值性、上凸性。 互信息： 1）2）含義：已知事件后所消除的關(guān)于事件的不確定性，對(duì)信息的傳遞起到了定量表示。平均互信息：1）定義： 2）性質(zhì)：聯(lián)合熵和條件熵：各類(lèi)熵之間的關(guān)系：數(shù)據(jù)處理定理：專心-專注-專業(yè)Chp03知識(shí)點(diǎn)：依據(jù)不同標(biāo)準(zhǔn)信源的分類(lèi)：離散單符號(hào)信源：1）概率空間表示： 2）信息熵：，表示離散單符號(hào)信源的平均不確定性。離散多符號(hào)信源：用平均符號(hào)熵和極限熵來(lái)描述離散多符號(hào)信源的平均不確定性。平均符號(hào)熵：極限熵（熵率）：（1）離散平穩(wěn)信源（各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)的信源。）（2）離散無(wú)記憶信源：信源各消息符號(hào)彼此互不相關(guān)。 最簡(jiǎn)單的二進(jìn)制信源：，信源輸出符號(hào)只有兩個(gè)：“0”和“

3、1”。 離散無(wú)記憶信源的N次擴(kuò)展：若信源符號(hào)有q個(gè)，其N(xiāo)次擴(kuò)展后的信源符號(hào)共有qN個(gè)。² 離散無(wú)記憶信源X的N次擴(kuò)展信源XN的熵：等于信源X的熵的N倍，表明離散無(wú)記憶信源X的N次擴(kuò)展信源每輸出1個(gè)消息符號(hào)（即符號(hào)序列）所提供的信息熵是信源X每輸出1個(gè)消息符號(hào)所提供信息熵的N倍。² 離散無(wú)記憶信源X的N次擴(kuò)展信源XN極限熵（熵率）為：（3）離散有記憶信源馬爾可夫信源時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱為馬爾可夫鏈1）用分布律描述：2）轉(zhuǎn)移概率：即條件概率。3）轉(zhuǎn)移概率矩陣：用表示n步轉(zhuǎn)移概率矩陣。且，會(huì)寫(xiě)出馬氏鏈的一步轉(zhuǎn)移概率矩陣，會(huì)畫(huà)狀態(tài)轉(zhuǎn)移圖，能夠求出n步轉(zhuǎn)移概率矩陣。4）

4、遍歷性的概念：求解馬氏信源的遍歷性，即找一正整數(shù)m，使m步轉(zhuǎn)移概率矩陣中無(wú)零元。求解馬氏遍歷信源的信息熵步驟：（1） 根據(jù)題意畫(huà)出狀態(tài)轉(zhuǎn)移圖，判斷出是平穩(wěn)遍歷的馬爾可夫信源；（2） 根據(jù)狀態(tài)轉(zhuǎn)移圖寫(xiě)出一步轉(zhuǎn)移概率矩陣，計(jì)算信源的極限分布即是求解方程組：（3） 根據(jù)一步轉(zhuǎn)移概率矩陣和極限概率W計(jì)算信源的信息熵：極限熵H 等于條件熵Hm+1。（m階馬爾可夫信源的熵率）信源的相關(guān)性和剩余度：，用來(lái)衡量信源輸出的符號(hào)序列中各符號(hào)之間的依賴程度。當(dāng)剩余度0時(shí)，信源的熵極大熵H0，表明信源符號(hào)之間：(1)統(tǒng)計(jì)獨(dú)立無(wú)記憶;(2)各符號(hào)等概分布。連續(xù)信源：（1） 微分熵：i. 定義：ii. 物理意義：（2）

5、連續(xù)信源的聯(lián)合熵和條件熵（3） 幾種特殊連續(xù)信源的熵：a) 均勻分布的連續(xù)信源的熵：b) 高斯分布的連續(xù)信源的熵：【概率密度函數(shù)：】c) 指數(shù)分布的連續(xù)信源的熵： 【概率密度函數(shù)： 】（4） 最大連續(xù)熵定理：a) 限峰值功率的最大熵定理（輸出幅值受限）：均勻分布b) 限平均功率的最大熵定理（輸出平均功率受限）：高斯分布（5） 熵功率及連續(xù)信源的剩余度Chp04知識(shí)點(diǎn)：一、 一些基本概念：1 什么是信道？信道的作用，研究信道的目的。2 一般信道的數(shù)學(xué)模型，信道的分類(lèi)（根據(jù)輸入輸出隨即信道的特點(diǎn)，輸入輸出隨機(jī)變量個(gè)數(shù)的多少，輸入輸出個(gè)數(shù)，有無(wú)干擾，有無(wú)記憶，信道的統(tǒng)計(jì)特性進(jìn)行不同的分類(lèi)）3 前向概

6、率p(yj /xi)、后向概率/后驗(yàn)概率p(xi /yj)、先驗(yàn)概率p(xi) 。4 幾個(gè)熵的含義：² H(X) -表示信源的不確定性；² H(X|Y)- 信道疑義度，表示如果有干擾的存在，接收端收到Y(jié)后對(duì)信源仍然存在的不確定性。也稱為損失熵，表示信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。² H(Y|X)- 噪聲熵，它反映了信道中噪聲源的不確定性。二、 離散信道：1 單符號(hào)離散信道：a) 信道模型的表示：傳遞矩陣（有傳遞(條件、轉(zhuǎn)移)概率p(yj|xi)組成）；b) 信道的信息傳輸率：R=I(X;Y)表示接收到輸出符號(hào)集Y后所消除的對(duì)于信源X的不確定性，也就

7、是獲得的關(guān)于信源的信息。它是平均意義上每傳送一個(gè)符號(hào)流經(jīng)信道的信息量。關(guān)于I（X;Y）的性質(zhì)：I(X;Y)是信源概率分布p(xi)和信道轉(zhuǎn)移概率p(yj|xi)的二元函數(shù)：那么，當(dāng)信道特性p(yj /xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，對(duì)于給定的信道轉(zhuǎn)移概率p(yj /xi)，I(X;Y)是輸入分布p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。那么這個(gè)最大的信息傳輸率即為信道容量。c) 信道容量概念：在信道中最大的信息傳輸速率對(duì)于給定的信道

8、，總能找到一個(gè)最佳輸入分布使得I(X;Y)得到極大值。d) 信道容量的含義：信道容量是完全描述信道特性的參量，信道容量是信道傳送信息的最大能力的度量，信道實(shí)際傳送的信息量必然不大于信道容量。2 幾種特殊離散信道的信道容量：a) 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道：n-輸入符號(hào)數(shù) ，m-輸出符號(hào)數(shù)當(dāng)信源呈等概率分布時(shí)，具有一一對(duì)應(yīng)確定關(guān)系的無(wú)噪信道達(dá)到信道容量C：b) 具有擴(kuò)展性能的無(wú)損信道：c) 具有歸并性能的無(wú)噪信道：注意：在求信道容量時(shí)，調(diào)整的始終是輸入端的概率分布p(xi) ，盡管信道容量式子中平均互信息I(X;Y)等于輸出端符號(hào)熵H(Y)，但是在求極大值時(shí)調(diào)整的仍然是輸入端的概率分布p(xi)

9、 ，而不能用輸出端的概率分布p(yj)來(lái)代替。也就是一定能找到一種輸入分布使輸出符號(hào)Y達(dá)到等概率分布。d) 行對(duì)稱信道的信道容量：e) 離散對(duì)稱信道的信道容量：若一個(gè)離散對(duì)稱信道具有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，則當(dāng)輸入為等概分布時(shí)達(dá)到信道容量，且 ，其中為信道矩陣中的任一行。f) 均勻信道的信道容量為 g) 準(zhǔn)對(duì)稱信道的信道容量：，其中Nk是n個(gè)子矩陣中第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和。h) 二元對(duì)稱信道的信道容量：C=1-H(p) p為錯(cuò)誤傳遞概率。3 一般離散信道的信道容量計(jì)算方法：已知信道的轉(zhuǎn)移矩陣P，求信道容量。兩種方法：方法一：依據(jù)：I(X;Y)是輸入概率分布

10、p(xi)的上凸函數(shù)，所以極大值一定存在。n 步驟：根據(jù)信道轉(zhuǎn)移矩陣的特點(diǎn)，用某一參數(shù)設(shè)為輸入分布p(xi)；由得出輸出分布p(yj)也是關(guān)于的函數(shù)；將用表示的p(xi)和p(yj)帶入I(X;Y)=H(Y)-H(Y|X)中，得到I(X;Y)是關(guān)于的函數(shù)。求I(X;Y)對(duì)的偏導(dǎo)數(shù)，并令其等于0，解得即得到輸入分布；將解得的代入I(X;Y)式中得到信道容量C。 例子：見(jiàn)教材P65， 例4.5 方法二：公式法：注意：在第步信道容量C被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的p(xi) ，并確認(rèn)所有的p(xi)0時(shí)，所求的C才存在。Ø在對(duì)I(X;Y)求偏導(dǎo)時(shí)，僅限制 ，并沒(méi)有限制p(xi)0

11、 ，所以求出的p(xi)有可能為負(fù)值，此時(shí)C就不存在，必須對(duì)p(xi)進(jìn)行調(diào)整，再重新求解C。4 平均互信息I(X;Y)達(dá)到信道容量的充要條件：見(jiàn)教材P65。5 多符號(hào)離散信道及信道容量：a) 含義，數(shù)學(xué)模型：² 多符號(hào)離散信源X =X1X2XN在N個(gè)不同時(shí)刻分別通過(guò)單符號(hào)離散信道X P(Y/X) Y，則在輸出端出現(xiàn)相應(yīng)的隨機(jī)序列Y =Y1Y2YN，這樣形成一個(gè)新的信道稱為多符號(hào)離散信道。² 由于新信道相當(dāng)于單符號(hào)離散信道在N個(gè)不同時(shí)刻連續(xù)運(yùn)用了N次，所以也稱為單符號(hào)離散信道X P(Y/X) Y的N次擴(kuò)展。²b) 離散多符號(hào)信道的平均互信息和信道容量的幾個(gè)結(jié)論：結(jié)

12、論1：離散無(wú)記憶信道的N次擴(kuò)展信道的平均互信息，不大于N個(gè)隨機(jī)變量X1X2 XN單獨(dú)通過(guò)信道X P(Y/X) Y的平均互信息之和。結(jié)論2：離散無(wú)記憶信道的N次擴(kuò)展信道，當(dāng)輸入端的N個(gè)輸入隨機(jī)變量統(tǒng)計(jì)獨(dú)立時(shí)，信道的總平均互信息等于這N個(gè)變量單獨(dú)通過(guò)信道的平均互信息之和。結(jié)論3：離散無(wú)記憶信道的N次擴(kuò)展信道，如果信源也是離散無(wú)記憶信源的N次擴(kuò)展信源，則信道總的平均互信息是單符號(hào)離散無(wú)記憶信道平均互信息的N倍。結(jié)論4：用C表示離散無(wú)記憶信道容量，用CN表示其擴(kuò)展信道容量，CN=NC6 組合信道及信道容量：a) 獨(dú)立并聯(lián)信道：含義：輸入和輸出隨機(jī)序列中的各隨機(jī)變量取值于不同的符號(hào)集，就構(gòu)成了獨(dú)立并聯(lián)信

13、道。是離散無(wú)記憶信道的N次擴(kuò)展信道的推廣。信道容量：，并p當(dāng)輸入端各隨機(jī)變量統(tǒng)計(jì)獨(dú)立，且每個(gè)輸入隨機(jī)變量Xk (k=1,2, ,N) 的概率分布達(dá)到各自信道容量Ck(k=1,2, ,N)的最佳分布時(shí)，CN達(dá)到其最大值：。b) 級(jí)聯(lián)信道：含義：可以看成一個(gè)馬爾可夫鏈。信道容量：先求各個(gè)級(jí)聯(lián)信道的信道矩陣的乘積，得到級(jí)聯(lián)信道的總的信道矩陣。然后按照離散單符號(hào)信道的信道容量方法求即可。7 連續(xù)信道及信道容量：a) 傳遞特性表示及數(shù)學(xué)模型；傳遞特性用條件轉(zhuǎn)移概率密度函數(shù)p(y/x)表示。b) 連續(xù)信道的信道容量：信源X等于某一概率密度函數(shù)p0(x)時(shí)，信道平均互信息的最大值，即c) 平均功率受限的加性

14、信道的信道容量:當(dāng)噪聲、輸入分布和輸出都滿足高斯分布時(shí)達(dá)到信道容量：8 波形信道的信道容量：² 設(shè)信道的頻帶限于(0,W)；² 根據(jù)采樣定理，如果每秒傳送2W個(gè)采樣點(diǎn)，在接收端可無(wú)失真地恢復(fù)出原始信號(hào)；² 香農(nóng)公式：把信道的一次傳輸看成是一次采樣，由于信道每秒傳輸2W個(gè)樣點(diǎn)，所以單位時(shí)間的信道容量為² 香農(nóng)公式含義：當(dāng)信道容量一定時(shí)，增大信道帶寬，可以降低對(duì)信噪功率比的要求；反之，當(dāng)信道頻帶較窄時(shí)，可以通過(guò)提高信噪功率比來(lái)補(bǔ)償。香農(nóng)公式給出有噪信道中無(wú)失真?zhèn)鬏斔苓_(dá)到的極限信息傳輸率，因此對(duì)實(shí)際通信系統(tǒng)的設(shè)計(jì)有非常重要的指導(dǎo)意義。Chp05知識(shí)點(diǎn)1、 信

15、源編碼的基本途徑、主要任務(wù)：2、 信源編碼的基礎(chǔ)：香農(nóng)兩大定理。3、 離散無(wú)記憶信源的一般模型，理解含義4、 一些碼的含義：二元碼、等長(zhǎng)碼、變長(zhǎng)碼、非奇異碼、奇異碼、同價(jià)碼、碼的N次擴(kuò)展碼、唯一可譯碼、即時(shí)碼、最佳碼。5、 即時(shí)碼的樹(shù)圖構(gòu)造法6、 等長(zhǎng)編碼定理及其物理意義，等長(zhǎng)編碼效率、等長(zhǎng)編碼時(shí)信源序列長(zhǎng)度N需滿足的條件。7、 會(huì)用Kraft和McMillan不等式判斷即時(shí)碼和唯一可以碼的碼長(zhǎng)滿足的條件。會(huì)用唯一可譯碼的判別準(zhǔn)則。8、 香農(nóng)第一定理及其物理意義，變長(zhǎng)碼編碼效率。9、 變長(zhǎng)碼編碼方法：香農(nóng)碼、費(fèi)諾碼、霍夫曼編碼、算術(shù)編碼、游程碼、詞典編碼。Chp06知識(shí)點(diǎn)：一、譯碼準(zhǔn)則1、 最

16、小錯(cuò)誤概率譯碼準(zhǔn)則（也稱最大后驗(yàn)概率譯碼準(zhǔn)則）：2、 最大似然譯碼準(zhǔn)則：3、 最小距離譯碼準(zhǔn)則：（1） 漢明距離：兩個(gè)碼字之間對(duì)應(yīng)位置上不同碼元的個(gè)數(shù)。（2） 最小距離譯碼準(zhǔn)則：收到一個(gè)碼字后，把它譯成與它最近的輸入碼字，這樣可以使平均錯(cuò)誤率最小。二、平均錯(cuò)誤概率：方法：在聯(lián)合概率矩陣p(ai)p(bj/ai)中先求每列除去F(bj)=a*所對(duì)應(yīng)的p(a*bj)以外所有元素之和，然后再對(duì)各列求和。三、信息傳輸率： 注：M-信源的個(gè)數(shù)n-每個(gè)信源的符號(hào)數(shù)四、編碼方法： 編碼方法的選擇相當(dāng)于對(duì)原來(lái)的信道進(jìn)行N次擴(kuò)展，碼字符號(hào)個(gè)數(shù)及碼字的選擇。我們應(yīng)該選擇這樣的編碼方法：應(yīng)盡量設(shè)法使選取的M個(gè)碼字中任意兩兩不同碼字的距離盡量大。五、理解香農(nóng)第二定理的含義。六、糾錯(cuò)碼1、分類(lèi)：n 分組碼：編碼的規(guī)則僅局限于本碼組之內(nèi)，本碼組的監(jiān)督元僅和本碼組的信息元相關(guān)。 (n,k) 分組碼n 卷積碼：本碼組的監(jiān)督元不僅和本碼組的信息元相關(guān)，而且還與本碼組相鄰的前 n1 個(gè)碼組的信息元相關(guān)。n 信息碼元和校驗(yàn)碼元是否可用線性方程組來(lái)表示，分為：n 線性碼：編碼規(guī)則可以用線性方程表示；n 非線性碼：編碼規(guī)則不能用線性方程表示；n 按糾正差錯(cuò)的類(lèi)型可分為糾正隨機(jī)錯(cuò)誤的碼和糾正突發(fā)錯(cuò)誤的碼；n 按碼字中每個(gè)碼元的取值可分為二進(jìn)制碼和多進(jìn)制碼。2、差錯(cuò)控制方式：3、線性分組碼（1）構(gòu)成