信息論復(fù)習(xí)題2

1、復(fù)習(xí)題綱第一章 概述題綱：I. 什么是信息？ II. 什么是信息論？ III. 什么是編碼？ 需掌握的問(wèn)題：1. 信息的定義是什么？（有本體論定義、認(rèn)識(shí)論定義、Shannon信息論定義） 2. 認(rèn)識(shí)論信息定義和本體論信息定義的區(qū)別？認(rèn)識(shí)論信息定義包括那三個(gè)要素？ 3. 信息的性質(zhì)是什么？并給與說(shuō)明。（參考能量的性質(zhì)來(lái)理解記憶） 4. 信息論中信息的分類是把信息分成哪三類？這三種信息與認(rèn)識(shí)論信息定義中的三個(gè)要素的一一對(duì)應(yīng)關(guān)系是什么？ 5. 人類利用信息歷史上的五個(gè)變革？ 6. 信息論產(chǎn)生的標(biāo)志？（年代、作者、論文名稱） 7. 現(xiàn)代科學(xué)的三大論，分別是什么？作者分別是誰(shuí)？ 8. 信息論研究范圍的是

2、什么？ 9. 狹義信息論的研究?jī)?nèi)容？ 10. 畫(huà)出通信系統(tǒng)模型圖，并說(shuō)明每一部分的作用。 11. 通信系統(tǒng)性能的三個(gè)衡量指標(biāo)？Shannon信息論中是如何提高這三個(gè)性能指標(biāo)的？ 12. 什么是碼？什么是編碼？舉例說(shuō)明。 第二章 信源熵題綱：I. 信源的數(shù)學(xué)模型及分類 II. 自信息量 III. 互信息量 IV. 熵 1. 定義 2. 含義 3. 聯(lián)合熵、條件熵 4. 性質(zhì)（9個(gè)） V. 平均互信息 1. 定義 2. 含義 3. 聯(lián)合平均互信息、條件平均互信息 4. 性質(zhì)（6個(gè)） VI. 多符號(hào)離散信源的數(shù)學(xué)模型及分類 1. 隨機(jī)過(guò)程介紹 2. 數(shù)學(xué)模型 3. 分類 VII. 無(wú)記憶多符號(hào)離散平

3、穩(wěn)信源 VIII. 有記憶多符號(hào)離散平穩(wěn)信源 1. 熵 2. 平均符號(hào)熵 3. 極限熵 4. 性質(zhì)（4個(gè)） IX. 馬爾可夫信源 1. 馬爾可夫過(guò)程 2. 馬爾可夫信源 3. m階馬爾可夫信源 4. 含義 X. 信源冗余度和自然語(yǔ)言的熵 1. 結(jié)論：記憶長(zhǎng)度越長(zhǎng)，信源信息量越小 2. 信源冗余度 3. 通信的原理 XI. 連續(xù)信源的熵 1. 數(shù)學(xué)模型及分類 2. 相對(duì)熵的定義 3. 含義 4. 聯(lián)合相對(duì)熵、條件相對(duì)熵 5. 幾種特殊連續(xù)信源的熵 6. 性質(zhì)（4個(gè)） 需掌握的問(wèn)題：1. 信源的數(shù)學(xué)模型是什么？ 2. 信源如何分類，不同信源類別的區(qū)別是什么？ 3. 不同類別信源的數(shù)學(xué)描述是什么？

4、4. 自信息量的大小如何計(jì)算？（公式） 5. 自信息量公式中對(duì)數(shù)的底數(shù)不同單位分別是什么？（單位的中英文名稱） 6. 自信息量的含義是什么？（它對(duì)什么量的度量） 7. 聯(lián)合自信息量、條件自信息量、自信息量之間的關(guān)系是什么？ 8. 自信息的性質(zhì)是什么？（能夠證明）說(shuō)明各個(gè)性質(zhì)的含義。 9. 互信息量的大小如何計(jì)算？（公式） 10. 互信息量的含義是什么？互信息量在通信系統(tǒng)模型中描述哪部分的信息量？ 11. 聯(lián)合互信息量、條件互信息量、互信息量之間的關(guān)系是什么？ 12. 互信息的性質(zhì)是什么？（能夠證明）說(shuō)明各個(gè)性質(zhì)的含義。 13. 熵的表達(dá)式是什么？怎么推導(dǎo)的？ 14. 熵的單位是什么？ 15.

5、熵的含義是什么？ 16. 單符號(hào)離散信源最大熵是多少？信源概率如何分布時(shí)能達(dá)到？ 17. 熵的性質(zhì)是什么？（能夠證明，并說(shuō)明每個(gè)性質(zhì)的含義） 18. 聯(lián)合熵、條件熵和熵的關(guān)系。 19. 平均互信息的定義是什么？平均互信息的表達(dá)式怎么推導(dǎo)？ 20. 平均互信息的含義？ 21. 信道疑義度、損失熵和噪聲熵的含義？ 22. 平均互信息的性質(zhì)？（能夠證明，并說(shuō)明每個(gè)性質(zhì)的含義） 23. 聯(lián)合平均互信息、條件平均互信息和平均互信息的關(guān)系？ 24. 數(shù)據(jù)處理定理描述的問(wèn)題？如何解決這個(gè)問(wèn)題？ 25. 數(shù)據(jù)處理定理中不等式的證明？ 26. 自信息量、熵、互信息、平均互信息之間的關(guān)系？ 27. 什么是隨機(jī)過(guò)程

6、，隨機(jī)過(guò)程的特點(diǎn)，隨機(jī)過(guò)程和隨機(jī)變量的區(qū)別。 28. 什么是嚴(yán)平穩(wěn)隨機(jī)過(guò)程，什么是寬平穩(wěn)隨機(jī)過(guò)程？ 29. 隨機(jī)過(guò)程如何分類？描述各個(gè)類別的名稱及特點(diǎn)。 30. 什么是隨機(jī)序列？它和隨機(jī)過(guò)程的關(guān)系是什么？ 31. 多符號(hào)離散信源的數(shù)學(xué)模型如何描述？ 32. 多符號(hào)離散信源如何分類？ 33. 無(wú)記憶多符號(hào)離散平穩(wěn)信源的熵如何計(jì)算？ 34. 用聯(lián)合概率表征記憶特征的有記憶多符號(hào)離散平穩(wěn)信源的熵如何計(jì)算？ 35. 平均符號(hào)熵的定義和公式。 36. 極限熵的定義和公式。 37. 有記憶多符號(hào)離散平穩(wěn)信源的平均符號(hào)熵、極限熵、條件熵的關(guān)系和性質(zhì)（4個(gè)）能夠證明，并說(shuō)明它們的含義。 38. 什么是馬爾可夫

7、過(guò)程？ 39. 什么是馬爾可夫鏈？它和馬爾可夫過(guò)程的關(guān)系是什么？ 40. 什么是一步狀態(tài)轉(zhuǎn)移概率？如何計(jì)算n步轉(zhuǎn)移概率？ 41. 什么是馬爾可夫信源？ 42. 如何計(jì)算m階馬爾可夫信源的極限熵？ 43. 馬爾可夫信源描述的記憶特征與聯(lián)合概率描述的記憶特征有什么區(qū)別？ 44. 信源冗余度如何計(jì)算？ 45. 提高通信效率的手段？ 46. 信源信息量的大小隨信源記憶長(zhǎng)度變化的規(guī)律是什么？ 47. 連續(xù)信源分幾類？ 48. 描述連續(xù)信源的數(shù)學(xué)工具是什么？ 49. 相對(duì)熵的表達(dá)式是什么？如何推導(dǎo)的？ 50. 相對(duì)熵和絕對(duì)熵的區(qū)別是什么？ 51. 能夠計(jì)算均勻分布、正態(tài)分布、指數(shù)分布連續(xù)信源的熵。 52.

8、 能夠證明相對(duì)熵的可加性。 53. 能夠證明相對(duì)熵的極值性。 54. 能夠證明連續(xù)信源平均互信息量的非負(fù)性。 55. 能夠證明連續(xù)信源相對(duì)熵的極值性。 第三章 信道容量題綱：I. 信道的數(shù)學(xué)模型及分類 1. 信道的定義 2. 分類 3. 數(shù)學(xué)模型 II. 單符號(hào)離散信道的信道容量 1. 信道容量的定義 2. 幾種特殊離散信道的信道容量 a. 無(wú)干擾信道 a1. 無(wú)噪無(wú)損信道a2. 有噪無(wú)損信道a3. 無(wú)噪有損信道b. 有干擾信道 b1. 強(qiáng)對(duì)稱信道b2. 對(duì)稱信道b3. 準(zhǔn)對(duì)稱信道3. 一般信道的信道容量 III. 多符號(hào)離散信道的信道容量 1. 數(shù)學(xué)模型 2. 信道容量 IV. 獨(dú)立并聯(lián)信道

9、的信道容量 1. 數(shù)學(xué)模型 2. 信道容量 II. 串聯(lián)信道的互信息和數(shù)據(jù)處理定理 1. 數(shù)學(xué)模型 2. 信道容量 VI. 連續(xù)信道和波形信道的信道容量 1. 分類 2. 信道容量 a. 單符號(hào)高斯加性信道 b. 多維無(wú)記憶高斯加性信道 c. 高斯白噪聲加性信道 II. 多用戶信道容量 需掌握的問(wèn)題：1. 信道的定義是什么？ 2. 信道如何分類，各種類別的名稱以及它們之間的區(qū)別？ 3. 信道的數(shù)學(xué)模型是什么？ 4. 二元對(duì)稱信道和二元?jiǎng)h除信道的信道轉(zhuǎn)移矩陣是什么？ 5. 信道容量的定義是什么？信道容量的含義如何理解？ 6. 能夠計(jì)算無(wú)噪無(wú)損信道、有噪無(wú)損信道、無(wú)噪有損信道的信道容量。 7. 對(duì)

10、稱信道的定義是什么？ 8. 強(qiáng)對(duì)稱信道、對(duì)稱信道、準(zhǔn)對(duì)稱信道的信道轉(zhuǎn)移矩陣有什么特點(diǎn)？ 9. 能夠計(jì)算強(qiáng)對(duì)稱信道、對(duì)稱信道、準(zhǔn)對(duì)稱信道的信道容量。 10. 一般信道容量求解的本質(zhì)是什么? 11. 定理描述的內(nèi)容，會(huì)利用定理求解一般信道容量。 12. 能利用待定系數(shù)求解信道容量。 13. 一般信道容量算法的限制是什么？ 14. 描述離散無(wú)記憶擴(kuò)展信道的數(shù)學(xué)模型。 15. 分三種情況計(jì)算多符號(hào)離散信道的信道容量：a.信源無(wú)記憶 b.信道無(wú)記憶 c.信源、信道都無(wú)記憶 16. 描述獨(dú)立并聯(lián)信道的數(shù)學(xué)模型，說(shuō)明它和離散無(wú)記憶擴(kuò)展信道的關(guān)系。 17. 計(jì)算獨(dú)立并聯(lián)信道的信道容量。 18. 描述串聯(lián)信道的

11、數(shù)學(xué)模型。 19. 串聯(lián)信道兩個(gè)定理和一個(gè)推論的證明，并能夠說(shuō)明他們的物理含義。 20. 連續(xù)信道與波形信道的區(qū)別是什么？ 21. 波形信道的分類是按照什么進(jìn)行分類的？ 22. 按照噪聲統(tǒng)計(jì)特性分類波形信道分哪幾類？ 23. 按照噪聲對(duì)信道的作用分類波形信道分哪幾類？ 24. 連續(xù)信道分幾類？ 25. 單符號(hào)高斯加性信道的信道模型是什么? 26. 單符號(hào)高斯加性信道的信道容量是什么？說(shuō)明其中的物理含義。 27. 多符號(hào)無(wú)記憶高斯加性信道的信道模型是什么? 28. 多符號(hào)無(wú)記憶高斯加性信道的信道容量是什么?說(shuō)明其中的物理含義。 29. 高斯白噪聲加性信道的信道模型是什么? 30. 高斯白噪聲加性

12、信道的信道容量是什么?說(shuō)明其中的物理含義。 31. 多址接入信道MAC、廣播信道BC、相關(guān)信源多用戶信道的信道容量區(qū)間分別是什么？并能夠證明。 第四章 信息率失真函數(shù)題綱：I. 失真度 II. 平均失真度 III. 信息率失真函數(shù) IV. 信息率失真函數(shù)的性質(zhì) 1. 定義域Dmin, Dmax 2. R(D)是D的下凹函數(shù) 3. R(D)是D的單調(diào)連續(xù)遞減函數(shù) V. 離散信源的信息率失真函數(shù) 1. 參量表達(dá)式 2. 二元及等概離散信源 VI. 保真度準(zhǔn)則下的信源編碼定理 需掌握的問(wèn)題：1. 香農(nóng)在什么論文中提出信息率失真函數(shù)的概念？ 2. 失真度如何表示？ 3. 平均失真度如何計(jì)算？ 4. 漢

13、明失真度和平方誤差失真度的形式分別是什么？ 5. 信息率失真函數(shù)的定義是什么？ 6. 什么是保真度準(zhǔn)則？ 7. 什么是實(shí)驗(yàn)信道？ 8. 信息率失真函數(shù)和信道容量的區(qū)別和聯(lián)系是什么？ 9. 定義域Dmin, Dmax如何計(jì)算？ 10. 能夠繪制率失真函數(shù)曲線。 11. 求解信息率失真函數(shù)的本質(zhì)是什么？能夠描述求解過(guò)程。 12. 失真度和信息率失真函數(shù)的參量表達(dá)式是什么？參量S的含義是什么？ 13. 二元離散信源信息率失真函數(shù)的表達(dá)式是什么？說(shuō)明各部分的含義。 14. 多元等概離散信源信息率失真函數(shù)的表達(dá)式是什么？ 15. 描述保真度準(zhǔn)則下的信源編碼定理。 第五章 信源編碼題綱：I. 基本概念 1

14、. 編碼器 2. 二元碼 3. 等長(zhǎng)碼 4. 變長(zhǎng)碼 5. 奇異碼 6. 非奇異碼 7. 同價(jià)碼 8. 碼的N次擴(kuò)展碼 9. 唯一可譯碼 II. 無(wú)失真信源編碼定理 III. 編碼方法 1. Shannon碼 2. Fano碼 3. Huffman碼 4. Shannon-Fano-Alias碼 5. 算術(shù)碼 6. LZW碼 需掌握的問(wèn)題：1. 通信系統(tǒng)的三個(gè)性能指標(biāo)是什么？為了提高這三個(gè)性能指標(biāo)的三種編碼分別是什么？ 2. 香農(nóng)信息論中的三個(gè)編碼定理分別是什么？三個(gè)編碼定理分別適用于何種場(chǎng)合？ 3. 描述編碼器的概念。 4. 解釋二元碼、等長(zhǎng)碼、變長(zhǎng)碼、奇異碼、非奇異碼、同價(jià)碼、碼的N次擴(kuò)展

15、碼、唯一可譯碼。 5. 變長(zhǎng)碼和定長(zhǎng)碼的區(qū)別是什么？用碼樹(shù)描述二者的差異，能夠說(shuō)明變長(zhǎng)碼和定長(zhǎng)碼各自的優(yōu)劣。 6. 什么是漸進(jìn)等分割性AEP？ 7. 典型序列集（或非典型序列集的）的三個(gè)性質(zhì)，并證明。 8. 利用典型序列集的性質(zhì)證明等長(zhǎng)信源編碼定理。 9. 什么是即時(shí)碼? 10. Kraft不等式是什么？能夠證明。 11. McMillan不等式是什么？能夠證明。 12. 如何判斷唯一可譯碼？ 13. 利用Kraft不等式證明變長(zhǎng)信源編碼定理。 14. 描述無(wú)失真信源編碼定理。 15. 如何從無(wú)失真信源編碼定理推出無(wú)噪信道編碼定理？ 16. 掌握Shannon碼、Fano碼、Huffman碼、

16、Shannon-Fano-Alias碼、算術(shù)碼、LZW碼的編碼方法，并會(huì)計(jì)算編碼效率。 17. Shannon碼、Fano碼、Huffman碼的編碼效率達(dá)到100%的條件是什么？ 第六章 信道編碼題綱：I. 基本概念 1. 編碼器 2. 二元碼 3. 等長(zhǎng)碼 4. 變長(zhǎng)碼 5. 奇異碼 6. 非奇異碼 7. 同價(jià)碼 8. 碼的N次擴(kuò)展碼 9. 唯一可譯碼 II. 有噪信道編碼定理 III. 線性分組碼 IV. 循環(huán)碼 需掌握的問(wèn)題：1. 什么是錯(cuò)誤概率？什么是平均錯(cuò)誤概率？錯(cuò)誤概率受哪三個(gè)方面影響？ 2. 什么是譯碼規(guī)則？什么是最大后驗(yàn)譯碼規(guī)則？什么是最大似然譯碼規(guī)則？最大似然譯碼規(guī)則在什么情況下等價(jià)于最大后驗(yàn)譯碼規(guī)則？ 3. 費(fèi)諾不等式是什么？分別描述不等式的各個(gè)組成部分，以及含義。 4. 描述有噪信道編碼定理。 5. 什么是二元分組碼？什么是線性分組碼和非線性分組碼？什么是分組碼和卷積碼？什么是系統(tǒng)碼和非系統(tǒng)碼？ 6. 什么是漢明距離、最小漢明距離、漢明重量、最小漢明重