配套課件-信息論與編碼(第三版)1

1、信息論與編碼技術(shù)主講教師：第一章 緒 論信息論 (Information Theory)是通信中的數(shù)學(xué)理論，是研究信息的傳輸、存儲和處理的科學(xué)回答兩個基本問題數(shù)據(jù)壓縮信息傳輸速率+無失真壓縮受到熵的約束限失真壓縮受到信息率失真函數(shù)的約束信道容量主要討論存在性問題有人認(rèn)為是通信理論的子集實際上對統(tǒng)計物理、計算機科學(xué)(如算法復(fù)雜度)、概率與統(tǒng)計等學(xué)科都有貢獻對學(xué)科發(fā)展的貢獻信息論的起源1948年香農(nóng)-論文“通信中的數(shù)學(xué)問題”(A Mathematical Theory of Communication)特點：概率統(tǒng)計方法對通信系統(tǒng)進行了研究，成果：揭示了通信系統(tǒng)傳遞的對象是信息，對信息進行了科學(xué)的

2、定量描述，提出了熵的概念。更早的研究內(nèi)容1924年NyquistHartley對信息進行了定義解釋了信號帶寬與信息傳輸速率之間的關(guān)系1928年Hartley通信系統(tǒng)傳輸能力問題1936年Amstrong提出了增加帶寬可以提高系統(tǒng)抗干擾能力研究進程Cover對多用戶信息理論的研究做出了很大貢獻。1.1信息論的形成與發(fā)展上個世紀(jì)五十年代在學(xué)術(shù)界引起極大反響六十年代擴展了研究領(lǐng)域點對點多用戶信息論信 道 編 碼 研 究采用長碼、交織技術(shù)、迭代解碼技術(shù)進行編解碼，從而提高了編碼效率和糾錯能力。1.1信息論的形成與發(fā)展60年代信道編碼（分組碼）成為重要信息論分支70年代卷積碼概率譯碼90年代之后Turb

3、o碼LDPC1.1信息論的形成與發(fā)展信 源 編 碼 研 究1948年香農(nóng)：無失真編碼定理（第一定理）設(shè)計香農(nóng)碼1952年費羅費羅碼1959年香農(nóng)：限失真編碼定理（第三）即信息率失真理論Huffman哈夫曼碼但是一般認(rèn)為遠遠沒有達到理論極限。 1.1信息論的形成與發(fā)展信源統(tǒng)計特性編碼技術(shù)（尤其圖像編碼）快速發(fā)展圖像編碼小波比特平面編碼算術(shù)編碼信息率失真變換數(shù)據(jù)分類或者形成集合等熵編碼碼流優(yōu)化作用信息論主要立足點基礎(chǔ)：研究有效性信息可以度量可靠性信源編碼信道編碼提高傳輸數(shù)據(jù)中每個碼元攜帶的信息量，從而提高數(shù)據(jù)傳輸效率。 使系統(tǒng)能夠檢測、糾正傳輸過程中的數(shù)據(jù)錯誤。通過目的信息論研究范圍1.1信息論的

4、形成與發(fā)展狹義信息論信息度量信息特征信息容量干擾對信息傳遞影響廣義信息論除了狹義信息論內(nèi)容之外，還有信號設(shè)計（如信號分集）噪聲理論噪聲統(tǒng)計特性信號檢測與估值信息、消息、信號三者既有聯(lián)系又有區(qū)別 ；1.1信息論的形成與發(fā)展信息：表示事物的運動狀態(tài)和狀態(tài)變化的方式，是抽象的意識或者知識，是看不見、摸不著的。 比如人的想法，對事物的認(rèn)識等等。消息是信息的載體，可以由消息得到信息指包含信息的語言、文字和圖像等信息消息表述提取具體的抽象的信號不是物理性的，不能夠直接在信道中傳輸。描述方法：隨機變量或者隨機序列變化來表示消息信號是消息的具體物理體現(xiàn)（如聲波信號，電信號）信號是消息的載體，將消息轉(zhuǎn)換為信號才

5、能夠在信道中傳輸。信號變化可以表示一定的消息。信息消息信號待傳輸；特點：抽象；信息的表現(xiàn)形式；文字，圖像，聲音等；信號的變化描述消息；信息的基本特點1.不確定性受信者在接收到信息之前，不知道信源發(fā)送的內(nèi)容是什么，是未知的、不確定性事件；3. 可以產(chǎn)生、消失、存儲，還可以進行加工、處理；4. 可以度量2.受信者接收到信息后，可以減少或者消除不確定性；1.2 通信系統(tǒng)的模型 一般模型通信基本問題精確或者近似再現(xiàn)信源發(fā)出的消息。在存儲或者通信等情況下，詳細模型信息數(shù)據(jù)接收信息接收數(shù)據(jù)原始符號重建符號信道一定，數(shù)據(jù)傳輸錯誤概率一定數(shù)據(jù)并不是總是成立差錯控制編碼、譯碼足夠好信息一般總是成立無失真編碼符號

6、限失真失真編碼有效性可靠性信 源產(chǎn)生消息的來源，可以是文字、語言、圖像等； 輸出形式：符號形式表示具體消息，是信息的載體 ；分類：連續(xù)的，離散的；基本特點：具有隨機性。主要研究其統(tǒng)計規(guī)律和信源產(chǎn)生的信息速率。 1.2 通信系統(tǒng)的模型作用：將信源發(fā)出的符號轉(zhuǎn)化為適合信道傳輸?shù)男盘?；一般包括信源編碼、差錯控制編碼(或者稱為信道編碼)和調(diào)制器等 。編碼器 信源編碼通過去除信源輸出符號的冗余，使信源編碼輸出的每個符號攜帶更多的信息量，從而降低信息傳遞所需要的符號數(shù)量，即降低總體數(shù)據(jù)傳輸速率，提高傳輸效率。 1.2 通信系統(tǒng)的模型信源符號碼序列信源編碼器相關(guān)性減弱相關(guān)性強解決有效性建立準(zhǔn)則提高信息傳輸?shù)?/p>

7、效率；變換冗余相關(guān)冗余統(tǒng)計冗余生理冗余冗余變化統(tǒng)計冗余強統(tǒng)計冗余弱相關(guān)冗余信源輸出前后符號之間存在一定相關(guān)性統(tǒng)計冗余信源輸出符號不服從等概率分布生理冗余人的視覺對幅值失真不特別敏感，但是對相位引起失真很敏感人的耳朵對相位引起失真不敏感聽音樂時，調(diào)節(jié)不同頻率增益調(diào)節(jié)亮度對比度（電視、圖片）調(diào)音臺模型簡化編碼信道不會引入任何錯誤或者失真無失真編碼與限失真編碼信息傳輸率必要小于信道容量，否則無論采取任何信道編碼技術(shù)，都會出現(xiàn)信息傳遞錯誤；在有些情況下，可以通過無失真編碼即可滿足上述要求；但是在更多情況下，必須采用限失真編碼，才能使得信息傳輸率不大于信道容量。1.2 通信系統(tǒng)的模型無失真編碼：信 源編

8、碼器編 碼信 道信 源譯碼器信源符號（序列）重建符號（序列）1.2 通信系統(tǒng)的模型重建符號與信源發(fā)送符號一致，即編碼器輸出碼字序列與信源發(fā)送序列一一映射；重建符號與信源發(fā)送符號不完全一致；編碼器輸出碼字序列與信源輸出符號序列之間不是一一映射關(guān)系，出現(xiàn)符號合并，使得重建符號的熵減少了。限失真編碼：總是成立的分別是編碼輸出碼字和接收到的碼字限失真、無失真是由于編譯碼器形成的由于信道中存在干擾，數(shù)據(jù)傳遞過程中會出現(xiàn)錯誤，信道編碼可以檢測或者糾正數(shù)據(jù)傳輸?shù)腻e誤，從而提高數(shù)據(jù)傳輸?shù)目煽啃浴Ｐ诺谰幋a增加冗余對信道干擾的抵抗力信息傳輸?shù)目煽啃蕴岣哒{(diào)制器 作用：將信道編碼的輸出變換為適合信道傳輸?shù)囊蟮男盘?

9、；信道編碼和調(diào)制器的組合稱為信道編碼器，主要是針對信道設(shè)計，其目的是為了利用信道的特性可靠地傳輸信息，提高信息傳輸?shù)目煽啃浴?.2 通信系統(tǒng)的模型信源編碼與信道編碼是相互矛盾的，需要統(tǒng)一考慮以提高系統(tǒng)的總體性能。信源編碼是通過去除冗余，提高系統(tǒng)傳輸?shù)挠行?；而信道編碼則是通過增加冗余提高系統(tǒng)傳輸?shù)目煽啃?，但是會降低系統(tǒng)總體有效性。信源信道聯(lián)合編碼技術(shù)：將信源編碼和信道編碼綜合考慮，從而解決信源編碼和信道編碼之間的統(tǒng)籌優(yōu)化問題。1.2 通信系統(tǒng)的模型信道與干擾 信道是信息傳輸?shù)拿劫|(zhì)，將攜帶信息的信號從一個地方傳送到另外地方。常見的信道有明線、電纜、光纖、無線電波傳輸?shù)目臻g等，這些都是電信號傳輸?shù)?/p>

10、信道。在水中通信中可以采用聲波傳輸，聲波傳輸?shù)拿劫|(zhì)是水，所以水也是信道。隨著科學(xué)技術(shù)的發(fā)展，大量的信息需要存儲，存儲器也是信道，而存儲信息的媒質(zhì)同樣會收到破壞，所以也存在干擾。1.2 通信系統(tǒng)的模型信號在傳輸過程中會受到各種各樣的干擾；信號的類型不同，經(jīng)過的信道不同，所遭受的噪聲、干擾也有差異。根據(jù)實際情況對噪聲和干擾進行統(tǒng)計建模和分析，采用相應(yīng)的處理方法。如常見的無線信號為高斯白噪聲信道；移動通信為衰落信道；磁盤、光盤為突發(fā)差錯信道。1.2 通信系統(tǒng)的模型譯碼器 譯碼器是編碼器的逆過程，其目的是為了準(zhǔn)確或者近似再現(xiàn)信源發(fā)出的消息。與編碼器相對應(yīng)，譯碼器一般由解調(diào)器、信道譯碼器和信源譯碼器組成

11、。解調(diào)器信道譯碼 器信 源譯碼器1.2 通信系統(tǒng)的模型信宿是消息傳遞的對象，即接收消息的人或機器，與信源處于不同地點或存在于不同時刻。它要對傳送過來的消息提出可接受條件，即提出一定的準(zhǔn)則，發(fā)端將以此來確定對信源處理時所要保留的最小信息量。信宿的數(shù)量可以是一個，也可以是多個，取決于具體應(yīng)用需要。單輸入、單輸出的單向通信系統(tǒng)；單輸入、多輸出的單向通信系統(tǒng)；多輸入、多輸出的多向通信系統(tǒng)。1.2 通信系統(tǒng)的模型1.3信息論研究的內(nèi)容通信統(tǒng)計理論的研究 主要研究如何分析信息和信息傳輸?shù)慕y(tǒng)計規(guī)律。具體內(nèi)容包括信息的度量、信息速率與熵、衡量信道傳輸能力的信道容量等。信源統(tǒng)計規(guī)律的研究不同的信源具有不同的統(tǒng)計

12、特性，如文字、字母的統(tǒng)計規(guī)律，語言 信號、靜止圖像和活動圖像的統(tǒng)計特性。而不同的分解工具產(chǎn)生的數(shù)據(jù)也具有不同的統(tǒng)計特性。編碼理論與技術(shù)的研究如信源編碼理論與技術(shù)的研究，以提高信息傳輸效率；信道編碼理論與技術(shù)的研究，以提高信息傳輸?shù)目煽啃?。受信者接收器官研?如人的聽覺和視覺特點的研究，為信源編碼提供編碼的基本原則。第2章 信源與信源熵 目錄2.2 信源的數(shù)學(xué)模型和分類2.3 離散信源的熵與互信息 2.4 熵的性質(zhì) 2.5 離散信源序列的熵 2.6 連續(xù)信源的熵與互信息量 2.7信源相關(guān)性與冗余度2.1背景知識信源需要發(fā)出的消息數(shù)量不是一個，在任何指定的時刻，信源到底發(fā)出哪個消息是不能夠事先確定

13、的，即具有隨機性；如果信源每次發(fā)出的消息是已知的或者事先確定的，則該消息不能夠提供任何信息。由于符號出現(xiàn)是隨機，給觀察者提供了一定的信息。不能夠使用確定函數(shù)進行描述，應(yīng)當(dāng)使用統(tǒng)計方法對其規(guī)律進行研究。背景知識 1.概率基礎(chǔ)知識概率空間是隨機變量圍繞均值分布離散程度的測度，或者說是隨機變量混亂程度的一種測度。協(xié)方差互相關(guān)反應(yīng)變量相關(guān)程度的指標(biāo)統(tǒng)計量聯(lián)合概率矩陣表示形式樣本空間算術(shù)平均代替統(tǒng)計 平均樣本方差EX未知EX已知大數(shù)定理相互獨立條件轉(zhuǎn)移概率矩陣完備性貝葉斯公式2平穩(wěn)隨機過程隨機過程具有相同聯(lián)合概率分布注意參數(shù)任意整數(shù)任意實數(shù)嚴(yán)格平穩(wěn)條件過于嚴(yán)格寬（弱、廣義）隨機過程與時間t無關(guān)如果僅與時

14、間間隔（t-s）有關(guān)自相關(guān)互相關(guān)1由樣本直接得到2算術(shù)平均形式反映數(shù)據(jù)關(guān)聯(lián)程度2.2 信源的數(shù)學(xué)模型和分類 產(chǎn)生消息的信源符號在幅度和時間上都是離散的(與信號與系統(tǒng)中的概念不同)，即符號數(shù)量是可數(shù)的或者是有限的，這樣的信源是離散信源。 骰子只有1，2，3，4，5，6共6種點數(shù)，將擲一個骰子得到的點數(shù)看作是信源取值，那么這種信源就是離散信源 幅度和時間離散信源 連續(xù)信源幅度和時間上都是離散的時間上或者在幅度上是連續(xù)的如果信源的符號在時間上或者在幅度上是連續(xù)的，這類信源就是連續(xù)信源。如表示聲音變化的電信號，不僅在時間上是連續(xù)取值，而且在幅度也是連續(xù)變化的，這樣的信源就是連續(xù)信源。 可以對信號進行取

15、樣，將之轉(zhuǎn)換為時間上離散的信號序列，但是由于該信號序列的幅度取值是連續(xù)的，所以這樣的信源仍然是連續(xù)信源；如果對序列進行量化編碼，就得到數(shù)字信號序列，時間和幅度都是離散的信號，這樣的信源就是離散信源。 取樣、量化會造成信息損失，將在后面章節(jié)中進行分析、討論。 模擬信號取樣離散信號量化編碼數(shù)字信號信號信息論連續(xù)信源連續(xù)信源離散信源消息符號之間是否關(guān)聯(lián)有記憶信源無記憶信源符號序列或者矢量描述方式單個符號也可以使用符號序列2.1.1信源輸出的消息由隨機變量描述 離散無記憶信源可以用一個概率空間完全描述出來，即各個符號出現(xiàn)的概率一定，那么信源就確定了；信源一定，那么各個符號出現(xiàn)的概率就確定了，所以信源的

16、消息符號及其概率分布完整地描述了信源的特性。 定義2.1 如果信源輸出的消息數(shù)量是有限或者可數(shù)的，而且每次只輸出符號集中的一個消息，這樣的信源稱為簡單離散信源。 且滿足 簡單離散信源而言，概率空間描述了信源的統(tǒng)計特性 投擲骰子問題 定義2.2 如果信源的輸出是單個符號消息，但是消息的數(shù)量是不可數(shù)的，即輸出消息的取值是連續(xù)的，這樣的信源稱為簡單的連續(xù)信源。如使用模擬器件萬用表、示波器觀測的電壓、電流信號都是連續(xù)數(shù)據(jù)，其取值幅度都是連續(xù)的。 R表示實數(shù) 取值范圍2.1.2 信源輸出的消息由隨機矢量描述 信號很多情況下信源輸出的消息符號之間具有一定的相關(guān)性；簡單信源模型不能夠描述；或者消息是由一系列

17、符號組成的簡單信源模型也不能夠描述這種由符號矢量構(gòu)成的消息。 比如有一個布袋，內(nèi)放100個球，其中白球80個，黑球20個，如果除了顏色不同之外，其它方面如手感、大小等都相同?，F(xiàn)在從布袋中隨機摸取一個球，觀察球的顏色，摸到的球要么是白色，要么是黑色。如果將這樣一個實驗視為一個信源，這樣的信源可以使用簡單的離散信源加以描述，即一維形式改變實驗方法，進行兩次取球?qū)嶒?，首先取出一個球，記錄球的顏色，取出的球不放回去，然后再取一個球，記錄球的顏色?，F(xiàn)在考察取出的兩個球的顏色，只有4種可能：白色白色、白色黑色、黑色白色、黑色黑色 。a1，a2分別表示白色球和黑色球 二維適量定義2.3 如果離散信源輸出的消

18、息是由一系列符號組成的，這樣的信源稱為多維離散信源。 使用N維隨機矢量描述，N維隨機矢量也稱為N維隨 機序列。一般說來，隨機序列的統(tǒng)計特性比較復(fù)雜， 分析起來比較困難。如果信源輸出的隨機序列的統(tǒng)計特性與時間的推移 無關(guān)，那么該序列是平穩(wěn)的。平穩(wěn)隨機序列分析相對簡單，在實際中，為了分析問 題方便起見，假設(shè)分析的序列是平穩(wěn)的。如果信源輸出的隨機序列中，每個隨機變量都是離散的；隨機矢量的各維概率分布都與時間無關(guān)，即任何時刻隨機矢量的各維概率分布相同，那么這樣的信源稱為離散平穩(wěn)信源；用N維概率空間描述。1離散無記憶信源 N維聯(lián)合概率分布表示為 特點消息的符號之間彼此相互獨立服從同一分布獨立同一分布不僅

19、具有相同分布類型，而且參數(shù)也相同e.G都是正態(tài)分布，且均值、方差相等此時例如：取球方式 ，每次從袋中取出一個球，只記錄球的顏色（用變量x1表示），將球放回袋中，然后再次取出一球，記錄球的顏色（用變量表示x2），如果將這樣兩次取球?qū)嶒炓暈樾旁摧敵龇?，顯然信源輸出消息構(gòu)成二維隨機序列，而構(gòu)成消息的兩個隨機變量相互獨立，所以可以用隨機變量的乘積加以描述。 比如K：編碼器輸入二進制數(shù)據(jù)長度N：輸出二進制數(shù)據(jù)長度 。由于輸送到信道編碼器的數(shù)據(jù)是先經(jīng)過信源編碼器編碼，所以相關(guān)性很弱 ；分組編碼器將這些比特流數(shù)據(jù)劃分為長度為k的一個個碼組，并對每個碼組進行信道編碼 ；比特數(shù)據(jù)取值只有0，1兩種符號，服從獨

20、立同一分布 。(n,k)分組碼線性分組碼 :無記憶信源通常情況下，信源在不同時刻發(fā)出的符號之間是相互關(guān)聯(lián)的。如前文所述的布袋取球?qū)嶒炛校热∫磺虿环呕?，然后再取一球，第二個球的顏色概率分布與第一個球的顏色有關(guān)。；如果摸出第一球為白色，則摸取第二個球顏色的概率為 若第一個球為黑色，則取第二個球顏色的概率 組成消息的兩個球的顏色之間存在關(guān)聯(lián)，這種信源是有記憶的 離散有記憶信源用N維聯(lián)合概率分布加以描述 特點1表述的復(fù)雜程度將隨序列長度N的增加而增加 ；2符號之間的相關(guān)性隨著符號間隔的增加而減弱；處理方法1 根據(jù)實際研究的需要限制隨機序列的長度2 需要考慮系統(tǒng)復(fù)雜程度來建立更為簡單的模型，以達到相應(yīng)

21、的研究目的。 當(dāng)記憶長度為m+1時，即信源每次發(fā)出符號只與前m個符號相關(guān)，與更前面的符號無關(guān)，稱這種信源為m階馬爾可夫信源。 如果條件概率與時間起點無關(guān)，這樣的信源稱為齊次馬爾可夫信源 。定義2.4 如果連續(xù)信源輸出消息時由一系列符號組成，這樣的信源稱為多維連續(xù)信源，也可以用N維隨機矢量來描述。2.2 離散信源的熵與互信息 信源的隨機性1.某時刻輸出符號是隨機的，接收者事先不能確定2.收到信息后可以消除或者減小這種不確定性噪聲，干擾存在，不能完全消除信源的概率分布是確定的前文已知：信源可以用概率分布來描述信息量大小應(yīng)該與概率有關(guān)2.2.1 非平均信息量 給定信源X，對應(yīng)的概率空間為 1.給定時

22、刻，信源到底會發(fā)出什么符號，接收者事先不能確定;2.符號出現(xiàn)的概率不同，它的不確定性也不同;3.信息量定義應(yīng)該遵循日常生活準(zhǔn)則基本規(guī)則(1)確定性事件，即P =1時，信息量應(yīng)當(dāng)為0；(2)事件出現(xiàn)的概率越小，信息量應(yīng)當(dāng)越大； 反之亦 然； (3)自信息量為非負的(4)兩個相互獨立事件聯(lián)合自信息量應(yīng)等于它們各自兩個信息量之和按照上述準(zhǔn)則，在函數(shù)空間尋找滿足要求的函數(shù)來定義信息量定義2.5 給定信源的概率空間 事件的自信息量定義為：取底為2，單位為比特; 取自然對數(shù)，單位為奈特（nat）；以10為底，則單位為笛特（det）。 bitbit對數(shù)的底大于1例2.1 某二元信源發(fā)出符號0，1的概率分別為

23、, p(0)=1/4 ,p(1)=3/4, 求I(0),I(1)。解：根據(jù)定義知：比特比特分析：符號1出現(xiàn)概率大，它的出現(xiàn)給觀察者提供的信息量就小。 符號0出現(xiàn)的概率較小，因此一旦出現(xiàn)，給觀察者提供信息量大；如果二進制信源的消息0、1以等概率出現(xiàn)，則也就是說不管是0還是1的出現(xiàn)，接收者得到的信息量均為1比特，即這樣信源輸出用1比特表示就可以了。如果信源輸出的m位二進制數(shù)，該數(shù)可以用m位0或者1組合表示，共有個等概率可能2m組合，所以每個符號的自信息量相等，都為m比特。不確定性討論(1)自信息量是該符號出現(xiàn)后，提供給接收者的信息量(2)表示信源符號的先驗不確定性每個符號具有一個先驗概率，在信源符

24、號發(fā)出之前，存在不確定性一個出現(xiàn)概率很小的符號，接收者事先很難猜測它是否會發(fā)生，而概率很大的符號，出現(xiàn)的可能性大，很容易猜測它的出現(xiàn)。(3)符號的不確定性在數(shù)量上等于它的自信息量但兩者含義不一樣先驗不確定性 信源符號固有的自信息量 信源發(fā)出后該符號為接收者提供的信息量，是為了消除該符號不確定性，接收信息者需要獲得的信息量定義2.6 對于給定兩個信源X、Y，對應(yīng)概率空間分別為 事件bjY的出現(xiàn)給出的關(guān)于事件ai X的信息量為 同樣定義為事件ai X的出現(xiàn)給出的關(guān)于事件bjY的信息量 事件關(guān)聯(lián)性討論在概率論中，反映兩個事件關(guān)聯(lián)程度，使用條件概率或者聯(lián)合概率條件（聯(lián)合）概率越大，說明兩者之間的依賴性

25、（關(guān)聯(lián)性）越強使用條件概率和無條件概率的比較，更能說明依賴關(guān)系比如觀察到事件bjY，想知道事件ai事對bj的依賴關(guān)系，可以觀察 與 大小事件bj出現(xiàn)有利于ai，兩者關(guān)聯(lián)性是相容的反之，兩者之間是相斥的換種說法事件bj出現(xiàn)有利于事件ai的出現(xiàn)事件bj出現(xiàn)不利于事件ai的出現(xiàn)事件bj與事件ai之間沒有關(guān)系相容相斥不相關(guān)信息論中，對兩個事件概率的比值取對數(shù)，而對數(shù)運算是單值的；所以互信息定義只不過就是將上述描述事件關(guān)聯(lián)程度的測度，做了一個簡單函數(shù)變換；本質(zhì)上沒有區(qū)別。這里是討論的事件之間的關(guān)聯(lián)性；而不是隨機變量的關(guān)聯(lián)性（不是總體特性，后面討論）注意：可以證明 證明:根據(jù)定義 分子、分母同時乘以概率

26、p(bj)由證明過程可知事件與事件之間的互信息量之所以存在，是因為兩者之間存在相關(guān)，如果兩者相互獨立，則I(ai;bj)=0.如果事件ai的出現(xiàn)不利于事件bj的出現(xiàn)，那么I(ai;bj)0 ；互信息量的意義表示了事件之間的關(guān)聯(lián)性，它可正可負;例2.2變量X的概率空間為變量Y取自符號集求解比特比特比特比特討論事件b1出現(xiàn)有利于a1事件b1出現(xiàn)有利于a2a1,a2是相互對立的，有利于a1，必然不利于a2由于X，Y都只有兩個取值，都是相互對立的，所以有下列關(guān)系定義2.7 給定聯(lián)合概率空間 對于事件ai在事件給定條件bj下的條件自信息量定義為 條件信息量I(ai|bj)是在事件bj給定條件下 ,關(guān)于事

27、件ai的不確定性 ;I(ai|bj)較大時，則給出的關(guān)于事件ai出現(xiàn)保留較大的不確定性，反之就小。 物理意義給定bj條件情況下，為了唯一確定ai的出現(xiàn)所必須提供的信息量。 另外一種解釋設(shè)ai為信源發(fā)出的符號，bj為接收的符號，如果I(ai|bj) 較大，p(ai|bj)越小.從譯碼角度而言， p(ai|bj)越小，在接收為條件bj下，信源發(fā)出的符號為ai的可能性越小，所以關(guān)于事件ai保留的不確定性越大；反之，信源符號剩下的不確定性變小。 直觀的解釋證明：相互關(guān)系例2.3 對于例2.2給定的概率空間，分別求出 I(ai),I(ai|bj),并且驗證 I(ai)=I(ai;bj)+I(ai|bj)

28、解：例2.2中已求出 根據(jù)有 于是有 比特 比特 比特 比特 而 比特 由例2.2可知比特 比特 比特 比特 很容易驗證：例2.4 設(shè)有兩個離散信源集合1.自信息量2.條件自息量3.互信息量。解12根據(jù)概率論知識，先求注意完備性完備性比特比特比特比特由有0.7370.2230.514 比特比特比特比特定義2.8 給定聯(lián)合概率空間 對于事件ai與事件bj的聯(lián)合自信息量定義為 聯(lián)合自信息量表示事件ai與事件bj同時出現(xiàn)的先驗不確定性。如果X，Y表示信源輸出的兩個符號，那么聯(lián)合自信息量表示信源符號輸出符號對ai,bj提供信息量。 2.2.2平均信息量 自信息量反映了信源單個符號的先驗不確定性，或者信

29、源輸出某一消息所包含的信息量，即信源單個消息符號信息量的大小;信源輸出的消息不同，各個消息符號對應(yīng)的概率不同，所包含的信息量也就不同，所以它反映的只是具體輸出消息符號的特性，不能夠反映信源的總體特性，不能夠作為信源的信息度量，只是單個符號的信息度量。下面討論信源的總體不確定性，或者每輸出一個消息符號所能夠提供的信息量平均值，即平均信息量，也稱為熵。 信息熵（Entropy） 定義2.9 定義自信息量的數(shù)學(xué)期望為信源的平均自信息量，也稱為熵。H(X)表示隨機變量X的熵，不是隨機變量X的函數(shù)。熵的概念是來源于熱力學(xué)概念，在熱力學(xué)中，變量X表示系統(tǒng)所有的可能狀態(tài)，p(ai)表示某一狀態(tài)的概率，描述了

30、系統(tǒng)的“無規(guī)律”程度，即在給定時刻系統(tǒng)可能出現(xiàn)的有關(guān)狀態(tài)的“不確定性”程度。信息論中H(X)表示信源的先驗平均不確定性消息符號輸出之前，表示確定信源X所需要的平均信息量發(fā)出消息符號后，每個輸出消息符號所給出的信息量平均值單位與自信息量一樣，信息熵的單位取決于所選取的底對數(shù)的底取2，此時相應(yīng)的單位為比特/符號含義信源的熵反映的是信源的總體特性1信源的統(tǒng)計特性不同，信息熵也不同2給定信源，信息熵就確定了3信源符號不同，但是具有相同的統(tǒng)計特性，那么信息熵也是相同的即，信源熵的值與符號形式?jīng)]有關(guān)系，只是取決于信源的總體統(tǒng)計規(guī)律，而且與符號的排列順序也沒有關(guān)系。進一步討論在概率論中，同樣有表述數(shù)據(jù)紊亂程

31、度的參數(shù)，就是方差熵與符號取值無關(guān)兩種區(qū)別方差與符號取值有關(guān)更加抽象具體一些，且反映隨機數(shù)據(jù)形象，有效例2.5 某二元信源的概率空間為求信源的熵。 解：根據(jù)定義信源的熵是概率的函數(shù)，為了方便起見，記作，其變化規(guī)律如圖所示。 極值問題：當(dāng)p=0.5時,H(p)取得極大值 當(dāng)p0.5時，即兩個符號出現(xiàn)概率相等時，對應(yīng)的熵最大，H(x)=1比特/符號；由于p0.5時，兩個符號輸出的概率相等，信源沒有輸出之前，很難猜測哪個消息會出現(xiàn)；當(dāng)pp(a2)，變量隨機性減少;只有當(dāng)兩個概率相等時，隨機性最大信源編碼的解釋但在實際中，由于信源符號（數(shù)據(jù)）之間存在依賴性，并不是統(tǒng)計獨立的，所以實際輸出碼率有可能小于

32、熵。這是因為在信息熵定義中，已經(jīng)假設(shè)了信源符號之間相互獨立，當(dāng)這種假設(shè)不符合實際情況時，結(jié)論自然不成立。 信源符號之間相互統(tǒng)計獨立信源熵就是對該信源進行無損壓縮，輸出碼率最小值無論采用何種方法進行無損數(shù)據(jù)壓縮，平均長度總是不小于熵信道編碼的解釋對于信道傳輸而言，信源熵只是反映了信源平均先驗不確定性，一般情況下，并不等于信宿獲得的平均信息量，只有在理想信道，即無噪聲干擾情況下，信宿才能準(zhǔn)確接收信源發(fā)出的消息，從而完全消除平均不確定性，獲得的信息量的均值為H(X)。 例2.6 有一個布袋內(nèi)放有100個求，其中紅球80個，白球20個，球的大小和手感相同，從布袋內(nèi)隨機抽取一個球，猜測所取球的顏色，求摸

33、取一個球所獲得的平均信息量。 解：令a1,a2分別表示摸取球的是紅球和白球，摸取球的實驗可以用一個概率空間表示 如果摸出的是紅球，得到的信息量為 反之，如果摸出的是白球，得到的信息量為 bitbit如果每次摸出的球在記錄下顏色后放回布袋，并且重復(fù)上述實驗。從統(tǒng)計角度而言，那么摸取n次后，當(dāng)n足夠大時，摸出紅球、白球的次數(shù)應(yīng)當(dāng)分別為np(a1),np(a2) ，那么n次實驗得到的信息量為平均每次實驗得到的信息量為 顯然平均信息量就是熵，于是有 比特/符號 定義2.8 在聯(lián)合集(XY)上，定義條件自信息量的數(shù)學(xué)期望為集合Y相對于集合X的條件熵。特別地，當(dāng)X，Y相互獨立時，有 物理意義：觀測到集合Y

34、后，集合X保留或者剩余的不確定性。 信源編碼的解釋信源編碼無失真信源編碼器輸入符號X與編碼器輸出Y一一對應(yīng)信源X剩余的不確定性為0從Y中可以看到X的一切信息限失真X與Y不是一一對應(yīng)從Y中只能看到X的部分信息X剩余不確定性不為0即條件熵H(X|Y)例2.7 已知信源的概率空間為計算條件熵 H(X|Y)解0.406 比特/符號3. 聯(lián)合熵定義2.9：在聯(lián)合集X,Y上，定義每對元素(ai,bj)同時出現(xiàn)的聯(lián)合自信息量的數(shù)學(xué)希望為聯(lián)合熵, 也稱共熵。 聯(lián)合熵表示了事件X,Y同時發(fā)生的不確定性。 對于通信系統(tǒng)而言，如果集合X表示信源輸出符號，Y表示信宿接收符號，由于信道干擾的存在，輸出消息符號與信宿接收

35、到的符號之間并非一一對應(yīng)，X與Y之間都存在不完全一致的不確定性，聯(lián)合熵就是X，Y之間的聯(lián)合不確定性。 對于信源編碼而言，X表示編碼器輸入，Y表示信源編碼器輸出如果是無失真編碼，盡管符號表示方法不同，但由于編碼器的輸入與輸出符號一一對應(yīng)，概率空間分布相同，所以聯(lián)合熵等于輸入信源的熵，當(dāng)然也等于輸出信源的熵；如果是限失真編碼，信源編碼器輸入符號數(shù)大于輸出符號數(shù)，由于編碼是從輸入到輸出的多對一映射，部分符號編碼時進行合并，所以一般情況下聯(lián)合熵就是輸入信源的熵。 證明：由概率論可知 根據(jù)條件熵定義可知第二項就是H(Y|X)，而第一項可以進一步簡化 綜合起來即可以得出 同理可以證明 例2. 8 信源概率

36、空間為信道轉(zhuǎn)移概率矩陣為求聯(lián)熵 解比特/符號方法1方法2比特/符號比特/符號比特/符號4. 平均互信息量 定義計算公式相互關(guān)系證明同理可以證明 互信息量I(X;Y)的意義:接收到Y(jié)后，所得到的關(guān)于X的信息量，或者X的不確定性減少量。 理想信道 ：信道干擾很強，致使通信完全破壞 :一般情況下，信道干擾致使通信產(chǎn)生誤碼，使得X與Y之間不能夠建立一一對應(yīng)關(guān)系，這樣從Y中不能夠完全得到信源輸出的全部信息，所得到關(guān)于X的信息量就是I(X;Y)，或者表示信源X的不確定性減少量。 無失真編碼限失真編碼，一般情況下滿足 各類熵之間的關(guān)系 (1) 信息熵 (2)條件熵 (3) 聯(lián)合熵 (4) 交互熵 熵與統(tǒng)計量

37、之間的關(guān)系數(shù)學(xué)期望、方差、相關(guān)系數(shù)統(tǒng)計量具體與變量取值相關(guān)熵抽象與變量取值無關(guān)兩組不同的數(shù)據(jù)，概率分布相同熵相同均值、方差不同平均互信息量反映兩個隨機變量或者信源輸出前后符號之間關(guān)聯(lián)性互相關(guān)、自相關(guān)系數(shù)反映數(shù)據(jù)之間的關(guān)聯(lián)性聯(lián)合概率分布、條件概率反映兩個隨機變量或者信源輸出前后符號之間關(guān)聯(lián)性 2.3 熵的性質(zhì) 1非負性2對稱性 3確定性 4擴展性5可加性如果兩個信源X，Y獨立，則 6香農(nóng)輔助定理 對于任意r維概率矢量下列不等式成立：證明：引入下列引理 令 是凸函數(shù)，且當(dāng)時取最大值。 時令x=qi/pi根據(jù)引理得到該定理表明，給定任意概率分布pi，對其它概率分布qi的自信息量取數(shù)學(xué)期望，必然會大于

38、信源本身的熵。 7最大熵定理 離散無記憶信源輸出個不同的消息符號，當(dāng)且僅當(dāng)各個輸出符號的概率相等時，信源的熵最大。 8條件熵小于無條件熵當(dāng)且僅當(dāng)與相互獨立時等號成立。 證明： 根據(jù)條件熵的定義 為了利用香農(nóng)輔助定理，將上述公式中的p(ai|bj)看作香農(nóng)輔助定理中的p(ai),現(xiàn)在需要構(gòu)造合適的 qi由于證明目標(biāo)是為了找出條件熵H(X|Y)與熵H(X)之間的關(guān)系，所以令qi=p(ai)，于是得到 代入上述表達式，可以得到2.4 離散信源序列的熵 更多情況下信源實際輸出的消息是在時間或空間上的離散隨機序列有些是無記憶信源，即序列的符號之間沒有關(guān)聯(lián)性更多的是記憶信源，即序列中的符號之間有相關(guān)性對于

39、離散隨機序列，需要使用聯(lián)合概率分布或者條件考慮分布函數(shù)來描述信源輸出符號之間的關(guān)系2.4.1消息序列信息量的一般表達式 擴展信源 設(shè)基本信源輸出長度為N的序列將之等效為一個新的信源聯(lián)合概率分布為如果信源是無記憶的 序列熵的一般表示形式為 這是一種基本形式2.4.2離散無記憶信源的熵 條件概率等于無條件概率還沒涉及是否平穩(wěn)平均每個符號熵為 進一步地,如果信源是平穩(wěn)的 對于離散無記憶平穩(wěn)信源而言，平均每個符號的熵等于對應(yīng)單個符號信源的熵。 2.4.3離散有記憶信源的熵特點1信源輸出序列符號之間存在關(guān)聯(lián)性;2.信源輸出序列之間存在關(guān)聯(lián)性結(jié)果是3.分析一般比較困難。只有在有些條件下才能夠得出有意義的結(jié)

40、論這里只討論離散平穩(wěn)有記憶信源1.信源X的一維概率分布與時間起點無關(guān);2.信源的各維聯(lián)合概率分布與時間起點無關(guān) 注意i，j的任意性滿足上述條件的信源為平穩(wěn)信源特別地，如果當(dāng)N=2時上述條件成立，即滿足p(xixi+1)= p(xjxj+1),對不同的i,j, 那么該信源稱為二維平穩(wěn)信源。 1二維平穩(wěn)信源 將X1X2作為一個新的信源 由前文討論可知，H(X1X2)表示聯(lián)合熵，它表示信源每輸出一對消息(X1X2)能夠提供的信息量，或者每一對消息的平均不確定性。而信源X每個可能符號的平均不確定性，或者每個符號攜帶的信息量為 稱為二維平穩(wěn)信源X的信息熵，也稱為平均熵。 稱為信源X的條件熵。注意形式上H

41、(X2|X1)與條件熵H(Y|X)相同，但是兩者不是等價的，兩者定義的信源不同，所代表的含義也不相同.H(X2|X1)描述的是同一個信源X輸出前后符號之間的依賴關(guān)系;H(Y|X)描述的是兩個不同信源之間的關(guān)系聯(lián)合熵與條件熵之間的關(guān)系： 當(dāng)前后輸出符號之間不存在依賴關(guān)系時 二維平穩(wěn)信源條件熵小于信源X的信息熵，只有當(dāng)輸出前后符號之間統(tǒng)計獨立，也就是沒有相互依賴關(guān)系時，兩者才相等。 3 當(dāng)前后兩個輸出符號之間統(tǒng)計獨立時等號成立。 (1)由于、均屬于信源X，而且信源是平穩(wěn)的二維平穩(wěn)信源X的熵具有下列性質(zhì)(2)條件熵不大于無條件熵性質(zhì)2例2.12 設(shè)離散二維平穩(wěn)信源X的概率空間為 假設(shè)輸出符號X2只與

42、其前一個輸出符號X1有關(guān)，二維聯(lián)合概率分布為 求聯(lián)合熵 ，條件熵 和平均符號熵 。 解：首先求出 H(X1)比特/符號 求出聯(lián)合熵 比特/二個符號 比特/符號 比特/符號 2一般離散平穩(wěn)信源 符號之間的相關(guān)性不僅僅存在于相鄰的兩個符號之間，而且存在于更多的相鄰符號之間，因此一般離散信源更為復(fù)雜對于平穩(wěn)多維信源，可以將二維平穩(wěn)信源的結(jié)論加以推廣，得出一般離散平穩(wěn)信源熵的性質(zhì)1.條件熵是隨N的增加而非遞增的 證明由于條件熵不大于無條件熵，條件多的熵不大于條件小的熵 根據(jù)信源的平穩(wěn)特性可知 依此類推 。第一次使用平穩(wěn)第二次使用平穩(wěn)2.當(dāng)N給定時，平均符號熵不小于條件熵 注意：是N-1個條件，少一個就

43、是錯誤的錯誤的證明：平均符號熵為 使用性質(zhì)1，即 可以得到3.平均符號熵是隨N增加而非遞增的 4.極限熵是存在的證明：根據(jù)結(jié)論3可知 又因為 故H存在，且取值范圍為0,H1。 現(xiàn)另設(shè)一整數(shù)k，根據(jù)序列熵的定義 H 稱為離散平穩(wěn)信源的極限熵或極限信息量表示當(dāng)輸出序列相關(guān)性為無限長時信源的平均符號熵由結(jié)論1和平穩(wěn)性，可以得出 當(dāng)取k足夠大時 因為 于是得到 極限熵的討論表示離散平穩(wěn)信源的熵;很難計算出極限熵對于一般離散平穩(wěn)信源，當(dāng)N不是很大時就能夠得出非常接近的H實際工程對于平穩(wěn)信源而言，隨著N的增加，相關(guān)性迅速減弱，當(dāng)N足夠大時，即使再增加相關(guān)長度N，平均符號熵的幾乎不再減小，所以沒有必要求出信

44、源的極限熵往往根據(jù)研究需要或者實際情況，簡化模型，當(dāng)序列長度N能夠滿足要求時，就可以利用HN(X)代替信源的熵，便于展開研究； 即使信源不是嚴(yán)格平穩(wěn)的，為了便于研究問題，可以將之視為平穩(wěn)的，以便得到有意義的結(jié)果。 2.4.4 馬爾可夫信源的熵 實際中，信源不一定是平穩(wěn)的，而非平穩(wěn)信源的分析較復(fù)雜;其中有一種非平穩(wěn)信源比較特殊，稱為馬爾可夫信源。這類信源的主要特點是：輸出符號序列中符號之間的依賴關(guān)系是有限的。 設(shè)信源輸出符號之間的相關(guān)長度為m+1，即當(dāng)前輸出符號的概率只與此前輸出的m個符號相關(guān)，與更前時刻輸出的符號無關(guān)，用公式表示為 長度為N序列的聯(lián)合概率可以表示為 考慮相關(guān)長度為m，該公式可以

45、簡化為 這類信源稱為m階馬爾可夫信源，可以用馬爾可夫鏈加以描述。其中最簡單的情況是m1 由隨機過程理論可知，如果馬爾可夫鏈的一步轉(zhuǎn)移概率與時刻起點無關(guān)，則稱之為齊次馬爾可夫鏈。 當(dāng)m1時，需要使用狀態(tài)分析，齊次性表現(xiàn)為狀態(tài)之間的概率轉(zhuǎn)移與時刻起點無關(guān)，只與狀態(tài)的取值有關(guān)。 設(shè)m階馬爾可夫信源輸出符號取值于符號集A，信源在當(dāng)前時刻之前的出現(xiàn)符號序列用矢量表示為 則共有rm種可能取值，構(gòu)成狀態(tài)集合s1,s2,srm 設(shè)當(dāng)前符號xj出現(xiàn)后，信源所處的狀態(tài)為則條件概率可以用狀態(tài)轉(zhuǎn)移概率表示，即 狀態(tài)轉(zhuǎn)移概率如果狀態(tài)轉(zhuǎn)移概率是齊次的，即與時間起點無關(guān)，則可以作為齊次馬爾可夫鏈進行處理。馬爾可夫鏈可以利用

46、狀態(tài)轉(zhuǎn)移圖加以描述 。狀態(tài)狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移概率輸入由于系統(tǒng)在任何時刻總是處于狀態(tài)空間S中一種狀態(tài)，因此描述狀態(tài)轉(zhuǎn)移的一步狀態(tài)轉(zhuǎn)移概率構(gòu)成一個矩陣，稱為一步狀態(tài)轉(zhuǎn)移矩陣，可以表示為 那么齊次馬爾可夫鏈的n步轉(zhuǎn)移矩陣P(n)為 該式說明齊次馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣完全確定了n布轉(zhuǎn)移概率。 齊次馬爾可夫鏈的概率分布，不僅取決于一步轉(zhuǎn)移概率矩陣，而且與系統(tǒng)的初始概率分布有關(guān); 但是馬爾可夫鏈經(jīng)過一定步數(shù)轉(zhuǎn)移后，可能達到穩(wěn)態(tài)，穩(wěn)態(tài)時的概率分布與初始概率已經(jīng)沒有關(guān)系。 假設(shè)穩(wěn)態(tài)時，狀態(tài)的概率分布向量為穩(wěn)態(tài)就是概率分布滿足下列方程 系統(tǒng)的穩(wěn)態(tài)分布與初始時刻符號的概率分布是不同的，所以馬爾可夫信源并不是平

47、穩(wěn)的。但是當(dāng)齊次、遍歷的馬爾可夫信源達到穩(wěn)態(tài)后，可以看作一個平穩(wěn)信源。由于對于平穩(wěn)信源必須知道信源的各維概率分布，而對于階馬爾可夫信源只要知道與前個符號有關(guān)的條件概率，就可以計算出信源的信息熵，所以，一般平穩(wěn)信源可以用階馬爾可夫信源來近似。 對于齊次、遍歷的馬爾可夫信源而言，當(dāng)其達到穩(wěn)定狀態(tài)后，可以求出條件熵作為H 例2.13 某馬爾可夫信源的轉(zhuǎn)移概率矩陣為求出穩(wěn)態(tài)分布和平均符號熵。解：系統(tǒng)到達穩(wěn)態(tài)后應(yīng)當(dāng)滿足方程其中約束條件各種狀態(tài)下輸出符號的平均信息量為比特/符號比特/符號比特/符號對3種狀態(tài)求統(tǒng)計平均得到信源的熵為比特/符號2.5 連續(xù)信源的熵與互信息量 前文討論了離散信源的熵和互信息量，

48、離散信源的統(tǒng)計特性是用概率分布來描述的（包括聯(lián)合分布、條件概率）。有許多信源輸出的不是離散符號，而是在時間或者幅度上是連續(xù)取值的，如通信中信號采樣時刻的采樣值在時間上是離散的，在幅度上是連續(xù)取值的，而接收機接收的波形在時間和幅度上都是連續(xù)的，這類信源稱為連續(xù)信源。連續(xù)信源取值是不可數(shù)的，不能象離散信源那樣使用概率分布來描述其統(tǒng)計特性，應(yīng)當(dāng)使用概率密度函數(shù)加以描述。2.5.1幅度連續(xù)單個符號信源 設(shè)X為幅度連續(xù)變化的隨機變量，不失一般性，假設(shè)X的取值范圍為a,b,對應(yīng)的概率密度函數(shù)為PX(x) ，滿足 為了使用離散信源熵的定義，對隨機變量X進行量化，設(shè)量化級數(shù)為 n,則量化間隔為 量化范圍的量化

49、值取為 上式中的第二項為無窮大，第一項與離散信源熵的定義具有相同的形式，只是累加變?yōu)榱朔e分，概率變?yōu)楦怕拭芏取G掉第二項，由第一項定義連續(xù)信源的熵為 盡管連續(xù)信源熵與離散信源熵具有相同的形式，但是意義并不相同。由于連續(xù)取值，連續(xù)熵應(yīng)當(dāng)為無窮大，因為連續(xù)隨機變量必要使用無限多個比特才能夠表示。上述連續(xù)信源熵的定義去掉了無窮大的分量，在實際中經(jīng)常遇到熵之間的差，比如互信息量，只要兩者逼近所選取的x相近，無窮大的分量會相互抵消。連續(xù)信源的熵具有相對性，也稱為相對熵或者差熵。 滿足下列關(guān)系： 例2.14 兩個信源X,Y都服從均勻分布，對應(yīng)的概率密度函數(shù)分別為解比特/符號比特/符號顯然這種結(jié)論是十分荒唐

50、的，同樣是均勻分布，只不過概率密度不一樣，得出的結(jié)果完全不同，這是因為只是表示相熵，絕對熵都為無窮大，所以相對熵具有相對意義，只有在相對條件下才有意義。2.5.2波形信源 對隨機過程進行采樣，得到的平穩(wěn)隨機矢量為和定義平穩(wěn)隨機矢量的連續(xù)熵和條件熵分別為 連續(xù)波形熵和互信息量為 相互關(guān)系2.5.3 最大熵定理 限峰功率最大熵定理：對于定義域為有限的隨機變量，當(dāng)它是均勻分布時，具有最大熵。限平均功率最大熵定理：對于相關(guān)矩陣一定的隨機變量，當(dāng)它服從正態(tài)分布時具有最大熵。 根據(jù)最大熵定理可知，如果噪聲服從正態(tài)分布，則噪聲熵最大，因此高斯白噪聲獲得最大噪聲熵；高斯白噪聲是最有害的干擾，在一定平均功率條件

51、下造成有害信息最大；在通信系統(tǒng)中，往往各種設(shè)計都將高斯白噪聲作為標(biāo)準(zhǔn)，這不完全是為了簡化分析，而是因為根據(jù)最壞的條件進行的設(shè)計可獲得可靠的系統(tǒng)。2.6信源相關(guān)性與冗余度 冗余度也稱多余度或剩余度，表示給定信源實際發(fā)出消息所包含的多余信息。如果一個消息所包含的符號比表達這個消息所需要的符號多，那么這樣的消息就存在多余度。冗余度來自兩個方面：(1)信源輸出符號間的相關(guān)性。信源先后輸出符號之間存在一定的依賴關(guān)系，使得信源熵減小，這就是信源的相關(guān)性。相關(guān)程度越大，則信源的熵越小；反之，相關(guān)程度越弱，則信源熵就增大。對于離散有記憶信源，信源的熵為H，假設(shè)實際應(yīng)用中只考慮m個符號之間的相關(guān)性，就用來Hm(

52、X)代替H;根據(jù)熵的性質(zhì)，無論是Hm(X)還是H都不大于H(X) ，所以信源輸出符號之間的相關(guān)性就是一種冗余。(2)信源輸出符號的概率統(tǒng)計冗余，即概率分布的不均勻性。當(dāng)信源輸出符號為等概率分布時，信源熵最大。而實際應(yīng)用中，一般信源的統(tǒng)計特性不是等概率分布的，實際信源的熵不大于，所以信源輸出符號存在統(tǒng)計冗余。對于一般平穩(wěn)信源來說，要傳送這一信源的信息，理論上只需要有傳送無限熵這么多信息即可但實際應(yīng)用中，對信源的概率分布未能完全掌握，只能算出Hm(X)或者考慮到具體的實現(xiàn)工具的限制，只能采用相對比較簡單的模型進行分析和設(shè)計，此時只能使用有限熵作為相應(yīng)的分析和設(shè)計依據(jù)由于極限熵是信源熵的最小值，為了

53、衡量實際使用的Hm(X)與極限熵，之間存在的差距，引入信息效率與冗余度概念。定義2.13定義信源的極限熵與Hm(X)的比值為信息效率定義2.13 定義 為信源的冗余度第3章 信道與信道容量主講：目 錄3.1信道分類3.2 單符號離散信道及其容量 3.2.1 數(shù)學(xué)模型 3.2.2信道容量 3.2.3 離散信道容量的迭代算法3.3 離散序列信道及其容量 3.4 信源與信道的匹配3.5 連續(xù)信道及其容量 3.5.1 連續(xù)單符號加性信道 3.5.2 多維無記憶加性連續(xù)信道 3.5.3 加性高斯白噪聲波形信道信道就是信息傳輸?shù)耐ǖ?，是通信系統(tǒng)的重要組成部分，是傳輸信息的載體，其主要任務(wù)是傳輸或者存儲信息

54、。通信的本質(zhì)就是通過信道傳輸信息，實現(xiàn)不同地點之間或者不同時間的信息交流。信道是信息論的主要研究對象之一，其主要研究內(nèi)容是在理論上能夠傳輸或者存儲的最大信息量，即信道容量。3.1信道分類 信道特點輸入、輸出信號之間不再具有明確的函數(shù)關(guān)系，而是具有統(tǒng)計依賴關(guān)系通過研究信道輸入輸出信號以及相互之間的依賴關(guān)系來研究信道信道是指信息傳輸?shù)耐ǖ缹嶋H通信系統(tǒng)中使用各種各樣的物理通道，各種存儲媒質(zhì)有線的各種線路，無線的電波傳輸空間根據(jù)研究需要，可以選擇通信系統(tǒng)中不同的信道輸入輸出點，甚至可以將其中部分子系統(tǒng)進行簡化處理。物理信道的不同，信號傳輸過程中引入的噪聲或者干擾類型也不盡相同，所以統(tǒng)計特性的研究是通信

55、理論的主要內(nèi)容之一統(tǒng)計特性不是信息論的研究內(nèi)容，一般認(rèn)為已經(jīng)知道信道的傳輸特性，在此基礎(chǔ)上研究信息傳輸問題不研究信號在信道中的具體傳輸過程假設(shè)信道的傳輸特性是已知的研究方法根據(jù)不同的研究需要，將噪聲或者干擾對信號傳輸?shù)挠绊懹成錇閷?yīng)形式的統(tǒng)計特性信道分類統(tǒng)計特性恒參信道隨參信道信道的統(tǒng)計特性不隨時間而變化。如衛(wèi)星信道一般視為恒參信道信道的統(tǒng)計特性隨時間而變化大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度等參數(shù)而變化。如短波信道、微波信道等。 用戶量單用戶信道多用戶信道也稱兩端信道，該信道只有一個輸入端和一個輸出端，而且只能進行單方向的通信也稱多端信道，輸入端或者輸出端至少有一端具有兩個

56、或者兩個以上用戶，并且可以實現(xiàn)雙向通信輸入、輸出的取值特性離散信道連續(xù)信道半離散半連續(xù)信道也稱為數(shù)字信道，該類信道中輸入空間、輸出空間均為離散事件集合，集合中事件數(shù)量是有限的，或者有限可數(shù)的，隨機變量取值都是離散的也稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機變量一個是離散的，另一個是連續(xù)的波形信道也稱為時間連續(xù)信道，信道輸入、輸出都是時間的函數(shù)，而且隨機變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的噪聲的統(tǒng)計特性隨機差錯信道突發(fā)差錯信道信道中傳輸碼元所遭受的噪聲是隨機的

57、、獨立的，這種噪聲相互之間不關(guān)聯(lián)，碼元錯誤不會成串出現(xiàn)信道中噪聲或者干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨立，從而使得碼元錯誤往往成串出現(xiàn)， 常有的如衰落信道、碼間干擾信道。 在實際中這種信道經(jīng)常出現(xiàn)，如移動通信的信道、光盤存儲器等最具有代表性的是高斯白噪聲信道3.2單符號離散信道及其容量3.2.1 數(shù)學(xué)模型單符號信道單維信道信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性，即無記憶的，信道的分析可以簡化為對單個符號的信道分析如果信道的輸入、輸出隨機變量都是離散的，則該信道為單符號離散無記憶信道。輸入符號、輸出符號不存在關(guān)聯(lián)性，并不表示輸出符號與輸入符號之間不存在關(guān)聯(lián)性信道的特性可以使用條

58、件轉(zhuǎn)移概率進行描述 ;表示在輸入為ai時，通過信道后接收為bj的概率，描述了信道噪聲的特性。矩陣形式條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣r*sp(bj|ai)通常稱為前向概率p(bj|ai):后向概率表示當(dāng)接收符號為bj時，信道輸入為ai的概率，所以也稱為后驗概率貝葉斯公式后驗概率都是十分重要的，可以通過前向概率和先驗概率計算出3.2.2信道容量 單符號離散信道平均每個符號傳送的信息量定義為信道的信息傳輸率R由于信道中存在干擾，輸入符號經(jīng)過信道可能會出現(xiàn)錯誤，信道輸出端接收的符號與輸入符號之間并不是一一對應(yīng)信道輸入平均信息量H(X)并不等于信道輸出端信息量H(Y)信道的信息傳輸率R含義：能夠正確傳輸?shù)?/p>

59、信息量 對于給定信道，前向概率p(y|x)是一定的，所以信道容量就是在信道前向概率一定的情況下，尋找某種先驗概率分布，從而使得平均互信息量最大，這種先驗分布概率稱為最佳分布。 定義3.1 設(shè)某信道的平均互信息量為I(X;Y)，信道輸入符號的先驗概率為p(x)，該信道的信道容量C定義為 條件極值問題約束條件先驗概率分布已知條件前向概率p(y|x)變化輸入分布p(x)極值I(X;Y)最大值使得I(X;Y)最大，這種先驗分布概率稱為最佳分布幾點結(jié)論：1對于給定信道最佳分布總是存在的如果信道輸入滿足最佳分布，信息傳輸率最大，即達到信息容量C2信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達到信息

60、容量3信息量R必須小于信道容量C，否則傳輸過程中會造成信息損失，出現(xiàn)錯誤；如果RC時， 不存在一種信道編碼使得以傳輸信息而錯誤概率為任意小 第4章 離散信源編碼理論主講 目錄4.1 信源編碼的基本概念4.2 漸近等同分割性4.3 信源無失真編碼 4.3.1 等長碼 4.3.2 變長碼4.4 信息率失真函數(shù)及性質(zhì) 4.4.1失真測度 4.4.2 信息率失真函數(shù)的定義 4.4.3 信息率失真函數(shù)的性質(zhì) 4.5 信息率失真函數(shù)的計算 4.6 信息率失真函數(shù)的迭代算法 4.7香農(nóng)第三定理通信本質(zhì)信源信宿信息 信源輸出的符號經(jīng)過信道傳送到信宿，在信宿精確或者近似重現(xiàn)信源發(fā)送的信息 解決兩個問題：(1)