信息論與編碼第三章

信息論與編碼課件第三章第一頁，共六十五頁，編輯于2023年，星期六第三章作業(yè)

教材第91頁~93頁

3.1，3.2(b)，3.3(1)(3)，

3.10， 3.11第二頁，共六十五頁，編輯于2023年，星期六空間傳輸:各種物理通道---電纜、光纜、空間等。時間傳輸:指將信息保存，然后在以后讀取。信道的數(shù)學模型和分類信道概念——通信系統(tǒng)的組成部分，傳遞和存儲信息的通道或媒質(zhì),包括空間傳輸和時間傳輸。第三頁，共六十五頁，編輯于2023年，星期六狹義信道：電傳播介質(zhì)（電纜，自由空間）通信設(shè)備（信息經(jīng)過的通道）廣義信道：測量、觀察設(shè)備（示波器）存儲、記憶設(shè)備（磁帶，光盤，書信等）信道的數(shù)學模型和分類第四頁，共六十五頁，編輯于2023年，星期六輸入輸出關(guān)系：轉(zhuǎn)移概率p(y|x)信道描述：1.輸入集合2.輸出集合3.輸入輸出的轉(zhuǎn)移概率分布研究目標：從信道的輸出了解信道的輸入信道的數(shù)學模型和分類第五頁，共六十五頁，編輯于2023年，星期六

按信道輸入輸出符號分類輸入、輸出空間＝狀態(tài)集合＋時間集合

離散信道（數(shù)字信道）：輸入輸出空間為離散。連續(xù)信道：狀態(tài)集合連續(xù)，時間集合離散。模擬信道（波形信道）：輸入輸出空間為連續(xù)。信道的數(shù)學模型和分類第六頁，共六十五頁，編輯于2023年，星期六有記憶信道：輸出Y不僅與當前的輸入X有關(guān)，而且與前面的輸入有關(guān)。 無記憶信道：輸出Y僅與當前的輸入X有關(guān)，與前面的輸入無關(guān)。信道的數(shù)學模型和分類

按信道轉(zhuǎn)移概率分布函數(shù)的特點分類第七頁，共六十五頁，編輯于2023年，星期六信道的數(shù)學模型和分類單用戶信道：輸入和輸出都只有一個的單向通信信道。多用戶信道：輸入和輸出中至少有一端有兩個以上的用戶，且可以進行雙向通信。

按輸入和輸出的數(shù)目分類第八頁，共六十五頁，編輯于2023年，星期六固定參數(shù)（恒參）信道：信道的統(tǒng)計特性不隨時間變化。時變參數(shù)（隨參）信道：信道的統(tǒng)計特性隨時間變化。信道的數(shù)學模型和分類

按信道的統(tǒng)計特性與時間的關(guān)系分類第九頁，共六十五頁，編輯于2023年，星期六單符號無記憶離散信道的信道容量數(shù)學模型：

或離散無記憶信道的信道容量第十頁，共六十五頁，編輯于2023年，星期六研究目標：了解輸出端能從輸入端得到多少信息？即如何將信道所能傳遞的信息定量化？數(shù)學表示：互信息I(X;Y)

I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

分析：p(y|x)給定，I(X;Y)隨輸入分布p(x)變化而變化。調(diào)整該分布可使互信息達到最大值，即給出了信道所能傳遞的最大信息量。定義該最大值為給定信道的信道容量，用C表示：

求信道容量：找到最佳分布，使互信息達到最大值。（最佳分布：達到信道容量時的信源分布。）離散無記憶信道的信道容量第十一頁，共六十五頁，編輯于2023年，星期六

離散無記憶信道的信道容量第十二頁，共六十五頁，編輯于2023年，星期六說明：C客觀反映信道的傳輸能力，只與信道特性有關(guān)，而與信源無關(guān)，表示每個符號可能傳輸?shù)淖畲笮畔⒘?。可以通過編碼改變信源的分布使互信息達到最大值。離散無記憶信道的信道容量第十三頁，共六十五頁，編輯于2023年，星期六定理3.1：對于信道矩陣為P的離散無記憶信道，其輸入分布p(x)能使互信息I(X;Y)達到最大值（信道容量）的充要條件是離散無記憶信道的信道容量第十四頁，共六十五頁，編輯于2023年，星期六例3.3（P:70）取輸入分布

離散無記憶信道的信道容量第十五頁，共六十五頁，編輯于2023年，星期六所以由定理3.1得，

最佳分布離散無記憶信道的信道容量第十六頁，共六十五頁，編輯于2023年，星期六無噪無損信道特殊DMC的信道容量a1b1a2anb2bn111第十七頁，共六十五頁，編輯于2023年，星期六有噪無損信道特殊DMC的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/6第十八頁，共六十五頁，編輯于2023年，星期六無噪有損信道特殊DMC的信道容量a1b1a2a6b2b3111a5a4a3第十九頁，共六十五頁，編輯于2023年，星期六對稱信道對稱信道定義：信道轉(zhuǎn)移矩陣P中所有的行都是同一組元素的不同排列，所有的列也是同一組元素的不同排列。特殊DMC的信道容量第二十頁，共六十五頁，編輯于2023年，星期六準對稱信道定義：設(shè)B為信道轉(zhuǎn)移矩陣P的列集合，如果將B劃分成m個子集，而用每一個子集構(gòu)成的矩陣所對應(yīng)的信道都是對稱信道。特殊DMC的信道容量第二十一頁，共六十五頁，編輯于2023年，星期六特殊DMC的信道容量定理3.2：對于準對稱信道，達到信道容量的輸入分布為等概分布。證明：(略)準對稱信道的信道容量計算第二十二頁，共六十五頁，編輯于2023年，星期六特殊DMC的信道容量例：準對稱信道第二十三頁，共六十五頁，編輯于2023年，星期六對稱信道的信道容量計算特殊DMC的信道容量第二十四頁，共六十五頁，編輯于2023年，星期六對稱信道的信道容量計算特殊DMC的信道容量第二十五頁，共六十五頁，編輯于2023年，星期六特殊DMC的信道容量例：對稱信道第二十六頁，共六十五頁，編輯于2023年，星期六強對稱信道（均勻信道）定義：信道輸入、輸出符號個數(shù)相同，且信道矩陣為特殊DMC的信道容量第二十七頁，共六十五頁，編輯于2023年，星期六當信道轉(zhuǎn)移概率矩陣P是非奇異時（此時n=m），即逆矩陣P-1存在時，該信道被稱為可逆矩陣信道。一般DMC的信道容量第二十八頁，共六十五頁，編輯于2023年，星期六例：取 另解：達到信道容量時輸入、輸出概率分布的唯一性第二十九頁，共六十五頁，編輯于2023年，星期六結(jié)論：（1）輸入概率分布的解不唯一，輸出概率分布的解唯一。（2）當信道轉(zhuǎn)移矩陣可逆時，則輸入概率分布有唯一解。

達到信道容量時輸入、輸出概率分布的唯一性第三十頁，共六十五頁，編輯于2023年，星期六數(shù)學模型：多符號信道的信道容量第三十一頁，共六十五頁，編輯于2023年，星期六（1）信道無記憶：

證明：多符號信道的信道容量第三十二頁，共六十五頁，編輯于2023年，星期六（2）信源、信道均無記憶：多符號信道的信道容量第三十三頁，共六十五頁，編輯于2023年，星期六信源與信道的匹配第三十四頁，共六十五頁，編輯于2023年，星期六信道的組合第三十五頁，共六十五頁，編輯于2023年，星期六獨立并聯(lián)信道（積信道）特點：多輸入，多輸出。各分信道彼此獨立。容量：…獨立并聯(lián)信道第三十六頁，共六十五頁，編輯于2023年，星期六獨立并聯(lián)信道第三十七頁，共六十五頁，編輯于2023年，星期六和信道特點：隨機應(yīng)用N個信道中的一個，構(gòu)成一輸入/輸出信道。容量：分信道的使用概率：

…和信道第三十八頁，共六十五頁，編輯于2023年，星期六和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7b8第三十九頁，共六十五頁，編輯于2023年，星期六和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/611a4a5b7b8第四十頁，共六十五頁，編輯于2023年，星期六輸入并接信道特點：輸入相同X，輸出不同Y=Y1Y2…YN，單輸入，多輸出。容量：對X進行多次測量，每一次測量都構(gòu)成一輸入/輸出信道，則N次測量后…輸入并接信道第四十一頁，共六十五頁，編輯于2023年，星期六級聯(lián)信道特點：單輸入，單輸出。容量：…級聯(lián)信道第四十二頁，共六十五頁，編輯于2023年，星期六級聯(lián)信道1-ppp1-p1-ppp1-p2p(1-p)(1-p)2+

p2(1-p)2+

p22p(1-p)第四十三頁，共六十五頁，編輯于2023年，星期六連續(xù)無記憶信道的信道容量第四十四頁，共六十五頁，編輯于2023年，星期六無記憶加性噪聲信道的容量第四十五頁，共六十五頁，編輯于2023年，星期六無記憶加性高斯噪聲信道的容量無記憶加性高斯噪聲信道（平均功率S受限）說明：對于無記憶加性高斯噪聲信道，利用高斯信號作為輸入時，信道總可以得到充分利用。即在無記憶加性高斯噪聲信道中高斯信號是最有效的，在同樣的信號功率下可以傳輸最多的信息。第四十六頁，共六十五頁，編輯于2023年，星期六無記憶加性噪聲信道的容量界第四十七頁，共六十五頁，編輯于2023年，星期六無記憶加性噪聲信道的容量界第四十八頁，共六十五頁，編輯于2023年，星期六無記憶加性噪聲信道的容量界說明：S為輸入平均功率的上限，為噪聲的方差，為噪聲的熵功率在高斯噪聲情況下，信道容量最小。在未知信道噪聲特性時，將噪聲視為高斯噪聲來考慮為好。第四十九頁，共六十五頁，編輯于2023年，星期六模擬信道及其離散化模擬信道：輸入和輸出信號在幅度和時間上都連續(xù)取值的信道。實例：光纖，電纜，電磁波傳播的大氣層或宇宙空間。離散化：設(shè)模擬信道的輸入為x(t)，相應(yīng)的輸出信號為y(t)，則可以通過正交展開將其化為時間離散的序列：

統(tǒng)計特性描述：模擬信道的信道容量第五十頁，共六十五頁，編輯于2023年，星期六模擬信道容量計算（限帶，加性白色高斯噪聲信道）限帶：限制在頻帶[-W,W]內(nèi)。輸入信號：x(t)，輸出信號：y(t)。噪聲信號：z(t)（1）加性（與輸入統(tǒng)計獨立）（2）高斯（瞬時值的密度函數(shù)服從高斯分布）（3）白色（平穩(wěn)遍歷的隨機過程，功率譜密度N0

）模擬信道的信道容量第五十一頁，共六十五頁，編輯于2023年，星期六結(jié)論：限帶W的加性白色高斯噪聲模擬信道相當于N個連續(xù)加性高斯信道的并聯(lián)。模擬信道的信道容量第五十二頁，共六十五頁，編輯于2023年，星期六結(jié)論：（1）帶寬一定時，信道的最大傳輸率是信噪比的函數(shù)。（2）信噪比確定時，信道容量與帶寬成正比。此時提高最大信息傳輸率的方法是提高帶寬。例1.用香農(nóng)公式研究Modem的速度Modem速度可達56Kbps，實際很低。香農(nóng)公式第五十三頁，共六十五頁，編輯于2023年，星期六在Modem通信環(huán)境中，音頻電話支持的頻率范圍是300Hz---3300Hz，則W＝3300Hz－300Hz＝3000Hz.此環(huán)境中一般的信噪比為30dB，即30＝10log10(S/N)，S/N＝1000則C＝3000log2(1000+1)30Kbps.（3）對于有確定信道容量C的信道，可以用帶寬W與信噪比S/N的不同組合來傳輸信息。如減少帶寬，則必須發(fā)送較大功率的信號。如增大帶寬，則同樣的信道容量能夠用較小功率的信號傳輸，即寬帶系統(tǒng)具有良好的抗干擾性。香農(nóng)公式第五十四頁，共六十五頁，編輯于2023年，星期六（4）擴頻技術(shù)香農(nóng)公式第五十五頁，共六十五頁，編輯于2023年，星期六

例：CDMA（碼分多址）技術(shù)基于擴頻通信的基本原理，將要傳輸?shù)木哂幸欢◣挼男盘?，用一個帶寬遠遠大于信號帶寬的高速偽隨機編碼信號（白噪聲）去調(diào)制它，使原信號的帶寬被遠遠擴大，達到在S/N較低的情況下得到較高通信質(zhì)量的目的。香農(nóng)公式WC0第五十六頁，共六十五頁，編輯于2023年，星期六平行可加高斯信道的容量第五十七頁，共六十五頁，編輯于2023年，星期六由無記憶性及加性類似于離散情形有平行可加高斯信道的容量第五十八頁，共六十五頁，編輯于2023年，星期六達到上述容量的輸入分布：輸入中個分量統(tǒng)計獨立，均值為零，平均功率為Si的高斯隨機變量。約束條件：輸入信號的總平均功率受限，問題：如何將總信