波形信源和波形信道

1、波形信源和波形信道第1頁，共52頁，2022年，5月20日，10點31分，星期四4.1 波形信源的統(tǒng)計特性和離散化 實際某些信源的輸出常常是時間和取值都是連續(xù)的消息。例如語音信號、電視信號。這樣的信源成為隨機波形信源，其輸出消息可以用隨機過程x(t)來表示。 隨機過程x(t)可以看成由一族時間函數(shù) 組成 稱為樣本函數(shù)。每個樣本函數(shù)是隨機過程的一個實現(xiàn)。圖4.1 一個隨機過程第2頁，共52頁，2022年，5月20日，10點31分，星期四連續(xù)信源：信源輸出的消息是在時間上離散，而取值上連續(xù)的、隨機的。如遙控系統(tǒng)中有關電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)。隨機波形信源：信源輸出的消息不僅在時間上是連續(xù)的

2、而且在取值上也是連續(xù)的、隨機的。于是定義隨機波形信源的特點： （1）隨機波形信源中消息數(shù)是無限的。每一個可能的消息是隨機過程的一個樣本函數(shù)。每個樣本函數(shù)是隨機過程的一個實現(xiàn)。第3頁，共52頁，2022年，5月20日，10點31分，星期四 （2）隨機波形信源可用有限維概率密度函數(shù)族以及與各維概率密度函數(shù)有關的統(tǒng)計量來描述。平穩(wěn)隨機過程：統(tǒng)計特性不隨時間平移而變化。非平穩(wěn)隨機過程：統(tǒng)計特性隨時間平移而變化。第4頁，共52頁，2022年，5月20日，10點31分，星期四隨機過程時間離散的隨機序列取樣定理 時間連續(xù)函數(shù)f(t)的頻帶受限（上限頻率為F）取樣間隔為 這樣，通過取樣，隨即過程就成為可數(shù)的無

3、限維的隨機序列 。 如果隨機過程又是限時的，時間間隔為T，則就第5頁，共52頁，2022年，5月20日，10點31分，星期四成為2FT個有限維的隨機序列。取樣之后還要對取值的離散化。取樣加量化才使隨機過程變換成時間的取值都是離散的隨機序列。量化必然帶來量化噪聲，引起信息損失。 第6頁，共52頁，2022年，5月20日，10點31分，星期四4.2.1 連續(xù)信源的差熵 先看單個變量的基本連續(xù)信源的信息測度。基本連續(xù)信源的輸出是取值連續(xù)的單個隨機變量?？捎米兞康母怕拭芏?，變量間的條件概率密度和聯(lián)合概率密度來描述。4.2 連續(xù)/波形信源的信息測度變量的一維概率密度函數(shù)為第7頁，共52頁，2022年，5

4、月20日，10點31分，星期四 聯(lián)合概率密度函數(shù)為一維概率分布函數(shù)為條件概率密度函數(shù)為它們之間的關系為第8頁，共52頁，2022年，5月20日，10點31分，星期四圖4.2 概率密度分布 并滿足 基本連續(xù)信源的數(shù)學模型為第9頁，共52頁，2022年，5月20日，10點31分，星期四于是，連續(xù)信源的熵定義為無限大常數(shù)單位為：奈特/自由度 第10頁，共52頁，2022年，5月20日，10點31分，星期四 同理，兩個連續(xù)隨機變量X、Y的聯(lián)合熵和條件熵可以定義為4.2.2 連續(xù)平穩(wěn)信源和波形信源的差熵 連續(xù)平穩(wěn)信源輸出的消息是連續(xù)型的平穩(wěn)隨機序列。其數(shù)字模型是概率空間X,p(x),第11頁，共52頁，

5、2022年，5月20日，10點31分，星期四連續(xù)平穩(wěn)無記憶信源1.N維聯(lián)合差熵2.N維條件差熵第12頁，共52頁，2022年，5月20日，10點31分，星期四且當隨機序列中各變量統(tǒng)計獨立時等式成立。所以得，波形信源的差熵 由于波形信源輸出的消息是平穩(wěn)的隨機過程，它通過取樣分解成取值連續(xù)的無窮維隨機序列對于限頻F/限時T的平穩(wěn)隨機過程，它可以近似地用有限維N=2FT平穩(wěn)隨機序列來表示。這樣，一個頻帶和時間都為有限的波形信源就轉化為多維連續(xù)平穩(wěn)信源來處理。第13頁，共52頁，2022年，5月20日，10點31分，星期四4.2.3 兩種特殊連續(xù)信源的差熵 1.均勻分布連續(xù)信源的差熵 第14頁，共52

6、頁，2022年，5月20日，10點31分，星期四若限頻（F）、限時（T）均勻分布的波形信源的熵率第15頁，共52頁，2022年，5月20日，10點31分，星期四2.高斯信源的熵值 一維高斯連續(xù)信源第16頁，共52頁，2022年，5月20日，10點31分，星期四可見，正態(tài)分布的連續(xù)信源的熵與數(shù)學期望m無關，只與其方差 有關。當均值m=0時，X的方差 就等于信源輸出的平均功率P： 如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機矢量 是正態(tài)分布則稱此信源為N維高斯信源。若各隨機變量之間統(tǒng)計獨立，可得N維統(tǒng)計獨立的正態(tài)分布隨機矢量的差熵為第17頁，共52頁，2022年，5月20日，10點31分，星期四4.3

7、連續(xù)信源熵的性質及最大差熵定理連續(xù)信源的差熵只具有熵的部分含義和性質。1.可加性并當且僅當X與Y統(tǒng)計獨立時所以可得2.凸狀性和極值性4.3.1差熵的性質第18頁，共52頁，2022年，5月20日，10點31分，星期四3.差熵可為負值在a,b區(qū)間內均勻分布的連續(xù)信源其差熵為第19頁，共52頁，2022年，5月20日，10點31分，星期四圖4.3 空間A一一對應地映射成空間B 4.變換性 連續(xù)信源輸出的隨機變量（或隨機矢量）通過一一對應變換，其差熵會發(fā)生變化。第20頁，共52頁，2022年，5月20日，10點31分，星期四結論：連續(xù)信源的差熵不具有變換的不變性。第21頁，共52頁，2022年，5月

8、20日，10點31分，星期四圖4.4 信息處理網(wǎng)絡 例4.1 P154增加熵值第22頁，共52頁，2022年，5月20日，10點31分，星期四4.3.2 具有最大差熵的連續(xù)信源 1. 峰值功率受限條件下信源的最大差熵 第23頁，共52頁，2022年，5月20日，10點31分，星期四圖4.5 輸出幅度受限的信源當熵 為最大時的概率密度分布 若當N維隨機矢量受限時，也只有各隨機分量統(tǒng)計獨立，并均勻分布時具有最大熵。第24頁，共52頁，2022年，5月20日，10點31分，星期四2. 平均功率受限條件下信源的最大差熵第25頁，共52頁，2022年，5月20日，10點31分，星期四4.5 熵功率 第2

9、6頁，共52頁，2022年，5月20日，10點31分，星期四圖4.7 波形信道轉化成多維連續(xù)信道 當信道的輸入和輸出都是隨機過程 和4.6 連續(xù)信道和波形信道的分類 4.6.1 按信道輸入和輸出的統(tǒng)計特性分類時，這個信道稱之為波形信道或模擬信道第27頁，共52頁，2022年，5月20日，10點31分，星期四 多維連續(xù)信道的輸入是N維連續(xù)型隨機序列 輸出也是N維連續(xù)型隨機序列 ，而信道轉移概率密度函數(shù)是第28頁，共52頁，2022年，5月20日，10點31分，星期四圖4.8 基本連續(xù)信道 基本連續(xù)信道就是輸入和輸出都是單個連續(xù)型隨機變量的信道。4.6.2 按噪聲統(tǒng)計特性分類高斯信道、白噪聲信道、

10、高斯白噪聲信道和有色噪聲信道第29頁，共52頁，2022年，5月20日，10點31分，星期四高斯白噪聲信道：信道中的噪聲是高斯白噪聲。 低頻限帶高斯白噪聲 可以看成是無限帶寬的高斯白噪聲 通過一個理想低通濾波器后所得。傳遞函數(shù)的頻率響應為低頻限帶高斯白噪聲的功率譜密度為按噪聲對信號的作用功能分類加性和乘性信道第30頁，共52頁，2022年，5月20日，10點31分，星期四加性信道：信道中噪聲對信號的干擾作用表現(xiàn)為與信號相加的關系。圖4.8 加性信道 在加性連續(xù)信道中，信道的轉移概率密度函數(shù)等于噪聲的轉移概率密度函數(shù)。在加性信道中，條件熵為第31頁，共52頁，2022年，5月20日，10點31分

11、，星期四第32頁，共52頁，2022年，5月20日，10點31分，星期四4.7 連續(xù)信道和波形信道的信息傳輸率 4.7.1 基本連續(xù)信道的平均互信息 輸入信源X為輸出信源Y為信道的轉移概率密度函數(shù)滿足第33頁，共52頁，2022年，5月20日，10點31分，星期四 基本連續(xù)信道的信息傳輸率為比特/自由度 第34頁，共52頁，2022年，5月20日，10點31分，星期四4.7.2 多維連續(xù)信道的平均互信息 信道的轉移概率密度函數(shù)多維連續(xù)信道的平均互信息第35頁，共52頁，2022年，5月20日，10點31分，星期四多維連續(xù)信道的信息傳輸率為 比特/N個自由度 比特/自由度 平均每個自由度的信息傳

12、輸率為4.7.3 波形信道的信息傳輸率 比特/秒 第36頁，共52頁，2022年，5月20日，10點31分，星期四2、對稱性3、凸狀性4、信息不增性圖4.10 兩個串接連續(xù)信道 與離散信道的證明類似4.7.4 連續(xù)信道平均互信息的特性 1、非負性第37頁，共52頁，2022年，5月20日，10點31分，星期四5、坐標變換平均互信息的不變性圖4.11 一般通信系統(tǒng)的信號變換 變換前后概率密度函數(shù)有第38頁，共52頁，2022年，5月20日，10點31分，星期四第39頁，共52頁，2022年，5月20日，10點31分，星期四結論：在一一變換條件下，平均互信息保持不變。信源無記憶信道無記憶信源信道皆

13、無記憶第40頁，共52頁，2022年，5月20日，10點31分，星期四4.8 連續(xù)信道和波形信道的信道容量一般加性波形信道的信道容量為： 比特/秒 在實際信道中，輸入信號和噪聲的平均功率總是有限的?，F(xiàn)在平均功率受限的條件下，討論各種連續(xù)信道和波形信道的信道容量。4.8.1 單符號高斯加性信道第41頁，共52頁，2022年，5月20日，10點31分，星期四平均功率受限高斯信道的信道容量 單符號高斯加性信道的輸入和輸出都是取值連續(xù)的一維隨機變量，而加入信道的噪聲是加性高斯噪聲。 設信道迭加的噪聲n是均值為零，方差為 的一維高斯噪聲，噪聲信源的熵為單符號高斯加性信道的信道容量第42頁，共52頁，20

14、22年，5月20日，10點31分，星期四 只有當信道的輸入信號是均值為零，平均功率為高斯分布的隨機變量時，信息傳輸率才能達到最大值。4.8.5 限帶高斯白噪聲加性波形信道 而加入信道的噪聲是加性高斯白噪聲 （均值為零、功率譜密度為 ），所以輸出信號滿足此信道稱為高斯白噪聲加性波形信道。信道的輸入和輸出信號都是隨機過程第43頁，共52頁，2022年，5月20日，10點31分，星期四 圖4.14限帶高斯白噪聲加性信道變換成N個獨立并聯(lián)高斯加性信道 第44頁，共52頁，2022年，5月20日，10點31分，星期四 在0，T高斯白噪聲加性信道的信道容量為第45頁，共52頁，2022年，5月20日，10

15、點31分，星期四 高斯白噪聲加性信道單元時間的信道容量為 比特/秒 其中Ps是信號的平均功率， 為高斯白噪聲在帶寬W內的平均功率。可見，信道容量與信噪功率比和帶寬有關。這就是重要的香農公式。當信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。第46頁，共52頁，2022年，5月20日，10點31分，星期四把信道的統(tǒng)計參量（信道容量）和物理量（頻帶寬W、T、信噪功率比 ），聯(lián)系了起來。 4.8.7 香農公式的重要實際指導意義由香農公式得出的幾個重要結論： 1.提高信號與噪聲功率之比能增加信道的信道容量。第47頁，共52頁，2022年，5月20日，10點31分，星期四例4.

16、4（p181） 比特/秒 2.當噪聲功率 時，信道容量 ，這意味著無干擾連續(xù)信道的信道容量為無窮大。 3.增加信道帶寬（也就是信號的帶寬）w，并不能無限制地使信道容量增大。第48頁，共52頁，2022年，5月20日，10點31分，星期四令，可得由于當時，所以比特/秒 由香農公式可以看出，當帶寬W增大時，信道容量 也開始增大，當 時， 趨于一極限值 。第49頁，共52頁，2022年，5月20日，10點31分，星期四 4.信道容量一定時，帶寬W、傳輸時間T和信噪功率比 三者之間可以相互轉換。 （1）若傳輸時間T固定，則擴展信道的帶寬W就可以降低信噪比的要求；反之，帶變窄，就要增加信噪功率比。例4.5 （p181）注：帶寬與信噪功率比互換的過程并不是自然而然地實現(xiàn)的，可以采用調制解調方法。第50頁，共52頁，2022年，5月20日，10點31分，星期四圖4.16 理想系統(tǒng)的方框圖結論：增加帶寬能明顯地改善