信道與信道容量

信道與信道容量第一頁，共六十頁，2022年，8月28日1信道信道：信息傳輸?shù)耐ǖ涝谕ㄐ胖?信道按其物理組成常被分成微波信道、光纖信道、電纜信道等。信號(hào)在這些信道中傳輸?shù)倪^程遵循不同的物理規(guī)律,通信技術(shù)必須研究信號(hào)在這些信道中傳輸時(shí)的特性信息論不研究信號(hào)在信道中傳輸?shù)奈锢磉^程,并假定信道的傳輸特性已知,這樣信息論就可以抽象地將信道用下圖所示的模型來描述。信道輸入量X(隨機(jī)過程)輸出量Y(隨機(jī)過程)p(Y|X)第二頁，共六十頁，2022年，8月28日3.1信道的基本概念3.1.1信道分類用戶數(shù)量：單用戶、多用戶輸入端和輸出端關(guān)系：無反饋、有反饋信道參數(shù)與時(shí)間的關(guān)系：固參、時(shí)變參噪聲種類：隨機(jī)差錯(cuò)、突發(fā)差錯(cuò)輸入輸出特點(diǎn)：離散、連續(xù)、半離散半連續(xù)、 波形信道第三頁，共六十頁，2022年，8月28日5.按輸入/輸出信號(hào)在幅度和時(shí)間上的取值:離散信道：輸入和輸出的隨機(jī)序列取值都是離散的信道連續(xù)信道：輸入和輸出的隨機(jī)序列取值在幅度上連續(xù)、時(shí)間上離散的信道半離散(半連續(xù))信道：輸入變量取值離散而輸出變量取值連續(xù)輸入變量取值連續(xù)而輸出變量取值離散波形信道：信道的輸入和輸出在時(shí)間上和幅度上均連續(xù)的隨機(jī)信號(hào)。

第四頁，共六十頁，2022年，8月28日6.按輸入/輸出之間關(guān)系的記憶性來劃分：

無記憶信道：信道的輸出只與信道該時(shí)刻的輸入有關(guān),而與其他時(shí)刻的輸入無關(guān)有記憶信道：信道的輸出不但與信道現(xiàn)時(shí)的輸入有關(guān)而且還與以前時(shí)刻的輸入有關(guān)第五頁，共六十頁，2022年，8月28日7.按輸入／輸出信號(hào)之間的關(guān)系是否是確定關(guān)系:無干擾信道：輸入/輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系有干擾信道：輸入/輸出之間關(guān)系是一種統(tǒng)計(jì)依存的關(guān)系輸入/輸出的統(tǒng)計(jì)關(guān)系：離散無記憶信道：用條件概率矩陣來描述。離散有記憶信道：可像有記憶信源中那樣引入狀態(tài)的概念。第六頁，共六十頁，2022年，8月28日設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計(jì)依賴關(guān)系,反映信道統(tǒng)計(jì)關(guān)系信道XYp(Y|X)3.1.2信道參數(shù)第七頁，共六十頁，2022年，8月28日（1）無干擾(無噪聲)信道無干擾(無噪聲)信道信道的輸出信號(hào)Y與輸入信號(hào)X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:第八頁，共六十頁，2022年，8月28日（2）有干擾無記憶信道有干擾無記憶信道信道的輸出信號(hào)Y與輸入信號(hào)X之間沒有確定的關(guān)系,但轉(zhuǎn)移概率滿足:有干擾無記憶信道可分為:二進(jìn)制離散信道離散無記憶信道離散輸入、連續(xù)輸出信道波形信道第九頁，共六十頁，2022年，8月28日二進(jìn)制離散信道BSC輸入符號(hào)X取值{0,1}；輸出符號(hào)Y取值{0,1}很重要的一種特殊信道信道轉(zhuǎn)移概率：

p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p無錯(cuò)誤傳輸?shù)母怕蕚鬏敯l(fā)生錯(cuò)誤的概率1)二進(jìn)制對(duì)稱信道（BSC）第十頁，共六十頁，2022年，8月28日102)離散無記憶信道（DMC）第十一頁，共六十頁，2022年，8月28日P:轉(zhuǎn)移概率矩陣已知X,信道輸出Y表現(xiàn)出來的統(tǒng)計(jì)特性完全描述了信道的統(tǒng)計(jì)特性,其中有些概率是信道干擾引起的錯(cuò)誤概率,有些是正確傳輸?shù)母怕兽D(zhuǎn)移概率矩陣第十二頁，共六十頁，2022年，8月28日3)離散輸入、連續(xù)輸出信道假設(shè)信道輸入符號(hào)選自一個(gè)有限的、離散的輸入字符集X={a1，a2，…，an}，而信道（檢測器）輸出未經(jīng)量化（m＝∞），這時(shí)的譯碼器輸人可以是實(shí)軸上的任意值，即y={-∞，∞}。這樣的信道模型為離散時(shí)間無記憶信道。加性高斯白噪聲信道（AWGN）第十三頁，共六十頁，2022年，8月28日4)波形信道第十四頁，共六十頁，2022年，8月28日（3）有干擾有記憶信道（略）

說明：設(shè)計(jì)和分析離散信道編、解碼器的性能，從工程角度出發(fā)，最常用的是DMC信道模型或其簡化形式BSC信道模型；若分析性能的理論極限，則多選用離散輸入、連續(xù)輸出信道模型；如果我們是想要設(shè)計(jì)和分析數(shù)字調(diào)制器和解調(diào)器的性能，則可采用波形信道模型。

本書的主題是編、解碼，因此主要使用DMC信道模型。第十五頁，共六十頁，2022年，8月28日15我們研究信道的目的是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量,即信道的信息傳輸率R平均互信息I(X;Y)：接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息3.1.3信道容量的定義第十六頁，共六十頁，2022年，8月28日16信道容量C：最大的信息傳輸率單位時(shí)間的信道容量：信息傳輸率R=I(X;Y)=H(X)－H(X/Y)比特/符號(hào)信息傳輸速率信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為Rt=I(X;Y)/t比特/秒第十七頁，共六十頁，2022年，8月28日173.2離散單個(gè)符號(hào)信道及其容量信息傳輸率信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率R=I(X;Y)=H(X)－H(X/Y)比特/符號(hào)Rt=I(X;Y)/t比特/秒信道容量比特/符號(hào)（bits/symbol）

第十八頁，共六十頁，2022年，8月28日3.2離散單個(gè)符號(hào)信道及其容量3.2.1無干擾離散信道的信道容量第十九頁，共六十頁，2022年，8月28日3.2.1無干擾離散信道設(shè)信道的輸入X∈A={a1…an},輸出Y∈B={b1…bm}無噪無損信道輸入和輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系X111a1b1a2b2a3

b3Y第二十頁，共六十頁，2022年，8月28日無干擾離散信道無噪無損信道Xa1b1a2

b2an-1bn-1an

bn11Y第二十一頁，共六十頁，2022年，8月28日無干擾離散信道無噪無損信道由計(jì)算得：噪聲熵H(Y|X)=0疑義度H(X|Y)=0第二十二頁，共六十頁，2022年，8月28日無干擾離散信道無噪有損信道多個(gè)輸入變成一個(gè)輸出(n＞m)Xa1

Ya2

b1a3a4b2a511111輸出Y是輸入X的確定函數(shù),但不是一一對(duì)應(yīng),而是多一對(duì)應(yīng)關(guān)系。第二十三頁，共六十頁，2022年，8月28日無干擾離散信道無噪有損信道多個(gè)輸入變成一個(gè)輸出(n＞m)噪聲熵H(Y|X)＝0疑義度H(X|Y)≠0信道中接收到符號(hào)Y后不能完全消除對(duì)X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒有增加。第二十四頁，共六十頁，2022年，8月28日無干擾離散信道有噪無損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出(n＜m)X

b1a1b2b3a2b4b51/31/31/31/43/4計(jì)算得同理由Y第二十五頁，共六十頁，2022年，8月28日無干擾離散信道有噪無損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出(n＜m)接收到符號(hào)Y后,對(duì)發(fā)送的X符號(hào)是完全確定的。噪聲熵H(Y|X)≠0疑義度H(X|Y)=0第二十六頁，共六十頁，2022年，8月28日無干擾離散信道無噪無損信道：X、Y一一對(duì)應(yīng)無噪有損信道：多個(gè)輸入變成一個(gè)輸出有噪無損信道：一個(gè)輸入對(duì)應(yīng)多個(gè)輸出第二十七頁，共六十頁，2022年，8月28日3.2.2

對(duì)稱DMC信道對(duì)稱離散信道：對(duì)稱性:每一行都是由同一符號(hào)集{q1,q2,…qm}的諸元素不同排列組成——輸入對(duì)稱每一列都是由{p1,p2,…pn}符號(hào)集的諸元素不同排列組成——輸出對(duì)稱滿足對(duì)稱性,所對(duì)應(yīng)的信道是對(duì)稱離散信道。第二十八頁，共六十頁，2022年，8月28日對(duì)稱DMC信道信道矩陣

不具有對(duì)稱性,因而所對(duì)應(yīng)的信道不是對(duì)稱離散信道。

第二十九頁，共六十頁，2022年，8月28日

對(duì)稱DMC信道輸入對(duì)稱輸出對(duì)稱第三十頁，共六十頁，2022年，8月28日3.2.2對(duì)稱DMC信道對(duì)稱信道容量第三十一頁，共六十頁，2022年，8月28日例某對(duì)稱離散信道的信道矩陣為信道容量為第三十二頁，共六十頁，2022年，8月28日323.2.2對(duì)稱DMC信道例.求信道容量信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1－，錯(cuò)誤概率被對(duì)稱地均分給n-1個(gè)輸出符號(hào)，此信道稱為強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例第三十三頁，共六十頁，2022年，8月28日C信道無噪聲當(dāng)

=0,C=1－0=1bit=H(X)當(dāng)

=1/2,

信道強(qiáng)噪聲BSC信道容量BSC信道容量C＝1－H（）第三十四頁，共六十頁，2022年，8月28日串聯(lián)信道例設(shè)有兩個(gè)離散BSC信道,串接如圖,兩個(gè)BSC信道的轉(zhuǎn)移矩陣為:X00ZY111-p1-p1-pp串聯(lián)信道的轉(zhuǎn)移矩陣為:1-pp第三十五頁，共六十頁，2022年，8月28日35串聯(lián)信道X00ZY11求得:在實(shí)際通信系統(tǒng)中,信號(hào)往往要通過幾個(gè)環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個(gè)串聯(lián)信道。pp1-p1-p1-p1-p第三十六頁，共六十頁，2022年，8月28日36串聯(lián)信道由信息不增原理信道2信道m(xù)信道1…可以看出,串接的信道越多,其信道容量可能會(huì)越小,當(dāng)串接信道數(shù)無限大時(shí),信道容量可能會(huì)趨于0XYZ第三十七頁，共六十頁，2022年，8月28日3.2.3準(zhǔn)對(duì)稱DMC信道準(zhǔn)對(duì)稱DMC信道如果轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準(zhǔn)對(duì)稱DMC信道第三十八頁，共六十頁，2022年，8月28日38

準(zhǔn)對(duì)稱DMC信道準(zhǔn)對(duì)稱信道將信道矩陣P的列劃分成若干個(gè)互不相交的子集mk,由mk為列組成的矩陣[P]k是對(duì)稱矩陣。它們滿定對(duì)稱性,所以P1所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道。

第三十九頁，共六十頁，2022年，8月28日39準(zhǔn)對(duì)稱信道的信道容量準(zhǔn)對(duì)稱信道準(zhǔn)對(duì)稱信道容量第四十頁，共六十頁，2022年，8月28日40準(zhǔn)對(duì)稱信道的信道容量當(dāng)輸入分布為等概率時(shí)：其中n是輸入符號(hào)集的個(gè)數(shù),(p1,p2,…pm)為準(zhǔn)對(duì)稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個(gè)互不相交的子集。Nk是第k個(gè)子矩陣Pk中行元素之和,Mk是第k個(gè)子矩陣Pk中列元素之和。

第四十一頁，共六十頁，2022年，8月28日41例：設(shè)信道傳遞矩陣為

計(jì)算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4將它分成

第四十二頁，共六十頁，2022年，8月28日3.2.3準(zhǔn)對(duì)稱DMC信道例第四十三頁，共六十頁，2022年，8月28日3.2.3準(zhǔn)對(duì)稱DMC信道例.求信道容量第四十四頁，共六十頁，2022年，8月28日3.2.4一般DMC信道一般DMC信道

一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C

對(duì)于所有滿足p(ai)>0條件的II(ai;Y)

C

對(duì)于所有滿足p(ai)=0條件的I

當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集{p(ai)}中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息，只是概率為零的符號(hào)除外.第四十五頁，共六十頁，2022年，8月28日3.3離散序列信道及容量設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道XYp(Y|X)對(duì)于無記憶離散序列信道,其信道轉(zhuǎn)移概率為僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的第四十六頁，共六十頁，2022年，8月28日46定理：若信道的輸入和輸出分別是L長序列X和Y,且信道是無記憶的,亦即信道傳遞概率為則存在

定理：若信道的輸入和輸出分別是L長序列X和Y,且信源是無記憶的,亦即則存在

第四十七頁，共六十頁，2022年，8月28日47若信源與信道都是無記憶的L次擴(kuò)展信道的信道容量當(dāng)信道平穩(wěn)時(shí):

一般情況下:

擴(kuò)展信道:如果對(duì)離散單符號(hào)信道進(jìn)行L次擴(kuò)展，就形成了L次離散無記憶序列信道第四十八頁，共六十頁，2022年，8月28日483.3離散序列信道及其容量

111X{00,01,10,11}，Y{00,01,10,11}，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2同理可得其他轉(zhuǎn)移概率0010110100011011例.BSC信道二次擴(kuò)展第四十九頁，共六十頁，2022年，8月28日493.3離散序列信道及其容量

1111若p＝0.1，則C2＝2－0.938＝1.062比特/序列

C1=0.531bit/序列

轉(zhuǎn)移概率矩陣第五十頁，共六十頁，2022年，8月28日50獨(dú)立并聯(lián)信道

設(shè)有L個(gè)信道,它們的輸入、輸出分別是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一個(gè)信道的輸出Yl只與本信道的輸入Xl有關(guān),與其他信道的輸入、輸出都無關(guān)。獨(dú)立并聯(lián)信道的信道容量

X1X2XLY1Y2YL第五十一頁，共六十頁，2022年，8月28日513.4

連續(xù)信道及其容量連續(xù)信道的容量不容易計(jì)算。當(dāng)信道為加性連續(xù)信道時(shí),情況簡單一些。設(shè)信道的輸入和輸出信號(hào)是隨機(jī)過程x(t)和y(t)

y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪聲

一個(gè)受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(nóng)(1948)正式定義：信道n(t)x(t)y(t)第五十二頁，共六十頁，2022年，8月28日52高斯白噪聲加性信道單位時(shí)間的信道容量這就是著名的香農(nóng)公式

限時(shí)限頻限功率加性高斯白噪聲信道第五十三頁，共六十頁，2022年，8月28日533.4 連續(xù)信道及其容量

例電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR＝100，求信道的容量

第五十四頁，共六十頁，2022年，8月28日例一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，