信道與信道容量

信道與信道容量第一頁(yè)，共六十頁(yè)，2022年，8月28日3.1信道分類和表示參數(shù)3.2離散單個(gè)符號(hào)信道及其容量3.3離散序列信道及其容量3.4連續(xù)信道及其容量?jī)?nèi)容2第二頁(yè)，共六十頁(yè)，2022年，8月28日信道設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計(jì)依賴關(guān)系,反映信道統(tǒng)計(jì)關(guān)系信道XYp(Y|X)3第三頁(yè)，共六十頁(yè)，2022年，8月28日無(wú)干擾(無(wú)噪聲)信道無(wú)干擾(無(wú)噪聲)信道信道的輸出信號(hào)Y與輸入信號(hào)X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:4第四頁(yè)，共六十頁(yè)，2022年，8月28日有干擾無(wú)記憶信道有干擾無(wú)記憶信道信道的輸出信號(hào)Y與輸入信號(hào)X之間沒(méi)有確定的關(guān)系,但轉(zhuǎn)移概率滿足:有干擾無(wú)記憶信道可分為:二進(jìn)制離散信道離散無(wú)記憶信道離散輸入、連續(xù)輸出信道波形信道5第五頁(yè)，共六十頁(yè)，2022年，8月28日離散無(wú)記憶信道DMC信道輸入是n元符號(hào)X∈{a1,a2,…,an}信道輸出是m元符號(hào)Y∈{b1,b2,…,bm}轉(zhuǎn)移矩陣已知X,輸出Y統(tǒng)計(jì)特性a1a2anb1b2bm::::::p11p12p21p22pnm6第六頁(yè)，共六十頁(yè)，2022年，8月28日3.2離散單個(gè)符號(hào)信道及其容量7第七頁(yè)，共六十頁(yè)，2022年，8月28日信道容量平均互信息I(X;Y)：接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息

8第八頁(yè)，共六十頁(yè)，2022年，8月28日信道容量信道容量C：最大的信息傳輸率單位時(shí)間的信道容量：9第九頁(yè)，共六十頁(yè)，2022年，8月28日信道容量的計(jì)算對(duì)于一般信道,信道容量計(jì)算相當(dāng)復(fù)雜,我們只討論某些特殊類型的信道：離散信道可分成：無(wú)干擾(無(wú)噪)信道無(wú)嗓無(wú)損信道有噪無(wú)損信道無(wú)噪有損信道有干擾無(wú)記憶信道有干擾有記憶信道10第十頁(yè)，共六十頁(yè)，2022年，8月28日無(wú)干擾離散信道無(wú)噪無(wú)損信道有噪無(wú)損信道(一對(duì)多)無(wú)噪有損信道(多對(duì)一)11第十一頁(yè)，共六十頁(yè)，2022年，8月28日3.2.1對(duì)稱DMC信道對(duì)稱離散信道：對(duì)稱性:每一行都是由同一集{p1,p2,…pm}的諸元素不同排列組成——輸入對(duì)稱每一列都是由集{q1,q2,…qn}的諸元素不同排列組成——輸出對(duì)稱滿足對(duì)稱性,所對(duì)應(yīng)的信道是對(duì)稱離散信道。12第十二頁(yè)，共六十頁(yè)，2022年，8月28日對(duì)稱DMC信道信道矩陣不具有對(duì)稱性,因而所對(duì)應(yīng)的信通不是對(duì)稱離散信道。13第十三頁(yè)，共六十頁(yè)，2022年，8月28日對(duì)稱DMC信道若輸入符號(hào)和輸出符號(hào)個(gè)數(shù)相同,都等于n,且信道矩陣為此信道稱為強(qiáng)對(duì)稱信道(均勻信道)信道矩陣中各列之和也等于114第十四頁(yè)，共六十頁(yè)，2022年，8月28日對(duì)稱DMC信道對(duì)稱離散信道的平均互信息為15第十五頁(yè)，共六十頁(yè)，2022年，8月28日對(duì)稱DMC信道對(duì)稱DMC信道的容量：上式是對(duì)稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對(duì)稱信道矩陣中行矢量{p1,p2,…pm}（第二項(xiàng)為矩陣任一行元素的信息熵）和輸出符號(hào)集的個(gè)數(shù)m有關(guān)。強(qiáng)對(duì)稱信道的信道容量：16第十六頁(yè)，共六十頁(yè)，2022年，8月28日設(shè)二進(jìn)制對(duì)稱信道的輸入概率空間信道矩陣：BSC信道容量17第十七頁(yè)，共六十頁(yè)，2022年，8月28日18第十八頁(yè)，共六十頁(yè)，2022年，8月28日當(dāng)p固定時(shí),I(X;Y)是ω的型上凸函數(shù)。I(X;Y)ωBSC信道容量1-H(p)I(X;Y)對(duì)ω存在一個(gè)極大值。BSC信道容量19第十九頁(yè)，共六十頁(yè)，2022年，8月28日pC當(dāng)固定信源的概率分布ω時(shí),I(X;Y)是p的型下凸函數(shù)。信道無(wú)噪聲當(dāng)p=0,C=1－0=1bit=H(X)當(dāng)p=1/2,

信道強(qiáng)噪聲BSC信道容量BSC信道容量20第二十頁(yè)，共六十頁(yè)，2022年，8月28日信道容量定理：給定轉(zhuǎn)移概率矩陣P后,平均互信息I(X;Y)是輸入信源的概率分布p(ai)的型上凸函數(shù)。定理：平均互信息I(X;Y)是信道傳遞概率p(bj|ai)的型凸函數(shù)。信道容量是完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊?1第二十一頁(yè)，共六十頁(yè)，2022年，8月28日離散無(wú)記憶模K加性噪聲信道X是信道輸入，Z是信道干擾，Y為信道輸出，取值空間均為同一整數(shù)集，X=Z=Y={0,1,…,K-1},Y=XZmodK。該信道稱為離散無(wú)記憶模K加性噪聲信道。計(jì)算機(jī)系統(tǒng)和數(shù)字通信系統(tǒng)中有些情況下可用該模型描述。由信道的對(duì)稱性及可得該類信道的容量為XZY22第二十二頁(yè)，共六十頁(yè)，2022年，8月28日例3-3離散無(wú)記憶模K加性噪聲信道Y=XZmodK，X和Y均取值于{0,1,…,K-1},求該信道容量。該信道可用右圖表示，可明顯看出對(duì)稱DMC信道特征，信道轉(zhuǎn)移概率矩陣為01K-1012K-123第二十三頁(yè)，共六十頁(yè)，2022年，8月28日利用離散無(wú)記憶模K加性噪聲信道容量公式可得24第二十四頁(yè)，共六十頁(yè)，2022年，8月28日當(dāng)信源輸入符號(hào)的速率為rs(符/秒),信道容量BSC信道容量實(shí)際信息傳輸速率Rt為

進(jìn)入信道輸入端的信息速率

等概分布25第二十五頁(yè)，共六十頁(yè)，2022年，8月28日例BSC信道如圖,rs=1000符號(hào)/秒,錯(cuò)誤傳遞概率p=0.1求:信道容量?0Y0.1?10.9輸入符號(hào)等概時(shí)有最大信息傳輸速率信道實(shí)際信息傳輸速率0.10.910x26第二十六頁(yè)，共六十頁(yè)，2022年，8月28日串聯(lián)信道例3-4設(shè)有兩個(gè)離散BSC信道,串接如圖,兩個(gè)BSC信道的轉(zhuǎn)移矩陣為:X00ZY111-p1-p1-pp串聯(lián)信道的轉(zhuǎn)移矩陣為:1-pp27第二十七頁(yè)，共六十頁(yè)，2022年，8月28日串聯(lián)信道X00ZY11求得:在實(shí)際通信系統(tǒng)中,信號(hào)往往要通過(guò)幾個(gè)環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個(gè)串聯(lián)信道。pp1-p1-p1-p1-p28第二十八頁(yè)，共六十頁(yè)，2022年，8月28日串聯(lián)信道由信息不增原理信道2信道m(xù)信道1…可以看出,串接的信道越多,其信道容量可能會(huì)越小,當(dāng)串接信道數(shù)無(wú)限大時(shí),信道容量可能會(huì)趨于0XYZ29第二十九頁(yè)，共六十頁(yè)，2022年，8月28日3.2.3準(zhǔn)對(duì)稱DMC信道準(zhǔn)對(duì)稱信道轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱將信道矩陣P的列劃分成若干個(gè)互不相交的子集mk,由mk為列組成的矩陣[P]k是對(duì)稱矩陣。它們滿足對(duì)稱性,所以P1所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道。

30第三十頁(yè)，共六十頁(yè)，2022年，8月28日準(zhǔn)對(duì)稱信道的信道容量準(zhǔn)對(duì)稱信道由于轉(zhuǎn)移概率矩陣中每行的元素相同，所以31第三十一頁(yè)，共六十頁(yè)，2022年，8月28日準(zhǔn)對(duì)稱信道的信道容量但每列的元素不相同，所以信道的輸入和輸出分布概率可能不等，此時(shí)H(Y)的最大值可能小于Y等概率時(shí)的熵。因而準(zhǔn)對(duì)稱信道容量因?yàn)镮是輸入符號(hào)概率的型凸函數(shù)，根據(jù)信道容量的定義式，可引入拉格朗日乘子法求解極值問(wèn)題，便求得輸入符號(hào)概率和最大互信息。32第三十二頁(yè)，共六十頁(yè)，2022年，8月28日準(zhǔn)對(duì)稱信道的信道容量例3-5已知一個(gè)信道的信道轉(zhuǎn)移矩陣為由P可看出信道的輸入符號(hào)有兩個(gè)，可設(shè)信道的輸出符號(hào)有3個(gè)，用b1,b2,b3表示。由得聯(lián)合概率的矩陣為33第三十三頁(yè)，共六十頁(yè)，2022年，8月28日恒定，與的分布無(wú)關(guān)。由得式中，34第三十四頁(yè)，共六十頁(yè)，2022年，8月28日即輸入符號(hào)分布等概率時(shí)，I(X;Y)達(dá)到最大值。所以信道容量為由解得此時(shí)輸出符號(hào)的概率為35第三十五頁(yè)，共六十頁(yè)，2022年，8月28日準(zhǔn)對(duì)稱信道的信道容量求準(zhǔn)對(duì)稱信道的容量，可以通過(guò)如下方法來(lái)求，即將信道矩陣P劃分成若干個(gè)互不相交的對(duì)稱子集mk。36第三十六頁(yè)，共六十頁(yè)，2022年，8月28日準(zhǔn)對(duì)稱信道的信道容量當(dāng)輸入分布為等概率時(shí)，達(dá)到信道容量為：其中n是輸入符號(hào)集的個(gè)數(shù)，為準(zhǔn)對(duì)稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個(gè)互不相交的子集。Nk是第k個(gè)子矩陣Pk中行元素之和,Mk是第k個(gè)子矩陣Pk中列元素之和。

37第三十七頁(yè)，共六十頁(yè)，2022年，8月28日例：設(shè)信道傳遞矩陣為

計(jì)算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4將它分成

38第三十八頁(yè)，共六十頁(yè)，2022年，8月28日39第三十九頁(yè)，共六十頁(yè)，2022年，8月28日例3-740第四十頁(yè)，共六十頁(yè)，2022年，8月28日3.2.4一般DMC信道定理：一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C對(duì)于所有ai其p(ai)＞0I(ai;Y)≤C對(duì)于所有ai其p(ai)=0上式說(shuō)明：當(dāng)信道的平均互信息I(X;Y)達(dá)到信道容量時(shí),輸入符號(hào)概率集{p(ai)}中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息,只是概率為0的除外。41第四十一頁(yè)，共六十頁(yè)，2022年，8月28日3.2.4一般DMC信道42第四十二頁(yè)，共六十頁(yè)，2022年，8月28日3.3離散序列信道及容量前面討論的信道輸入輸出均為單個(gè)符號(hào)的隨機(jī)變量，然而在實(shí)際應(yīng)用中，信道的輸入和輸出卻是在空間或時(shí)間上離散的隨機(jī)序列，有無(wú)記憶的離散序列信道，當(dāng)然更多的是有記憶的，即序列的轉(zhuǎn)移概率之間有關(guān)聯(lián)性。43第四十三頁(yè)，共六十頁(yè)，2022年，8月28日離散序列信道及容量設(shè)信道的輸入X=(X1,X2…Xi,…XL),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…YL),Yj∈{b1…bm}信道XYp(Y|X)對(duì)于無(wú)記憶離散序列信道,其信道轉(zhuǎn)移概率為即僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的44第四十四頁(yè)，共六十頁(yè)，2022年，8月28日定理：若信道的輸入和輸出分別是L長(zhǎng)序列X和Y,且信道是無(wú)記憶的,亦即信道傳遞概率為則存在

定理：若信道的輸入和輸出分別是L長(zhǎng)序列X和Y,且信源是無(wú)記憶的,亦即輸入矢量X中各個(gè)分量相互獨(dú)立則存在

45第四十五頁(yè)，共六十頁(yè)，2022年，8月28日離散序列信道及容量若信源與信道都是無(wú)記憶的L次擴(kuò)展信道的信道容量當(dāng)信道平穩(wěn)時(shí):

一般情況下:

46第四十六頁(yè)，共六十頁(yè)，2022年，8月28日例3-9.BSC信道二次擴(kuò)展00X01101100011011Y轉(zhuǎn)移概率矩陣2次擴(kuò)展信道的信道容量

若p=0.1則C2=(2－0.938)bit/序列=1.062bit/序列C1=1-H(0.1)=0.531bit/序列C2=2C147第四十七頁(yè)，共六十頁(yè)，2022年，8月28日獨(dú)立并聯(lián)信道設(shè)有L個(gè)信道,它們的輸入、輸出分別是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一個(gè)信道的輸出Yl只與本信道的輸入Xl有關(guān),與其他信道的輸入、輸出都無(wú)關(guān)。此時(shí)序列的轉(zhuǎn)移概率X1X2XLY1Y2YL也是無(wú)記憶序列信道。48第四十八頁(yè)，共六十頁(yè)，2022年，8月28日獨(dú)立并聯(lián)信道獨(dú)立并聯(lián)信道的信道容量所以即聯(lián)合平均互信息不大于各自信道平均互信息之和。49第四十九頁(yè)，共六十頁(yè)，2022年，8月28日3.4連續(xù)信道及其容量50第五十頁(yè)，共六十頁(yè)，2022年，8月28日連續(xù)信道及其容量連續(xù)信道的容量不容易計(jì)算。當(dāng)信道為加性連續(xù)信道時(shí),情況簡(jiǎn)單一些。設(shè)信道的輸入和輸出信號(hào)是隨機(jī)過(guò)程x(t)和y(t)y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪聲

一個(gè)受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(nóng)(1948)正式定義：信道n(t)x(t)y(t)51第五十一頁(yè)，共六十頁(yè)，2022年，8月28日連續(xù)信道及其容量高斯白噪聲加性信道單位時(shí)間的信道容量這就是著名的香農(nóng)公式

信噪比SNR

52第五十二頁(yè)，共六十頁(yè)，2022年，8月28日3.5信源與信道的匹配53第五十三頁(yè)，共六十頁(yè)，2022年，8月28日信源發(fā)出消息(符號(hào))一般要通過(guò)信道來(lái)傳輸，到達(dá)信宿，因此要求信源的輸出與信道的輸入匹配。(1)符號(hào)匹配：信源輸出的符號(hào)必須是信道能夠傳送的符號(hào)，可在信源與信道之間加入編碼器來(lái)實(shí)現(xiàn)，也可以在信源壓縮編碼時(shí)一步完成。(2)信息匹配：對(duì)于某一信道，只有當(dāng)輸入符號(hào)的概率分布p(x)滿足一定條件時(shí)才能達(dá)到其信道容量C。也就是說(shuō)，只有特定的信源才能使某一信道的信息傳輸率達(dá)到最大。一般情況下，信源與信道連接時(shí)，其信息傳輸率R=I(X;Y)并未達(dá)到最大，即信道沒(méi)有得到充分利用。當(dāng)信源與信道連接時(shí)，若信息傳輸率達(dá)到了信道容量，則稱此信源與信道達(dá)到匹配；否則認(rèn)為信道有冗余。54第五十四頁(yè)，共六十頁(yè)，2022年，8月28日信道冗余度定義為

信道絕對(duì)冗余度=C-I(X;Y)其中C是信道容量，I(X;Y)是信道實(shí)際傳輸?shù)钠骄畔⒘俊?/p>

信道相對(duì)冗余度=1-I