第三章信道容量-信息論與編碼

第3章信道容量

信道的主要任務(wù)：以信號(hào)的形式傳輸和存儲(chǔ)信息。問(wèn)題：在什么條件下，通過(guò)信道的信息量最大，即信道容量的問(wèn)題。第3章：信道容量23.1信道的數(shù)學(xué)模型和分類(lèi)P(Y/X)xY信道的數(shù)學(xué)模型：{X

P(Y/X)Y}輸入與輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴(lài)的。3信道的分類(lèi)連續(xù)信道半離散信道離散信道信道的分類(lèi)4信道的分類(lèi)單符號(hào)信道多符號(hào)信道信道的分類(lèi)5信道的分類(lèi)單用戶(hù)信道多用戶(hù)信道信道的分類(lèi)6信道的分類(lèi)無(wú)干擾信道有干擾信道信道的分類(lèi)7信道的分類(lèi)有記憶信道無(wú)記憶信道信道的分類(lèi)83.2單符號(hào)離散信道的信道容量信道的輸入和輸出都取值于離散集合，且都用一個(gè)隨機(jī)變量來(lái)表示的信道就是單符號(hào)離散信道。9信道容量的定義p(bi/ai)xYi=1,2,…np(bi/ai）－信道的轉(zhuǎn)移概率/信道傳遞概率10離散無(wú)記憶信道(DMC)911信道轉(zhuǎn)移概率矩陣：轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣的每一行元素之和為1對(duì)任意j∈{0,1,…,m}，由全概率公式有:12信道的信息傳輸率信源熵為H(X)，由于干擾的存在，一般只接收到I(X;Y)。平均互信息I(X;Y)：接收到Y(jié)后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。定義:平均每個(gè)符號(hào)能傳送的消息總量為信道的信息傳輸速率（信息率），R，

R=I(X;Y)若平均傳送一個(gè)符號(hào)為t秒，則信道每秒鐘平均傳送的信息量，13信道容量I(X;Y)是p(ai)和p(bj/ai)的二元函數(shù)。當(dāng)信道特性p(bj/ai)固定后，I(X;Y)隨信源概率分布p(ai)變化。14I(X;Y)是p(ai)的上凸函數(shù)，總能找到一個(gè)p(ai)使得信息率最大。信道容量：信道中最大的傳輸速率，C，單位：比特/信道符號(hào)單位時(shí)間的信道容量，比特/秒

信道容量15信道容量16幾種特殊離散信道的容量一、離散無(wú)噪信道1、一一對(duì)應(yīng)的無(wú)噪信道anbna1b1a2b2……17a1b1a2b2an-1bn-1anbn……X、Y一一對(duì)應(yīng),此時(shí)H(X/Y)=0，H(Y/X)=0，C＝maxI(X;Y)＝logn(p(ai)=1/n即等概)p(ai)一一對(duì)應(yīng)的無(wú)噪信道18a1

b1b2

b32、具有擴(kuò)展功能的無(wú)噪信道a2

b4b5

b6a3

b7b8

19此時(shí)，H(X/Y)=0，H(Y/X)0，且H(X)<H(Y)。所以，C=

maxH(X)=logn

(p(ai)=1/n即等概)

p(ai)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出2、具有擴(kuò)展功能的無(wú)噪信道203、具有歸并性的無(wú)噪信道a1

b1a2

a3b2a4a5b3C=maxH(Y)=logmp(ai)=？？p(ai)H(X/Y)≠0，H(Y/X)=0多個(gè)輸入變成一個(gè)輸出21結(jié)論無(wú)噪信道的信道容量只取決于信道的輸入符號(hào)數(shù)n或輸出符號(hào)數(shù)m，與信源無(wú)關(guān)。是表征信道特性的一個(gè)參量。22二、強(qiáng)對(duì)稱(chēng)(均勻)離散信道的信道容量nXnp：總體錯(cuò)誤概率23特點(diǎn)及信道容量每行、每列都是同一集合各元素的不同排列24特點(diǎn)及信道容量固定X＝ai，對(duì)Y求和，即選定某一行，對(duì)各元素自信息量加權(quán)求和。ai不同時(shí)，只是求和順序不同，結(jié)果完全一樣，所以Hni與X無(wú)關(guān)，是常數(shù)。25信道容量？輸入符號(hào)的概率如何分布，才能使得H（Y）達(dá)到最大？？26相應(yīng)的信道容量27結(jié)論：當(dāng)輸入等概率分布時(shí)，強(qiáng)對(duì)稱(chēng)離散信道能夠傳輸最大的平均信息量，達(dá)到信道容量。信道容量只與信道的輸出符號(hào)n及信道矩陣的某一行矢量有關(guān)。28二進(jìn)制對(duì)稱(chēng)信道（BSC）二進(jìn)制對(duì)稱(chēng)信道的信道容量C=1-H(p)

29三、對(duì)稱(chēng)離散信道的信道容量矩陣中的每列都是集合P={p1,p2,……,pn}中的諸元素的不同排列，稱(chēng)矩陣的列是可排列的。

矩陣中的每行都是集合Q={q1,q2,……,qm}中的諸元素的不同排列，稱(chēng)矩陣的行是可排列的。30

如果矩陣的行和列都是可排列的，稱(chēng)矩陣是可排列的。 如果一個(gè)信道矩陣具有可排列性，則它所表示的信道稱(chēng)為

對(duì)稱(chēng)信道中，當(dāng)n<m時(shí)，P是Q的子集；當(dāng)n>m，Q是P的子集；當(dāng)n=m時(shí)，P=Q。對(duì)稱(chēng)信道對(duì)稱(chēng)離散信道31輸入對(duì)稱(chēng)如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱(chēng)該矩陣是輸入對(duì)稱(chēng)。輸出對(duì)稱(chēng)如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱(chēng)該矩陣是輸出對(duì)稱(chēng)。對(duì)稱(chēng)信道輸入、輸出都對(duì)稱(chēng)。23對(duì)稱(chēng)離散信道32練習(xí)：判斷下列矩陣表示的信道是否是對(duì)稱(chēng)信道√√33相應(yīng)的對(duì)稱(chēng)離散信道的信道容量34例：某對(duì)稱(chēng)離散信道的信道矩陣為信道容量為:35強(qiáng)對(duì)稱(chēng)信道與對(duì)稱(chēng)信道比較：

強(qiáng)對(duì)稱(chēng)

對(duì)稱(chēng)n=mn與m未必相等

矩陣對(duì)稱(chēng)

矩陣未必對(duì)稱(chēng)P=QP與Q未必相等行之和，列之和均為1行之和為136四、準(zhǔn)對(duì)稱(chēng)信道離散信道的信道容量

若信道矩陣的行是可排列的，但列不可排列，如果把列分成若干個(gè)不相交的子集，且由n行和各子集的諸列構(gòu)成的各個(gè)子矩陣都是可排列的，則稱(chēng)相應(yīng)的信道為準(zhǔn)對(duì)稱(chēng)信道。例如下面的矩陣：37準(zhǔn)對(duì)稱(chēng)

信道轉(zhuǎn)移概率矩陣P是輸入對(duì)稱(chēng)而輸出不對(duì)稱(chēng)，即P的每一行都包含同樣的元素而各列的元素可以不同。準(zhǔn)對(duì)稱(chēng)信道的信道容量由I(X;Y)表達(dá)式1求其極大值公式法238公式法將信道矩陣分成若干個(gè)互不相交的對(duì)稱(chēng)的子集39例：

40例題41

假設(shè)此時(shí)將矩陣的列分為S個(gè)子集，每個(gè)子集的元素個(gè)數(shù)分別是m1，m2，……，ms。例題42例題43多符號(hào)離散信道數(shù)學(xué)模型多符號(hào)離散信道

多符號(hào)信源通過(guò)離散信道傳輸形成多符號(hào)離散信道。44多符號(hào)離散信道的數(shù)學(xué)模型有個(gè)元素45信道矩陣461YNY離散無(wú)記憶信道的N次擴(kuò)展信道47離散無(wú)記憶信道的N次擴(kuò)展信道無(wú)記憶：YK僅與XK有關(guān)48495051離散無(wú)記憶信道的N次擴(kuò)展信道離散無(wú)記憶信道的N次擴(kuò)展信道的平均互信息量不大于N個(gè)變量X1X2...XN單獨(dú)通過(guò)信道的平均互信息量之和。52離散無(wú)記憶信道擴(kuò)展信道信道容量結(jié)論：如果信道是N次擴(kuò)展信道，信源也是N次擴(kuò)展信源，則N次擴(kuò)展信道的信道容量是離散無(wú)記憶信道容量的N倍53獨(dú)立并聯(lián)信道的信道容量N次擴(kuò)展信道的推廣，隨機(jī)變量取值于不同的符號(hào)集54§3.5連續(xù)信道55p(y/x)連續(xù)信道的數(shù)學(xué)模型56加性連續(xù)信道NY=X+Np(y/x)=p(n)X57加性連續(xù)信道58假定N是均值為0，方差為的高斯變量噪聲功率高斯加性連續(xù)信道限功率最大熵定理只有Y為正態(tài)分布時(shí)，其熵最大

59輸入平均功率輸出平均功率對(duì)于高斯加性信道高斯加性連續(xù)信道60信噪功率比高斯加性連續(xù)信道61香農(nóng)公式(bit/s)香農(nóng)公式PN

－功率譜密度W－帶寬Px－信號(hào)功率信噪功率比Px/PN=＝Px/N0W

62香農(nóng)公式的討論(bit/s)?帶寬一定時(shí)，信噪功率比與信道容量成對(duì)數(shù)關(guān)系當(dāng)輸入信號(hào)功率一定，增加帶寬，容量可以增加63頻帶利用率：?jiǎn)挝活l帶的信息傳輸速率Ct

一定時(shí)，帶寬W增大，信噪功率比可降低，即兩者是可以互換的。信道容量可以通過(guò)系統(tǒng)帶寬與信噪比的互換而保持不變64例：如果SNR=7，W=4000Hz，則可得C=12×103b/s；但是，如果NR=15,W=3000Hz，則可得同樣C值。信噪比和帶寬的互換性在通信工程中有很大的用處。例如，在宇宙飛船與地面的通信中，飛船上的發(fā)射功率不可能做得很大，因此可用增大帶寬的方法來(lái)?yè)Q取對(duì)信噪比要求的降低。相反，如果信道頻帶比較緊張，如有線載波電話信道，這時(shí)主要考慮頻帶利用率，可用提高信號(hào)功率來(lái)增加信噪比，或采用多進(jìn)制的方法來(lái)?yè)Q取較窄的頻帶。653.6信道編碼定理（香農(nóng)第二定理）若有一離散無(wú)記憶平穩(wěn)信道，其容量為C，輸入序列長(zhǎng)度為L(zhǎng)，只要待傳送的信息率R<C,總可以找到一種編碼，當(dāng)L足夠長(zhǎng)時(shí)，譯碼差錯(cuò)率Pe<ε，ε為任意正數(shù)，反之，當(dāng)R>C，任何編碼的Pe必大于0，當(dāng)L→∞，Pe→1結(jié)論：C是臨界值66第3章小結(jié)重點(diǎn)掌握信道容量的概念對(duì)稱(chēng)DMC信道容量的計(jì)算準(zhǔn)對(duì)稱(chēng)DMC信道容量的計(jì)算