信息論與編碼2016(第4章)

信息理論與編碼朱仁祥zhurx@電子與信息工程學(xué)院1信道信道是傳輸信息的媒質(zhì)或通道。信息是抽象的，但傳送信息必須通過具體的媒質(zhì)。例如二人對(duì)話，靠聲波通過二人間的空氣來傳送，因而二人間的空氣部分就是信道。郵政通信的信道是指運(yùn)載工具及其經(jīng)過的設(shè)施。無線電話的信道就是電波傳播所通過的空間，有線電話的信道是電纜。信道在理論研究中，一條信道往往被分成信道編碼器、信道本身和信道譯碼器。人們可以變更編碼器、譯碼器以獲得最佳的通信效果，因此編碼器、譯碼器往往是指易于變動(dòng)和便于設(shè)計(jì)的部分，而信道就指那些比較固定的部分。信道是信息論中的一個(gè)主要概念。它是用來傳送信息的，所以理論上應(yīng)解決信道能無錯(cuò)誤地傳送的最大信息率，也就是信道容量的計(jì)算問題，并證明這樣的信息率是能達(dá)到或逼近的,最好還能知道如何實(shí)現(xiàn),這就是信道編碼問題。這些是山農(nóng)建立信息論時(shí)提出的關(guān)于信道的理論問題。他自己回答了一些，以后許多學(xué)者又使之不斷完善。一般而論，對(duì)于無記憶信道，這些問題已基本解決，但具體編碼方法，如采用代數(shù)碼來糾錯(cuò)還不能達(dá)到要求。信道第四章：信道及其容量§4.1信道分類§4.2離散無記憶信道§4.5信道的組合§4.6時(shí)間離散的無記憶連續(xù)信道§4.7波形信道5所有信道都有一個(gè)輸入集A，一個(gè)輸出集B以及兩者之間的聯(lián)系，如條件概率P(y│x)，x∈A，y∈B。這些參量可用來規(guī)定一條信道。

輸入集就是信道所容許的輸入符號(hào)的集。通常輸入的是隨機(jī)序列,隨機(jī)過程在限時(shí)或限頻的條件下均可化為隨機(jī)序列。在規(guī)定輸入集A時(shí)，也包括對(duì)各隨機(jī)變量的限制,如功率限制等。輸出集是信道可能輸出的符號(hào)的集。輸出序列可以是數(shù)或符號(hào)，也可以是一組數(shù)或矢量。

§4.1信道分類按輸入集和輸出集的性質(zhì)，可劃分為：當(dāng)輸入集和輸出集都是離散集時(shí)，稱信道為離散信道。電報(bào)信道和數(shù)據(jù)信道就屬于這一類。當(dāng)輸入集和輸出集都是連續(xù)集時(shí)，稱信道為連續(xù)信道。電視和電話信道屬于這一類。當(dāng)輸入集和輸出集中一個(gè)是連續(xù)集、另一個(gè)是離散集時(shí)，則稱信道為半離散信道或半連續(xù)信道。連續(xù)信道加上數(shù)字調(diào)制器或數(shù)字解調(diào)器后就是這類信道。當(dāng)輸入集和輸出集都是連續(xù)集，輸出時(shí)刻離散時(shí)，稱信道為時(shí)間離散的連續(xù)信道。當(dāng)輸入集和輸出集都是連續(xù)集，且輸出時(shí)刻連續(xù)時(shí)，稱信道為波形信道。§4.1信道分類根據(jù)信道的用戶多少，可以分為：兩端信道：它是只有一個(gè)輸入端和一個(gè)輸出端的單向通信的信道，它是多用戶信道的基礎(chǔ)。多端信道：當(dāng)輸入和（或）輸出不止一個(gè)時(shí),稱為多用戶信道，也就是幾個(gè)用戶合用一個(gè)信道。當(dāng)有幾個(gè)輸入而輸出只有一個(gè)時(shí),習(xí)慣上稱為多址接入信道。當(dāng)只有一個(gè)輸入，而輸出有幾個(gè)時(shí),就稱為廣播信道?！?.1信道分類根據(jù)信道的參數(shù)與時(shí)間的關(guān)系，信道又可以分為：恒參信道：參數(shù)不隨時(shí)間變化隨參信道：參數(shù)隨時(shí)間變化無記憶信道：信道當(dāng)時(shí)的輸出只依賴于當(dāng)時(shí)的輸入，與其它時(shí)刻的輸出及輸入都無關(guān)系，即P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN))=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)。有記憶信道平穩(wěn)信道：信道在不同時(shí)刻的響應(yīng)特性（轉(zhuǎn)移概率）是相同的，即對(duì)任意x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意兩個(gè)時(shí)刻u和v，還有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)?！?.1信道分類離散無記憶平穩(wěn)信道的定義信道容量的定義及定理離散無記憶平穩(wěn)信道的信道容量的計(jì)算特殊的離散無記憶平穩(wěn)信道－準(zhǔn)對(duì)稱信道的信道容量的計(jì)算三種特殊的準(zhǔn)對(duì)稱信道的信道容量的計(jì)算一般離散無記憶平穩(wěn)信道的信道容量的計(jì)算§4.2離散無記憶信道§4.2離散無記憶信道定義4.2.1和定義4.2.2(p88)如果信道的輸入為隨機(jī)變量序列X1,X2,X3,…，其中每個(gè)隨機(jī)變量Xu的事件集合都是{0,1,…,K-1}，信道的輸出為隨機(jī)變量序列Y1,Y2,Y3,…，其中每個(gè)隨機(jī)變量Yu的事件集合都是{0,1,…,J-1}，則稱該信道為離散信道。如果更有P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN))

=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)，則稱該信道為離散無記憶信道（DMC）。如果更有對(duì)任意x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意兩個(gè)時(shí)刻u和v，還有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，則稱該信道為離散無記憶平穩(wěn)信道。例：二元對(duì)稱信道BSCp=0.11-p1-ppp1100當(dāng)N=1時(shí)，p(0|0)=p(1|1)=0.9;p(0|1)=p(0|1)=0.1;當(dāng)N=2時(shí)，p(00|00)=p(0|0)p(0|0)=p(11|11)=p(1|1)p(1|1)=0.9*0.9=0.81;p(01|00)=p(10|00)=p(01|11)=p(10|11)=0.9*0.1=0.09;p(11|00)=p(11|00)=0.1*0.1=0.01例：二元對(duì)稱信道BSC§4.2離散無記憶信道一、有關(guān)DMC的信道容量設(shè)DMC在某個(gè)時(shí)刻輸入隨機(jī)變量為X，輸出隨機(jī)變量為Y。X的概率分布為{x,q(x),x∈{0,1,…,K-1}}。Y的概率分布為{y,w(y),y∈{0,1,…,J-1}}。信道響應(yīng)特性為轉(zhuǎn)移概率矩陣[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]，它是一個(gè)K×J階矩陣（其中p(y|x)=P(Y=y|X=x)），即§4.2離散無記憶信道因而轉(zhuǎn)移概率矩陣的每一行都是一個(gè)概率向量。

若信道的輸入為x，輸出是哪一個(gè)符號(hào)y事先無法確定，但信道輸出一定是{0,1,…,J-1}中的一個(gè)，即

§4.2離散無記憶信道對(duì)任意y∈{0,1,…,J-1}，由全概率公式有§4.2離散無記憶信道I(X;Y)是概率向量{q(x),x∈{0,1,…,K-1}}和轉(zhuǎn)移概率矩陣[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]的函數(shù)。

§4.2離散無記憶信道定義4.2.3(p89)離散無記憶信道的信道容量定義為：達(dá)到信道容量的輸入概率分布{x,q(x),x∈{0,1,…,K-1}}稱為最佳輸入分布。若轉(zhuǎn)移概率矩陣[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]確定，如何選擇概率向量{q(x),x∈{0,1,…,K-1}}使I(X;Y)達(dá)到最大？由定理2.6.2有，§4.2離散無記憶信道定理4.2.2(p91)（1）輸入概率分布{x,q(x),x∈{0,1,…,K-1}}是最佳輸入分布的充分必要條件為：對(duì)任何滿足q(k)>0的k，都取一個(gè)相同的值；對(duì)任何滿足q(k)=0的k，I(X=k;Y)都不大于此相同的值。（2）此時(shí)此相同的值恰好就是信道容量C?！?.2離散無記憶信道注解

如果對(duì)DMC信道沒有任何簡化，要計(jì)算最佳輸入分布并不容易。但是，通常使用的DMC是很簡單的（比如，以下的準(zhǔn)對(duì)稱信道和對(duì)稱信道），最佳輸入分布很容易求出?！?.2離散無記憶信道二、對(duì)稱DMC和準(zhǔn)對(duì)稱DMC的信道容量與最佳輸入分布的計(jì)算

定義4.2.4~5(p92)設(shè)DMC的轉(zhuǎn)移概率矩陣為若信道轉(zhuǎn)移概率矩陣所有行矢量都是第一行的置換，稱信道是關(guān)于輸入對(duì)稱的?！?.2離散無記憶信道§4.2離散無記憶信道命題1

若DMC關(guān)于輸入為對(duì)稱的，則對(duì)任意k∈{0,1,…,K-1}都成立。證明{p(y|x)，y=0~J-1}與{p(y|k)，y=0~J-1}互為置換，所以對(duì)稱DMC容量的計(jì)算P的所有列都是第一列的一種置換，信道是關(guān)于輸出對(duì)稱的§4.2離散無記憶信道§4.2離散無記憶信道命題2

若DMC關(guān)于輸出為對(duì)稱的，則當(dāng)輸入分布等概時(shí)，輸出分布等概。證明此時(shí){p(y|x)，x=0~K-1}與{p(0|x)，x=0~K-1}互為置換。設(shè)q(x)=1/K，x∈{0,1,…,K-1}。則§4.2離散無記憶信道定義4.2.6(p92)若DMC的轉(zhuǎn)移概率矩陣P的列的全體可分成若干個(gè)列子集，每個(gè)列子集所對(duì)應(yīng)的轉(zhuǎn)移概率矩陣P的子陣都滿足以下兩條性質(zhì)：任一行是第一行的置換，任一列是第一列的置換。則稱信道為準(zhǔn)對(duì)稱信道。特別若列子集只有一個(gè)，即轉(zhuǎn)移概率矩陣P本身的任一行是第一行的置換，任一列是第一列的置換，則稱信道為對(duì)稱信道。準(zhǔn)對(duì)稱信道對(duì)稱信道§4.2離散無記憶信道幾個(gè)簡單的結(jié)論：（1）準(zhǔn)對(duì)稱信道一定是關(guān)于輸入為對(duì)稱的。（2）對(duì)稱信道不僅是關(guān)于輸入為對(duì)稱的，也是關(guān)于輸出為對(duì)稱的。（3）對(duì)稱DMC當(dāng)輸入分布等概時(shí)，輸出分布等概。（4）準(zhǔn)對(duì)稱DMC當(dāng)輸入分布等概時(shí)，輸出分布局部等概。（5）對(duì)稱信道未必有J=K?！?.2

離散無記憶信道定理4.2.3實(shí)現(xiàn)準(zhǔn)對(duì)稱DMC信道容量的最佳輸入分布為等概分布?！?.2離散無記憶信道§4.2離散無記憶信道對(duì)每個(gè)k相同值與k無關(guān)§4.2離散無記憶信道YS：子陣中每一列都是第一列置換對(duì)每個(gè)k相同值與k無關(guān)對(duì)稱信道的容量計(jì)算[分析]對(duì)于行可排列情況，Hmi與i

無關(guān)[結(jié)論]例：對(duì)于二元對(duì)稱信道這個(gè)式子很重要。bit/符號(hào)§4.2離散無記憶信道例4.2.3特殊的對(duì)稱DMC：KSC（p93）其中0<p<1。稱p為錯(cuò)誤概率。特別當(dāng)K=2時(shí)，記為BSC§4.2離散無記憶信道此時(shí)有：達(dá)到信道容量時(shí)的最佳輸入分布為等概分布；對(duì)應(yīng)的輸出分布也是等概分布；信道容量是轉(zhuǎn)移概率矩陣任何一行所對(duì)應(yīng)的半平均互信息量，即§4.2

離散無記憶信道§4.2離散無記憶信道

其中0≤p<1，0≤q<1?！?？”表示當(dāng)我們對(duì)接收符號(hào)不能做出肯定或否定判決時(shí)，引入的刪除符號(hào)，表示對(duì)該符號(hào)有疑問，可作為有誤或等待更多信息時(shí)再進(jìn)行判決。當(dāng)q=0時(shí)，2元對(duì)稱刪除信道就成為BSC。當(dāng)p=0時(shí)，2元對(duì)稱刪除信道就成為2元純刪除信道。例4.2.4特殊的準(zhǔn)對(duì)稱DMC：2元對(duì)稱刪除信道（p94）輸入事件集為{0，1}；輸出事件集為{0，？，1}；轉(zhuǎn)移概率矩陣為達(dá)到信道容量時(shí)的最佳輸入分布為等概分布,即p(x=0)=p(x=1)=0.5；此時(shí)輸出概率分布為

p(y=0)=p(x=0)p(0|0)+p(x=1)p(0|1)=(1-q)/2類似地有p(y=1)=p(x=0)p(1|0)+p(x=1)p(1|1)=(1-q)/2p(y=?)=p(x=0)p(?|0)+p(x=1)p(?|1)=q§4.2離散無記憶信道而信道容量是轉(zhuǎn)移概率矩陣任何一行所對(duì)應(yīng)的半平均互信息量。§4.2離散無記憶信道當(dāng)p=0時(shí)，§4.2離散無記憶信道

定義4.2.7特殊的對(duì)稱DMC：模K加性噪聲信道。輸入隨機(jī)變量為X＝{0,1,…,K-1}；噪聲隨機(jī)變量為Z＝{0,1,…,K-1}；輸出隨機(jī)變量為Y＝{0,1,…,K-1}；X與Z相互獨(dú)立；Y=X+Z(modK)。稱此DMC為模K加性噪聲信道?！?.2離散無記憶信道此時(shí)，p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x)=P(Z=y-x(modK))。這就是說，如果記P(Z=z)=sz，則轉(zhuǎn)移概率矩陣為§4.2離散無記憶信道顯然模K加性噪聲信道是對(duì)稱DMC，達(dá)到信道容量時(shí)的最佳輸入分布為等概分布，對(duì)應(yīng)的輸出分布也是等概分布。三、一般DMC的信道容量與最佳輸入分布的計(jì)算

若DMC的轉(zhuǎn)移概率矩陣是可逆方陣，則可以先假設(shè)最佳輸入分布{q(x),x∈{0,1,…,K-1}}中每個(gè)概率q(x)都滿足q(x)>0。在這個(gè)假設(shè)下，求出信道容量C；

注意：這個(gè)解是否成立需要驗(yàn)證，即由信道容量C，計(jì)算對(duì)應(yīng)的最佳輸入分布，若每個(gè)q(x)都是概率矢量，所得到的解就是正確的；否則，解就是不正確的，這時(shí)應(yīng)令某個(gè)q(x),為0，再進(jìn)行試算，有時(shí)需要令一個(gè)以上q(x),為0試解，這時(shí)就出現(xiàn)J>K的情況，在求解時(shí)變?cè)獋€(gè)數(shù)大于方程數(shù)，可能有多個(gè)解，但只有一個(gè)解滿足條件，這時(shí)求解信道容量的問題就變成一組非線性方程組求解問題，即使得到解，也有可能有某些小于0，要找到最佳分布是相當(dāng)困難的?！?.2離散無記憶信道具體地驗(yàn)算過程為：先利用求出的信道容量C，計(jì)算最佳輸入分布對(duì)應(yīng)的“最佳輸出分布”{w(y),y∈{0,1,…,K-1}}；隨后計(jì)算出最佳輸入分布{q(x),x∈{0,1,…,K-1}}。§4.2離散無記憶信道§4.2離散無記憶信道§4.2離散無記憶信道§4.2離散無記憶信道§4.2離散無記憶信道這是K個(gè)未知量{β0,β1,…,βK-1}={C+logw(0),C+logw(1),…,C+logw(K-1)}的線性方程組，系數(shù)矩陣是可逆方陣，因此唯一解出{β0,β1,…,βK-1}為§4.2離散無記憶信道求出了{(lán)β0,β1,…,βK-1}={C+logw(0),C+logw(1),…,C+logw(K-1)}，還不能確定C和{w(0),w(1),…,w(K-1)}的值。但是我們還有另一個(gè)等式：

w(0)+w(1)+…+w(K-1)=1。于是§4.2離散無記憶信道求出了信道容量C，立即得到了“最佳輸出分布”{w(y),y∈{0,1,…,K-1}}和對(duì)應(yīng)的最佳輸入分布{q(x),x∈{0,1,…,K-1}}?！?.2離散無記憶信道例特殊的DMC，稱為Z信道：輸入事件為{0,1}，輸出事件為{0,1}，轉(zhuǎn)移概率矩陣為其中0<ε<1。求信道容量和最佳輸入分布。先假設(shè)最佳輸入分布{q(0),q(1)}滿足q(0)>0，q(1)>0。因此§4.2離散無記憶信道容易驗(yàn)證：q(1)>0；

q(0)+q(1)=1。需要驗(yàn)證：q(0)>0?！?.2離散無記憶信道例設(shè)DMC的輸入事件為{0,1}，輸出事件為{0,1}，轉(zhuǎn)移概率矩陣為求信道容量和最佳輸入分布。先假設(shè)最佳輸入分布{q(0),q(1)}滿足q(0)>0，q(1)>0。因此§4.2離散無記憶信道因此§4.5信道的組合總設(shè)有如下兩個(gè)相互獨(dú)立的DMC，分別稱為信道1和信道2。信道1的輸入事件為全體x，共有K個(gè)輸入事件；信道1的輸出事件為全體y，共有J個(gè)輸出事件；信道1的轉(zhuǎn)移概率矩陣為[p1(y|x)]K×J；信道1的信道容量為C1,達(dá)到信道容量的最佳輸入分布為q1(x)。信道2的輸入事件為全體u，共有N個(gè)輸入事件；信道2的輸出事件為全體v，共有M個(gè)輸出事件；信道2的轉(zhuǎn)移概率矩陣為[p2(v|u)]N×M；信道2的信道容量為C2,達(dá)到信道容量的最佳輸入分布為q2(u)。積信道待發(fā)送的消息比較多時(shí)，可能會(huì)使用信道1和信道2同時(shí)分別傳遞消息，則稱該信道為信道1與信道2的積信道。（又稱為信道1與信道2的獨(dú)立并行信道）。此時(shí)對(duì)于組合信道輸入集X=X1×X2,輸出集Y=Y1×Y2,轉(zhuǎn)移概率p(jj’|kk’)=p(j|k)p(j’|k’)信道1P(j|k)X1Y1信道2P(j‘|k’)X2Y2例：設(shè)有如下兩個(gè)相互獨(dú)立的DMC，求積信道的轉(zhuǎn)移概率矩陣。積信道解：組合后的積信道的輸入集有4個(gè)元素；輸出集也有4個(gè)元素；求積信道的轉(zhuǎn)移概率矩陣P為：§4.5信道的組合定理4.5.1（p104）積信道的信道容量為C=C1+C2,最佳輸入分布為q1(x)q2(u).證明此時(shí)§4.5信道的組合§4.5信道的組合§4.5信道的組合所以I((XU)=(xu);(YV))=I(X=x;Y)+I(U=u;V)。注意到對(duì)任何滿足q1(x)>0的x，I(X=x;Y)=C1；對(duì)任何滿足q1(x)=0的x，I(X=x;Y)≤C1；對(duì)任何滿足q2(u)>0的u，I(U=u;V)=C2

；對(duì)任何滿足q2(u)=0的u，I(U=u;V)≤C2。于是對(duì)任何滿足q1(x)q2(u)>0的(xu)，I((XU)=(xu);(YV))=C1+C2

；對(duì)任何滿足q1(x)q2(u)=0的(xu)，I((XU)=(xu);(YV))≤C1+C2

。根據(jù)定理4.2.2(p84)，積信道的信道容量為C=C1+C2?！?.5信道的組合定義4.5.2（p106）單位時(shí)間內(nèi)可隨機(jī)選用信道1和信道2中的一個(gè)，選用信道1的概率為p1，選用信道2的概率為p2，p1+p2=1信道的輸入事件為全體{x}∪{u}，其中{x}與{u}不相交；共有K+N個(gè)輸入事件；信道的輸出事件為全體{y}∪{v}，其中{y}與{v}不相交；共有J+M個(gè)輸出事件；信道的轉(zhuǎn)移概率矩陣為則稱該信道為信道1與信道2的和信道?！?.5信道的組合定理4.5.2（p106）§4.5信道的組合證明：§4.5信道的組合§4.5信道的組合§4.5信道的組合定義4.5.3（p106）構(gòu)造一個(gè)信道，使得該信道的輸入是信道1的輸入；信道1的輸出再輸入信道2；信道2的輸出就是該信道的輸出。則稱該信道為信道1與信道2的級(jí)連信道（串聯(lián)信道）。請(qǐng)注意：此時(shí)信道1的輸出事件全體恰好是信道2的輸入事件全體，即{y}={u}，J=N?！?.5信道的組合注：（1）級(jí)連信道的轉(zhuǎn)移概率矩陣為[p(v|x)]K×M=[p1(y|x)]K×J[p2(v|y)]J×M，即§4.5信道的組合例設(shè)信道1的轉(zhuǎn)移概率矩陣為其中0<p<1。則（1）信道1的最佳輸入分布是等概分布，信道容量為§4.5信道的組合（2）將信道1自級(jí)連N次，級(jí)連信道的轉(zhuǎn)移概率矩陣為級(jí)連信道的信道容量為§4.5信道的組合（3）令自級(jí)連的次數(shù)N→+∞，則級(jí)連信道的轉(zhuǎn)移概率矩陣趨向于信道容量趨向于0。§4.6時(shí)間離散的無記憶連續(xù)信道定義設(shè)信道的輸入為隨機(jī)變量序列X1,X2,X3,…，其中每個(gè)隨機(jī)變量Xu都是連續(xù)型的隨機(jī)變量。信道的輸出為隨機(jī)變量序列Y1,Y2,Y3,…，其中每個(gè)隨機(jī)變量Yu都是連續(xù)型的隨機(jī)變量。轉(zhuǎn)移概率密度f((Y1

Y2…YN)=(y1y2…yN)|(X1

X2…XN)=(x1x2…xN))=f(Y1=y1|X1=x1)f(Y2=y2|X2=x2)…f(YN=yN|XN=xN)，則稱該信道為時(shí)間離散的無記憶連續(xù)信道。如果進(jìn)一步有f(Yn=y|Xn=x)=f(Ym=y|Xm=x),則稱該信道為平穩(wěn)的（恒參的）時(shí)間離散的無記憶連續(xù)信道?！?.6時(shí)間離散的無記憶連續(xù)信道設(shè)平穩(wěn)的（恒參的）時(shí)間離散的無記憶連續(xù)信道，其一元轉(zhuǎn)移概率密度為fY|X(y|x)。設(shè)一元輸入概率密度為fX(x)。因此一元輸出概率密度為如下的fY(y)，輸入、輸出平均互信息量為如下的I(X;Y)。§4.6時(shí)間離散的無記憶連續(xù)信道一、可加噪聲信道定義4.6.1（p108）設(shè)平穩(wěn)的（恒參的）時(shí)間離散的無記憶連續(xù)信道為：輸入隨機(jī)變量為X；噪聲隨機(jī)變量為Z；X與Z相互獨(dú)立；輸出隨機(jī)變量為Y=X+Z。則稱該信道為可加噪聲信道。注：此時(shí)fY|X(y|x)=f(Y=y|X=x)=f(X+Z=y|X=x)=f(x+Z=y|X=x)=f(Z=y-x|X=x)=f(Z=y-x)=fZ(y-x)；f

(X,Y)(x,y)=fX(x)fY|X(y|x)=fX(x)fZ(y-x)；§4.6時(shí)間離散的無記憶連續(xù)信道作變?cè)鎿Q，令z=y-x§4.6時(shí)間離散的無記憶連續(xù)信道例4.6.1（p108）高斯可加噪聲信道，當(dāng)信道干擾給定時(shí)，若輸入功率不受限制，I(X;Y)可為任意大均值為零的正態(tài)分布其方差為該信號(hào)的平均功率§4.6時(shí)間離散的無記憶連續(xù)信道二、平均功率受限的可加噪聲信道定義（p109的變形）對(duì)于可加噪聲信道，限定：其信號(hào)功率不超過S，其噪聲功率等于σ2，此時(shí)信噪比不超過(S/σ2)。在此限定之下，輸入、輸出平均互信息量的最大值C稱為平均功率受限的信道容量。§4.6時(shí)間離散的無記憶連續(xù)信道定理4.6.1（p109）設(shè)可加噪聲信道，限定：其信號(hào)功率不超過S，其噪聲功率為σ2，此時(shí)信噪比不超過(S/σ2)。則（1）平均功率受限的信道容量為（2）當(dāng)且僅當(dāng)信道為高斯可加噪聲信道（X~N(λ,S)，Z~N(μ,σ2)）時(shí)，輸入、輸出平均互信息量達(dá)到該C?！?.7波形信道定義4.7.1（p112）信道的輸入是一般的隨機(jī)過程{X(t),t≥0}；信道的輸出是一般的隨機(jī)過程{Y(t),t≥0}。稱此信道為波形信道（waveformchannel）

。定義4.7.2（p112）信道的輸入是一個(gè)隨機(jī)過程