第3章：信道容量

1、信息論與編碼信息論與編碼西安工業(yè)大學(xué)電子信息工程學(xué)院 趙 黎第三章 信道容量n信道的功能：信道的功能：以信號形式傳輸和存儲信息。以信號形式傳輸和存儲信息。n信道傳輸信息的速率：信道傳輸信息的速率：與物理信道本身的特性、載荷與物理信道本身的特性、載荷信息的信號形式和信源輸出信號的統(tǒng)計特性有關(guān)。信息的信號形式和信源輸出信號的統(tǒng)計特性有關(guān)。n信道容量研究內(nèi)容：信道容量研究內(nèi)容：在什么條件下，通過信道的信息在什么條件下，通過信道的信息量最大。量最大。n信道定義：信道定義：傳輸信息的媒介或通道。傳輸信息的媒介或通道。信道也可以看作信道也可以看作一種變換，把輸入變換成輸出。一種變換，把輸入變換成輸出。n信

2、道的隨機(jī)性：信道的隨機(jī)性：由于干擾和噪聲的存在，變換是隨機(jī)由于干擾和噪聲的存在，變換是隨機(jī)（概率）的。（概率）的。n信道的描述：信道的描述：用條件轉(zhuǎn)移概率表示。用條件轉(zhuǎn)移概率表示。本章內(nèi)容n信道的數(shù)學(xué)模型及分類信道的數(shù)學(xué)模型及分類n單符號離散信道的信道容量單符號離散信道的信道容量3.1 信道的數(shù)學(xué)模型及分類n一般信道的數(shù)學(xué)模型一般信道的數(shù)學(xué)模型n信道的分類信道的分類n實際的信道實際的信道(1) 一般信道的數(shù)學(xué)模型n信息論對信道的研究：信息論對信道的研究：對具體物理信道抽象，建立與各對具體物理信道抽象，建立與各種通信系統(tǒng)相適應(yīng)的信道模型，研究信息在這些模型信種通信系統(tǒng)相適應(yīng)的信道模型，研究信息在

3、這些模型信道上傳輸?shù)钠毡橐?guī)律，指導(dǎo)通信系統(tǒng)的設(shè)計。道上傳輸?shù)钠毡橐?guī)律，指導(dǎo)通信系統(tǒng)的設(shè)計。n信道模型：信道模型：不研究信號在信道中傳輸?shù)奈锢磉^程，把信不研究信號在信道中傳輸?shù)奈锢磉^程，把信道模型看作黑匣子。道模型看作黑匣子。n數(shù)學(xué)模型的數(shù)學(xué)符號表示：數(shù)學(xué)模型的數(shù)學(xué)符號表示： X P(Y/X) Y(2) 信道的分類信道的分類 根據(jù)輸入輸出隨機(jī)信號的特點分類根據(jù)輸入輸出隨機(jī)信號的特點分類 根據(jù)輸入輸出隨機(jī)變量個數(shù)的多少分類根據(jù)輸入輸出隨機(jī)變量個數(shù)的多少分類 根據(jù)輸入輸出個數(shù)分類根據(jù)輸入輸出個數(shù)分類 根據(jù)信道上有無干擾分類根據(jù)信道上有無干擾分類 根據(jù)信道有無記憶特性分類根據(jù)信道有無記憶特性分類 根據(jù)

4、輸入輸出隨機(jī)信號的特點分類根據(jù)輸入輸出隨機(jī)信號的特點分類n離散信道：離散信道：輸入和輸出的隨機(jī)序列的取值都是離散的信道。輸入和輸出的隨機(jī)序列的取值都是離散的信道。n連續(xù)信道：連續(xù)信道：輸入和輸出的隨機(jī)序列的取值都是連續(xù)的信道。輸入和輸出的隨機(jī)序列的取值都是連續(xù)的信道。n半離散半離散半連續(xù)信道半連續(xù)信道：輸入變量取離散值而輸出變量取連輸入變量取離散值而輸出變量取連續(xù)值，或反之續(xù)值，或反之. 根據(jù)輸入輸出隨機(jī)變量個數(shù)的多少分類根據(jù)輸入輸出隨機(jī)變量個數(shù)的多少分類n單符號信道：單符號信道：輸入和輸出端都只用一個輸入和輸出端都只用一個隨機(jī)變量隨機(jī)變量來表示。來表示。n離散無記憶擴(kuò)展信道離散無記憶擴(kuò)展信道

5、（多符號信道）（多符號信道）：輸入和輸出端用輸入和輸出端用隨機(jī)變量隨機(jī)變量序列（隨機(jī)矢量）序列（隨機(jī)矢量）來表示。來表示。 根據(jù)輸入輸出個數(shù)分類根據(jù)輸入輸出個數(shù)分類n單用戶信道：單用戶信道：只有一個輸入和一個輸出的信道。只有一個輸入和一個輸出的信道。n多用戶信道：多用戶信道：有多個輸入和多個輸出的信道。有多個輸入和多個輸出的信道。(多元接入信道和廣多元接入信道和廣播信道播信道) 根據(jù)信道上有無干擾分類根據(jù)信道上有無干擾分類n有干擾信道：有干擾信道：存在干擾或噪聲或兩者都有的信道。存在干擾或噪聲或兩者都有的信道。實際信道一般實際信道一般都是有干擾信道。都是有干擾信道。n無干擾信道：無干擾信道：不

6、存在干擾或噪聲，或干擾和噪聲可忽略不計的信不存在干擾或噪聲，或干擾和噪聲可忽略不計的信道。道。計算機(jī)和外存設(shè)備之間的信道可看作是無干擾信道。計算機(jī)和外存設(shè)備之間的信道可看作是無干擾信道。 根據(jù)信道有無記憶特性分類根據(jù)信道有無記憶特性分類n無記憶信道：無記憶信道：輸出僅與當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道。輸出僅與當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道。n有記憶信道：有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過去輸入和信道輸出不僅與當(dāng)前輸入有關(guān)，還與過去輸入和（或）過去輸出有關(guān)。（或）過去輸出有關(guān)。(3) 實際的信道實際的信道n實際信道的帶寬總是有限的，所以輸入和輸出信號總可實際信道的帶寬總是

7、有限的，所以輸入和輸出信號總可以分解成隨機(jī)序列來研究。隨機(jī)序列中每個隨機(jī)變量的以分解成隨機(jī)序列來研究。隨機(jī)序列中每個隨機(jī)變量的取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。n一個實際信道可同時具有多種屬性。一個實際信道可同時具有多種屬性。 最簡單的信道是單符號離散信道。最簡單的信道是單符號離散信道。3.2 單符號離散信道的信道容量n信道容量定義信道容量定義n幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量n離散信道容量的一般計算方法離散信道容量的一般計算方法(1) 信道容量的定義信道容量的定義 單符號離散信道的數(shù)學(xué)模型單符號離散信道的數(shù)學(xué)模

8、型 信道的信息傳輸率信道的信息傳輸率 信道容量信道容量 單符號離散信道的數(shù)學(xué)模型單符號離散信道的數(shù)學(xué)模型a 信道模型信道模型b 信道統(tǒng)計特性信道統(tǒng)計特性a 信道模型信道模型n設(shè)輸入：設(shè)輸入：Xx1,x2,xi,xn 輸出：輸出：Yy1,y2,yj,ymn其信道模型：其信道模型：a 信道模型信道模型n用線圖描述：用線圖描述：b 信道統(tǒng)計特性信道統(tǒng)計特性n信道統(tǒng)計特性：信道統(tǒng)計特性：由信道轉(zhuǎn)移概率描述。由信道轉(zhuǎn)移概率描述。n信道轉(zhuǎn)移概率（信道傳遞概率）：信道轉(zhuǎn)移概率（信道傳遞概率）：條件概率條件概率 p(yj /xi)。n信道特性表示：信道特性表示：用信道轉(zhuǎn)移概率矩陣，簡稱用信道轉(zhuǎn)移概率矩陣，簡稱

9、信道矩陣。信道矩陣。n反信道矩陣：反信道矩陣：由條件概率由條件概率 p(xi /yj) 表示。表示。 )/()/()/()/()/()/()/()/()/(2122221112112121nmnnmmnmxypxypxypxypxypxypxypxypxypxxxyyy信信道道矩矩陣陣 )/()/()/()/()/()/()/()/()/(2122221112112121mnmmnnmnyxpyxpyxpyxpyxpyxpyxpyxpyxpyyyxxx反反信信道道矩矩陣陣 信道的信息傳輸率信道的信息傳輸率 信道的信息傳輸率信道的信息傳輸率n研究信道的目的：研究信道的目的：討論信道中平均每個符號

10、傳送的信息討論信道中平均每個符號傳送的信息量量（信道的信息傳輸率）（信道的信息傳輸率）。n信道的信息傳輸率：信道的信息傳輸率：就是平均互信息：就是平均互信息： R=I(X;Y) H(X) H(X/Y)（比特（比特/符號）符號）平均互信息平均互信息 I(X;Y) 就是接收到符號就是接收到符號 Y 后平均后平均每個符號獲得的關(guān)于每個符號獲得的關(guān)于 X 的信息量的信息量 信道的信息傳輸率信道的信息傳輸率n如果信源熵為如果信源熵為 H(X)，希望在信道輸出端接收的信息量就，希望在信道輸出端接收的信息量就是是 H(X)，由于干擾的存在，一般只能接收到，由于干擾的存在，一般只能接收到 I(X;Y)。n輸出

11、端輸出端 Y 往往只能獲得關(guān)于輸入往往只能獲得關(guān)于輸入 X 的部分信息，這是由的部分信息，這是由于平均互信息性質(zhì)決定的：于平均互信息性質(zhì)決定的：I(X;Y)H(X)。nI(X;Y) 是信源無條件概率是信源無條件概率 p(xi) 和信道轉(zhuǎn)移概率和信道轉(zhuǎn)移概率 p(yj /xi) 的二元函數(shù)：的二元函數(shù)： nimjniijiijijinimjjijjiijijiniijijxypxpxypxypxpypxypyxpYXIxypxpyxpxypxpyp11121121)/()()/(log)/()()()/(log)();()/()()()/()()( 信道容量信道容量n當(dāng)信道特性當(dāng)信道特性 p(y

12、j /xi) 固定后，固定后，I(X;Y)隨信源概率分布隨信源概率分布 p(xi) 的變化而變化。的變化而變化。n調(diào)整調(diào)整 p(xi)，在接收端就能獲得不同的信息量。由平均，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，互信息的性質(zhì)已知，I(X;Y) 是是 p(xi) 的上凸函數(shù)，因的上凸函數(shù)，因此總能找到一種概率分布此總能找到一種概率分布 p(xi)（即某一種信源），（即某一種信源），使使信道所能傳送的信息率為最大。信道所能傳送的信息率為最大。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 信道容量信道容量n信道容量信道容

13、量 C：在信道中最大的信息傳輸速率，單位是比在信道中最大的信息傳輸速率，單位是比特特/信道符號。信道符號。n單位時間的信道容量單位時間的信道容量 Ct：若信道平均傳輸一個符號需若信道平均傳輸一個符號需要要 t 秒鐘，則單位時間的信道容量為：秒鐘，則單位時間的信道容量為：n Ct 實際是信道的最大信息傳輸速率。實際是信道的最大信息傳輸速率。（比比特特秒秒）);(max1)(YXItCixpt （比特信道符號）);(maxmax)()(YXIRCiixpxp結(jié)結(jié) 論論nC 和和 Ct 都是求平均互信息都是求平均互信息 I(X;Y) 的條件極大值問題，的條件極大值問題，當(dāng)輸入信源概率分布當(dāng)輸入信源概

14、率分布 p(xi) 調(diào)整好以后，調(diào)整好以后， C 和和Ct 已與已與 p(xi) 無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)；統(tǒng)計特性有關(guān)；n信道容量是完全信道容量是完全描述信道特性描述信道特性的參量；的參量；n信道容量是信道信道容量是信道能夠傳送的最大信息量能夠傳送的最大信息量。(2) 幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量 離散無噪聲信道的信道容量離散無噪聲信道的信道容量 強對稱離散信道的信道容量強對稱離散信道的信道容量 對稱離散信道的信道容量對稱離散信道的信道容量 準(zhǔn)對稱離散信道的信道容量準(zhǔn)對稱離散信道的信道容量 離散無

15、噪信道的信道容量離散無噪信道的信道容量 a 具有一一對應(yīng)關(guān)系的無噪信道具有一一對應(yīng)關(guān)系的無噪信道 b 具有擴(kuò)展性能的無噪信道具有擴(kuò)展性能的無噪信道 c 具有歸并性能的無噪信道具有歸并性能的無噪信道a 具有一一對應(yīng)關(guān)系的無噪信道具有一一對應(yīng)關(guān)系的無噪信道（無噪無損信道）（無噪無損信道）n信道線圖信道線圖a 具有一一對應(yīng)關(guān)系的無噪信道具有一一對應(yīng)關(guān)系的無噪信道（無噪無損信道）（無噪無損信道）n信道矩陣信道矩陣 00010010010010001000010000100001a 具有一一對應(yīng)關(guān)系的無噪信道具有一一對應(yīng)關(guān)系的無噪信道（無噪無損信道）（無噪無損信道）n因為信道矩陣中所有元素均是因為信道矩

16、陣中所有元素均是 “1” 或或 “0”，X 和和 Y 有確有確定的對應(yīng)關(guān)系：定的對應(yīng)關(guān)系：n已知已知 X 后后 Y 沒有不確定性，沒有不確定性，n收到收到 Y 后，后，X 也不存在不確定性，也不存在不確定性，nI(X;Y)=H(X)=H(Y)。n當(dāng)信源呈等概率分布時，具有一一對應(yīng)確定關(guān)系的無噪信道當(dāng)信源呈等概率分布時，具有一一對應(yīng)確定關(guān)系的無噪信道達(dá)到信道容量達(dá)到信道容量（信源（信源 X 的最大熵）的最大熵）噪聲熵：噪聲熵：H(Y/X)=0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X/Y)=0符符號號）（比比特特/log)(max);(max2)()(nXHYXICiixpxp b 具有擴(kuò)展性

17、能的無噪信道具有擴(kuò)展性能的無噪信道（有噪無損信道）（有噪無損信道）nn0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X/Y)=0b 具有擴(kuò)展性能的無噪信道具有擴(kuò)展性能的無噪信道（有噪無損信道）（有噪無損信道）n其信道矩陣為：其信道矩陣為： )/()/(00000000)/()/()/(00000000)/()/()/(3837262524131211xypxypxypxypxypxypxypxypn雖然信道矩陣中的元素不全是雖然信道矩陣中的元素不全是“1”或或“0”，但由于每，但由于每列中只有一個非零元素：已知列中只有一個非零元素：已知 Y 后，后，X 不再有任何不不再有任何不確定度，確定度，

18、n信道容量為：信道容量為：n此時輸入端符號熵小于輸出端符號熵，此時輸入端符號熵小于輸出端符號熵，H(X) 0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X/Y)=0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(X) b 具有擴(kuò)展性能的無噪信道具有擴(kuò)展性能的無噪信道（有噪無損信道）（有噪無損信道）n熵之間的關(guān)系：熵之間的關(guān)系：c 具有歸并性能的無噪信道具有歸并性能的無噪信道（無噪有損信道）（無噪有損信道）nnm，輸入，輸入 X 的符號集個數(shù)大于輸出的符號集個數(shù)大于輸出 Y 的符號集個數(shù)：的符號集個數(shù)：噪聲熵：噪聲熵：H(Y/X)=0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X

19、/Y)0 100010010001001n信道矩陣中的元素非信道矩陣中的元素非“0”即即 “1” ，每行僅有一個非零元素，每行僅有一個非零元素，但每列的非零元素個數(shù)大于但每列的非零元素個數(shù)大于 1：n已知某一個已知某一個 xi 后，對應(yīng)的后，對應(yīng)的 yj 完全確定，完全確定，n收到某一個收到某一個 yj 后，對應(yīng)的后，對應(yīng)的 xi 不完全確定，不完全確定， 信道疑義度信道疑義度 H(X/Y)0。 n信道容量為：信道容量為：n這種信道的輸入端符號熵大于輸出端符號熵，這種信道的輸入端符號熵大于輸出端符號熵，H(X) H(Y)。符號）符號）（比特（比特/log)(max);(max2)()(mYHY

20、XICiixpxp 噪聲熵：噪聲熵：H(Y/X)=0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X/Y)0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(Y) n注意：注意：在求信道容量時，調(diào)整的始終是輸入端的概率分在求信道容量時，調(diào)整的始終是輸入端的概率分布布 p(xi) ，盡管信道容量式子中平均互信息，盡管信道容量式子中平均互信息 I(X;Y) 等等于輸出端符號熵于輸出端符號熵 H(Y)，但是在求極大值時調(diào)整的仍然，但是在求極大值時調(diào)整的仍然是輸入端的概率分布是輸入端的概率分布 p(xi) ，而不能用輸出端的概率分，而不能用輸出端的概率分布布 p(yj) 來代替。來代替。

21、n熵之間的關(guān)系：熵之間的關(guān)系：舉例舉例：圖圖3.2.4a的信道容量是的信道容量是 log23=1.585(比特比特/信道信道符號符號)，求要達(dá)到這一信道容量對應(yīng)的信源概率分布。，求要達(dá)到這一信道容量對應(yīng)的信源概率分布。q由信道矩陣得由信道矩陣得 p(y1)= p(x1)1+ p(x2)1 p(y2)= p(x3)1+ p(x4)1 p(y3)= p(x5)1q只要只要 p(y1)= p(y2)= p(y3)= (1/3)，H(Y) 達(dá)到最大達(dá)到最大值，即達(dá)到信道容量值，即達(dá)到信道容量 C。舉例舉例：q此時使此時使 p(y1)= p(y2)= p(y3)= (1/3) 的信源概率分布的信源概率分

22、布p(xi),i=1,2,3,4,5 存在，但不是惟一的。存在，但不是惟一的。 q這種信道的輸入符號熵大于輸出符號熵，即這種信道的輸入符號熵大于輸出符號熵，即 H(X) H(Y)。100010010001001結(jié)結(jié) 論論n無損信道的信道容量無損信道的信道容量 C 只決定于信道的輸入符只決定于信道的輸入符號數(shù)號數(shù) n，與信源無關(guān)。，與信源無關(guān)。n無噪信道的信道容量無噪信道的信道容量 C 只決定于信道的輸出符只決定于信道的輸出符號數(shù)號數(shù) m，與信源無關(guān)。，與信源無關(guān)。 強對稱離散信道的信道容量強對稱離散信道的信道容量 a 什么是強對稱離散信道什么是強對稱離散信道 b 強對稱信道矩陣特點強對稱信道矩

23、陣特點 c 強對稱離散信道的信道容量強對稱離散信道的信道容量 d 輸入是什么概率分布時達(dá)到信道容量輸入是什么概率分布時達(dá)到信道容量 e 二進(jìn)制均勻信道二進(jìn)制均勻信道a 什么是強對稱離散信道什么是強對稱離散信道n單符號離散信道的單符號離散信道的 X 和和 Y 取值均由取值均由 n 個不同符號組成，個不同符號組成，即即Xx1,x2,xi,xn，Yy1,y2,yj,ynn每每n信道矩陣為：信道矩陣為： pppPnpnpnpnpnpnpnn11111111)(1 npnpp為為：個個符符號號的的錯錯誤誤傳傳遞遞概概率率其其它它為為：個個符符號號的的正正確確傳傳遞遞概概率率，a 什么是強對稱離散信道什么

24、是強對稱離散信道n這種信道稱為這種信道稱為強對稱（均勻）強對稱（均勻）信道。信道。n這類信道中這類信道中：總的錯誤概率是：總的錯誤概率是 p，對稱平均地分配給，對稱平均地分配給(n1)個輸出符號個輸出符號.n信道矩陣中每行之和等于信道矩陣中每行之和等于 1，每列之和也等于，每列之和也等于 1。一般。一般信道矩陣中，每列之和不一定等于信道矩陣中，每列之和不一定等于 1。b 強對稱信道矩陣特點強對稱信道矩陣特點n強對稱信道矩陣，它的每一行和每一強對稱信道矩陣，它的每一行和每一 列都是同一集合各個元素的不同排列。列都是同一集合各個元素的不同排列。n由平均互信息定義：由平均互信息定義： 個個)1(11

25、,nnpnpp njijijnininiiijninjijixypxypHHxpxypxypxpXYHXYHYHYXI121112)/(log)/()()/(log)/()()/()/()();(其其中中令令：其其中中條條件件熵熵：b 強對稱信道矩陣特點強對稱信道矩陣特點nHni 的意義：的意義：是固定是固定 X=xi 時對時對 Y 求和，相當(dāng)于在信道求和，相當(dāng)于在信道矩陣中選定了某一行，對該行上各列元素的自信息求加矩陣中選定了某一行，對該行上各列元素的自信息求加權(quán)和。由于信道的對稱性，每一行都是同一集合的不同權(quán)和。由于信道的對稱性，每一行都是同一集合的不同排列，所以：排列，所以：n當(dāng)當(dāng) xi

26、 不同時，不同時，Hni 只是求和順序不同，求和結(jié)果完全一只是求和順序不同，求和結(jié)果完全一樣。所以樣。所以Hni 與與 X 無關(guān)，是一個常數(shù)。無關(guān)，是一個常數(shù)。)log()1(log1212 npnpninppH njijijnixypxypH12)/(log)/(b 強對稱信道矩陣特點強對稱信道矩陣特點n因此：因此：)(max)()/()();()()/()(1nixpninininiiHYHCHYHXYHYHYXIHHxpXYHi 所以：所以：c 強對稱離散信道的信道容量強對稱離散信道的信道容量n 如何達(dá)到信道容量如何達(dá)到信道容量：求一種輸入分布使求一種輸入分布使 H(Y) 取最大值。取最

27、大值。n 現(xiàn)已知輸出符號集現(xiàn)已知輸出符號集 Y 共有共有 n 個符號，則個符號，則 H(Y)log2n。根據(jù)最。根據(jù)最大離散熵定理，只有當(dāng)大離散熵定理，只有當(dāng) p(yj)= (1/n)，即輸出端呈等概率分布時，即輸出端呈等概率分布時， H(Y) 才達(dá)到最大值才達(dá)到最大值 log2n 。n 要獲得這一最大值，可通過下面公式尋找相應(yīng)的輸入概率分布；要獲得這一最大值，可通過下面公式尋找相應(yīng)的輸入概率分布；n 現(xiàn)一般情況下不一定存在一種輸入符號的概率，使輸出符號達(dá)到現(xiàn)一般情況下不一定存在一種輸入符號的概率，使輸出符號達(dá)到等概率分布。但強對稱離散信道存在。等概率分布。但強對稱離散信道存在。njxypxp

28、ypniijij, 2 , 1)/()()(1 d 輸入是什么概率分布時達(dá)到信道容量輸入是什么概率分布時達(dá)到信道容量n強對稱離散信道的輸入和輸出之間概率關(guān)系可用矩陣表強對稱離散信道的輸入和輸出之間概率關(guān)系可用矩陣表示為：示為： nnTnnnnTnnnnpnpnpnpnpnpnTnnnPPPPxpxpxppppxpxpxpPypypyp ，的的轉(zhuǎn)轉(zhuǎn)置置，對對于于對對稱稱矩矩陣陣是是其其中中)()()()()()()()()(211111112121d 輸入是什么概率分布時達(dá)到信道容量輸入是什么概率分布時達(dá)到信道容量n信道矩陣中的每一行都是由同一集合信道矩陣中的每一行都是由同一集合 中的諸元素的不

29、同排列組成，所以保中的諸元素的不同排列組成，所以保 證了證了當(dāng)輸入符號當(dāng)輸入符號 X 是等概率分布，是等概率分布， 即即 p(xi)=(1/n) 時，輸出符號時，輸出符號 Y 一定是等概率分布，一定是等概率分布，這時這時 H(Y)=log2n。相應(yīng)的信道容量為：。相應(yīng)的信道容量為： 個個)1(11,nnpnpp)/(logloglog,loglog12221122信道符號信道符號比特比特 npnpnpnipppnpHnHnCd 輸入是什么概率分布時達(dá)到信道容量輸入是什么概率分布時達(dá)到信道容量n結(jié)論：結(jié)論：當(dāng)信道輸入呈等概率分布時，強對稱離散信道能當(dāng)信道輸入呈等概率分布時，強對稱離散信道能夠傳輸

30、最大的平均信息量，即達(dá)到信道容量。夠傳輸最大的平均信息量，即達(dá)到信道容量。 這個信道容量只與信道的輸出符號數(shù)這個信道容量只與信道的輸出符號數(shù) n 和相應(yīng)信道矩和相應(yīng)信道矩陣中的任一行矢量有關(guān)。陣中的任一行矢量有關(guān)。e 二進(jìn)制均勻信道二進(jìn)制均勻信道n當(dāng)當(dāng) n=2 時的強對稱離散信道就是二進(jìn)制均勻信道。時的強對稱離散信道就是二進(jìn)制均勻信道。n二進(jìn)制均勻信道的信道容量為：二進(jìn)制均勻信道的信道容量為：n二進(jìn)制均勻信道容量二進(jìn)制均勻信道容量 曲線如圖曲線如圖3.2.6所示。所示。pppppHpHppppC2222loglog)()(1loglog1 其其中中： 對稱離散信道的信道容量對稱離散信道的信道容

31、量 a 可排列性可排列性 b 對稱離散信道定義對稱離散信道定義 c 對稱離散信道的信道容量對稱離散信道的信道容量a 可排列性可排列性n行可排列：行可排列：一個矩陣的每一行都是同一集合一個矩陣的每一行都是同一集合Qq1,q2,qm 中諸元素的不同排列。中諸元素的不同排列。n列可排列：列可排列：一個矩陣的每一列都是同一集合一個矩陣的每一列都是同一集合Pp1,p2,pn 中諸元素的不同排列。中諸元素的不同排列。n矩陣可排列（具有可排列性）：矩陣可排列（具有可排列性）：一個矩陣的行和列都是一個矩陣的行和列都是可排列的。可排列的。b 對稱離散信道定義對稱離散信道定義n 對稱離散信道：對稱離散信道：信道矩

32、陣具有可排列性。信道矩陣具有可排列性。n 對稱離散信道行、列集合的特點：對稱離散信道行、列集合的特點：n 當(dāng)當(dāng) mn 時，時，P 是是 Q 的子集。的子集。n 當(dāng)當(dāng) m=n 時，時，Q 和和 P 中的所有元素重合，中的所有元素重合，Q 和和 P 是是同一集合。同一集合。b 對稱離散信道定義對稱離散信道定義n舉例：舉例： 的子集的子集是是，對稱信道對稱信道QPnmPQP 61316161313131316161616131311 6131212161313121616131212是是同同一一集集合合和和，對對稱稱信信道道QPnmPb 對稱離散信道定義對稱離散信道定義n舉例：舉例： 7 . 01

33、. 02 . 01 . 02 . 07 . 0231613161616131313PP不對稱信道不對稱信道c 對稱離散信道的信道容量對稱離散信道的信道容量的的元元素素為為信信道道矩矩陣陣中中的的任任一一行行其其中中，因因此此：，無無關(guān)關(guān)的的常常數(shù)數(shù)，故故也也是是與與輸輸入入所所以以素素的的不不同同排排列列，一一行行都都是是同同一一集集合合諸諸元元由由于于信信道道的的對對稱稱性性，每每mmmimimiqqqqqqHYHHYHYXIHXYHXH,),()()();()/(2121 mjijijmiminiiijnimjijixypxypHHxpYHxypxypxpYHXYHYHYXI121211)

34、/(log)/()()()/(log)/()()()/()();(其其中中：c 對稱離散信道的信道容量對稱離散信道的信道容量n對稱離散信道的信道容量與強對稱的形式相同，只是這對稱離散信道的信道容量與強對稱的形式相同，只是這里里 mn。n由于對稱信道的特點，其信道矩陣中每一列都是由同一由于對稱信道的特點，其信道矩陣中每一列都是由同一集合中的諸元素的不同排列組成，所以保證了當(dāng)集合中的諸元素的不同排列組成，所以保證了當(dāng) X 等等概率分布時，概率分布時，Y 也是等概率分布，從而使也是等概率分布，從而使 Y 的熵達(dá)到的熵達(dá)到最大值最大值 log2m，即信道容量。，即信道容量。),(log)(max212

35、)(mmixpqqqHmHYHCi 信信道道容容量量為為： 準(zhǔn)對稱離散信道的信道容量準(zhǔn)對稱離散信道的信道容量 n準(zhǔn)對稱離散信道定義：準(zhǔn)對稱離散信道定義：一個一個 n 行行 m 列單符號離散信道矩列單符號離散信道矩陣陣 P 的行可排列，列不可排列。但是矩陣中的的行可排列，列不可排列。但是矩陣中的 m 列可列可分成分成 S 個不相交的子集，各子集分別有個不相交的子集，各子集分別有m1,m2,ms個元個元素素(m1+m2+ms=m)，由，由 n 行行 mk(k=1,2,s) 列組列組成的子矩陣成的子矩陣 Pk 具有可排列性。具有可排列性。n舉例舉例 兩個子矩陣均是可排列的，故信道兩個子矩陣均是可排列

36、的，故信道 P 是準(zhǔn)對稱信道。是準(zhǔn)對稱信道。 8181818122141412118181214181814121PPP子子矩矩陣陣相相交交的的子子集集，構(gòu)構(gòu)成成兩兩個個兩兩列列和和后后兩兩列列分分成成互互不不陣陣的的前前具具有有可可排排列列性性，但但把把矩矩行行具具有有可可排排列列性性，列列不不n準(zhǔn)對稱離散信道容量為：準(zhǔn)對稱離散信道容量為：n可以證明：可以證明：實現(xiàn)離散準(zhǔn)對稱無記憶信道信道容量的輸入實現(xiàn)離散準(zhǔn)對稱無記憶信道信道容量的輸入符號集的分布為等概率分布。符號集的分布為等概率分布。),()(log)(2121mkkskkqqqHypypmC skmypypkypkMypjkkkj,2,

37、1)()()()( 個個子子集集中中概概率率的的平平均均值值為為第第其其中中818181812P 8181214181814121P214141211Pn舉例舉例n已知準(zhǔn)對稱信道矩陣已知準(zhǔn)對稱信道矩陣 ，求其信，求其信道容量道容量 81818121/243212212222 mxypxpmxypxpmypypjijiiMypijiiMypjjj83412121/121211211111 mxypxpmxypxpmypypjijiiMypijiiMypjjjsignbitqqqHypypmCmkskkk/06125. 0,log-, 211(3) 離散信道容量的一般計算方法離散信道容量的一般計算

38、方法 如何計算離散信道容量如何計算離散信道容量 用拉格朗日乘子法求信道容量用拉格朗日乘子法求信道容量 一般離散信道容量計算步驟一般離散信道容量計算步驟 如何計算離散信道容量如何計算離散信道容量n由于由于 I(X;Y) 是輸入概率分布是輸入概率分布 p(xi) 的上凸函數(shù)，所以極大值一定存在。的上凸函數(shù)，所以極大值一定存在。n因為因為 I(X;Y) 是是 n 個變量個變量 p(x1),p(x2),p(xn) 的多元函數(shù)，并滿足的多元函數(shù)，并滿足 ，所以可用拉各朗日乘子法計算這個條件極值。，所以可用拉各朗日乘子法計算這個條件極值。 niixp11)(對一般離散信道求信道容量，就是在固定信道條件下，

39、對所有可對一般離散信道求信道容量，就是在固定信道條件下，對所有可能的輸入概率分布能的輸入概率分布 p(xi) ，求平均互信息的極大值。，求平均互信息的極大值。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 用拉各朗日乘子法求信道容量用拉各朗日乘子法求信道容量n引進(jìn)一個新函數(shù)引進(jìn)一個新函數(shù) 其中其中為拉各朗日乘子，解方程組：為拉各朗日乘子，解方程組： 可得一般信道容量可得一般信道容量 C。)20. 2 . 3(1)();(1 niixpYXI )21. 2 . 3(0)(1)();()(1 iniiixpxpYXIxp )/()()(

40、)22. 2 . 3()/()()(1ijijniijijxypxdpydpxypxpyp有由n將將 I(X;Y) 的表達(dá)式代入的表達(dá)式代入(3.2.21)得：得：0)(1)()/(log)/()()(log)(112112 ininiiijmjijimjjjxpxpxypxypxpypyp mjijijmjijjijxypxypexypypxyp121220)/(log)/(log)/()(log)/( 求求偏偏導(dǎo)導(dǎo)得得： nimjjijjiypxypyxpYXI112)()/(log)();(n整理得：整理得：)24. 2 . 3(log)(log()()/(log)/()(212211

41、eexpypxypxypxpniijijijnimji)23. 2 . 3(log)()/(log)/(122 mjjijijeypxypxyp 并并求求和和：上上式式兩兩邊邊乘乘以以其其中中：)(1)/(1imjijxpxyp n上式左邊為平均互信息的極大值，即：上式左邊為平均互信息的極大值，即：)28. 2 . 3(2)()26. 2 . 3()27. 2 . 3(Cjjjyp 得得：，再再由由和和信信道道矩矩陣陣求求出出由由得得：代代入入式式)23. 2 . 3()25. 2 . 3()25. 2 . 3(log2 eC mjjijmjjijmjijijCypxypCypxypxypxy

42、p121212)()log/()(log)/()/(log)/()26. 2 . 3()(log2Cypjj 令令：)27. 2 . 3()/()/(log)/(112 mjjijmjijijxypxypxyp 則則：)29. 2 . 3(2log22, 122)(12111 mjmjCmjCmjjjjjCypj 求求出出信信道道容容量量：求求和和得得：上上式式兩兩邊邊對對)22. 2 . 3()/()()()(1 niijijixypxpypxp求求：)28. 2 . 3(2)(Cjjyp求： 一般離散信道容量計算步驟一般離散信道容量計算步驟n一般離散信道容量的計算步驟總結(jié)如下：一般離散信道

43、容量的計算步驟總結(jié)如下：。求求由由；，求求由由；，求求由由；，求求由由)(, )/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj 注意：n 在第在第步信道容量步信道容量 C 被求出后，計算并沒有結(jié)束，必被求出后，計算并沒有結(jié)束，必須解出相應(yīng)的須解出相應(yīng)的 p(xi) ，并確認(rèn)所有的，并確認(rèn)所有的 p(xi)0 時，所求時，所求的的 C 才存在。才存在。n 在對在對 I(X;Y) 求偏導(dǎo)時，僅限制求偏導(dǎo)時，僅限制 ，并，并沒有限制沒有限制 p(xi)0 ，所以求出的，所以求出的

44、p(xi) 有可能為負(fù)值，有可能為負(fù)值，此時此時 C 就不存在，必須對就不存在，必須對 p(xi) 進(jìn)行調(diào)整，再重新求解進(jìn)行調(diào)整，再重新求解 C。n 現(xiàn)在一般采用計算機(jī)，運用迭代算法求解?，F(xiàn)在一般采用計算機(jī)，運用迭代算法求解。 niixp11)(注意：n 在第在第步信道容量步信道容量 C 被求出后，計算并沒有結(jié)束，必被求出后，計算并沒有結(jié)束，必須解出相應(yīng)的須解出相應(yīng)的 p(xi) ，并確認(rèn)所有的，并確認(rèn)所有的 p(xi)0 時，所求時，所求的的 C 才存在。才存在。n 在對在對 I(X;Y) 求偏導(dǎo)時，僅限制求偏導(dǎo)時，僅限制 ，并，并沒有限制沒有限制 p(xi)0 ，所以求出的，所以求出的 p

45、(xi) 有可能為負(fù)值，有可能為負(fù)值，此時此時 C 就不存在，必須對就不存在，必須對 p(xi) 進(jìn)行調(diào)整，再重新求解進(jìn)行調(diào)整，再重新求解 C。n 現(xiàn)在一般采用計算機(jī)，運用迭代算法求解?，F(xiàn)在一般采用計算機(jī)，運用迭代算法求解。 niixp11)(注意：n 在第在第步信道容量步信道容量 C 被求出后，計算并沒有結(jié)束，必被求出后，計算并沒有結(jié)束，必須解出相應(yīng)的須解出相應(yīng)的 p(xi) ，并確認(rèn)所有的，并確認(rèn)所有的 p(xi)0 時，所求時，所求的的 C 才存在。才存在。n 在對在對 I(X;Y) 求偏導(dǎo)時，僅限制求偏導(dǎo)時，僅限制 ，并，并沒有限制沒有限制 p(xi)0 ，所以求出的，所以求出的 p(

46、xi) 有可能為負(fù)值，有可能為負(fù)值，此時此時 C 就不存在，必須對就不存在，必須對 p(xi) 進(jìn)行調(diào)整，再重新求解進(jìn)行調(diào)整，再重新求解 C。n 現(xiàn)在一般采用計算機(jī)，運用迭代算法求解?，F(xiàn)在一般采用計算機(jī)，運用迭代算法求解。 niixp11)(例3.2.2：有一信道矩陣 ，求信道容量 C。 101 1222222211121)1 (log)1 (loglog1)1 (log)1 (log)1 (0)/(log)/()/(，有有：由由mjijijmjjijxypxypxyp 1212)1(1log2logCCmjj，有有由由 11121111)1 (1)1 ()(1)(,)1 (112)(22)(

47、1ypypypypCmjCmjjj有有：，由由因為因為是條件轉(zhuǎn)移概率是條件轉(zhuǎn)移概率 p(y1/x2) ，所以，所以 01，從而有：，從而有：p(x1)0， p(x2) 0 ，保證了，保證了 C 的存在。的存在。 11211111222111)1(1)1()(,)1(1)1()()1)()(,)()()(, )/()()(xpxpxpypxpxpypxypxpypniijij解得：解得：由由若信道的輸入和輸出隨機(jī)序列中的每一個隨機(jī)變量都取值若信道的輸入和輸出隨機(jī)序列中的每一個隨機(jī)變量都取值于同一符號集，并且隨機(jī)序列中每個隨機(jī)變量都是統(tǒng)計獨于同一符號集，并且隨機(jī)序列中每個隨機(jī)變量都是統(tǒng)計獨立的，這

48、種信道稱為離散無記憶多符號信道。立的，這種信道稱為離散無記憶多符號信道。若信道的輸入和輸出隨機(jī)序列中的每一個隨機(jī)變量可以取若信道的輸入和輸出隨機(jī)序列中的每一個隨機(jī)變量可以取值于不同的輸入符號集或輸出符號集，并且隨機(jī)序列中每值于不同的輸入符號集或輸出符號集，并且隨機(jī)序列中每個隨機(jī)變量都是統(tǒng)計獨立的，這種信道稱為一般離散無記個隨機(jī)變量都是統(tǒng)計獨立的，這種信道稱為一般離散無記憶信道。憶信道。；，其中的一個發(fā)出序列設(shè)信源NlxxxXXXXXXnlNN2, 1,2121P(YN/XN)NNXXXX21NNYYYY21；，其中的一個接收序列信宿NlyyyYYYYYYmlNN2, 1,2121這種信道相當(dāng)于

49、單符號離散信道在這種信道相當(dāng)于單符號離散信道在N個不同的時刻連續(xù)運個不同的時刻連續(xù)運用了用了N次，所以也可以稱為離散無記憶單符號次，所以也可以稱為離散無記憶單符號N次擴(kuò)展信次擴(kuò)展信道。道。 NlllNNNNNNXYpXYpXYpXYpXXXYYYpXYp122112121/離散無記憶多符號信道的傳遞概率等于各單位時刻相應(yīng)的離散無記憶多符號信道的傳遞概率等于各單位時刻相應(yīng)的單符號無記憶信道的傳遞概率的連乘。單符號無記憶信道的傳遞概率的連乘。 NNNNNNNNXYHYHYXHXHYXI/;離散無記憶多符號信道的平均互信息離散無記憶多符號信道的平均互信息 NlllNNNlllNNNNNNXYHXYH

50、YXHYXHYYYHYHXXXHXH112121/其中因為信道的輸入序列中的隨機(jī)變量取自同一信源符號集，因為信道的輸入序列中的隨機(jī)變量取自同一信源符號集，且輸出序列中的隨機(jī)變量都取同一信宿符號集，所有的信且輸出序列中的隨機(jī)變量都取同一信宿符號集，所有的信源符號通過相同的信道傳送到輸出端，因此滿足源符號通過相同的信道傳送到輸出端，因此滿足YXIYXIYXIYXINN;2211YXNIYXIYXINlllNN;1即信源無記憶時，無記憶信道的即信源無記憶時，無記憶信道的N次擴(kuò)展信道的平均互信次擴(kuò)展信道的平均互信息等于原來信道的平均互信息的息等于原來信道的平均互信息的N倍。倍。離散無記憶多符號信道的信

51、道容量離散無記憶多符號信道的信道容量 NCCYXIYXIYXICNllNlxpNlllxpNNxpN111;max;max;max離散無記憶多符號信道的信道容量等于原離散單符號信道離散無記憶多符號信道的信道容量等于原離散單符號信道的信道容量的的信道容量的N倍。倍。信道1P(Y/X)信道2P(Z/XY)XYZ在一些實際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如在一些實際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如n微波中繼接力通信就是一種串聯(lián)信道。微波中繼接力通信就是一種串聯(lián)信道。n信宿收到數(shù)據(jù)后再進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一信宿收到數(shù)據(jù)后再進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。信道P(Z/X)XZnxxxX,21nyyyY,21nzzzZ,21信道信道1的輸出的輸出Y與其輸入與其輸入X統(tǒng)計相關(guān)，信道統(tǒng)計相關(guān)，信道2的輸出的輸出Z與其與其輸入輸入Y統(tǒng)計相關(guān)，一般來講，統(tǒng)計相關(guān)，一般來講，Z與與X統(tǒng)計相關(guān)。統(tǒng)計相關(guān)。級聯(lián)的結(jié)構(gòu)決定了級聯(lián)的結(jié)構(gòu)決定了Z的取值在給定的取值在給定Y以后與以后與X將不再有關(guān)將不再有關(guān)在概率論中稱在概率論中稱