離散信道及信道容量課件

第三章離散信道及其信道容量3.1信道的數(shù)學(xué)模型及分類3.2平均互信息及平均條件互信息3.3平均互信息的特性3.4信道容量及其一般計(jì)算方法3.6離散無(wú)記憶擴(kuò)展信道及其信道容量3.7獨(dú)立并聯(lián)信道及其信道容量3.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.9信源與信道的匹配第三章離散信道及其信道容量3.1信道的數(shù)學(xué)模型及分類13.1信道的數(shù)學(xué)模型及分類3.1.1信道的分類3.1.2離散信道的數(shù)學(xué)模型3.1.3單符號(hào)離散信道的數(shù)學(xué)模型3.1信道的數(shù)學(xué)模型及分類3.1.1信道的分類3.1.23.1.1信道的分類兩端信道：只有一個(gè)輸入端和一個(gè)輸出端多端信道：在輸入端或輸出端至少有一端有兩個(gè)以上的用戶。

無(wú)反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)無(wú)影響。

反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)有影響。3.1.1信道的分類兩端信道：只有一個(gè)輸入端和一個(gè)輸出端3固定參數(shù)信道：信道參數(shù)不隨時(shí)間變化。時(shí)變參數(shù)信道：信道參數(shù)隨時(shí)間變化。離散信道：輸入和輸出的隨機(jī)序列取值都是離散的。連續(xù)信道：輸入和輸出的隨機(jī)序列取值都是連續(xù)的。半離散或半連續(xù)信道：一端序列取值是離散的一端序列取值是連續(xù)的。波形信道：輸入輸出都是時(shí)間上連續(xù)的隨機(jī)信號(hào)X(t),Y(t).固定參數(shù)信道：信道參數(shù)不隨時(shí)間變化。離散信道：輸入和輸出的隨43.1.2離散信道的數(shù)學(xué)模型信道信道統(tǒng)計(jì)特性用條件概率表示3.1.2離散信道的數(shù)學(xué)模型信道信道統(tǒng)計(jì)51、無(wú)干擾（無(wú)噪）信道2、有干擾無(wú)記憶信道無(wú)記憶信道：信道任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入信號(hào)，而與非對(duì)應(yīng)時(shí)刻的輸入符號(hào)及輸出符號(hào)無(wú)關(guān)。有干擾：輸出符號(hào)與輸入符號(hào)之間無(wú)確定的對(duì)應(yīng)關(guān)系，符合某種概率分布。1、無(wú)干擾（無(wú)噪）信道2、有干擾無(wú)記憶信道有干擾：輸出符號(hào)與6a1

b1a2

b2arbs3.1.3單符號(hào)離散信道的數(shù)學(xué)模型條件概率稱傳遞概率或轉(zhuǎn)移概率a17例3.1二元對(duì)稱信道——BSC

X

Ya1=0b1=0

a2=1b2=1且二元對(duì)稱信道的傳遞矩陣Y例3.1二元對(duì)稱信道——BSCX8例3.2二元?jiǎng)h除信道——BECa1=0a2=1b1=0b3=2b2=1例3.2二元?jiǎng)h除信道——BECa1=0a2=1b1=09單符號(hào)信道的傳遞概率用矩陣表示：簡(jiǎn)寫，信道傳遞矩陣為且矩陣中每行元素之和等于1。單符號(hào)信道的傳遞概率用矩陣表示：簡(jiǎn)寫10可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)輸出符號(hào)概率(3)后向概率可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)113.2平均互信息及平均條件互信息3.2.1信道疑義度3.2.2平均互信息3.2.3平均條件互信息3.2平均互信息及平均條件互信息3.2.1信道疑義度3.123.2.1信道疑義度1、先驗(yàn)熵——H（X）接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性的度量。2、后驗(yàn)熵——當(dāng)接收到輸出符號(hào)y＝bj后，輸入符號(hào)的概率分布成為，則關(guān)于x的平均不確定性為3.2.1信道疑義度1、先驗(yàn)熵——H（X）2、后驗(yàn)熵133、條件熵——信道疑義度——H（X|Y）表示輸出端收到輸出變量Y的符號(hào)后，對(duì)輸入端變量X尚存在的平均不確定性。3、條件熵——信道疑義度——H（X|Y）表示輸出端收到14討論：（1）一般情況下，H（X|Y）<H（X）說(shuō)明接收到Y(jié)后，關(guān)于輸出變量X的不確定性減少了。（2）對(duì)于無(wú)擾信道接收到Y(jié)后，完全消除了對(duì)X的不確定性，從而獲得全部信息。討論：153.2.2平均互信息1、定義式——平均互信息表示收到輸出符號(hào)Y后，平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。對(duì)稱性3.2.2平均互信息1、定義式——平均互信息表示收到輸出162、互信息定義式（1）可正、可負(fù)、可零（2）平均互信息永遠(yuǎn)不會(huì)取負(fù)值2、互信息定義式（1）可正、可負(fù)、可173、其它熵的定義式及計(jì)算損失熵——信道疑義度H（X|Y）表示信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。噪聲熵——散布度H（Y|X）表示在已知X的條件下，對(duì)于隨機(jī)變量Y尚存在的不確定性，此不確定性完全是由信道中的噪聲引起。3、其它熵的定義式及計(jì)算損失熵——信道疑義度H（X|Y）18維拉圖表示熵的公式維拉圖表示熵的公式194、兩種極端信道結(jié)論：（1）無(wú)噪一一對(duì)應(yīng)信道（2）輸入端與輸出端完全統(tǒng)計(jì)獨(dú)立接收到Y(jié)后不可能消除X的任何不確定性，也不能從X中獲得任何關(guān)于Y的信息量。結(jié)論：4、兩種極端信道結(jié)論：（1）無(wú)噪一一對(duì)應(yīng)信道（2）輸入端與輸203.2.3平均條件互信息1、條件互信息設(shè)有三個(gè)概率空間X、Y、Z，且有系統(tǒng)1系統(tǒng)2ZYX系統(tǒng)1YZX串出ZY系統(tǒng)1X并出3.2.3平均條件互信息1、條件互信息系統(tǒng)1系統(tǒng)2ZYX21定義：2、平均條件互信息定義：2、平均條件互信息223、聯(lián)合互信息4、平均聯(lián)合互信息3、聯(lián)合互信息4、平均聯(lián)合互信息233.3平均互信息的特性3.3.1平均互信息的非負(fù)性3.3.2平均互信息的極值性3.3.3平均互信息的交換性（對(duì)稱性）3.3.4平均互信息I(X;Y)的凸?fàn)钚?.3平均互信息的特性3.3.1平均互信息的非負(fù)性3.243.3.1平均互信息的非負(fù)性當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)，通過(guò)一個(gè)信道獲得的平均信息量不會(huì)是負(fù)值。也就是說(shuō)，觀察一個(gè)信道的輸出，從平均的角度來(lái)看總能消除一些不確定性，接收到一定的信息。3.3.1平均互信息的非負(fù)性當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)，通過(guò)一個(gè)信253.3.2平均互信息的極值性3.3.2平均互信息的極值性263.3.3平均互信息的交換性（對(duì)稱性）3.3.4平均互信息I(X;Y)的凸?fàn)钚?.3.3平均互信息的交換性（對(duì)稱性）3.3.4平均互信27定理3.1平均互信息是輸入信源概率分布的型凸函數(shù)。p0110p例3.4已知二元對(duì)稱信道輸入信源：求I（X；Y）定理3.1平均互信息是輸入信源28信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）有關(guān)。當(dāng)ω＝1/2（等概率分布）時(shí)，信道接收端平均每個(gè)符號(hào)獲得最大的信息量。信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）291.01.00.50I(X;Y)固定信道1-H(p)1.01.00.50I(X;Y)固定信道1-H(p)30定理3.2平均互信息是信道傳遞概率的型凸函數(shù).例3.4續(xù)固定時(shí)，是p的型凸函數(shù).當(dāng)信源固定后，選擇不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道的輸出端獲得關(guān)于信源的信息量是不同的。定理3.2平均互信息是信道傳遞311.00.50PI(X;Y)固定信源H()1.00.50PI(X;Y)固定信源H()323.4信道容量及其一般計(jì)算方法3.4.1離散無(wú)噪信道的信道容量3.4.2對(duì)稱離散信道的信道容量3.4.3準(zhǔn)對(duì)稱信道的信道容量3.4信道容量及其一般計(jì)算方法3.4.1離散無(wú)噪信道的33信息傳輸率R：信道中平均每個(gè)符號(hào)所能傳送的信息量。平均互信息：接收到Y(jié)后，平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。

符號(hào)信息傳輸率R：信道中平均每個(gè)符號(hào)所能傳送的信息量。平均互信息34相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：對(duì)于一個(gè)固定信道，總存在一種信源（概率分布），使傳輸每個(gè)符號(hào)平均獲得的信息量最大。這就是固定信道的最大信息傳輸率，定義為信道容量C。相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：35信道容量的物理意義：信道容量已與輸入信道的概率分布無(wú)關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。所以，信道容量是能完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘?。如?.4中信道容量的物理意義：如例3.4中363.4.1離散無(wú)噪信道的信道容量1、無(wú)噪無(wú)損信道3.4.1離散無(wú)噪信道的信道容量1、無(wú)噪無(wú)損信道372、有噪無(wú)損信道2、有噪無(wú)損信道382、有噪無(wú)損信道I（X;Y）H（Y|X）H（X）H（Y）2、有噪無(wú)損信道I（X;Y）H（Y|X）H（X）H（Y）392、有噪無(wú)損信道信道特點(diǎn)：信道的傳遞矩陣中每一列有一個(gè)也僅有一個(gè)非零的元素。I（X;Y）H（Y|X）H（X）H（Y）2、有噪無(wú)損信道信道特點(diǎn)：信道的傳遞矩陣中每一列有一個(gè)也僅有403、無(wú)噪有損信道111111I（X;Y）H（X|Y）H（Y）H（X）信道特點(diǎn)：信道的傳遞矩陣中每一行有一個(gè)也僅有一個(gè)非零的元素。3、無(wú)噪有損信道111111I（X;Y）H（X|Y）H（Y）413.4.2對(duì)稱離散信道的信道容量1、對(duì)稱離散信道3.4.2對(duì)稱離散信道的信道容量1、對(duì)稱離散信道42下列信道是否對(duì)稱離散信道？下列信道是否對(duì)稱離散信道？432、強(qiáng)對(duì)稱信道（均勻信道）3、對(duì)稱離散信道的信道容量2、強(qiáng)對(duì)稱信道3、對(duì)稱離散信44第三章離散信道及信道容量課件45第三章離散信道及信道容量課件463.4.3準(zhǔn)對(duì)稱信道的信道容量1、準(zhǔn)對(duì)稱信道定義信道矩陣Q可按列組合成對(duì)稱矩陣，QK.（每行元素相同，只是不同排列）判斷下列信道是否是準(zhǔn)對(duì)稱離散信道？3.4.3準(zhǔn)對(duì)稱信道的信道容量1、準(zhǔn)對(duì)稱信道定義信道矩陣Q472、準(zhǔn)對(duì)稱信道的信道容量（1）要求的輸入分布是等概率分布（2）信道容量Nk—行元素之和Mk

—列元素之和2、準(zhǔn)對(duì)稱信道的信道容量Nk—行元素之和48例：例：49例：例：503.6離散無(wú)記憶擴(kuò)展信道及其信道容量3.6.1數(shù)學(xué)模型3.6.2離散無(wú)記憶擴(kuò)展信道的信道容量3.6離散無(wú)記憶擴(kuò)展信道及其信道容量3.6.1數(shù)學(xué)模型3513.6.1數(shù)學(xué)模型1、單符號(hào)3.6.1數(shù)學(xué)模型1、單符號(hào)522、消息序列3、N次擴(kuò)展信道2、消息序列3、N次擴(kuò)展信道53N次擴(kuò)展信道矩陣N次擴(kuò)展信道矩陣54例3.11求二元無(wú)記憶對(duì)稱信道的二次擴(kuò)展信道。已知：解：同理得結(jié)論：對(duì)無(wú)記憶信道，由信道矩陣可求得N次擴(kuò)展信道矩陣。例3.11求二元無(wú)記憶對(duì)稱信道的二次擴(kuò)解：同理得結(jié)論：553.6.2離散無(wú)記憶擴(kuò)展信道的信道容量1、N次擴(kuò)展信道的平均互信息3.6.2離散無(wú)記憶擴(kuò)展信道的信道容量1、N次擴(kuò)展信道的平56若信道的輸入隨機(jī)序列為，通過(guò)信道傳輸，接收到的隨機(jī)序列為。若信道是無(wú)記憶的，則存在2、定理3.5—給出了I（X；Y）的極大值若信道的輸入隨機(jī)序列為573、定理3.6若信道的輸入隨機(jī)序列為，通過(guò)信道傳輸，接收到的隨機(jī)序列為。若信源是無(wú)記憶的，則存在—給出了I（X；Y）的極小值

3、定理3.6若信道的輸入隨機(jī)序列為584、離散無(wú)記憶信道、無(wú)記憶信源時(shí)當(dāng)信源無(wú)記憶時(shí)，無(wú)記憶的N次擴(kuò)展信道的平均互信息等于原信道平均互信息的N倍。4、離散無(wú)記憶信道、無(wú)記憶信源時(shí)當(dāng)信源無(wú)記憶時(shí)，無(wú)595、離散無(wú)記憶信道的N次擴(kuò)展信道的信道容量5、離散無(wú)記憶信道的N次擴(kuò)展信道的信60結(jié)論：離散無(wú)記憶的N次擴(kuò)展信道的信道容量等于單符號(hào)時(shí)信道容量的N倍.條件：（1）輸入信源是無(wú)記憶的;（2）每一輸入Xi的分布各自達(dá)到最佳分布，使傳輸達(dá)到信道容量C。一般情況下：結(jié)論：離散無(wú)記憶的N次擴(kuò)展信道的信道容量等于單符號(hào)時(shí)信道容量613.7獨(dú)立并聯(lián)信道及其信道容量N個(gè)獨(dú)立并聯(lián)信道中，每個(gè)信道輸出的Yi只與本信道的輸入Xi有關(guān)，與其它信道的輸入、輸出都無(wú)關(guān)，此并聯(lián)信道是無(wú)記憶的.3.7獨(dú)立并聯(lián)信道及其信道容量N個(gè)獨(dú)立并聯(lián)信道中，每個(gè)信62結(jié)論：（2）當(dāng)輸入符號(hào)相互獨(dú)立，且的概率分布達(dá)到各信道容量的最佳輸入分布時(shí)，根據(jù)定理3.5（1）獨(dú)立并聯(lián)信道的信道容量不大于各個(gè)信道容量之和。結(jié)論：（2）當(dāng)輸入符號(hào)相互獨(dú)立，且的概率分布達(dá)633.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.8.1串聯(lián)信道數(shù)學(xué)模型3.8.2串聯(lián)信道平均互信息3.8.3一般通信系統(tǒng)模型3.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.8.1串聯(lián)信道數(shù)643.8.1串聯(lián)信道數(shù)學(xué)模型（1）電視衛(wèi)星轉(zhuǎn)播

電視臺(tái)衛(wèi)星電視接收臺(tái)

二個(gè)信道的串聯(lián)信道信道（2）對(duì)接收信號(hào)進(jìn)行數(shù)據(jù)處理

衛(wèi)星測(cè)得數(shù)據(jù)轉(zhuǎn)換成脈沖判決器地面接收站（0、1二元碼）（0、1二元碼）（0、1碼）信道信道1、串聯(lián)信道舉例3.8.1串聯(lián)信道數(shù)學(xué)模型（1）電視衛(wèi)星轉(zhuǎn)播信道信道（2）652、串聯(lián)信道模型XZY2、串聯(lián)信道模型XZY66總信道XY總信道XY67證明：即證明：即683、馬爾可夫鏈串聯(lián)信道定義：滿足條件,稱這兩個(gè)信道的輸入和輸出X，Y，Z序列構(gòu)成馬爾可夫鏈。且3、馬爾可夫鏈串聯(lián)信道定義：滿足條件693.8.2串聯(lián)信道平均互信息1、定理3.7聯(lián)合變量XY與變量Z之間的平均互信息不小于變量Y與Z之間的平均互信息。當(dāng)且僅當(dāng)時(shí)實(shí)際的串聯(lián)信道，往往滿足馬爾可夫鏈條件。因此由Z獲得的關(guān)于Y的信息量即相同于由Z獲得的關(guān)于XY的聯(lián)合信息量。3.8.2串聯(lián)信道平均互信息1、定理3.7聯(lián)合變量XY與變702、定理3.8—數(shù)據(jù)處理定理定理3.8和推論表明通過(guò)串聯(lián)信道傳輸只會(huì)丟失更多的信息。若X、Y、Z組成一個(gè)馬爾可夫鏈，則有取等號(hào)條件推論：2、定理3.8—數(shù)據(jù)處理定理定理3.8和推論表明通過(guò)串聯(lián)71表明串聯(lián)第二個(gè)信道傳輸信息后不會(huì)增加信息的損失。結(jié)論：若第二個(gè)信道是數(shù)據(jù)處理系統(tǒng)，一般只會(huì)增加信息的損失，最多保持原來(lái)獲得的信息，不可能比原來(lái)獲得的信息有所增加。需要第二個(gè)信道是無(wú)噪無(wú)損信道當(dāng)滿足條件時(shí)則要滿足條件表明串聯(lián)第二個(gè)信道傳輸信息后不會(huì)增加信息的損失。結(jié)論：若第二723、一系列串聯(lián)信道的信道容量在任何信道傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。如果一旦在某一過(guò)程中丟失一些信息，以后的系統(tǒng)不管如何處理，都不能再恢復(fù)已丟失的信息。稱做信息不增性原理。X信道Ⅰ信道Ⅱ信道ⅢYW…Z3、一系列串聯(lián)信道的信道容量在任何信道傳輸系統(tǒng)中，最后獲得的73串連信道的信道容量：串接的無(wú)源數(shù)據(jù)處理信道越多，其信道容量可能會(huì)越小。當(dāng)串接信道數(shù)無(wú)限大時(shí)，信道容量可能趨于零。串連信道的信道容量：串接的無(wú)源數(shù)據(jù)處理信道越多，其信道74(2)兩個(gè)二元對(duì)稱信道串聯(lián)解：例3.13(1)信源輸出符號(hào)概率當(dāng)串聯(lián)級(jí)數(shù)n增加時(shí)，損失的信息增加由于實(shí)際信道中錯(cuò)誤概率p很小，若干次串接后信道容量的減少并不明顯。(2)兩個(gè)二元對(duì)稱信道串聯(lián)解：例3.13(1)信源輸出符75n級(jí)二元對(duì)稱信道串聯(lián)的I(X;Y)n級(jí)二元對(duì)稱信道串聯(lián)的I(X;Y)763.8.3一般通信系統(tǒng)模型信源信道信宿譯碼編碼即則為了獲得更有用的和更有效的信息，還是需要進(jìn)行適當(dāng)?shù)男畔⑻幚怼?.8.3一般通信系統(tǒng)模型信源信道信宿譯碼編碼即則為了獲得773.9信源與信道的匹配1、信源與信道匹配指信源與信道連接時(shí)，信息傳輸率達(dá)到了信道容量。2、信道剩余度信道剩余度信道相對(duì)剩余度=信源剩余度無(wú)損信道3.9信源與信道的匹配1、信源與信道匹配指信源與信道連接78信源剩余度3、對(duì)于無(wú)損信道，追求減少信源剩余度

——通過(guò)信源編碼，使信道的信息傳輸率R接近或等于信道容量。信源剩余度3、對(duì)于無(wú)損信道，追求減少信源剩余度79第三章離散信道及其信道容量3.1信道的數(shù)學(xué)模型及分類3.2平均互信息及平均條件互信息3.3平均互信息的特性3.4信道容量及其一般計(jì)算方法3.6離散無(wú)記憶擴(kuò)展信道及其信道容量3.7獨(dú)立并聯(lián)信道及其信道容量3.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.9信源與信道的匹配第三章離散信道及其信道容量3.1信道的數(shù)學(xué)模型及分類803.1信道的數(shù)學(xué)模型及分類3.1.1信道的分類3.1.2離散信道的數(shù)學(xué)模型3.1.3單符號(hào)離散信道的數(shù)學(xué)模型3.1信道的數(shù)學(xué)模型及分類3.1.1信道的分類3.1.813.1.1信道的分類兩端信道：只有一個(gè)輸入端和一個(gè)輸出端多端信道：在輸入端或輸出端至少有一端有兩個(gè)以上的用戶。

無(wú)反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)無(wú)影響。

反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)有影響。3.1.1信道的分類兩端信道：只有一個(gè)輸入端和一個(gè)輸出端82固定參數(shù)信道：信道參數(shù)不隨時(shí)間變化。時(shí)變參數(shù)信道：信道參數(shù)隨時(shí)間變化。離散信道：輸入和輸出的隨機(jī)序列取值都是離散的。連續(xù)信道：輸入和輸出的隨機(jī)序列取值都是連續(xù)的。半離散或半連續(xù)信道：一端序列取值是離散的一端序列取值是連續(xù)的。波形信道：輸入輸出都是時(shí)間上連續(xù)的隨機(jī)信號(hào)X(t),Y(t).固定參數(shù)信道：信道參數(shù)不隨時(shí)間變化。離散信道：輸入和輸出的隨833.1.2離散信道的數(shù)學(xué)模型信道信道統(tǒng)計(jì)特性用條件概率表示3.1.2離散信道的數(shù)學(xué)模型信道信道統(tǒng)計(jì)841、無(wú)干擾（無(wú)噪）信道2、有干擾無(wú)記憶信道無(wú)記憶信道：信道任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入信號(hào)，而與非對(duì)應(yīng)時(shí)刻的輸入符號(hào)及輸出符號(hào)無(wú)關(guān)。有干擾：輸出符號(hào)與輸入符號(hào)之間無(wú)確定的對(duì)應(yīng)關(guān)系，符合某種概率分布。1、無(wú)干擾（無(wú)噪）信道2、有干擾無(wú)記憶信道有干擾：輸出符號(hào)與85a1

b1a2

b2arbs3.1.3單符號(hào)離散信道的數(shù)學(xué)模型條件概率稱傳遞概率或轉(zhuǎn)移概率a186例3.1二元對(duì)稱信道——BSC

X

Ya1=0b1=0

a2=1b2=1且二元對(duì)稱信道的傳遞矩陣Y例3.1二元對(duì)稱信道——BSCX87例3.2二元?jiǎng)h除信道——BECa1=0a2=1b1=0b3=2b2=1例3.2二元?jiǎng)h除信道——BECa1=0a2=1b1=088單符號(hào)信道的傳遞概率用矩陣表示：簡(jiǎn)寫，信道傳遞矩陣為且矩陣中每行元素之和等于1。單符號(hào)信道的傳遞概率用矩陣表示：簡(jiǎn)寫89可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)輸出符號(hào)概率(3)后向概率可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)903.2平均互信息及平均條件互信息3.2.1信道疑義度3.2.2平均互信息3.2.3平均條件互信息3.2平均互信息及平均條件互信息3.2.1信道疑義度3.913.2.1信道疑義度1、先驗(yàn)熵——H（X）接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性的度量。2、后驗(yàn)熵——當(dāng)接收到輸出符號(hào)y＝bj后，輸入符號(hào)的概率分布成為，則關(guān)于x的平均不確定性為3.2.1信道疑義度1、先驗(yàn)熵——H（X）2、后驗(yàn)熵923、條件熵——信道疑義度——H（X|Y）表示輸出端收到輸出變量Y的符號(hào)后，對(duì)輸入端變量X尚存在的平均不確定性。3、條件熵——信道疑義度——H（X|Y）表示輸出端收到93討論：（1）一般情況下，H（X|Y）<H（X）說(shuō)明接收到Y(jié)后，關(guān)于輸出變量X的不確定性減少了。（2）對(duì)于無(wú)擾信道接收到Y(jié)后，完全消除了對(duì)X的不確定性，從而獲得全部信息。討論：943.2.2平均互信息1、定義式——平均互信息表示收到輸出符號(hào)Y后，平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。對(duì)稱性3.2.2平均互信息1、定義式——平均互信息表示收到輸出952、互信息定義式（1）可正、可負(fù)、可零（2）平均互信息永遠(yuǎn)不會(huì)取負(fù)值2、互信息定義式（1）可正、可負(fù)、可963、其它熵的定義式及計(jì)算損失熵——信道疑義度H（X|Y）表示信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。噪聲熵——散布度H（Y|X）表示在已知X的條件下，對(duì)于隨機(jī)變量Y尚存在的不確定性，此不確定性完全是由信道中的噪聲引起。3、其它熵的定義式及計(jì)算損失熵——信道疑義度H（X|Y）97維拉圖表示熵的公式維拉圖表示熵的公式984、兩種極端信道結(jié)論：（1）無(wú)噪一一對(duì)應(yīng)信道（2）輸入端與輸出端完全統(tǒng)計(jì)獨(dú)立接收到Y(jié)后不可能消除X的任何不確定性，也不能從X中獲得任何關(guān)于Y的信息量。結(jié)論：4、兩種極端信道結(jié)論：（1）無(wú)噪一一對(duì)應(yīng)信道（2）輸入端與輸993.2.3平均條件互信息1、條件互信息設(shè)有三個(gè)概率空間X、Y、Z，且有系統(tǒng)1系統(tǒng)2ZYX系統(tǒng)1YZX串出ZY系統(tǒng)1X并出3.2.3平均條件互信息1、條件互信息系統(tǒng)1系統(tǒng)2ZYX100定義：2、平均條件互信息定義：2、平均條件互信息1013、聯(lián)合互信息4、平均聯(lián)合互信息3、聯(lián)合互信息4、平均聯(lián)合互信息1023.3平均互信息的特性3.3.1平均互信息的非負(fù)性3.3.2平均互信息的極值性3.3.3平均互信息的交換性（對(duì)稱性）3.3.4平均互信息I(X;Y)的凸?fàn)钚?.3平均互信息的特性3.3.1平均互信息的非負(fù)性3.1033.3.1平均互信息的非負(fù)性當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)，通過(guò)一個(gè)信道獲得的平均信息量不會(huì)是負(fù)值。也就是說(shuō)，觀察一個(gè)信道的輸出，從平均的角度來(lái)看總能消除一些不確定性，接收到一定的信息。3.3.1平均互信息的非負(fù)性當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)，通過(guò)一個(gè)信1043.3.2平均互信息的極值性3.3.2平均互信息的極值性1053.3.3平均互信息的交換性（對(duì)稱性）3.3.4平均互信息I(X;Y)的凸?fàn)钚?.3.3平均互信息的交換性（對(duì)稱性）3.3.4平均互信106定理3.1平均互信息是輸入信源概率分布的型凸函數(shù)。p0110p例3.4已知二元對(duì)稱信道輸入信源：求I（X；Y）定理3.1平均互信息是輸入信源107信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）有關(guān)。當(dāng)ω＝1/2（等概率分布）時(shí)，信道接收端平均每個(gè)符號(hào)獲得最大的信息量。信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）1081.01.00.50I(X;Y)固定信道1-H(p)1.01.00.50I(X;Y)固定信道1-H(p)109定理3.2平均互信息是信道傳遞概率的型凸函數(shù).例3.4續(xù)固定時(shí)，是p的型凸函數(shù).當(dāng)信源固定后，選擇不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道的輸出端獲得關(guān)于信源的信息量是不同的。定理3.2平均互信息是信道傳遞1101.00.50PI(X;Y)固定信源H()1.00.50PI(X;Y)固定信源H()1113.4信道容量及其一般計(jì)算方法3.4.1離散無(wú)噪信道的信道容量3.4.2對(duì)稱離散信道的信道容量3.4.3準(zhǔn)對(duì)稱信道的信道容量3.4信道容量及其一般計(jì)算方法3.4.1離散無(wú)噪信道的112信息傳輸率R：信道中平均每個(gè)符號(hào)所能傳送的信息量。平均互信息：接收到Y(jié)后，平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。

符號(hào)信息傳輸率R：信道中平均每個(gè)符號(hào)所能傳送的信息量。平均互信息113相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：對(duì)于一個(gè)固定信道，總存在一種信源（概率分布），使傳輸每個(gè)符號(hào)平均獲得的信息量最大。這就是固定信道的最大信息傳輸率，定義為信道容量C。相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：114信道容量的物理意義：信道容量已與輸入信道的概率分布無(wú)關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。所以，信道容量是能完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘?。如?.4中信道容量的物理意義：如例3.4中1153.4.1離散無(wú)噪信道的信道容量1、無(wú)噪無(wú)損信道3.4.1離散無(wú)噪信道的信道容量1、無(wú)噪無(wú)損信道1162、有噪無(wú)損信道2、有噪無(wú)損信道1172、有噪無(wú)損信道I（X;Y）H（Y|X）H（X）H（Y）2、有噪無(wú)損信道I（X;Y）H（Y|X）H（X）H（Y）1182、有噪無(wú)損信道信道特點(diǎn)：信道的傳遞矩陣中每一列有一個(gè)也僅有一個(gè)非零的元素。I（X;Y）H（Y|X）H（X）H（Y）2、有噪無(wú)損信道信道特點(diǎn)：信道的傳遞矩陣中每一列有一個(gè)也僅有1193、無(wú)噪有損信道111111I（X;Y）H（X|Y）H（Y）H（X）信道特點(diǎn)：信道的傳遞矩陣中每一行有一個(gè)也僅有一個(gè)非零的元素。3、無(wú)噪有損信道111111I（X;Y）H（X|Y）H（Y）1203.4.2對(duì)稱離散信道的信道容量1、對(duì)稱離散信道3.4.2對(duì)稱離散信道的信道容量1、對(duì)稱離散信道121下列信道是否對(duì)稱離散信道？下列信道是否對(duì)稱離散信道？1222、強(qiáng)對(duì)稱信道（均勻信道）3、對(duì)稱離散信道的信道容量2、強(qiáng)對(duì)稱信道3、對(duì)稱離散信123第三章離散信道及信道容量課件124第三章離散信道及信道容量課件1253.4.3準(zhǔn)對(duì)稱信道的信道容量1、準(zhǔn)對(duì)稱信道定義信道矩陣Q可按列組合成對(duì)稱矩陣，QK.（每行元素相同，只是不同排列）判斷下列信道是否是準(zhǔn)對(duì)稱離散信道？3.4.3準(zhǔn)對(duì)稱信道的信道容量1、準(zhǔn)對(duì)稱信道定義信道矩陣Q1262、準(zhǔn)對(duì)稱信道的信道容量（1）要求的輸入分布是等概率分布（2）信道容量Nk—行元素之和Mk

—列元素之和2、準(zhǔn)對(duì)稱信道的信道容量Nk—行元素之和127例：例：128例：例：1293.6離散無(wú)記憶擴(kuò)展信道及其信道容量3.6.1數(shù)學(xué)模型3.6.2離散無(wú)記憶擴(kuò)展信道的信道容量3.6離散無(wú)記憶擴(kuò)展信道及其信道容量3.6.1數(shù)學(xué)模型31303.6.1數(shù)學(xué)模型1、單符號(hào)3.6.1數(shù)學(xué)模型1、單符號(hào)1312、消息序列3、N次擴(kuò)展信道2、消息序列3、N次擴(kuò)展信道132N次擴(kuò)展信道矩陣N次擴(kuò)展信道矩陣133例3.11求二元無(wú)記憶對(duì)稱信道的二次擴(kuò)展信道。已知：解：同理得結(jié)論：對(duì)無(wú)記憶信道，由信道矩陣可求得N次擴(kuò)展信道矩陣。例3.11求二元無(wú)記憶對(duì)稱信道的二次擴(kuò)解：同理得結(jié)論：1343.6.2離散無(wú)記憶擴(kuò)展信道的信道容量1、N次擴(kuò)展信道的平均互信息3.6.2離散無(wú)記憶擴(kuò)展信道的信道容量1、N次擴(kuò)展信道的平135若信道的輸入隨機(jī)序列為，通過(guò)信道傳輸，接收到的隨機(jī)序列為。若信道是無(wú)記憶的，則存在2、定理3.5—給出了I（X；Y）的極大值若信道的輸入隨機(jī)序列為1363、定理3.6若信道的輸入隨機(jī)序列為，通過(guò)信道傳輸，接收到的隨機(jī)序列為。若信源是無(wú)記憶的，則存在—給出了I（X；Y）的極小值

3、定理3.6若信道的輸入隨機(jī)序列為1374、離散無(wú)記憶信道、無(wú)記憶信源時(shí)當(dāng)信源無(wú)記憶時(shí)，無(wú)記憶的N次擴(kuò)展信道的平均互信息等于原信道平均互信息的N倍。4、離散無(wú)記憶信道、無(wú)記憶信源時(shí)當(dāng)信源無(wú)記憶時(shí)，無(wú)1385、離散無(wú)記憶信道的N次擴(kuò)展信道的信道容量5、離散無(wú)記憶信道的N次擴(kuò)展信道的信139結(jié)論：離散無(wú)記憶的N次擴(kuò)展信道的信道容量等于單符號(hào)時(shí)信道容量的N倍.條件：（1）輸入信源是無(wú)記憶的;（2）每一輸入Xi的分布各自達(dá)到最佳分布，使傳輸達(dá)到信道容量C。一般情況下：結(jié)論：離散無(wú)記憶的N次擴(kuò)展信道的信道容量等于單符號(hào)時(shí)信道容量1403.7獨(dú)立并聯(lián)信道及其信道容量N個(gè)獨(dú)立并聯(lián)信道中，每個(gè)信道輸出的Yi只與本信道的輸入Xi有關(guān)，與其它信道的輸入、輸出都無(wú)關(guān)，此并聯(lián)信道是無(wú)記憶的.3.7獨(dú)立并聯(lián)信道及其信道容量N個(gè)獨(dú)立并聯(lián)信道中，每個(gè)信141結(jié)論：（2）當(dāng)輸入符號(hào)相互獨(dú)立，且的概率分布達(dá)到各信道容量的最佳輸入分布時(shí)，根據(jù)定理3.5（1）獨(dú)立并聯(lián)信道的信道容量不大于各個(gè)信道容量之和。結(jié)論：（2）當(dāng)輸入符號(hào)相互獨(dú)立，且的概率分布達(dá)1423.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.8.1串聯(lián)信道數(shù)學(xué)模型3.8.2串聯(lián)信道平均互信息3.8.3一般通信系統(tǒng)模型3.8