第十一章網(wǎng)絡(luò)信息論初步(不講)

網(wǎng)絡(luò)信息論初步第11章本章介紹網(wǎng)絡(luò)信息論的最基本內(nèi)容，主要包括多址接入信道和退化廣播信道容量、以及相關(guān)信源編碼。本章主要內(nèi)容：

§11.1多址接入信道11.1.1二址接入信道的容量 11.1.2不同多址方式下的接入信道容量分析

11.1.3多址接入信道的容量§11.2廣播信道11.2.1退化的廣播信道11.2.2退化的廣播信道的容量區(qū)域§11.3相關(guān)信源編碼11.3.1典型的相關(guān)信源編碼模型11.3.2Slepian-Wolf相關(guān)信源編碼定理§11.1多址接入信道多址接入信道(MultipleAccessChannel,MAC)是有多個(gè)信道輸入信號，但只有一個(gè)信道輸出信號的信道。如圖11.1.1所示。圖11.1.1多源接入信道11.1.1二址接入信道的容量設(shè)信道的兩個(gè)輸入變量集合為和

，一個(gè)輸出變量集合為

，則信道特性可用

這一條件概率來表征。兩個(gè)編碼器分別將兩個(gè)信源符號

和

編成適合于信道傳輸?shù)男盘?/p>

和

；一個(gè)譯碼器由信道輸出譯出相應(yīng)的信源符號

和

。圖11.1.2典型的二址接入信道設(shè)的極大值分別為，則：即：同理：聯(lián)合限制：當(dāng)與相互獨(dú)立時(shí)，可得：定理11.1.1一個(gè)具有兩個(gè)輸入端的二址接入信道

的容量是一個(gè)滿足下面條件的凸集合：（11.1.1）

其中

例11.1.1二址接入二元乘積信道。設(shè)一個(gè)二址接入信道，輸入

，輸出

，且

，求該信道的容量區(qū)域。解：，，，

則速率對的可達(dá)區(qū)域?yàn)椋?/p>

比特/符號，

比特/符號，比特/符號。圖11.1.4無擾二元乘積信道的轉(zhuǎn)移概率圖

圖11.1.5二元乘積信道的容量區(qū)域例11.1.2二址接入二元?jiǎng)h除信道。設(shè)信道輸入信道輸出，且，也稱為二元和信道，如圖11.1.6，求信道的容量區(qū)域。解：設(shè)的概率：，

的概率：,

分別對和的偏導(dǎo)數(shù)為零，可得當(dāng)時(shí)，

圖11.1.6二元?jiǎng)h除信道圖11.1.7無擾二元?jiǎng)h除信道的轉(zhuǎn)移概率圖圖11.1.8二址離散信道的可達(dá)速率區(qū)域例11.1.3二址接入高斯信道。設(shè)

和

的概率密度分別為

和

。信道輸出

，

為高斯白噪聲設(shè)輸入均值為零，平均功率受限即

，，與

相互獨(dú)立。求信道容量區(qū)域。解：限平均功率時(shí)，隨機(jī)變量為高斯分布時(shí)熵最大，則11.1.2不同多址方式下的

接入信道容量分析在平均功率受限的約束下，采用時(shí)分多址方式和頻分多址方式的可達(dá)速率區(qū)域均小于理論給出的容量區(qū)域。但是通過設(shè)計(jì)時(shí)隙分配或帶寬分配的比例，時(shí)分多址與頻分多址又都可使速率達(dá)到理論容量域的最大值。碼分多址方式中，所有信道輸入信號都占用信道的全部帶寬和時(shí)間，各信號間不存在時(shí)隙分配或帶寬分配問題，因此碼分多址的可達(dá)速率區(qū)域與理論容量區(qū)域一致。11.1.3多址接入信道的容量給定條件概率，可分別限定各信源的信息傳輸速率：各種聯(lián)合約束條件，即對任一子集，當(dāng)各信源相互獨(dú)立時(shí)，有：廣播信道（BroadcastChannel,BC）與多址接入信道正好相反，它有一個(gè)輸入和多個(gè)輸出。§11.2廣播信道圖11.10廣播信道單輸入雙輸出的廣播信道：圖11.11單輸入雙輸出廣播信道退化的廣播信道：存在一個(gè)條件概率函數(shù)使得由級聯(lián)信道的性質(zhì)可知，、、構(gòu)成一個(gè)馬氏鏈，或者說在已知的條件下與無關(guān)。11.2.1退化的廣播信道圖11.12退化的廣播信道定理11.2通過退化廣播信道發(fā)送獨(dú)立信息的容量區(qū)域是滿足下式的所有的封閉集合的凸包：

輔助隨機(jī)變量的基數(shù)的界限是用凸集理論的標(biāo)準(zhǔn)方法來確定的。11.2.2退化的廣播信道的容量區(qū)域例11.4二元對稱廣播信道。求該信道的容量區(qū)域。解：圖11.12二元對稱廣播信道構(gòu)造一個(gè)二元隨機(jī)源U，設(shè)為對稱分布，錯(cuò)誤轉(zhuǎn)移概率為，得：由定理11.2得，速率區(qū)域?yàn)閳D11.14二元對稱廣播信道的容量區(qū)域例11.5高斯廣播信道。假設(shè)信道輸入信號的平均功率為。求該信道的容量區(qū)域。解：高斯廣播信道也屬于退化的廣播信道引入輔助隨機(jī)輸入集合將輸入信號功率分成和，用于傳輸?shù)钠骄β蕿椋糜趥鬏數(shù)钠骄β蕿榧矗簣D11.15高斯廣播信道圖11.16退化高斯廣播信道從單用戶高斯信道的理論可知，要使退化高斯信道的輸入輸出的平均互信息為最大，輸入X應(yīng)為高斯分布；當(dāng)輸入為高斯分布時(shí)因獨(dú)立，所以得容量區(qū)域?yàn)椋簣D11.17高斯廣播信道容量區(qū)域相關(guān)信源編碼進(jìn)行編碼時(shí)，力求對信源相關(guān)帶來的剩余度的壓縮，提高網(wǎng)絡(luò)傳輸?shù)挠行??！?1.3相關(guān)信源編碼圖11.19相關(guān)信源編碼的一般模型1.Berger相關(guān)信源編碼模型2.Slepian-Wolf相關(guān)信源編碼模型11.3.1典型的相關(guān)信源編碼模型圖11.20Berger相關(guān)信源編碼圖11.21Slepian-Wolf模型3.帶邊信息的相關(guān)信源編碼4.分集的相關(guān)信源編碼圖11.22帶邊信息的信源模型圖11.23分集的相關(guān)信源編碼模型由Slepian-Wolf相關(guān)信源編碼的模型，得定理11.3Slepian-Wolf相關(guān)信源編碼定理：對于相關(guān)信源編碼問題，可達(dá)速率的區(qū)域?yàn)椋喝魸M足上面的條件即可在接收端無差錯(cuò)地恢復(fù)和11.3.2Slepian-Wolf相關(guān)信源編碼定理例11.6

設(shè)信源

，信源

，其中

。，若

則有

，且

。由此得

比特。而比特（設(shè)）因此，在已知

的情況下要確定

，只需要0.5比特，而不是1比特。因?yàn)榕c具有相關(guān)性，在已知

時(shí)，已提供了一些關(guān)于

的信息量，因此只需獲得大于

比特的信息量，就能完全確定

。由此可見在對相關(guān)信源

和

進(jìn)行編碼時(shí)只要保證

就能完全確定

。例11.7有兩城市A和B，它們的天氣（晴，雨）的聯(lián)合概率如表所示：求理論上平均每天所需傳送的最小比特?cái)?shù)：（1）兩城市獨(dú)立進(jìn)行壓縮編碼傳送；（2）兩城市利用相關(guān)信源縮編碼傳送；（3）若國家氣象局已知A城市天氣的情況下，利用相關(guān)信源縮編碼傳送B城市天氣。ABB雨B晴A雨0．4450．055A晴0．0550．445解:（1）容易得兩城市的天氣分布情況均為雨和晴等概率出現(xiàn)。不考慮天氣在時(shí)間先后上的相關(guān)性，將A、B兩城市的天氣視為獨(dú)立等概信源，有獨(dú)立地對信源編碼傳送，即不考慮A、B兩城市之間天氣的關(guān)聯(lián)性。

這時(shí)實(shí)現(xiàn)無失真編碼傳輸，必須使編碼以后的信息傳輸速率滿足。因此獨(dú)立進(jìn)行壓縮編碼傳送兩城市天氣情況最小需要比特?cái)?shù)為2比特；

（2）利用相關(guān)信源編碼時(shí)，考慮在天氣方面兩城市之間的關(guān)聯(lián)性，可得聯(lián)合熵從而傳送每天兩城市的天氣情況最小需要

（3）在已知A城市天氣的情況下，利用相關(guān)信源編碼，只需要再傳條件熵比特就可以完全獲得B城市的天氣情況。例11.8U為含8個(gè)等概率符號的離散無記憶信源，符號集{0，1，…，7}，信源符號分別通過兩個(gè)信源編碼器:編碼器1將信源符號轉(zhuǎn)換成碼長為3的二進(jìn)代碼

，再通過信道1傳輸，輸出為

，即信源編碼1:

編碼器2按編碼器1的方式將信源符號轉(zhuǎn)換成二進(jìn)代碼后，將代碼分成4組：

再將每組的序號(符號集為：00，01，10，11）通過一個(gè)無噪聲信道傳輸，即信源編碼2：

信道1的作用是等概率地將輸入的每個(gè)長度為3的二元碼字變成與其漢明距離不大于1的另一個(gè)長度為3的二元碼字；接收端根據(jù)，對U作出判決。信源編碼1信源編碼2信道1譯碼器X1UX2Y1

圖11.26傳輸系統(tǒng)框圖1.分別求兩信源編碼器編碼后的信息傳輸速率

；2.求信道1的轉(zhuǎn)移概率矩陣和容量；

3.求4.設(shè)計(jì)譯碼器的譯碼原則，并指出譯碼器能否無差錯(cuò)的將信源符號譯出？解：1.信源編碼器1得信息傳輸速率比特/碼符號信源編碼器2得信息傳輸速率比特/碼符號；2.信道1的轉(zhuǎn)移概率矩陣：信道1為對稱信道，輸出等概時(shí)達(dá)到信道容量：3.因?yàn)閁到的變換是一一對應(yīng)的變換，所以U到的轉(zhuǎn)移概率矩陣與相同。因信道輸入等概率，因此輸出也等概，所以