第一章信息論基礎(chǔ)

1、第一章信息論基礎(chǔ)第一章信息論基礎(chǔ)1.1 1.1 信息的概念信息的概念物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。信息是物質(zhì)和能量在空間和時間上分布的不均勻程度，或者說信息是關(guān)于事物運(yùn)動的狀態(tài)和規(guī)律。 通信系統(tǒng)中形式上傳輸?shù)氖窍ⅲ瑢嵸|(zhì)上傳輸?shù)氖切畔?，消息中包含信息，消息是信息的載體。信息論信息論是研究信息的基本性質(zhì)及度量方法，研究信息的獲取、傳輸、存儲和處理的一般規(guī)律的科學(xué)。 對于信息論的研究，一般劃分為三個不同的范疇： 廣義信息論，包括信息論在自然和社會中的新的應(yīng)用，如模式識別、機(jī)器翻譯、自學(xué)習(xí)自組織系統(tǒng)、心理學(xué)、生物學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)等一切與信息問題有關(guān)的領(lǐng)域。 實用信息論，研究信息傳輸和處

2、理問題，也就是狹義信息論方法在調(diào)制解調(diào)、編碼譯碼以及檢測理論等領(lǐng)域的應(yīng)用。 狹義信息論，即通信的數(shù)學(xué)理論，主要研究狹義信息的度量方法，研究各種信源、信道的描述和信源、信道的編碼定理。1.2 1.2 信息傳輸系統(tǒng)信息傳輸系統(tǒng) 通信的基本問題是在彼時彼地精確地或近似地再現(xiàn)此時此地發(fā)出的消息。 各種通信系統(tǒng)，一般可概括為圖1.1所示的統(tǒng)計模型： 干擾源干擾源 信道信道信道譯碼器信道譯碼器信道編碼器信道編碼器信源譯碼器信源譯碼器信源譯碼器信源譯碼器信宿信宿信源信源等效信源等效信宿等效干擾信道圖圖1-1 信息傳輸系統(tǒng)模型信息傳輸系統(tǒng)模型 這個模型包括以下五個部分：3. 信道信道 信道是信息傳輸和存儲的媒

3、介。4. 譯碼器譯碼器 譯碼是編碼的逆變換，分為信道譯碼和信源譯碼。5. 信宿信宿 信宿是消息的接收者。2. 編碼器編碼器 編碼器是將消息變成適合于信道傳送的信號的設(shè)備。1.信源信源 信源是產(chǎn)生消息的源。編碼器信源編碼器，提高傳輸效率信道編碼器，提高傳輸可靠性1.3 1.3 離散信源及其數(shù)學(xué)模型離散信源及其數(shù)學(xué)模型 信源是產(chǎn)生消息的源，根據(jù)X的不同情況，信源可分為以下類型： 根據(jù)信源的統(tǒng)計特性，離散信源又分為兩種：離散信源離散信源 消息集X為離散集合。波形信源波形信源 時間連續(xù)的信源。連續(xù)信連續(xù)信源源 時間離散而空間連續(xù)的信源。無記憶信源無記憶信源 X的各時刻取值相互獨(dú)立。有記憶信源有記憶信源

4、 X的各時刻取值互相有關(guān)聯(lián)。 離散無記憶信源離散無記憶信源(Discrete Memoryless Source，簡記為DMS)輸出的是單個符號的消息，不同時刻發(fā)出的符號之間彼此統(tǒng)計獨(dú)立，而且符號集中的符號數(shù)目是有限的或可數(shù)的。離散無記憶信源的數(shù)學(xué)模型為離散型的概率空間，即： )()()()(2211IIxqxxqxxqxXqXq(xi )：信源輸出符號消息xi的先驗概率; 滿足：0 q(xi) 1，1 i I Iiixq11)( 實際情況下，信源輸出的消息往往不是單個符號，而是由許多不同時刻發(fā)出的符號所組成的符號序列。設(shè)序列由N個符號組成，若這N個符號取自同一符號集 a1 , a2 , ,

5、ak，并且先后發(fā)出的符號彼此間統(tǒng)計獨(dú)立，我們將這樣的信源稱作離散無記憶的離散無記憶的N維擴(kuò)展信源維擴(kuò)展信源。其數(shù)學(xué)模型為N維概率空間： )()()()(2211mqqqqx xx xx xx xx xx xX XX Xmx為各種長為N的符號序列，x = x1 x2 xN ，xi a1 , a2 , , ak ，1 i N，序列集X = a1a1 a1 , a1a1 a2 , , akak ak ，共有kN種序列，x X。 序列的概率q (x) = q (x1x2 xN) = Niixq1)( 中、英文句子中前后出現(xiàn)的漢字、字母往往是有依賴的。這種依賴性我們稱作有記憶。用聯(lián)合概率空間X , q

6、(X )來描述離散有記憶信源的輸出。信源在i時刻發(fā)出什么符號與i時刻以前信源所發(fā)出的符號有關(guān)，即由條件概率p (xixi-1 xi-2 )確定。如果該條件概率分布與時間起點(diǎn)無關(guān)，只與關(guān)聯(lián)長度有關(guān)，則該信源為平穩(wěn)信源平穩(wěn)信源。對于離散平穩(wěn)有記憶信源，有：p (x1 = a1) = p (x2 = a1) = p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = p (x3x2 x1) = p (x4x3 x2) = p (xi+Lxi+L-1 xi+L-2 xi) = p (xj+Lxj+L-1 xj+L-2 xj) = 【例例1.4】 某離散平穩(wěn)信源 ，設(shè)信源發(fā)出

7、的符號只與前一個符號有關(guān)，其關(guān)聯(lián)程度用表1-1所示聯(lián)合概率p (xi xj )表示（xi為前一個符號，xj為后一個符號）：922931940)(XqX xj xi01201/31/9011/91/181/6201/61/18表1-1 p (xi xj ) 滿足 ，由 可計算出當(dāng)已知前一個符號xi時，后一個符號xj為0、1、2時的概率各為多少：)()(ijjixqxxp)()()(ijiijxqxxpxxp xj xi01203/41/4011/31/61/2203/41/4表1-2 p (xjxi) 馬爾可夫信源輸出的消息序列與信源的狀態(tài)滿足下列條件： (1)某一時刻信源的輸出只與當(dāng)時的信源狀

8、態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)。p (xr = al er = si , er-1 = st , er-2 = sn , ) = p (xr = al er = si)，滿足 。klirlrseaxp11)(2)某一時刻信源所處的狀態(tài)只由當(dāng)前的輸出符號和前一時刻的狀態(tài)唯一決定。當(dāng)時齊馬爾可夫信源達(dá)到平穩(wěn)分布時，滿足 10p (er+1 = sj xr = al , er = si) =iittitispsspspsp1)(0)()()(1.4 1.4 離散信道及其數(shù)學(xué)模型離散信道及其數(shù)學(xué)模型 信道是信息傳輸?shù)耐ǖ?，如圖1-3，信道可看作一個變換器，它將輸入消息x變換成輸出消息y，以信道轉(zhuǎn)移概率p

9、(yx )來描述信道的統(tǒng)計特性。 信道信道p ( y y x x)xy圖1-3 信道模型 無記憶信源無記憶信源 X的各時刻取值相互獨(dú)立。有記憶信源有記憶信源 X的各時刻取值互相有關(guān)聯(lián)。信道可以按不同的特性進(jìn)行分類，根據(jù)輸入和輸出信號的特點(diǎn)可分為：波形信道波形信道 信道的輸入和輸出都是時間上連續(xù)，并且取值也連續(xù)的隨機(jī)信號。 半連續(xù)信道半連續(xù)信道 輸入序列和輸出序列一個是離散的，而另一個是連續(xù)的。連續(xù)信道連續(xù)信道 信道的輸入和輸出都是時間上離散、取值連續(xù)的隨機(jī)序列，又稱為模擬信道離散信道離散信道 信道的輸入和輸出都是時間上離散、取值離散的隨機(jī)序列。離散信道有時也稱為數(shù)字信道。根據(jù)統(tǒng)計特性，即轉(zhuǎn)移概

10、率p (yx )的不同，信道又可分類為： 離散無記憶信道的輸入和輸出消息都是離散無記憶的單個符號，輸入符號xi a1 , a2 , , ak，1 i I，輸出符號yj b1 , b2 , , bD ，1 j J，信道的特性可表示為轉(zhuǎn)移概率矩陣：)()()()()()()()()(212222111211IJIIJJxypxypxypxypxypxypxypxypxypP Pp (yjxi )對應(yīng)為已知輸入符號為xi，當(dāng)輸出符號為yj時的信道轉(zhuǎn)移概率，滿足0 p (yjxi ) 1，且 。 Jjijxyp11)(將信道特性表示成圖1-4的形式： p (y1 x1 )x1x2y1y2xIyJp (

11、yJ xI )圖1-4 單符號離散無記憶信道1.二元對稱信道二元對稱信道(Binary Symmetric Channel，簡記為BSC)這是一種很重要的信道，它的輸入符號x 0 , 1，輸出符號y 0 , 1，轉(zhuǎn)移概率p (yx )如圖1-5所示信道特性可表示為信道矩陣 ，其中p稱作信道錯誤概率。pppp11P P下面列舉幾種常見的離散無記憶信道： 圖2-10 二進(jìn)制對稱信道1-p0 p 1011-p p 圖1-6 無干擾信道210011112 2. 無干擾信道無干擾信道 這是一種最理想的信道，也稱作無噪信道，信道的輸入和輸出符號間有確定的一一對應(yīng)關(guān)系， p (yx ) = 如圖1-6三元無

12、干擾信道中，x , y 0 , 1 , 2 ，對應(yīng)信道矩陣是單位矩陣 01yxyx100010001P P3. 二元刪除信道二元刪除信道 對于接收符號不能作出肯定或否定判決時，引入刪除符號，表示對該符號存有疑問，作為有誤或等待得到更多信息時再作判決。二元刪除信道如圖1-7所示，輸入符號x 0 , 1，輸出符號y 0 , e , 1，轉(zhuǎn)移概率矩陣為pppp0110P P4.二元二元Z信道信道 二元Z信道如圖1-8所示，信道輸入符號x 0 , 1，輸出符號y 0 , 1轉(zhuǎn)移概率矩陣為 pp101P P101011-p p1-p0 p1011-p p e圖圖1-7 二元刪除信道二元刪除信道 圖圖1-

13、8 1-8 二元二元Z Z信道信道 N維離散擴(kuò)展信道的輸入和輸出都是長為N的消息序列，如圖1-9 所示：圖1-9 N維擴(kuò)展信道y y = y1y2 yNx x = x1 x2 xNp ( y y x x) 信道信道若xi a1 , a2 , , ak ，yj b1 , b2 , , b D ，1 i , j N，則長為N的輸入消息序列集為X = a1a1 a1 , a1a1 a2 , , akak ak ， x X，輸出消息序列集為Y = b1b1 b1 , b1b1 b2 , , bDbD bD ， y Y。信道的特性用序列的轉(zhuǎn)移概率p (yx) = p ( y1 y2yN x1 x2xN

14、) 描述。 當(dāng)信道無記憶時， ，滿足 Niiixypp1)()(x xy y1)(Y Yx xy yp【例例1.6】 求二元對稱信道的二維擴(kuò)展信道。 解： 二元對稱信道的輸入符號x 0 , 1，輸出符號y 0 , 1，轉(zhuǎn)移概率p (00) = p (11) = 1- p ， p (10) = p (01) = p，二維擴(kuò)展后輸入和輸出都是長為2的符號序列，x 00 , 01 , 10 , 11， y 00 , 01 , 10 , 11。可以計算出序列的轉(zhuǎn)移概率p (yx)分別為：p (0000) = p (00) p (00) = (1 - p)2p (0100) = p (00) p (10) = (1 - p)p p (1001) = p (10) p (01) = p2p (1111) = p (11) p (11) = (