信息與編碼理論 第2版 課件 2.6 離散多符號(hào)信源的信息熵

2.6離散多符號(hào)信源的信源熵1.離散平穩(wěn)無記憶信源為了研究離散平穩(wěn)無記憶信源的極限熵，把信源輸出的符號(hào)序列看成是一組一組發(fā)出的。例1：電報(bào)系統(tǒng)中，可以認(rèn)為每2個(gè)二進(jìn)制數(shù)字組成一組。這樣信源輸出的是由2個(gè)二進(jìn)制數(shù)字組成的一組組符號(hào)。這時(shí)可以將它們等效看成一個(gè)新的信源，它由四個(gè)符號(hào)00，01，10，11組成，把該信源稱為二進(jìn)制無記憶信源的二次擴(kuò)展。例2：如果把每三個(gè)二進(jìn)制數(shù)字組成一組，這樣長(zhǎng)度為3的二進(jìn)制序列就有8種不同的符號(hào)，可等效成一個(gè)具有8個(gè)符號(hào)的信源，把它稱為二進(jìn)制無記憶信源的三次擴(kuò)展信源。1.離散平穩(wěn)無記憶信源（續(xù)1）假定信源輸出的是N長(zhǎng)符號(hào)序列，把它看成是一個(gè)新信源，稱為離散平穩(wěn)無記憶信源的N次擴(kuò)展信源，用N維離散隨機(jī)矢量來表示：N次擴(kuò)展信源的概率空間為：

是一個(gè)長(zhǎng)為N的序列，1.離散平穩(wěn)無記憶信源（續(xù)2）N次擴(kuò)展信源的熵：離散平穩(wěn)無記憶信源的N次擴(kuò)展信源的熵等于離散單符號(hào)信源熵的N倍：1.離散平穩(wěn)無記憶信源（續(xù)3）離散平穩(wěn)無記憶信源的熵率：2.離散平穩(wěn)有記憶信源實(shí)際信源常常是有記憶信源。設(shè)信源輸出N長(zhǎng)的符號(hào)序列，則可以用N維隨機(jī)矢量來表示信源，其中每個(gè)隨機(jī)變量之間存在統(tǒng)計(jì)依賴關(guān)系。N維隨機(jī)矢量的聯(lián)合熵為：2.離散平穩(wěn)有記憶信源（續(xù)1）定理3.1-(1)：對(duì)于離散平穩(wěn)信源，條件熵隨N的增加是遞減的。證明:所以條件熵隨著N的增加是遞減的。這表明記憶長(zhǎng)度越長(zhǎng)，條件熵越小，也就是序列的統(tǒng)計(jì)約束關(guān)系增加時(shí)，不確定性減小。2.離散平穩(wěn)有記憶信源（續(xù)2）定理3.1-(2)：對(duì)于離散平穩(wěn)信源，N給定時(shí)平均符號(hào)熵大于等于條件熵，證明:所以，即N給定時(shí)平均符號(hào)熵大于等于條件熵。2.離散平穩(wěn)有記憶信源（續(xù)2）定理3.1-(3)：對(duì)于離散平穩(wěn)信源，平均符號(hào)熵隨N的增加是遞減的。證明:所以，，即序列的統(tǒng)計(jì)約束關(guān)系增加時(shí)，由于符號(hào)間的相關(guān)性，平均每個(gè)符號(hào)所攜帶的信息量減少。

2.離散平穩(wěn)有記憶信源（續(xù)1）定理：對(duì)于離散平穩(wěn)信源，如果，則有

2.離散平穩(wěn)有記憶信源（續(xù)2）證明：（1）首先證明極限條件熵存在：只要X的樣本空間有限，則必然有。根據(jù)條件熵的性質(zhì)，以及信源的平穩(wěn)性有

是單調(diào)有界數(shù)列，極限必然存在，且極限為0和之間的某一個(gè)值。2.離散平穩(wěn)有記憶信源（續(xù)3）（2）對(duì)于收斂的實(shí)數(shù)列，有以下結(jié)論成立：如果是一個(gè)收斂的實(shí)數(shù)列，那么利用上述結(jié)論可以推出：2.離散平穩(wěn)有記憶信源（續(xù)6）結(jié)論：

如何從理論上解釋這個(gè)結(jié)果？3.馬爾可夫信源(1)定義(2)熵率(3)馬爾可夫信源馬爾可夫鏈(4)馬爾可夫鏈3.馬爾可夫信源（續(xù)1）

實(shí)際的有記憶信源，符號(hào)間的相關(guān)性可以追溯到很遠(yuǎn)，使得熵率的計(jì)算比較復(fù)雜。馬爾可夫信源是一類相對(duì)簡(jiǎn)單的有記憶信源。信源在某一時(shí)刻發(fā)出某一符號(hào)的概率，除與該符號(hào)有關(guān)外，只與此前發(fā)出的有限個(gè)符號(hào)有關(guān)。(1)定義3.馬爾可夫信源（續(xù)2）對(duì)于m階馬