信息論基礎(chǔ)：第二章 信息量

1、第二章 信息量信源的數(shù)學(xué)模型與分類 離散信源和信息測(cè)度信息熵及其性質(zhì)離散無記憶信源的信息熵馬爾可夫信源信源數(shù)學(xué)模型與分類信源研究的方法：結(jié)論：對(duì)信源的研究，就是對(duì)信源發(fā)出消息的研究?jī)?nèi)在性質(zhì)外在形式信源的性質(zhì)發(fā)出的消息人的性格品質(zhì)言行舉止信息是抽象的，而消息是具體的。消息是信息的攜帶者。信源數(shù)學(xué)模型與分類信源的分類： 主要根據(jù)輸出消息的隨機(jī)性質(zhì)進(jìn)行分類。 離散連續(xù)信源(根據(jù)輸出消息的取值范圍)單符號(hào)多符號(hào)信源（根據(jù)輸出消息的數(shù)目）信源數(shù)學(xué)模型與分類信源的分類： 如果輸出是一個(gè)符號(hào)，隨機(jī)變量離散單符號(hào)信源：消息取值的數(shù)目有限. 例：擲一個(gè)骰子連續(xù)單符號(hào)信源：消息取值的數(shù)目無限. 例：某一時(shí)刻的溫度

2、信源數(shù)學(xué)模型與分類信源的分類：如果輸出是一串符號(hào)，隨機(jī)序列 例：連續(xù)兩次擲骰子的點(diǎn)數(shù)對(duì) 某天的早中晚溫度變化情況信源的分類： 輸出的消息在時(shí)間上和取值上都是連續(xù)的，如語音信號(hào)、電視圖像信號(hào)，稱為波形信源。這種信源只能用隨機(jī)過程來表示。信源數(shù)學(xué)模型與分類信源的數(shù)學(xué)模型：信源發(fā)出消息具有隨機(jī)性 在信源發(fā)出消息之前，消息是不確定的 用隨機(jī)量表示信源發(fā)出的消息，隨機(jī)量可以是隨機(jī)變量、隨機(jī)序列、隨機(jī)過程。信源數(shù)學(xué)模型與分類 為了表示一個(gè)隨機(jī)量，用隨機(jī)量的的樣本空間及其概率空間來描述 可能輸出的所有消息各種消息的可能性結(jié)論：信源的數(shù)學(xué)模型，就是消息的概率空間 消息的概率空間信源的數(shù)學(xué)模型：信源數(shù)學(xué)模型與分

3、類例 擲一個(gè)六面均勻的骰子，每次出現(xiàn)朝上一面的點(diǎn)數(shù)是隨機(jī)的，以朝上一面的點(diǎn)數(shù)作為隨機(jī)實(shí)驗(yàn)的結(jié)果，并把實(shí)驗(yàn)結(jié)果看作一個(gè)信源的輸出，試建立數(shù)學(xué)模型。A：1，2，3，4，5，6狀態(tài)空間離散隨機(jī)變量XP：p(X=1)=1/6，p(X=2)=1/6， p(X=6)= 1/6 概率空間信源的數(shù)學(xué)模型：X P=X： 1 2 3 4 5 6P(X)： 1/6 1/6 1/6 1/6 1/6 1/6信源空間信源數(shù)學(xué)模型與分類信源數(shù)學(xué)模型與分類說明：不同的信源，對(duì)應(yīng)與不同的數(shù)學(xué)模型。即不同的信源概率空間。用概率空間來表示信源的數(shù)學(xué)模型，有一個(gè)必要的前提，這就是信源可能發(fā)出的各種不同符號(hào)的概率必須是先驗(yàn)可知的，或是

4、事先可測(cè)定的。這是香農(nóng)信息論的一個(gè)基本假說。判斷數(shù)學(xué)模型是否完備條件：概率空間是完備，即概率之和為1。信息量自信息量 定義：某一信源發(fā)出某一消息，所攜帶的信息大小。簡(jiǎn)稱自信息或信息量信息量單位： 比特（2為底）；比特/符號(hào) 奈特（e為底）；奈特/符號(hào) 哈特（10為底）； 哈特/符號(hào)注：一般使用比特為單位，底數(shù)2可以省略不寫信息量自信息量例：一條電線上串聯(lián)了8只燈泡，這個(gè)8只燈泡損壞的概率是相同的，現(xiàn)有且只有一只燈泡損壞，造成串聯(lián)的燈泡都不亮，需要用電壓表測(cè)量來判斷哪一只燈泡損壞，需要測(cè)量多少次？第一次第二次第三次信息量自信息量在測(cè)量以前: 8個(gè)燈泡都有可能，不確定性相對(duì)非常大；第一次測(cè)量后:

5、定位到前4個(gè)燈泡中有一個(gè)出了問題，不確定性降低了一些；第二次測(cè)量后: 定位到前兩個(gè)燈泡其中一個(gè)燈泡出了問題，不確定性進(jìn)一步降低；第三次測(cè)量后: 完全清楚了哪一只燈泡有問題，不確定性完全消除。信息量自信息量結(jié)論：獲得信息量的過程，實(shí)際上就是減少或消除不確定性的過程收到消息獲得的信息量不確定性減少的量收到消息前不確定性收到消息后不確定性 信息量自信息量 現(xiàn)在定量研究信息量的大小。因?yàn)樾畔⒘看笮∨c概率有關(guān)，所以可以設(shè) 從定性的角度分析了信息量的大小是由事件發(fā)生的概率所決定的，概率大的事件信息量??；概率小的事件信息量大。信息量自信息量遞減性：如果極值性：可加性：獨(dú)立事件的聯(lián)合信息量是兩兩信息量之和，即

6、如果 和 相互獨(dú)立，則 ，則信息量自信息量最后得出信息量的函數(shù)為：信息量自信息量小技巧：計(jì)算器使用方法，如A事件發(fā)生的概率是1/3，信息量為：信息量自信息量計(jì)算上例中每次測(cè)量所獲取的信息量信息量自信息量不確定性減少的量 第一次測(cè)量前，8個(gè)里面選一個(gè)，不確定性是，第一次測(cè)量后，4個(gè)里面選一個(gè)，不確定性為獲得的信息量為1bit 計(jì)算上例中每次測(cè)量所獲取的信息量信息量自信息量同理第二次測(cè)量前不確定性是2bit，測(cè)量后不確定性是1bit，獲得的信息量是1bit；第三次測(cè)量前不確定性為1bit，測(cè)量后不確定性完全消失，為0，獲得的信息量為1bit。 信息量自信息量例：美國(guó)大選，小布什支持率60，戈?duì)栔С?/p>

7、率40。（1）詢問1個(gè)美國(guó)人，其支持小布什，問從中獲得的信息量。（2）詢問30個(gè)美國(guó)人，10人支持小布什，20人支持戈?duì)?，問從中獲得的信息量。構(gòu)造信源的概率空間問一個(gè)人，如果回答支持小布什，獲得的信息量是 ；如果回答支持戈?duì)枺?獲得的信息量是 30個(gè)人中，每個(gè)人的回答都不受其他人回答的影響，因此都是相互獨(dú)立。利用信息量的可加性 信息量自信息量條件自信息量和聯(lián)合自信息量 自信息量是針對(duì)一維空間的，即發(fā)生一個(gè)隨機(jī)事件的信息量。還有很多是多個(gè)隨機(jī)事件一起發(fā)生，并且之間存在相關(guān)性，因此存在多維自信息量 條件自信息量和聯(lián)合自信息量 條件自信息量：在已知事件 的條件下，事件 發(fā)生的概率為條件概率 ，那么條

8、件自信息量定義為聯(lián)合自信息量：事件 ， 同時(shí)發(fā)生的概率是 ，那么聯(lián)合自信息量為 條件自信息量和聯(lián)合自信息量 例：某住宅區(qū)共建有若干棟商品房，每棟有5個(gè)單元，每單元有12戶，甲要到該住宅區(qū)找他的朋友乙，若：甲只知道乙住在第五棟，他一次找到乙的概率有多大？他能得到多少信息量？甲除了知道乙住在第五棟外，還知道乙住在3單元，他一次找到乙的概率有多大？他能得到多少信息量？條件自信息量和聯(lián)合自信息量 解：住在某一單元的概率是： 知道單元，住在某一戶的條件概率為既不知道單元，也不知道哪一戶，一次能夠找到朋友家的概率為知道是哪個(gè)單元，不知道是哪一戶，一次能找到朋友家的概率為信息熵及其性質(zhì) 信息量是指某一個(gè)信源

9、發(fā)出某一消息（事件）的消息大小，信源可以發(fā)出的消息有很多，發(fā)出的消息不同，所攜帶的信息量也不同，如： 發(fā)出的消息有4個(gè)：晴、多云、陰、雨。發(fā)出晴時(shí)，信息量是1bit，發(fā)多云時(shí)信息量是2bit，發(fā)陰或雨時(shí)信息量是3bit，發(fā)出的消息不一樣，所攜帶的信息量也不一樣。 信息熵的定義 研究整個(gè)信源的信息測(cè)度，即把信源作為一個(gè)整體，研究信源每發(fā)出一個(gè)消息，平均能夠攜帶多少信息量，即求信息量的統(tǒng)計(jì)平均。 求統(tǒng)計(jì)平均就是求“數(shù)學(xué)期望”，公式是：信息熵的定義 現(xiàn)在知道每個(gè)消息發(fā)出后攜帶的信息量，也知道每個(gè)消息發(fā)出的概率，因此很容易求出信源的平均信息量： 這個(gè)平均信息量就是信源的熵。熵的單位是bit/符號(hào)，表示

10、平均每一個(gè)信源符號(hào)攜帶了多少bit的信息量 。信息熵的定義 由于 規(guī)定 分子分母都為無窮大時(shí)，用到了無窮大量的比較，對(duì)分母分子同時(shí)求導(dǎo)數(shù)信息熵 例：計(jì)算英文信源的信息熵（不考慮標(biāo)點(diǎn)）英文信源X的信源空間：狀態(tài)空間： X=A，B，C，Z ,空格等概率出現(xiàn)信息熵字母空格ETOANIRS概率0.19560.1050.0720.06540.0630.0590.0550.0540.052字母HDLCFUMPY概率0.0470.0350.0290.0230.02250.02250.0210.01750.012字母WGBVKXJQZ概率0.0120.0110.01050.0080.0030.0020.001

11、0.0010.001信息熵 【課堂練習(xí)】 擲一均勻硬幣直到出現(xiàn)“正面”為止。令X表示表示所需擲的次數(shù)，求隨機(jī)變量X的信息熵H(X) 信息熵 【課堂作業(yè)】 關(guān)鍵構(gòu)造信源的信源空間。狀態(tài)空間： X ：1,2,3,概率空間： 擲一次硬幣出現(xiàn)“正面”的概率 PX=1=2-1 信息熵?cái)S兩次硬幣出現(xiàn)“正面”的概率 PX=2=第一次出現(xiàn)“反面” 第二次出現(xiàn)“正面” =2-1 .2-1= 2-2擲n次硬幣出現(xiàn)“正面”的概率PX=2=第一次出現(xiàn)“反面” 第n-1次出現(xiàn)“正面”.第n次出現(xiàn)“正面” =2-(n-1) .2-1= 2-n信息熵由此可以得到信源X的信源空間：信息熵的意義 例：布袋中80個(gè)紅球，20個(gè)白

12、球。摸一個(gè)，放回去再摸，摸了n次( ),求每次摸到球的平均信息量。1、信源輸出的每個(gè)符號(hào)所攜帶的平均信息量 信息熵的意義 信源概率空間是 摸一個(gè)，放回去再摸，摸了n次， ，共摸了0.8n次紅球，0.2n次白球總的信息量是：平均到每一次的信息量為 信息熵的意義 2、表示信源的隨機(jī)性，熵越大，說明信源的隨機(jī)性越大。 熵表示的是不確定性的大小，也是隨機(jī)性的大小。熵越大，隨機(jī)性也就越大。信息熵的意義 下面三個(gè)信源信息熵的意義 前者兩個(gè)輸出的兩個(gè)消息，發(fā)生的概率是一樣的，所以在信源發(fā)出消息之前，較難判斷出發(fā)出的什么消息，不確定性大，隨機(jī)性就大； 而第三個(gè)信源中，一個(gè)消息有99可能性發(fā)生，另一個(gè)消息只有1

13、可能發(fā)生，因此在信源發(fā)出消息前，很容易判斷出發(fā)的是第一個(gè)消息，不確定性較小，隨機(jī)性也較小。 信息熵的意義 三個(gè)信源的信息熵分別為：這樣也就驗(yàn)證了隨機(jī)性越大，熵越大的性質(zhì)熵的性質(zhì)矢量形式 參數(shù)是q個(gè)消息發(fā)生的概率，即消息的概率分布。因此我們可以表示成矢量形式 本質(zhì)上都是一樣的， 表示的熵對(duì)信源的表述更直觀，描述了信源的概率分布，如 熵的性質(zhì)非負(fù)性對(duì)稱性確定性擴(kuò)展性可加性遞增性凸?fàn)钚詷O值性熵的性質(zhì)非負(fù)性 H(X)= H(p1，p2，pr) 0熵的性質(zhì)非負(fù)性 物理意義： 從總體上看，一般情況下，信源在沒有發(fā)出符號(hào)之前，總存在一定的不確定性；在發(fā)出符號(hào)以后，總可以提供一定的信息量。熵的性質(zhì)對(duì)稱性 證明

14、過程很簡(jiǎn)單：熵的性質(zhì)對(duì)稱性 熵的性質(zhì)對(duì)稱性 物理意義： 信源的信息熵只與概率空間的總體結(jié)構(gòu)，即與信源的總體統(tǒng)計(jì)特性有關(guān)，與各概率分量和各信源符號(hào)的對(duì)應(yīng)關(guān)系，乃至各信源符號(hào)本身無關(guān)。它是信源的總體的信息測(cè)度。熵的性質(zhì)確定性 物理含義： 確知信源，在發(fā)送符號(hào)前，不存在不確定性；在發(fā)符號(hào)后，不提供任何信息量。 熵的性質(zhì)擴(kuò)展性 證明：求和式的前幾項(xiàng)都是一樣的，只看最后兩項(xiàng)展開 熵的性質(zhì)擴(kuò)展性 這個(gè)結(jié)果表明，信源空間中增加某些概率很?。ń咏诹悖┑姆?hào)，雖然當(dāng)信源發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但終因其概率接近于零，在信源熵中占有很小的比重，以至可使總的信源熵值維持不變。這一性質(zhì)充分體現(xiàn)了熵是信源總體

15、平均信息量的特性。熵的性質(zhì)強(qiáng)可加性 例：每一天的天氣情況和當(dāng)天的溫度之間有一定的關(guān)系。設(shè)當(dāng)天的天氣情況為信源X當(dāng)天的氣溫為信源Y，顯然Y與X之間存在較強(qiáng)的相關(guān)性，我們?cè)O(shè)這種相關(guān)性為：?jiǎn)栴}1: 已知天氣情況，當(dāng)天平均溫度情況如何？問題2: 該地方平均天氣，溫度情況？ 聯(lián)合熵 聯(lián)合隨機(jī)變量XY的熵稱為聯(lián)合熵。條件熵 條件熵 其中： H(X|Y=yj)表示收到符號(hào)yj后有關(guān)X的平均不確定性。 H(X|Y)表示收到信道所有輸出后，有關(guān)X的后驗(yàn)平均不確定性。熵的性質(zhì)強(qiáng)可加性 兩個(gè)相互關(guān)聯(lián)的信源X、Y，相互關(guān)聯(lián)：在信源X發(fā)某一符號(hào)ai的前提下，信源Y按一定的概率發(fā)某一符號(hào)bj 聯(lián)合熵H(XY)和條件熵H(

16、X|Y)之間的關(guān)系？XY信源有nm個(gè)消息熵的性質(zhì)強(qiáng)可加性 即聯(lián)合信源（XY）的概率空間是完備集。對(duì)信源（XY）來說，其熵值熵的性質(zhì)強(qiáng)可加性 熵的性質(zhì)強(qiáng)可加性 H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)熵的性質(zhì)強(qiáng)可加性 XY的聯(lián)合熵等于X的先驗(yàn)熵加上已知X條件下Y的條件熵；也等于Y的先驗(yàn)熵加上已知Y條件下X的條件熵熵的性質(zhì)可加性 當(dāng)信源X和Y之間統(tǒng)計(jì)獨(dú)立，即條件熵小于無條件熵 從概念上說，已知Y時(shí)X的不確定度應(yīng)小于對(duì)Y一無所知時(shí)X的不確定度。這是因?yàn)橐阎猋后，從Y得到了一些關(guān)于X的信息，從而使X的不確定度下降。 推論 條件多的熵小于條件少的熵 平均互信息量 定義：平均

17、互信息量 互信息I(X;Y)是X的熵與已知Y的條件下X的條件熵之差?？梢哉J(rèn)為，X是系統(tǒng)的輸入，Y為系統(tǒng)的輸出，那么由輸出端已知Y的情況下，使X的不肯定性減小了。也就是通過Y獲得了信息量，即通過Y獲得了關(guān)于X的信息量，當(dāng)然沒有輸入也就沒有輸出。 各種熵和平均互信息量的關(guān)系熵的性質(zhì)遞增性 H的下標(biāo)表示的是信源可能發(fā)出消息的數(shù)目熵的性質(zhì)遞增性 原信源中的有一個(gè)消息被分成了多個(gè)消息，這多個(gè)消息的概率之和等于原消息的概率，則這個(gè)新信源的熵增加了。 理解：原來有2種選擇，現(xiàn)在是3種選擇，不確定性（隨機(jī)性）肯定增大。熵的性質(zhì)遞增性 舉例：世界杯冠軍歸屬，在決賽前 在第二場(chǎng)半決賽前 直觀上理解：爭(zhēng)奪冠軍的球隊(duì)

18、增加了，不確定性就增大了，熵也就大了 熵的性質(zhì)遞增性 例. 運(yùn)用熵的遞增性，計(jì)算 解：熵的性質(zhì)凸?fàn)钚?是上凸函數(shù)。 熵的性質(zhì)凸?fàn)钚?二元信源熵的性質(zhì)凸?fàn)钚?三元信源熵的性質(zhì)極值性 又稱最大離散熵定理。 信源發(fā)出消息的概率分布越平均，信源的熵就越大。當(dāng)消息是等概率分布時(shí)，信源的不確定最大，信源的熵達(dá)到最大值。熵的性質(zhì)極值性 信息論不等式 熵的性質(zhì)極值性 香農(nóng)不等式 離散無記憶擴(kuò)展信源 之前研究的是單符號(hào)信源，用隨機(jī)變量表示?，F(xiàn)在研究輸出是多符號(hào)序列的信源，用隨機(jī)序列表示。其中每一個(gè)分量 都是一個(gè)隨機(jī)變量 例：擲N次骰子的結(jié)果離散無記憶擴(kuò)展信源 我們研究輸出是符號(hào)序列的信源中的一個(gè)特列離散無記憶擴(kuò)

19、展信源【定義】在離散序列 中(1)每個(gè)分量相互獨(dú)立，即 (2)各分量滿足相同的概率空間 則稱這個(gè)序列描述的信源是離散無記憶擴(kuò)展信源 離散無記憶擴(kuò)展信源 例子：擲N次骰子的結(jié)果，構(gòu)成序列 其中 代表每一次擲骰子的結(jié)果。 根據(jù)經(jīng)驗(yàn)，每一次擲骰子的結(jié)果都是相互獨(dú)立的，與其它次擲骰子的結(jié)果沒有關(guān)聯(lián)；另外，每一次擲骰子的結(jié)果滿足相同的概率分布，都是16等概率分布，這樣就滿足了離散無記憶信源的兩個(gè)條件離散無記憶擴(kuò)展信源數(shù)學(xué)表示 每一個(gè)分量可以表示成隨機(jī)變量 ，滿足概率空間N次擴(kuò)展信源可以表示成隨機(jī)序列 ，概率空間為：離散無記憶擴(kuò)展信源數(shù)學(xué)表示 樣本空間有 項(xiàng)，因?yàn)槊總€(gè)分量有q個(gè)樣本，一共有N個(gè)分量，組合起

20、來就有 項(xiàng)其中任何一個(gè)樣本 ，分別是 的取值，取值范圍是 離散無記憶擴(kuò)展信源熵 根據(jù)分量 的數(shù)學(xué)模型，可以求出分量的熵 ，要求N次擴(kuò)展信源的熵 直觀上分析，信源輸出的隨機(jī)序列，每個(gè)分量相互獨(dú)立，又滿足相同的概率空間。這樣，這N個(gè)隨機(jī)變量構(gòu)成的序列可以分解成為N個(gè)相同且相互獨(dú)立的分量，序列中所攜帶的信息量，實(shí)際上應(yīng)該是平均分布在這N個(gè)分量上的，因此應(yīng)該有 離散無記憶擴(kuò)展信源熵 證明：很簡(jiǎn)單，用到了熵的可加性。已知 ， 間相互獨(dú)立，且 ，根據(jù)熵的可加性有：離散無記憶擴(kuò)展信源熵 例：離散無記憶擴(kuò)展信源中，每一個(gè)分量的概率空間為 驗(yàn)證二次擴(kuò)展信源的概率空間中離散無記憶擴(kuò)展信源熵 直接用熵的定義 離散平

21、穩(wěn)信源離散無記憶擴(kuò)展信源，是一種特殊的、最簡(jiǎn)單的離散平穩(wěn)信源，序列中各分量之間相互獨(dú)立。 一般的離散平穩(wěn)信源，各分量之間是存在著相關(guān)性。信源輸出0 1 1 0 1 1 1 0 1 0信源輸出0 1 1 0 1 1 1 0 1 0離散平穩(wěn)信源簡(jiǎn)單來說，隨機(jī)序列的概率分布與時(shí)間推移無關(guān)，則是離散平穩(wěn)信源。具體來說，對(duì)于隨機(jī)序列 ，任取兩個(gè)分量 、 ，如果一維概率分布相同， ，一維平穩(wěn)信源除此之外，如果二維聯(lián)合概率分布也相同， ，二維平穩(wěn)信源 離散平穩(wěn)信源的數(shù)學(xué)定義 除此之外，如果三維聯(lián)合概率分布也相同， ，三維平穩(wěn)信源依次類推，可以得到四維、五維，直到N維平穩(wěn)信源。如果各維的聯(lián)合概率分布都相等，則

22、稱信源為完全平穩(wěn)信源，簡(jiǎn)稱平穩(wěn)信源。 性質(zhì) 當(dāng) ，平均符號(hào)熵 HN (X ) 和條件熵都趨近于離散平穩(wěn)的極限熵其中 稱為離散平穩(wěn)信源的極限熵，或熵率。極限熵考慮了所有維的依賴關(guān)系，是最準(zhǔn)確的。意義：當(dāng)依賴關(guān)系無限長(zhǎng)時(shí)，平均符號(hào)熵和條件熵都趨近于平穩(wěn)信源的極限熵 離散平穩(wěn)信源的性質(zhì) 馬爾可夫信源研究意義 但在實(shí)際應(yīng)用中, 要測(cè)定無窮階聯(lián)合概率和條件概率分布是很困難的, 所以想要計(jì)算無限記憶長(zhǎng)度的極限熵也是非常困難的，但對(duì)一些特殊的信源, 如馬爾可夫(Markov) 信源, 當(dāng)N 的取值不大時(shí), 其平均符號(hào)熵HN (X ) 或條件熵H (XN|X1X2XN - 1) 就非常接近于H, 因此, 可用

23、條件熵或平均符號(hào)熵作為極限熵的近似值。馬爾可夫性 馬爾可夫性（或稱為無后致性或無后效性）：過程或系統(tǒng)在時(shí)刻t0所處的狀態(tài)為已知的條件下，過程在時(shí)刻t t0所處狀態(tài)的條件分布與過程在時(shí)刻t0之前所處的狀態(tài)無關(guān)。 也可以這樣來敘述：過程的“現(xiàn)在”已經(jīng)知道的條件下，其“將來”不依賴于“過去”。 具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程。事件和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈，簡(jiǎn)稱為馬氏鏈。馬爾可夫鏈 設(shè)隨機(jī)序列Xn , nT為一馬爾可夫過程。T=0，1，2，.為離散時(shí)間參數(shù)集合，S為Xn可能取值的全體組成的狀態(tài)空間集S=S1 ，S2.Sj滿足： 則稱隨機(jī)過程Xn 為一個(gè)馬爾可夫鏈。馬爾可夫鏈

24、的應(yīng)用 馬爾可夫鏈通常用來建模排隊(duì)理論和統(tǒng)計(jì)學(xué)中的建模，還可作為信號(hào)模型用于熵編碼，如算法編碼。馬爾可夫鏈也有眾多的生物學(xué)應(yīng)用，特別是人口過程，可以幫助模擬生物人口過程的建模。馬爾可夫鏈的性質(zhì) 馬氏鏈在時(shí)刻m的k步轉(zhuǎn)移概率定義為：在某時(shí)刻m，隨機(jī)變量序列X(m)取值i（處于i狀態(tài)）的條件下，經(jīng)過k個(gè)單位時(shí)間（或經(jīng)過k步），在（m+k）時(shí)刻，X(m+k)取值j（處于j 狀態(tài)）的條件概率.稱為時(shí)刻m的k步轉(zhuǎn)移概率 . 轉(zhuǎn)移概率不依賴與m無關(guān)時(shí)，稱為齊次馬爾可夫鏈。馬爾可夫鏈的性質(zhì)(續(xù)) 設(shè)P表示一步轉(zhuǎn)移概率Pij所組成的矩陣，且狀態(tài)空間為I=1，2，稱為系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率矩陣。馬爾可夫鏈的性質(zhì)

25、(續(xù))C-K方程 C-K方程 由C-K方程，當(dāng)馬爾可夫鏈為齊次時(shí)，其n維分布和一維分布為： 任一馬爾可夫鏈的有限維分布均可由其初始分布及一步轉(zhuǎn)移概率給出。C-K方程 由C-K方程，當(dāng)馬爾可夫鏈為齊次時(shí)，其n步轉(zhuǎn)移概率矩陣滿足例：天氣預(yù)報(bào)問題 設(shè)任意相繼的兩天中，雨天轉(zhuǎn)晴天的概率為1/3，晴天轉(zhuǎn)雨天的概率為1/2，任一天晴或雨是互為逆事件。又已知5月1日為晴天，問5月3日為晴天，5月5日為雨天的概率各等于多少？ 馬爾可夫鏈的性質(zhì)(續(xù)) 解： 關(guān)鍵問題如何確定和劃分系統(tǒng)存在的狀態(tài)數(shù)馬爾可夫鏈的性質(zhì)(續(xù)) 以0表示晴天狀態(tài)，以1表示雨天狀態(tài)，于是天氣預(yù)報(bào)模型可以看作是一個(gè)兩狀態(tài)的馬爾可夫鏈。 按照每

26、天的天氣狀況劃分系統(tǒng)狀態(tài)。則其一步轉(zhuǎn)移概率為：馬爾可夫鏈的性質(zhì)(續(xù))馬爾可夫鏈的性質(zhì)(續(xù))則其一步轉(zhuǎn)移概率矩陣為：則其兩步轉(zhuǎn)移概率矩陣為：故5月1日為晴天，5月3日為晴天的概率為： 馬爾可夫鏈的性質(zhì)(續(xù))則其四步轉(zhuǎn)移概率矩陣為：故5月1日為晴天，5月5日為晴天的概率為： 馬爾可夫鏈的性質(zhì)(續(xù))馬爾可夫信源基本概念 【定義】如果信源的輸出序列Xk和信源所處的狀態(tài)Sk滿足以下兩個(gè)條件，該信源為馬爾可夫信源。2、信源時(shí)刻所處的狀態(tài)由前一時(shí)刻所處的狀態(tài)，和前一時(shí)刻輸出的符號(hào)唯一確定。1、某時(shí)刻信源輸出的符號(hào)只與信源所處的狀態(tài)相關(guān)，與以前的狀態(tài)及以前的輸出無關(guān)。馬爾可夫信源基本概念 第一個(gè)條件表明：信源

27、的輸出只與信源當(dāng)前所處的狀態(tài)有關(guān)，而與其他因素?zé)o關(guān)。第二個(gè)條件表明：在特定的狀態(tài)下，發(fā)出特定的符號(hào)后，信源狀態(tài)發(fā)生跳變，且必定100跳變到一個(gè)特定的狀態(tài)。 馬爾可夫信源隨著時(shí)間的變化，由一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)，通常用狀態(tài)圖來描述。所謂狀態(tài)圖，就是將每個(gè)狀態(tài)用一個(gè)圓圈和所對(duì)應(yīng)的狀態(tài)表示。從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)用帶箭頭的圓弧線表示 香農(nóng)線圖 馬爾可夫信源狀態(tài)轉(zhuǎn)移圖 描述馬爾可夫信源，我們可以用馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖(香農(nóng)線圖) 1、把每個(gè)可能出現(xiàn)的狀態(tài)用一個(gè)圓圈表示；2、圓圈之間用有向線段連接，表示狀態(tài)的遷 移；3、在有向線段旁邊，注明發(fā)出的符號(hào) 及在 狀態(tài) 下發(fā)出 的條件概率 .馬爾可夫信

28、源狀態(tài)轉(zhuǎn)移圖 例：設(shè)信源描述的是一個(gè)信源符號(hào)表為0，1的簡(jiǎn)單馬爾可夫信源，其條件概率為：馬爾可夫信源狀態(tài)轉(zhuǎn)移圖 m階馬爾可夫信源 m階馬爾可夫信源，在任何時(shí)刻i，輸出分量的概率分布只與前面m個(gè)分量的輸出有關(guān)，我們可以把前面m個(gè)分量組成的序列做為i時(shí)刻信源所處的狀態(tài) 如果信源的符號(hào)集是則信源的狀態(tài)共有個(gè) 信源輸出消息后，其系統(tǒng)所處的狀態(tài)與符號(hào)序列有關(guān)。m階馬爾可夫信源舉例：二元二階馬爾可夫信源。二元指信源可能的輸出有2種取值，如0，1；二階是說信源輸出與前兩個(gè)分量有關(guān)這樣的馬爾可夫信源共有個(gè) 狀態(tài)，是前兩個(gè)分量可能取值的排列組合。m階馬爾可夫信源 對(duì)于m階馬爾可夫信源，狀態(tài)的定義已經(jīng)給出，狀態(tài)轉(zhuǎn)

29、移圖也可以很容易的畫出。 例：二元二階馬爾可夫信源，樣本空間為(0, 1)，條件概率為：要求畫出狀態(tài)轉(zhuǎn)移圖。m階馬爾可夫信源馬爾可夫信源狀態(tài)轉(zhuǎn)移圖 馬爾可夫信源的性質(zhì) 馬爾可夫信源的性質(zhì)取決于狀態(tài)轉(zhuǎn)移的情況。信源輸出0 1 1 0 1 1 1 0 0 1例：二元二階馬爾可夫信源狀態(tài)：E1=00 E2=01 E3=11 E4=10狀態(tài)轉(zhuǎn)移E2E3E4E2E3E3E4E1E2各態(tài)歷經(jīng)的馬爾可夫信源所謂各態(tài)歷經(jīng)(遍歷)的馬爾可夫信源，就是由任意狀態(tài)出發(fā)能夠轉(zhuǎn)移到其它任意狀態(tài)的馬爾可夫信源 ，即系統(tǒng)狀態(tài)可以互通。各態(tài)歷經(jīng)的馬爾可夫信源【定理】：對(duì)于有限平穩(wěn)的馬爾可夫信源，如存在一個(gè)正整數(shù) ， 對(duì)一切

30、都有 則對(duì)每個(gè) 都存在不依賴于i的極限。 即稱這馬爾可夫信源是各態(tài)歷經(jīng)的。式(1)中的極限概率是方程組滿足條件 的唯一解。各態(tài)歷經(jīng)的馬爾可夫信源各態(tài)歷經(jīng)性的判別： 一般而言，對(duì)于有限齊次馬氏鏈來說，可以由給定的一步轉(zhuǎn)移概率矩陣P(1)得到n步轉(zhuǎn)移概率矩陣P(n)，如中沒有“0”元素，則可判斷它具有各態(tài)歷經(jīng)性。狀態(tài)極限概率的求解： 采用矩陣的形式表示狀態(tài)極限概率pj所應(yīng)滿足的方程： 各態(tài)歷經(jīng)的馬爾可夫信源其中，矩陣（1）和（3）是狀態(tài)極限概率組成的概率矢量行矩陣的轉(zhuǎn)置矩陣PT；矩陣（2）是馬爾可夫鏈的一步轉(zhuǎn)移矩陣的轉(zhuǎn)置矩陣P(1)T各態(tài)歷經(jīng)的馬爾可夫信源例：質(zhì)點(diǎn)在兩個(gè)“反射壁”之間的隨機(jī)游動(dòng)。各

31、態(tài)歷經(jīng)的馬爾可夫信源 可以把這種隨機(jī)游動(dòng)看作是一個(gè)有限平穩(wěn)的馬爾可夫信源 .各態(tài)歷經(jīng)的馬爾可夫信源 由于這是齊次馬氏鏈，所以二步轉(zhuǎn)移矩陣 由于二步轉(zhuǎn)移概率矩陣中無零元素，所以系統(tǒng)具有各態(tài)歷經(jīng)性。 各態(tài)歷經(jīng)的馬爾可夫信源 根據(jù)各態(tài)歷經(jīng)定理，現(xiàn)把寫成矩陣形式 各態(tài)歷經(jīng)的馬爾可夫信源 結(jié)果為： 各態(tài)歷經(jīng)的馬爾可夫信源例：質(zhì)點(diǎn)在兩個(gè)”吸收壁”之間的隨機(jī)游動(dòng)。各態(tài)歷經(jīng)的馬爾可夫信源 可以把這種隨機(jī)游動(dòng)看作是一個(gè)有限平穩(wěn)的馬爾可夫信源 .各態(tài)歷經(jīng)的馬爾可夫信源其n步轉(zhuǎn)移概率矩陣是這說明，不存在正整數(shù) ，能使 ，所以不具有各態(tài)歷經(jīng)性，即不存在狀態(tài)極限概率 。馬爾可夫信源的熵 各態(tài)歷經(jīng)的馬爾可夫信源的特征是在充分長(zhǎng)的時(shí)間進(jìn)行觀測(cè)信源的狀態(tài)轉(zhuǎn)移情況，其狀態(tài)的頻度分布是一個(gè)平穩(wěn)分布。因此，對(duì)于各態(tài)歷經(jīng)的馬爾可夫信源。長(zhǎng)時(shí)間觀測(cè)，是一個(gè)特定的輸出序列，它有固定的統(tǒng)計(jì)特性。馬爾可夫信源的熵 信息熵：信源輸出的每個(gè)符號(hào)所攜帶的平均信息量 . 信源的輸出序列馬爾可夫信源的熵 m階馬爾可夫信源熵： 其中，qj表示為系統(tǒng)的平穩(wěn)狀態(tài)，r為狀態(tài)的個(gè)數(shù)。H(S|qj)為系統(tǒng)處于qj狀態(tài)下的信息熵。 對(duì)于一個(gè)實(shí)際的信源，如果長(zhǎng)時(shí)間觀測(cè)，其統(tǒng)計(jì)特性比較平穩(wěn)，就可以看作是各態(tài)歷經(jīng)的馬爾可夫信源。馬爾可夫信源熵非常重要。四個(gè)步驟：畫出狀態(tài)轉(zhuǎn)移圖；判斷是否具有各態(tài)歷經(jīng)性，并求狀態(tài)極限概率(平穩(wěn)分布)。求在每個(gè)狀態(tài)下，信源的信息