(優(yōu)選)第六章馬爾可夫鏈課件

1、（優(yōu)選）第六章馬爾可夫鏈Markov 過程 安德雷.安德耶維奇.馬爾可夫 (A.A.Markov): 俄數(shù)學家，18561922 概率和統(tǒng)計領域專家。 當年Markov研究普希金詩歌里元音字母和輔音字母交替出現(xiàn)的規(guī)律時提出了Markov過程的數(shù)學模型 Markov過程80年代興起，在現(xiàn)代工程、自然科學、社會科學中應用廣泛。2022/7/14Markov過程1馬爾可夫性通俗地說，就是在知道過程現(xiàn)在的條件下，其將來的條件分布不依賴于過去，則稱具有馬爾可夫（Markov)性。定義設是一個隨機過程，如果在t0時刻所處的狀態(tài)為已知，它在時刻 所處狀態(tài)的條件分布與其在 t0 之前 所處的狀態(tài)無關。2. 馬

2、爾可夫過程定義 設的狀態(tài)空間為S,的條件分布函數(shù)恰好等于3.馬爾可夫鏈定義 參數(shù)集和狀態(tài)空間都是離散的馬爾可夫過程稱為馬爾可夫鏈。注 只討論馬爾可夫鏈的狀態(tài)空間為有限或可列無限.則馬爾可夫性可表示為2022/7/147 時間離散狀態(tài)離散的馬爾科夫鏈 時間離散狀態(tài)連續(xù)的馬爾科夫序列 時間連續(xù)狀態(tài)連續(xù)的馬爾科夫過程 時間連續(xù)狀態(tài)離散的馬爾科夫過程Markov過程8/32 第六章 Markov鏈第一節(jié) 基本概念第二節(jié) Markov鏈的狀態(tài)分類及性質第三節(jié) 極限定理及平穩(wěn)分布第四節(jié) Markov鏈的應用9/32 第六章 Markov鏈第一節(jié) 基本概念1. 轉移概率. Chapman-kolmogoro

3、v方程3. Markov鏈的分布4.齊次Markov鏈.Markov 鏈舉例1. 轉移概率定義 設是馬爾可夫鏈,稱條件概率經(jīng)過k步轉移,于n+k時到達狀態(tài)j的條件概率).在n時的k步轉移概率.n時的k步轉移概率矩陣.第一節(jié) 基本概念特別 當k=1時，第一節(jié) 基本概念1. 轉移概率定義 稱可數(shù)維的矩陣為隨機矩陣，如果顯然，在n時的k步轉移概率矩陣是一隨機矩陣.特別k時，約定第一節(jié) 基本概念1. 轉移概率. Chapman-kolmogorov方程定理 (C-K方程)或矩陣形式（解決了k步轉移概率與一步轉移概率間的關系）證明第一節(jié) 基本概念. Chapman-kolmogorov方程定理 (C-K

4、方程)或矩陣形式（解決了k步轉移概率與一步轉移概率間的關系）證明第一節(jié) 基本概念系統(tǒng)在n 時從狀態(tài)i的出發(fā),經(jīng)過k+m步轉移,于n+k+m時到達狀態(tài)j,可以先在n時從狀態(tài)i出發(fā)，經(jīng)過k步轉移于n+k時到達某種中間狀態(tài)l,再在n+k時從中間狀態(tài)l出發(fā)經(jīng)過m步轉移于n+k+m時到達最終狀態(tài)j,而中間狀態(tài)l要取遍整個狀態(tài)空間S.C-K方程的直觀意義：. Chapman-kolmogorov方程第一節(jié) 基本概念若取m=1,則由C-K方程的矩陣形式:得分量形式. Chapman-kolmogorov方程第一節(jié) 基本概念定理 馬爾可夫鏈的k 步轉移概率由其一步 轉移概率所完全確定. Chapman-kol

5、mogorov方程第一節(jié) 基本概念1）初始分布為馬爾可夫鏈的初始分布3.馬爾可夫鏈 的分布稱 第i個分量為的(行)向量為馬爾可夫鏈的初始分布向量. 即第一節(jié) 基本概念2）有限維分布定理 馬爾可夫鏈的有限維分布由其初始分布和一步轉移概率所完全確定.證明3.馬爾可夫鏈 的分布第一節(jié) 基本概念2）有限維分布3.馬爾可夫鏈 的分布第一節(jié) 基本概念又因為馬爾可夫鏈的k步轉移概率由一步轉移概率所完全確定.所以馬爾可夫鏈的有限維分布由其初始分布和一步轉移概率所完全確定.3.馬爾可夫鏈 的分布第一節(jié) 基本概念2）有限維分布3）絕對分布為馬爾可夫鏈 的絕對分布稱 第j個分量為的(行)向量為馬爾可夫鏈的絕對分布向

6、量. 即絕對分布、初始分布和n步轉移概率有如下關系：或矩陣形式3.馬爾可夫鏈 的分布第一節(jié) 基本概念3）絕對分布3.馬爾可夫鏈 的分布第一節(jié) 基本概念4.齊次馬爾可夫鏈定義是一馬爾可夫鏈,如果其一步轉移概率恒與起始時刻n無關，記為為齊次(時間其次或時齊)馬爾可夫鏈.否則，稱為非齊次馬爾可夫鏈.顯然對齊次馬爾可夫鏈，k步轉移概率也與起始時刻n無關記為第一節(jié) 基本概念為方便，一般假定時間起點為零即相應的k步與一步轉移概率矩陣分別記為定理 的有限維分布由其初始分布和一步轉移概率所完全確定4.齊次馬爾可夫鏈第一節(jié) 基本概念例(天氣預報問題) 如果明天是否有雨僅與今天的天氣(是否有雨)有關，而與過去的天

7、氣無關. 并設今天下雨、明天有雨的概率為a，今天無雨而明天有雨的概率為b，又假設有雨稱為0狀態(tài)天氣，無雨稱為1狀態(tài)天氣. Xn表示時刻n時的天氣狀態(tài)，則是以為狀態(tài)空間的齊次馬爾可夫鏈.其一步轉移概率矩陣為.馬爾可夫鏈舉例第一節(jié) 基本概念 例2(有限制隨機游動問題) 設質點只能在0，1，2，a中的各點上作隨機 游動，移動規(guī)則如下：ii+1i-101a-1a第一節(jié) 基本概念.馬爾可夫鏈舉例設Xn表示質點在n時刻所處的位置，則其一步轉移概率矩陣為 例2(有限制隨機游動問題)第一節(jié) 基本概念.馬爾可夫鏈舉例設一個壇子中裝有m個球，它們或是紅色的，或是黑色的，從壇子中隨機的摸出一球，并換入一個相反顏色的

8、球.為狀態(tài)空間的齊次馬爾可夫鏈.設經(jīng)過n次摸換,壇中黑球數(shù)為Xn,則 例3(壇子放回摸球問題)第一節(jié) 基本概念.馬爾可夫鏈舉例其一步轉移概率矩陣為 例3(壇子放回摸球問題)第一節(jié) 基本概念.馬爾可夫鏈舉例甲有賭資a元，乙有賭資b元，賭一局輸者給贏者1元，無和局。甲贏的概率為p， 乙贏的概率為q=1-p，求甲輸光的概率。解 狀態(tài)空間I=0,1,2,c，c=a+bq pa-1 a a+10 a+b第一節(jié) 基本概念.馬爾可夫鏈舉例 例4(賭徒輸光問題) 設ui表示甲從狀態(tài)i出發(fā)轉移到狀態(tài)0的概率，求ua 顯然u0 =1，uc =0(u0表示已知甲輸光情形下甲輸光的概率，uc表示已知乙輸光情形下甲輸光

9、的概率) ui =pui+1 + qui-1 (i=1,2,c-1)（甲在狀態(tài)i下輸光：甲贏一局后輸光或甲輸一局后輸光）第一節(jié) 基本概念.馬爾可夫鏈舉例 例4(賭徒輸光問題) 第一節(jié) 基本概念第一節(jié) 基本概念.馬爾可夫鏈舉例 例4(賭徒輸光問題) 第一節(jié) 基本概念第一節(jié) 基本概念.馬爾可夫鏈舉例 例4(賭徒輸光問題) 第一節(jié) 基本概念第一節(jié) 基本概念 第一節(jié) 基本概念例5 天氣預報問題 RR表示連續(xù)兩天有雨，記為狀態(tài)0NR表示第1天無雨第2天有雨，記為狀態(tài)1RN表示第1天有雨第2天無雨，記為狀態(tài)2NN表示連續(xù)兩天無雨，記為狀態(tài)3p00=PR今R明| R昨R今=PR明| R昨R今=0.7p01=

10、PN今R明| R昨R今=0p02=PR今N明| R昨R今= PN明| R昨R今=0.3p03=PN今N明| R昨R今=0第一節(jié) 基本概念類似地得到其他轉移概率，于是轉移概率矩陣為若星期一、星期二均下雨，求星期四下雨的概率第一節(jié) 基本概念星期四下雨的情形如右，星期四下雨的概率2步轉移概率矩陣為一二三四RRRR00RRNR01第一節(jié) 基本概念例6 設是具有三個狀態(tài)0，1，2的齊次馬爾可夫鏈，其一步轉移概率矩陣為初始分布試求：第一節(jié) 基本概念解第一節(jié) 基本概念第一節(jié) 基本概念練習 設是狀態(tài)空間為a,b,c的齊次馬氏鏈.其一步轉移概率矩陣為第一節(jié) 基本概念45/32 第六章 Markov鏈第一節(jié) 基本

11、概念第二節(jié) Markov鏈的狀態(tài)分類及性質第三節(jié) 極限定理及平穩(wěn)分布第四節(jié) Markov鏈的應用 1 基本概念2 狀態(tài)類別的劃分和判別3 狀態(tài)間的關系 返回概率平均返回時間周期分類判別定義（可達、互通）性質互通的兩個狀態(tài)之間的關系4 狀態(tài)空間的分解 定義及重要結論（閉集、等價類）分解定理（兩個定理） 第六章 Markov鏈第二節(jié) Markov鏈的狀態(tài)分類及性質一、基本概念1.返回概率自狀態(tài) i出發(fā)，經(jīng)過n步首次到達狀態(tài)j 的概率自狀態(tài)i出發(fā)，經(jīng)有限步終于到達狀態(tài)j的概率自狀態(tài)i出發(fā)，經(jīng)有限步終于返回狀態(tài) i的概率第二節(jié) Markov鏈的狀態(tài)分類及性質定理1 對任意及，有說明1該定理表示n步轉移

12、概率按照首次到達時間的所有可能值進行分解說明2第二節(jié) Markov鏈的狀態(tài)分類及性質首達時間系統(tǒng)從狀態(tài)i出發(fā)， 首次到達狀態(tài)j的時刻稱為從狀態(tài) i 出發(fā)首次進入狀態(tài) j 的時間，或稱自i 到j 的首達時間。如果這樣的n不存在，規(guī)定說明12.平均返回時間一、基本概念第二節(jié) Markov鏈的狀態(tài)分類及性質說明2平均返回時間狀態(tài)i的平均返回時間2.平均返回時間一、基本概念第二節(jié) Markov鏈的狀態(tài)分類及性質狀態(tài)i的周期若di 1,稱i是周期的；若di =1,稱i是非周期的。說明13.周期di體現(xiàn)系統(tǒng)的發(fā)展變化種狀態(tài)i重復出現(xiàn)的概率周期。說明2若i的周期是di，并不是對所有的n滿足 說明3一、基本概

13、念第二節(jié) Markov鏈的狀態(tài)分類及性質greatest common divisor 1 基本概念2 狀態(tài)類別的劃分和判別返回概率平均返回時間周期分類判別第二節(jié) Markov鏈的狀態(tài)分類及性質二、狀態(tài)類別的劃分及判別1.狀態(tài)類別的劃分狀態(tài) i非常返態(tài)常返態(tài)零常返態(tài)正常返態(tài)周期非周期（遍歷態(tài)）常返態(tài)非常返態(tài)正常返態(tài)零常返態(tài)第二節(jié) Markov鏈的狀態(tài)分類及性質注“常返”一詞，有時又稱“返回”、“常駐”或“持久”“瞬時”也稱“滑過” 或“非常返”定理2證則系統(tǒng)從狀態(tài)i出發(fā)，經(jīng)過有限次轉移之后，必定以概率1返回狀態(tài)i。再由馬氏性系統(tǒng)返回狀態(tài)i要重復發(fā)生這樣，系統(tǒng)從狀態(tài)i出發(fā)，又返回，再出發(fā)，再返回

14、，隨著時間的無限推移，將無限次訪問狀態(tài)i。第二節(jié) Markov鏈的狀態(tài)分類及性質將“不返回i”稱為成功，則首次成功出現(xiàn)的次數(shù)服從幾何分布，也就是說以概率1只有有窮次返回i。即第二節(jié) Markov鏈的狀態(tài)分類及性質2.判別（1）判別是否常返態(tài)定理3第二節(jié) Markov鏈的狀態(tài)分類及性質2.判別（2）判別是否零常返態(tài)、正常返有（非）周期定理4對任意給定的狀態(tài)i，如果i是常返態(tài)且有周期di，則存在極限第二節(jié) Markov鏈的狀態(tài)分類及性質2.判別（3）判別是否有周期第二節(jié) Markov鏈的狀態(tài)分類及性質 1 基本概念2 狀態(tài)類別的劃分和判別3 狀態(tài)間的關系 返回概率平均返回時間周期分類判別第二節(jié) M

15、arkov鏈的狀態(tài)分類及性質定義（可達、互通）性質互通的兩個狀態(tài)之間的關系三、狀態(tài)間的關系1.定義狀態(tài) i可達狀態(tài)j2.性質簡記為 ij狀態(tài) i與狀態(tài)j互通ijj i且傳遞性、對稱性第二節(jié) Markov鏈的狀態(tài)分類及性質三、狀態(tài)間的關系3.利用首達概率刻畫可達和互通關系第二節(jié) Markov鏈的狀態(tài)分類及性質結論1結論24.互通的兩個狀態(tài)的狀態(tài)類型互通的兩個狀態(tài)必有相同的狀態(tài)類型定理5三、狀態(tài)間的關系第二節(jié) Markov鏈的狀態(tài)分類及性質63/34 1 基本概念2 狀態(tài)類別的劃分和判別3 狀態(tài)間的關系 返回概率平均返回時間周期分類判別第二節(jié) Markov鏈的狀態(tài)分類及性質定義（可達、互通）性質互

16、通的兩個狀態(tài)之間的關系4 狀態(tài)空間的分解 定義及重要結論（閉集、等價類）分解定理（兩個定理）四、狀態(tài)空間的分解互通滿足：自反性、對稱性、傳遞性?；ネㄊ且环N等價關系（常返態(tài)） 按互通關系是等價關系，可以把狀態(tài)空間 I 劃分為若干個不相交的集合（或者說等價類），并稱之為狀態(tài)類。 若兩個狀態(tài)相通，則這兩個狀態(tài)屬于同一類。 任意兩個類或不相交或者相同。說明第二節(jié) Markov鏈的狀態(tài)分類及性質（1）定義四、狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質A閉集設C為狀態(tài)空間I 的一個子集，則C稱為閉集。注1 若C為閉集，則表示自C內(nèi)任意狀態(tài)i出發(fā)，始終不能到達C以外的任何狀態(tài)j。 整個狀態(tài)空間構成

17、一個閉集。吸收態(tài)指一個閉集中只含一個狀態(tài)（1）定義四、狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質A閉集設C為狀態(tài)空間I 的一個子集，則C稱為閉集。注2若狀態(tài)空間含有吸收狀態(tài)，那么這個吸收狀態(tài)構成一個最小的閉集。（1）定義四、狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質B不可約的 設C為閉集，如果C中不再含有任何非空真閉子集，則稱C是不可約閉集，或稱不可約的，不可分的，最小的。 若整個狀態(tài)空間是不可約的，則稱此鏈為不可約馬氏鏈。A.有關閉集（2）一些重要結論四、狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質B. 有關等價類（2）一些重要結論四、狀態(tài)空間的分解第二節(jié) Mar

18、kov鏈的狀態(tài)分類及性質 結論2 設C是閉集，當且僅當C中的任何兩個狀態(tài)都互通時， C是不可約的。結論1 等價類若是閉集，則必定是不可約的。 結論3 齊次馬氏鏈不可約的充要條件是它的任意兩個狀態(tài)均互通。 結論4 包含常返態(tài)的等價類是不可約閉集。例1其一步轉移矩陣為試研究各狀態(tài)間的關系，并畫出狀態(tài)傳遞圖。第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解2/31/41/41/31/21/20121/2由圖可知狀態(tài)0可到達狀態(tài)1，經(jīng)過狀態(tài)1又可到達狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達狀態(tài)0。因此，狀態(tài)空間I的各狀態(tài)都是互通的。又由于I 的任意狀態(tài)i (i = 0，1，2)不能到達I 以

19、外的任何狀態(tài)，所以I是一個閉集而且I 中沒有其它閉集所以此馬氏鏈是不可約的。解先按一步轉移概率，畫出各狀態(tài)間的傳遞圖第二節(jié) Markov鏈的狀態(tài)分類及性質例2其一步轉移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解111/21/21/2311/24521 閉集，由圖可知狀態(tài)3為吸收態(tài)且閉集，閉集，其中 是不可約的。又因狀態(tài)空間I有閉子集，故此鏈為非不可約鏈。解先按一步轉移概率，畫出各狀態(tài)間的傳遞圖第二節(jié) Markov鏈的狀態(tài)分類及性質（3）狀態(tài)空間的分解如果已知類中有一個常返態(tài)，則這個類中其它狀態(tài)都是常返的。若類中有一個非常返態(tài)，則類中其

20、它狀態(tài)都是非常返態(tài)。若對不可約馬氏鏈，則要么全是常返態(tài)，要么全是非常返態(tài)。第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解定理6任一馬氏鏈的狀態(tài)空間I必可分解為其中N是非常返態(tài)集，而且（3）狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解如果從某一非常返態(tài)出發(fā)，系統(tǒng)可能一直在非常返集中，也可能進入某個常返閉集，一旦進入某個常返閉集后，將一直停留在這個常返閉集中；如果系統(tǒng)從某一常返狀態(tài)出發(fā)，則系統(tǒng)就一直停留在這個狀態(tài)所在的常返閉集中。說明1（3）狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解定理7（1）非常返態(tài)集N不可能是閉集；（2）至少有一

21、個常返態(tài)；（3）不存在零常返態(tài)；（4）若鏈是不可約的，那么狀態(tài)都是正常返的（5）其狀態(tài)空間可分解為是互不相交的由正常返態(tài)組成的閉集。（3）狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解定理8(周期鏈分解定理)（3）狀態(tài)空間的分解第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解轉移概率矩陣的標準形式狀態(tài)空間的分解周期鏈的分解第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解例轉移矩陣試對其狀態(tài)分類。第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解解按一步轉移概率，畫出各狀態(tài)間的傳遞圖21/4111/41/411/4143第二節(jié) Markov鏈的狀態(tài)分

22、類及性質四、狀態(tài)空間的分解從圖可知，此鏈的每一狀態(tài)都可到達另一狀態(tài)，即4個狀態(tài)都是相通的。82/34考慮狀態(tài)1是否常返，第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解類似地可求得所以于是狀態(tài)1是常返的。又因為所以狀態(tài)1是正常返的。由定理可知，此鏈所有狀態(tài)都是正常返的。第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解例設馬氏鏈的狀態(tài)空間I = 0,1,2,，轉移概率為試討論各狀態(tài)的遍歷性。第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解解根據(jù)轉移概率作出狀態(tài)傳遞圖1/21/21/21/21/21/20121/231/2第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的

23、分解從圖可知，對任一狀態(tài) 都有 ，故由定理可知，I 中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可。故從而0是常返態(tài)。又因為所以狀態(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解一般情況End.第二節(jié) Markov鏈的狀態(tài)分類及性質四、狀態(tài)空間的分解88/32 第六章 Markov鏈第一節(jié) 基本概念第二節(jié) Markov鏈的狀態(tài)分類及性質第三節(jié) 極限定理及平穩(wěn)分布第四節(jié) Markov鏈的應用89/32 第六章 Markov鏈第三節(jié) 極限定理及平穩(wěn)分布一、極限定理二、平穩(wěn)分布與極限分布一、極限定理例

24、 設馬爾可夫鏈的轉移概率矩陣為現(xiàn)在來計算令第三節(jié) 極限定理及平穩(wěn)分布則所以一、極限定理第三節(jié) 極限定理及平穩(wěn)分布定理：若i與j相通，則(3), 若j是非周期的, 則(4), 若j有周期d, 則一、極限定理第三節(jié) 極限定理及平穩(wěn)分布一、極限定理第三節(jié) 極限定理及平穩(wěn)分布記則，如i是常返的，當 時為正常返的。當 時為零常返的。推論1：如i是常返的，則i為零常返的充要條件是一、極限定理第三節(jié) 極限定理及平穩(wěn)分布記則，如i是常返的，當 時為正常返的。當 時為零常返的。推論2：如i是遍歷的(正常返的并且是非周期的)，則一、極限定理第三節(jié) 極限定理及平穩(wěn)分布記則，如i是常返的，當 時為正常返的。當 時為零

25、常返的。1，若j為非常返或零常返的，則 有2，若j為常返的且周期為d，則 有 推論3（遍歷性定理）一、極限定理第三節(jié) 極限定理及平穩(wěn)分布記則，如i是常返的，當 時為正常返的。當 時為零常返的。 推論5：有限狀態(tài)的馬爾可夫鏈，不可能全為非常返狀態(tài)，也不可能有零常返狀態(tài)。從而不可約的有限馬爾可夫鏈的狀態(tài)全為正常返的。一、極限定理第三節(jié) 極限定理及平穩(wěn)分布記則，如i是常返的，當 時為正常返的。當 時為零常返的。推論6：若馬爾可夫鏈有一個零常返態(tài)，則必有無限個零常返態(tài)。狀態(tài)性質判別法i非常返i零常返i正常返i遍歷的i正常返i正常返且非周期（即遍歷）i正常返且周期為d第三節(jié) 極限定理及平穩(wěn)分布例設馬氏鏈

26、的狀態(tài)空間I = 0,1,2,，轉移概率為試討論各狀態(tài)的遍歷性。第三節(jié) 極限定理及平穩(wěn)分布解根據(jù)轉移概率作出狀態(tài)傳遞圖1/21/21/21/21/21/20121/231/2第三節(jié) 極限定理及平穩(wěn)分布從圖可知，對任一狀態(tài) 都有 ，故由定理可知，I 中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可。故從而0是常返態(tài)。又因為所以狀態(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。因此只需考慮狀態(tài)0是否正常返即可。第三節(jié) 極限定理及平穩(wěn)分布二、平穩(wěn)分布與極限分布 1，定義：設pij是馬爾可夫鏈Xn, n1的轉移概率。若概率分布pj, j 0滿足則稱pj, j

27、0為Xn, n1的平穩(wěn)分布。記第三節(jié) 極限定理及平穩(wěn)分布則平穩(wěn)分布可表示為如下矩陣形式顯然有即 若馬爾可夫鏈Xn, n0的初始分布pj=PX0=j是平穩(wěn)分布，則對任意的n，有 即Xn與X0有相同的 分布，這說明過程Xn, n0是平穩(wěn)過程。這也是稱分布pj=PX0=j 為平穩(wěn)分布的原因。二、平穩(wěn)分布與極限分布第三節(jié) 極限定理及平穩(wěn)分布2，定義：若馬爾可夫鏈是遍歷的（即所有狀態(tài)相通且均為周期為1的正常返態(tài)），則極限稱為馬爾可夫鏈的極限分布。顯然此時二、平穩(wěn)分布與極限分布第三節(jié) 極限定理及平穩(wěn)分布 定理：一個不可約非周期的馬爾可夫鏈屬于下列兩種情況之一： 1，狀態(tài)或全是滑過的（非常返的）或全是零常返

28、的。此時對一切的 i, j 有二、平穩(wěn)分布與極限分布第三節(jié) 極限定理及平穩(wěn)分布因而不存在平穩(wěn)分布。2，狀態(tài)全是正常返態(tài)。即此時是平穩(wěn)分布，且不存在任何其它的平穩(wěn)分布。此時極限分布即是平穩(wěn)分布。只證2，若馬爾可夫鏈是遍歷的,則存在，且下證是平穩(wěn)分布，證明：（1）顯然二、平穩(wěn)分布與極限分布第三節(jié) 極限定理及平穩(wěn)分布利用C-K方程從而是平穩(wěn)分布。二、平穩(wěn)分布與極限分布第三節(jié) 極限定理及平穩(wěn)分布再證是惟一的平穩(wěn)分布，假設另外還有一個平穩(wěn)分布則二、平穩(wěn)分布與極限分布第三節(jié) 極限定理及平穩(wěn)分布注：1，對于不可約的遍歷鏈（不可約、正常返、周期為1）因為所以， 可被解釋為馬爾可夫鏈長時間之后處于狀態(tài)的的時間所占的比率。二、平穩(wěn)分布與極限分布第三節(jié) 極限定理及平穩(wěn)分布2，對于不可約的遍歷鏈，因為