第一章-馬氏過程_泊松過程_講稿

1、第一章 隨機(jī)過程離散時間隨機(jī)過程連續(xù)型隨機(jī)過程à采樣 à稱為隨機(jī)變量序列也記作或，簡記為或。 稱為離散時間隨機(jī)過程。在時刻的取值是一個隨機(jī)變量，其概率分布就是離散時間隨機(jī)過程的一維分布。在時刻的取值的聯(lián)合分布，就是離散時間隨機(jī)過程的二維分布。以此類推，在個時刻的取值的聯(lián)合分布，就是離散時間隨機(jī)過程的維分布。若經(jīng)過某時間平移后，其任意維分布保持不變：則稱該離散時間隨機(jī)過程為嚴(yán)平穩(wěn)的。均值 均方值 相關(guān)函數(shù) 寬平穩(wěn)的定義 遍歷性 （對應(yīng)連續(xù)隨機(jī)過程的時間平均 ）時間均值 時間相關(guān)函數(shù)定義： 若寬平穩(wěn)隨機(jī)序列的時間均值依概率1等于其統(tǒng)計均值，時間相關(guān)函數(shù)依概率1等于其統(tǒng)計相關(guān)函數(shù)

2、 則稱其為寬遍歷的。寬平穩(wěn)隨機(jī)序列相關(guān)函數(shù)的性質(zhì)：與連續(xù)隨機(jī)過程的類似，自己看書。馬爾可夫過程的概念當(dāng)隨機(jī)過程在時刻所處的狀態(tài)為已知的條件下，過程在時刻所處的狀態(tài)，與過程在時刻以前所處的狀態(tài)無關(guān)，而僅與過程在時刻的狀態(tài)有關(guān)，則稱該過程為馬爾可夫過程。這種特性稱為隨機(jī)過程的“無后效性”或馬爾可夫性。根據(jù)時間和狀態(tài)的取值，馬爾可夫過程分為四類：時間集狀態(tài)集分類連續(xù)連續(xù)馬爾可夫過程連續(xù)離散可列馬爾可夫過程離散連續(xù)馬爾可夫序列離散離散馬爾可夫鏈狀態(tài)可列的馬爾可夫鏈稱為可列馬爾可夫鏈；狀態(tài)有限的馬爾可夫鏈稱為有限馬爾可夫鏈。規(guī)定一隨機(jī)變量序列，可把此序列看作連續(xù)型隨機(jī)過程à采樣à稱為

3、隨機(jī)變量序列也記作或，簡記為或。 狀態(tài)連續(xù)定義：若對于任意的，有 （1）寫成概率形式即，如果在條件下的條件分布，等于僅在條件下的條件分布，則稱此隨機(jī)變量序列為馬爾可夫序列。這一分布函數(shù)常稱為轉(zhuǎn)移分布。概率論回顧：為在下的條件分布函數(shù)。對于連續(xù)型隨機(jī)變量，由（1）式可得 （2）這樣，有 （3）即，的聯(lián)合概率密度可由初始概率密度和轉(zhuǎn)移概率密度來確定。相反地，若（3）式對所有皆成立，則序列是馬爾可夫序列，這是因為1. 6馬爾可夫鏈1.6.1 馬爾可夫鏈的基本概念1馬爾可夫鏈的定義 時間離散、狀態(tài)離散定義34：設(shè)為一隨機(jī)變量序列，其狀態(tài)空間，若對于任意的，滿足則稱該序列為馬爾可夫鏈（簡稱馬氏鏈）。含義

4、：（1） 此序列可看作是對隨機(jī)過程的采樣，所可能取的狀態(tài)為之一，而且只在時刻發(fā)生狀態(tài)轉(zhuǎn)移。（2） 過程在時刻變成狀態(tài)的概率，只與時刻的狀態(tài)有關(guān)，而與以前時刻的狀態(tài)無關(guān)。2馬爾可夫鏈的轉(zhuǎn)移概率及性質(zhì)對于馬氏鏈，描述它的概率性質(zhì)最重要的是它在時刻的轉(zhuǎn)移概率。通常，我們用表示在時刻出現(xiàn)的條件下, 時刻出現(xiàn)的條件概率。一般而言，不僅與有關(guān)，而且與有關(guān)。若與無關(guān)，則稱該馬氏鏈為齊次馬氏鏈，此時可表示為。下面僅對齊次馬氏鏈進(jìn)行討論。1) 一步轉(zhuǎn)移概率在齊次條件下，時，有 （馬氏鏈由狀態(tài)經(jīng)一步轉(zhuǎn)移到的概率）此即一步轉(zhuǎn)移概率。由所有一步轉(zhuǎn)移概率構(gòu)成的矩陣 稱為一步轉(zhuǎn)移概率矩陣，簡稱轉(zhuǎn)移概率矩陣。這一矩陣給出了

5、隨機(jī)變量序列狀態(tài)轉(zhuǎn)移的概率特性。轉(zhuǎn)移概率矩陣的性質(zhì)：（1） <= 由于是條件概率，所以由概率的性質(zhì)可知上式成立。（2） <= 注意：是必然事件S。對必然事件S，有。只有兩兩互不相交事件才有。易知表明：馬氏鏈時從狀態(tài)出發(fā)，而下一步必然到達(dá)中狀態(tài)之一。對應(yīng)于轉(zhuǎn)移概率矩陣，可知轉(zhuǎn)移概率矩陣的每一行的元素之和為1。2) 步轉(zhuǎn)移概率 之前給出了時刻的轉(zhuǎn)移概率：在齊次條件下，時，可得到步轉(zhuǎn)移概率表示馬氏鏈由狀態(tài)經(jīng)過步轉(zhuǎn)移到的概率。由所有步轉(zhuǎn)移概率可構(gòu)成步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率類似于一步轉(zhuǎn)移概率具有下列性質(zhì)：（1）； （2） 證明類似于一步轉(zhuǎn)移概率的證明方法。為了數(shù)學(xué)處理便利，通常規(guī)定 3) 切

6、普曼-柯爾莫哥洛夫方程（C-K方程）對于步轉(zhuǎn)移概率，有如下的C-K方程的離散形式表明：由于馬氏鏈的無后效性和齊次性，該鏈從狀態(tài)經(jīng)過步轉(zhuǎn)移到的概率可等效為：先由狀態(tài)經(jīng)過步到達(dá)中間狀態(tài)，再由狀態(tài)經(jīng)過步到達(dá)狀態(tài)的概率和。證明： 注意：是必然事件若S是必然事件，則有；只有兩兩互不相交事件才有由概率的乘法定理公式 知 ，可得 證畢。若用概率矩陣表示，有：當(dāng)時，有： 同理，當(dāng)時，有：即，任意步轉(zhuǎn)移概率矩陣可由一步轉(zhuǎn)移概率矩陣自乘次來得到。例1-15 在某數(shù)字通信系統(tǒng)中多級傳輸0、1兩種數(shù)字信號。由于系統(tǒng)中存在干擾，在任一級輸入0、1數(shù)字信號后，其輸出不產(chǎn)生錯誤的概率為，產(chǎn)生錯誤的概率為，求兩級傳輸時的概率

7、轉(zhuǎn)移矩陣。解：系統(tǒng)每一級的輸入狀態(tài)和輸出狀態(tài)構(gòu)成一個兩狀態(tài)的馬氏鏈，滿足無后效性和齊次性。其一步轉(zhuǎn)移概率矩陣為于是，兩級傳輸時的概率轉(zhuǎn)移矩陣等效于兩步轉(zhuǎn)移概率矩陣為 例1-16 已知明日是否降雨只與今日的天氣(是否有雨)有關(guān)，而與以往的天氣無關(guān)。設(shè)有雨為狀態(tài)“1”，而無雨為狀態(tài)“0”，并且今日有雨而明日有雨的概率為，今日無雨而明日有雨的概率為。試求其一步至四步轉(zhuǎn)移概率矩陣；并求今日有雨而后日（第二日）仍有雨、今日無雨而第四日有雨的概率各為多少？解：由題意可知，本例構(gòu)成一個兩狀態(tài)的具有無后效性和齊次性的馬氏鏈。其一步轉(zhuǎn)移概率矩陣為二步轉(zhuǎn)移概率矩陣為三步轉(zhuǎn)移概率矩陣為四步轉(zhuǎn)移概率矩陣為今日有雨而第

8、二日仍有雨的概率為 今日無雨而第四日有雨的概率為 例1-17 設(shè)每次打靶擊中的概率為，每次打靶未擊中的概率為，試寫出可列多次相互獨(dú)立的打靶試驗的一步轉(zhuǎn)移概率矩陣。解：可列多次獨(dú)立的打靶試驗定義了一個離散時間、離散狀態(tài)的隨機(jī)過程（“0”表示未擊中；“1”表示擊中）其一轉(zhuǎn)移概率為 即與過去或現(xiàn)在的狀態(tài)均無關(guān)，它是一個馬氏鏈。由題意有，所以 一步轉(zhuǎn)移概率矩陣為 4) 初始分布與絕對分布完整描述一個隨機(jī)過程，需要：該過程的任意有限維概率密度函數(shù)。對于馬氏鏈，可證：任意有限維概率密度函數(shù)完全由初始分布和轉(zhuǎn)移概率矩陣來描述。定義35設(shè)為一馬氏鏈，其狀態(tài)空間或為有限子集。令，且對任意的均有（1）（2）則稱為

9、該馬氏鏈的初始分布，也稱初始概率。初始概率是馬氏鏈在初始時間時處于狀態(tài)的概率。如：等。當(dāng)時，馬氏鏈處于狀態(tài)的概率稱為絕對分布或絕對概率。定義36設(shè)為一馬氏鏈，其狀態(tài)空間或為有限子集。令，且對任意的均有（1）（2）則稱為該馬氏鏈的絕對分布，或稱絕對概率。定理3 馬氏鏈的絕對概率由初始分布和相應(yīng)的轉(zhuǎn)移概率唯一確定。證：設(shè)為一馬氏鏈，為狀態(tài)集，則，對任意時馬氏鏈處于狀態(tài)的概率為這里，是必然事件 即: 時,絕對概率由初始概率及一步轉(zhuǎn)移概率唯一確定。當(dāng)時，絕對概率由下式確定：這里，是必然事件即: 絕對概率由初始概率及步轉(zhuǎn)移概率唯一確定。由C-K方程，步轉(zhuǎn)移矩陣可由一步轉(zhuǎn)移矩陣唯一確定，故有推論：馬氏鏈的

10、絕對概率由初始分布及一步轉(zhuǎn)移概率唯一確定。由馬氏鏈的轉(zhuǎn)移概率和初始分布，不僅可以完全確定其絕對分布，也可以完全確定其有限維聯(lián)合分布。即，對任意給定的，有這里使用了 3轉(zhuǎn)移圖（狀態(tài)轉(zhuǎn)移圖與概率轉(zhuǎn)移圖）為了能更直觀地表現(xiàn)馬氏鏈的狀態(tài)轉(zhuǎn)移過程及狀態(tài)轉(zhuǎn)移的概率特性，可以使用轉(zhuǎn)移圖來描述。若一步轉(zhuǎn)移概率矩陣為則相應(yīng)的概率轉(zhuǎn)移圖見右。1.6.2馬氏鏈中的狀態(tài)分類1到達(dá)與相通定義37（到達(dá)定義）：如果對于狀態(tài)與（可簡寫為和）總存在某個，使得，則稱自狀態(tài)經(jīng)過步可以到達(dá)狀態(tài)，并記為。反之，若對所有的有，則自狀態(tài)不可以到達(dá)狀態(tài)，則記為。到達(dá)具有傳遞性，即若，則。證：如果，則按定義存在和，使得根據(jù)C-K方程有：，即

11、。證畢。例1-18 設(shè)一兩狀態(tài)馬氏鏈具有以下轉(zhuǎn)移概率矩陣 討論其狀態(tài)的到達(dá)特性。解：要討論這一馬氏鏈兩個狀態(tài)的到達(dá)性，可先求出它的步轉(zhuǎn)移概率矩陣。由于對于所有的，故狀態(tài)“1”不能到達(dá)狀態(tài)“0”；而存在，使得，故狀態(tài)“0”可以到達(dá)狀態(tài)“1”。定義38（相通定義）：若自狀態(tài)可達(dá)狀態(tài)，同時自狀態(tài)也可達(dá)狀態(tài)，則稱狀態(tài)和狀態(tài)相通，記為。 即若，則。相通具有以下等價關(guān)系：（1）若，則； => 自返性（2）若，則； => 對稱性（3）若，則。 =>傳遞性證：（1）由，知，則到達(dá)的傳遞性，即。（2）由定義即得。（3）由，可知，又由到達(dá)具有傳遞性，便有；同理， 由，可知，又由到達(dá)具有傳遞性，便

12、有；所以 。例1-19 自看。2狀態(tài)的分類定義39 設(shè)為一馬氏鏈，對任意兩個狀態(tài)與，基于事件引入隨機(jī)變量即為從狀態(tài)出發(fā)，首次進(jìn)入狀態(tài)的時刻，或稱為自到的首達(dá)時。上式右邊讀成“從狀態(tài)出發(fā)，使的最小正值”。若永不取值，就規(guī)定。這樣，的取值范圍為，而且取某個值是隨機(jī)的，是有概率的。12nP定義40 設(shè)為一馬氏鏈，對任一狀態(tài)與，稱 為自狀態(tài)出發(fā)，經(jīng)過步首次進(jìn)入狀態(tài)的概率。顯然有從而有的分布律：12nP定義41設(shè)為一馬氏鏈，對任一狀態(tài)與，稱為自狀態(tài)出發(fā)遲早要到達(dá)狀態(tài)的概率。顯然有 定理4 對任何狀態(tài)，有證明：因為 證畢。直觀意義：馬氏鏈從狀態(tài)出發(fā)經(jīng)過步轉(zhuǎn)移到狀態(tài)的概率，就是：從出發(fā)經(jīng)過步首次到達(dá)狀態(tài)，再

13、從狀態(tài)出發(fā)經(jīng)過步轉(zhuǎn)移又到達(dá)狀態(tài)（其中），這樣一些事件的概率之和。這些事件兩兩互不相交?？偨Y(jié)：為從狀態(tài)出發(fā)，首次進(jìn)入狀態(tài)的時刻自狀態(tài)出發(fā)，經(jīng)過步首次進(jìn)入狀態(tài)的概率的分布律12nP 自狀態(tài)出發(fā)遲早要到達(dá)狀態(tài)的概率定義：如果，則稱狀態(tài)是常返的。如果，則稱狀態(tài)是非常返的（或稱為瞬時的）。如果馬氏鏈的任一狀態(tài)都是常返的，則稱此鏈為常返馬氏鏈。常返，則從出發(fā)，馬氏鏈將以概率1無窮多次返回狀態(tài)；非常返，則從出發(fā)，馬氏鏈無窮多次返回的概率是0，或者說馬氏鏈只能有限次地返回狀態(tài)。例：如圖馬氏鏈 故，狀態(tài)0是非常返的，狀態(tài)1是常返的。定理5 的充要條件是。證明：充分性：若，則由其定義，總存在某個，使，所以，這樣中

14、至少有一個大于0，所以 。必要性：若，則由，至少有一個使，而，故。 證畢。不難推導(dǎo)出：的充要條件是及。表示自狀態(tài)出發(fā)，在有限步內(nèi)遲早要返回的概率，是在0與1之間的一個數(shù)。定理6 狀態(tài)是常返（）的充要條件為。證明：充分性：因為令有 兩邊對從到求和有 這里用了： 于是有 注意到 ，所以在上式中令時有現(xiàn)已知，則上式左邊極限為1，于是有 。由常返態(tài)的定義知，狀態(tài)是常返態(tài)。必要性：由上面的推導(dǎo)知 若取, 則有 于是有 如果，則在上式中令時有 再令有 由非常返的定義，狀態(tài)便是非常返的，這與必要性的前提假設(shè)“狀態(tài)是常返（）”的相矛盾，所以必須有 證畢。系：如果狀態(tài)是非常返的，則必有。 證略?？梢姡?），狀態(tài)

15、是常返的（）；2），狀態(tài)是非常返的（）。對于一個非常返態(tài)，在過程中訪問它的次數(shù)是有限的。在有限狀態(tài)的馬氏鏈中，至少有一個狀態(tài)是常返態(tài)，否則經(jīng)過有限時間后過程不再訪問0狀態(tài)，經(jīng)過有限時間后過程不再訪問1狀態(tài)，依此類推，經(jīng)過有限時間后，過程不再訪問諸狀態(tài)。常返態(tài)又可進(jìn)一步分為正常返態(tài)和零常返態(tài)。設(shè)是一常返態(tài)，則從出發(fā)可經(jīng)過步首次返回，在的條件下的分布律為12nP由數(shù)學(xué)期望的定義，可得 稱為狀態(tài)的平均返回時間。定義：設(shè)是常返態(tài)，如果，則稱狀態(tài)是正常返態(tài)；如果，則稱狀態(tài)是零常返態(tài)。定義：對于狀態(tài)，若正整數(shù)集合非空，則稱該集合的最大公約數(shù)為狀態(tài)的周期。若，則稱狀態(tài)是周期的；若，則稱狀態(tài)是非周期的。如果狀

16、態(tài)是非周期且正常返的，則稱狀態(tài)是遍歷的。例如，無限制隨機(jī)游走馬氏鏈，從某一狀態(tài)出發(fā)，須經(jīng)過偶數(shù)步，質(zhì)點(diǎn)才能回到狀態(tài)，此時的最大公約數(shù)是，所以其周期。定理7 設(shè)為常返狀態(tài)，有周期，則 。 證略。系：如果是常返態(tài)，則（1）零常返當(dāng)且僅當(dāng)；（2）遍歷當(dāng)且僅當(dāng)。歸納以上的討論，可以得到如下的狀態(tài)分類判別法：（1） 非常返；（2） 零常返且；（3） 正常返且；（4） 遍歷 且。由定義：，稱狀態(tài)是常返的。，稱狀態(tài)是非常返的。下面討論和相通條件下的特性。引理1 對任意和，若，則存在正數(shù)、及正整數(shù)、，使對任一正整數(shù)，有 （1.6.31）證明：由條件，存在正整數(shù)、，使對任一正整數(shù)，由C-K方程可得 同理可證另一

17、個關(guān)系式。 證畢。定理8 若，則（1）與同為常返或同為非常返；（2）若與常返，則與同為正常返或同為零常返；（3）與或同為非周期的，或同為周期的且有相同的周期。證明：（1）設(shè)常返，由定理6可知 由引理1可得而 即是常返狀態(tài)。由相通關(guān)系的對稱性，反之亦然。即是常返的，亦常返。由于任一狀態(tài)不是常返必為非常返的，故對于非常返的情形，亦有同樣結(jié)果。（2）在式（1.6.31）兩邊同時令，則有由前面的狀態(tài)分類判別法知 零常返且； 正常返且；若零常返，上式左邊=0，右邊也=0，而，必有，從而零常返。若正常返，而，則有從而正常返。反之亦然。由條件，存在正整數(shù)、，使由于，因此狀態(tài)的周期整除。再設(shè)是使的任意正整數(shù)，

18、由C-K方程得 所以整除，從而整除。由于是使的任意正整數(shù)，所以是正整數(shù)集的公約數(shù)若記狀態(tài)的周期為，則有 同理可得，從而有 由定義44可知，若，則和都是周期的，且有相同周期；若，則和同為非周期的。3狀態(tài)空間分解 （提前講“狀態(tài)空間分解”）如果兩個狀態(tài)相通，則稱此兩個狀態(tài)處于同一類中。按照相通的概念可將狀態(tài)空間分成一些隔離的類。定義46 設(shè)，若從中任一狀態(tài)出發(fā)不能到達(dá)外的任一狀態(tài)，則稱為閉集。顯然，對一切和有。l 若中僅含有單個狀態(tài)，則此閉集稱為吸收態(tài)。它構(gòu)成了一個最小的閉集。l 而整個空間構(gòu)成一個最大的閉集。l 除了整個狀態(tài)空間外，沒有別的閉集的馬爾可夫鏈稱為不可約的馬爾可夫鏈。此時整個空間的所

19、有狀態(tài)皆是相通的。閉集內(nèi)任一狀態(tài)，不論轉(zhuǎn)移多少步，都不能轉(zhuǎn)移到閉集之外的狀態(tài)上去，即隨著時間的推移，閉集內(nèi)任一狀態(tài)只能在閉集內(nèi)部的狀態(tài)之間轉(zhuǎn)移。定理10 馬爾可夫鏈的所有常返態(tài)構(gòu)成的集合是一閉集。證：（1）先證如果是常返態(tài)，且，則必有。用反證法，如果，那么由于，于是到達(dá)后就不能返回，這與是常返態(tài)矛盾，故必有；從而。（2）再由定理8可知；當(dāng)是常返態(tài)，且，則必是常返態(tài)。（3）由此可見自常返態(tài)出發(fā)所能達(dá)到的狀態(tài)必定是常返態(tài)。換言之，常返態(tài)不可能轉(zhuǎn)移到非常返態(tài)上去，所以常返態(tài)組成的集合是一閉集。 注意：由所有常返態(tài)構(gòu)成的閉集不一定是不可約的。例：如圖馬氏鏈狀態(tài)0：，常返態(tài) （，正常返態(tài)）狀態(tài)1：同樣也

20、是常返態(tài)。狀態(tài)2：是非常返態(tài)。可見，由所有常返態(tài)0和1構(gòu)成的大閉集是由兩個小閉集組成的，不是不可約的。定理11 （分解定理）狀態(tài)空間必可分解為，其中是全體非常返態(tài)組成的集合，是由互不相交的常返態(tài)閉集組成。而且 （1）對每一確定的，內(nèi)任意兩狀態(tài)相通； （2）與（）中的狀態(tài)之間不相通。證：（1）先將狀態(tài)空間中的狀態(tài)按常返和非常返分成兩類，非常返態(tài)組成集合，常返態(tài)組成集合。由定理10知C是一閉集。（2）在中再按相通關(guān)系分類：在中任取狀態(tài)，凡與相通的狀態(tài)組成集合；組成后，若還有余下的狀態(tài)，則再從余下狀態(tài)中任取狀態(tài)，凡與相通的狀態(tài)組成；再看是否還有余下狀態(tài)，如有就繼續(xù)按上面的方法組成，這樣就將分解成閉集

21、之和，由的構(gòu)造過程可知，它們顯然滿足（1）和（2）兩條件。 證畢。通常稱為基本常返閉集。由定理11可知，系統(tǒng)在中運(yùn)動狀況為：若從某一非常返狀態(tài)出發(fā)，則系統(tǒng)可能一直在非常返集中運(yùn)動，也可能在某時刻進(jìn)入某個基本常返閉集，而后一直在該閉集中運(yùn)動；若從某一常返狀態(tài)出發(fā)，則系統(tǒng)就永遠(yuǎn)在該常返態(tài)所在的基本常返閉集中運(yùn)動。 例1-23 設(shè)齊次馬氏鏈的狀態(tài)空間，其一步轉(zhuǎn)移概率矩陣為試對該空間進(jìn)行分解。解：根據(jù)一步轉(zhuǎn)移概率矩陣，可畫出狀態(tài)轉(zhuǎn)移圖由圖可知，而當(dāng)時，所以，。可見狀態(tài)1為正常返，且周期。含有狀態(tài)1的常返閉集為。同理，因為，在時，所以，?？梢姞顟B(tài)6為正常返，且是非周期的。含有狀態(tài)6的常返閉集為。狀態(tài)2，

22、6為遍歷狀態(tài)。由于，在時，所以?？梢姞顟B(tài)4為非常返。故有 4遍歷性與平穩(wěn)分布定義：設(shè)齊次馬氏鏈的狀態(tài)空間為，若對一切，存在不依賴于的極限 則稱馬氏鏈具有遍歷性。并稱為狀態(tài)的穩(wěn)態(tài)概率（極限分布）。直觀意義上，具有遍歷性的馬爾可夫鏈，無論從哪個狀態(tài)出發(fā)，當(dāng)轉(zhuǎn)移步數(shù)充分大后，轉(zhuǎn)移到狀態(tài)的概率都接近，即當(dāng)足夠大時，可用作為的近似值。由于，有，故一個不可約的、非周期的、有限狀態(tài)的馬氏鏈一定是遍歷的馬氏鏈。下面的定理給出了判別馬氏鏈具有遍歷性的一個充分條件和求的方法。定理9 對于一有限狀態(tài)的馬氏鏈，若存在一正整數(shù)，使對所有的狀態(tài)都成立，則此鏈?zhǔn)潜闅v性的，且穩(wěn)態(tài)概率是滿足以下條件的唯一解 和 。 （證略）說

23、明：（1）第一個條件可以寫成： （2）依此，可判斷齊次馬氏鏈的遍歷性。若馬氏鏈遍歷，可求出極限分布，此時的即為平穩(wěn)分布。這是因為：由定理知，故有可見，該極限概率與時間推移無關(guān)，即具有平穩(wěn)性。換句話說，對于遍歷的馬氏鏈，如果經(jīng)過很多步（即）后達(dá)到穩(wěn)態(tài)，穩(wěn)態(tài)概率為，經(jīng)過任意步后，該穩(wěn)態(tài)概率不變。（3）回憶：為該馬氏鏈的初始分布，也稱初始概率；為該馬氏鏈的絕對分布，或稱絕對概率。由定義，對于遍歷的馬氏鏈有，故 即：不管初始分布如何，隨著時間的推移，遍歷馬氏鏈的絕對概率趨于一固定值，即穩(wěn)態(tài)概率（極限分布）。結(jié)合（2），對于遍歷的馬氏鏈，如果經(jīng)過很多步（即）后達(dá)到穩(wěn)態(tài)，絕對概率就等于穩(wěn)態(tài)概率為。平穩(wěn)性的

24、物理意義是，對任意時刻系統(tǒng)處于同一狀態(tài)的概率是相同的。（4）回憶： 狀態(tài)遍歷 且因此，一個非周期，不可約的馬氏鏈?zhǔn)浅７档?，它存在一個平穩(wěn)分布，即，即平穩(wěn)分布就是極限分布。遍歷的馬氏鏈一定具有平穩(wěn)性，但平穩(wěn)的馬氏鏈不一定具有遍歷性（不遍歷的馬氏鏈也可具有平穩(wěn)性）。例1-20 設(shè)馬爾可夫鏈的狀態(tài)空間，一步轉(zhuǎn)移概率矩陣試對該鏈進(jìn)行分類，并說明其遍歷性。解：根據(jù)一步轉(zhuǎn)移概率矩陣可畫出狀態(tài)轉(zhuǎn)移圖。從圖中可知，和都是非周期的正常返狀態(tài)，和都是非常返狀態(tài)。雖然有，但對所有有，因此不存在使所有狀態(tài)有，所以該鏈不是遍歷的。例1-21 設(shè)齊次馬氏鏈的狀態(tài)空間E=1，2，3，其一步轉(zhuǎn)移概率矩陣為 ，問此鏈?zhǔn)欠窬哂斜?/p>

25、歷性，其極限分布是否為平穩(wěn)分布。解：注意到可知其所有二步轉(zhuǎn)移概率對所有均大于0。則由定理7可知此鏈具有遍歷性，且轉(zhuǎn)移概率的極限分布即為滿足下述方程的平穩(wěn)分布且有，解此方程組得 為該鏈的平穩(wěn)分布。例1-22 設(shè)齊次馬氏鏈的狀態(tài)空間E=1，2，其一步轉(zhuǎn)移概率矩陣為 ，討論該鏈的遍歷性及平穩(wěn)性。解：由于，故，即，故與初始狀態(tài)i有關(guān)，故此鏈不具有遍歷性。或者，不存在使所有狀態(tài)有，所以該鏈不是遍歷的。但由于，可見平穩(wěn)分布是存在的，具有無窮多個：；都是其平穩(wěn)分布。1.7泊松過程定義47設(shè)有一隨機(jī)過程，如果對任意時刻 ，過程的增量、,是相互獨(dú)立的隨機(jī)變量，則稱為獨(dú)立增量過程，又稱為可加過程。泊松過程是一個純

26、不連續(xù)的馬爾可夫過程，也是一個獨(dú)立增量過程。1.7.1 泊松過程的一般概念及其特性定義48 設(shè)隨機(jī)過程，其狀態(tài)只取非負(fù)整數(shù)值，若滿足下列三個條件：（1）；（2）為均勻獨(dú)立增量過程；（3）對任意時刻，相應(yīng)的隨機(jī)變量的增量即對于，有 （1.7.1）其中，則稱為泊松過程（均勻情況）。概率論回顧：若，則。一、泊松過程的統(tǒng)計量對于給定的時刻和，且，式（1.7.1）可改寫成先討論：隨機(jī)變量及的數(shù)學(xué)期望、方差、相關(guān)函數(shù)等。1數(shù)學(xué)期望 令，因此，均值為，或 令，可得的數(shù)學(xué)期望為2. 均方值與方差 仍令，故均方值為而方差為2. 相關(guān)函數(shù) 若，則時間間隔和互不交疊，由運(yùn)用獨(dú)立增量性質(zhì)可知，隨機(jī)變量與統(tǒng)計獨(dú)立，故若

27、，則時間間隔和相重疊，先做變換：這樣便可運(yùn)用獨(dú)立增量性質(zhì)，得令，可得的自相關(guān)函數(shù)為 二、泊松增量定義：由泊松過程在給定的時間間隔內(nèi)的增量與之比，構(gòu)成一新的隨機(jī)過程 稱它為泊松增量。分布律：由于易知 ，必有 ，因此 。均值：由，自相關(guān)函數(shù)： 若，則間隔與是不重疊的，運(yùn)用獨(dú)立增量性質(zhì)可知若，則間隔與相交疊，交疊部分的長度為，故、若，間隔與不重疊時，同上；間隔與相交疊時，交疊部分的長度為，故有于是下圖給出作為的函數(shù)的曲線圖形。當(dāng)時，此三角形趨近于沖擊。三、泊松沖激序列對泊松過程求導(dǎo)，便可得到與時間軸上的隨機(jī)點(diǎn)相對應(yīng)的沖擊序列，稱此離散隨機(jī)過程為泊松沖激序列 不難看出 其中，為前面定義過的泊松增量過程。 由此可見，泊松沖