概率論第八章課件

第八章馬爾可夫鏈馬爾可夫鏈的定義及例子多步轉移概率及C-K方程遍歷性與平穩(wěn)分布第八章馬爾可夫鏈馬爾可夫鏈的定義及例子多步轉移概率及C-K方1一馬爾可夫鏈的定義

8.1馬爾可夫鏈的定義及一些例子一馬爾可夫鏈的定義8.1馬爾可夫鏈的定義及一些例子2證由定義知，只要證明在已知已知的條件下相互獨立即可由獨立增量的定義知，當時，增量與相互獨立。根據(jù)條件即有與相互獨立。這表明相互獨立。即是一個馬爾可夫過程。證由定義知，只要證明在已知已知的條件下相互獨立即可由獨立3狀態(tài)和時間參數(shù)都是離散的馬爾可夫過程稱為馬爾可夫鏈，或馬氏鏈。狀態(tài)和時間參數(shù)都是離散的馬爾可夫過程稱為馬爾可夫鏈，或馬氏鏈4證可見,的狀態(tài)空間對任意的及是一個馬氏鏈。證可見,的狀態(tài)空間對任意的及是一個馬氏鏈。5由馬氏鏈定義及概率論知識可知

所以，馬氏鏈的有限維分布完全由初始分布和條件概率確定。如何確定這些條件概率是馬爾可夫鏈理論和應用中的重要問題之一。

由馬氏鏈定義及概率論知識可知所以，馬氏鏈的有6轉移概率的性質二轉移概率轉移概率的性質二轉移概率7否則，就稱之為非時齊的。否則，就稱之為非時齊的。8概率論第八章課件9

例3：（0-1傳輸系統(tǒng)）在只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)中，設每一級的傳真率（輸出與輸入數(shù)字相同的概率稱為系統(tǒng)的傳真率，相反情形稱為誤碼率）為，誤碼率為，并設一個單位時間傳輸一級，是第一級的輸入，是第級的輸出。那么，是一隨機過程，狀態(tài)空間。12n顯然，當為已知時，所處的狀態(tài)的概率分布只與有關，而與時刻以前所處的狀態(tài)無關。所以他是一個馬爾可夫鏈，而且還是齊次的。例3：（0-1傳輸系統(tǒng)）在只傳輸數(shù)字0和1的10他的一步轉移概率為從而他的一步轉移概率矩陣為他的一步轉移概率為從而他的一步轉移概率矩陣為11解對任意的n及所以為馬氏鏈。由于獨立同分布，因而所以為齊次馬氏鏈。其一步轉移概率解對任意的n及所以為馬氏鏈。由于獨立同分布，因而12概率論第八章課件13概率論第八章課件14同樣可以討論帶有一個吸收壁及兩個反射壁的隨機游動，當然也可以討論沒有吸收壁和反射壁的自由隨機游動?？傊淖冇蝿拥母怕室?guī)則，就可得到不同方式的游動和相應的馬氏鏈。同樣可以討論帶有一個吸收壁及兩個反射壁的隨機15概率論第八章課件16隨機到達者等候室服務臺系統(tǒng)離去者隨機到達者等候室服務臺系統(tǒng)離去者17概率論第八章課件18概率論第八章課件19類似地，有于是該馬氏鏈的一步轉移概率矩陣為類似地，有于是該馬氏鏈的一步轉移概率矩陣為20馬氏鏈考題：1、設任意相繼的兩天中，雨天轉晴天的概率為，晴天轉雨天的概率為，任一天晴或雨是互為逆事件。以0表示晴天狀態(tài)，以1表示雨天狀態(tài)，表示第天的狀態(tài)（0或1）。試寫出馬氏鏈的一步轉移概率矩陣和兩步轉移概率矩陣。又若已知5月1日為晴天，問5月2日和4日都是晴天的概率是多少？馬氏鏈考題：1、設任意相繼的兩天中，雨天轉晴212、一個老鼠“學習”過程的模型如下：如果老鼠“學到”某種技巧（如取得一顆花生或者避開一次電休克等），那么說它處于狀態(tài)1；如果它還沒有學會，那么說它處于狀態(tài)2，假定它一旦學會了就將一直記住，而如果它還沒有學會，它在一次試驗中“學會”的概率是，寫出1步，2步轉移概率矩陣；如果初始分布為，求。2、一個老鼠“學習”過程的模型如下：如果老鼠22馬氏鏈的有限維分布馬氏鏈的有限維分布23(1)一維分布設鏈的由全概公式一維分布可用行向量表示利用矩陣的乘法：說明馬氏鏈在任一時刻n的一維分布由初始分布與n步轉移概率矩陣確定。(1)一維分布設鏈的由全概公式一維分布可用行向量表示利用矩陣24

所以，馬氏鏈的有限維分布完全由初始分布和轉移概率確定。(2)n維分布

所以，馬氏鏈的有限維分布完全由初始分布(2)n維258.2多步轉移概率及C-K方程類似地也可以得出n步轉移概率滿足下面兩個性質：8.2多步轉移概率及C-K方程類似地也可以得出n步轉移概率26此方程稱為Chapman-kolmogorov(切普曼－柯爾莫哥洛夫)方程,簡稱C-K方程.證：

此方程稱為Chapman-kolmogorov(切普曼－柯爾27如果把轉移概率寫成矩陣的形式，那么C－K方程具有以下簡單的形式特別地,步轉移概率由一步轉移概率完全決定。如果把轉移概率寫成矩陣的形式，那么C－K方程具有以下簡單的形28概率論第八章課件29解：解：30（2）由可知（3）由C-K方程可知（2）由可知（3）由C-K方程可知31解:先求出二步轉移概率矩陣解:先求出二步轉移概率矩陣32于是于是33概率論第八章課件340→0，8次，0→1，18次；1→0，18次，1→1，52次。因此，一步轉移概率可用頻率近似地表示為

（1）試求一步轉移概率；（2）若計算機在前一段（15分鐘）的狀態(tài)為0，那么從本時段起，此計算機能連續(xù)3個時段正常工作的概率是多少；解（1）96次狀態(tài)轉移的情況是：0→0，8次，0→1，18次；1→0，18次，1→1，5235（2）由題意，計算機在前一段（15分鐘）的狀態(tài)為0，意味著初始分布為計算機能連續(xù)3個時段正常工作的概率是（2）由題意，計算機在前一段（15分鐘）的狀態(tài)為0，意味著初36

例11

對于只有兩個狀態(tài)的馬氏鏈，一步轉移概率矩陣一般可表示為：

試求n步轉移概率矩陣。解

，特征方程為有相異特征值由線性代數(shù)知識，可將矩陣P表示為對角陣

例11對于只有兩個狀態(tài)的馬氏鏈，一步轉移概率矩陣37的相似矩陣。

，則

由，容易算得對應的特征向量具體做法是：求出的相似矩陣。，則，容易算得對應的特征向量具體做法是38

練習：設馬氏鏈的狀態(tài)空間為，初始分布為一步轉移概率矩陣為（1）計算；（2）證明；（3）計算；（4）計算。練習：設馬氏鏈398.3遍歷性與平穩(wěn)分布對于一個系統(tǒng)來說，考慮它的長期的性質是很必要的，比如當時，的極限是否存在？所以問題可以轉化為研究的極限性質，即研究是否存在？存在的話，其極限是否與有關？有關這兩方面問題的定理，統(tǒng)稱為遍歷性定理。一遍歷性由全概公式可知8.3遍歷性與平穩(wěn)分布對于一個系統(tǒng)來40概率論第八章課件41對于一般的兩個狀態(tài)的馬氏鏈，有具有遍歷性的馬氏鏈是否存在呢？由于，上式得極限為可見此馬氏鏈的步轉移概率有一個穩(wěn)定的極限，什么時候會存在呢？無關，并且對于一般的馬氏鏈，其極限與對于一般的兩個狀態(tài)的馬氏鏈，有具有遍歷性的馬氏鏈是否存在呢42概率論第八章課件43證：由于：故即，經(jīng)過無窮次轉移后處于狀態(tài)的概率與初始狀態(tài)無關，與初始狀態(tài)的分布也無關。推論8-1如果馬氏鏈是遍歷的，則

所取的值與初始狀態(tài)的分布無關。證：由于：故即，經(jīng)過無窮次轉移后處于狀態(tài)的概率與初始狀態(tài)44概率論第八章課件45解先求出二步轉移概率矩陣于是（1）（2）解先求出二步轉移概率矩陣于是（2）46（3）由于所有的二步轉移概率均大于零，由定理8-2可知，此鏈具有遍歷性；又，則，可得（4）由（3）由于所有的二步轉移概率均大于零，由定理8-2可知，此鏈47例12設一馬氏鏈的一步轉移概率矩陣為試討論它的遍歷性。

解:先算得例12設一馬氏鏈的一步轉移概率矩陣為試討論它的遍歷性。解48定義8-8一個定義在狀態(tài)空間上的概率分布稱為馬氏鏈的平穩(wěn)分布，如有：即，，有：在定理8-2的條件下，馬氏鏈的極限分布又是平穩(wěn)分布。二平穩(wěn)分布稱為馬氏鏈的平穩(wěn)分布，如有：即，，有：在定理8-2的條件下，49例8-13設馬氏鏈的一步轉移概率矩陣為試求其平穩(wěn)分布。解得，平穩(wěn)分布滿足方程解：由例8-13設馬氏鏈的一步轉移概率矩陣為試求其平穩(wěn)分布。解50例8-14設一馬氏鏈的一步轉移概率矩陣為試求此馬氏鏈具不具有遍歷性，是否存在平穩(wěn)分布。，顯然此鏈不具有遍歷性。但是則此鏈具有平穩(wěn)分布且有無窮多個。解易知，例8-14設一馬氏鏈的一步轉移概率矩陣為試求此馬氏鏈具不具51第八章馬爾可夫鏈馬爾可夫鏈的定義及例子多步轉移概率及C-K方程遍歷性與平穩(wěn)分布第八章馬爾可夫鏈馬爾可夫鏈的定義及例子多步轉移概率及C-K方52一馬爾可夫鏈的定義

8.1馬爾可夫鏈的定義及一些例子一馬爾可夫鏈的定義8.1馬爾可夫鏈的定義及一些例子53證由定義知，只要證明在已知已知的條件下相互獨立即可由獨立增量的定義知，當時，增量與相互獨立。根據(jù)條件即有與相互獨立。這表明相互獨立。即是一個馬爾可夫過程。證由定義知，只要證明在已知已知的條件下相互獨立即可由獨立54狀態(tài)和時間參數(shù)都是離散的馬爾可夫過程稱為馬爾可夫鏈，或馬氏鏈。狀態(tài)和時間參數(shù)都是離散的馬爾可夫過程稱為馬爾可夫鏈，或馬氏鏈55證可見,的狀態(tài)空間對任意的及是一個馬氏鏈。證可見,的狀態(tài)空間對任意的及是一個馬氏鏈。56由馬氏鏈定義及概率論知識可知

所以，馬氏鏈的有限維分布完全由初始分布和條件概率確定。如何確定這些條件概率是馬爾可夫鏈理論和應用中的重要問題之一。

由馬氏鏈定義及概率論知識可知所以，馬氏鏈的有57轉移概率的性質二轉移概率轉移概率的性質二轉移概率58否則，就稱之為非時齊的。否則，就稱之為非時齊的。59概率論第八章課件60

例3：（0-1傳輸系統(tǒng)）在只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)中，設每一級的傳真率（輸出與輸入數(shù)字相同的概率稱為系統(tǒng)的傳真率，相反情形稱為誤碼率）為，誤碼率為，并設一個單位時間傳輸一級，是第一級的輸入，是第級的輸出。那么，是一隨機過程，狀態(tài)空間。12n顯然，當為已知時，所處的狀態(tài)的概率分布只與有關，而與時刻以前所處的狀態(tài)無關。所以他是一個馬爾可夫鏈，而且還是齊次的。例3：（0-1傳輸系統(tǒng)）在只傳輸數(shù)字0和1的61他的一步轉移概率為從而他的一步轉移概率矩陣為他的一步轉移概率為從而他的一步轉移概率矩陣為62解對任意的n及所以為馬氏鏈。由于獨立同分布，因而所以為齊次馬氏鏈。其一步轉移概率解對任意的n及所以為馬氏鏈。由于獨立同分布，因而63概率論第八章課件64概率論第八章課件65同樣可以討論帶有一個吸收壁及兩個反射壁的隨機游動，當然也可以討論沒有吸收壁和反射壁的自由隨機游動?？傊?，改變游動的概率規(guī)則，就可得到不同方式的游動和相應的馬氏鏈。同樣可以討論帶有一個吸收壁及兩個反射壁的隨機66概率論第八章課件67隨機到達者等候室服務臺系統(tǒng)離去者隨機到達者等候室服務臺系統(tǒng)離去者68概率論第八章課件69概率論第八章課件70類似地，有于是該馬氏鏈的一步轉移概率矩陣為類似地，有于是該馬氏鏈的一步轉移概率矩陣為71馬氏鏈考題：1、設任意相繼的兩天中，雨天轉晴天的概率為，晴天轉雨天的概率為，任一天晴或雨是互為逆事件。以0表示晴天狀態(tài)，以1表示雨天狀態(tài)，表示第天的狀態(tài)（0或1）。試寫出馬氏鏈的一步轉移概率矩陣和兩步轉移概率矩陣。又若已知5月1日為晴天，問5月2日和4日都是晴天的概率是多少？馬氏鏈考題：1、設任意相繼的兩天中，雨天轉晴722、一個老鼠“學習”過程的模型如下：如果老鼠“學到”某種技巧（如取得一顆花生或者避開一次電休克等），那么說它處于狀態(tài)1；如果它還沒有學會，那么說它處于狀態(tài)2，假定它一旦學會了就將一直記住，而如果它還沒有學會，它在一次試驗中“學會”的概率是，寫出1步，2步轉移概率矩陣；如果初始分布為，求。2、一個老鼠“學習”過程的模型如下：如果老鼠73馬氏鏈的有限維分布馬氏鏈的有限維分布74(1)一維分布設鏈的由全概公式一維分布可用行向量表示利用矩陣的乘法：說明馬氏鏈在任一時刻n的一維分布由初始分布與n步轉移概率矩陣確定。(1)一維分布設鏈的由全概公式一維分布可用行向量表示利用矩陣75

所以，馬氏鏈的有限維分布完全由初始分布和轉移概率確定。(2)n維分布

所以，馬氏鏈的有限維分布完全由初始分布(2)n維768.2多步轉移概率及C-K方程類似地也可以得出n步轉移概率滿足下面兩個性質：8.2多步轉移概率及C-K方程類似地也可以得出n步轉移概率77此方程稱為Chapman-kolmogorov(切普曼－柯爾莫哥洛夫)方程,簡稱C-K方程.證：

此方程稱為Chapman-kolmogorov(切普曼－柯爾78如果把轉移概率寫成矩陣的形式，那么C－K方程具有以下簡單的形式特別地,步轉移概率由一步轉移概率完全決定。如果把轉移概率寫成矩陣的形式，那么C－K方程具有以下簡單的形79概率論第八章課件80解：解：81（2）由可知（3）由C-K方程可知（2）由可知（3）由C-K方程可知82解:先求出二步轉移概率矩陣解:先求出二步轉移概率矩陣83于是于是84概率論第八章課件850→0，8次，0→1，18次；1→0，18次，1→1，52次。因此，一步轉移概率可用頻率近似地表示為

（1）試求一步轉移概率；（2）若計算機在前一段（15分鐘）的狀態(tài)為0，那么從本時段起，此計算機能連續(xù)3個時段正常工作的概率是多少；解（1）96次狀態(tài)轉移的情況是：0→0，8次，0→1，18次；1→0，18次，1→1，5286（2）由題意，計算機在前一段（15分鐘）的狀態(tài)為0，意味著初始分布為計算機能連續(xù)3個時段正常工作的概率是（2）由題意，計算機在前一段（15分鐘）的狀態(tài)為0，意味著初87

例11

對于只有兩個狀態(tài)的馬氏鏈，一步轉移概率矩陣一般可表示為：

試求n步轉移概率矩陣。解

，特征方程為有相異特征值由線性代數(shù)知識，可將矩陣P表示為對角陣

例11對于只有兩個狀態(tài)的馬氏鏈，一步轉移概率矩陣88的相似矩陣。

，則

由，容易算得對應的特征向量具體做法是：求出的相似矩陣。，則，容易算得對應的特征向量具體做法是89

練習：設馬氏鏈的狀態(tài)空間為，初始分布為一步轉移概率矩陣為（1）計算；（2）證明；（3）計算；（4）計算。練習：設馬氏鏈908.3遍歷性與平穩(wěn)分布對于一個系統(tǒng)來說，考慮它的長期的性質是很必要的，比如當時，的極限是否存在？所以問題可以轉化為研究的極限性質，即研究是否存在？存在的話，其極限是否與有關？有關這兩方面問題的定理，統(tǒng)稱為遍歷性定理。一遍