隨機(jī)過程馬氏過程

隨機(jī)過程馬氏過程第一頁，共二十三頁，編輯于2023年，星期四2

我們注意到，齊次馬氏鏈的n步轉(zhuǎn)移概率當(dāng)n趨于無窮時(shí),即過程的轉(zhuǎn)移無限進(jìn)行下去時(shí),其極限可能存在，而且也可能與起始狀態(tài)i無關(guān)，例如只有兩個(gè)狀態(tài)的馬氏鏈，其一步轉(zhuǎn)移概率矩陣為易知其任意步轉(zhuǎn)移概率矩陣為第二頁，共二十三頁，編輯于2023年，星期四3

又如一齊次馬氏鏈，狀態(tài)空間為E={1,2,3}，其一步轉(zhuǎn)移概率矩陣,二步,三步轉(zhuǎn)移概率矩陣為第三頁，共二十三頁，編輯于2023年，星期四4

于是由此可推測(cè)第四頁，共二十三頁，編輯于2023年，星期四5

因此,一般來說，通常討論關(guān)于齊次馬氏鏈的n步轉(zhuǎn)移概率的兩方面問題，一是其極限是否存在？二是如果此極限存在，那么它是否與現(xiàn)在所處狀態(tài)i無關(guān)，在馬氏鏈理論中，有關(guān)這兩方面問題的定理，統(tǒng)稱為遍歷性定理。第五頁，共二十三頁，編輯于2023年，星期四6一齊次馬氏鏈的遍歷性

定義4.1

設(shè)齊次馬氏鏈的狀態(tài)空間為E={1,2,…}，若對(duì)于E中所有的狀態(tài)i,j，存在不依賴于i的常數(shù)πj，為其轉(zhuǎn)移概率的極限，即其相應(yīng)的轉(zhuǎn)移矩陣有第六頁，共二十三頁，編輯于2023年，星期四7則稱此齊次馬氏鏈具有遍歷性，并稱πj為狀態(tài)j的穩(wěn)態(tài)概率。第七頁，共二十三頁，編輯于2023年，星期四8

定理4.1

設(shè)齊次馬氏鏈{X(n),n≥1}的狀態(tài)空間為E={1,2,…,N}，若存在正整數(shù)m，使對(duì)任意的i,j∈E，其m步轉(zhuǎn)移概率均大于0,即

則此馬氏鏈具有遍歷性；且各狀態(tài)的穩(wěn)態(tài)概率滿足下列方程組第八頁，共二十三頁，編輯于2023年，星期四9及概率分布條件注1

判斷馬氏鏈的遍歷性有很多方法,本定理只是其中一個(gè)較為簡單的方法.注2

本定理不僅給出了判斷馬氏鏈的遍歷性的方法,也給出了求其穩(wěn)態(tài)概率的方法.第九頁，共二十三頁，編輯于2023年，星期四10

例4.1

設(shè)齊次馬氏鏈的狀態(tài)空間E={1,2,3}，其一步轉(zhuǎn)移概率為

試問此鏈?zhǔn)欠窬哂斜闅v性?若有,試求其穩(wěn)態(tài)概率.第十頁，共二十三頁，編輯于2023年，星期四11

解：注意到即知其所有的二步轉(zhuǎn)移概率均大于0，由定理4.1知，此鏈具有遍歷性.第十一頁，共二十三頁，編輯于2023年，星期四12再由轉(zhuǎn)移概率與穩(wěn)態(tài)概率滿足的方程組得解之可得穩(wěn)態(tài)概率為第十二頁，共二十三頁，編輯于2023年，星期四13例4.2

設(shè)齊次馬氏鏈的狀態(tài)空間E={1,2}，其一步轉(zhuǎn)移概率矩陣為試討論該鏈的遍歷性。解：容易計(jì)算得出，該鏈的其n步轉(zhuǎn)移矩陣與其一步轉(zhuǎn)移矩陣P相同，即第十三頁，共二十三頁，編輯于2023年，星期四14故由定義4.1知，此鏈不具有遍歷性,也不存在穩(wěn)態(tài)概率。

第十四頁，共二十三頁，編輯于2023年，星期四15二齊次馬氏鏈的平穩(wěn)分布定義4.2

設(shè){X(n),n≥0}是一齊次馬氏鏈，若存在實(shí)數(shù)集合{rj,j∈E}，滿足則稱{X(n),n≥0}是一平穩(wěn)齊次馬氏鏈，稱{rj,j∈E}為該過程的一個(gè)平穩(wěn)分布。第十五頁，共二十三頁，編輯于2023年，星期四16例4.3

已知{X(n),n≥0}的初始分布為其一步轉(zhuǎn)移矩陣為試說明此馬氏鏈?zhǔn)瞧椒€(wěn)的,且其初始分布為其平穩(wěn)分布。第十六頁，共二十三頁，編輯于2023年，星期四17解由平穩(wěn)分布滿足的方程組注意到第十七頁，共二十三頁，編輯于2023年，星期四18即此初始分布滿足定義4.2中條件，故具有上述轉(zhuǎn)移概率的齊次馬氏鏈為一平穩(wěn)齊次馬氏鏈，初始分布為其一個(gè)平穩(wěn)分布。定理4.2

設(shè){X(n),n≥0}是一平穩(wěn)齊次馬氏鏈，若其初始分布P(0)={p1(0)，p2(0),…,pj(0),…}為此鏈的平穩(wěn)分布時(shí)，則對(duì)任何n≥1，絕對(duì)概率等于初始概率，即：證若平穩(wěn)齊次馬氏鏈的初始分布為平穩(wěn)分布時(shí),則有第十八頁，共二十三頁，編輯于2023年，星期四19而齊次馬氏鏈的絕對(duì)概率為其初始分布與轉(zhuǎn)移概率確定第十九頁，共二十三頁，編輯于2023年，星期四20第二十頁，共二十三頁，編輯于2023年，星期四21

由此可見，當(dāng)我們能判定齊次馬氏鏈的初始分布是一平穩(wěn)分布時(shí)，則該馬氏鏈在任何時(shí)刻的絕對(duì)概率分布都與初始分布相同。事實(shí)上，平穩(wěn)分布就是不因轉(zhuǎn)移步數(shù)變化而改變的分布。此時(shí)馬氏鏈處于狀態(tài)j的概率與時(shí)間推移無關(guān)，即具有平穩(wěn)性。注1

一般來說，平穩(wěn)齊次馬氏鏈的平穩(wěn)分布并不唯一.注2

在定理4.1條件下,平穩(wěn)齊次馬氏鏈的穩(wěn)態(tài)概率即為其平穩(wěn)分布。第二十一頁，共二十三頁，編輯于2023年，星期四22例4.4

設(shè)齊次馬氏鏈的狀態(tài)空間為E={1,2},其一步轉(zhuǎn)移概率矩陣為由例4.2知