隨機(jī)過程第五章連續(xù)時(shí)間的馬爾可夫鏈

1、第五章 連續(xù)時(shí)間的馬爾可夫鏈5.1 連續(xù)時(shí)間的馬爾可夫鏈考慮取非負(fù)整數(shù)值的連續(xù)時(shí)間隨機(jī)過程 X(t),t 0.定義5.1 設(shè)隨機(jī)過程 X(t),t 0. ,狀態(tài)空間 I in,n 0 ,若對(duì)任意0 t1 t2 . tn 1及 i1,i2,.in 1 I ,有PX(tn1) in 1X(t1) i1,X(t2) i2,.X(tn) in=PX(tn1) in 1 X(tn) in (5.1)則稱X(t),t 0. 為連續(xù)時(shí)間馬爾可夫鏈 .由定義知 ,連續(xù)時(shí)間馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性的隨機(jī)過程 ,即過程在已知 現(xiàn)在時(shí)刻 tn及一切過去時(shí)刻所處狀態(tài)的條件下 ,將來時(shí)刻 tn 1的狀態(tài)只依賴于現(xiàn) 在

2、狀態(tài)而與過去無關(guān) .記(5.1)式條件概率一般形式為PX(s t) j X(s) i pij(s,t)(5.2)它表示系統(tǒng)在 s時(shí)刻處于狀態(tài) i,經(jīng)過時(shí)間 t后轉(zhuǎn)移到狀態(tài) j的轉(zhuǎn)移概率 .定義 5.2 若(5.2)式的轉(zhuǎn)移概率與 s 無關(guān) ,則稱連續(xù)時(shí)間馬爾可夫鏈具有平穩(wěn)的 或齊次的轉(zhuǎn)移概率 ,此時(shí)轉(zhuǎn)移概率簡(jiǎn)記為pij (s,t) pij (t),其轉(zhuǎn)移概率矩陣簡(jiǎn)記為 P(t) (pij(t),(i, j I,t 0).以下的討論均假定我們所考慮的連續(xù)時(shí)間馬爾可夫鏈都具有齊次轉(zhuǎn)移概率.簡(jiǎn)稱為齊次馬爾可夫過程 .假設(shè)在某時(shí)刻 ,比如說時(shí)刻 0,馬爾可夫鏈進(jìn)入狀態(tài) i,而且接下來的 s 個(gè)單位時(shí)間

3、 單位中過程未離開狀態(tài) i,(即未發(fā)生轉(zhuǎn)移 ),問隨后的 t 個(gè)單位時(shí)間中過程仍不離開 狀態(tài) i 的概率是多少呢 ?由馬爾可夫我們知道 ,過程在時(shí)刻 s 處于狀態(tài) i 條件下 ,在 區(qū)間s,s+t中仍然處于 i的概率正是它處于 i至少 t個(gè)單位的無條件概率 .若記 hi 為記過程在轉(zhuǎn)移到另一個(gè)狀態(tài)之前停留在狀態(tài) i 的時(shí)間 ,則對(duì)一切 s,t 0有Phi s thi s Phi t,可見,隨機(jī)變量 hi具有無記憶性 ,因此hi服從指數(shù)分布 .由此可見,一個(gè)連續(xù)時(shí)間馬爾可夫鏈 ,每當(dāng)它進(jìn)入狀態(tài) i,具有如下性質(zhì) :(1) 在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài) i 的時(shí)間服從參數(shù)為 vi 的指數(shù)分布 ;(

4、2) 當(dāng)過程離開狀態(tài) i 時(shí),接著以概率 pij 進(jìn)行狀態(tài) j, pij 1 .ji 上述性質(zhì)也是我們構(gòu)造連續(xù)時(shí)間馬爾可夫鏈的一種方法 .當(dāng) vi時(shí) , 稱狀態(tài) i 為瞬時(shí)狀態(tài) , 因?yàn)檫^程一旦進(jìn)入此狀態(tài)立即就離開 .vi 0 時(shí) ,稱狀態(tài) i 為吸收狀態(tài) ,因?yàn)檫^程一旦進(jìn)入狀態(tài)就永遠(yuǎn)不再離開了 .盡管 瞬時(shí)狀態(tài)在理論上是可能的 ,但以后假設(shè)對(duì)一切 i, 0 vi.因此 ,實(shí)際上一個(gè)連續(xù)時(shí)間的馬爾可夫鏈?zhǔn)且粋€(gè)這樣的隨機(jī)過程 ,它按照一個(gè)離散時(shí)間的馬爾可夫鏈 從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài) ,但在轉(zhuǎn)移到下一個(gè)狀態(tài)之前 ,它在各個(gè)狀態(tài)停留的 時(shí)間服從指數(shù)分布 .此外在狀態(tài) i 過程停留的時(shí)間與下一個(gè)到

5、達(dá)的狀態(tài)必須是相 互獨(dú)立的隨機(jī)變量 .因此下一個(gè)到達(dá)的狀態(tài)依賴于 hi ,那么過程處于狀態(tài) i 已有多 久的信息與一個(gè)狀態(tài)的預(yù)報(bào)有關(guān) ,這與馬爾可夫性的假定相矛盾 .定理 5.1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì) :(1) pij 0;(2)pij 1;jI(3) pij (t s)pik (t)pkj(s).kI其中 (3)式即為連續(xù)時(shí)間齊次馬爾可夫鏈的切普曼 柯爾哥洛夫方程 .證明 只證 (3).由全概率公式及馬爾可夫性可得pij(t s) PX(t s) j X(0) i)= PX(t s) j,X(t) k X(0) ikI= PX(t) kX(0) iPX(t s) j X(t

6、) kkIpik (t)pkj (s).kI對(duì)于轉(zhuǎn)移概率 pij (t) ,一般還假定它滿足 :1,i jlimt 0 pij(t)(5.3)0,i j.稱 (5.3)式為正則條件 .正則條件說明 ,過程剛進(jìn)入某狀態(tài)不可能立即又跳躍到另一 狀態(tài) .這正好說明一個(gè)物理系統(tǒng)要在有限時(shí)間內(nèi)發(fā)生限多次跳躍,從而消耗無窮多的能量這是不可能的 .定義 5.3 對(duì)于任 一t 0 記pj(t) P X(t) j,pjpj (0) PX(0) j, j I,分別稱 p j (t), j I,pj,j I 齊次馬爾可夫過程的絕對(duì)概率分布和初始概率分 布.(1)pj(t)0,(2)jIpj(t)1,(3)pj(t)

7、iIpi pij (t);(4)pj(th)pi(t)pij (h);iI(5)p X (t1 ) i1,., X (t n ) inpi pii1 pi1i2 (t2 t1 ).pin 1in (tn tn 1).定理 5.2 齊次馬爾可夫過程的絕對(duì)概率及有限維概率分布具有下列性質(zhì) :iI例 5.1試證明泊松過程 X(t),t 0 為連續(xù)時(shí)間齊次馬爾可夫鏈 .證明 先證泊松過程具有馬爾可夫性 ,再證明齊次性 .由泊松過程的定義 它是獨(dú)立增量過程 ,且X(0)=0. 0 t1,. tn tn 1, 有PX(tn 1) in 1 X(t1) i1,.,X(tn) in= PX(tn1) X(tn

8、) in1 in X(t1) X(0) i1,.=X(t2) X(t1) i2 i1,.X (t n ) X(tn 1) in in1,= PX(tn 1) X(tn) in1 in .另一方面 ,因?yàn)镻X(tn 1) in1 X(tn) in=PX(tn1) X(tn) in 1 in X(tn) X(0) in=PX(tn1) X(tn) in 1 in所以P X (tn 1) in1X(t1) i1,.,X(tn) in=PX(tn 1) in1 X(tn) in. 即泊松過程是一個(gè)連續(xù)時(shí)間馬爾可夫過程 .以下證明齊次性 .當(dāng) j i 時(shí) ,由泊松過程的定義=et ( t)j i(j i

9、)!j<i.時(shí),由于過程的增量只取非負(fù)整數(shù) ,故 pij(s,t) 0,所以pij (s,t) pij (t)e t (jt)ji)i!, j ( j i)!0, j i即轉(zhuǎn)移概率只與 t 有關(guān) ,泊松過程具有齊次性 .5.2 柯爾莫哥洛夫微分方程對(duì)于連續(xù)時(shí)間齊次馬爾可夫鏈轉(zhuǎn)移概率 pij (t) 的求解一般比較復(fù)雜 .下面首先討論 pij (t) 的可微性及 pij(t) 滿足的柯爾莫哥洛夫微分程引理 5.1 設(shè)齊次馬爾可夫過程滿足正則性條件 (5.3),則對(duì)于任意固定的 i, j I,pij(t)是t 的一致連續(xù)函數(shù) .證明 設(shè) h>0,由定理 5.1 得pij (t h) p

10、ij (t)pir (h)prj (t) pij (t)rIpir (h)prj(t) pii(h)pij(t) pij (t) ripir (h)prj (t) 1 pii (h)pij (t) ri故有 pij (t h) pij (t)1pii (h) pij (t)1 pii (h),pij (t h) pij (t)ripir (h)prj (t)rpir (h) 1 pii (h) i因此pij (t h) pij (t)1pii (h).對(duì)于 h<0,同樣有 pij (th)pij (t) 1 pii( h).綜上所述得到pij (t h) pij (t)1pii(h).由

11、正則性條件知limh 0 pij (t h) pij (t) 0,即 pij (t) 關(guān)于 t 是一 致連續(xù)的 .以下我們恒設(shè)齊次馬爾可夫過程滿足正則性條件 (5.3)式. 定理 5.3 設(shè) pij (t) 是齊次馬爾可夫過程的轉(zhuǎn)移概率 ,則下列極限存在(1)limt01 pii ( t)viqii(2)limpij ( t)t0qij我們稱qij為齊次馬爾可夫過程從狀態(tài) i到狀態(tài) j的轉(zhuǎn)移概率或跳躍強(qiáng)度 .定理中 的極限的概率意義為 :在長(zhǎng)為 t 的時(shí)間區(qū)間內(nèi) ,過程從狀態(tài) i 轉(zhuǎn)移到另一其他狀態(tài) 的轉(zhuǎn)移概率為 1 pii( t)等于qii t 加一個(gè)比 t高階的無窮小量 ,而過程從狀態(tài) i

12、轉(zhuǎn)移到狀態(tài) j 的轉(zhuǎn)移概率為 pij( t)等于 qijt 加一個(gè)比t 高階的無窮小量 .推論 對(duì)有限齊次馬爾可夫過程 qiiqijji 證明 由定理 5.1 ,有,有pij ( t) 1,1 pii ( t) jIpij ( jit)由于求和是在有限集中進(jìn)行 ,故有1 pii ( t) qii lim t 0iitlim t 0pij ( t)qij .(5.4)jij i t對(duì)于狀態(tài)空間無限的齊次馬爾可夫過程,一般只有qiiqij .ji若連續(xù)時(shí)間齊次馬爾可夫是具有有限狀態(tài)空間 I=0,1,2, ,n,則其轉(zhuǎn)移速率構(gòu) 成以下形式的矩陣q00q01. q0nQq10q11 .q1n(5.5)

13、qn0qn1. qnn由(5.4)式知,Q矩陣的每一行元素之和為 0,對(duì)角線元素為負(fù)或 0,其余 ,qij 0.利用 Q 矩陣可以推出任意時(shí)間間隔 t 的轉(zhuǎn)移概率所滿足的方法組 ,從而可以求 解轉(zhuǎn)移概率 .由切普曼 -柯爾莫哥洛夫方程有pij (t h)pik(h)pkj (t),kI或等價(jià)地pij (t h) pij (t)pik(h)pkj(t) 1 pii (h)pij(t)ki兩邊除以 h 后令 h 0取極限,應(yīng)用定理 5.3得到pij (t h) pij (t)pik (h)lim h 0 limh 0pkj(t) qii pij (t)(5.6)h k i h假定在 (5.6)式的

14、右邊可交換極限與求和 ,再運(yùn)用定理 5.3,于是得到以下結(jié)論 : 定理5.4 (柯爾莫哥洛夫向后方程 )假設(shè) qik qii ,則對(duì)一切 i,j 及t 0,有 kipij(t)qikpkj(t) qii pij, (5.7)ki證明 只要證明 (5.6)式右邊極限與求和可交換次序 .現(xiàn)在對(duì)于任意固定的 N, 有pik (h)limh 0inf k i pikh(h)pkj(t) limh0 infpik (h)ikpkj (t)qik pkj (t)k i,k N h k i,k N因?yàn)樯鲜綄?duì)一切 N 成立,所以pik (h)lim h 0 inf ikpkj (t)k i, hqik pkj

15、 (t)(5.8)k i,為了倒轉(zhuǎn)不等式 ,注意對(duì)于 N>i,由于 pkj(t) 1, 所以lim h0 supk i,pik (h)pkj (t)lim h0 supki,kpikh(h)pkj(t)Nhpik (h)lim h 0 supk i ,kpikh(h)pkj(t)Nhpii (h) hpik (h) k i,k N hk i,k 令Nqik pkj (t)Nlim h0 supki,pik(h)pkj(t)qik pkj(t) . k i,qiiqik ,k i,k N ,由定理 5.3 和條件得上式連同 (5.8)可得limh 0 pik(h)pkj(t)qik pkj

16、(t).k i, h k i,定理 5.4 中 pij (t) 滿足的微分方程組以柯爾莫可洛夫向后方程著稱 .稱它們?yōu)橄蚝蠓匠?,是因?yàn)樵谟?jì)算時(shí)刻 t+h 的狀態(tài)的概率分布時(shí)我們對(duì)退后到時(shí)刻 h的狀態(tài) 取條件 ,即我們從pij(t h) PX(t h) j X(0) i,X(h) k. kI.PX(h) k X(0) ipkj(t)pik(h)kI開始計(jì)算 .對(duì)時(shí)刻 t 的狀態(tài)取條件 ,我們可以導(dǎo)出另一組方程 ,稱為柯爾莫哥洛夫向前方程 可得pij (t h)kpik(t)pkj(h),Ipij (th) pij (t)pik(t)pkj(h) pij (t) kIpik (t)pkj (h)

17、1 p jj (h) pij (t),k所以limhpij (t h)0pij (t) h假定我們能交換極限與求和pkj (h) pik (t) jh,則由定理 5.3 便得到lim h 0k1 phjj (h) pij (t). hpij (t)pik (t)qkj qii pij (t),kj 令人遺憾的是上述極限與求和的交換不是恒成立 ,所以上式并非總是成立 .然而在 大多數(shù)模型中 包括全部生滅過程與全部有限狀態(tài)的模型 ,它們是成立的 .定理 5.5(柯爾莫哥洛夫向前方程 ) 在適當(dāng)?shù)恼齽t條件下 , pij(t)pik(t)qkj pij (t)qjj ,(5.9)ki利用方程組 (5.

18、7)或 (5.9)及初始條件pii(0) 1,pij (0) 0,i j.我們可以解得 pij (t) .柯爾莫哥洛夫向后和向前方程雖然形式不同,但是可以證明它們所求得的解 pij (t)是相同的.在實(shí)際應(yīng)用中 ,當(dāng)固定最后所處狀態(tài) j,研究 pij(t)時(shí)(i=0,1,2,n),采用向后方程比較方便 ;當(dāng)固定狀態(tài) i,研究 pij (t) 時(shí)(j=0,1,2,),則 采用向前方程較方便 .向后方程和向前方程可以寫成矩陣形式(5.10)(5.11)P (t) QP(t),P (t) P(t)Q,其中q00q01q02q10q11q12q20q21q22p00p01p02p10p11p12p20

19、p21p22QP這樣,連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問 題,其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣 Q決定.特別地,若 Q 是一個(gè)有限維矩陣 ,則(5.10) 和(5.11)的解為P(t) eQt(Qt) j 0 j!定理 5.6 .齊次馬爾可夫過程在 t 時(shí)刻處于狀態(tài) j I 的絕對(duì)概率 pj (t )滿足下列方程:pj (t)pj (t)qjjpk (t )qkj .kj(5.12)證明 由定理 5.2,有 pj (t)pi pij (t) t iI將向前方程 (5.9)式兩邊乘以pi,并對(duì) i 求和得pipij (t)(i I i Ipi pij (t)qjj )i I

20、 k jpi pik (t)qkj.故pj (t)pj (t)qjjpk (t )qkj. . kj與離散馬爾可夫鏈類似,我們討論轉(zhuǎn)移概率pij (t) 當(dāng) t時(shí)的極限分布與平穩(wěn)分布的有限性質(zhì) .定義 5.4 設(shè) pij(t) 為連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率 ,若存在時(shí)刻 t1,t2,使得pij (t1) 0, pij (t2) 0,則稱狀態(tài) i 和 j 是互通的 .若所有狀態(tài)都是互通的 ,則稱此馬爾可夫鏈為不可約 的.定理 5.7 設(shè)連續(xù)時(shí)間的馬爾可夫是不可約的 ,則有下列性質(zhì) :(1) 若它是正常返的,則極限limt pij(t) 存在且等于 j 0,j I. 這里0, j I. 是方程組

21、jqjjk qkj ,k j j Ij1(5.13)的唯一非負(fù)解 .此時(shí)稱 j 0, jI .是該過程的平穩(wěn)分布 ,并且有l(wèi)imt pj (t)j.(2)若它是零常返的或非常返的,則limtpij(t) limt pj(t) 0,i, j I.在實(shí)際問題中 ,有些問題可以用柯爾莫哥洛夫方程直接求解 ,有些問題雖然不 能求解但是可以用方程 (5.13)求解 .例 5.2 考慮兩個(gè)狀態(tài)的連續(xù)時(shí)間馬爾可夫鏈 ,在轉(zhuǎn)移到狀態(tài) 1 之前鏈在狀態(tài) 0 停留的時(shí)間是參數(shù)為 的指數(shù)變量 ,而在回到狀態(tài) 0 之前它停留在狀態(tài) 1 的時(shí) 間是參數(shù)為 的指數(shù)變量 ,顯然該鏈?zhǔn)且粋€(gè)齊次馬爾可夫過程 ,其狀態(tài)轉(zhuǎn)移概率o

22、(h),p01 ( h)h o(h), p10 (h) h由定理 5.3 知q00lim h 01 p00(h)limh 0 p01(h)ddhp01(h)h0q01,q11 limp11(h)limh 0 p10(h)p10 (h) h 0 dhq10 ,)t,則由柯爾莫哥洛夫向前方程得到p00(t) p01(t) p00(t)= ( )p00(t) ,其中最后一個(gè)等式來自 p01(t) 1 p00 (t).因?yàn)?p00(0) 1,由常數(shù)變易法得p00(t)p00 (t) 0 0e)t若記 0由對(duì)稱性知 p11(t) 00e ()t,p10 (t)00e ()t,轉(zhuǎn)移概率的極限為lim t

23、p00 (t)0limt p10 (t ), lim t p01(t) 0 lim t p11 (t ),由此可見,當(dāng)t時(shí), pij (t)的極限存在且與 i無關(guān).定理 5.6知,平穩(wěn)分布為0 0 , 1 0若取初始分布為平穩(wěn)分布 ,即PX(0) 0 p00, PX(0) 1 p1 0則過程在時(shí)刻 t 的絕對(duì)概率分布為p0(t) p0 p00(t) p1p10(t)= 0 0e0 0 01 e 0p1(t) p0 p01(t) p1p10(t)0 01 e ()t0 00e ()t例 5.3 機(jī)器維修問題 .設(shè)例 5.2中狀態(tài) 0代表某機(jī)器正常工作狀態(tài) 1 代表機(jī)器出 故障.狀態(tài)轉(zhuǎn)移概率與例

24、5.2 相同,即在 h 時(shí)間內(nèi) ,機(jī)器從正常工作變?yōu)槌龉收系母?率為 p01(h) h o(h), 在 h 時(shí)間內(nèi),機(jī)器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為 p10 (h) h o(h), 試求在 t=0 時(shí)正常工作的機(jī)器 ,在 t=5 時(shí)為正常工作的概率 解 由例 5.2已求得該過程的 Q 矩陣為根據(jù)題意 ,要求機(jī)器最后所處的狀態(tài)為正常工作 ,只需計(jì)算 p00(t) 即可.由例 5.2 知p00(t)00e ()t ,0p00(5)00e ()5P X(5) 0 p0 (5) p0 p00(5) p00(5) 0 0e ( )55.3 生滅過程連續(xù)時(shí)間馬爾可夫鏈的一類重要特殊情形是生滅過程

25、,它的特征是在很短的時(shí) 間內(nèi),系統(tǒng)的狀態(tài)只能從狀態(tài) i轉(zhuǎn)移到狀態(tài) i-1或i+1或保持不變,確切定義如下 .定義5.5 設(shè)齊次馬爾可夫過程 X(t),t 0 的狀態(tài)空間為 I=0,1,2, ,轉(zhuǎn)移概率 為 pij (t) ,如果pi,i 1(h)i h o(h), i 0,pi,i 1(h)i h o(h), i 0, 0 0,pi,j (h) o(h),i j 2,pi,i(h) 1 ( i i )h o(h),則稱 X(t),t 0為生滅過程 , i為出生率,i 為死亡率 .若 i i , i i ,(是正常數(shù)),則稱 X (t), t 0為線性生滅過程 .若 i 0,則稱X(t),t 0為純生