第12講極限定理及平穩(wěn)分布

1、1隨機(jī)數(shù)學(xué)隨機(jī)數(shù)學(xué)第第12講講 極限定理及平穩(wěn)分布極限定理及平穩(wěn)分布教師教師: 陳陳 萍萍2i 為瞬時(shí)態(tài)為瞬時(shí)態(tài)( )01.iiniinfp ( )( )01lim0iinniiiinnfpp i 為常返態(tài)為常返態(tài)( )()()1nnmn mijijjjmpfp3 定理定理3.2.6 設(shè)馬氏鏈的狀態(tài)空間為設(shè)馬氏鏈的狀態(tài)空間為E，(1) 對(duì)任意對(duì)任意i, j E，若，若 ij，則它們同為常返態(tài)或瞬時(shí)，則它們同為常返態(tài)或瞬時(shí)態(tài)；而且當(dāng)態(tài)；而且當(dāng)i, j是常返態(tài)時(shí)，是常返態(tài)時(shí)，i, j 同為正常返態(tài)或同為同為正常返態(tài)或同為零常返態(tài)；零常返態(tài)；(2) 不可約的有限齊次馬氏鏈的狀態(tài)都是正常返的。不可約的

2、有限齊次馬氏鏈的狀態(tài)都是正常返的。定義定義3.2.7 如果集合如果集合n :n1, 0，稱該數(shù)集，稱該數(shù)集的最大公約數(shù)的最大公約數(shù)d(i)為狀態(tài)為狀態(tài)i的周期的周期.若若d(i)1，稱，稱i為為周周期期的，若的，若d(i)=1，稱，稱i為非周期的為非周期的. niip定義定義3.2.8 若狀態(tài)若狀態(tài) i為正常返態(tài)的且非周期的，則稱為正常返態(tài)的且非周期的，則稱i為為遍歷狀態(tài)遍歷狀態(tài). 如果如果Markov鏈鏈的所有狀態(tài)都是遍歷態(tài)的所有狀態(tài)都是遍歷態(tài),則稱該則稱該Markov鏈?zhǔn)潜闅v的鏈?zhǔn)潜闅v的.4小結(jié)小結(jié)相通、相通、閉集閉集、不可約不可約狀態(tài)狀態(tài)常返常返瞬時(shí)瞬時(shí)正常返、正常返、零常返零常返周期周

3、期、非周期非周期遍歷遍歷定理定理3.2.7 設(shè)馬氏鏈的狀態(tài)空間為設(shè)馬氏鏈的狀態(tài)空間為E， i, j E，（1）若）若 i E是一個(gè)周期態(tài)，且是一個(gè)周期態(tài)，且 ij，則，則 j 也是周期也是周期態(tài)，且態(tài)，且di= dj ；（2）若此鏈不可約，且對(duì)）若此鏈不可約，且對(duì)i E有有pii 0，則此鏈?zhǔn)欠?，則此鏈?zhǔn)欠侵芷阪湣Ｖ芷阪湣?3.3 狀態(tài)空間分解定理狀態(tài)空間分解定理01, ,ijkkfi jRR或任意任意Markov鏈的狀態(tài)空間鏈的狀態(tài)空間E可唯一分解為有限或可可唯一分解為有限或可列個(gè)互不相交的子集之和列個(gè)互不相交的子集之和其中其中 (1)N由全體瞬時(shí)態(tài)組成由全體瞬時(shí)態(tài)組成;(2)每個(gè)每個(gè) 或或

4、 是零常返或正常返態(tài)組成的不可約是零常返或正常返態(tài)組成的不可約閉集閉集;(3)每個(gè)每個(gè) 或或 中的狀態(tài)同類中的狀態(tài)同類.它們有相同的周期它們有相同的周期,且且kR0kR0kRkR6例例3.4.1 設(shè)設(shè)Markov鏈的轉(zhuǎn)移矩陣為鏈的轉(zhuǎn)移矩陣為1,011qpqqppP(1) 試求狀態(tài)試求狀態(tài)1,2的的n步首達(dá)概率并求步首達(dá)概率并求(2) 求求Pn并考慮當(dāng)并考慮當(dāng) 的情況的情況.n2 , 1,ii3.4 極限定理及平穩(wěn)分布極限定理及平穩(wěn)分布 1211112101,1,1|1,.fp fP XXXpq 2111,2,3,.nnfpqq n 21111211nnnnpqnfpnpqqq 7 212222

5、21,1,2,3,.,nnpqfq fqpp np 1112211,1,2,.;1,1,2,.nnnnfpp nfqq n例例3.4.1 設(shè)設(shè)Markov鏈的轉(zhuǎn)移矩陣為鏈的轉(zhuǎn)移矩陣為10,11ppPp qqq(1) 試求狀態(tài)試求狀態(tài)1,2的的n步首達(dá)概率步首達(dá)概率.8例例3.4.1 設(shè)設(shè)Markov鏈的轉(zhuǎn)移矩陣為鏈的轉(zhuǎn)移矩陣為10,11ppPp qqq(2) 求求Pn并考慮當(dāng)并考慮當(dāng) 的情況的情況.n 01,1IPpq 1110,10111qpppqpqQDQqpqpqpq111ppPQDQqq911111nnnnnnqppqpppqpqpqqqpqpqpqpqpqPQD Qlimnnqppq

6、pqqppqpqP 112211;limlimnniinnqppqpqPP10定理定理3.4.1 若狀態(tài)若狀態(tài)j是周期為是周期為d的常返態(tài)的常返態(tài),則則jndjjndplim推論推論3.4.1若狀態(tài)若狀態(tài)j是常返態(tài)是常返態(tài),則則j是是0常返態(tài)常返態(tài) 0njjp極限定理極限定理定理定理3.4.2 若若j是瞬時(shí)態(tài)或零常返態(tài)是瞬時(shí)態(tài)或零常返態(tài), 則對(duì)任意則對(duì)任意i S, 0limnijnp11定理定理3.4.3 若若j是正常返態(tài)且周期為是正常返態(tài)且周期為d, 則對(duì)任意則對(duì)任意i及及 ,有有10dr limnd rrijijnjdpf推論推論 設(shè)設(shè)Xn是不可約遍歷鏈?zhǔn)遣豢杉s遍歷鏈 ,則則 i,jEE

7、1lim0nijnjp12定義定義3.4.1 對(duì)于馬氏鏈對(duì)于馬氏鏈X n，n 0,概率分布概率分布稱為是平穩(wěn)的稱為是平穩(wěn)的,若若Sii,ijSiijp平穩(wěn)分布與極限分布平穩(wěn)分布與極限分布定理定理 3.4.4 不可約不可約Markov鏈?zhǔn)潜闅v鏈鏈?zhǔn)潜闅v鏈 對(duì)任意對(duì)任意i, j S，存在僅依賴于，存在僅依賴于j 的常數(shù)的常數(shù) j，使得，使得( )limnijjnp j稱為稱為Markov鏈的極限分布鏈的極限分布. 且有且有ijSiijp13例例3.3.2 設(shè)有設(shè)有6個(gè)車站個(gè)車站,車站中車站中間的公路連接情況如圖間的公路連接情況如圖.汽車汽車每天可以從一個(gè)站駛向與之每天可以從一個(gè)站駛向與之直接相鄰的

8、車站直接相鄰的車站,并在夜晚到并在夜晚到達(dá)車站留宿達(dá)車站留宿,次日凌晨重復(fù)相次日凌晨重復(fù)相同的活動(dòng)同的活動(dòng).設(shè)每天凌晨汽車開設(shè)每天凌晨汽車開往臨近的任一車站都是等可往臨近的任一車站都是等可能的能的,試說明很長(zhǎng)時(shí)間后試說明很長(zhǎng)時(shí)間后,各站各站每晚留宿的汽車比例趨于穩(wěn)每晚留宿的汽車比例趨于穩(wěn)定定.求出這個(gè)比例以便正確地求出這個(gè)比例以便正確地設(shè)置各站的服務(wù)規(guī)模設(shè)置各站的服務(wù)規(guī)模.125364P10014 P100=P100P100 = 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500

9、 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.250015Markov鏈的大數(shù)定律鏈的大數(shù)定律 (*張張) ,.2 , 1 , 0;,.2 , 1,110rXfZnXfSrjrjkkrnkkn設(shè)設(shè)Markov鏈鏈Xn的狀態(tài)空間的狀態(tài)空間S是由單一相通的常返是由單一相通的常返類組成類組成.令令f 是狀態(tài)空間是狀態(tài)空間S上的實(shí)值函數(shù)上的實(shí)值函數(shù), 表示過程第表示過程第r次到次到達(dá)狀態(tài)達(dá)狀態(tài)j的時(shí)間的時(shí)間. 記記 rj命題命題1 無(wú)論無(wú)論Xn的初始分布如何的初始分布如何,隨機(jī)變量隨機(jī)變量Z1, Z2,.是獨(dú)立同分布的是獨(dú)立同分布的.命題命題2 設(shè)設(shè)Xn是不可約正常返的是不可約正常返的Markov鏈鏈, 無(wú)論初始無(wú)論初始分布如何分布如何,如果對(duì)平穩(wěn)