第7章 馬爾可夫過程與泊松過程

#第7章馬爾可夫過程與泊松過程7.1馬爾可夫過程1．引例例1：隨機(jī)游動(dòng)問題。質(zhì)點(diǎn)在一直線上作隨機(jī)游動(dòng)，如果某一時(shí)刻質(zhì)點(diǎn)位于點(diǎn)i，則下一步質(zhì)點(diǎn)以概率p向左移動(dòng)一格達(dá)到點(diǎn)i-1，以概率(1-p)向右移動(dòng)一格達(dá)到點(diǎn)i+1。用X(n)表示時(shí)刻"質(zhì)點(diǎn)的位置，則X(n)是一隨機(jī)過程。在時(shí)刻n+1質(zhì)點(diǎn)所處的位置X(n+1)只與時(shí)刻n質(zhì)點(diǎn)的位置X(n)有關(guān)，而與n以前的位置X(n-1)…X⑵、X(1)無關(guān)。例2：遺傳病問題。某些疾病常遺傳給下一代，但不隔代遺傳。第n+1代是否有此種疾病只與第n代是否有此疾病有關(guān)，而與n代以前的健康狀況無關(guān)。2．馬爾可夫過程描述性概念一般而言，若隨機(jī)過程在時(shí)刻t所處的狀態(tài)X(t)為已知的條件下，過程在時(shí)刻tnn(t>t)所處的狀態(tài)X(t)只與過程在時(shí)刻t的狀態(tài)X(t)有關(guān)，而與t以前的狀態(tài)無關(guān),nnnn則稱此過程為馬爾可夫過程。3．馬爾可夫過程分類馬爾可夫過程分為四類：(1)離散馬爾可夫鏈：時(shí)間t取離散值t，t，…t，…，可直接記為t二1,2,…n,…。TOC\o"1-5"\h\z12n狀態(tài)X(n)取離散值a，a，…a，…，可直接記為X二1,2,…n,…。12n(2)連續(xù)馬爾可夫鏈：時(shí)間t取離散值t，t,…t，…，狀態(tài)X(n)取連續(xù)值。12n(3)離散馬爾可夫過程：時(shí)間t取連續(xù)值，狀態(tài)X(t)取離散值。(4)連續(xù)馬爾可夫過程：時(shí)間t取連續(xù)值，狀態(tài)X(t)取連續(xù)值。.

4．馬爾可夫過程的研究與應(yīng)用概況在隨機(jī)過程的研究領(lǐng)域，馬爾可夫過程是主要的研究對(duì)象，有關(guān)的專著、專題無計(jì)其數(shù)其原因是馬爾可夫過程與眾多的應(yīng)用領(lǐng)域有關(guān)聯(lián)。5．馬爾可夫鏈(1)定義設(shè)時(shí)間t取離散值t=1,2,…n,…，記X=X(n)，設(shè)狀態(tài)X取有限個(gè)離散值nnX二1,2,…N，若P,n+1=jX=Jn=jX=i,X=i，…X=iP,n+1=jX=Jnnn-1n-111n+1稱X馬爾可夫鏈。n(2)一步轉(zhuǎn)移概率記P=P^X=jX=i'I稱P..為馬氏鏈的一步轉(zhuǎn)移概率。ijn+1nij由所有的P由所有的P(i=1,2,…N，ijj=1,2,…N)構(gòu)成的矩陣P=一P11P21P…11P…22P一1NP2NPP…PN1N2NN稱為馬氏鏈的一步轉(zhuǎn)移矩陣。可以證明：'0<P<1ij￡p=1ijj=1(3)k步轉(zhuǎn)移概率記P(1)=P=P(X=j|X=i}TOC\o"1-5"\h\zijijn+1nP(2)=P(X=j|X=i}ijn+2nP(k)=P(X=j|X=i}ijn+kn稱P(k)為馬氏鏈的k步轉(zhuǎn)移概率。ij由所有的P(k)(i=1,2,…N，j=1,2,…N)構(gòu)成的矩陣ij

P(k)=稱為馬氏鏈的k步轉(zhuǎn)移矩陣。可以證明：P(k)P(k)…1111P(k)P(k)…2122P(k)P(k)…N1N2P(k)=稱為馬氏鏈的k步轉(zhuǎn)移矩陣。可以證明：P(k)P(k)…1111P(k)P(k)…2122P(k)P(k)…N1N2P(k)1NP2(k)2NP(k)NNI<P(k)<1(/蘭P(k)=1(/Ij=1(4)一步轉(zhuǎn)移矩陣P(1)=P與k步轉(zhuǎn)移矩陣P(k)的關(guān)系定理：P(k)=Pk。5．應(yīng)用舉例例3：天氣預(yù)報(bào)。假設(shè)明日是否有雨只與今日的天氣狀況有關(guān)，而與以前的天氣狀況無關(guān)。在今日有雨的條件下，明日有雨的概率為0.6，明日無雨的概率為0.4；在今日無雨的條件下，明日有雨的概率為0.3，明日無雨的概率為0.7；用1表示有雨，用2表示無雨。求1一4步的轉(zhuǎn)移概率矩陣。求今日有雨求今日有雨求今日無雨1)2)3)4)解：P11=p明日有第2日(后日)有雨的概率。第3日無雨的概率。求第4日有雨的概率。=1|Xn+1n=1)=0.6p=p明日無雨今日有雨Lp?=2x12In+1n=1}=0.4P=P明日有雨今日無雨｝=P，=1X=2L0.3n=2X=2$=o.7n0.60.4P=0.30.70.60.420.480.520.30.7__0.390.61_0.60.430.4440.5560.30.7__0.4170.583_0.60.440.43320.56680.30.7__0.42510.5749_P(2)=P(3)=P(4)=今日有雨，第2日(后日)有雨的概率為P(2)=0.48。11今日有雨，第3日無雨的概率為P⑶=0.556。12今日無雨，求第4日有雨的概率為P(4)=0.451。217.2獨(dú)立增量過程1．引例例1：用X(n)表示我國第n年的人口總數(shù)，則AX=X(n)-X(n-1)表示在時(shí)間段n［n-1,n］的人口增量。一般，AX，AX，…AX是相互獨(dú)立的。TOC\o"1-5"\h\z12n例2：用X(t)表示時(shí)刻t到某商店購物的房客總數(shù)，則AX二X(t)-X(t)表示在nnnnn-1時(shí)間段［t,t］的房客增量。一般，AX，AX，…AX是相互獨(dú)立的。n-1n12n例3：用X(t)表示時(shí)刻t通過某路口的車輛總數(shù)，則AX二X(t)-X(t)表示在時(shí)nnnnn-1間段［t,t］的車流增量。一般，AX，AX，…AX是相互獨(dú)立的。n-1n12n2．獨(dú)立增量過程的定義設(shè)有一隨機(jī)過程X(t)，teT，如果對(duì)任意時(shí)刻0<t<t<…<t，過程的增12n量為AX—X(t)—X(t)(i=1,2,…n)，若AX，AX，…AX是相互獨(dú)立的隨iii-112n機(jī)變量，則稱X(t)為獨(dú)立增量過程，又稱X(t)為可加過程。3．泊松過程(1)定義設(shè)隨機(jī)過程X(t)te［t,a)(t>0)，其狀態(tài)只取非負(fù)整數(shù)值，若滿足下列三個(gè)條件：00對(duì)任意時(shí)刻t<t<t<???<t，在時(shí)間段(［tt,］，事件出現(xiàn)的次數(shù)012ni-1iX(t,t)—X(t)—X(t)(i—1,2,…n)是相互獨(dú)立的。i-1iii-1對(duì)于充分小的At，在時(shí)間段(t,t+At)事件出現(xiàn)1次的概率為P(t,t+At)—P［X(t,t+At)—1］—九-At+o(At)1對(duì)于充分小的At，在時(shí)間段(t,t+At)事件出現(xiàn)兩次及兩次以上的概率為藝P(t,t+At)=藝P[X(t,t+At)=j]=o(At)jj=2j=2則稱X(t)為泊伀過程。(2)泊松過程的概率計(jì)算①P(t,t+At)=P[X(t,t+At)=0]=1—九?At+o(At)0②Pk(0,t)=P[X(0,t)=k]=罟(九(t一t))k“P(t,t)=P[X(t,t)=k]=P[X(t)一X(t)=k]=ba-e一心一仃)TOC\o"1-5"\h\zkababbak!數(shù)學(xué)期望記a=X