隨機(jī)過(guò)程第六章sjgc

電子科技大學(xué)第六章馬爾科夫過(guò)程

馬爾科夫過(guò)程是由前蘇聯(lián)數(shù)學(xué)家A.A.Markov首先提出和研究的一類(lèi)隨機(jī)過(guò)程,已成為內(nèi)容豐富,理論較完善,應(yīng)用十分廣泛的一門(mén)數(shù)學(xué)分支,應(yīng)用涉及計(jì)算機(jī)、自動(dòng)控制、通信、生物學(xué)、經(jīng)濟(jì)、氣象、物理、化學(xué)等等.電子科技大學(xué)

在已知系統(tǒng)現(xiàn)在所處狀態(tài)下,系統(tǒng)將來(lái)的演變與過(guò)去無(wú)關(guān),稱為無(wú)后效性.

例如生物基因遺傳從這一代到下一代的轉(zhuǎn)移僅依賴當(dāng)代而與以往各代無(wú)關(guān)；§6.1馬爾科夫過(guò)程的概念某公司的經(jīng)營(yíng)狀況具有無(wú)后效性；一、馬爾科夫性及定義電子科技大學(xué)

評(píng)估一個(gè)計(jì)算機(jī)系統(tǒng)的性能時(shí),若系統(tǒng)將來(lái)的狀態(tài),僅依賴于目前所處的狀態(tài)，而與過(guò)去的狀態(tài)無(wú)關(guān)；股票的交易行情也具有無(wú)后效性.

平穩(wěn)過(guò)程具有平穩(wěn)性：它的統(tǒng)計(jì)特性不隨時(shí)間的推移而改變,它的變化情況與過(guò)去的情況有不可忽視的聯(lián)系.與平穩(wěn)過(guò)程的本質(zhì)差別：電子科技大學(xué)

定義6.1.1

隨機(jī)過(guò)程{X(t),t∈T},如果對(duì)于任意取定參數(shù)t1<t2<…<tn,有稱{X(t),t∈T}為馬氏過(guò)程.由條件分布函數(shù)定義,(1)式等價(jià)于電子科技大學(xué)若條件密度存在,(1)式等價(jià)于二、滿足馬氏性的過(guò)程定理6.1.1獨(dú)立過(guò)程{X(t),t∈T}是馬氏過(guò)程；

證1）對(duì)于t1<t2<…<tn∈T,因X(t1)…X(tn)相互獨(dú)立,P{X(tn)≤xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}電子科技大學(xué)=P{X(tn)≤

xn}=P{X(tn)≤xn|X(tn-1)=xn-1}定理6.1.2

獨(dú)立增量過(guò)程{Y(t),t∈T},T=[a,b],a>－∞,且初始分布P{Y(a)=0}=1,則{Y(t),t∈T}是馬氏過(guò)程.電子科技大學(xué)證

對(duì)于任意的t1<t2<…<tn,需證

因增量Y(t)－Y(tn),Y(t1)－Y(a)=Y(t1),Y(t2)－Y(t1),…,Y(tn)－Y(tn－1)

相互獨(dú)立，電子科技大學(xué)

即將來(lái)狀態(tài)與過(guò)去狀態(tài)無(wú)關(guān),故獨(dú)立增量過(guò)程{Y(t),t∈T}是馬氏過(guò)程.

EX.1

因泊松過(guò)程是平穩(wěn)獨(dú)立增量過(guò)程,且N(0)=0,故泊松過(guò)程是馬爾科夫過(guò)程；電子科技大學(xué)

EX.2

設(shè)隨機(jī)過(guò)程{X(n),n≥1},X(n)是第n次投擲一顆骰子出現(xiàn)的點(diǎn)數(shù),則是獨(dú)立過(guò)程,從而是馬氏過(guò)程.

將一個(gè)小球投入無(wú)限大高爾頓釘板內(nèi),小球各以的概率向左或向右移動(dòng)一格.EX.3

隨機(jī)游動(dòng)(高爾頓釘板試驗(yàn))電子科技大學(xué)P{X(k)=i}

－11X(k)

{X(k),k∈N+}

是一個(gè)獨(dú)立隨機(jī)過(guò)程,令

{Y(n),n∈N+}是一個(gè)平穩(wěn)獨(dú)立增量過(guò)程.隨機(jī)游動(dòng)n

步所處的狀態(tài)電子科技大學(xué)

{Y(n),n∈N+}是馬氏過(guò)程。

維納過(guò)程也是獨(dú)立平穩(wěn)增量過(guò)程，且W(0)=0,故維納過(guò)程是馬爾科夫過(guò)程.三、馬氏過(guò)程的有限維分布族稱為馬氏過(guò)程{X(t),t∈T}的轉(zhuǎn)移分布函數(shù).定義6.1.2

對(duì)任意s,t∈T，記電子科技大學(xué)

馬氏過(guò)程{X(t),t∈T}的狀態(tài)空間是連續(xù)的，則其有限維概率密度可表示為是條件概率密度與t1時(shí)刻的初始概率密度的乘積.

為轉(zhuǎn)移概率密度.

電子科技大學(xué)馬氏過(guò)程{X(t),t∈T}的狀態(tài)空間是離散的，則其有限維聯(lián)合分布律為為轉(zhuǎn)移概率.