馬爾可夫過程及其概率分布2

MarkovStochasticProcess主講：汪金菊合肥工業(yè)大學(xué)數(shù)學(xué)學(xué)院wangjinjudou@

第一節(jié)馬爾可夫過程及其概率分布一、馬爾可夫過程的概念二、馬爾可夫過程的概率分布三、應(yīng)用舉例四、小結(jié)一、馬爾可夫過程的概念1.馬爾可夫性(無后效性)馬爾可夫性或無后效性.即:過程“將來”的情況與“過去”的情況是無關(guān)的.2.馬爾可夫過程的定義具有馬爾可夫性的隨機過程稱為馬爾可夫過程.用分布函數(shù)表述馬爾可夫過程恰有或?qū)懗刹⒎Q此過程為馬爾可夫過程.3.馬爾可夫鏈的定義

時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈,簡記為研究時間和狀態(tài)都是離散的隨機序列二、馬爾可夫過程的概率分布1.用分布律描述馬爾可夫性有稱條件概率說明:

轉(zhuǎn)移概率具有特點2.轉(zhuǎn)移概率由轉(zhuǎn)移概率組成的矩陣稱為馬氏鏈的轉(zhuǎn)移概率矩陣.此矩陣的每一行元素之和等于1.它是隨機矩陣.3.平穩(wěn)性有關(guān)時,稱轉(zhuǎn)移概率具有平穩(wěn)性.同時也稱此鏈是齊次的或時齊的(homogeneous).稱為馬氏鏈的n步轉(zhuǎn)移概率一步轉(zhuǎn)移概率特別的,當k=1時,一步轉(zhuǎn)移概率矩陣的狀態(tài)記為P設(shè)每一級的傳真率為p,誤碼率為q=1-p.設(shè)一個單位時間傳輸一級,只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(傳輸系統(tǒng))如圖:分析:例2而與時刻n以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣

某計算機房的一臺計算機經(jīng)常出故障,研究者每隔15分鐘觀察一次計算機運行狀態(tài),收集了24小時的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例511101101101011110111011110111111001101111110011196次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:以下研究齊次馬氏鏈的有限維分布.特點:用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運動的統(tǒng)計規(guī)律.因此,確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.四、小結(jié)具有平穩(wěn)轉(zhuǎn)移概率的馬氏鏈為齊次馬氏鏈.一步轉(zhuǎn)移概率矩陣的計算.一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣第二節(jié)多步轉(zhuǎn)移概率的確定一、C-K方程三、應(yīng)用舉例

四、小結(jié)二、多步轉(zhuǎn)移概率的確定一、C-K方程是一齊次馬氏鏈,則對任意的切普曼-柯爾莫哥洛夫方程(簡稱C-K方程)說明C-K

方程基于下列事實:這一事件可分解成:件的和事件.如下圖所示:證明由條件概率定義和乘法定理得(馬氏性和齊次性)所以考慮到馬氏性和齊次性,即得C-K方程.C-K方程也可寫成矩陣形式:

二、多步轉(zhuǎn)移概率的確定利用C-K方程我們?nèi)菀状_定n步轉(zhuǎn)移概率.得遞推關(guān)系:從而可得齊次馬氏鏈的n步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的n次方,鏈的有限維分布可由初始分布和一步轉(zhuǎn)移概率完全確定.結(jié)論解(1)先求出2步轉(zhuǎn)移概率矩陣:例1在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級傳輸后輸出為1,問原發(fā)字符也是1的概率是多少?例2解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將P表示成對角陣傳輸后的誤碼率分別為:(2)根據(jù)貝葉斯公式,當系統(tǒng)經(jīng)n級傳輸后輸出為1,原發(fā)字符也是1的概率為:說明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對于只有兩個狀態(tài)的馬氏鏈,一步轉(zhuǎn)移概率四、小結(jié)切普曼-柯爾莫哥洛夫方程(簡稱C–K方程)馬氏鏈的n步轉(zhuǎn)移概率矩陣是一步轉(zhuǎn)移概率矩陣的n次方,鏈的有限維分布可由初始分布和一步移概率完全確定.由C–K方程可得第三節(jié)遍歷性一、遍歷性的概念三、應(yīng)用舉例四、小結(jié)二、(有限鏈)遍歷性的充分條件一、遍歷性的概念對于一般的兩個狀態(tài)的馬氏鏈,由上節(jié)內(nèi)容可知,意義對固定的狀態(tài)j,不管鏈在某一時刻的什么狀態(tài)i出發(fā),通過長時間的轉(zhuǎn)移到達狀態(tài)j的概率都趨定義則稱此鏈具有遍歷性.二、(有限鏈)遍歷性的充分條件說明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.試說明帶有兩個反射壁的隨機游動是遍歷的,

并求其極限分布(平穩(wěn)分布).解例1三、應(yīng)用舉例

無零元,鏈是遍歷的代入最后一個方程(歸一條件),得唯一解所以極限分布為這個分布表明經(jīng)過長時間游動之后,醉漢Q位于點2(或3或4)的概率約為