11-1馬爾可夫過程及其概率分布

1、第一節(jié) 馬爾可夫過程及其概率分布一、馬爾可夫過程的概念 二、馬爾可夫過程的概率分布 三、應(yīng)用舉例 四、小結(jié)一、馬爾可夫過程的概念 1. 馬爾可夫性(無后效性)馬爾可夫性或無后效性.即: 過程“將來”的情況與“過去”的情況是無關(guān)的.馬爾可夫資料2. 馬爾可夫過程的定義具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程.用分布函數(shù)表述馬爾可夫過程恰有或?qū)懗刹⒎Q此過程為馬爾可夫過程.3. 馬爾可夫鏈的定義 時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈, 簡記為研究時間和狀態(tài)都是離散的隨機(jī)序列二、馬爾可夫過程的概率分布1. 用分布律描述馬爾可夫性有稱條件概率說明: 轉(zhuǎn)移概率具有特點(diǎn) 2. 轉(zhuǎn)移概率由轉(zhuǎn)移概率組

2、成的矩陣稱為馬氏鏈的轉(zhuǎn)移概率矩陣.此矩陣的每一行元素之和等于1.它是隨機(jī)矩陣.3. 平穩(wěn)性有關(guān)時, 稱轉(zhuǎn)移概率具有平穩(wěn)性.同時也稱此鏈?zhǔn)驱R次的或時齊的.稱為馬氏鏈的n步轉(zhuǎn)移概率一步轉(zhuǎn)移概率特別的, 當(dāng) k=1 時,一步轉(zhuǎn)移概率矩陣的狀態(tài)記為P三、應(yīng)用舉例證明由獨(dú)立增量過程的定義知,即有例1馬爾可夫過程.說明:泊松過程是時間連續(xù)狀態(tài)離散的馬氏過程;維納過程是時間狀態(tài)都連續(xù)的馬氏過程.設(shè)每一級的傳真率為p, 誤碼率為q=1-p.設(shè)一個單位時間傳輸一級,只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(0-1傳輸系統(tǒng))如圖:分析:例2而與時刻 n 以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈, 且是齊次的. 一步轉(zhuǎn)移概率一步轉(zhuǎn)

3、移概率矩陣?yán)? 一維隨機(jī)游動游動的概率規(guī)則1/3的概率向左或向右移動一格, 或以1/3的概率留在原處; 如果Q現(xiàn)在位于點(diǎn) i (1 i 5),則下一時刻各以以概率1移動到2(或4)這一點(diǎn)上.如果Q現(xiàn)在位于1(或5)這點(diǎn)上, 則下一時刻就1和5這兩點(diǎn)稱為反射壁.上面這種游動稱為帶有兩個反射壁的隨機(jī)游動.模擬方法:產(chǎn)生均勻分布的隨機(jī)數(shù)序列 ,其中1表示左移;2表示不動;3表示右移.單擊圖形播放/暫停 ESC鍵退出一維隨機(jī)游動的演示理論分析:狀態(tài)空間就是I.而與時刻 n 以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈, 且是齊次的. 一步轉(zhuǎn)移概率說明:相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把P 中第1行改為改變游動的概率

4、規(guī)則, 就可得到不同方式的隨機(jī)游動和相應(yīng)的馬氏鏈. 如果把點(diǎn) 1 改為吸收壁, 一步轉(zhuǎn)移概率矩陣解例4例5解解例6排隊(duì)模型 設(shè)服務(wù)系統(tǒng)由一個服務(wù)員和只可以容納兩個人的等候室組成:服務(wù)規(guī)則假定一個需要服務(wù)的顧客到達(dá)系統(tǒng)時發(fā)現(xiàn)系統(tǒng)先到先服務(wù), 后來者需在等候室依次排隊(duì).內(nèi)已有3個顧客(一個正在接受服務(wù), 兩個在等候室排隊(duì)), 則該顧客即離去.隨機(jī)到達(dá)者系 統(tǒng)等候室服務(wù)臺離去者例7分析假設(shè):有一原來被服務(wù)的顧客離開系統(tǒng) (即服務(wù)完畢)的入或離開系統(tǒng)實(shí)際上是不可能的.3. 再設(shè)有無顧客來到與服務(wù)是否完畢是相互獨(dú)立的.以下用馬氏鏈來描述這個服務(wù)系統(tǒng).系統(tǒng)狀態(tài)可知它是一個齊次馬氏鏈.在系統(tǒng)內(nèi)沒有顧客的條件

5、下, 在系統(tǒng)內(nèi)沒有顧客的條件下, 系統(tǒng)內(nèi)恰有一顧客正在接受服務(wù)的條件下,系統(tǒng)內(nèi)恰有一顧客的條件下,他因服務(wù)完畢而離去而另一顧客進(jìn)入系統(tǒng)或者正在接受服務(wù)的顧客將繼續(xù)要求服務(wù),且無人進(jìn)入系統(tǒng)的概率.正在接受服務(wù)的顧客繼續(xù)要求服務(wù),且在正在接受服務(wù)的顧客繼續(xù)要求服務(wù), 且另一個顧客進(jìn)入系統(tǒng)的概率.間隔內(nèi)有兩個客顧進(jìn)入系統(tǒng)的概率,由假設(shè), 后者實(shí)際上是不可能發(fā)生的.類似的,或者一人將離去且另一人將進(jìn)入系統(tǒng),或者無人離開系統(tǒng)的概率.該馬氏鏈的一步轉(zhuǎn)移概率為 某計(jì)算機(jī)房的一臺計(jì)算機(jī)經(jīng)常出故障,研究者每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了24小時的數(shù)擾 (共作97次觀察) . 用1表示正常狀態(tài), 用0表

6、示不正常狀態(tài), 所得的數(shù)據(jù)序列如下: 1110001101101分析狀態(tài)空間: I=0,1.例8 01111110011196 次狀態(tài)轉(zhuǎn)移的情況:因此, 一步轉(zhuǎn)移概率可用頻率近似地表示為:以下研究齊次馬氏鏈的有限維分布.特點(diǎn):用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定馬氏鏈的 n 維分布有限維分布仍由初始分布和轉(zhuǎn)移概率矩陣決定 由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動的統(tǒng)計(jì)規(guī)律. 因此, 確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.四、小結(jié)齊次馬氏鏈、平穩(wěn)性的概念.一步轉(zhuǎn)移概率矩陣的計(jì)算.一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣馬爾可夫資料Born: 14 June 1856 in Ryaz