No.12-第5章-馬爾可夫預(yù)測(cè)的基本原理

主要內(nèi)容：馬爾可夫預(yù)測(cè)的基本原理馬爾可夫預(yù)測(cè)的應(yīng)用預(yù)測(cè)與決策教程第五章馬爾可夫預(yù)測(cè)方法西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系5.1馬爾科夫預(yù)測(cè)的基本原理知識(shí)點(diǎn)1：馬爾可夫鏈【案例5-1】Centerville小鎮(zhèn)的天氣每天都在變化。如果今天是晴天，則明天出現(xiàn)晴天的可能性就比今天是雨天明天出現(xiàn)晴天的可能性大。如果今天是晴天，則明天也是晴天的概率為0.8。而今天是雨天，則明天是晴天的概率為0.6。即使考慮了今天之前所有各天的氣象情況，這個(gè)概率值也不會(huì)發(fā)生改變。Centerville小鎮(zhèn)的天氣變化可看作一個(gè)隨機(jī)過(guò)程{Xt}。從某天開(kāi)始（這一天被記為第0天），連續(xù)記錄隨后每一天（第t天）的氣象狀況，t=0,1,2,…,第t天系統(tǒng)的狀態(tài)可能為1(代表第t天為晴天)，也可能為2(代表第t天為雨天)。因此，對(duì)于，t=0,1,2,…，隨機(jī)變量Xt可表示為：背景案例

因此，隨機(jī)過(guò)程{Xt}={X0,X1,X2

,…}是一種描述Centerville小鎮(zhèn)氣象狀況隨時(shí)間變化的數(shù)學(xué)表達(dá)式。

[資料來(lái)源：Hillier,FS,Lieberman,GJ.著，胡運(yùn)權(quán)等譯.運(yùn)籌學(xué)導(dǎo)論，清華大學(xué)出版社，2007。p714-715]如果第t天是晴天如果第t天是雨天西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系

馬爾可夫（A.A.Markov）是俄國(guó)數(shù)學(xué)家。二十世紀(jì)初，他在研究中發(fā)現(xiàn)自然界中有一類(lèi)事物的變化過(guò)程僅與事物的近期狀態(tài)有關(guān)，而與事物的過(guò)去狀態(tài)無(wú)關(guān)。具有這種特性的隨機(jī)過(guò)程稱(chēng)為馬爾可夫過(guò)程。西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系類(lèi)似上述系統(tǒng)狀態(tài)動(dòng)態(tài)變化問(wèn)題的表述和預(yù)測(cè)可以通過(guò)馬爾可夫預(yù)測(cè)方法來(lái)完成。設(shè)備維修和更新、人才結(jié)構(gòu)變化、資金流向、市場(chǎng)需求變化等許多經(jīng)濟(jì)和社會(huì)行為都可用這一類(lèi)過(guò)程來(lái)描述或近似，其應(yīng)用范圍非常廣泛。一、馬爾可夫鏈定義1

隨機(jī)過(guò)程參數(shù)集（隨機(jī)變量）——隨機(jī)過(guò)程

定義2

如若

為離散集（設(shè)），同時(shí)的取值也是離散的，則稱(chēng)為離散型隨機(jī)過(guò)程。知識(shí)點(diǎn)1什么是馬爾可夫鏈？西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系

設(shè)有一離散型隨機(jī)過(guò)程，它在時(shí)刻所有可能處于的狀態(tài)的集合為稱(chēng)S為狀態(tài)空間。（與時(shí)刻無(wú)關(guān)）

定義3若只與有關(guān)，而與等無(wú)關(guān)，稱(chēng)

為馬爾可夫鏈，即在荷花池中有

N張荷葉，編號(hào)為1，2，……，N

。假設(shè)有一只青蛙隨機(jī)地從這張荷葉上跳到另一張荷葉上。青蛙的運(yùn)動(dòng)可看作一隨機(jī)過(guò)程。在時(shí)刻t，青蛙所在的那張荷葉，稱(chēng)為青蛙所處的狀態(tài)。那么，青蛙在未來(lái)處于什么狀態(tài)，只與它現(xiàn)在所處狀態(tài)有關(guān)，與它以前在哪張荷葉上無(wú)關(guān)。此過(guò)程就是一個(gè)馬爾可夫鏈?！纠壳嗤芴扇~馬爾科夫鏈：離散的、狀態(tài)有限、狀態(tài)僅與上期有關(guān)的隨機(jī)過(guò)程。當(dāng)系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時(shí)，我們稱(chēng)之為狀態(tài)轉(zhuǎn)移。

定義4

一步狀態(tài)轉(zhuǎn)移概率定義5

狀態(tài)轉(zhuǎn)移概率矩陣與n無(wú)關(guān)假設(shè)：（齊性）知識(shí)點(diǎn)2：狀態(tài)轉(zhuǎn)移矩陣Review:馬爾科夫鏈—離散的、狀態(tài)有限、狀態(tài)僅與上期有關(guān)的隨機(jī)過(guò)程。再引入幾個(gè)概念：

概率向量：對(duì)于任意的行向量（或列向量），如果其每個(gè)元素均非負(fù)且總和等于1，則稱(chēng)該向量為概率向量。概率向量（市場(chǎng)占有率）

概率矩陣：由概率向量作為行向量所構(gòu)成的方陣稱(chēng)為概率矩陣。概率矩陣（選擇產(chǎn)品時(shí)不同品牌間轉(zhuǎn)化）初始狀態(tài)概率向量記為過(guò)程的開(kāi)始時(shí)刻，則稱(chēng)為初始狀態(tài)概率向量。概率矩陣有如下性質(zhì)：如果

、皆是概率矩陣，則也是概率矩陣；如果

是概率矩陣，則

的任意次冪也是概率矩陣。定義6

k步狀態(tài)轉(zhuǎn)移概率，k步狀態(tài)轉(zhuǎn)移概率矩陣

稱(chēng)為k步狀態(tài)轉(zhuǎn)移概率，為k步狀態(tài)轉(zhuǎn)移概率矩陣?！景咐?-1】Centerville小鎮(zhèn)的天氣每天都在變化。如果今天是晴天，則明天出現(xiàn)晴天的可能性就比今天是雨天明天出現(xiàn)晴天的可能性大。如果今天是晴天，則明天也是晴天的概率為0.8。而今天是雨天，則明天是晴天的概率為0.6。即使考慮了今天之前所有各天的氣象情況，這個(gè)概率值也不會(huì)發(fā)生改變。Centerville小鎮(zhèn)的天氣變化可看作一個(gè)隨機(jī)過(guò)程{Xt}。從某天開(kāi)始（這一天被記為第0天），連續(xù)記錄隨后每一天（第t天）的氣象狀況，t=0,1,2,…,第t天系統(tǒng)的狀態(tài)可能為1(代表第t天為晴天)，也可能為2(代表第t天為雨天)。因此，對(duì)于，t=0,1,2,…，隨機(jī)變量Xt可表示為：回顧：

因此，隨機(jī)過(guò)程{Xt}={X0,X1,X2

,…}是一種描述Centerville小鎮(zhèn)氣象狀況隨時(shí)間變化的數(shù)學(xué)表達(dá)式。

如果第t天是晴天如果第t天是雨天西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系由題設(shè)，

從而，

又，由于第二天的天氣情況不受今天之前天氣情況的影響，因此，該隨機(jī)過(guò)程具有馬爾可夫?qū)傩?，該過(guò)程為馬爾可夫鏈。狀態(tài)轉(zhuǎn)移概率矩陣

狀態(tài)

12狀態(tài)

12以一個(gè)月為單位，經(jīng)觀察統(tǒng)計(jì)，知其從某個(gè)月份到下月份，機(jī)床出現(xiàn)故障的概率為0.3。在這一段時(shí)間內(nèi)，故障機(jī)床經(jīng)維修恢復(fù)到正常狀態(tài)的概率為0.9。

例5.1考察一臺(tái)機(jī)床的運(yùn)行狀態(tài)。機(jī)床的運(yùn)行存在正常和故障兩種狀態(tài)。機(jī)床在運(yùn)行中出現(xiàn)故障：1－>2；處于故障中的機(jī)床經(jīng)維修，恢復(fù)到正常狀態(tài)：2－>1。12p12=0.3p21=0.9兩步狀態(tài)轉(zhuǎn)移概率：11121212同理，即有一般地，兩步轉(zhuǎn)移概率可以由一步轉(zhuǎn)移概率得到：其含義為：系統(tǒng)從狀態(tài)

出發(fā)，經(jīng)1步轉(zhuǎn)移到

，其中

從1到

，然后再?gòu)臓顟B(tài)

轉(zhuǎn)移到

的概率的總和。（全概率公式）更為一般，

—一步狀態(tài)轉(zhuǎn)移概率矩陣—k

步狀態(tài)轉(zhuǎn)移概率矩陣回到例5.1.如已知初始概率向量

，比如0.90.30.7

馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率矩陣都可由1步狀態(tài)轉(zhuǎn)移矩陣求出。西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系如已知齊次馬爾可夫鏈的轉(zhuǎn)移矩陣以及初始狀態(tài)概率向量，則任一時(shí)刻的狀態(tài)概率分布也就確定了。馬爾科夫鏈：離散的、狀態(tài)有限、狀態(tài)僅與上期有關(guān)的隨機(jī)過(guò)程。一步狀態(tài)轉(zhuǎn)移概率：狀態(tài)轉(zhuǎn)移概率矩陣小結(jié)：k步狀態(tài)轉(zhuǎn)移概率，k步狀態(tài)轉(zhuǎn)移概率矩陣

馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系初始狀態(tài)概率向量記為過(guò)程的開(kāi)始時(shí)刻，則稱(chēng)為初始狀態(tài)概率向量。如已知齊次馬爾可夫鏈的轉(zhuǎn)移矩陣以及初始狀態(tài)概率向量，則任一時(shí)刻的狀態(tài)概率分布也就確定了。西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系案例案例5-1的n

步轉(zhuǎn)移矩陣運(yùn)用上述公式計(jì)算案例6-1的一步轉(zhuǎn)移矩陣P的n次方，求解其各n步轉(zhuǎn)移矩陣。該2步轉(zhuǎn)移矩陣說(shuō)明，如果今天是睛天（1），那么兩天后仍為晴天（1）的概率為0.76，為雨天（2）的概率為0.24；如果今天是雨天（2），那么兩天后為晴天（1）的概率為0.72，為雨天（2）的概率為0.28。2步轉(zhuǎn)移矩陣：3天，4天或5天后的氣象狀態(tài)轉(zhuǎn)移概率可通過(guò)計(jì)算3步、4步和5步轉(zhuǎn)移矩陣得到。注意：在5步轉(zhuǎn)移矩陣中有一個(gè)十分有趣的現(xiàn)象，即該矩陣兩行的值完全一樣，這表明5天之后的氣象狀態(tài)的概率與5天前的氣象狀態(tài)無(wú)關(guān)。因此，這個(gè)5步轉(zhuǎn)移矩陣中每行的概率被稱(chēng)為該馬爾可夫鏈的平穩(wěn)概率。

西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系知識(shí)點(diǎn)3：穩(wěn)態(tài)概率矩陣Review:一步狀態(tài)轉(zhuǎn)移概率：狀態(tài)轉(zhuǎn)移概率矩陣：k步狀態(tài)轉(zhuǎn)移概率，k步狀態(tài)轉(zhuǎn)移概率矩陣

馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。

問(wèn)題：當(dāng)

不斷增大時(shí)，的變化趨勢(shì)？三、穩(wěn)態(tài)概率矩陣已知系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣和系統(tǒng)的初始狀態(tài)，可以推斷出系統(tǒng)在任意時(shí)刻可能所處的狀態(tài)。西安電子科技大學(xué)經(jīng)濟(jì)與管理學(xué)院管理工程系1.平穩(wěn)分布

若存在非零概率向量，使得則稱(chēng)

為

的固定概率向量。

如為一狀態(tài)概率向量，

為狀態(tài)轉(zhuǎn)移概率矩陣。若則稱(chēng)

為馬爾可夫鏈的一個(gè)平穩(wěn)分布。

若隨機(jī)過(guò)程某時(shí)刻的狀態(tài)概率向量

為平穩(wěn)分布，則稱(chēng)過(guò)程處于平衡狀態(tài)。一旦過(guò)程處于平衡狀態(tài)，則過(guò)程經(jīng)過(guò)一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，也就是說(shuō)，過(guò)程一旦處于平衡狀態(tài)后將永遠(yuǎn)處于平衡狀態(tài)。2.穩(wěn)態(tài)分布若存在，設(shè)其極限為，問(wèn)題1：對(duì)于系統(tǒng)的狀態(tài)

，當(dāng)

趨于無(wú)窮時(shí)，是否存在極限？則稱(chēng)為穩(wěn)態(tài)分布。

定義

對(duì)于概率向量如對(duì)任意的，均有此時(shí)，不管初始狀態(tài)概率向量如何，均有這也是稱(chēng)為穩(wěn)態(tài)分布的理由。令，得

設(shè)存在穩(wěn)態(tài)分布，則由于下式恒成立即，有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在，那么它也是平穩(wěn)分布。

問(wèn)題2系統(tǒng)是否存在穩(wěn)態(tài)分布？什么條件？如果有正整數(shù)

,只有當(dāng)

時(shí),,或者說(shuō)當(dāng)

不能被

整除時(shí),

,則稱(chēng)

狀態(tài)是具有周期性狀態(tài),如果除了

外使

的各

值沒(méi)有其公約數(shù),則稱(chēng)該狀態(tài)

為非周期性的.

設(shè)齊次馬爾可夫鏈

的狀態(tài)空間為

，如果存在某個(gè)正整數(shù)

，使得

的一步轉(zhuǎn)移概率矩陣

的次冪

中每個(gè)元素都大于0，則稱(chēng)此馬爾科夫鏈?zhǔn)遣豢杉s的。

對(duì)非周期的馬爾可夫鏈，穩(wěn)態(tài)分布必存在，對(duì)不可約非周期的馬爾可夫鏈，穩(wěn)態(tài)分布和平穩(wěn)分布相同且均唯一。