馬爾可夫鏈預(yù)測(cè)

1、馬爾可夫預(yù)測(cè)馬爾可夫預(yù)測(cè)馬爾可夫鏈的基本原理馬爾可夫預(yù)測(cè)方法及應(yīng)用1馬爾可夫過程指滿足無后效性的隨機(jī)過程一、馬爾可夫鏈1. 1. 馬爾可夫鏈的基本概念馬爾可夫鏈的基本概念2馬爾可夫過程指滿足無后效性的隨機(jī)過程定義定義1 1 若非負(fù)隨機(jī)序列X(tn),nN滿足條件一、馬爾可夫鏈1. 1. 馬爾可夫鏈的基本概念馬爾可夫鏈的基本概念則稱隨機(jī)序列X(tn)為馬爾科夫鏈，簡(jiǎn)稱馬氏鏈。3馬爾可夫過程指滿足無后效性的隨機(jī)過程定義定義1 1 若非負(fù)隨機(jī)序列X(tn),nN滿足條件無后效性指“將來”取什么值只與“現(xiàn)在”的取值有關(guān)，而與“過去”取什么值無關(guān)。一、馬爾可夫鏈1. 1. 馬爾可夫鏈的基本概念馬爾可夫鏈

2、的基本概念則稱隨機(jī)序列X(tn)為馬爾科夫鏈，簡(jiǎn)稱馬氏鏈。4二、狀態(tài)轉(zhuǎn)移概率矩陣二、狀態(tài)轉(zhuǎn)移概率矩陣5二、狀態(tài)轉(zhuǎn)移概率矩陣二、狀態(tài)轉(zhuǎn)移概率矩陣當(dāng)系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時(shí)，稱為狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移。 6二、狀態(tài)轉(zhuǎn)移概率矩陣二、狀態(tài)轉(zhuǎn)移概率矩陣當(dāng)系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時(shí)，稱為狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移。 定義定義2 2 一步狀態(tài)轉(zhuǎn)移概率一步狀態(tài)轉(zhuǎn)移概率(1)1ijijnnppP Xj Xi10, 1Nijijjpp1nnXiXjij若由轉(zhuǎn)移到的概率p 與n無關(guān),則稱該馬爾可夫鏈?zhǔn)驱R次的。7幾個(gè)概念：幾個(gè)概念：8幾個(gè)概念：幾個(gè)概念： 概率向量：概率向量：對(duì)于任意的行向量（或列向量），如果其每個(gè)元素均非

3、負(fù)且總和等于1，則稱該向量為概率向量。 9幾個(gè)概念：幾個(gè)概念： 概率向量：概率向量：對(duì)于任意的行向量（或列向量），如果其每個(gè)元素均非負(fù)且總和等于1，則稱該向量為概率向量。 (0.4,0.25,0.25,0.1)u 10幾個(gè)概念：幾個(gè)概念： 概率向量：概率向量：對(duì)于任意的行向量（或列向量），如果其每個(gè)元素均非負(fù)且總和等于1，則稱該向量為概率向量。 (0.4,0.25,0.25,0.1)u 概率向量概率向量11幾個(gè)概念：幾個(gè)概念： 概率向量：概率向量：對(duì)于任意的行向量（或列向量），如果其每個(gè)元素均非負(fù)且總和等于1，則稱該向量為概率向量。 概率矩陣概率矩陣 由概率向量作為行向量行向量所構(gòu)成的方陣稱為

4、概率矩陣。 (0.4,0.25,0.25,0.1)u 概率向量概率向量0.70.30.50.5A12概率矩陣的性質(zhì)：如果A、B 皆是概率矩陣，則AB也是概率矩陣；如果A是概率矩陣，則A的任意次冪 也是概率矩陣。 (1)mAm 13概率矩陣的性質(zhì)：如果A、B 皆是概率矩陣，則AB也是概率矩陣；如果A是概率矩陣，則A的任意次冪 也是概率矩陣。 (1)mAm 一步狀態(tài)轉(zhuǎn)移概率矩陣一步狀態(tài)轉(zhuǎn)移概率矩陣ijp與n n無關(guān)假設(shè)：（齊次性）（齊次性）111212122212NNNNNNppppppPpppLLLLLLL14k步狀態(tài)轉(zhuǎn)移概率 ,kijn knkkijN NpP Xj XiPp1k 稱 為k步狀

5、態(tài)轉(zhuǎn)移概率， 為k步狀態(tài)轉(zhuǎn)移概率矩陣， kijp kP( )( )( )11121( )( )( )( )21222( )( )( )12kkkNkkkkNkkkNNNNppppppPpppLLLLLLL15 馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。 16 馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。 全概率公式17 馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。 PPPkk)1()( 1,kPPkkP 一步狀態(tài)轉(zhuǎn)移概率矩陣( )kP k 步狀態(tài)轉(zhuǎn)移概率矩陣全概率公式18三、平穩(wěn)分布與穩(wěn)態(tài)分布三、平穩(wěn)分布與穩(wěn)態(tài)分布19三、平穩(wěn)分布與穩(wěn)態(tài)分布三、

6、平穩(wěn)分布與穩(wěn)態(tài)分布1. 1. 平穩(wěn)分布平穩(wěn)分布20三、平穩(wěn)分布與穩(wěn)態(tài)分布三、平穩(wěn)分布與穩(wěn)態(tài)分布1. 1. 平穩(wěn)分布平穩(wěn)分布 如 為一狀態(tài)概率向量，P P為狀態(tài)轉(zhuǎn)移概率矩陣。若XPX則稱 X X 為馬爾可夫鏈的一個(gè)平穩(wěn)分布平穩(wěn)分布。12,NXxxxL211. 1. 平穩(wěn)分布平穩(wěn)分布 如 為一狀態(tài)概率向量，P P為狀態(tài)轉(zhuǎn)移概率矩陣。若XPX則稱 X X 為馬爾可夫鏈的一個(gè)平穩(wěn)分布平穩(wěn)分布。12,NXxxxL 若隨機(jī)過程某時(shí)刻的狀態(tài)概率向量為平穩(wěn)分布，則稱過程處于平衡狀態(tài)平衡狀態(tài)。 一旦過程處于平衡狀態(tài)，則過程經(jīng)過一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，即，過程一旦處于平衡狀態(tài)后將永遠(yuǎn)處于平

7、衡狀態(tài)。 三、平穩(wěn)分布與穩(wěn)態(tài)分布三、平穩(wěn)分布與穩(wěn)態(tài)分布222. 穩(wěn)態(tài)分布問題：?jiǎn)栴}：對(duì)于系統(tǒng)的狀態(tài)P P( (m m) )，當(dāng) m m 趨于無窮時(shí)，是否存在極限？232. 穩(wěn)態(tài)分布問題：?jiǎn)栴}：對(duì)于系統(tǒng)的狀態(tài)P P( (m m) )，當(dāng) m m 趨于無窮時(shí)，是否存在極限？1212lim( )lim( )( )( )(,.,)NmmNP mp mp mpm （，.,）若存在，設(shè)其極限為 ，242. 穩(wěn)態(tài)分布問題：?jiǎn)栴}：對(duì)于系統(tǒng)的狀態(tài)P P( (m m) )，當(dāng) m m 趨于無窮時(shí)，是否存在極限？1212lim( )lim( )( )( )(,.,)NmmNP mp mp mpm （，.,） lim

8、jjmpm若存在，設(shè)其極限為 ，252. 穩(wěn)態(tài)分布問題：?jiǎn)栴}：對(duì)于系統(tǒng)的狀態(tài)P P( (m m) )，當(dāng) m m 趨于無窮時(shí)，是否存在極限？1212lim( )lim( )( )( )(,.,)NmmNP mp mp mpm （，.,） limjjmpm ()()11limlim00 limNNmmjiijiijmmmiipmpppp若存在，設(shè)其極限為 ，26則稱 為穩(wěn)態(tài)分布穩(wěn)態(tài)分布。 定義定義 對(duì)于概率向量 ，如對(duì)任意的 ，均有12,.,N Sji,()limmijjmp27則稱 為穩(wěn)態(tài)分布穩(wěn)態(tài)分布。 定義定義 對(duì)于概率向量 ，如對(duì)任意的 ，均有12,.,N Sji,()limmijjmp

9、()()11limlim00 limNNmmjiijiijmmmiipmpppp此時(shí)，不管初始狀態(tài)概率向量如何，均有 11(0)(0)NNijjijiipp這也是稱 為穩(wěn)態(tài)分布的理由。 28 設(shè)存在穩(wěn)態(tài)分布 ，則由于下式恒成立12,.,N 1P kP kP29 設(shè)存在穩(wěn)態(tài)分布 ，則由于下式恒成立12,.,N 1P kP kPkP令 ，得30 設(shè)存在穩(wěn)態(tài)分布 ，則由于下式恒成立12,.,N 1P kP kPkP令 ，得即，有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在，那么它也是平穩(wěn)分布。31 1.對(duì)非周期的馬爾可夫鏈，穩(wěn)態(tài)分布必存在。兩個(gè)結(jié)論：2.對(duì)不可約非周期的馬爾可夫鏈，穩(wěn)態(tài)分布和平穩(wěn)分布相同且均唯一

10、。(),1,2,0,miji jSSNpL不可約（不可分）：存在自然數(shù)m,對(duì)使稱馬爾可夫鏈?zhǔn)遣豢杉s的。( ) |01kiik pi非周期：若正整數(shù)集的最大公約數(shù)為 ，則稱狀態(tài) 是非周期的。若所有狀態(tài)均為非周期的，則稱該馬氏鏈為非周期的。322. 2. 馬爾可夫預(yù)測(cè)方法及應(yīng)用馬爾可夫預(yù)測(cè)方法及應(yīng)用 馬爾可夫預(yù)測(cè)是應(yīng)用隨機(jī)過程中馬爾可夫鏈的理論和方法，研究分析有關(guān)現(xiàn)象的變化規(guī)律并借此對(duì)未來進(jìn)行預(yù)測(cè)的一種方法。市場(chǎng)占有率預(yù)測(cè)高速公路交通量分布預(yù)測(cè)期望利潤(rùn)預(yù)測(cè)332. 2. 馬爾可夫預(yù)測(cè)方法及應(yīng)用馬爾可夫預(yù)測(cè)方法及應(yīng)用一、市場(chǎng)占有率預(yù)測(cè)一、市場(chǎng)占有率預(yù)測(cè)34一、市場(chǎng)占有率預(yù)測(cè)一、市場(chǎng)占有率預(yù)測(cè) 例例

11、公司A、B、C產(chǎn)品銷售額的市場(chǎng)占有率分別為50%，30%，20%。由于C公司實(shí)行了改善銷售與服務(wù)方針的經(jīng)營(yíng)管理決策，使其產(chǎn)品銷售額逐期穩(wěn)定上升，而A公司卻下降。通過市場(chǎng)調(diào)查發(fā)現(xiàn)三個(gè)公司間的顧客流動(dòng)情況如表所示。其中產(chǎn)品銷售周期是季度。問題：按照目前的趨勢(shì)發(fā)展下去，A公司的產(chǎn)品銷售額或客戶轉(zhuǎn)移的影響將嚴(yán)重到何種程度？更全面的，三個(gè)公司的產(chǎn)品銷售額的占有率將如何變化？2. 2. 馬爾可夫預(yù)測(cè)方法及應(yīng)用馬爾可夫預(yù)測(cè)方法及應(yīng)用35周期周期 1 的供應(yīng)公司的供應(yīng)公司 公司公司 周期周期 0 的的顧客數(shù)顧客數(shù) A B C A 5000 3500 500 1000 B 3000 300 2400 300 C

12、 2000 100 100 1800 周期周期 1 的的顧客數(shù)顧客數(shù) 3900 3000 3100 36公司公司 A B C A 3500/5000=0.7 500/5000=0.1 1000/5000=0.2 B 300/3000=0.1 2400/3000=0.8 300/3000=0.1 C 100/2000=0.05 100/2000=0.05 1800/2000=0.95 周期周期 1 的供應(yīng)公司的供應(yīng)公司 公司公司 周期周期 0 的的顧客數(shù)顧客數(shù) A B C A 5000 3500 500 1000 B 3000 300 2400 300 C 2000 100 100 1800 周

13、期周期 1 的的顧客數(shù)顧客數(shù) 3900 3000 3100 37公司公司 A B C A 3500/5000=0.7 500/5000=0.1 1000/5000=0.2 B 300/3000=0.1 2400/3000=0.8 300/3000=0.1 C 100/2000=0.05 100/2000=0.05 1800/2000=0.95 ABCA0.70.10.2B0.10.80.1C0.050.050.9P(0)(0.5 0.3 0.2)P周期周期 1 的供應(yīng)公司的供應(yīng)公司 公司公司 周期周期 0 的的顧客數(shù)顧客數(shù) A B C A 5000 3500 500 1000 B 3000 3

14、00 2400 300 C 2000 100 100 1800 周期周期 1 的的顧客數(shù)顧客數(shù) 3900 3000 3100 38未來各期的市場(chǎng)占有率： 100.70.10.20.5,0.3,0.20.10.80.10.050.050.90.39,0.3,0.31PPP39未來各期的市場(chǎng)占有率： 100.70.10.20.5,0.3,0.20.10.80.10.050.050.90.39,0.3,0.31PPP(2)(1)(0.319,0.294,0.387)PPP40未來各期的市場(chǎng)占有率： 100.70.10.20.5,0.3,0.20.10.80.10.050.050.90.39,0.3,

15、0.31PPP(2)(1)(0.319,0.294,0.387)PPP(3)(2)(0.272,0.286,0.442)PPP41未來各期的市場(chǎng)占有率： 100.70.10.20.5,0.3,0.20.10.80.10.050.050.90.39,0.3,0.31PPPC保銷政策。C的市場(chǎng)份額不斷增大。是否可以持續(xù)下去？(2)(1)(0.319,0.294,0.387)PPP(3)(2)(0.272,0.286,0.442)PPP42穩(wěn)態(tài)市場(chǎng)占有率 43穩(wěn)態(tài)市場(chǎng)占有率 1231231230.70.10.2,0.10.80.1,0.050.050.91x xxx xxxxx44穩(wěn)態(tài)市場(chǎng)占有率 1

16、231231230.70.10.2,0.10.80.1,0.050.050.91x xxx xxxxx1230.1765,0.2353,0.5882xxx解得45(0)(0.5 0.3 0.2)P1230.1765,0.2353,0.5882xxx46(0)(0.5 0.3 0.2)P1230.1765,0.2353,0.5882xxx上述結(jié)果對(duì)A廠不利。A廠制定兩套方案：47(0)(0.5 0.3 0.2)P1230.1765,0.2353,0.5882xxx上述結(jié)果對(duì)A廠不利。A廠制定兩套方案：甲方案甲方案 保留策略，拉住老顧客。48(0)(0.5 0.3 0.2)P1230.1765,0

17、.2353,0.5882xxx上述結(jié)果對(duì)A廠不利。A廠制定兩套方案：甲方案甲方案 保留策略，拉住老顧客。0.850.100.050.100.800.100.050.050.90P甲ABCA0.70.10.2B0.10.80.1C0.050.050.9P49 新的平衡狀態(tài)下、三公司的市場(chǎng)占有率分別為31.6，26.3，42.1，公司的市場(chǎng)占有率從17.65提高到31.6。 50 新的平衡狀態(tài)下、三公司的市場(chǎng)占有率分別為31.6，26.3，42.1，公司的市場(chǎng)占有率從17.65提高到31.6。 乙方案乙方案 爭(zhēng)取策略，挖客戶。0.700.100.200.150.750.100.150.050.80

18、P乙51 新的平衡狀態(tài)下、三公司的市場(chǎng)占有率分別為31.6，26.3，42.1，公司的市場(chǎng)占有率從17.65提高到31.6。 乙方案乙方案 爭(zhēng)取策略，挖客戶。0.700.100.200.150.750.100.150.050.80P乙 在新的平衡狀態(tài)下，、三家公司的市場(chǎng)占有率分別為33.3，22.2，44.5。 52二、高速公路交通量分布預(yù)測(cè)二、高速公路交通量分布預(yù)測(cè) 為研究高速公路收費(fèi)標(biāo)準(zhǔn)調(diào)整對(duì)交通量的影響，我們選取京珠高速公路鄭州十八里河至漯河陳橋段和與之平行的107國(guó)道2003年4月份、5月份和6月份的交通量，用車牌號(hào)調(diào)查法進(jìn)行調(diào)查，得到數(shù)據(jù)如表1所示。 53 可以算出，5月份的狀態(tài)概率

19、矩陣為P(5月)=（0.351,0.469,0.180）轉(zhuǎn)移概率矩陣為轉(zhuǎn)移概率矩陣為6月份的狀態(tài)概率矩陣為P(6月)=（0.350,0.470,0.180）5月份與6月份的轉(zhuǎn)移概率矩陣近似相等，因而系統(tǒng)可以近似看作是一個(gè)齊次馬氏鏈。54取初始狀態(tài)概率為P(0)=（0.35,0.47,0.18）轉(zhuǎn)移概率矩陣為由初始狀態(tài)概率和初始狀態(tài)概率矩陣可以算出一個(gè)月后的狀態(tài)概率為P(1)=P(0)P=（0.313,0.477,0.210）兩個(gè)月后的狀態(tài)概率為P(2)=P(0)P2=（0.290,0.481,0.229）55同理可以算出幾個(gè)月后的狀態(tài)概率,如表2所示：56從表2可以看出，高速公路在交通量分配中

20、所占比例是在逐步降低，國(guó)道所占比例略有上升，交通量大多轉(zhuǎn)移到了其它路線或其它運(yùn)輸方式。 當(dāng)時(shí)間充分大時(shí)，轉(zhuǎn)移概率將趨于穩(wěn)定，設(shè)穩(wěn)定狀態(tài)的概率矩陣為（P1,P2,P3），由遍歷性定理得解得P1=0.249,P2=0.481,P3=0.270從上述分析可以看出，在各種情況都不改變的條件下，最終車流量的分布將穩(wěn)定在高速公路占24.9%、國(guó)道占48.1%、其它占27%的比例。57 結(jié)論：交通量的大小決定高速公路效益的高低。當(dāng)從起點(diǎn)到終點(diǎn)的運(yùn)輸方式和運(yùn)輸線路不唯一時(shí)，收費(fèi)標(biāo)準(zhǔn)將直接影響到交通量的大小。收費(fèi)率越高，用戶選擇高速公路機(jī)會(huì)就越低。從上面的研究結(jié)果可以看出高速公路在交通量分配中所占比例大約降低了

21、10%。58三、期望利潤(rùn)預(yù)測(cè)三、期望利潤(rùn)預(yù)測(cè)59三、期望利潤(rùn)預(yù)測(cè)三、期望利潤(rùn)預(yù)測(cè)設(shè) 是狀態(tài)空間為 的齊次馬氏鏈，其轉(zhuǎn)移矩陣為 。設(shè)r(i)表示某周期系統(tǒng)處于狀態(tài)i時(shí)獲得的報(bào)酬。稱如此的馬爾可夫鏈?zhǔn)蔷哂袌?bào)酬的。r(i)0時(shí)稱為盈利，報(bào)酬，收益等；r(i)0時(shí)稱為虧損，費(fèi)用等。nX1,2,.,SN()ijN NPp60 有限時(shí)段期望總報(bào)酬有限時(shí)段期望總報(bào)酬 61記 表示初始狀態(tài)為 i i 的條件下，到第k步狀態(tài)轉(zhuǎn)移前所獲得的期望總報(bào)酬(k k11，i iS S)： ( )kv i 有限時(shí)段期望總報(bào)酬有限時(shí)段期望總報(bào)酬 62記 表示初始狀態(tài)為 i i 的條件下，到第k步狀態(tài)轉(zhuǎn)移前所獲得的期望總報(bào)酬(

22、k k11，i iS S)： ( )kv i10( )kknv in第 期的期望報(bào)酬100 ()knnE r XXi1( )01( )kNnijnjpr j 有限時(shí)段期望總報(bào)酬有限時(shí)段期望總報(bào)酬 63(1),(2),.,()TkkkkVvvvN( (1), (2),()Trrrr NL ，記64(1),(2),.,()TkkkkVvvvN( (1), (2),()Trrrr NL ，1210()knkknVP rIPPPrL記有65(1),(2),.,()TkkkkVvvvN( (1), (2),()Trrrr NL ，1210()knkknVP rIPPPrL11( )( )( ),0,1,

23、2,Nkijkjvir ip vjkiNL ，0( )0,1,2,v iiN，L記有66 例例 某商品每月市場(chǎng)狀況有暢銷和滯銷兩種。如果產(chǎn)品暢銷則獲利50萬元；滯銷將虧損30萬元。已知狀態(tài)轉(zhuǎn)移概率矩陣如下：試問：如當(dāng)前月份該產(chǎn)品暢銷，則第四月前所獲得的期望總利潤(rùn)為多少？111221220.50.50.780.22ppPpp67(1)50(2)30rrr0.50.50.780.22P解：由題意知68(1)50(2)30rrr0.50.50.780.22P4 12340()()nnVP rIP PP r41.8750.8755067.51.862950.279053084.776V解：由題意知69

24、(1)50(2)30rrr0.50.50.780.22P4 12340()()nnVP rIP PP r41.8750.8755067.51.862950.279053084.776V4(1)67.5v結(jié)果為：如當(dāng)前月份該產(chǎn)品暢銷，第四月前所結(jié)果為：如當(dāng)前月份該產(chǎn)品暢銷，第四月前所獲得的期望總利潤(rùn)為獲得的期望總利潤(rùn)為67.567.5萬。萬。解：由題意知70 無限時(shí)段單位時(shí)間平均報(bào)酬無限時(shí)段單位時(shí)間平均報(bào)酬 71 對(duì)iS，定義初始狀態(tài)為i的無限時(shí)段單位時(shí)間平均報(bào)酬為：( )lim( )/kkv iv ik 無限時(shí)段單位時(shí)間平均報(bào)酬無限時(shí)段單位時(shí)間平均報(bào)酬 72 對(duì)iS，定義初始狀態(tài)為i的無限時(shí)段

25、單位時(shí)間平均報(bào)酬為：( )lim( )/kkv iv ik(1),(2),.,()TkkkkVvvvN (1) (2) . ()Tvvvv N記 無限時(shí)段單位時(shí)間平均報(bào)酬無限時(shí)段單位時(shí)間平均報(bào)酬 73 對(duì)iS，定義初始狀態(tài)為i的無限時(shí)段單位時(shí)間平均報(bào)酬為：( )lim( )/kkv iv ik21(.)limlimkkkkVIPPPrvkk(1),(2),.,()TkkkkVvvvN (1) (2) . ()Tvvvv N記則1210()knkknVP rIPPPrL 無限時(shí)段單位時(shí)間平均報(bào)酬無限時(shí)段單位時(shí)間平均報(bào)酬 7421(.)limlimkkkkVIPPPrvkk可以證明：limkkP

26、r121212.(1).(2).()NNNrrr N111( )( ).( )NjjNjjNjjr jr jr j7521(.)limlimkkkkVIPPPrvkk可以證明：limkkP r121212.(1).(2).()NNNrrr N111( )( ).( )NjjNjjNjjr jr jr j即，無限時(shí)段單位時(shí)間平均報(bào)酬與初始狀態(tài)無關(guān)，均為1( )( )Njjv ir j76 無限時(shí)段期望折扣總報(bào)酬無限時(shí)段期望折扣總報(bào)酬77考慮資金的時(shí)間價(jià)值 無限時(shí)段期望折扣總報(bào)酬無限時(shí)段期望折扣總報(bào)酬78如將錢存于銀行，年息為 ，則 與 有如下關(guān)系： 考慮資金的時(shí)間價(jià)值 (0,1)r11r 無限時(shí)

27、段期望折扣總報(bào)酬無限時(shí)段期望折扣總報(bào)酬 ，稱 為折扣因子折扣因子。r79 0ttvitiS第 期的期望報(bào)酬，對(duì)有報(bào)酬的馬氏鏈，定義從狀態(tài)i i 出發(fā)的無限時(shí)段期望折扣總報(bào)酬為80 0ttvitiS第 期的期望報(bào)酬， ( )0ttijjtvip r j對(duì)有報(bào)酬的馬氏鏈，定義從狀態(tài)i i 出發(fā)的無限時(shí)段期望折扣總報(bào)酬為于是，81 0ttvitiS第 期的期望報(bào)酬， ( )0ttijjtvip r j 1 ,2 ,.,TVvvvN10tttVP rIPr對(duì)有報(bào)酬的馬氏鏈，定義從狀態(tài)i i 出發(fā)的無限時(shí)段期望折扣總報(bào)酬為于是，記則82稱 為具有報(bào)酬的馬氏鏈的三種目標(biāo)函數(shù)。利用其中的任一個(gè)目標(biāo)函數(shù)，可以

28、討論不同策略的優(yōu)劣。 ,kviv ivi 例例 最佳維修策略的選擇。研究一化工企業(yè)對(duì)循環(huán)泵進(jìn)行季度維修的過程。每次檢查中，把泵按其外殼及葉輪的腐蝕程度定為五種狀態(tài)中的一種。這五種狀態(tài)是： 狀態(tài)狀態(tài)1 1：優(yōu)秀狀態(tài)，無任何故障或缺陷；：優(yōu)秀狀態(tài)，無任何故障或缺陷； 狀態(tài)狀態(tài)2 2：良好狀態(tài)，稍有腐蝕；：良好狀態(tài)，稍有腐蝕； 狀態(tài)狀態(tài)3 3：及格狀態(tài)，輕度腐蝕；：及格狀態(tài)，輕度腐蝕； 狀態(tài)狀態(tài)4 4：可用狀態(tài)，大面積腐蝕；：可用狀態(tài)，大面積腐蝕； 狀態(tài)狀態(tài)5 5：不可運(yùn)行狀態(tài)，腐蝕嚴(yán)重。：不可運(yùn)行狀態(tài)，腐蝕嚴(yán)重。83該公司可采用的維修策略有以下幾種： 單狀態(tài)策略：?jiǎn)螤顟B(tài)策略：泵處于狀態(tài)5時(shí)才進(jìn)行修

29、理，每次修理費(fèi)用為500元。 兩狀態(tài)策略兩狀態(tài)策略：泵處于狀態(tài)4和5時(shí)進(jìn)行修理，處于狀態(tài)4時(shí)的修理費(fèi)用每次為250元, 處于狀態(tài)5時(shí)的每次修理費(fèi)用為500元。 三狀態(tài)策略：三狀態(tài)策略：泵處于狀態(tài)3,4,5時(shí)進(jìn)行修理，處于狀態(tài)3時(shí)的每次修理費(fèi)用為200元,處于狀態(tài)4和5時(shí)的修理費(fèi)用同前。 目前，該公司采用的維修策略為“單狀態(tài)”策略。 假定不管處于何種狀態(tài)，只要進(jìn)行修理，泵的狀態(tài)都將恢復(fù)為狀態(tài)1。已知在不進(jìn)行任何修理時(shí)的狀態(tài)轉(zhuǎn)移概率，如下表所示。84泵在周期泵在周期 n+1 的狀態(tài)的狀態(tài) 泵在周期泵在周期n 的狀態(tài)的狀態(tài) 1 2 3 4 5 1 0.00 0.60 0.20 0.10 0.10 2

30、 0.00 0.30 0.40 0.20 0.10 3 0.00 0.00 0.40 0.40 0.20 4 0.00 0.00 0.00 0.50 0.50 5 0.00 0.00 0.00 0.00 1.00 8500.60.20.10.100.30.40.20.1000.40.40.20000.50.500001P 1( )( )Njjv ir j需知 r 和 P.P不維修時(shí)的狀態(tài)轉(zhuǎn)移概率矩陣：泵在周期泵在周期 n+1 的狀態(tài)的狀態(tài) 泵在周期泵在周期n 的狀態(tài)的狀態(tài) 1 2 3 4 5 1 0.00 0.60 0.20 0.10 0.10 2 0.00 0.30 0.40 0.20 0.

31、10 3 0.00 0.00 0.40 0.40 0.20 4 0.00 0.00 0.00 0.50 0.50 5 0.00 0.00 0.00 0.00 1.00 861P(0 0 0 0 500)Tr 單狀態(tài)策略下單狀態(tài)策略下：100.60.20.10.100.30.40.20.1000.40.40.20000.50.510000P 871P0.199,0.170,0.180,0.252,0.199(0 0 0 0 500)Tr 單狀態(tài)策略下單狀態(tài)策略下：100.60.20.10.100.30.40.20.1000.40.40.20000.50.510000P 解得：881P0.199,0.170,0.180,0.252,0.199 500 0.19999.5jv ir j(0 0 0 0 500)Tr 單狀態(tài)策略下單狀態(tài)策略下：100.60.20.10.100.30.40.20.1000.40.40.20000.50.510000P 解得：從而89(0 0 0 250 500)Tr 兩狀態(tài)策略下：兩狀態(tài)策略下：2P90(0 0 0 250 500)Tr 兩狀態(tài)策略下：兩狀態(tài)策略下：200.60.20.10.100.30.40.20.1000.40.40.21000010000P 00.60.20.10.10