決策理論與方法6第六章

第八章馬爾柯夫預(yù)測(cè)法第一節(jié)馬爾可夫鏈簡(jiǎn)介一、馬爾可夫鏈

經(jīng)濟(jì)問題采取的行動(dòng)已經(jīng)確定，但將這個(gè)行動(dòng)付諸實(shí)踐的過程又分為幾個(gè)時(shí)期。在不同的時(shí)期，系統(tǒng)可以處在不同的狀態(tài)，而這些狀態(tài)發(fā)生的概率又可受前面時(shí)期實(shí)際所處狀態(tài)的影響。其中一種最簡(jiǎn)單、最基本的情形，是每一時(shí)期狀態(tài)參數(shù)的概率分布只與這一時(shí)期的前一時(shí)期實(shí)際所處的狀態(tài)有關(guān)，而與更早的狀態(tài)無關(guān)，這就是所謂的馬爾可夫鏈。利用馬氏過程分析系統(tǒng)當(dāng)前狀態(tài)并預(yù)測(cè)未來狀態(tài)的決策方法，稱為馬爾可夫決策。第三節(jié)馬爾可夫決策一、馬爾可夫決策問題經(jīng)濟(jì)學(xué)中把這種現(xiàn)象稱為“無后效性”，即“系統(tǒng)在每一時(shí)刻的狀態(tài)僅僅取決于前一時(shí)刻的狀態(tài)”。例如，池塘里有三張荷葉，編號(hào)為1，2，3，假設(shè)有個(gè)青蛙在荷葉上隨機(jī)地跳來跳去，在初始時(shí)刻t0，它在第二張荷葉上。在時(shí)刻t1，第三節(jié)馬爾可夫決策一、馬爾可夫決策問題它可能跳到第一張或者第三張荷葉，也可能在原地不動(dòng)。我們把青蛙在某個(gè)時(shí)刻所在的荷葉稱為青蛙所處的狀態(tài)，這樣，青蛙在未來處于什么狀態(tài)，只與它現(xiàn)在所處的狀態(tài)有關(guān)，與它以前所處的狀態(tài)無關(guān)，這種性質(zhì)就是所謂的“無后效性”。上例中，青蛙所處的那張荷葉，稱為青蛙所處的狀態(tài)，在經(jīng)濟(jì)系統(tǒng)的研究中，一種經(jīng)濟(jì)現(xiàn)象，在某一時(shí)刻t所出現(xiàn)的某種結(jié)果，就是該系統(tǒng)在該時(shí)間t所處的狀態(tài)。第三節(jié)馬爾可夫決策二、馬爾可夫性隨機(jī)過程如果對(duì)任意都存在則稱具有馬爾可夫性。第三節(jié)馬爾可夫決策二、馬爾可夫鏈與轉(zhuǎn)移概率矩陣條件概率稱為轉(zhuǎn)移概率，也稱一步轉(zhuǎn)移概率。各狀態(tài)之間的轉(zhuǎn)移概率可記為第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率某地區(qū)有甲、乙、丙三家食品廠生產(chǎn)同一種食品，有一千個(gè)用戶（或購(gòu)貨點(diǎn)），假定在研究期間無新用戶加入也無老用戶退出，只有用戶的轉(zhuǎn)移，已知2009年5月份有500戶是甲廠的顧客，400戶是乙廠的顧客，100戶是丙廠的顧客，6月份，甲廠有400戶原來的顧客，上月的顧客有50戶轉(zhuǎn)乙廠，50戶轉(zhuǎn)丙廠；乙廠有300戶原來的顧客，上月的顧客有20戶轉(zhuǎn)甲廠，80戶轉(zhuǎn)丙廠；丙廠有80戶原來的顧客，上月的顧客有10戶轉(zhuǎn)甲廠，10戶轉(zhuǎn)乙廠。試求狀態(tài)轉(zhuǎn)移概率。第三節(jié)馬爾可夫決策甲乙丙合計(jì)甲乙丙40020105030010508080500400100合計(jì)4303602101000表6-1顧客轉(zhuǎn)移表二、狀態(tài)轉(zhuǎn)移概率到

從

第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率某企業(yè)為使技術(shù)人員具有多方面經(jīng)驗(yàn)，實(shí)行技術(shù)人員在技術(shù)部門，生產(chǎn)部門和銷售部門的輪換工作制度。輪換辦法采取隨機(jī)形式，每半年輪換一次，初始狀態(tài)，即技術(shù)人員開始是在某部門工作概率用表示，j=1，2，；pij表示處于第i個(gè)部門的技術(shù)人員在半年后（一步）轉(zhuǎn)移到第j個(gè)部門的概率。已知第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率如果某人開始在工程技術(shù)部門工作（部門1），則經(jīng)過2次轉(zhuǎn)移后它在生產(chǎn)部門工作（部門2）的概率是多少？第三節(jié)馬爾可夫決策例：某經(jīng)濟(jì)系統(tǒng)有三種狀態(tài)E1，E2，E3（比如暢銷，一般，滯銷）。系統(tǒng)狀態(tài)轉(zhuǎn)移情況如表，試求系統(tǒng)的二步狀態(tài)轉(zhuǎn)移概率矩陣。系統(tǒng)下步所處狀態(tài)E1E2E3系統(tǒng)本步所處狀態(tài)E1E2E321161078814122狀態(tài)次數(shù)狀態(tài)第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率即P即為一步狀態(tài)轉(zhuǎn)移概率矩陣，二步轉(zhuǎn)移概率矩陣可由一步轉(zhuǎn)移概率矩陣求出第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率于是第三節(jié)馬爾可夫決策例題：某商店在最近20個(gè)月的商品銷售量統(tǒng)計(jì)記錄如下：試預(yù)測(cè)第21月的銷售量。時(shí)間

t銷售量時(shí)間

t銷售量時(shí)間

t銷售量時(shí)間

t銷售量1234540458012011067891038405062901112131415110130140120551617181920704580110120表6-2商品銷售量統(tǒng)計(jì)表單位：千件第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率解：1.劃分狀態(tài)。按盈利狀況為標(biāo)準(zhǔn)選?。?）銷售量<60千件屬滯銷；（2）60千件≤銷售量≤100千件屬一般；

（3）銷售量>100千件屬暢銷；

2.計(jì)算初始概率Pi

為了使問題更為直觀，繪制銷售量散點(diǎn)圖，并畫出狀態(tài)分界線，第三節(jié)馬爾可夫決策第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率解：由圖可以算出處于：滯銷狀態(tài)的有M1=7一般狀態(tài)的有M2=5暢銷狀態(tài)的有M3=83.計(jì)算狀態(tài)轉(zhuǎn)移概率矩陣第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率從而所以第三節(jié)馬爾可夫決策二、狀態(tài)轉(zhuǎn)移概率4.預(yù)測(cè)第21月的銷售情況由于第20月的銷售量屬于暢銷狀態(tài)，而經(jīng)由一次轉(zhuǎn)移到達(dá)三種狀態(tài)的概率是：因此，第21月超過100（千件）的可能性最大。即預(yù)測(cè)第21月的銷售狀態(tài)為“暢銷”。第三節(jié)馬爾可夫決策二、馬爾可夫鏈與轉(zhuǎn)移概率矩陣定義：如果隨機(jī)過程滿足下述性質(zhì)，則稱是一個(gè)有限狀態(tài)的馬爾可夫鏈（Markov）。（1）具有有限種狀態(tài)；（2）具有馬爾可夫性；（3）轉(zhuǎn)移概率具有平穩(wěn)性。第三節(jié)馬爾可夫決策三、穩(wěn)態(tài)概率稱為穩(wěn)態(tài)概率。且因此我們可以從n步轉(zhuǎn)移矩陣的極限取得穩(wěn)態(tài)概率分布

第三節(jié)馬爾可夫決策三、穩(wěn)態(tài)概率得此方程組為穩(wěn)態(tài)方程第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

例6-6某生產(chǎn)商標(biāo)為的產(chǎn)品的廠商為了與另外兩個(gè)生產(chǎn)同類產(chǎn)品和的廠家競(jìng)爭(zhēng)，有三種可供選擇的措施：（1）發(fā)放有獎(jiǎng)債券；（2）開展廣告宣傳；（3）優(yōu)質(zhì)售后服務(wù)。三種方案分別實(shí)施以后，經(jīng)統(tǒng)計(jì)調(diào)查可知，該類商品的市場(chǎng)占有率的轉(zhuǎn)移矩陣分別是第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

已知三種商標(biāo)的商品的月總銷售量為一千萬(wàn)件，每件可獲利1元。另外，三種措施的成本費(fèi)分別為150萬(wàn)，40萬(wàn)，30萬(wàn)。為長(zhǎng)遠(yuǎn)利益考慮，生產(chǎn)商標(biāo)為的產(chǎn)品的廠商應(yīng)該采取何種措施？第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

解：由于考慮的是長(zhǎng)期經(jīng)營(yíng)，而且采取的是不變策略，所以采取三種措施的穩(wěn)態(tài)狀態(tài)概率進(jìn)行決策。（1）計(jì)算出措施1的穩(wěn)態(tài)概率為：第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策

（2）生產(chǎn)商標(biāo)為a的商標(biāo)的廠商采取措施后的期望值為107∏1，采取措施前后的純利潤(rùn)計(jì)算如表：措施市場(chǎng)占有率毛利期望值措施成本費(fèi)用純利潤(rùn)期望值10.5444544.4150394.420.55004046030.550030470表6-4采取措施后的純利潤(rùn)

四、馬爾可夫應(yīng)用實(shí)例

（3）計(jì)算結(jié)果表明，生產(chǎn)商標(biāo)為a的商品的廠商應(yīng)該采用措施3第三節(jié)馬爾可夫決策

例6-7我國(guó)出口某種設(shè)備，在國(guó)際市場(chǎng)上的銷售狀況有兩種：暢銷和滯銷。暢銷每年可以獲利100萬(wàn)元，滯銷時(shí)每年僅獲利30萬(wàn)元。以一年為一個(gè)時(shí)期，如果不采用廣告推廣產(chǎn)品或采取廣告措施，狀態(tài)的轉(zhuǎn)移矩陣分別為如表6-5、表6-6所示。四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策

假定上一年處于暢銷狀態(tài)，每年的廣告費(fèi)為15萬(wàn)元。為了保證今后3年的利潤(rùn)最大化，是否應(yīng)該采用廣告措施？四、馬爾可夫應(yīng)用實(shí)例暢銷滯銷暢銷0.80.2滯銷0.40.6暢銷滯銷暢銷0.90.1滯銷0.70.3表6-3不采取廣告措施

表6-4采取廣告措施第三節(jié)馬爾可夫決策

解：這是短期經(jīng)營(yíng)不變策略問題，所以可以把不采用廣告措施和采用廣告時(shí)這三年中每一年暢銷、滯銷的概率分別求出來，然后計(jì)算每一年的利潤(rùn)期望值，通過比較每種措施下三年利潤(rùn)期望值總和，便可得出結(jié)論。四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策

由于上一時(shí)期處于暢銷狀態(tài)，因此，如不采取廣告措施，第一年暢銷和滯銷的概率分別為0.8和0.2，第二年暢銷和滯銷的概率分別為0.72和0.28，第三年暢銷和滯銷的概率分別為0.688和0.312.所以可以算得，三年所獲期望利潤(rùn)值總和四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

比較兩式，可知最滿意的方案應(yīng)該是不采取廣告策略，其期望利潤(rùn)值總和為244.56萬(wàn)元。第三節(jié)馬爾可夫決策例6-8在上例中，如果每年是否采取廣告措施可根據(jù)上一年的經(jīng)營(yíng)情況確定。那么，應(yīng)該如何決策？四、馬爾可夫應(yīng)用實(shí)例解：這是一個(gè)短期經(jīng)營(yíng)可變策略問題，既不能使用穩(wěn)定狀態(tài)概率，也不能像例6-7一樣，這是個(gè)三階段決策問題，因?yàn)樵谌齻€(gè)時(shí)期中的每一個(gè)時(shí)期都要做出一次決策。Xi-1暢銷0.8A第i-1個(gè)時(shí)期暢銷用廣告滯銷0.2Yi+30Xi+100第三節(jié)馬爾可夫決策不用廣告B暢銷0.9滯銷0.1Yi+30Xi+100Yi-1暢銷0.4C第i-2個(gè)時(shí)期滯銷用廣告滯銷0.6Yi+30Xi+100第三節(jié)馬爾可夫決策不用廣告D暢銷0.7滯銷0.3Yi+30Xi+100第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例A,B,C,D各狀態(tài)節(jié)點(diǎn)處的收益期望值分別為由決策樹可以得到遞推公式第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例下面，用逆序歸納法進(jìn)行決策分析。由于只考慮三年，因此x4=x5=0，在上面的遞推公式中，令i=