馬爾科夫預(yù)測(cè)

馬爾柯夫預(yù)測(cè)法第三節(jié)馬爾柯夫預(yù)測(cè)馬爾柯夫（A.AMarkov）預(yù)測(cè)法是應(yīng)用概率論中馬爾柯夫鏈的理論和方法來(lái)研究隨機(jī)事件變化并借此分析預(yù)測(cè)未來(lái)變化趨勢(shì)的一種方法。馬爾柯夫（A.AMarkov俄國(guó)數(shù)學(xué)家）?；靖拍罘€(wěn)態(tài)概率實(shí)例第三節(jié)馬爾可夫決策

例6-7我國(guó)出口某種設(shè)備，在國(guó)際市場(chǎng)上的銷售狀況有兩種：暢銷和滯銷。暢銷每年可以獲利100萬(wàn)元，滯銷時(shí)每年僅獲利30萬(wàn)元。以一年為一個(gè)時(shí)期，如果不采用廣告推廣產(chǎn)品或采取廣告措施，狀態(tài)的轉(zhuǎn)移矩陣分別為如表6-5、表6-6所示。案例引入：實(shí)例2：P198第三節(jié)馬爾可夫決策

假定上一年處于暢銷狀態(tài)，每年的廣告費(fèi)為15萬(wàn)元。為了保證今后3年的利潤(rùn)最大化，是否應(yīng)該采用廣告措施？暢銷滯銷暢銷0.80.2滯銷0.40.6暢銷滯銷暢銷0.90.1滯銷0.70.3表6-3不采取廣告措施

表6-4采取廣告措施案例引入：例6-5P194某企業(yè)為使技術(shù)人員具有多方面經(jīng)驗(yàn)，實(shí)行技術(shù)人員在技術(shù)部門，生產(chǎn)部門和銷售部門的輪換工作制度。輪換辦法采取隨機(jī)形式，每半年輪換一次，初始狀態(tài)，即技術(shù)人員開(kāi)始是在某部門工作概率用表示，j=1，2，；pij表示處于第i個(gè)部門的技術(shù)人員在半年后（一步）轉(zhuǎn)移到第j個(gè)部門的概率。已知狀態(tài)轉(zhuǎn)移概率如果某人開(kāi)始在工程技術(shù)部門工作（部門1），則經(jīng)過(guò)2次轉(zhuǎn)移后它在生產(chǎn)部門工作（部門2）的概率是多少？一、基本概念20世紀(jì)初，馬爾科夫在研究中發(fā)現(xiàn)自然界中有一類事物的變化過(guò)程僅與事物的近期狀況有關(guān)，而與事物的過(guò)去狀態(tài)無(wú)關(guān)。例：設(shè)備維修和更新、人才結(jié)構(gòu)變化、資金流向、市場(chǎng)需求變化等許多經(jīng)濟(jì)行為都可用這一類過(guò)程來(lái)描述或近似。所謂馬爾柯夫鏈，就是一種隨機(jī)時(shí)間序列，它在將來(lái)取什么值只與它現(xiàn)在的取值有關(guān)，而與它過(guò)去取什么值無(wú)關(guān)，即無(wú)后效性。具備這個(gè)性質(zhì)的離散型隨機(jī)過(guò)程，稱為馬爾柯夫鏈。一、基本概念一、馬爾可夫鏈

經(jīng)濟(jì)問(wèn)題采取的行動(dòng)已經(jīng)確定，但將這個(gè)行動(dòng)付諸實(shí)踐的過(guò)程又分為幾個(gè)時(shí)期。在不同的時(shí)期，系統(tǒng)可以處在不同的狀態(tài)，而這些狀態(tài)發(fā)生的概率又可受前面時(shí)期實(shí)際所處狀態(tài)的影響。其中一種最簡(jiǎn)單、最基本的情形，是每一時(shí)期狀態(tài)參數(shù)的概率分布只與這一時(shí)期的前一時(shí)期實(shí)際所處的狀態(tài)有關(guān)，而與更早的狀態(tài)無(wú)關(guān)，這就是所謂的馬爾可夫鏈。利用馬氏過(guò)程分析系統(tǒng)當(dāng)前狀態(tài)并預(yù)測(cè)未來(lái)狀態(tài)的決策方法，稱為馬爾可夫決策。第三節(jié)馬爾可夫決策一、基本概念經(jīng)濟(jì)學(xué)中把這種現(xiàn)象稱為“無(wú)后效性”，即“系統(tǒng)在每一時(shí)刻的狀態(tài)僅僅取決于前一時(shí)刻的狀態(tài)”。例如，池塘里有三張荷葉，編號(hào)為1，2，3，假設(shè)有個(gè)青蛙在荷葉上隨機(jī)地跳來(lái)跳去，在初始時(shí)刻t0，它在第二張荷葉上。在時(shí)刻t1，123123第三節(jié)馬爾可夫決策一、基本概念它可能跳到第一張或者第三張荷葉，也可能在原地不動(dòng)。我們把青蛙在某個(gè)時(shí)刻所在的荷葉稱為青蛙所處的狀態(tài)，這樣，青蛙在未來(lái)處于什么狀態(tài)，只與它現(xiàn)在所處的狀態(tài)有關(guān)，與它以前所處的狀態(tài)無(wú)關(guān)，這種性質(zhì)就是所謂的“無(wú)后效性”。上例中，青蛙所處的那張荷葉，稱為青蛙所處的狀態(tài)，在經(jīng)濟(jì)系統(tǒng)的研究中，一種經(jīng)濟(jì)現(xiàn)象，在某一時(shí)刻t所出現(xiàn)的某種結(jié)果，就是該系統(tǒng)在該時(shí)間t所處的狀態(tài)。一、基本概念：狀態(tài)、狀態(tài)轉(zhuǎn)移概率、

狀態(tài)轉(zhuǎn)移概率矩陣、初始狀態(tài)概率向量（一）、狀態(tài)與狀態(tài)變量狀態(tài)：客觀事物可能出現(xiàn)或存在的狀況。如：商品可能暢銷也可能滯銷；機(jī)器運(yùn)轉(zhuǎn)可能正常也可能故障等。同一事物不同狀態(tài)之間必須相互獨(dú)立:不能同時(shí)存在兩種狀態(tài)?？陀^事物的狀態(tài)不是固定不變的，它可能處于這種狀態(tài)，也可能處于那種狀態(tài)，往往條件變化，狀態(tài)也會(huì)發(fā)生變化。如某種產(chǎn)品在市場(chǎng)上本來(lái)是滯銷的，但是由于銷售渠道變化了，或者消費(fèi)心理發(fā)生了變化等，它便可能變?yōu)闀充N產(chǎn)品。用狀態(tài)變量來(lái)表示狀態(tài)：它表示隨機(jī)運(yùn)動(dòng)系統(tǒng)，在時(shí)刻 所處的狀態(tài)為狀態(tài)轉(zhuǎn)移：客觀事物由一種狀態(tài)到另一種狀態(tài)的變化。如：由于產(chǎn)品質(zhì)量或替代產(chǎn)品的變化，市場(chǎng)上產(chǎn)品可能由暢銷變?yōu)闇N。（二）、狀態(tài)轉(zhuǎn)移概率客觀事物可能有共種狀態(tài)，其中每次只能處于一種狀態(tài)，則每一狀態(tài)都具有個(gè)轉(zhuǎn)向（包括轉(zhuǎn)向自身即。由于狀態(tài)轉(zhuǎn)移是隨機(jī)的，因此，必須用概率來(lái)描述狀態(tài)轉(zhuǎn)移可能性的大小，將這種轉(zhuǎn)移的可能性用概率描述，就是狀態(tài)轉(zhuǎn)移概率概率論中的條件概率：P（AB）就表達(dá)了由狀態(tài)B向狀態(tài)A轉(zhuǎn)移的概率，簡(jiǎn)稱為狀態(tài)轉(zhuǎn)移概率。對(duì)于由狀態(tài)Ei

轉(zhuǎn)移到狀態(tài)Ej的概率，稱它為從i

到j(luò)

的轉(zhuǎn)移概率。記為：它表示由狀態(tài)Ei經(jīng)過(guò)一步轉(zhuǎn)移到狀態(tài)Ej的概率。第三節(jié)馬爾可夫決策（二)、狀態(tài)轉(zhuǎn)移概率某地區(qū)有甲、乙、丙三家食品廠生產(chǎn)同一種食品，有一千個(gè)用戶（或購(gòu)貨點(diǎn)），假定在研究期間無(wú)新用戶加入也無(wú)老用戶退出，只有用戶的轉(zhuǎn)移，已知2009年5月份有500戶是甲廠的顧客，400戶是乙廠的顧客，100戶是丙廠的顧客，6月份，甲廠有400戶原來(lái)的顧客，上月的顧客有50戶轉(zhuǎn)乙廠，50戶轉(zhuǎn)丙廠；乙廠有300戶原來(lái)的顧客，上月的顧客有20戶轉(zhuǎn)甲廠，80戶轉(zhuǎn)丙廠；丙廠有80戶原來(lái)的顧客，上月的顧客有10戶轉(zhuǎn)甲廠，10戶轉(zhuǎn)乙廠。試求狀態(tài)轉(zhuǎn)移概率。第三節(jié)馬爾可夫決策甲乙丙合計(jì)甲乙丙40020105030010508080500400100合計(jì)4303602101000表6-1顧客轉(zhuǎn)移表(二)、狀態(tài)轉(zhuǎn)移概率到

從

第三節(jié)馬爾可夫決策(二)、狀態(tài)轉(zhuǎn)移概率(三)、狀態(tài)轉(zhuǎn)移概率矩陣 將事件個(gè)狀態(tài)的轉(zhuǎn)移概率依次排列起來(lái)，就構(gòu)成一個(gè)N行×N列的矩陣，這種矩陣就是狀態(tài)轉(zhuǎn)移概率矩陣。

通常稱矩陣P

為狀態(tài)轉(zhuǎn)移概率矩陣，沒(méi)有特別說(shuō)明步數(shù)時(shí)，一般均為一步轉(zhuǎn)移概率矩陣。矩陣中的每一行稱之為概率向量。

轉(zhuǎn)移概率矩陣的特征??一、基本概念

狀態(tài)轉(zhuǎn)移概率矩陣具有如下特征： （1）

（2）

狀態(tài)轉(zhuǎn)移概率矩陣及其基本特征狀態(tài)轉(zhuǎn)移概率的估算主觀概率法（一般缺乏歷史統(tǒng)計(jì)資料或資料不全情況下使用）統(tǒng)計(jì)估算法。第三節(jié)馬爾可夫決策二、馬爾可夫性隨機(jī)過(guò)程如果對(duì)任意都存在則稱具有馬爾可夫性。第三節(jié)馬爾可夫決策二、馬爾可夫鏈與轉(zhuǎn)移概率矩陣條件概率稱為轉(zhuǎn)移概率，也稱一步轉(zhuǎn)移概率。各狀態(tài)之間的轉(zhuǎn)移概率可記為例設(shè)味精市場(chǎng)的銷售記錄共有6年24個(gè)季度的數(shù)據(jù)，見(jiàn)表。求味精銷售轉(zhuǎn)移概率矩陣。季度123456789101112銷售狀態(tài)暢1暢1滯2暢1滯2滯2暢1暢1暢1滯2暢1滯2季度131415161718192021222324銷售狀態(tài)暢1暢1滯2滯2暢1暢1滯2暢1滯2暢1暢1暢1用“1”表示暢銷用“2”表示滯銷季度123456789101112銷售狀態(tài)暢1暢1滯2暢1滯2滯2暢1暢1暢1滯2暢1滯2季度131415161718192021222324銷售狀態(tài)暢1暢1滯2滯2暢1暢1滯2暢1滯2暢1暢1暢1

共24個(gè)季度數(shù)據(jù)，其中有15個(gè)季度暢銷，9個(gè)季度滯銷，現(xiàn)分別統(tǒng)計(jì)出:連續(xù)暢銷、由暢轉(zhuǎn)滯、由滯轉(zhuǎn)暢和連續(xù)滯銷的次數(shù)。以

p11

表示連續(xù)暢銷的可能性，以頻率代替概率，得：

??

分子7

是表中連續(xù)出現(xiàn)暢銷的次數(shù)，分母15是表中出現(xiàn)暢銷的次數(shù)，因?yàn)榈?4季度是暢銷，無(wú)后續(xù)記錄，故減1。2個(gè)狀態(tài):“1”

暢銷“2”

滯銷季度123456789101112銷售狀態(tài)暢1暢1滯2暢1滯2滯2暢1暢1暢1滯2暢1滯2季度131415161718192021222324銷售狀態(tài)暢1暢1滯2滯2暢1暢1滯2暢1滯2暢1暢1暢1

以

p12

表示由暢銷轉(zhuǎn)入滯銷的可能性： 分子7

是表中由暢銷轉(zhuǎn)入滯銷的次數(shù)。以

p21

表示由滯銷轉(zhuǎn)入暢銷的可能性： 分子7

是表中由滯銷轉(zhuǎn)入暢銷的次數(shù)，分母數(shù)9是表中出現(xiàn)滯銷的次數(shù)。2個(gè)狀態(tài):“1”

暢銷“2”

滯銷季度123456789101112銷售狀態(tài)暢1暢1滯2暢1滯2滯2暢1暢1暢1滯2暢1滯2季度131415161718192021222324銷售狀態(tài)暢1暢1滯2滯2暢1暢1滯2暢1滯2暢1暢1暢1

以

p22

表示連續(xù)滯銷的可能性： 分子2

是表中連續(xù)出現(xiàn)滯銷的次數(shù)。綜上所述，得銷售狀態(tài)轉(zhuǎn)移概率矩陣為：第三節(jié)馬爾可夫決策例：某經(jīng)濟(jì)系統(tǒng)有三種狀態(tài)E1，E2，E3（比如暢銷，一般，滯銷）。系統(tǒng)狀態(tài)轉(zhuǎn)移情況如表，試求系統(tǒng)的二步狀態(tài)轉(zhuǎn)移概率矩陣。系統(tǒng)下步所處狀態(tài)E1E2E3系統(tǒng)本步所處狀態(tài)E1E2E321161078814122狀態(tài)次數(shù)狀態(tài)（二）、狀態(tài)轉(zhuǎn)移概率第三節(jié)馬爾可夫決策（二）、狀態(tài)轉(zhuǎn)移概率即P即為一步狀態(tài)轉(zhuǎn)移概率矩陣，二步轉(zhuǎn)移概率矩陣可由一步轉(zhuǎn)移概率矩陣求出第三節(jié)馬爾可夫決策（二）、狀態(tài)轉(zhuǎn)移概率第三節(jié)馬爾可夫決策（二）、狀態(tài)轉(zhuǎn)移概率于是第三節(jié)馬爾可夫決策例題：某商店在最近20個(gè)月的商品銷售量統(tǒng)計(jì)記錄如下：試預(yù)測(cè)第21月的銷售量。時(shí)間

t銷售量時(shí)間

t銷售量時(shí)間

t銷售量時(shí)間

t銷售量1234540458012011067891038405062901112131415110130140120551617181920704580110120表6-2商品銷售量統(tǒng)計(jì)表單位：千件第三節(jié)馬爾可夫決策（二）、狀態(tài)轉(zhuǎn)移概率解：1.劃分狀態(tài)。按盈利狀況為標(biāo)準(zhǔn)選?。?）銷售量<60千件屬滯銷；（2）60千件≤銷售量≤100千件屬一般；（3）銷售量>100千件屬暢銷；

2.計(jì)算初始概率Pi

為了使問(wèn)題更為直觀，繪制銷售量散點(diǎn)圖，并畫出狀態(tài)分界線，第三節(jié)馬爾可夫決策第三節(jié)馬爾可夫決策（二）、狀態(tài)轉(zhuǎn)移概率解：由圖可以算出處于：滯銷狀態(tài)的有M1=7一般狀態(tài)的有M2=5暢銷狀態(tài)的有M3=83.計(jì)算狀態(tài)轉(zhuǎn)移概率矩陣第三節(jié)馬爾可夫決策（二)、狀態(tài)轉(zhuǎn)移概率從而所以第三節(jié)馬爾可夫決策(二)、狀態(tài)轉(zhuǎn)移概率4.預(yù)測(cè)第21月的銷售情況由于第20月的銷售量屬于暢銷狀態(tài)，而經(jīng)由一次轉(zhuǎn)移到達(dá)三種狀態(tài)的概率是：因此，第21月超過(guò)100（千件）的可能性最大。即預(yù)測(cè)第21月的銷售狀態(tài)為“暢銷”。第三節(jié)馬爾可夫決策(三)、馬爾可夫鏈與轉(zhuǎn)移概率矩陣定義：如果隨機(jī)過(guò)程滿足下述性質(zhì)，則稱是一個(gè)有限狀態(tài)的馬爾可夫鏈（Markov）。（1）具有有限種狀態(tài)；（2）具有馬爾可夫性；（3）轉(zhuǎn)移概率具有平穩(wěn)性。第三節(jié)馬爾可夫決策三、穩(wěn)態(tài)概率稱為穩(wěn)態(tài)概率。且因此我們可以從n步轉(zhuǎn)移矩陣的極限取得穩(wěn)態(tài)概率分布

第三節(jié)馬爾可夫決策三、穩(wěn)態(tài)概率得此方程組為穩(wěn)態(tài)方程三、穩(wěn)態(tài)概率矩陣:

平穩(wěn)分布與穩(wěn)態(tài)分布

在馬爾可夫鏈中，已知系統(tǒng)的初始狀態(tài)和狀態(tài)轉(zhuǎn)移概率矩陣，就可推斷出系統(tǒng)在任意時(shí)刻可能所處的狀態(tài)。 現(xiàn)在需要研究當(dāng)k

不斷增大時(shí)，P(k)

的變化趨勢(shì)。

1、平穩(wěn)分布如存在非零向量

X=(x1，x2，

…，xN)，使得：

XP=X其中：P為一概率矩陣則稱X為P的固定概率向量。特別地，設(shè)X=(x1，x2，

…，xN)為一狀態(tài)概率向量，P為狀態(tài)轉(zhuǎn)移概率矩陣，若XP=X即： 稱X

為該馬爾可夫鏈的一個(gè)平穩(wěn)分布若隨機(jī)過(guò)程某時(shí)刻的狀態(tài)概率向量P(k)為平穩(wěn)分布，則稱過(guò)程處于平衡狀態(tài)。（XP=X）一旦過(guò)程處于平衡狀態(tài)，則經(jīng)過(guò)一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，也就是說(shuō)，過(guò)程一旦處于平衡狀態(tài)后將永遠(yuǎn)處于平衡狀態(tài)。對(duì)于所討論的狀態(tài)有限（即N個(gè)狀態(tài)）的馬爾可夫鏈，平穩(wěn)分布必定存在。特別地，當(dāng)狀態(tài)轉(zhuǎn)移矩陣為正規(guī)概率矩陣時(shí)，平穩(wěn)分布唯一。正規(guī)概率矩陣？？？定義1：如果P為概率矩陣，且存在m>0，使Pm

中諸元素皆非負(fù)非零。則稱P為正規(guī)概率矩陣。例如：均為正規(guī)概率矩陣。P1為正規(guī)概率矩陣是明顯的（m=1）P2是正規(guī)概率矩陣也也易于論證：即存在（m=2），使P2

的元素皆非負(fù)非零。

是非正規(guī)概率矩陣。正規(guī)概率矩陣的這一性質(zhì)很有實(shí)用價(jià)值。因?yàn)樵谑袌?chǎng)占有率是達(dá)到平穩(wěn)分布時(shí)，顧客（或用戶）的流動(dòng)將對(duì)市場(chǎng)占有率不起影響。即各市場(chǎng)主體喪失的顧客（或用戶）與爭(zhēng)取到的顧客相抵消。

例：甲乙丙三個(gè)食品廠顧客的32步轉(zhuǎn)移概率。二、穩(wěn)態(tài)分布

可以看到每一列都有相同的值。這說(shuō)明不管初始狀態(tài)三個(gè)食品廠占有多少顧客，經(jīng)過(guò)32月之后處于狀態(tài)j的概率都是相同的。即：經(jīng)過(guò)多次轉(zhuǎn)移之后，系統(tǒng)存在一個(gè)處于狀態(tài)j的有限概率，此概率與系統(tǒng)原始狀態(tài)無(wú)關(guān)。二、穩(wěn)態(tài)分布

對(duì)概率向量

=(

1，

2，

…，

N)，如對(duì)任意的i，jS

：

則稱

為穩(wěn)態(tài)分布。此時(shí)，不管初始狀態(tài)概率向量如何，均有，或這也是稱

為穩(wěn)態(tài)分布的理由。性質(zhì)？？

設(shè)存在穩(wěn)態(tài)分布

=(

1，

2，

…，

N)，則由于下式恒成立：令k→∞就得

A：即有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在，那么它也是平穩(wěn)分布。

B：當(dāng)馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率矩陣為正規(guī)概率矩陣時(shí)穩(wěn)態(tài)分布存在，且穩(wěn)態(tài)分布和平穩(wěn)分布相同且均唯一。例：設(shè)一馬爾可夫鏈的狀態(tài)轉(zhuǎn)移矩陣如下，求其平穩(wěn)分布及穩(wěn)態(tài)分布。解：(1)P是正規(guī)概率矩陣即存在（m=2），使P2

的元素皆非負(fù)非零。(2)求解如下方程組：這就是該馬爾可夫鏈的穩(wěn)態(tài)分布，而且也是平穩(wěn)分布?！?.3

馬爾可夫鏈預(yù)測(cè)法

馬爾可夫鏈預(yù)測(cè)方法的最簡(jiǎn)單類型是預(yù)測(cè)下期最可能出現(xiàn)的狀態(tài)。步驟：第一步：劃分預(yù)測(cè)對(duì)象所出現(xiàn)的狀態(tài)。 從預(yù)測(cè)目的出發(fā)，考慮決策需要來(lái)劃分現(xiàn)象所處的狀態(tài)。第二步：計(jì)算初始概率。據(jù)實(shí)際問(wèn)題分析歷史資料所得的狀態(tài)概率稱為初始概率。第三步：計(jì)算狀態(tài)轉(zhuǎn)移概率第四步：根據(jù)轉(zhuǎn)移概率進(jìn)行預(yù)測(cè)由狀態(tài)轉(zhuǎn)移概率矩陣P

：如果目前預(yù)測(cè)對(duì)象處于狀態(tài)Ei，這時(shí)Pij

就描述了目前狀態(tài)Ei

在未來(lái)將轉(zhuǎn)向狀態(tài)Ej（j=1，2，…，N）的可能性。按最大可能性作為選擇原則：選擇（Pj1，Pj2，…，

PjN

）中最大者為預(yù)測(cè)結(jié)果。第三節(jié)馬爾可夫決策

例6-7我國(guó)出口某種設(shè)備，在國(guó)際市場(chǎng)上的銷售狀況有兩種：暢銷和滯銷。暢銷每年可以獲利100萬(wàn)元，滯銷時(shí)每年僅獲利30萬(wàn)元。以一年為一個(gè)時(shí)期，如果不采用廣告推廣產(chǎn)品或采取廣告措施，狀態(tài)的轉(zhuǎn)移矩陣分別為如表6-5、表6-6所示。四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策

假定上一年處于暢銷狀態(tài)，每年的廣告費(fèi)為15萬(wàn)元。為了保證今后3年的利潤(rùn)最大化，是否應(yīng)該采用廣告措施？四、馬爾可夫應(yīng)用實(shí)例暢銷滯銷暢銷0.80.2滯銷0.40.6暢銷滯銷暢銷0.90.1滯銷0.70.3表6-3不采取廣告措施

表6-4采取廣告措施第三節(jié)馬爾可夫決策

解：這是短期經(jīng)營(yíng)不變策略問(wèn)題，所以可以把不采用廣告措施和采用廣告時(shí)這三年中每一年暢銷、滯銷的概率分別求出來(lái)，然后計(jì)算每一年的利潤(rùn)期望值，通過(guò)比較每種措施下三年利潤(rùn)期望值總和，便可得出結(jié)論。四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策

由于上一時(shí)期處于暢銷狀態(tài)，因此，如不采取廣告措施，第一年暢銷和滯銷的概率分別為0.8和0.2，第二年暢銷和滯銷的概率分別為0.72和0.28，第三年暢銷和滯銷的概率分別為0.688和0.312.所以可以算得，三年所獲期望利潤(rùn)值總和四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

比較兩式，可知最滿意的方案應(yīng)該是不采取廣告策略，其期望利潤(rùn)值總和為244.56萬(wàn)元。第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

例6-6某生產(chǎn)商標(biāo)為的產(chǎn)品的廠商為了與另外兩個(gè)生產(chǎn)同類產(chǎn)品和的廠家競(jìng)爭(zhēng)，有三種可供選擇的措施：（1）發(fā)放有獎(jiǎng)債券；（2）開(kāi)展廣告宣傳；（3）優(yōu)質(zhì)售后服務(wù)。三種方案分別實(shí)施以后，經(jīng)統(tǒng)計(jì)調(diào)查可知，該類商品的市場(chǎng)占有率的轉(zhuǎn)移矩陣分別是第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

已知三種商標(biāo)的商品的月總銷售量為一千萬(wàn)件，每件可獲利1元。另外，三種措施的成本費(fèi)分別為150萬(wàn)，40萬(wàn)，30萬(wàn)。為長(zhǎng)遠(yuǎn)利益考慮，生產(chǎn)商標(biāo)為的產(chǎn)品的廠商應(yīng)該采取何種措施？第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例

解：由于考慮的是長(zhǎng)期經(jīng)營(yíng)，而且采取的是不變策略，所以采取三種措施的穩(wěn)態(tài)狀態(tài)概率進(jìn)行決策。（1）計(jì)算出措施1的穩(wěn)態(tài)概率為：第三節(jié)馬爾可夫決策四、馬爾可夫應(yīng)用實(shí)例第三節(jié)馬爾可夫決策

（2）生產(chǎn)商標(biāo)為a的商標(biāo)的廠商采取措施后的期望值為107∏1，采取措施前后的純利潤(rùn)計(jì)算如表：措施市場(chǎng)占有率毛利期望值措施成本費(fèi)用純利潤(rùn)期望值10.5444544.4150394.420.55004046030.550030470表6-4采取措施后的純利潤(rùn)單位：萬(wàn)元

四、馬爾可夫應(yīng)用實(shí)例

（3）計(jì)算結(jié)果表明，生產(chǎn)商標(biāo)為a的商品的廠商應(yīng)該采用措施3。實(shí)例3（市場(chǎng)占有率的預(yù)測(cè)）

已知在某地區(qū)銷售同類型產(chǎn)品的有A，B，C三個(gè)公司，經(jīng)過(guò)一年?duì)I業(yè)后進(jìn)行調(diào)查，發(fā)現(xiàn)：1A公司的200名顧客中有160名繼續(xù)訂貨，有20名轉(zhuǎn)向B公司訂貨，20名轉(zhuǎn)向C公司訂貨。2B公司的500名顧客中有450名繼續(xù)訂貨，有35名轉(zhuǎn)向A公司訂貨，15名轉(zhuǎn)向C公司訂貨。3C公司的300名顧客中有255名繼續(xù)訂貨，有25名轉(zhuǎn)向A公司訂貨，20名轉(zhuǎn)向B公司訂貨。

如果三個(gè)公司在這個(gè)地區(qū)的初始占有率為A=22%，B=49%，C=29%，且它們都不改變營(yíng)業(yè)狀態(tài)和規(guī)模，問(wèn)：（1）明年和后年，三個(gè)公司在這個(gè)地區(qū)市場(chǎng)占有率為如何？（2）穩(wěn)定狀態(tài)下，三個(gè)公司的市場(chǎng)占有率？解：根據(jù)題意，狀態(tài)轉(zhuǎn)移矩陣為：

ABCA160/20020/20020/200P=B35/500450/50015/500C25/30020/300255/300狀態(tài)轉(zhuǎn)移矩陣為：

ABCA0.800.100.10P=B0.070.900.03C0.0830.0670.85今年的市場(chǎng)占有率u=（0.22,0.49,0.29）明年的市場(chǎng)占有率up=0.800.100.10（0.22,0.49,0.29）0.070.900.030.0830.0670.85明年的市場(chǎng)占有率up1=（0.234,0.483,0.283）后年的市場(chǎng)占有率up2=（up）（P）=（0.245,0.477,0.278）穩(wěn)定狀態(tài)下，市場(chǎng)占有率將是：

(x1,x2,x3)(P)=(x1,x2,x3)x1+x2+x3=10.800x1+0.070x2+0.083x3=x10.100x1+0.900x2+0.067x3=x20.100x1+0.030x2+0.850x3=x3

x1+x2+x3=1得：x1=0.273x2=0.454x3=0.273實(shí)例4（營(yíng)業(yè)點(diǎn)的選擇）

某城市出租汽車公司有A、B、C三個(gè)汽車站，顧客可以在這三個(gè)汽車站任意租車，汽車用完就近開(kāi)回汽車站，根據(jù)一段時(shí)間營(yíng)業(yè)后發(fā)現(xiàn)，汽