動(dòng)態(tài)決策分析詳解

（優(yōu)選）動(dòng)態(tài)決策分析ppt講解目前一頁\總數(shù)二十九頁\編于十九點(diǎn)第四章動(dòng)態(tài)決策分析目前二頁\總數(shù)二十九頁\編于十九點(diǎn)學(xué)習(xí)目的了解多階段決策、序貫決策的概念及特點(diǎn)；掌握動(dòng)態(tài)規(guī)劃與決策樹方法及其在多階段決策、序貫決策中的應(yīng)用。目前三頁\總數(shù)二十九頁\編于十九點(diǎn)本講內(nèi)容4.1動(dòng)態(tài)決策的基本原理4.1.1動(dòng)態(tài)規(guī)劃4.1.2決策樹4.2多階段決策4.2.1多階段決策過程的基本概念4.2.2多階段決策問題的決策方法4.3序貫決策4.3.1序貫決策的基本概念4.3.2序貫決策的決策方法目前四頁\總數(shù)二十九頁\編于十九點(diǎn)4.1動(dòng)態(tài)決策的基本原理4.1.1動(dòng)態(tài)規(guī)劃

動(dòng)態(tài)規(guī)劃（dynamicProgramming，DP）是解決多階段決策過程最優(yōu)化的一種方法，其基本思路是將多階段決策過程轉(zhuǎn)化為一系列相互關(guān)聯(lián)的單階段問題，并依次求解。

DP是離散系統(tǒng)最優(yōu)化的一種有效工具，目前動(dòng)態(tài)規(guī)劃已廣泛用于工業(yè)、農(nóng)業(yè)、工程技術(shù)、資源、環(huán)境、經(jīng)濟(jì)、社會(huì)等領(lǐng)域。

目前五頁\總數(shù)二十九頁\編于十九點(diǎn)4.1動(dòng)態(tài)決策的基本原理4.1.1動(dòng)態(tài)規(guī)劃例4-1-1最優(yōu)線路問題。由水源地向城市的輸水線路需通過3個(gè)控制點(diǎn)，每個(gè)控制點(diǎn)均有兩個(gè)可選方案，每段線路的輸水費(fèi)用如下圖所示。選出一條輸水線路，使得總輸水費(fèi)用最小。目前六頁\總數(shù)二十九頁\編于十九點(diǎn)4.1動(dòng)態(tài)決策的基本原理4.1.1動(dòng)態(tài)規(guī)劃

最優(yōu)性原理（theprincipleofoptimality）也稱為Bellman原理，是R.Bellman提出的DP的基本原理，其表述為：“一個(gè)過程的最優(yōu)策略具有這樣的性質(zhì)，即無論初始狀態(tài)和初始決策如何，對于由前面的決策所形成的狀態(tài)來說，其后各階段的決策序列必定構(gòu)成相應(yīng)子過程的最優(yōu)策略”。目前七頁\總數(shù)二十九頁\編于十九點(diǎn)4.1動(dòng)態(tài)決策的基本原理4.1.2決策樹

決策樹(decisiontree)就是將決策過程各個(gè)階段之間的結(jié)構(gòu)繪制成一張箭線圖，每個(gè)決策或事件（即自然狀態(tài)）都可能引出兩個(gè)或多個(gè)事件，導(dǎo)致不同的結(jié)果。決策樹的構(gòu)成有四個(gè)要素：1)決策結(jié)點(diǎn)；2)方案枝；3)狀態(tài)結(jié)點(diǎn)；4)概率枝。

目前八頁\總數(shù)二十九頁\編于十九點(diǎn)4.1動(dòng)態(tài)決策的基本原理4.1.2決策樹

方案枝方案枝決策結(jié)點(diǎn)概率枝概率枝狀態(tài)結(jié)點(diǎn)概率枝概率枝概率枝狀態(tài)結(jié)點(diǎn)概率枝目前九頁\總數(shù)二十九頁\編于十九點(diǎn)4.1動(dòng)態(tài)決策的基本原理4.1.2決策樹決策樹法的決策程序如下：

1)繪制樹狀圖，根據(jù)已知條件排列出各個(gè)方案和每一方案的各種自然狀態(tài)。

2)將各狀態(tài)概率及損益值標(biāo)于概率枝上。

3)計(jì)算各方案期望值并將其標(biāo)于該方案對應(yīng)的狀態(tài)結(jié)點(diǎn)上。

4)進(jìn)行剪枝，比較各個(gè)方案的期望值，并標(biāo)于方案枝上，將期望值小的(即劣等方案剪掉)所剩的最后方案為最佳方案。

目前十頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策

多階段決策有以下三個(gè)特點(diǎn)，第一，決策者需要做出時(shí)間上有先后之別的多個(gè)決策；第二，前一次決策的選擇將直接影響到后一次決策，后一次決策的狀態(tài)取決于前一次決策的結(jié)果；第三，決策者關(guān)心的是多次決策的總結(jié)果，而不是各次決策的即時(shí)后果。

目前十一頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.1多階段決策過程的基本概念（1）階段-表示研究對象在發(fā)展過程中所處的時(shí)段或步驟。（2）狀態(tài)-系統(tǒng)在發(fā)展過程中某個(gè)階段所有可能發(fā)生的情況，稱為該階段的狀態(tài)。（3）決策與策略-某階段狀態(tài)給定以后，從該狀態(tài)演變到下一階段某個(gè)狀態(tài)的選擇稱為決策；策略是一個(gè)決策序列。（4）指標(biāo)函數(shù)與目標(biāo)函數(shù)-對于多階段決策過程的某一階段，從初始狀態(tài)做出決策而轉(zhuǎn)移到下一狀態(tài)時(shí)所產(chǎn)生的效應(yīng)的衡量指標(biāo)，稱為該階段的指標(biāo)函數(shù)；目標(biāo)函數(shù)是全過程指標(biāo)函數(shù)的最優(yōu)值。（5）多階段決策過程-對整個(gè)過程進(jìn)行分階段決策，得到一個(gè)最優(yōu)策略，使系統(tǒng)總體指標(biāo)函數(shù)達(dá)到最優(yōu)值。目前十二頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.2多階段決策問題的決策方法

主要方法是決策樹法和動(dòng)態(tài)規(guī)劃法。分析步驟1、根據(jù)具體問題適當(dāng)劃分階段2、確定各階段的狀態(tài)變量，尋找各階段間的聯(lián)系3、由后到前用逆序歸納法進(jìn)行決策分析目前十三頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.2多階段決策問題的決策方法多階段決策問題包括確定型與隨機(jī)型兩大類，在確定型多階段決策中，目標(biāo)值都是確定值，在風(fēng)險(xiǎn)型多階段決策中，目標(biāo)值用期望值作為評價(jià)的標(biāo)準(zhǔn)。下面分別以兩個(gè)例子說明其決策方法。目前十四頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.2多階段決策問題的決策方法例4-2-1決策圖

736045845元1012152025736045846元1213162024736045847元1414161818736045848元1615151414目前十五頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.2多階段決策問題的決策方法例4-2-1某公司考慮為某新產(chǎn)品定價(jià)，該產(chǎn)品的單價(jià)擬從每件5元、6元、7元、8元這四個(gè)價(jià)格中選取其中之一，每年年初允許變動(dòng)價(jià)格，但幅度不能超過1元。該公司預(yù)計(jì)該產(chǎn)品暢銷只有五年，五年后將被淘汰，另據(jù)銷售情況的預(yù)測，在價(jià)格不同的情況下各年的預(yù)計(jì)利潤額見右表。單價(jià)第1年第2年第3年第4年第5年5元10121520256元121316202471615151414目前十六頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.2多階段決策問題的決策方法例4-2-2某公司考慮是否花10000元從某科研機(jī)關(guān)購買某項(xiàng)技術(shù)，然后產(chǎn)銷新產(chǎn)品。如果賣技術(shù)，可以進(jìn)行大批生產(chǎn)，可能出現(xiàn)的市場情況也分為暢銷、一般或滯銷三種，其收益矩陣見下表左。為了更準(zhǔn)確地了解市場情況，正式投產(chǎn)前可進(jìn)行產(chǎn)品試銷，但需是消費(fèi)500元。試銷狀態(tài)可分為受歡迎、一般或不受歡迎三種，其條件概率分別見下表右。如不買此項(xiàng)技術(shù)，把這筆經(jīng)費(fèi)應(yīng)用在其他地方，在同樣的時(shí)期內(nèi)，可獲利15000元，那么公司應(yīng)如何決策？公司要確定：1）是否賣技術(shù)？2）如果買技術(shù)，是否采取試銷方式？3）如果不試銷，應(yīng)大批、中批還是小批生產(chǎn)？如果試銷又如何根據(jù)試銷狀態(tài)決定其行動(dòng)

。

目前十七頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.2多階段決策問題的決策方法例4-2-2的表格（0.6）（0.3）（0.1）4000020000-300003000030000-20000100001000010000

（0.6）（0.3）（0.1）0.60.20.20.30.60.30.10.20.5目前十八頁\總數(shù)二十九頁\編于十九點(diǎn)4.2多階段決策4.2.2多階段決策問題的決策方法例4-2-的決策樹買不試試不買849356721目前十九頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.1序貫決策的基本概念上面的多階段決策，階段數(shù)是確定的。除這種決策外，還有一些決策的階段數(shù)不是事先確定的，它依賴于執(zhí)行決策過程中出現(xiàn)的情況。這種決策問題稱為序貫決策（sequentialdecisionproblem）。序列決策在進(jìn)行決策后又產(chǎn)生一些新的情況，需要進(jìn)行新的決策，接著又有一些新的情況，又需要進(jìn)行新的決策。這樣決策、情況、決策……，這就構(gòu)成一個(gè)序列。

目前二十頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.1序貫決策的基本概念序貫決策是用于隨機(jī)性或不確態(tài)定性動(dòng)態(tài)系統(tǒng)最優(yōu)化的決策方法。它的特點(diǎn)是：

1）所研究的系統(tǒng)是動(dòng)態(tài)的，即系統(tǒng)所處的狀態(tài)與時(shí)間有關(guān)，可周期（或連續(xù)）地對它觀察；

2）決策是序貫地進(jìn)行的，即每個(gè)時(shí)刻根據(jù)所觀察到的狀態(tài)和以前狀態(tài)的記錄，從一組可行方案中選用一個(gè)最優(yōu)方案（即作最優(yōu)決策），使取決于狀態(tài)的某個(gè)目標(biāo)函數(shù)取最優(yōu)值（極大或極小值）；

3）系統(tǒng)下一步(或未來)可能出現(xiàn)的狀態(tài)是隨機(jī)的或不確定的。目前二十一頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.1序貫決策的基本概念

系統(tǒng)在每次作出決策后下一步可能出現(xiàn)的狀態(tài)是不能確切預(yù)知的，存在兩種情況：

1）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布是已知的，可用客觀概率的條件分布來描述。對于這類系統(tǒng)的序貫決策研究得較完滿的是狀態(tài)轉(zhuǎn)移律具有無后效性的系統(tǒng)，相應(yīng)的序貫決策稱為馬爾可夫決策過程，它是將馬爾可夫過程理論與決定性動(dòng)態(tài)規(guī)劃相結(jié)合的產(chǎn)物。

2）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布不知道，只能用主觀概率的條件分布來描述。用于這類系統(tǒng)的序貫決策屬于決策分析的內(nèi)容。目前二十二頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.2序貫決策的決策方法

序貫決策的過程是：從初始狀態(tài)開始，每個(gè)時(shí)刻做出最優(yōu)決策后，接著觀察下一步實(shí)際出現(xiàn)的狀態(tài)，即收集新的信息，然后再做出新的最優(yōu)決策，反復(fù)進(jìn)行直至最后。解決序貫決策問題的有效辦法仍然是決策樹，解決序貫決策的關(guān)鍵是確定一個(gè)決策序列終止的原則。在下例中，這個(gè)原則就是：不管到?jīng)Q策的哪個(gè)階段，只要有一個(gè)非經(jīng)抽樣的后悔期望值小于進(jìn)行一次抽樣的費(fèi)用，決策序列便可終止。目前二十三頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.2序貫決策的決策方法

例4-3-1某工廠的產(chǎn)品每1000件裝成一箱出售。每箱中產(chǎn)品的次品率有0.01，0.40，0.90三種可能，其概率分別為0.2，0.6，0.2?，F(xiàn)在的問題是：出廠前是否要對產(chǎn)品進(jìn)行嚴(yán)格檢驗(yàn)，將次品挑出。可以選擇的行動(dòng)有兩個(gè)：①整箱檢驗(yàn)，檢驗(yàn)費(fèi)為每箱100元；②整箱不檢驗(yàn)，但如果顧客在使用中發(fā)現(xiàn)次品，每件次品除條換為合格品外還要賠償0.25元損失費(fèi)。為了更好地做出決定可以先從一箱中隨機(jī)抽取1件作為樣本檢驗(yàn)它，然后根據(jù)這件產(chǎn)品是都次品再?zèng)Q定該箱是否要檢驗(yàn)，抽樣成本為4.2元。進(jìn)行第一次抽樣后，除選擇檢驗(yàn)還是不檢驗(yàn)外，還可以根據(jù)前面抽樣的結(jié)果，考慮再進(jìn)行一次抽樣檢驗(yàn)如此形成一個(gè)決策序列。該廠應(yīng)該如何決策。目前二十四頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.2序貫決策的決策方法

解（1）假設(shè)為整箱檢驗(yàn)；為整箱不檢驗(yàn)；而表示次品率分別0.01，0.40，0.90的三種自然狀態(tài)；表示抽取一件樣品的行動(dòng)，表示抽取第二件樣品的行動(dòng)；，為抽樣時(shí)次品和合格品的兩個(gè)結(jié)果。

目前二十五頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.2序貫決策的決策方法

（2）計(jì)算益損值和后悔值矩陣。

產(chǎn)品檢驗(yàn)問題的收益矩陣見表4-3-1。由表4-3-1的收益矩陣可得到各行動(dòng)方案的后悔值矩陣，見表4-3-2。

表4-3-1：收益矩陣表

表4-3-2：后悔矩陣表

（0.2）（0.6）（0.2）-100-100-100-100-2.5-100-100-105（0.2）（0.6）（0.2）97.50000125目前二十六頁\總數(shù)二十九頁\編于十九點(diǎn)4.3序貫決策4.3.2序貫決策的決策方法（3）抽取一件樣品的抽樣分布見表4-3-3。計(jì)算各有關(guān)概率。表4-3-3：抽樣結(jié)果條件概率分布表矩陣表

抽樣θ

（0.2）

θ

（0.6）

θ

（0.2）0.990.60.10.010.40.9目