風(fēng)險型決策方法案例(連續(xù)型變量和馬爾科夫風(fēng)險決策方法)

1、連續(xù)性變量的風(fēng)險型決策連續(xù)性變量的風(fēng)險型決策方法方法馬爾科夫決策方法馬爾科夫決策方法1定義：連續(xù)性變量的風(fēng)險型決策方法是解決連續(xù)定義：連續(xù)性變量的風(fēng)險型決策方法是解決連續(xù)型變量，或者雖然是離散型變量，但可能出現(xiàn)的型變量，或者雖然是離散型變量，但可能出現(xiàn)的狀態(tài)數(shù)量很大的決策問題的方法。連續(xù)性變量的狀態(tài)數(shù)量很大的決策問題的方法。連續(xù)性變量的風(fēng)險型決策方法可以應(yīng)用邊際分析法和標(biāo)準(zhǔn)正態(tài)風(fēng)險型決策方法可以應(yīng)用邊際分析法和標(biāo)準(zhǔn)正態(tài)概率分布等進(jìn)行決策。概率分布等進(jìn)行決策。方法的思想：設(shè)法尋找期望值作為一個變量隨備方法的思想：設(shè)法尋找期望值作為一個變量隨備選方案依一定次序的變化而變化的規(guī)律性，只要選方案依一定

2、次序的變化而變化的規(guī)律性，只要這個期望值變量在該決策問題定義的區(qū)間內(nèi)是單這個期望值變量在該決策問題定義的區(qū)間內(nèi)是單峰的，則峰值處對應(yīng)的那一個備選方案就是決策峰的，則峰值處對應(yīng)的那一個備選方案就是決策問題的最優(yōu)方案。這個方法類似于經(jīng)濟(jì)學(xué)中的邊問題的最優(yōu)方案。這個方法類似于經(jīng)濟(jì)學(xué)中的邊際分析法。際分析法。2尋求最優(yōu)解的核心尋求最優(yōu)解的核心工具工具體現(xiàn)向前看的決策體現(xiàn)向前看的決策思想思想現(xiàn)實經(jīng)濟(jì)管理問題總是千絲萬縷，現(xiàn)實經(jīng)濟(jì)管理問題總是千絲萬縷，存在多個變量，要爭取抓住主要變存在多個變量，要爭取抓住主要變量，并在各個方向上滿足邊際量，并在各個方向上滿足邊際法則法則決策變量與相關(guān)結(jié)果之間關(guān)系復(fù)雜，決策

3、變量與相關(guān)結(jié)果之間關(guān)系復(fù)雜，所選取的變量是否得當(dāng)，必須定量所選取的變量是否得當(dāng)，必須定量分析與定性分析引結(jié)合分析與定性分析引結(jié)合 經(jīng)濟(jì)學(xué)中的應(yīng)用舉例邊際分析法邊際分析法3含義：含義：因變量關(guān)于自變量的變化率，或者說是自因變量關(guān)于自變量的變化率，或者說是自變量變化一個單位時因變量的改變量變量變化一個單位時因變量的改變量。在經(jīng)濟(jì)管理研究中，經(jīng)?？紤]的邊際量有邊際收在經(jīng)濟(jì)管理研究中，經(jīng)?？紤]的邊際量有邊際收入入MRMR、邊際成本、邊際成本MCMC、邊際產(chǎn)量、邊際產(chǎn)量MPMP、邊際利潤、邊際利潤MBMB等等。4企業(yè)生產(chǎn)理論的邊際分析從生產(chǎn)函數(shù)入手，運用邊際分析法作出要素投入的最佳決策。5在一定的技術(shù)條

4、件和時間下，各種生產(chǎn)要素投入在一定的技術(shù)條件和時間下，各種生產(chǎn)要素投入量的某一組合與其生產(chǎn)的最可能大產(chǎn)量之間的關(guān)量的某一組合與其生產(chǎn)的最可能大產(chǎn)量之間的關(guān)系，稱生產(chǎn)函數(shù)，即投入和產(chǎn)出之間的關(guān)系。系，稱生產(chǎn)函數(shù)，即投入和產(chǎn)出之間的關(guān)系。 生產(chǎn)要素：生產(chǎn)要素常泛指原始投入和中間投生產(chǎn)要素：生產(chǎn)要素常泛指原始投入和中間投入的生產(chǎn)要素，如自然資源入的生產(chǎn)要素，如自然資源 N N、資本投資、資本投資 K K、勞、勞動動 L L、企業(yè)家才能、企業(yè)家才能 E E 一定技術(shù)條件下投入數(shù)量和可能的最大產(chǎn)出一定技術(shù)條件下投入數(shù)量和可能的最大產(chǎn)出之間的關(guān)系稱為生產(chǎn)函數(shù)：之間的關(guān)系稱為生產(chǎn)函數(shù)： Q =f(L,K,T

5、)Q =f(L,K,T) 6可變投入生產(chǎn)函數(shù)可變投入生產(chǎn)函數(shù)：一種可變投入一種可變投入(variable input)(variable input)的生產(chǎn)函的生產(chǎn)函數(shù)數(shù) 對既定產(chǎn)品，技術(shù)條件不變化、固定投入對既定產(chǎn)品，技術(shù)條件不變化、固定投入( (通常是資本）一定、通常是資本）一定、 一種可變動投入（通常是勞動一種可變動投入（通常是勞動) ) 與可能生產(chǎn)的最大產(chǎn)量間的關(guān)與可能生產(chǎn)的最大產(chǎn)量間的關(guān)系。系。總產(chǎn)量（總產(chǎn)量（Total ProductTotal Product） 可能的最大產(chǎn)量和變動投入之間的關(guān)系可能的最大產(chǎn)量和變動投入之間的關(guān)系 TP = Q = f(L)平均產(chǎn)量平均產(chǎn)量 AP

6、AP （ Average ProductAverage Product） 隨著變動投入的變動而變動隨著變動投入的變動而變動 APL = Q / L邊際產(chǎn)量邊際產(chǎn)量MP (Marginal Product)MP (Marginal Product) 在一定技術(shù)條件下，其它諸投入要素保持不變、每增加一個在一定技術(shù)條件下，其它諸投入要素保持不變、每增加一個 單位變動投入所引起的總產(chǎn)量的變動：單位變動投入所引起的總產(chǎn)量的變動： MPL =TP/L = dTP/ dL7 1238LKQA PLM PL01 00-11 01 01 01 021 03 01 52 031 06 02 03 041 08 0

7、2 02 051 09 51 91 561 01 0 81 81 371 01 1 21 6481 01 1 21 4091 01 0 81 2- 41 01 01 0 01 0- 89 TPTP與與MPMP MP MP 0 TP 0 TP上升上升 MPMP 0 TP 0 TP下降下降 MP = 0 TPMP = 0 TP最大最大APAP與與MPMP MP MP AP APAP AP上升上升 MPMP AP AP AP AP下降下降 MP MP = AP = AP AP AP達(dá)到最大達(dá)到最大 10短期生產(chǎn)的三階段：短期生產(chǎn)的三階段： 第一生產(chǎn)階段：第一生產(chǎn)階段：dAP/dL 0dAP/dL 0

8、 第二生產(chǎn)階段：第二生產(chǎn)階段：dAP/dL0dAP/dL0MP0 第三生產(chǎn)階段：第三生產(chǎn)階段：MP0MPtotto時所處的狀態(tài)只和時所處的狀態(tài)只和toto時刻時刻有關(guān)，而與有關(guān)，而與toto以前的狀態(tài)無關(guān)，則這種隨機過程稱為以前的狀態(tài)無關(guān)，則這種隨機過程稱為馬爾科夫過程。馬爾科夫過程。轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣：矩陣各元素都是非負(fù)的，并且各行元：矩陣各元素都是非負(fù)的，并且各行元素之和等于素之和等于1 1，各元素用概率表示，在一定條件下是，各元素用概率表示，在一定條件下是互相轉(zhuǎn)移的，故稱為轉(zhuǎn)移概率矩陣。如用于市場決策互相轉(zhuǎn)移的，故稱為轉(zhuǎn)移概率矩陣。如用于市場決策時，矩陣中的元素是市場或顧客的保留、

9、獲得或失去時，矩陣中的元素是市場或顧客的保留、獲得或失去的概率。的概率。P(k)P(k)表示步轉(zhuǎn)移概率矩陣。給定當(dāng)前狀態(tài)為表示步轉(zhuǎn)移概率矩陣。給定當(dāng)前狀態(tài)為 x x ，當(dāng)前行為為，當(dāng)前行為為a a ，則對于每一對，則對于每一對“狀態(tài)行為狀態(tài)行為”（x,a) , Pa(x,y)x,a) , Pa(x,y)表示下一個狀態(tài)為表示下一個狀態(tài)為y y 的概率。的概率。14 案例 排隊網(wǎng)絡(luò)模型、俄羅斯方塊排隊網(wǎng)絡(luò)模型、俄羅斯方塊15該網(wǎng)絡(luò)模型包括該網(wǎng)絡(luò)模型包括 3 3 臺服務(wù)臺服務(wù)器，器，2 2 個不同的外部任務(wù)入個不同的外部任務(wù)入口，口，2 2 條固定的工作流程條固定的工作流程1,2,3 1,2,3 和

10、和4,5,6,7,84,5,6,7,8，在不，在不同處理階段的形成同處理階段的形成 8 8 個排個排隊任務(wù)。我們假設(shè)服務(wù)時間隊任務(wù)。我們假設(shè)服務(wù)時間滿足幾何隨機變量：當(dāng)服務(wù)滿足幾何隨機變量：當(dāng)服務(wù)器器 i i 在一個時間步內(nèi)服務(wù)在一個時間步內(nèi)服務(wù)于隊列于隊列j j 中的某一單元時，中的某一單元時，在本時間步內(nèi)結(jié)束服務(wù)的概在本時間步內(nèi)結(jié)束服務(wù)的概率為率為 ij ij ，并獨立于之前，并獨立于之前對該單元的服務(wù)。本工作流對該單元的服務(wù)。本工作流程完成后，此單元將被移送程完成后，此單元將被移送到整個流程的下一隊列（如到整個流程的下一隊列（如所有流程已完成則直接退出所有流程已完成則直接退出系該統(tǒng)）。在

11、任一時間步內(nèi)，系該統(tǒng)）。在任一時間步內(nèi)，新的工作單元可以概率新的工作單元可以概率 j j從隊列從隊列 4, 1 =j 4, 1 =j 加入本系加入本系統(tǒng)，并獨立于之前到達(dá)的工統(tǒng)，并獨立于之前到達(dá)的工作單元。作單元。16一般采用包含隊列長度的一般采用包含隊列長度的8 8 維向量來描述本系統(tǒng)的狀態(tài)。由于維向量來描述本系統(tǒng)的狀態(tài)。由于每個服務(wù)器都服務(wù)于多個隊列，則在單個時間步內(nèi)，必須選擇每個服務(wù)器都服務(wù)于多個隊列，則在單個時間步內(nèi)，必須選擇確定服務(wù)器為哪個隊列服務(wù)。這種選擇可用八維向量代碼確定服務(wù)器為哪個隊列服務(wù)。這種選擇可用八維向量代碼a a 編編碼，說明正接受服務(wù)的隊列，并滿足每個服務(wù)器只為單個

12、隊列碼，說明正接受服務(wù)的隊列，并滿足每個服務(wù)器只為單個隊列服務(wù)的條件，即服務(wù)的條件，即ai ai 0, 1 ,0, 1 ,且且a1+a3+a8 1,a2+a6 a1+a3+a8 1,a2+a6 1,a4+a5+a7 1.1,a4+a5+a7 1.對于對于a a 的選擇，我們可以根據(jù)需要增加限制的選擇，我們可以根據(jù)需要增加限制條件，比如僅僅考慮無空閑策略。條件，比如僅僅考慮無空閑策略。 我們用對系統(tǒng)我們用對系統(tǒng)x x 的函數(shù)的函數(shù)u u 來表述這個策略，該策略返回服務(wù)器來表述這個策略，該策略返回服務(wù)器工作分配情況工作分配情況, ,我們可用轉(zhuǎn)移概率來表示隊列的長度的變化我們可用轉(zhuǎn)移概率來表示隊列的

13、長度的變化下一狀態(tài)下一狀態(tài) X(t+1)X(t+1)的條件概率由當(dāng)前系統(tǒng)狀態(tài)的條件概率由當(dāng)前系統(tǒng)狀態(tài) X(t)X(t)和行為和行為 a(t)a(t)確定。確定。 例如：例如： 17三式分別表示到達(dá)隊列三式分別表示到達(dá)隊列1 1，離開隊列，離開隊列 2 2 且到達(dá)隊且到達(dá)隊列列3 3，離開隊列，離開隊列3 3 的概率的概率 I(.) I(.) 為指示函數(shù)為指示函數(shù). .我們我們再根據(jù)求出的概率與條件需要相結(jié)合作出決策。再根據(jù)求出的概率與條件需要相結(jié)合作出決策。18俄羅斯方塊是一款計算機游戲，其基本策略是：把屏俄羅斯方塊是一款計算機游戲，其基本策略是：把屏幕上方隨機落下來的一組不同幾何圖形的物塊，

14、壘放幕上方隨機落下來的一組不同幾何圖形的物塊，壘放成為整行。物塊連續(xù)落下且其幾何形狀隨機產(chǎn)生。在成為整行。物塊連續(xù)落下且其幾何形狀隨機產(chǎn)生。在墜落過程中，物塊可以被旋轉(zhuǎn)、水平移動到希望的位墜落過程中，物塊可以被旋轉(zhuǎn)、水平移動到希望的位置。要注意的是，必須在物塊到達(dá)屏幕下方物塊堆之置。要注意的是，必須在物塊到達(dá)屏幕下方物塊堆之前才能進(jìn)行旋轉(zhuǎn)和水平移動，一旦接觸下方物塊堆則前才能進(jìn)行旋轉(zhuǎn)和水平移動，一旦接觸下方物塊堆則其位置固定，不能再移動和旋轉(zhuǎn)。其位置固定，不能再移動和旋轉(zhuǎn)。 用馬爾科夫決策過程框架解決俄羅斯方塊問題，則可用馬爾科夫決策過程框架解決俄羅斯方塊問題，則可把當(dāng)前物塊堆的形狀和下落中的物塊定位為狀態(tài)，每把當(dāng)前物塊堆的形狀和下落中的物