minimax決策函數(shù)

1、minimax決策函數(shù)一、一、minimax決策函數(shù)決策函數(shù)*D給給定定一一個個統(tǒng)統(tǒng)計計決決策策問問題題，設設是是由由全全體體決決策策函函數(shù)數(shù)組組成成的的類類，如如果果存存在在一一個個決決策策函函數(shù)數(shù)12*(,),nddx xxdD使使得得對對任任意意一一個個決決策策在貝葉斯決策中，通常以風險函數(shù)最小為衡量標在貝葉斯決策中，通常以風險函數(shù)最小為衡量標準。但有的時候人們處于保守考慮，決策時考慮最壞準。但有的時候人們處于保守考慮，決策時考慮最壞情形，即風險最大時尋找最佳策略最小最大決策情形，即風險最大時尋找最佳策略最小最大決策.定義定義3.103.1012(,)ndd x xx ，總總有有*max

2、( ,)max( , ), RdRddD *d則則稱稱為為統(tǒng)統(tǒng)計計決決策策問問題題的的最最小小最最大大決決策策函函數(shù)數(shù)。注注函數(shù)達不到最大值時，可以理解為上確界函數(shù)達不到最大值時，可以理解為上確界.如果我們討論的統(tǒng)計決策問題是一個估計問題，則由如果我們討論的統(tǒng)計決策問題是一個估計問題，則由定義定義3.10得到的決策函數(shù)為最小最大估計量得到的決策函數(shù)為最小最大估計量.下面介紹尋求最小最大決策函數(shù)的一般步驟下面介紹尋求最小最大決策函數(shù)的一般步驟二、計算二、計算minimax決策函數(shù)的步驟決策函數(shù)的步驟12*(,)max( , )nDd x xxRd 1 1、對對中中每每個個決決策策函函數(shù)數(shù)， 求求

3、出出其其風風險險函函在在 上上的的最最大大風風險險值值。計算計算minimax決策函數(shù)的步驟：決策函數(shù)的步驟： 2 2、在在所所有有最最大大風風險險值值中中選選取取相相對對最最小小值值，此此值值對對應應的的決決策策函函數(shù)數(shù)便便是是最最小小最最大大決決策策函函數(shù)數(shù)。地質學家要根據(jù)某地區(qū)的底層結構地質學家要根據(jù)某地區(qū)的底層結構來判斷該地是否蘊藏有石油，地層結構總是來判斷該地是否蘊藏有石油，地層結構總是0,1兩種狀兩種狀之一，記該地層無油為之一，記該地層無油為0，記該地層有油為，記該地層有油為1，已知已知它們的分布規(guī)律如下表所示它們的分布規(guī)律如下表所示0.70.30.40.610 x01例例1(p1

4、021(p102例例3.17)3.17)設土地所有者有三種決策設土地所有者有三種決策1a 自自己己投投資資鉆鉆探探石石油油2a 出出賣賣土土地地所所有有權權3a 該該地地區(qū)區(qū)開開辟辟旅旅游游景景點點這些決策對應的損失函數(shù)為這些決策對應的損失函數(shù)為51006112a( , )La011a2a3a現(xiàn)在選用現(xiàn)在選用9個決策函數(shù)個決策函數(shù)101x11()d x21()dx31()dx41()dx51()dx61()dx71()dx81()dx91()dx1a1a1a1a2a2a2a3a3a3a2a3a1a2a3a3a2a1a 計算決策函數(shù)對應的風險函數(shù)，以第四個決策函計算決策函數(shù)對應的風險函數(shù)，以第四

5、個決策函數(shù)為例數(shù)為例000401102110(,)(,)()(,)()RdLa PXLaPX 12 0 41 0 65 4. 140 0 710 0 33(,).Rd風險函數(shù)及其對應的最大值表風險函數(shù)及其對應的最大值表68.58.46.5105.49.67.91258.51.56.51033.570648.4315.49.67.9121d2d3d4d5d6d7d8d9d()iidx0(,)iRd1(,)iRdmax( ,)iRd 4211minimax.0,.daa由由最最小小最最大大決決策策函函數(shù)數(shù)的的定定義義可可知知，為為統(tǒng)統(tǒng)計計決決策策問問題題的的決決策策函函數(shù)數(shù) 即即樣樣本本為為 時時

6、，選選擇擇樣樣本本為為時時，選選擇擇三、利用貝葉斯估計計算三、利用貝葉斯估計計算 最小最大決策函數(shù)最小最大決策函數(shù)1212(,)(,)BnBndx xxdxxx的的風風險險函函數(shù)數(shù)為為一一個個常常數(shù)數(shù)，那那么么必必定定是是這這個個統(tǒng)統(tǒng)計計決決策策問問題題的的一一個個最最小小最最大大.決決策策函函數(shù)數(shù)定理定理3.83.8 給定一個統(tǒng)計決策問題，如果存在某個先給定一個統(tǒng)計決策問題，如果存在某個先驗分布，使得在這個先驗分布下的貝葉斯決策函數(shù)驗分布，使得在這個先驗分布下的貝葉斯決策函數(shù)證證12( )max( , )(,)MBnRdRddx xx 記記，且且設設的的風風險險函函數(shù)數(shù)為為( ,), ,BR

7、dC 因而它的貝葉斯風險為因而它的貝葉斯風險為().BBRdC 12(,)Bndx xx假假設設不不是是最最小小最最大大決決策策函函數(shù)數(shù)，12(,)nd x xx那那么么必必定定有有一一個個決決策策函函數(shù)數(shù)，使使得得( )()MMBRdRdC 12(,)nd x xx于于是是，的的風風險險函函數(shù)數(shù)滿滿足足( , )( ), ,MRdRdC ( , )( ), MRdRdC 對對在在給給定定的的先先驗驗分分布布下下求求期期望望 得得( )( ( , )(), BBBRdE RdCRd 12(,)Bndx xx這這表表明明不不可可能能是是這這個個先先驗驗分分布布下下的的12(,)minimax.B

8、ndx xx貝貝葉葉斯斯決決策策函函數(shù)數(shù)，從從而而產(chǎn)產(chǎn)生生矛矛盾盾，因因此此必必定定是是一一個個決決策策函函數(shù)數(shù)例例2(p1042(p104例例3.18)3.18) 設總體設總體X服從兩點分布服從兩點分布B(1,p),其中參數(shù)其中參數(shù)p未知，而未知，而p在在0,1上服從上服從 分布分布 ， 12(,)nXXXX來來自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，則參數(shù)則參數(shù)p的貝葉斯估計為的貝葉斯估計為p的的minimax估計量。估計量。(,)22nne 解解平方損失下的貝葉斯估計為：平方損失下的貝葉斯估計為：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|

9、)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111011()( )()( )dnniiiinniiiixnxxnxppppppp 11112211122()()() ()nniiiinnxnxnniiiinn ppnnxnx 1122|(,)nniiiinnp xexnx 顯顯然然 *( )(|)dpdxph p xp 111221011122()d(,)nniiiinnxnxnniiiipppnnxnx 1111121222122(,)()(,)nniiiinniiiinnxnxnXnnnxnx p的的風風險險函函數(shù)數(shù)為為221( , )(-

10、)2(1)nXR p pEpn 221212121()()()()nXnXDEpnn 2241214121()()()()nppnppnnn 2141()n （為為常常數(shù)數(shù)）因而由定理因而由定理3.8知所求的知所求的Baye估計為估計為minimax估計估計.0d分分別別為為相相應應的的貝貝葉葉斯斯估估計計列列和和貝貝葉葉斯斯風風險險列列，若若.函函數(shù)數(shù)定理定理3.93.9 給定一個貝葉斯決策問題，設給定一個貝葉斯決策問題，設為參數(shù)空間為參數(shù)空間 上的一個先驗上的一個先驗分布列，分布列，證證0d設設不不是是 的的最最小小最最大大估估計計，則則存存在在這這樣樣的的一一個個( ):1kk:1, (

11、):1kkdkR dk0( ,)Rd是是 的的一一個個估估計計，且且它它的的風風險險函函數(shù)數(shù)滿滿足足決決策策0max( ,)lim()knRdR d 0minimax.d則則為為 的的估估計計d估估計計 ，使使得得0max( , )max( ,)RdRd kd 是是貝貝葉葉斯斯估估計計，因因而而( )( , )max( , )kkR dR dRdRd )( )d)( )d由由此此可可以以得得到到01(max( ,), kR dRdk ) )0 lim(max( ,)kkR dRd 則則) )顯顯然然這這與與假假設設的的條條件件矛矛盾盾，因因此此0.d是是 的的最最小小最最大大估估計計定理定理3

12、.103.10 給定一個貝葉斯決策問題，給定一個貝葉斯決策問題，證證 對對任任意意的的，有有l(wèi)im()knR d 0minimax.d則則為為 的的估估計計00max( ,)( ,)lim()knRdRdR d 若若 的的一一個個 00( ,)dRd估估計計的的風風險險函函數(shù)數(shù)在在 上上為為常常數(shù)數(shù) ，且且存存在在一一個個先先 ( ):1kkkd驗驗分分布布列列，使使得得相相應應的的貝貝葉葉斯斯估估計計的的貝貝葉葉 斯斯風風險險滿滿足足03 9.d顯顯然然定定理理的的條條件件滿滿足足因因而而是是 的的最最小小最最大大估估計計例例3(p1063(p106例例3.19)3.19)12()TnXXX

13、X 設設,為為來來自自正正態(tài)態(tài)1( , )N總總體體的的一一個個樣樣本本，取取參參數(shù)數(shù) 的的先先驗驗分分布布為為正正態(tài)態(tài)20( ,),N分分布布其其中中 已已知知，損損失失函函數(shù)數(shù)取取為為100, |, ( , )0, |, dLdd 其其對對應應的的參參數(shù)數(shù) 的的貝貝葉葉斯斯估估計計為為121111()()()niidXXnn 114 10.nniiXXn 試試用用定定理理證證明明是是 的的最最小小最最大大估估計計證證在在對對應應損損失失函函數(shù)數(shù)下下，參參數(shù)數(shù) 的的貝貝葉葉斯斯估估計計為為211()()()niidXXn 21( ):1(0,):,kiikN驗驗分分布布列列選選取取為為 (),1,2,.idXi 相相應應的的貝貝葉葉斯斯估估計計列列為為 1222111()( (1) ,(1) )idXNnnn又又由由于于 d則則的的風風險險函函數(shù)數(shù)為為