minimax決策函數(shù)

1、minimax決策函數(shù)一、一、minimax決策函數(shù)決策函數(shù)*D給給定定一一個(gè)個(gè)統(tǒng)統(tǒng)計(jì)計(jì)決決策策問(wèn)問(wèn)題題，設(shè)設(shè)是是由由全全體體決決策策函函數(shù)數(shù)組組成成的的類類，如如果果存存在在一一個(gè)個(gè)決決策策函函數(shù)數(shù)12*(,),nddx xxdD使使得得對(duì)對(duì)任任意意一一個(gè)個(gè)決決策策在貝葉斯決策中，通常以風(fēng)險(xiǎn)函數(shù)最小為衡量標(biāo)在貝葉斯決策中，通常以風(fēng)險(xiǎn)函數(shù)最小為衡量標(biāo)準(zhǔn)。但有的時(shí)候人們處于保守考慮，決策時(shí)考慮最壞準(zhǔn)。但有的時(shí)候人們處于保守考慮，決策時(shí)考慮最壞情形，即風(fēng)險(xiǎn)最大時(shí)尋找最佳策略最小最大決策情形，即風(fēng)險(xiǎn)最大時(shí)尋找最佳策略最小最大決策.定義定義3.103.1012(,)ndd x xx ，總總有有*max

2、( ,)max( , ), RdRddD *d則則稱稱為為統(tǒng)統(tǒng)計(jì)計(jì)決決策策問(wèn)問(wèn)題題的的最最小小最最大大決決策策函函數(shù)數(shù)。注注函數(shù)達(dá)不到最大值時(shí)，可以理解為上確界函數(shù)達(dá)不到最大值時(shí)，可以理解為上確界.如果我們討論的統(tǒng)計(jì)決策問(wèn)題是一個(gè)估計(jì)問(wèn)題，則由如果我們討論的統(tǒng)計(jì)決策問(wèn)題是一個(gè)估計(jì)問(wèn)題，則由定義定義3.10得到的決策函數(shù)為最小最大估計(jì)量得到的決策函數(shù)為最小最大估計(jì)量.下面介紹尋求最小最大決策函數(shù)的一般步驟下面介紹尋求最小最大決策函數(shù)的一般步驟二、計(jì)算二、計(jì)算minimax決策函數(shù)的步驟決策函數(shù)的步驟12*(,)max( , )nDd x xxRd 1 1、對(duì)對(duì)中中每每個(gè)個(gè)決決策策函函數(shù)數(shù)， 求求

3、出出其其風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函在在 上上的的最最大大風(fēng)風(fēng)險(xiǎn)險(xiǎn)值值。計(jì)算計(jì)算minimax決策函數(shù)的步驟：決策函數(shù)的步驟： 2 2、在在所所有有最最大大風(fēng)風(fēng)險(xiǎn)險(xiǎn)值值中中選選取取相相對(duì)對(duì)最最小小值值，此此值值對(duì)對(duì)應(yīng)應(yīng)的的決決策策函函數(shù)數(shù)便便是是最最小小最最大大決決策策函函數(shù)數(shù)。地質(zhì)學(xué)家要根據(jù)某地區(qū)的底層結(jié)構(gòu)地質(zhì)學(xué)家要根據(jù)某地區(qū)的底層結(jié)構(gòu)來(lái)判斷該地是否蘊(yùn)藏有石油，地層結(jié)構(gòu)總是來(lái)判斷該地是否蘊(yùn)藏有石油，地層結(jié)構(gòu)總是0,1兩種狀兩種狀之一，記該地層無(wú)油為之一，記該地層無(wú)油為0，記該地層有油為，記該地層有油為1，已知已知它們的分布規(guī)律如下表所示它們的分布規(guī)律如下表所示0.70.30.40.610 x01例例1(p1

4、021(p102例例3.17)3.17)設(shè)土地所有者有三種決策設(shè)土地所有者有三種決策1a 自自己己投投資資鉆鉆探探石石油油2a 出出賣賣土土地地所所有有權(quán)權(quán)3a 該該地地區(qū)區(qū)開(kāi)開(kāi)辟辟旅旅游游景景點(diǎn)點(diǎn)這些決策對(duì)應(yīng)的損失函數(shù)為這些決策對(duì)應(yīng)的損失函數(shù)為51006112a( , )La011a2a3a現(xiàn)在選用現(xiàn)在選用9個(gè)決策函數(shù)個(gè)決策函數(shù)101x11()d x21()dx31()dx41()dx51()dx61()dx71()dx81()dx91()dx1a1a1a1a2a2a2a3a3a3a2a3a1a2a3a3a2a1a 計(jì)算決策函數(shù)對(duì)應(yīng)的風(fēng)險(xiǎn)函數(shù)，以第四個(gè)決策函計(jì)算決策函數(shù)對(duì)應(yīng)的風(fēng)險(xiǎn)函數(shù)，以第四

5、個(gè)決策函數(shù)為例數(shù)為例000401102110(,)(,)()(,)()RdLa PXLaPX 12 0 41 0 65 4. 140 0 710 0 33(,).Rd風(fēng)險(xiǎn)函數(shù)及其對(duì)應(yīng)的最大值表風(fēng)險(xiǎn)函數(shù)及其對(duì)應(yīng)的最大值表68.58.46.5105.49.67.91258.51.56.51033.570648.4315.49.67.9121d2d3d4d5d6d7d8d9d()iidx0(,)iRd1(,)iRdmax( ,)iRd 4211minimax.0,.daa由由最最小小最最大大決決策策函函數(shù)數(shù)的的定定義義可可知知，為為統(tǒng)統(tǒng)計(jì)計(jì)決決策策問(wèn)問(wèn)題題的的決決策策函函數(shù)數(shù) 即即樣樣本本為為 時(shí)時(shí)

6、，選選擇擇樣樣本本為為時(shí)時(shí)，選選擇擇三、利用貝葉斯估計(jì)計(jì)算三、利用貝葉斯估計(jì)計(jì)算 最小最大決策函數(shù)最小最大決策函數(shù)1212(,)(,)BnBndx xxdxxx的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)為為一一個(gè)個(gè)常常數(shù)數(shù)，那那么么必必定定是是這這個(gè)個(gè)統(tǒng)統(tǒng)計(jì)計(jì)決決策策問(wèn)問(wèn)題題的的一一個(gè)個(gè)最最小小最最大大.決決策策函函數(shù)數(shù)定理定理3.83.8 給定一個(gè)統(tǒng)計(jì)決策問(wèn)題，如果存在某個(gè)先給定一個(gè)統(tǒng)計(jì)決策問(wèn)題，如果存在某個(gè)先驗(yàn)分布，使得在這個(gè)先驗(yàn)分布下的貝葉斯決策函數(shù)驗(yàn)分布，使得在這個(gè)先驗(yàn)分布下的貝葉斯決策函數(shù)證證12( )max( , )(,)MBnRdRddx xx 記記，且且設(shè)設(shè)的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)為為( ,), ,BR

7、dC 因而它的貝葉斯風(fēng)險(xiǎn)為因而它的貝葉斯風(fēng)險(xiǎn)為().BBRdC 12(,)Bndx xx假假設(shè)設(shè)不不是是最最小小最最大大決決策策函函數(shù)數(shù)，12(,)nd x xx那那么么必必定定有有一一個(gè)個(gè)決決策策函函數(shù)數(shù)，使使得得( )()MMBRdRdC 12(,)nd x xx于于是是，的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)滿滿足足( , )( ), ,MRdRdC ( , )( ), MRdRdC 對(duì)對(duì)在在給給定定的的先先驗(yàn)驗(yàn)分分布布下下求求期期望望 得得( )( ( , )(), BBBRdE RdCRd 12(,)Bndx xx這這表表明明不不可可能能是是這這個(gè)個(gè)先先驗(yàn)驗(yàn)分分布布下下的的12(,)minimax.B

8、ndx xx貝貝葉葉斯斯決決策策函函數(shù)數(shù)，從從而而產(chǎn)產(chǎn)生生矛矛盾盾，因因此此必必定定是是一一個(gè)個(gè)決決策策函函數(shù)數(shù)例例2(p1042(p104例例3.18)3.18) 設(shè)總體設(shè)總體X服從兩點(diǎn)分布服從兩點(diǎn)分布B(1,p),其中參數(shù)其中參數(shù)p未知，而未知，而p在在0,1上服從上服從 分布分布 ， 12(,)nXXXX來(lái)來(lái)自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，則參數(shù)則參數(shù)p的貝葉斯估計(jì)為的貝葉斯估計(jì)為p的的minimax估計(jì)量。估計(jì)量。(,)22nne 解解平方損失下的貝葉斯估計(jì)為：平方損失下的貝葉斯估計(jì)為：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|

9、)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111011()( )()( )dnniiiinniiiixnxxnxppppppp 11112211122()()() ()nniiiinnxnxnniiiinn ppnnxnx 1122|(,)nniiiinnp xexnx 顯顯然然 *( )(|)dpdxph p xp 111221011122()d(,)nniiiinnxnxnniiiipppnnxnx 1111121222122(,)()(,)nniiiinniiiinnxnxnXnnnxnx p的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)為為221( , )(-

10、)2(1)nXR p pEpn 221212121()()()()nXnXDEpnn 2241214121()()()()nppnppnnn 2141()n （為為常常數(shù)數(shù)）因而由定理因而由定理3.8知所求的知所求的Baye估計(jì)為估計(jì)為minimax估計(jì)估計(jì).0d分分別別為為相相應(yīng)應(yīng)的的貝貝葉葉斯斯估估計(jì)計(jì)列列和和貝貝葉葉斯斯風(fēng)風(fēng)險(xiǎn)險(xiǎn)列列，若若.函函數(shù)數(shù)定理定理3.93.9 給定一個(gè)貝葉斯決策問(wèn)題，設(shè)給定一個(gè)貝葉斯決策問(wèn)題，設(shè)為參數(shù)空間為參數(shù)空間 上的一個(gè)先驗(yàn)上的一個(gè)先驗(yàn)分布列，分布列，證證0d設(shè)設(shè)不不是是 的的最最小小最最大大估估計(jì)計(jì)，則則存存在在這這樣樣的的一一個(gè)個(gè)( ):1kk:1, (

11、):1kkdkR dk0( ,)Rd是是 的的一一個(gè)個(gè)估估計(jì)計(jì)，且且它它的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)滿滿足足決決策策0max( ,)lim()knRdR d 0minimax.d則則為為 的的估估計(jì)計(jì)d估估計(jì)計(jì) ，使使得得0max( , )max( ,)RdRd kd 是是貝貝葉葉斯斯估估計(jì)計(jì)，因因而而( )( , )max( , )kkR dR dRdRd )( )d)( )d由由此此可可以以得得到到01(max( ,), kR dRdk ) )0 lim(max( ,)kkR dRd 則則) )顯顯然然這這與與假假設(shè)設(shè)的的條條件件矛矛盾盾，因因此此0.d是是 的的最最小小最最大大估估計(jì)計(jì)定理定理3

12、.103.10 給定一個(gè)貝葉斯決策問(wèn)題，給定一個(gè)貝葉斯決策問(wèn)題，證證 對(duì)對(duì)任任意意的的，有有l(wèi)im()knR d 0minimax.d則則為為 的的估估計(jì)計(jì)00max( ,)( ,)lim()knRdRdR d 若若 的的一一個(gè)個(gè) 00( ,)dRd估估計(jì)計(jì)的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)在在 上上為為常常數(shù)數(shù) ，且且存存在在一一個(gè)個(gè)先先 ( ):1kkkd驗(yàn)驗(yàn)分分布布列列，使使得得相相應(yīng)應(yīng)的的貝貝葉葉斯斯估估計(jì)計(jì)的的貝貝葉葉 斯斯風(fēng)風(fēng)險(xiǎn)險(xiǎn)滿滿足足03 9.d顯顯然然定定理理的的條條件件滿滿足足因因而而是是 的的最最小小最最大大估估計(jì)計(jì)例例3(p1063(p106例例3.19)3.19)12()TnXXX

13、X 設(shè)設(shè),為為來(lái)來(lái)自自正正態(tài)態(tài)1( , )N總總體體的的一一個(gè)個(gè)樣樣本本，取取參參數(shù)數(shù) 的的先先驗(yàn)驗(yàn)分分布布為為正正態(tài)態(tài)20( ,),N分分布布其其中中 已已知知，損損失失函函數(shù)數(shù)取取為為100, |, ( , )0, |, dLdd 其其對(duì)對(duì)應(yīng)應(yīng)的的參參數(shù)數(shù) 的的貝貝葉葉斯斯估估計(jì)計(jì)為為121111()()()niidXXnn 114 10.nniiXXn 試試用用定定理理證證明明是是 的的最最小小最最大大估估計(jì)計(jì)證證在在對(duì)對(duì)應(yīng)應(yīng)損損失失函函數(shù)數(shù)下下，參參數(shù)數(shù) 的的貝貝葉葉斯斯估估計(jì)計(jì)為為211()()()niidXXn 21( ):1(0,):,kiikN驗(yàn)驗(yàn)分分布布列列選選取取為為 (),1,2,.idXi 相相應(yīng)應(yīng)的的貝貝葉葉斯斯估估計(jì)計(jì)列列為為 1222111()( (1) ,(1) )idXNnnn又又由由于于 d則則的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)為為