貝氏決策理論

第二章貝氏決策理論Sec.2.1簡介1.決策問題的基本結(jié)構(gòu)行動→本性狀況→結(jié)果行動：決策時可採取的策略，通常以a表之，令為行動空間(actionspace)。本性狀況：決策時可能面臨的情況，通常以參數(shù)表之。令為參數(shù)空間(parameterspace)。結(jié)果：決策在所面臨的實(shí)際情況下，所產(chǎn)生的後果，常以支付(收益、損失、成本)或悔惜表之。2.決策時可引用的資訊(1)行動所導(dǎo)致的結(jié)果指相關(guān)的支付(收益、損失、成本)與悔惜，本章將以損失函數(shù)為主。(2)本性狀況的資訊指各種本性狀況的發(fā)生率，這常會涉及某些參數(shù)。如果參數(shù)有未知的情況時，我們可能須利用樣本，以取得相關(guān)訊息。(3)樣本的訊息為增加決策的客觀性，我們會透過抽樣(或?qū)嶒?yàn))取得樣本，再利用樣本的資訊來形成決策。(4)決策者的經(jīng)驗(yàn)指決策者對參數(shù)的看法。引用決策者對參數(shù)的看法的決策方法，稱之為貝氏方法(Bayesapproach)。在貝氏決策模式中，通常把相關(guān)參數(shù)視為隨機(jī)變數(shù)，亦即決策者對參數(shù)的分布有一定的看法。也就是說，認(rèn)為參數(shù)的分布是已知的，而參數(shù)的分布稱之為事前分布(priordistribution)。例1：藥商欲決定新藥是否要上市？有兩個量數(shù)是重要考量：(1)藥的效能，及(2)市場接受度。(1)行動空間，其中表上市；表不上市。(2)參數(shù)空間。(3)根據(jù)及之值，可算出行動及之支付(或悔惜)值。(4)由於二量數(shù)及是未知的，我們必須取得相關(guān)樣本資訊。(a)透過臨床實(shí)驗(yàn)→取得樣本→猜測之值。(b)透過市場調(diào)查→取得樣本→猜測之值。(5)根據(jù)藥商多年經(jīng)營的經(jīng)驗(yàn)，或許對及有相關(guān)的看法，而可提供決策參考?！鶄鹘y(tǒng)統(tǒng)計決策理論：引用樣本資訊及行動之結(jié)果的資訊作決策?！愂蠜Q策理論：除了引用樣本資訊及行動之結(jié)果的資訊外，尚引用決策者的經(jīng)驗(yàn)(指對參數(shù)的看法)作決策。3.損失函數(shù)(1)當(dāng)實(shí)際狀況為時，而採取行動a所受的處罰，記為，即為損失函數(shù)(lossfunction)。(2)通常規(guī)定。例1：(續(xù))藥商欲依市場接受度決定新藥是否要上市？(1)行動空間，其中表上市；表不上市。(2)參數(shù)空間。(3)損失函數(shù)(4)抽樣：實(shí)際隨機(jī)抽出n個人，設(shè)其中有X個人表示認(rèn)同，則。(5)藥商根據(jù)過往的經(jīng)驗(yàn)，新藥推出的市場接受度不會太高，而其事前分布應(yīng)為布於[0.10.2]上之均勻分布(uniformdistribution)，i.e.。Sec.2.2期望損失、決策規(guī)則及風(fēng)險1.期望損失定義1.設(shè)參數(shù)之事前分布為，則行動a之貝氏期望損失(Bayesianexpectedloss)為。例1：(續(xù))損失函數(shù)之事前分布為，(i.e.均勻分布)，則貝氏期望損失為例2：投資者有兩種投資選擇：為投資具風(fēng)險債券；為投資無風(fēng)險債券。其面臨兩種可能狀況：表”nodefaultoccurs”；表”adefaultoccurs”。相關(guān)損失函數(shù)為-5001,000-300-300又之prior為。試求貝氏期望損失？Sol：2.FrequentistRisk未引用貝氏方法之統(tǒng)計決策理論稱之為frequentistschool(或classicalschool)。定義2.設(shè)表樣本空間，表行動空間。一決策規(guī)則(decisionrule)乃由映至之函數(shù)。當(dāng)樣本觀測值為x時，即為所採取之行動。對二決策規(guī)則與而言，若，則稱與為等價(equivalent)。例3：一公司當(dāng)其訂貨(如零件)送達(dá)時，其須驗(yàn)貨以決定是否接受該批貨物？今隨機(jī)抽驗(yàn)n件貨品，設(shè)X表n件貨品中不良品的個數(shù)，則，其中為不良率。樣本空間。參數(shù)空間。行動空間，其中表接受該貨物；表退回該貨物。決策規(guī)則我們常以來估計之值，故可定義如下：定義3.決策規(guī)則之風(fēng)險函數(shù)(riskfunction)為?！?dāng)樣本資料時，。定義4.(1)當(dāng)，則稱isR-betterthan。(2)當(dāng)，則稱與為R-equivalent。定義5.(1)對決策規(guī)則而言，若不存在任何R-better之決策規(guī)則，則稱為可取的(admissible)。(2)對決策規(guī)則而言，若存在使得，且與並非R-equivalent，則稱為不可取的(inadmissible)。例4：設(shè)，現(xiàn)以a估計，其損失函數(shù)為。令決策規(guī)則為，試求風(fēng)險函數(shù)？Sol：Case1：c>1故isR-betterthan所以是不可取的。Case2：時，與難分高下。例5：一決策問題相關(guān)之損失矩陣如下：134-1550-1-1在無樣本資料之情況下，試比較三個行動之優(yōu)劣？Sol：因無樣本資料，故。(1)因，且，故為inadmissible。(2)與均為admissible。定義6.設(shè)之prior為，則決策規(guī)則之貝氏風(fēng)險(Bayesrisk)為。例4：(續(xù))設(shè)之prior為，試求之貝氏風(fēng)險？Sol：由前例，已知。Sec.2.3隨機(jī)化決策規(guī)則1.當(dāng)一決策問題會遭遇聰明的對手，引用隨機(jī)化決策規(guī)則(randomizeddecisionrule)是有其必要的。2.使用隨機(jī)化決策規(guī)則旨在降低風(fēng)險，提高決策之效力(power)。3.在Sec.2.2中所介紹的策規(guī)則稱之為非隨機(jī)化決策規(guī)則(nonrandomizeddecisionrule)。例6：(Matchingpennies)一遊戲是這樣的：當(dāng)你和你的對手同時打開兩個銅板，若二者相同，則你贏1元；又若二者不同，則你輸1元。(1)本性狀況：表對手出正面；表對手出反面。(2)行動：表對手出正面；表對手出反面。(3)損失矩陣：-111-1(4)明顯的，與均為admissible。如果你一直採用(或)，則聰明的對手很快就會發(fā)覺，而改採(或)。(5)為了解決這種困境，你可以在出牌前，先投擲一的銅板。當(dāng)銅板出現(xiàn)正面時，則出正面；反之，出反面。換言之，有p的機(jī)會出正面；有1-p的機(jī)會出反面(p是該銅板出現(xiàn)正面的機(jī)率)。定義7.隨機(jī)化決策規(guī)則是定義於行動空間A上之一機(jī)率分布，以說明各行動a被採用之發(fā)生率?！碛^測到x時，採行動a之機(jī)率?！碛^測到x時，採行動落在中之機(jī)率?！请S機(jī)化決策規(guī)則可視為一種特別的隨機(jī)化決策規(guī)則?！请S機(jī)化決策規(guī)則可表為如今型式之隨機(jī)化決策規(guī)則：例6：(續(xù))隨機(jī)化決策規(guī)則可訂為。對傳統(tǒng)統(tǒng)計推論而言，所謂最佳檢定規(guī)則乃在固定的顯著水準(zhǔn)下，其檢定效力為最大者。在這種情況下，通常最佳檢定規(guī)則其犯第一型錯誤的機(jī)率(即-risk)會與相同。但當(dāng)變數(shù)為間斷型時，最佳檢定規(guī)則其犯第一型錯誤的機(jī)率通常會低於。換言之，此檢定真正的顯著水準(zhǔn)應(yīng)小於。為增加檢定的效力可引用隨機(jī)化決策規(guī)則。例7：投擲一銅板n次，設(shè)X表n次中正面出現(xiàn)的次數(shù)，則，其中為不良率，而樣本空間為。今欲在顯著水準(zhǔn)準(zhǔn)為之情況下，檢定，棄卻域的型式為。行動空間，其中表接受；表棄卻。，通常等號不會成立。定義8.設(shè)為一隨機(jī)化決策規(guī)則，則其損失函數(shù)為上述期望值是針對a做的。又之風(fēng)險函數(shù)為。例6：(續(xù)Matchingpennies)因?yàn)闊o樣本資料。故當(dāng)時，。例7：(續(xù))(1)樣本空間為(2)統(tǒng)計假設(shè)(3)行動空間，其中表接受；表棄卻。(4)隨機(jī)化決策規(guī)則為而。(5)損失函數(shù)為(6)風(fēng)險函數(shù)為定義9.對隨機(jī)化決策規(guī)則而言，我們?nèi)砸燥L(fēng)險函數(shù)來衡量優(yōu)劣，故先前定義之R-better及admissible一體適用。例7：(續(xù))當(dāng)統(tǒng)計假設(shè)，在顯著水準(zhǔn)為0.05下，試求最佳隨機(jī)化檢定規(guī)則？(提示：即決定p及j之值)Sec.2.4決策原則1.TheconditionalBayesdecisionprinciple設(shè)一決策問題之行動空間為，參數(shù)空間為，而參數(shù)之prior為，行動a之貝氏期望損失為。若，則稱為貝氏行動(Bayesaction)。貝氏行動即在TheconditionalBayesdecisionprinciple下之最佳行動。TheconditionalBayesdecisionprinciple適用在無樣本資料之情況。例1：(續(xù))由前例已算得貝氏期望損失為當(dāng)。當(dāng)。當(dāng)。由(1),(2)及(3)，故貝氏行動為。例3：(續(xù))由前例已算得貝氏期望損失為，，故貝氏行動為。2.Frequentistdecisionprinciple(1)以風(fēng)險函數(shù)來衡量決策規(guī)則之優(yōu)劣，固然有R-better,admissible等性質(zhì)，但滿足admissilbe的決策規(guī)則可能不只一個(往往不勝枚舉)，那要如何比較它們的優(yōu)劣？(這種困難源自風(fēng)險函數(shù)含有未知參數(shù))應(yīng)引進(jìn)新的概念！(2)在傳統(tǒng)統(tǒng)計推論中引進(jìn)了以下概念：(a)maximumlikelihood(b)unbiasedness(c)minimumvariance(d)leastsquare(3)在決策理論中引進(jìn)了以下概念：(a)theBayesriskprinciple(b)theminimaxprinciple(c)theinverseprinciple2.1TheBayesriskprinciple(1)重要的概念：引進(jìn)專家的經(jīng)驗(yàn)，認(rèn)為參數(shù)應(yīng)為隨機(jī)變數(shù)，而有其服從的機(jī)率分布。在這樣概念下，可以求得貝氏風(fēng)險。※貝氏風(fēng)險之值與無關(guān)。(2)原則(a)若，則稱優(yōu)於(i.e.偏好)。(b)若，則為適當(dāng)?shù)?optimal)，而稱為貝氏規(guī)則(Bayesrule)。令，稱之為相對於之貝氏風(fēng)險(即最小貝氏風(fēng)險)。例4：(續(xù))，prior：，lossfunction：，decisionrule：，求得之Bayesrisk為。試求貝氏決策規(guī)則及相對prior之貝氏風(fēng)險？(1)，其中。(2)貝氏決策規(guī)則。2.2Theminimaxprinciple(1)概念：最小最大原則乃在最壞的情況下，求最好的結(jié)果。(2)原則(a)若，則稱優(yōu)於(i.e.偏好)。(b)若，則稱為最小最大決策規(guī)則(minimaxdecisionrule)。例4：(續(xù))，lossfunction：，decisionrule：，求得之riskfunction為。Case1：當(dāng)，。Case2：當(dāng)。由Case1及2，故minimaxdecisionrule為。例3：(續(xù)riskyinvestment)損失矩陣為-5001,000-300-300試求minimaxdecisionrule？故minimaxdecisionrule為。例6：(續(xù)matchingpennies)隨機(jī)化決策規(guī)則為。同理，故minimaxdecisionrule為。2.3Theinverseprinciple(1)概念：當(dāng)兩個決策問題有相同結(jié)構(gòu)時，在相同之決策準(zhǔn)則下，所求得之(最佳)決策規(guī)則應(yīng)對應(yīng)相等。(2)inverseprinciple主要用於決策問題的轉(zhuǎn)換上。Sec.2.5Foundations1.傳統(tǒng)統(tǒng)計推論之誤用(1)未考量：(a)prior：指經(jīng)驗(yàn)。(b)損失的資訊：指估計誤差的大小所造成損失的差異。(2)過於強(qiáng)調(diào)統(tǒng)計顯著性，而忽略實(shí)際的應(yīng)用價值。2.Thefrequentistperspective(1)以global的眼光來看問題。(2)以長期執(zhí)行情形之平均結(jié)果來衡量優(yōu)劣。例10：設(shè)是取自，其中為未知，。之信賴區(qū)間為令損失函數(shù)為例11：設(shè)是取自，其中為已知，?，F(xiàn)欲檢定之值？(1)(2)(3)Under(4)Decisionrule：在決策問題中：(1)行動：表接受；表棄卻。(2)損失函數(shù)為(3)決策規(guī)則為(4)風(fēng)險函數(shù)為(i)(ii)同理，。3.Theconditionalperspective(1)會參酌局部的資料，做進(jìn)一步的判斷。(2)決策時，會加上決策者的經(jīng)驗(yàn)(與prior不同)。例12：設(shè)為取自pdf為之二獨(dú)立隨機(jī)樣本。而?，F(xiàn)欲估計之值？(1)因?yàn)椋瑐鹘y(tǒng)上我們以估計。其猜對的機(jī)率為0.5。結(jié)果×ＯＯ×(2)引用，定義如下。其猜對的機(jī)率為0.75。結(jié)果×ＯＯＯ例13：設(shè)隨機(jī)變數(shù)X之分布如下，欲檢定參數(shù)之值？x1230.0050.0050.990.00510.98490.01(1)(2)(3)Decisionrule為(4)討論：(i)當(dāng)。但，二者幾無差別，故上述結(jié)論有可議之處。(ii)當(dāng)。但，二者差異甚大，故上述結(jié)論合理。4.Thelikelihoodprinciple定義11.設(shè)是取自pdf為之n個獨(dú)立隨機(jī)樣本，其中為參數(shù)。設(shè)樣本觀測值為。定義，則稱為相對於觀測值之概似函數(shù)(likelihoodfunction)?！雌饋砀潘坪瘮?shù)與聯(lián)合機(jī)率密度函數(shù)是一樣的，但實(shí)際上卻不相同。因?yàn)楦潘坪瘮?shù)是參數(shù)之函數(shù)(樣本觀測值為是已知的)；而聯(lián)合機(jī)率密度函數(shù)是樣本觀測值為的函數(shù)(參數(shù)為常數(shù))。Thelikelihoodprinciple：(1)當(dāng)觀測到x之後，在推論參數(shù)之值時，其所有相關(guān)的實(shí)驗(yàn)資訊(experimentalinformation)全在概似函數(shù)中。(2)若二概似函數(shù)成比例(常數(shù)倍)，則二者所涵蓋的實(shí)驗(yàn)資訊是相同的。例15：欲檢定一銅板是否公正？即檢定。(設(shè))(1)實(shí)驗(yàn)一：將此銅板投擲12次，設(shè)X表正面出現(xiàn)的次數(shù)。當(dāng)x=9。(2)實(shí)驗(yàn)二：將此銅板反覆投擲，設(shè)X表第9次出現(xiàn)正面時，反面出現(xiàn)的次數(shù)。當(dāng)x=9。由(1)及(2)為常數(shù)。根據(jù)Thelikelihoodprinciple與擁有相同相關(guān)於參數(shù)之實(shí)驗(yàn)資訊。(1)。(2)。※既然說與有相同的實(shí)驗(yàn)資訊，為何檢定的結(jié)果卻大不相同？(i)likelihoodfunction僅包含實(shí)驗(yàn)資訊，而非全部的資訊。(ii)對與而言，其相關(guān)的參數(shù)必須是相同的(如同一銅板)。例16：二實(shí)驗(yàn)與有相同之樣本空間及相同的參數(shù)空間。兩者之pdf及，說明如下：(1)實(shí)驗(yàn)1230.900.050.050.090.0550.855(2)實(shí)驗(yàn)1230.260.730.010.0260.8030.171因?yàn)?，，二者相等，根?jù)Thelikelihoodprinciple當(dāng)時，與具有相同之實(shí)驗(yàn)資訊。假設(shè)與之觀測值都是1，而欲據(jù)以檢定()。其檢定結(jié)果如下：(1)對而言，檢定的結(jié)果為reject。(2)對而言，檢定的結(jié)果為accept。如此矛盾的結(jié)果，再次說明實(shí)驗(yàn)資訊，而非全部的資訊。Sec.2.6充分統(tǒng)計量【問題】設(shè)是取自pdf為之n個獨(dú)立隨機(jī)樣本，我們想利用樣本觀測值來推論參數(shù)的值？1.全依觀測值來估計，亦即以來估計?！@樣做好像太麻煩！2.是否可由粹取出之所有資訊t，亦即中所有有關(guān)之所有資訊，全部濃縮在t中。如此，便可以t來估計，亦即以來估計?！绱藢⒋蟠蠛喕普摰墓ぷ?！定義12.設(shè)之jpdf為，其中為參數(shù)，而。若給定時，之條件機(jī)率密度函數(shù)與無關(guān)，則稱T為之充分統(tǒng)計量?！纸舛ɡ?FactorizationTheorem).設(shè)是取自pdf為之n個獨(dú)立隨機(jī)樣本，。若，則T為之充分統(tǒng)計量。定義13.設(shè)為取自某母體之n個樣本，，而為一統(tǒng)計量，且T之值域?yàn)?，其中為樣本空間。則透過T可得到樣本空間之一分割。定義14.根據(jù)充分統(tǒng)計量，可將樣本空間分成一個充分分割(sufficientpartition)。定理1.設(shè)為取自某母體之n個獨(dú)立隨機(jī)樣本，，為相關(guān)參數(shù)。為之充分統(tǒng)計量。設(shè)為一隨機(jī)化決策規(guī)則，則存在一隨機(jī)化決策規(guī)則使得。Sec.2.7Convexity定義15.設(shè)，若，則稱為凸集合(convexset)。定義16.設(shè)為中之點(diǎn)所成的序列(sequence)。設(shè)，，且，則稱為之凸組合(convexcombination)。定義17.設(shè)為凸集合，為定義於上之一實(shí)數(shù)值函數(shù)。(1)若，可推得，則稱為凸函數(shù)(convexfunction)。(2)若上述(1)中不等式之等號不