Chp統(tǒng)計決策理論(共24張PPT)

Chp12：統(tǒng)計決策理論用不同方法可能得到多個不同的估計，哪個估計更好一些？統(tǒng)計決策理論：比較統(tǒng)計過程的形式化理論1第1頁，共24頁。損失函數(shù)損失函數(shù)：度量真值與估計之間的差異損失函數(shù)舉例平方誤差損失絕對誤差損失損失0-1損失Kullback-Leibler損失2第2頁，共24頁。風險函數(shù)注意：估計是數(shù)據(jù)的函數(shù)，有時記為風險函數(shù)：平均損失估計的風險定義為對平方誤差損失，風險為MSE風險是的函數(shù)比較不同的估計，轉(zhuǎn)化為比較不同估計的風險但并不能清楚地回答哪個估計更好3第3頁，共24頁。風險比較例12.3：令，損失函數(shù)：平方誤差損失估計1：極大斯然估計：偏差bias=0，所以4第4頁，共24頁。風險比較例12.3（續(xù)）:估計2：貝葉斯估計，先驗為，則估計為風險為當時，，其中5第5頁，共24頁。風險比較沒有一個估計的風險在所有的p值都超過另外一個6第6頁，共24頁。風險比較風險函數(shù)的兩個單值概述最大風險貝葉斯風險其中為θ的先驗。7第7頁，共24頁。風險比較例12.5：最大風險函數(shù)：，所以根據(jù)最小最大風險，更好一些8第8頁，共24頁。風險比較例12.5：貝葉斯風險：先驗為當時，所以根據(jù)最小貝葉斯風險，更好一些問題：需要先驗，尤其對復雜問題的話，確定先驗可能很困難9第9頁，共24頁。決策規(guī)則

(DecisionRules)決策規(guī)則是估計的別名最小化貝葉斯風險的決策規(guī)則稱為貝葉斯規(guī)則或貝葉斯估計，即為對應先驗f的貝葉斯估計其中下界是對所有的估計計算最小化最大風險的估計稱為最小最大規(guī)則其中下界是對所有的估計計算10第10頁，共24頁。貝葉斯估計估計的后驗風險：貝葉斯風險與后驗風險：其中為X的邊緣分布

為最小化后驗風險的θ的值則為貝葉斯估計給定一個模型（先驗和似然）和損失函數(shù)，就可以找到貝葉斯規(guī)則11第11頁，共24頁。證明：12第12頁，共24頁。貝葉斯估計一些簡單損失函數(shù)對應的貝葉斯規(guī)則若，則貝葉斯規(guī)則為后驗均值若，則貝葉斯規(guī)則為后驗中值若為0-1損失，則貝葉斯規(guī)則為后驗眾數(shù)(MAP)13第13頁，共24頁。損失函數(shù)：度量真值與估計之間的差異決策規(guī)則

(DecisionRules)多正態(tài)均值

(ManyNormalMeans)其中下界是對所有的估計計算20：令，在均方誤差損失下，是可接受的。注意：估計是數(shù)據(jù)的函數(shù)，有時記為用不同方法可能得到多個不同的估計，哪個估計更好一些？沒有一個估計的風險在所有的p值都超過另外一個14：令，比較不同的估計，轉(zhuǎn)化為比較不同估計的風險沒有一個估計的風險在所有的p值都超過另外一個貝葉斯風險與后驗風險：，所以根據(jù)最小最大風險，更好一些其中為X的邊緣分布且這是唯一有此性質(zhì)的估計最小最大規(guī)則找最小最大規(guī)則、或者證明一個估計是最小最大估計是一件很困難的事情。本節(jié)主要講述一個簡單的方法：有些貝葉斯估計（風險為常數(shù)）是最小最大估計令對應先驗f的貝葉斯估計：假設則

為最小最大估計，且f

稱為最小受歡迎先驗(leastfavorableprior)。上述結(jié)論一個簡單的結(jié)論：如果一個貝葉斯規(guī)則的風險為常數(shù)，則它是最小最大估計。14第14頁，共24頁。正態(tài)分布的最小最大規(guī)則定理12.14：令，則是關于任意損失函數(shù)的最小最大規(guī)則且這是唯一有此性質(zhì)的估計15第15頁，共24頁。MLE為近似最小最大估計對滿足弱正則條件的參數(shù)模型，極大似然估計近似為最小最大估計。對均方誤差損失，通常根據(jù)Cramer-Rao不等式，這是所有無偏估計的方差的下界。16第16頁，共24頁。MLE為近似最小最大估計因此對所有估計，有對大數(shù)n，MLE為近似最小最大估計。因此，對大多數(shù)參數(shù)模型，當有大量樣本時，MLE近似為最小最大估計和貝葉斯估計。ManyNormalMeans情況不成立（不是大樣本）17第17頁，共24頁?？山邮苄?/p>

(Admissibility)一個估計如果在θ所有值上都比其它估計的風險大，則該估計不是我們所希望的。如果存在一個其它的規(guī)則，使得則該估計是不可接受的。否則，是可接受的。18第18頁，共24頁。貝葉斯規(guī)則是可接受性可接受性是與其他表示估計好壞的方法有何關系？在一些正則條件下，如果為貝葉斯規(guī)則且有有限風險，則它是可接受的。定理12.20：令，在均方誤差損失下，是可接受的。風險為19第19頁，共24頁。用不同方法可能得到多個不同的估計，哪個估計更好一些？MLE為，損失函數(shù)為因此，對大多數(shù)參數(shù)模型，當有大量樣本時，MLE近似為最小最大估計和貝葉斯估計。令，表示數(shù)據(jù)，表示未知參數(shù)，3（續(xù)）:估計2：貝葉斯估計，先驗為，則估計為但并不能清楚地回答哪個估計更好估計的風險定義為且這是唯一有此性質(zhì)的估計表示未知參數(shù)，一個估計如果在θ所有值上都比其它估計的風險大，則該估計不是我們所希望的。注意：估計是數(shù)據(jù)的函數(shù)，有時記為正態(tài)分布的最小最大規(guī)則可接受性如果的風險為常數(shù)且是可接受的，則它是最小最大估計。定理12.22：令，在均方誤差損失下，是最小最大估計。風險為雖然最小最大估計不能保證是可接受的，但它是“接近可接受的”。20第20頁，共24頁。多正態(tài)均值

(ManyNormalMeans)ManyNormalMeans是一個原型問題，與一般的非參數(shù)估計問題等價。對這個問題，以前許多關于極大似然估計的正面的結(jié)論都不再滿足。令，表示數(shù)據(jù)，表示未知參數(shù)，c>0，這里參數(shù)的數(shù)目與觀測數(shù)據(jù)的數(shù)目一樣多21第21頁，共24頁。ManyNormalMeansMLE為，損失函數(shù)為MLE的風險為最小最大估計的風險近似為，且存在這樣一個估計

能達到該風險。

存在風險比MLE更小的估計，因此MLE是不可接受的。因此對高維問題或非參數(shù)問題，MLE并不是最優(yōu)估計。另外在非參數(shù)場合，MLE的魯棒性也不是很好。