演示文稿一非參數(shù)經(jīng)驗貝葉斯估計

演示文稿一非參數(shù)經(jīng)驗貝葉斯估計當前第1頁\共有55頁\編于星期二\9點（優(yōu)選）一非參數(shù)經(jīng)驗貝葉斯估計當前第2頁\共有55頁\編于星期二\9點0、背景與意義

貝葉斯估計存在的問題：先驗分布的確定如何客觀地確定先驗分布？

根據(jù)歷史資料數(shù)據(jù)（即經(jīng)驗）確定該問題的先驗分布，其對應的貝葉斯估計稱為經(jīng)驗貝葉斯估計.該方法是由Robbins在1955年提出的.經(jīng)驗貝葉斯估計分類（共兩類）

非參數(shù)經(jīng)驗貝葉斯估計

參數(shù)經(jīng)驗貝葉斯估計當前第3頁\共有55頁\編于星期二\9點一、非參數(shù)經(jīng)驗貝葉斯估計例1（p109例3.20)1、問題引入當前第4頁\共有55頁\編于星期二\9點如果先驗分布G(x)未知，該如何計算？當前第5頁\共有55頁\編于星期二\9點2、經(jīng)驗貝葉斯決策函數(shù)當先驗分布未知時，如何利用歷史資料（經(jīng)驗資料）定義3.11的信息得到最優(yōu)貝葉斯估計？當前第6頁\共有55頁\編于星期二\9點當前第7頁\共有55頁\編于星期二\9點使得上式達到最小的決策函數(shù)為經(jīng)驗貝葉斯決策函數(shù)定義漸近最優(yōu)貝葉斯決策函數(shù)當前第8頁\共有55頁\編于星期二\9點例2(續(xù)例p109例3.20)當前第9頁\共有55頁\編于星期二\9點例3(p110例3.21)當前第10頁\共有55頁\編于星期二\9點由這兩個例子可以看到，經(jīng)驗貝葉斯估計一方面依賴貝葉斯估計理論，同時也依賴于非參數(shù)估計方法。當前第11頁\共有55頁\編于星期二\9點定理4.1則是共軛先驗分布族，其中二、參數(shù)經(jīng)驗貝葉斯估計當前第12頁\共有55頁\編于星期二\9點例4(p126例4.10)解其似然函數(shù)為當前第13頁\共有55頁\編于星期二\9點

顯然此共軛分布族為分布的子族，因而，兩點分布的共軛先驗分布族為分布.常見共軛先驗分布倒分布方差2正態(tài)分布（均值已知）正態(tài)分布N(,2)均值正態(tài)分布（方差已知）分布()均值的倒數(shù)指數(shù)分布分布()均值泊松分布分布(,)成功概率p二項分布共軛先驗分布參數(shù)總體分布當前第14頁\共有55頁\編于星期二\9點二、參數(shù)經(jīng)驗貝葉斯估計

由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風險函數(shù)定義為此積分仍為的函數(shù)，在給定的先驗分布()時，定義為決策函數(shù)d在給定先驗分布()下的貝葉斯風險，簡稱為d的貝葉斯風險.1、貝葉斯風險的定義當前第15頁\共有55頁\編于星期二\9點2、貝葉斯風險的計算當X與都是連續(xù)性隨機變量時，貝葉斯風險為當前第16頁\共有55頁\編于星期二\9點當X與都是離散型隨機變量時，貝葉斯風險為注由上述計算可以看出，貝葉斯風險為計算兩次期望值得到,即此風險大小只與決策函數(shù)d有關(guān)，而不再依賴參數(shù).因此以此來衡量決策函數(shù)優(yōu)良性更合理當前第17頁\共有55頁\編于星期二\9點1、貝葉斯點估計定義4.6若總體X的分布函數(shù)F(x,)中參數(shù)為隨機變量，()為的先驗分布，若決策函數(shù)類D中存在一個決策函數(shù)使得對決策函數(shù)類中的任一決策函數(shù)均有當前第18頁\共有55頁\編于星期二\9點注1、貝葉斯估計是使貝葉斯風險達到最小的決策函數(shù).2、不同的先驗分布，對應不同的貝葉斯估計2、貝葉斯點估計的計算平方損失下的貝葉斯估計定理4.2設的先驗分布為()和損失函數(shù)為則的貝葉斯估計為當前第19頁\共有55頁\編于星期二\9點證首先對貝葉斯風險做變換又因為當前第20頁\共有55頁\編于星期二\9點又因為則因而當前第21頁\共有55頁\編于星期二\9點定理4.3

設的先驗分布為()和損失函數(shù)為加權(quán)平方損失則的貝葉斯估計為證明略，此證明定理4.2的證明類似.當前第22頁\共有55頁\編于星期二\9點定理4.4

設參數(shù)為隨機向量，先驗分布為()和損失函數(shù)為二次損失函數(shù)注其中Q為正定矩陣，則的貝葉斯估計為后驗分布h(|x)的均值向量，即

定理表明，正定二次損失下，的貝葉斯估計不受正定矩陣Q的選取干擾，表現(xiàn)出其穩(wěn)健性.當前第23頁\共有55頁\編于星期二\9點證在二次損失下，任一個決策函數(shù)向量d(x)=其中第二項為常數(shù)，而第一項非負，因而只需當當前第24頁\共有55頁\編于星期二\9點定義4.7設d=d(x)為決策函數(shù)類D中任一決策函數(shù)，損失函數(shù)為L(,d(x)),則L(,d(x)),對后驗分布h(|x)的數(shù)學期望稱為后驗風險，記為注如果存在一個決策函數(shù)，使得則稱此決策為后驗風險準則下的最優(yōu)決策函數(shù)，或稱為貝葉斯（后驗型）決策函數(shù)。當前第25頁\共有55頁\編于星期二\9點定理4.5對給定的統(tǒng)計決策問題(包含先驗分布給定的情形）和決策函數(shù)類D,當貝葉斯風險滿足如下條件：

定理表明：如果決策函數(shù)使得貝葉斯風險最小，此決策函數(shù)也使得后驗風險最小，反之，也成立.證明從略當前第26頁\共有55頁\編于星期二\9點定理4.6設的先驗分布為()和損失函數(shù)為證則的貝葉斯估計為設m為h(|x)的中位數(shù)，又設d=d(x)為的另一估計，為確定期間，先設d>m,由絕對損失函數(shù)的定義可得當前第27頁\共有55頁\編于星期二\9點又由于則由于m是中位數(shù)，因而則有當前第28頁\共有55頁\編于星期二\9點于是，當d>m時同理可證，當d<m時因而當前第29頁\共有55頁\編于星期二\9點定理4.7設的先驗分布為()和損失函數(shù)為則的貝葉斯估計為證首先計算任一決策函數(shù)d(x)的后驗風險當前第30頁\共有55頁\編于星期二\9點為了得到R(d|x)的極小值，關(guān)于等式兩邊求導：即則當前第31頁\共有55頁\編于星期二\9點例5(p131例4.11)設總體X服從兩點分布B(1,p),其中參數(shù)p未知，而p在[0,1]上服從均勻分布，樣本試求參數(shù)p的貝葉斯估計與貝葉斯風險?解平方損失下的貝葉斯估計為：而當前第32頁\共有55頁\編于星期二\9點當前第33頁\共有55頁\編于星期二\9點當前第34頁\共有55頁\編于星期二\9點其貝葉斯風險為當前第35頁\共有55頁\編于星期二\9點又因為則所以當前第36頁\共有55頁\編于星期二\9點例6(p133例4.12)設總體X服從正態(tài)分布N(,1),其中參數(shù)未知，而服從標準正態(tài)布在N(0,1)，樣本試求參數(shù)的貝葉斯估計?解平方損失下的貝葉斯估計為：而當前第37頁\共有55頁\編于星期二\9點當前第38頁\共有55頁\編于星期二\9點化簡得當前第39頁\共有55頁\編于星期二\9點例7(p134例4.13)設總體X服從均勻分布U(0,),其中參數(shù)未知，而服從pareto分布，其分布函數(shù)與密度函數(shù)分別為

試求參數(shù)的貝葉斯估計?當前第40頁\共有55頁\編于星期二\9點解當前第41頁\共有55頁\編于星期二\9點

根據(jù)定理4.6可知，絕對值損失對應的貝葉斯估計為后驗分布的中位數(shù),即則

根據(jù)定理4.4可知，平方損失對應的貝葉斯估計為后驗分布的均值,即當前第42頁\共有55頁\編于星期二\9點例8(p135例4.14)設總體X服從伽瑪分布(r,),

試求參數(shù)的貝葉斯估計?解當前第43頁\共有55頁\編于星期二\9點當前第44頁\共有55頁\編于星期二\9點當前第45頁\共有55頁\編于星期二\9點當前第46頁\共有55頁\編于星期二\9點當前第47頁\共有55頁\編于星期二\9點3、貝葉斯估計的誤差

在計算的估計時，用到了的后驗分布，因此考察估計值與真實值之間的誤差時，也應考慮的后驗分布，誤差定義如下：定義4.8參數(shù)的后驗分布為h(|x),其貝葉斯估計當前第48頁\共有55頁\編于星期二\9點后驗均方差與后驗方差的關(guān)系當前第49頁\共有55頁\編于星期二\9點后驗均方差與后驗方差的優(yōu)點1、二者只依賴與樣本，不依賴參數(shù).2、二者的計算不依賴與統(tǒng)計量的分布，即抽樣分布3、貝葉斯估計不考慮無偏性，因為貝葉斯估計只考慮出現(xiàn)的樣本，不考慮沒出現(xiàn)的樣本.當前第50頁\共有55頁\編于星期二\9點4、貝葉斯區(qū)間估計定義定義當前第51頁\共有55頁\編于星期二\9點定義4.9設參數(shù)