ch先驗分布與后驗分布實用教案

1、11.總體信息：總體分布或所屬分布族提供給我們的信息 2.樣本信息：從總體抽取的樣本提供給我們的信息 3.先驗信息：在抽樣(chu yn)之前有關統(tǒng)計推斷的一些信息。 1.1 統(tǒng)計(tngj)推斷中可用的三種信息 第2頁/共57頁第1頁/共57頁第一頁，共58頁。21.2 貝葉斯公式(gngsh) 貝葉斯統(tǒng)計學的基礎是著名的貝葉斯公式，它是英國學者貝葉斯（T.R.Bayes17021761）在他死后二年發(fā)表的一篇論文論有關機遇問題的求解中提出的。經(jīng)過二百年的研究與應用，貝葉斯的統(tǒng)計思想得到很大的發(fā)展，目前已形成一個統(tǒng)計學派貝葉斯學派。為了紀念(jnin)他，英國歷史最悠久的統(tǒng)計雜志Biomet

2、rika在1958年又全文刊登貝葉斯的這篇論文。第3頁/共57頁第2頁/共57頁第二頁，共58頁。3一、貝葉斯公式(gngsh)的三種形式 初等(chdng)概率論中的貝葉斯公式是用事件的概率形式給出的?？稍谪惾~斯統(tǒng)計學中應用更多的是貝葉斯公式的密度函數(shù)形式。1.貝葉斯公式的事件形式： 假定 是互不相容的事件，它們之和 包含事件B，即 ，則有： kAA,1kiiA1kiiAB1kiiiiiiABPAPABPAPBAP1)/()()/()()/(第4頁/共57頁第3頁/共57頁第三頁，共58頁。4假設假設 隨機變量隨機變量X有一個密度函數(shù)有一個密度函數(shù)p(x;)，其中，其中是一是一個參數(shù)個參數(shù)(

3、cnsh)，不同的，不同的對應不同的密度函數(shù)，故對應不同的密度函數(shù)，故從貝葉斯觀點看，從貝葉斯觀點看，p(x;)是在給定是在給定后的一個條件密后的一個條件密度函數(shù)，因此記為度函數(shù)，因此記為p(x)更恰當一些。這個條件密度更恰當一些。這個條件密度能提供我們的有關的能提供我們的有關的信息就是總體信息。信息就是總體信息。假設假設 當給定當給定后，從總體后，從總體p(x)中隨機抽取一個中隨機抽取一個(y )樣樣本本X1，Xn，該樣本中含有，該樣本中含有的有關信息。這種信息就的有關信息。這種信息就是樣本信息。是樣本信息。 2.貝葉斯公式的密度函數(shù)形式： 在給出貝葉斯公式的密度函數(shù)形式之前，先介紹以下(y

4、xi)貝葉斯學派的一些具體思想或者叫著基本假設 ：第5頁/共57頁第4頁/共57頁第四頁，共58頁。5假設假設 從貝葉斯觀點來看，未知參數(shù)從貝葉斯觀點來看，未知參數(shù)是一個隨機變量。而描述這是一個隨機變量。而描述這個隨機變量的分布可從先驗信息中歸納出來，這個分布稱為先驗個隨機變量的分布可從先驗信息中歸納出來，這個分布稱為先驗分布，其密度函數(shù)分布，其密度函數(shù)(hnsh)用用()表示。表示。（1） 先驗分布定義1 將總體中的未知參數(shù)看成(kn chn)一取值于的隨機變量，它有一概率分布，記為()，稱為參數(shù)的先驗分布。（2） 后驗分布 在貝葉斯統(tǒng)計學中，把以上的三種(sn zhn)信息歸納起來的最好形

5、式是在總體分布基礎上獲得的樣本X1，Xn，和參數(shù)的聯(lián)合密度函數(shù)： )(),(),(11nnxxpxxh第6頁/共57頁第5頁/共57頁第五頁，共58頁。6 在這個聯(lián)合密度函數(shù)中。當樣本 給定之后，未知的僅是參數(shù)了，我們關心的是樣本給定后，的條件密度函數(shù)，依據(jù)密度的計算公式，容易(rngy)獲得這個條件密度函數(shù)：nXX,1dxxpxxpxxmxxhxxnnnnn)(),()(),(),(),(),(11111這就是貝葉斯公式的密度函數(shù)(hnsh)形式，其中稱為的后驗密度函數(shù)(hnsh)，或后驗分布。而 ：),(1nxx dxxpxxmnn)(),(),(11是 樣 本 ( y n g b n )

6、 的 邊 際 分 布 ， 或 稱 樣 本 ( y n g b n ) 的無條件分布，它的積分區(qū)域就是參數(shù)的取值范圍，隨具體情況而定。nXX,1第7頁/共57頁第6頁/共57頁第六頁，共58頁。73.貝葉斯公式(gngsh)的離散形式： 當 是離散(lsn)隨機變量時，先驗分布可用先驗分布列(i)，這時后驗分布也是離散(lsn)形式： 假如總體X也是離散(lsn)的，則只須將p(x|)換成P(X=x|)即可。 , 2 , 1)()|()()|()|(ixpxpxjjjiii，第8頁/共57頁第7頁/共57頁第七頁，共58頁。8 前面的分析總結如下：人們根據(jù)先驗信息對參數(shù)已有一個(y )認識，這個

7、認識就是先驗分布()。通過試驗，獲得樣本。從而對的先驗分布進行調整，調整的方法就是使用上面的貝葉斯公式，調整的結果就是后驗分布 。后驗分布是三種信息的綜合。獲得后驗分布使人們對的認識又前進一步，可看出，獲得樣本的的效果是把我們對的認識由()調整到 。所以對的統(tǒng)計推斷就應建立在后驗分布 的基礎上。),(1nxx ),(1nxx ),(1nxx 二、后驗分布是三種信息(xnx)的綜合第9頁/共57頁第8頁/共57頁第八頁，共58頁。9例1.4 設事件A的概率為 ，即 。為了估計 而作n次獨立觀察(gunch)，其中事件A出現(xiàn)次數(shù)為X，則有X服從二項分布 即)(A),(nb., 1 , 0,)1 (

8、)(nxCxXPxnxxn 解題步驟：1.作貝葉斯假設。如果此時我們對事件A的發(fā)生沒有任何了解，對 的大小也沒有任何信息。在這種情況下，貝葉斯建議用區(qū)間（0，1）上的均勻分布作為的先驗分布。因為(yn wi)它在（0，1）上每一點都是機會均等的。因此：others, 010, 1)( 2.計算(j sun)樣本X與參數(shù) 的聯(lián)合分布：),(xh10, 1 , 0,)1 (nxCxnxxn此式在定義域上與二項分布有區(qū)別。如何求出后驗分布？第10頁/共57頁第9頁/共57頁第九頁，共58頁。10nxnxnxCdxhxmxn, 1 , 0,)2() 1() 1(),()(10 10 ,)1 () 1(

9、) 1()2()(xnxxnxnx) 1, 1(xnxBeX即： 5.具體算例。拉普拉斯計算過這個概率,研究男嬰的誕生(dnshng)比例是否大于0.5?如抽了251527個男嬰,女嬰241945個。他選用U(0，1)作為的先驗分布，于是可得的后驗分布Be(x+1,n-x+1), 其中n=251527+241945=493472，x=251527。由此拉普拉斯計算了“0.5”的后驗概率：故他斷言男嬰誕生(dnshng)的概率大于0.5。425 . 001015. 1)1 () 1() 1()2()/5 . 0( dxnxnxPxnx4.利用貝葉斯公式(gngsh)可得 的后驗分布：3.計算X的

10、邊際(binj)密度為:第11頁/共57頁第10頁/共57頁第十頁，共58頁。11注：1.伽瑪分布與貝塔(bi t)分布簡介：0, 0, 10 ,)1 ()()()(),;(11qpqpqpqppqp 0, 0,)()()(),(0, 0,)1 (),(!) 1(, 0,)(101101qpqpqpqpBqpdxxxqpBnnsdxexsqpxs定義(dngy)：定義(dngy)在0，1上，且用密度函數(shù)：表示(biosh)的概率分布稱為型分布，記為(p,q)或者e(p,q)。 第12頁/共57頁第11頁/共57頁第十一頁，共58頁。122.特例：當p=q=1時， (1,1)型分布即為區(qū)間0，1

11、上的均勻分布； 當p=q=1/2， (1/2,1/2)型分布稱為(chn wi)反正弦分布，密度函數(shù)為：設 ，則 的密度函數(shù)為：10,)1 (1)(xxxxp ) 1 , 0(Uxi10,)1 ()!()!1(!)(1xxxknknxpknk即：) 1,()( knkxIk )(kx3.數(shù)字(shz)特征:第13頁/共57頁第12頁/共57頁第十二頁，共58頁。133.為什么將貝塔(bi t)分布作為的先驗分布族是恰當?shù)模?(1)參數(shù)是廢品率，它僅在（0，1）上取值。因此，必需用區(qū)間（0，1）上的一個分布去擬合先驗信息。分布正是(zhn sh)這樣一個分布。 (2)分布含有兩個參數(shù)p與q，不同

12、的p與q就對應(duyng)不同的先驗分布，因此這種分布的適應面較大。 (3)樣本X的分布為二項分布b(n,)時，假如的先驗分布為分布，則用貝葉斯估計算得的后驗分布仍然是分布，只是其中的參數(shù)不同。這樣的先驗分布(分布)稱為參數(shù)的共軛先驗分布。選擇共軛先驗分布在處理數(shù)學問題上帶來不少方便。第14頁/共57頁第13頁/共57頁第十三頁，共58頁。14例例1.5 1.5 投資決策問題投資決策問題(wnt)(wnt) 為了提高某產(chǎn)品的質量，公司經(jīng)理考慮增加投資來改進生產(chǎn)設備，預計需投資100萬元，但從投資效果看，下屬部門有兩種意見： 1 ：改進生產(chǎn)設備后，高質量產(chǎn)品可占90% 2 ：改進生產(chǎn)設備后，高

13、質量產(chǎn)品可占70%問：公司經(jīng)理怎樣決策？注：根據(jù)過去(guq)的經(jīng)驗知：1的可信度為40%，2的可信度為60%第15頁/共57頁第14頁/共57頁第十四頁，共58頁。151.3 共軛先驗(xin yn)分布一、共軛先驗分布 定義2 設 是總體分布中的參數(shù)(cnsh)（或參數(shù)(cnsh)向量）， ()是 的先驗密度函數(shù)，假如由抽樣信息算得的后驗密度函數(shù)與()有相同的形式，則稱()是 的（自然）共軛先驗分布。 注意：共軛先驗分布是對某一分布中的參數(shù)而言的。如正態(tài)均值、正態(tài)方差、泊松均值等。離開指定參數(shù)及其所在(suzi)的分布去談論共軛先驗分布是沒有意義的。 第16頁/共57頁第15頁/共57頁第

14、十五頁，共58頁。16(2)確定(qudng)先驗分布:例例1.6 1.6 證明：正態(tài)均值（方差已知）的共證明：正態(tài)均值（方差已知）的共軛先驗軛先驗(xin yn)(xin yn)分布是正態(tài)分布。分布是正態(tài)分布。證明思路：(1)寫出樣本(yngbn)的似然函數(shù):第17頁/共57頁第16頁/共57頁第十六頁，共58頁。17(3)(3)計算(j sun)(j sun)后驗分布: :第18頁/共57頁第17頁/共57頁第十七頁，共58頁。18第19頁/共57頁第18頁/共57頁第十八頁，共58頁。19補充例題： 設X表示人的胸圍，根據(jù)經(jīng)驗，胸圍是近似服從正態(tài)分布的?，F(xiàn)測量(cling)了n=1000

15、0個人的胸圍，得樣本均值為39.8(cm)，樣本方差為4，假設的先驗分布為N(38,9)，求的后驗分布。(答案： N(39.8,1/2500)說明：樣本較大(jio d)時，似然函數(shù)起決定作用，先驗信息幾乎不起做用。第20頁/共57頁第19頁/共57頁第十九頁，共58頁。20二、怎樣(znyng)簡化后驗分布的計算 省略常數(shù)因子 在給定樣本分布p(x|)和先驗分布()后可用貝葉斯公式計算的后驗分布：()= p(x|) ()/m(x)，由于m(x)不依賴于，在計算的后驗分布中僅起到一個正則(zhn z)化因子的作用。假如把m(x)省略，把貝葉斯公式改寫成如下等價形式： 其中符號“ ”表示兩邊僅差

16、一個常數(shù)因子，一個不依賴于的常數(shù)因子。上式右端稱為后驗分布 的核。)()|()|( xpx )|(x第21頁/共57頁第20頁/共57頁第二十頁，共58頁。21利用(lyng)后驗分布的核重新證明例1.6第22頁/共57頁第21頁/共57頁第二十一頁，共58頁。22例例1.7 1.7 證明：二項分布證明：二項分布(fnb)(fnb)的成功概率的成功概率 的共軛先驗的共軛先驗分布分布(fnb)(fnb)是貝塔分布是貝塔分布(fnb)(fnb)。證明：設總體 Xb(n, ),則xnxnb)1 (),( 。再設的先驗分布為貝塔分布,即11)1 (),( e，其中參數(shù)已知。由此可寫出的后驗分布： 10

17、,)1 ()|(11 xnxx 這是貝塔分布的核，其密度函數(shù)為： 10,)1 ()()()()|(11 xnxxnxnx 第23頁/共57頁第22頁/共57頁第二十二頁，共58頁。23三、共軛先驗(xin yn)分布的優(yōu)缺點 共軛先驗分布(fnb)在很多場合被采用，因為它有兩個優(yōu)點：（1）計算方便。（2）后驗分布(fnb)的一些參數(shù)可得到很好的解釋。不足：怎樣找到合適的先驗分布(fnb)？第24頁/共57頁第23頁/共57頁第二十三頁，共58頁。24例1.8 例1.6中后驗均值與后驗方(ynfng)差的合理解釋。 由例1.6知 其中 是用方差倒數(shù)組成(z chn)的權，于是后驗均值 是樣本均值

18、與先驗均值 的加權平均。 而 可解釋為：后驗分布的精度是樣本均 值分布的精度與先驗分布精度之和，增加樣本量n或減少先 驗分布方差都有利于提高后驗分布的精度。)1 (2202220202202201xxxAB22020122220211111n第25頁/共57頁第24頁/共57頁第二十四頁，共58頁。25例例1.9 1.9 對例對例1.71.7中后驗分布中后驗分布(fnb)(fnb)的均值和方差的解釋。的均值和方差的解釋。 分析：后驗分布分析：后驗分布(fnb)Be(+x, +n-x)(fnb)Be(+x, +n-x)的均值和方差可寫的均值和方差可寫為：為：第26頁/共57頁第25頁/共57頁第

19、二十五頁，共58頁。26第27頁/共57頁第26頁/共57頁第二十六頁，共58頁。27第28頁/共57頁第27頁/共57頁第二十七頁，共58頁。28四、 常用的一些(yxi)共軛先驗分布 共軛先驗分布選取的一般原則：是由似然函數(shù)L()=p(x|)中所含的因式所決定的，即選與似然函數(shù)具有相同核的分布作為先驗分布。例1.10 設 是來自正態(tài)分布 的一個樣本(yngbn)觀測值，其中已知，求 方差的共軛先驗分布。nxx,1),(2 N2 第29頁/共57頁第28頁/共57頁第二十八頁，共58頁。29解題(ji t)的基本思路：寫出樣本(yngbn)的似然函數(shù)：么分布具有(jyu)這種形式的核呢？第3

20、0頁/共57頁第29頁/共57頁第二十九頁，共58頁。30第31頁/共57頁第30頁/共57頁第三十頁，共58頁。31第32頁/共57頁第31頁/共57頁第三十一頁，共58頁。32常用(chn yn)的一些共軛先驗分布總體分布參數(shù)共軛先驗分布后驗分布的期望正態(tài)分布均值正態(tài)分布正態(tài)分布方差倒分布IGa(a,b)二項分布 成功概率 分布Poisson分布 均值 分布Ga(a,b)指數(shù)分布均值的倒數(shù) 分布Ga(a,b),(2N2222x),(pnb),(banxbaxa)(1bxa),(2N),(2N第33頁/共57頁第32頁/共57頁第三十二頁，共58頁。331.4 超參數(shù)(cnsh)及其確定 一

21、、超參數(shù)的定義：先驗分布中所含的未知參數(shù)稱為超參數(shù) 二、估計方法：共軛先驗分布是一種有信息的先驗分布，故其中所含的超參數(shù)應充分利用各種先驗信息來確定它，下面用一個(y )例子來介紹目前國內外文獻中對超參數(shù)的估計方法： 問題：二項分布中成功概率的共軛先驗分布是貝塔分布Be(,)，怎樣確定兩個超參數(shù)和？第34頁/共57頁第33頁/共57頁第三十三頁，共58頁。341.利用(lyng)先驗矩：22) 1()( S )1 ()1 (22S第35頁/共57頁第34頁/共57頁第三十四頁，共58頁。352.利用(lyng)先驗分位數(shù)： 假如根據(jù)先驗(xin yn)信息可以確定貝塔分布的二個分位數(shù)，則可用這

22、兩個分位數(shù)來確定與，譬如用兩個上、下四分位數(shù)U與L來確定與，U與L分別滿足如下二個方程： 從這兩個方程解出與即可確定超參數(shù)。25. 0)1 ()()()(25. 0)1 ()()()(111011ULdd第36頁/共57頁第35頁/共57頁第三十五頁，共58頁。363.利用(lyng)先驗矩和先驗分位數(shù) 假如根據(jù)先驗信息可獲得先驗均值 和p分位數(shù) ，則可列出下列方程(fngchng)： 由此可解出與的估計值。 4.其它方法pdp11)1 ()()()(p第37頁/共57頁第36頁/共57頁第三十六頁，共58頁。37 1.5 1.5 多參數(shù)多參數(shù)(cnsh)(cnsh)模型模型 由以上(yshn

23、g)幾節(jié)內容可知，求某一個參數(shù)的后驗分布的基本思想可概括為：先根據(jù)先驗信息給出參數(shù)的先驗分布，然后按貝葉斯公式算得后驗分布，即： 但在很多實際問題中卻包含有多個未知參數(shù)的情形，如正態(tài)分布、多項分布以及多元正態(tài)分布等，此時可采用與單參數(shù)相似的方法來求參數(shù)的后驗分布，而把其它的參數(shù)看成是討厭參數(shù)。)()|()|()()|(xpxxp的的后后驗驗密密度度參參數(shù)數(shù)先先驗驗密密度度總總體體的的密密度度函函數(shù)數(shù)第38頁/共57頁第37頁/共57頁第三十七頁，共58頁。38例例1.12 1.12 試求正態(tài)均值與正態(tài)方差的（聯(lián)合試求正態(tài)均值與正態(tài)方差的（聯(lián)合(linh)(linh)） 共軛先驗分布及后驗分布。

24、（共軛先驗分布及后驗分布。（P24P24）1. 1.取先驗分布為取先驗分布為 的情形的情形(qng xing)(qng xing)2. 2.關于指數(shù)分布族的若干結論關于指數(shù)分布族的若干結論3. 3.取先驗分布為共軛先驗分布的情形取先驗分布為共軛先驗分布的情形(qng xing)(qng xing)221),( 第39頁/共57頁第38頁/共57頁第三十八頁，共58頁。391.1.取先驗分布取先驗分布(fnb)(fnb)為為 的情形的情形221),( 第40頁/共57頁第39頁/共57頁第三十九頁，共58頁。40(2)方差2 的后驗邊際分布： 2122222122122221212222exp)

25、(21exp22exp)(21exp)|,()|( SdxnnSdxnSdxx 第41頁/共57頁第40頁/共57頁第四十頁，共58頁。41(3)均值 在給定2 之后的后驗條件密度 由 ),|()|()|,(222xxx 及 2212122)(21exp)()|,( xnSx 212222exp)|( Sx 所以 222122)(2exp),|(xn x 即 )/,(,|22nxN x backback第42頁/共57頁第41頁/共57頁第四十一頁，共58頁。423.3.取先驗取先驗(xin yn)(xin yn)分布為共軛先驗分布為共軛先驗(xin yn)(xin yn)分布的情形分布的情形

26、(1)求 的共軛先驗密度(2)求 的后驗邊際密度(3)求給定 后 的條件后驗密度函數(shù)(hnsh) 例題),(22 ),|(2x第43頁/共57頁第42頁/共57頁第四十二頁，共58頁。43 例 有一實驗站關于(guny)生長小麥的經(jīng)驗為每塊樣地的均值和標準差分別為100及10的正態(tài)分布，現(xiàn)在他們研究施加激素的影響。在12塊地施加激素后所得產(chǎn)量如下(單位：千克)：141,102,73,171,137,91,81,157,146,69,121,134關于(guny)方差的信息是均值、標準差分別約為300及160；關于(guny)均值的信息是均值約為110，約為15即相當于觀測了15個觀測值。求:

27、(1) 的共軛先驗； (2) 的后驗密度函數(shù)； (3) 的邊際后驗； (4) 對 已知情況下的條件后驗密度函數(shù)。),(2 ),(2 2 backback第44頁/共57頁第43頁/共57頁第四十三頁，共58頁。44 1.6 1.6 充分充分(chngfn)(chngfn)統(tǒng)計統(tǒng)計量量一、經(jīng)典統(tǒng)計中充分統(tǒng)計量的回顧一、經(jīng)典統(tǒng)計中充分統(tǒng)計量的回顧(hug)(hug) 充分性是數(shù)理統(tǒng)計中最重要的概念之一，也是數(shù)理統(tǒng)計這充分性是數(shù)理統(tǒng)計中最重要的概念之一，也是數(shù)理統(tǒng)計這一學科特有的基本概念之一。它是一學科特有的基本概念之一。它是FisherFisher在在19251925年提出的。年提出的。 充分性的

28、直觀定義：不損失信息的統(tǒng)計量。充分性的直觀定義：不損失信息的統(tǒng)計量。 引例：研究某個運動員的打靶命中率引例：研究某個運動員的打靶命中率 ，我們對該運動員，我們對該運動員進行進行1010次測試，發(fā)現(xiàn)除第三、六次沒有命中外，其余次測試，發(fā)現(xiàn)除第三、六次沒有命中外，其余8 8次都命中，次都命中，這樣的結果包含了哪些信息？這樣的結果包含了哪些信息？ （1 1）打靶）打靶1010次命中次命中8 8次；次； （2 2）2 2次不命中分別出現(xiàn)在第次不命中分別出現(xiàn)在第3 3次和第次和第6 6次打靶上。次打靶上。 概率分析：概率分析：第45頁/共57頁第44頁/共57頁第四十四頁，共58頁。45定義：設定義：設

29、 是來自分布函數(shù)是來自分布函數(shù)F(x|)F(x|)的一個樣本，的一個樣本，T=T(x)T=T(x)是統(tǒng)計量，假如在給定是統(tǒng)計量，假如在給定T(x)=tT(x)=t的條件下，的條件下，x x的條件分布與的條件分布與 無關的話，則稱該統(tǒng)計量為無關的話，則稱該統(tǒng)計量為 的充分統(tǒng)計量。的充分統(tǒng)計量。 充分統(tǒng)計量的一個重要特性：當?shù)玫匠浞纸y(tǒng)計量充分統(tǒng)計量的一個重要特性：當?shù)玫匠浞纸y(tǒng)計量T T的某個取的某個取值值t t之后，而失去原樣本的觀察值也沒有關系。因為我們之后，而失去原樣本的觀察值也沒有關系。因為我們(w men)(w men)可可以根以根據(jù)上述的條件分布來構造某個隨機試驗，從中獲得來自總體的據(jù)上

30、述的條件分布來構造某個隨機試驗，從中獲得來自總體的一個新樣本，這個新樣本雖不能完全恢復老樣本的原狀，但它一個新樣本，這個新樣本雖不能完全恢復老樣本的原狀，但它與老樣本所含的有關參數(shù)與老樣本所含的有關參數(shù) 的信息是一樣的。的信息是一樣的。例題例題1 1 設總體為二點分布設總體為二點分布b(1, )b(1, )， 為樣本，令為樣本，令 求在給定求在給定T T的取值后，的取值后，X X的條件分布。的條件分布。),(1nxx xnxx,1niixT1第46頁/共57頁第45頁/共57頁第四十五頁，共58頁。46 因子因子(ynz)(ynz)分解定理：一個統(tǒng)計量分解定理：一個統(tǒng)計量T(x)T(x)對參數(shù)

31、對參數(shù) 是充分的是充分的充要條件是：存在一個充要條件是：存在一個t t與與 的函數(shù)的函數(shù)g(t,)g(t,)和一個樣本和一個樣本x x的的函數(shù)函數(shù)h(x)h(x)，使得對任一樣本，使得對任一樣本x x和任意和任意 ，樣本的聯(lián)合密，樣本的聯(lián)合密度度p(x|)p(x|)可表示為它們的乘積，即：可表示為它們的乘積，即： p(x|)= g(T(x),) h(x) p(x|)= g(T(x),) h(x) 這個定理表明：假如存在充分統(tǒng)計量T(x)，則樣本(yngbn)分布p(x|)一定可以分解為兩個因子的乘積：一個是與無關，僅與樣本(yngbn)x有關；另一個是可以與有關，但與樣本(yngbn)x的關系

32、僅僅通過充分統(tǒng)計量T(x)表現(xiàn)出來。第47頁/共57頁第46頁/共57頁第四十六頁，共58頁。47二、貝葉斯統(tǒng)計中充分(chngfn)統(tǒng)計量的有關結論及應用 貝葉斯統(tǒng)計中充分統(tǒng)計量與經(jīng)典統(tǒng)計中充分統(tǒng)計量的概念是一致(yzh)的。定理1.1 設 是來自密度函數(shù)p(x|)的一個樣本，T=T(x)是統(tǒng)計量，它的密度函數(shù)為p(t|),又設H=()是的某個先驗分布族，則T(x)為的充分統(tǒng)計量的充要條件是對任一先驗分布()H，有： (| T(x)= (| x)即用樣本分布p(x|)算得的后驗分布與用統(tǒng)計量T(x)算得的后驗分布是相同的。),(1nxx x第48頁/共57頁第47頁/共57頁第四十七頁，共5

33、8頁。48例題例題1.14 1.14 驗證驗證(ynzhng)(ynzhng)定理定理1.11.1及及其它的含義其它的含義第49頁/共57頁第48頁/共57頁第四十八頁，共58頁。49第50頁/共57頁第49頁/共57頁第四十九頁，共58頁。50第51頁/共57頁第50頁/共57頁第五十頁，共58頁。51 關于定理1.1的兩點說明： 1.定理1.1所給出的條件是充分必要的，所以定理1.1的充要條件可以作為(zuwi)充分統(tǒng)計量的貝葉斯定義。 2.假如已知統(tǒng)計量T(x)是充分的，那么按定理1.1，其后驗分布可用該統(tǒng)計量的分布算得，由于充分統(tǒng)計量可以可簡化數(shù)據(jù)、降低維數(shù)，故定理1.1亦可用來簡化后

34、驗分布的計算。 例1.15 用充分統(tǒng)計量計算正態(tài)分布N(,1)中參數(shù)的后驗分布。（自學）第52頁/共57頁第51頁/共57頁第五十一頁，共58頁。52補充內容(nirng)：指數(shù)分布族及其先驗分布(1)(1)單參數(shù)單參數(shù)(cnsh)(cnsh)指數(shù)分布族的定義指數(shù)分布族的定義設總體設總體X X或或X|X|的分布的分布(fnb)(fnb)密度密度 為：為：)()(exp)()()|( xthxgxp其中其中 為一般的函數(shù)記號為一般的函數(shù)記號 ,thg)|( xp則稱則稱 屬于指數(shù)分布族。屬于指數(shù)分布族。)|( xp如，正態(tài)分布如，正態(tài)分布 當當 已知時，由已知時，由),(2 N2 2222221

35、222212exp2exp2exp2)(21exp2)|( xxxxp因此它屬于指數(shù)分布族。因此它屬于指數(shù)分布族。第53頁/共57頁第52頁/共57頁第五十二頁，共58頁。53 Be(,)中,一個已知，一個未知時都屬于指數(shù)分布族。因此，指數(shù)分布族是一類非常(fichng)廣泛的分布族。 顯然顯然(xinrn)(xinrn)， 當當 已知，已知， 未知時，也是單參數(shù)未知時，也是單參數(shù) 的指數(shù)分布族。的指數(shù)分布族。),(2 N2 2 又如，泊松分布又如，泊松分布(fnb)(fnb)也屬于指數(shù)分布也屬于指數(shù)分布(fnb)(fnb)族，因為：族，因為：xxxp)(lnexpexp!1)|( 另外，二項分布也屬于指數(shù)分布族，因為：另外，二項分布也屬于指數(shù)分布族，因為： 1lnexp)1 ()|(xCxpnxn類似的還有類似的還有gammagamma分布，分布，betabeta分布。分布。第54頁/共57頁第53頁/共57頁第五十三頁，共58頁。54(2)(2)指數(shù)分布族中的參數(shù)指數(shù)分布族中的參數(shù) 的共軛先驗的共軛先驗(