應(yīng)用統(tǒng)計全集PPT

第六章貝葉斯估計

§6.1貝葉斯推斷方法一、統(tǒng)計推斷中可用的三種信息

美籍波蘭統(tǒng)計學(xué)家耐(E.L.Lehmann1894~1981)高度概括了在統(tǒng)計推斷中可用的三種信息：1．總體信息，即總體分布或所屬分布族給我們的信息。譬如“總體是指數(shù)分布”或“總體是正態(tài)分布”在統(tǒng)計推斷中都發(fā)揮重要作用，只要有總體信息，就要想方設(shè)法在統(tǒng)計推斷中使用。2．樣本信息，即樣本提供我們的信息，這是任一種統(tǒng)計推斷中都需要。13．先驗(yàn)信息，即在抽樣之前有關(guān)統(tǒng)計推斷的一些信息。譬如，在估計某產(chǎn)品的不合格率時，假如工廠保存了過去抽檢這種產(chǎn)品質(zhì)量的資料，這些資料（包括歷史數(shù)據(jù)）有時估計該產(chǎn)品的不合格率是有好處的。這些資料所提供的信息就是一種先驗(yàn)信息。又如某工程師根據(jù)自己多年積累的經(jīng)驗(yàn)對正在設(shè)計的某種彩電的平均壽命所提供的估計也是一種先驗(yàn)信息。由于這種信息是在“試驗(yàn)之前”就已有的，故稱為先驗(yàn)信息。以前所討論的點(diǎn)估計只使用前兩種信息，沒有使用先驗(yàn)信息。假如能把收集到的先驗(yàn)信息也利用起來，那對我們進(jìn)行統(tǒng)計推斷是有好處的。只用前兩種信息的統(tǒng)計學(xué)稱為經(jīng)典統(tǒng)計學(xué)，三種信息都用的統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué)。本節(jié)將簡要介紹貝葉斯統(tǒng)計學(xué)中的點(diǎn)估計方法。2二、貝葉斯公式的密度函數(shù)形式貝葉斯統(tǒng)計學(xué)的基礎(chǔ)是著名的貝葉斯公式，它是英國學(xué)者貝葉斯（T.R.Bayes1702~1761）在他死后二年發(fā)表的一篇論文《論歸納推理的一種方法》中提出的。經(jīng)過二百年的研究與應(yīng)用，貝葉斯的統(tǒng)計思想得到很大的發(fā)展，形成一個統(tǒng)計學(xué)派—貝葉斯學(xué)派。為了紀(jì)念他，英國歷史最悠久的統(tǒng)計雜志《Biometrika》在1958年又全文刊登貝葉斯的這篇論文。初等概率論中的貝葉斯公式是用事件的概率形式給出的?？稍谪惾~斯統(tǒng)計學(xué)中應(yīng)用更多的是貝葉斯公式的密度函數(shù)形式。下面結(jié)合貝葉斯統(tǒng)計學(xué)的基本觀點(diǎn)來引出其密度函數(shù)形式。貝葉斯統(tǒng)計學(xué)的基本觀點(diǎn)可以用下面三個觀點(diǎn)歸納出來。3假設(shè)Ⅰ：隨機(jī)變量X有一個密度函數(shù)p（x；θ），其中θ是一個參數(shù)，不同的θ對應(yīng)不同的密度函數(shù)，故從貝葉斯觀點(diǎn)看，p（x；θ）在給定θ后是個條件密度函數(shù)，因此記為p（x│θ）更恰當(dāng)一些。這個條件密度能提供我們的有關(guān)的θ信息就是總體信息。假設(shè)Ⅱ：當(dāng)給定θ后，從總體p（x│θ）中隨機(jī)抽取一個樣本X1，…，Xn，該樣本中含有θ的有關(guān)信息。這種信息就是樣本信息。假設(shè)Ⅲ：我們對參數(shù)θ已經(jīng)積累了很多資料，經(jīng)過分析、整理和加工，可以獲得一些有關(guān)θ的有用信息，這種信息就是先驗(yàn)信息。參數(shù)θ不是永遠(yuǎn)固定在一個值上，而是一個事先不能確定的量。4從貝葉斯觀點(diǎn)來看，未知參數(shù)θ是一個隨機(jī)變量。描述這個隨機(jī)變量的分布可從先驗(yàn)信息中歸納出來，這個分布稱為先驗(yàn)分布，其密度函數(shù)用π（θ）表示。1先驗(yàn)分布定義6.1將總體中的未知參數(shù)θ∈Θ看成一取值于Θ的隨機(jī)變量，它有一概率分布，記為π（θ），稱為參數(shù)θ的先驗(yàn)分布。2后驗(yàn)分布在貝葉斯統(tǒng)計學(xué)中，把以上的三種信息歸納起來的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1，…，Xn，和參數(shù)的聯(lián)合密度函數(shù)

5在這個聯(lián)合密度函數(shù)中，當(dāng)樣本給定之后，未知的僅是參數(shù)θ了，我們關(guān)心的是樣本給定后，θ的條件密度函數(shù)，依據(jù)密度的計算公式，容易獲得這個條件密度函數(shù)這就是貝葉斯公式的密度函數(shù)形式，稱為θ的后驗(yàn)密度函數(shù)，或后驗(yàn)分布。而

6是樣本的邊際分布，或稱樣本的無條件分布，它的積分區(qū)域就是參數(shù)θ的取值范圍，隨具體情況而定。前面的分析總結(jié)如下：人們根據(jù)先驗(yàn)信息對參數(shù)θ已有一個認(rèn)識，這個認(rèn)識就是先驗(yàn)分布π（θ）。通過試驗(yàn)，獲得樣本。從而對θ的先驗(yàn)分布進(jìn)行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗(yàn)分布。后驗(yàn)分布是三種信息的綜合。獲得后驗(yàn)分布使人們對θ的認(rèn)識又前進(jìn)一步，可看出，獲得樣本的的效果是把我們對θ的認(rèn)識由π（θ）調(diào)整到。所以對θ的統(tǒng)計推斷就應(yīng)建立在后驗(yàn)分布的基礎(chǔ)上。7例1設(shè)事件A的概率為，即。為了估計而作n次獨(dú)立觀察，其中事件A出現(xiàn)次數(shù)為X，則有X服從二項分布即如果此時我們對事件A的發(fā)生沒有任何了解，對的大小也沒有任何信息。在這種情況下，貝葉斯建議用區(qū)間（0，1）上的均勻分布作為的先驗(yàn)分布。因?yàn)樗冢?，1）上每一點(diǎn)都是機(jī)會均等的。這個建議被后人稱為貝葉斯假設(shè)。

8此式在定義域上與二項分布有區(qū)別。再計算X的邊際密度為樣本X與參數(shù)的聯(lián)合分布為即9貝葉斯統(tǒng)計學(xué)首先要想方設(shè)法尋求θ的先驗(yàn)分布。先驗(yàn)分布的確定大致可分以下幾步：第一步，選一個適應(yīng)面較廣的分布族作先驗(yàn)分布族，使它在數(shù)學(xué)處理上方便一些，這里我們選用β分布族10注：

作為θ的先驗(yàn)分布族是恰當(dāng)?shù)?，可從以下幾方面理解?參數(shù)θ是廢品率，它僅在（0，1）上取值。因此，必需用區(qū)間（0，1）上的一個分布去擬合先驗(yàn)信息。β分布正是這樣一個分布。2β分布含有兩個參數(shù)a與b，不同的a與b就對應(yīng)不同的先驗(yàn)分布，因此這種分布的適應(yīng)面較大。113樣本X的分布為二項分布b（n，θ）時，假如θ的先驗(yàn)分布為β分布，則用貝葉斯估計算得的后驗(yàn)分布仍然是β分布，只是其中的參數(shù)不同。這樣的先驗(yàn)分布（β分布）稱為參數(shù)θ的共軛先驗(yàn)分布。選擇共軛先驗(yàn)分布在處理數(shù)學(xué)問題上帶來不少方便。4國內(nèi)外不少人使用β分布獲得成功。第二步，根據(jù)先驗(yàn)信息在先驗(yàn)分布族中選一個分布作為先驗(yàn)分布，使它與先驗(yàn)信息符合較好。利用θ的先驗(yàn)信息去確定β分布中的兩個參數(shù)a與b。從文獻(xiàn)來看，確定a與b的方法很多。例如，如果能從先驗(yàn)信息中較為準(zhǔn)確地算得θ先驗(yàn)平均和先驗(yàn)方差，則可令其分別等于β分布的期望與方差最后解出a與b。12如果從先驗(yàn)信息獲得則可解得a=3，b=12這意味著θ的先驗(yàn)分布是參數(shù)a=3，b=12的β分布。假如我們能從先驗(yàn)信息中較為準(zhǔn)確地把握θ的兩個分位數(shù)，如θ確定的10％分位數(shù)θ0.1和50％的中位數(shù)θ0.5，那可以通過如下兩個方程來確定a與b。13假如的信息較為豐富，譬如對此產(chǎn)品經(jīng)常進(jìn)行抽樣檢查，每次都對廢品率作出一個估計，把這些估計值看作的一些觀察值，再經(jīng)過整理，可用一個分布去擬合它。假如關(guān)于的信息較少，甚至沒有什么有用的先驗(yàn)信息，那可以用區(qū)間（0，1）上的均勻分布（a=b=1情況）。用均勻分布意味著我們對的各種取值是“同等對待的”，是“機(jī)會均等的”。14貝葉斯本人認(rèn)為，當(dāng)你對參數(shù)θ的認(rèn)識除了在有限區(qū)間（c，d）之外，其它毫無所知時，就可用區(qū)間（c，d）上的均勻分布作為θ的先驗(yàn)分布。這個看法被后人稱之為“貝葉斯假設(shè)”。確定了先驗(yàn)分布后，就可計算出后驗(yàn)分布，過程如下：

x=0，1，…，n，0<θ<1于是X的邊際分布為

15最后在給出X=x的條件下，θ的后驗(yàn)密度為顯然這個后驗(yàn)分布仍然是β分布，它的兩個參數(shù)分別是a+x和b+n-x。我們選后驗(yàn)期望作為的貝葉斯估計，則θ的貝葉斯估計為

與前面的極大似然估計是不同的。

16如果用（0，1）上的均勻作為θ的先驗(yàn)分布，則θ的貝葉斯估計為

計算如下：

后驗(yàn)分布為

17

三、常用的一些共軛先驗(yàn)分布

對于一些常用的指數(shù)分布族，如果僅對其中的參數(shù)θ感興趣，下表列出了它們的共軛先驗(yàn)分布及后驗(yàn)期望。分布共軛先驗(yàn)分布

后驗(yàn)期望正態(tài)分布正態(tài)分布二項分布

β分布

Poisson分布

Γ分布Γ（a，b）18EX1設(shè)θ是一批產(chǎn)品的不合格率，已知它不是0.1就是0.2，且其先驗(yàn)分布為π（0.1）=0.7,π（0.2）=0.3假如從這批產(chǎn)品中隨機(jī)取8個進(jìn)行檢查，發(fā)現(xiàn)有2個不合格，求θ的后驗(yàn)分布。解：19EX2設(shè)一卷磁帶上的缺陷數(shù)服從泊松分布P（λ）其中λ可取1.0和1.5中的一個,又設(shè)λ的先驗(yàn)分布為

π（1.0）=0.4，π（1.5）=0.6假如檢查一卷磁帶發(fā)現(xiàn)了3個缺陷，求λ的后驗(yàn)分布。20

四、貝葉斯推斷（估計）

Ⅰ條件方法

由于未知參數(shù)的后驗(yàn)分布是集三種信息（總體、樣本和先驗(yàn)）于一身，它包含了所有可供利用的信息。故有關(guān)的參數(shù)估計和假設(shè)檢驗(yàn)等統(tǒng)計推斷都按一定方式從后驗(yàn)分布提取信息，其提取方法與經(jīng)典統(tǒng)計推斷相比要簡單明確得多?；诤篁?yàn)分布的統(tǒng)計推斷就意味著只考慮已出現(xiàn)的數(shù)據(jù)（樣本觀察值）而認(rèn)為未出現(xiàn)的數(shù)據(jù)與推斷無關(guān)，這一重要的觀點(diǎn)被稱為“條件觀點(diǎn)”，基于這種觀點(diǎn)提出的統(tǒng)計方法被稱為條件方法。21例如經(jīng)典統(tǒng)計學(xué)認(rèn)為參數(shù)的無偏估計應(yīng)滿足：其中平均是對樣本空間中所有可能出現(xiàn)的樣本而求的，可實(shí)際中樣本空間中絕大多數(shù)樣本尚未出現(xiàn)過，而多數(shù)從未出現(xiàn)的樣本也要參與平均是實(shí)際工作者難以理解的。故在貝葉斯推斷中不用無偏性，而條件方法是容易被實(shí)際工作者理解和接受的。22Ⅱ估計1.貝葉斯估計

定義3.2使后驗(yàn)密度達(dá)到最大的值稱為最大后驗(yàn)估計；后驗(yàn)分布的中位數(shù)稱為后驗(yàn)中位數(shù)估計；后驗(yàn)分布的期望值稱為的后驗(yàn)期望值估計，這三個估計都稱為貝葉斯估計，記為。例1為估計不合格率，今從一批產(chǎn)品中隨機(jī)抽取n件，其中不合格品數(shù)X服從，我們假定為的先驗(yàn)分布，設(shè)已知，由共軛先驗(yàn)分布可知，的后驗(yàn)分布為可計算得：

23選用貝葉斯假設(shè)，則

第一、在二項分布時，的最大后驗(yàn)估計就是經(jīng)典統(tǒng)計中的極大似然估計，即的極大似然估計就是取特定的先驗(yàn)分布下的貝葉斯估計。第二、的后驗(yàn)期望值估計要比最大后驗(yàn)估計更合適一些。表3.1列出四個實(shí)驗(yàn)結(jié)果,在試驗(yàn)1與試驗(yàn)2中,“抽檢3個產(chǎn)品沒有一件不合格”與抽檢10個產(chǎn)品沒有一件是不合格”這兩件事在人們心目中留下的印象是不同的。后者的質(zhì)量要比前者的質(zhì)量更信得過。24試驗(yàn)號樣本量n不合格數(shù)x13000.200210000.08333310.8004101010.917

表6.1不合格率的二種貝葉斯估計的比較

25在試驗(yàn)3和試驗(yàn)4中，“抽檢3個產(chǎn)品全部不合格”與抽檢“10個產(chǎn)品全部不合格”也是有差別的。在實(shí)際中，人們經(jīng)常選用后驗(yàn)期望估計作為貝葉斯估計。2.貝葉斯估計的誤差

設(shè)是的一個貝葉斯估計，在樣本給定后，是一個數(shù)，在綜合各種信息后，是按取值，所以評價一個貝葉斯估計的誤差的最好而又簡單的方式是用θ對的后驗(yàn)均方差或平方根來度量，定義如下：稱為的后驗(yàn)均方差,而其平方根稱為后驗(yàn)標(biāo)準(zhǔn)差.定義6.2設(shè)參數(shù)θ的后驗(yàn)分布為,貝葉斯估計為,則26當(dāng)時,則,稱為后驗(yàn)均方差.后驗(yàn)均方差與后驗(yàn)方差有如下關(guān)系:這表明,當(dāng)時,可使后驗(yàn)均方差達(dá)到最小,實(shí)際中常取后驗(yàn)均值作為的貝葉斯估計值.27例2設(shè)一批產(chǎn)品的不合格率為,檢查是一個一個進(jìn)行,直到發(fā)現(xiàn)第一個不合格品為止,若X為發(fā)現(xiàn)第一個不合格品時已檢查的產(chǎn)品數(shù),則X服從幾何分布,其分布列為設(shè)的先驗(yàn)分布為,如今只獲得一個樣本觀察值x=3,求的最大后驗(yàn)估計,后驗(yàn)期望估計,并計算它的誤差.聯(lián)合分布為

X=3的無條件概率為(利用全概率公式)28故或

可看出,的最大后驗(yàn)估計

的后驗(yàn)方差為293.區(qū)間估計(可信區(qū)間)

對于區(qū)間估計問題,貝葉斯方法具有處理方便和含義清晰的優(yōu)點(diǎn),而經(jīng)典方法求置信區(qū)間常受到批評.定義6.3參數(shù)的后驗(yàn)分布為,對給定的樣本和概率,若存在這樣的二個統(tǒng)計量與,使得則稱區(qū)間為參數(shù)的可信水平為貝葉斯可信區(qū)間,或簡稱為的可信區(qū)間.而滿足30的稱為的(單側(cè))可信下限.

滿足的稱為的(單側(cè))可信上限.這里的可信水平和可信區(qū)間與經(jīng)典統(tǒng)計中的置信水平與置信區(qū)間雖是同類的概念,但兩者還是有本質(zhì)的差別,主要表現(xiàn)在下面二點(diǎn):1.

在條件方法下,對給定的樣本和可信水平,通過后驗(yàn)分布可求得具體的可信區(qū)間,譬如,的可信水平為0.9的可信區(qū)間是,這時我們可以寫出31

2.在經(jīng)典統(tǒng)計中尋求置信區(qū)間有時是困難的,因?yàn)樗O(shè)法構(gòu)造一個樞軸量,使它的分布不含未知參數(shù),這是一項技術(shù)性很強(qiáng)的工作.相比之下可信區(qū)間只要利用后驗(yàn)分布,不需要再去尋求另外的分布,可信區(qū)間的尋求要簡單得多.例3設(shè)是來自正態(tài)總體的一個樣本觀察值,其中已知,若正態(tài)均值的先驗(yàn)分布取為,其中與已知,則可求得的后驗(yàn)分布為,由此獲得的可信區(qū)間32EX1設(shè)隨機(jī)變量X的密度函數(shù)為(1)假如θ的先驗(yàn)分布為U(0,1),求θ的后驗(yàn)分布.(2)假如θ的先驗(yàn)分布為求θ的后驗(yàn)分布及后驗(yàn)期望估計336.2貝葉斯決策方法

決策就是對一件事作決定。它與推斷的差別在于是否涉及后果。統(tǒng)計學(xué)家在作推斷時是按統(tǒng)計理論進(jìn)行的，但很少考慮結(jié)論在使用后的損失?？蓻Q策者在使用推斷時必需與得失聯(lián)系在一起，能帶來利潤的就會使用，使他遭受損失的就不會采用，度量得失的尺度就是損失函數(shù)。它是著名的統(tǒng)計學(xué)家A.Wald（1902－1950）在40年代引入的一個概念。從實(shí)際歸納出損失函數(shù)是決策的關(guān)鍵。貝葉斯決策：把損失函數(shù)加入貝葉斯推斷就形成貝葉斯決策論，損失函數(shù)被稱為貝葉斯統(tǒng)計中的第四種信息。34一、決策的基本概念3－2014－3－4－12例1設(shè)甲乙二人進(jìn)行一種游戲，甲手中有三張牌，分別標(biāo)以。乙手中也有三張牌，分別標(biāo)以。游戲的規(guī)則是雙方各自獨(dú)立的出牌，按下表計算甲的得分與乙的得分。35這是一個典型的雙人博弈（賭博）問題。不少實(shí)際問題可歸納為雙人博弈問題。把上例中的乙方改為自然或社會，就形成人與自然（或社會）的博弈問題。例2農(nóng)作物有兩個品種：產(chǎn)量高但抗旱能力弱的品種和抗旱能力強(qiáng)但產(chǎn)量低的品種。在明年雨量不知的情況下，農(nóng)民應(yīng)該選播哪個品種可使每畝平均收益最大？這是人與自然界的博弈。以明年60mm雨量為界來區(qū)分雨量充足和雨量不充足。寫出收益矩陣（單位：元）100020010040036例3一位投資者有一筆資金要投資，有以下幾個投資供他選擇：購買股票，根據(jù)市場情況，可凈賺5000元，但可能使他虧損10000元存入銀行，不管市場情況如何總可凈賺1000元這位投資者在金融市場博弈。未來的金融市場也有兩種情況：看漲與看跌可寫出投資者的收益矩陣50001000-100001000投資者將依據(jù)收益矩陣決定他的資金投向何方這種人與自然（或社會）的博弈問題稱為決策問題37二、決策的三要素1狀態(tài)集，其中每個元素表示自然界（或社會）可能出現(xiàn)的一種狀態(tài)，所有可能狀態(tài)的全體組成狀態(tài)集。2行動集，其中a表示人對自然界可能采取的一個行動一般行動集有兩個以上的行動可供選擇。若有兩個行動無論對自然界的哪一個狀態(tài)出現(xiàn)，總比收益高，則就沒有存在的必要，可把它從行動集中去掉，使留在行動集中的行動總有可取之處。383收益函數(shù)，函數(shù)值表示當(dāng)自然界處于狀態(tài)，而人們選取行動時所得到的收益大小。收益函數(shù)的值可正可負(fù)，若正表示盈利，負(fù)表示虧損，單位常用貨幣單位，收益函數(shù)的建立不是件容易的事，要對所研究的問題有全面的了解才能建立起來。收益矩陣39三、損失函數(shù)1、從收益到損失為了統(tǒng)一處理，在決策中常用一個更為有效的概念：損失函數(shù)。在狀態(tài)集和行動集都為有限時用損失矩陣。這里的損失函數(shù)不是負(fù)的收益，也不是虧損。例如，某商店一個月的經(jīng)營收益為－1000元，即虧1000元。這是對成本而言。我們不能稱為損失，而稱其為虧損。我們講的損失是指“該賺而沒有賺到的錢”，例如該店本可以賺2000元，當(dāng)由于某種原因虧了1000元，那我們說該店損失了3000元。用這種觀點(diǎn)認(rèn)識損失對提高決策意識是有好處的。按上述觀點(diǎn)從收益函數(shù)可以很容易獲得損失函數(shù)。40例4某公司購進(jìn)某種貨物可分大批、中批和小批三種行動，記為，未來市場需求量可分為高、中、低三種狀態(tài)，記為，三個行動在不同的市場的利潤如下這是一個收益矩陣，我們把它改寫為損失矩陣如下：412、損失函數(shù)構(gòu)成決策問題的三要素：由收益函數(shù)容易獲得損失函數(shù)例5某公司購進(jìn)一批貨物投放市場，若購進(jìn)數(shù)量a低于市場需求量，每噸可賺15萬元。若購進(jìn)數(shù)量超過市場需求量，超過部分每噸反要虧損35萬元。由此可寫出收益函數(shù)42顯然，當(dāng)購進(jìn)數(shù)量a等于市場需求量時，收益達(dá)到最大433、損失函數(shù)下的保守準(zhǔn)則第一步，對每個行動a選出最大損失值，記為第二步，在所有選出的最大損失中再選出最小者，則滿足則稱為保守準(zhǔn)則下的最優(yōu)行動，這是一種保守策略，不求零損失，但愿少損失例4幻燈片41在保守準(zhǔn)則下，第一步的最大損失值依次為