統(tǒng)計(jì)決策與貝葉斯推斷課件

統(tǒng)計(jì)學(xué)家瓦爾德(A.Wald)把關(guān)于假設(shè)檢驗(yàn)和參數(shù)估計(jì)的經(jīng)典統(tǒng)計(jì)理論加以概括，將不確定意義下的決策科學(xué)也包括在統(tǒng)計(jì)學(xué)范圍之內(nèi)，于1939年創(chuàng)立了統(tǒng)計(jì)決策理論，該理論彌補(bǔ)了過(guò)去統(tǒng)計(jì)理論的缺陷。統(tǒng)計(jì)決策的顯著特點(diǎn)是：統(tǒng)計(jì)決策建立在統(tǒng)計(jì)分析和統(tǒng)計(jì)預(yù)測(cè)的基礎(chǔ)上，是一種定量決策。統(tǒng)計(jì)決策是在不確定情況下，應(yīng)用概率來(lái)進(jìn)行決策的計(jì)算和分析，是一種概率決策。

6.1統(tǒng)計(jì)決策統(tǒng)計(jì)學(xué)家瓦爾德(A.Wald)把關(guān)于決策問(wèn)題的三個(gè)基本要素狀態(tài)集行動(dòng)集行動(dòng)空間損失函數(shù)決策問(wèn)題的狀態(tài)集行動(dòng)集損失函數(shù)依統(tǒng)計(jì)決策論的觀點(diǎn)，對(duì)決策有用的信息先驗(yàn)信息樣本信息決策問(wèn)題的分類無(wú)數(shù)據(jù)（無(wú)樣本信息）決策問(wèn)題統(tǒng)計(jì)決策問(wèn)題貝葉斯決策問(wèn)題依統(tǒng)計(jì)決策論的觀點(diǎn)，對(duì)決策有用的信息先驗(yàn)信息樣本信息決策問(wèn)題一、基本概念1、損失函數(shù)描述當(dāng)未知量處于狀態(tài)而采取行動(dòng)時(shí)所引起的損失，記為線性損失函數(shù)一、基本概念1、損失函數(shù)描述當(dāng)未知量處于狀態(tài)而采取行動(dòng)第6章統(tǒng)計(jì)決策與貝葉斯推斷課件一、基本概念2、決策函數(shù)由樣本空間到行動(dòng)空間的可測(cè)映射稱為決策函數(shù)。一、基本概念2、決策函數(shù)由樣本空間到行動(dòng)空間的可測(cè)映3、風(fēng)險(xiǎn)函數(shù)稱為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)。設(shè)是一個(gè)決策函數(shù)，則損失函數(shù)關(guān)于樣本分布的數(shù)學(xué)期望平均損失愈小，決策函數(shù)愈好。風(fēng)險(xiǎn)函數(shù)描述在未知量處于狀態(tài)而采取決策時(shí)所蒙受的平均損失。3、風(fēng)險(xiǎn)函數(shù)稱為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)。設(shè)二、常用的決策準(zhǔn)則1、一致最優(yōu)決策準(zhǔn)則則稱為決策函數(shù)類的一致最小風(fēng)險(xiǎn)決策函數(shù)，或稱為一致最優(yōu)決策函數(shù)。定義設(shè)表示定義在樣本空間上取值于行動(dòng)空間的某一決策函數(shù)類，若存在一個(gè)決策函數(shù)，使得對(duì)任意，都有二、常用的決策準(zhǔn)則1、一致最優(yōu)決策準(zhǔn)則則稱為決策2、最小最大（Minimax）決策準(zhǔn)則則稱為該統(tǒng)計(jì)決策問(wèn)題的最小最大決策函數(shù)，相應(yīng)的風(fēng)險(xiǎn)稱為最小最大風(fēng)險(xiǎn)。定義對(duì)于一個(gè)統(tǒng)計(jì)決策問(wèn)題，設(shè)表示定義在樣本空間上取值于行動(dòng)空間的某一決策函數(shù)類。若有決策函數(shù)，使得2、最小最大（Minimax）決策準(zhǔn)則則稱為該統(tǒng)計(jì)決策3、貝葉斯決策準(zhǔn)則先驗(yàn)信息與先驗(yàn)分布無(wú)論是在統(tǒng)計(jì)決策問(wèn)題還是在統(tǒng)計(jì)推斷問(wèn)題中總會(huì)包含未知量。為了對(duì)作統(tǒng)計(jì)決策或者作統(tǒng)計(jì)推斷，樣本信息是必不可少的，因?yàn)樗淖钚滦畔?。除此之外，一些非樣本信息也可用于統(tǒng)計(jì)決策和統(tǒng)計(jì)推斷。這些非樣本信息主要來(lái)源于經(jīng)驗(yàn)或歷史資料。由于此類經(jīng)驗(yàn)或歷史資料大多存在于（獲取樣本的）試驗(yàn)之前，故稱這些非樣本信息為先驗(yàn)信息。3、貝葉斯決策準(zhǔn)則先驗(yàn)信息與先驗(yàn)分布無(wú)論是在統(tǒng)計(jì)統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：經(jīng)典（頻率）學(xué)派與貝葉斯學(xué)派。經(jīng)典學(xué)派認(rèn)為是未知參數(shù)；貝葉斯學(xué)派認(rèn)為是隨機(jī)變量，應(yīng)該用一個(gè)概率分布去描述的未知狀況。這個(gè)概率分布在抽樣之前就已存在，它是關(guān)于的先驗(yàn)信息的概率陳述。這個(gè)概率分布就稱為先驗(yàn)分布，用來(lái)表示。統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：經(jīng)典（頻率）學(xué)派與貝葉斯學(xué)派貝葉斯公式與后驗(yàn)分布稱為的后驗(yàn)分布。貝葉斯公式與后驗(yàn)分布稱為的后驗(yàn)分布先驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則與后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則定義1：在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè)為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)，為的先驗(yàn)分布，則平均風(fēng)險(xiǎn)稱為決策的貝葉斯風(fēng)險(xiǎn)。若在決策函數(shù)類中存在，使得則稱為決策函數(shù)類在貝葉斯（先驗(yàn)）風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，簡(jiǎn)稱貝葉斯決策函數(shù)或貝葉斯解。先驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則與后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則定義1：在給定的統(tǒng)計(jì)決策問(wèn)題中定義2：在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè)為決策函數(shù)的損失函數(shù)，為的后驗(yàn)分布，則條件期望風(fēng)險(xiǎn)稱為決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)。若在決策函數(shù)類中存在，使得則稱為決策函數(shù)類在貝葉斯后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，或稱其為貝葉斯后驗(yàn)型決策函數(shù)。定義2：在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè)例6.1一位收藏家擬收購(gòu)一幅名畫(huà)，這幅畫(huà)標(biāo)價(jià)為5000元。若這幅畫(huà)是真品，則值10000元；若是贗品，則一文不值。此外，買(mǎi)下一幅假畫(huà)或者沒(méi)有買(mǎi)下一幅真畫(huà)都會(huì)損害這位收藏家的名譽(yù)，其收益情況如下表

采取的行動(dòng)畫(huà)的狀態(tài)買(mǎi)不買(mǎi)真品+5000-3000贗品-60000現(xiàn)在，這位收藏家需要決定是買(mǎi)還是不買(mǎi)這幅畫(huà)？例6.1一位收藏家擬收購(gòu)一幅名畫(huà)，這幅畫(huà)標(biāo)價(jià)為5000(1)如果收藏家有以下三種決策可供選擇：：以概率0.5買(mǎi)下這幅畫(huà)；：請(qǐng)一位鑒賞家進(jìn)行鑒定（已知該鑒賞家以概率0.95識(shí)別一幅真畫(huà)，以概率0.7識(shí)別一幅假畫(huà)），如果鑒賞家鑒定為真品就買(mǎi)下這幅畫(huà)；：肯定不買(mǎi)那么，什么是這位收藏家的最小最大決策？（2）如果根據(jù)賣畫(huà)者以往的資料得知，發(fā)生的概率為0.75，發(fā)生的概率為0.25，那么這位收藏家是否應(yīng)買(mǎi)下這幅畫(huà)呢？（3）在（2）的條件下，這位收藏家為穩(wěn)妥起見(jiàn)，聘請(qǐng)一位鑒賞家做鑒定。已知鑒賞家以概率0.95識(shí)別一幅真畫(huà)，以概率0.7識(shí)別一幅假畫(huà)。如果鑒賞家說(shuō)這幅畫(huà)是真品，那么這位收藏家是否應(yīng)買(mǎi)下這幅畫(huà)呢？(1)如果收藏家有以下三種決策可供選擇：（2）如果根據(jù)賣畫(huà)這是一個(gè)決策問(wèn)題，狀態(tài)集，為真品，為贗品,行動(dòng)集表示“買(mǎi)”，表示“不買(mǎi)”，損失函數(shù)用矩陣可表示為

統(tǒng)計(jì)決策中所說(shuō)的損失可以理解為“該賺到而沒(méi)有賺到的錢(qián)”，“不該虧而虧損的錢(qián)”或者“不該支付而支付的錢(qián)”。采用收益函數(shù)時(shí)，損失函數(shù)時(shí)，損失函數(shù)采用支付函數(shù)這是一個(gè)決策問(wèn)題，狀態(tài)集解：（1）對(duì)，對(duì)，對(duì)，解：（1）對(duì)，對(duì)，對(duì)，計(jì)算結(jié)果表明，收藏家的最小最大決策為，即如果鑒賞家鑒定為真品就買(mǎi)下這幅畫(huà)，這一決策的最小最大風(fēng)險(xiǎn)為1800元。根據(jù)先驗(yàn)分布，可分別算出行動(dòng)，的平均損失，亦即，行動(dòng)，的平均風(fēng)險(xiǎn)，因?yàn)檫@是無(wú)數(shù)據(jù)決策問(wèn)題，所以對(duì)比上述結(jié)果可知，采取行動(dòng)為上策，即，收藏家應(yīng)該買(mǎi)下這幅畫(huà)。（2）由題意知，的先驗(yàn)分布為：計(jì)算結(jié)果表明，收藏家的最小最大決策為，(3)引入隨機(jī)變量

由題意知：

(3)引入隨機(jī)變量由題意知：的先驗(yàn)分布為，由貝葉斯公式可得的后驗(yàn)分布的先驗(yàn)分布為這樣樣本空間，行動(dòng)空間，所以決策函數(shù)只有以下4個(gè)這樣樣本空間，行動(dòng)空間這樣本值時(shí)，這些決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)分別是：這樣本值時(shí)，這些決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)分別是在時(shí)，這些決策函數(shù)的貝葉斯后風(fēng)險(xiǎn)分別是：

在時(shí)，這些決策函數(shù)的貝葉斯后風(fēng)險(xiǎn)分別是：可見(jiàn)在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下，是最優(yōu)決策函數(shù)，換言之，當(dāng)鑒定家說(shuō)這幅畫(huà)是真品時(shí)，這位收藏家應(yīng)買(mǎi)下這幅畫(huà)。下面計(jì)算（3）中那些決策函數(shù)的貝葉斯風(fēng)險(xiǎn)，先算的邊緣分布：可見(jiàn)在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下，是最優(yōu)決策函數(shù)，從而，由此可見(jiàn)，在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)仍是，在兩種不同風(fēng)險(xiǎn)準(zhǔn)則下得出相同的最優(yōu)決策函數(shù)，其理論依據(jù)是定理6.1.1.從而，由此可見(jiàn)，在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)仍是定理6.1.1對(duì)給定的統(tǒng)計(jì)決策問(wèn)題（含給定的先驗(yàn)分布）和決策函數(shù)類，若貝葉斯風(fēng)險(xiǎn)滿足條件則貝葉斯決策函數(shù)與貝葉斯后驗(yàn)型決策函數(shù)等價(jià)。定理6.1.1對(duì)給定的統(tǒng)計(jì)決策問(wèn)題（含給定的先驗(yàn)6.2貝葉斯推斷在經(jīng)典統(tǒng)計(jì)學(xué)中，總體的分布函數(shù)用表示，其中表示未知參數(shù)，表示參數(shù)空間。改寫(xiě)為經(jīng)典統(tǒng)計(jì)學(xué)并不產(chǎn)生任何實(shí)質(zhì)上的影響，僅僅是記號(hào)的變更。Bayes統(tǒng)計(jì)中意義就不同了，其表示條件分布。6.2貝葉斯推斷在經(jīng)典統(tǒng)計(jì)學(xué)中，總體的分布函數(shù)用定義6.1

若函數(shù)和相比僅差一個(gè)常數(shù)因子，則稱為的核，記為例如定義6.1若函數(shù)和相比僅差一個(gè)常數(shù)因貝葉斯學(xué)派認(rèn)為，的后驗(yàn)分布集先驗(yàn)信息和樣本信息于一身，包含了的所有可供利用的信息，所以有關(guān)的點(diǎn)估計(jì)，區(qū)間估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都要基于后驗(yàn)分布來(lái)進(jìn)行。樣本分布其中為總體的條件概率密度。貝葉斯學(xué)派認(rèn)為，的后驗(yàn)分布一、貝葉斯估計(jì)1、點(diǎn)估計(jì)貝葉斯估計(jì)量就是貝葉斯決策函數(shù)（貝葉斯解）則稱為的貝葉斯估計(jì)量定義設(shè)總體的分布函數(shù)為，其中參數(shù)為具有先驗(yàn)分布的隨機(jī)變量，又設(shè)為來(lái)自總體的樣本。若在決策函數(shù)類中有一個(gè)，使得一、貝葉斯估計(jì)1、點(diǎn)估計(jì)貝葉斯估計(jì)量就是貝葉斯決策函數(shù)（貝葉定理若損失函數(shù)為，且，則的貝葉斯估計(jì)為其中為的后驗(yàn)概率密度。注：由定理可知，當(dāng)使用平方損失函數(shù)時(shí)，的貝葉斯估計(jì)為（或），即的后驗(yàn)分布的期望，故稱這種估計(jì)為后驗(yàn)期望估計(jì)。定理若損失函數(shù)為例1設(shè)總體的分布為，其中未知量為隨機(jī)變量，且，為來(lái)自總體的樣本值，求的貝葉斯估計(jì)。解：因?yàn)榈暮篁?yàn)概率密度的核是所以，的貝葉斯估計(jì)為可見(jiàn)，在樣本的條件下，的條件分布為例1設(shè)總體的分布為

條件（1）、（2）表明，D集中了后驗(yàn)概率密度取值盡可能大的點(diǎn)，因此的最大后驗(yàn)密度可信區(qū)間就是在同一可信概率下長(zhǎng)度最短的區(qū)間。2、區(qū)間估計(jì)定義設(shè)參數(shù)的后驗(yàn)分布為，對(duì)給定的樣本和概率，若存在區(qū)域D滿足下列條件：（1）（2）任給，總有則稱D是的可信水平為的最大后驗(yàn)密度可信域。當(dāng)是一維的且D是一個(gè)區(qū)間時(shí)，稱D為的最大后驗(yàn)密度可信區(qū)間。條件（1）、（2）表明，D集中了后驗(yàn)概率密度例2設(shè)為來(lái)自正態(tài)分布的樣本，其中已知。又設(shè)的先驗(yàn)分布為正態(tài)分布，其中為已知，求的可信區(qū)間。解：因?yàn)榈暮篁?yàn)概率密度其中例2設(shè)可見(jiàn)是正態(tài)分布，因此對(duì)給定的，查得標(biāo)準(zhǔn)正態(tài)分布的上側(cè)分位數(shù)，使于是，的最大后驗(yàn)可信區(qū)間是。可見(jiàn)是正態(tài)分布，利用后驗(yàn)分布，分別計(jì)算假設(shè)與的后驗(yàn)概率。3、貝葉斯假設(shè)檢驗(yàn)當(dāng)后驗(yàn)概率比時(shí)接受；當(dāng)時(shí)拒絕；當(dāng)時(shí)，則不宜匆忙做判斷，需進(jìn)一步抽樣或搜集更多的先驗(yàn)信息。利用后驗(yàn)分布，分別計(jì)算假設(shè)與例3設(shè)從正態(tài)總體中隨機(jī)地抽取了一個(gè)容量為10的樣本，算得樣本均值，又設(shè)的先驗(yàn)分布為正態(tài)分布，現(xiàn)在檢驗(yàn)如下假設(shè)解由例2可知，的后驗(yàn)分布仍為正態(tài)分布，且其中例3設(shè)從正態(tài)總體中隨機(jī)地抽取了一個(gè)容量因而假設(shè)與的后驗(yàn)概率分別為兩后驗(yàn)概率之比故拒絕，即認(rèn)為正態(tài)均值大于1。因而假設(shè)與的后驗(yàn)概率分別為兩后驗(yàn)概貝葉斯檢驗(yàn)的特點(diǎn)：（1）簡(jiǎn)單易行，無(wú)需選擇檢驗(yàn)統(tǒng)計(jì)量，確定抽樣分布；

（2）無(wú)需事先給定顯著水平，確定檢驗(yàn)問(wèn)題的拒絕域；

（3）容易推廣到多重假設(shè)檢驗(yàn)場(chǎng)合。貝葉斯檢驗(yàn)的特點(diǎn)：（1）簡(jiǎn)單易行，無(wú)需選擇檢驗(yàn)統(tǒng)計(jì)量，二、先驗(yàn)分布的選取從前面的介紹可以看到，貝葉斯推斷是基于后驗(yàn)分布的推斷，而根據(jù)貝葉斯公式，后驗(yàn)分布又有賴于先驗(yàn)分布的選取，選擇不同的分布作為的先驗(yàn)分布將會(huì)影響的后驗(yàn)分布，從而將影響到貝葉斯推斷的結(jié)果，所以先驗(yàn)分布的選取對(duì)于貝葉斯推斷是至關(guān)重要的。二、先驗(yàn)分布的選取從前面的介紹可以看到，1、貝葉斯假設(shè)貝葉斯學(xué)派認(rèn)為，如果沒(méi)有以往的任何信息來(lái)確定未知量的先驗(yàn)分布，那么就用均勻分布作為它的先驗(yàn)分布，這種確定先驗(yàn)分布的原則稱為貝葉斯假設(shè)。按此原則選取的先驗(yàn)分布也稱為無(wú)信息先驗(yàn)分布。2、共軛先驗(yàn)分布后驗(yàn)分布在貝葉斯推斷中起著重要作用，但有時(shí)計(jì)算后驗(yàn)分布是一件比較復(fù)雜的事情。為了能夠簡(jiǎn)便地計(jì)算未知量的后驗(yàn)分布，引入共軛先驗(yàn)分布的概念。1、貝葉斯假設(shè)貝葉斯學(xué)派認(rèn)為，如果沒(méi)有以定義設(shè)總體的分布函數(shù)為，樣本對(duì)的條件分布為，即樣本分布，的先驗(yàn)分布為，若由和決定的后驗(yàn)分布與是同一個(gè)類型，則稱先驗(yàn)分布為的共軛先驗(yàn)分布。尋找共軛先驗(yàn)分布的步驟：（1）先寫(xiě)出樣本分布似然，（2）選取與具有相同核的分布作為先驗(yàn)分布，這個(gè)分布往往就是共軛先驗(yàn)分布。定義設(shè)總體的分布函數(shù)為，樣本Thanks！Thanks！演講完畢，謝謝觀看！演講完畢，謝謝觀看！

統(tǒng)計(jì)學(xué)家瓦爾德(A.Wald)把關(guān)于假設(shè)檢驗(yàn)和參數(shù)估計(jì)的經(jīng)典統(tǒng)計(jì)理論加以概括，將不確定意義下的決策科學(xué)也包括在統(tǒng)計(jì)學(xué)范圍之內(nèi)，于1939年創(chuàng)立了統(tǒng)計(jì)決策理論，該理論彌補(bǔ)了過(guò)去統(tǒng)計(jì)理論的缺陷。統(tǒng)計(jì)決策的顯著特點(diǎn)是：統(tǒng)計(jì)決策建立在統(tǒng)計(jì)分析和統(tǒng)計(jì)預(yù)測(cè)的基礎(chǔ)上，是一種定量決策。統(tǒng)計(jì)決策是在不確定情況下，應(yīng)用概率來(lái)進(jìn)行決策的計(jì)算和分析，是一種概率決策。

6.1統(tǒng)計(jì)決策統(tǒng)計(jì)學(xué)家瓦爾德(A.Wald)把關(guān)于決策問(wèn)題的三個(gè)基本要素狀態(tài)集行動(dòng)集行動(dòng)空間損失函數(shù)決策問(wèn)題的狀態(tài)集行動(dòng)集損失函數(shù)依統(tǒng)計(jì)決策論的觀點(diǎn)，對(duì)決策有用的信息先驗(yàn)信息樣本信息決策問(wèn)題的分類無(wú)數(shù)據(jù)（無(wú)樣本信息）決策問(wèn)題統(tǒng)計(jì)決策問(wèn)題貝葉斯決策問(wèn)題依統(tǒng)計(jì)決策論的觀點(diǎn)，對(duì)決策有用的信息先驗(yàn)信息樣本信息決策問(wèn)題一、基本概念1、損失函數(shù)描述當(dāng)未知量處于狀態(tài)而采取行動(dòng)時(shí)所引起的損失，記為線性損失函數(shù)一、基本概念1、損失函數(shù)描述當(dāng)未知量處于狀態(tài)而采取行動(dòng)第6章統(tǒng)計(jì)決策與貝葉斯推斷課件一、基本概念2、決策函數(shù)由樣本空間到行動(dòng)空間的可測(cè)映射稱為決策函數(shù)。一、基本概念2、決策函數(shù)由樣本空間到行動(dòng)空間的可測(cè)映3、風(fēng)險(xiǎn)函數(shù)稱為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)。設(shè)是一個(gè)決策函數(shù)，則損失函數(shù)關(guān)于樣本分布的數(shù)學(xué)期望平均損失愈小，決策函數(shù)愈好。風(fēng)險(xiǎn)函數(shù)描述在未知量處于狀態(tài)而采取決策時(shí)所蒙受的平均損失。3、風(fēng)險(xiǎn)函數(shù)稱為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)。設(shè)二、常用的決策準(zhǔn)則1、一致最優(yōu)決策準(zhǔn)則則稱為決策函數(shù)類的一致最小風(fēng)險(xiǎn)決策函數(shù)，或稱為一致最優(yōu)決策函數(shù)。定義設(shè)表示定義在樣本空間上取值于行動(dòng)空間的某一決策函數(shù)類，若存在一個(gè)決策函數(shù)，使得對(duì)任意，都有二、常用的決策準(zhǔn)則1、一致最優(yōu)決策準(zhǔn)則則稱為決策2、最小最大（Minimax）決策準(zhǔn)則則稱為該統(tǒng)計(jì)決策問(wèn)題的最小最大決策函數(shù)，相應(yīng)的風(fēng)險(xiǎn)稱為最小最大風(fēng)險(xiǎn)。定義對(duì)于一個(gè)統(tǒng)計(jì)決策問(wèn)題，設(shè)表示定義在樣本空間上取值于行動(dòng)空間的某一決策函數(shù)類。若有決策函數(shù)，使得2、最小最大（Minimax）決策準(zhǔn)則則稱為該統(tǒng)計(jì)決策3、貝葉斯決策準(zhǔn)則先驗(yàn)信息與先驗(yàn)分布無(wú)論是在統(tǒng)計(jì)決策問(wèn)題還是在統(tǒng)計(jì)推斷問(wèn)題中總會(huì)包含未知量。為了對(duì)作統(tǒng)計(jì)決策或者作統(tǒng)計(jì)推斷，樣本信息是必不可少的，因?yàn)樗淖钚滦畔?。除此之外，一些非樣本信息也可用于統(tǒng)計(jì)決策和統(tǒng)計(jì)推斷。這些非樣本信息主要來(lái)源于經(jīng)驗(yàn)或歷史資料。由于此類經(jīng)驗(yàn)或歷史資料大多存在于（獲取樣本的）試驗(yàn)之前，故稱這些非樣本信息為先驗(yàn)信息。3、貝葉斯決策準(zhǔn)則先驗(yàn)信息與先驗(yàn)分布無(wú)論是在統(tǒng)計(jì)統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：經(jīng)典（頻率）學(xué)派與貝葉斯學(xué)派。經(jīng)典學(xué)派認(rèn)為是未知參數(shù)；貝葉斯學(xué)派認(rèn)為是隨機(jī)變量，應(yīng)該用一個(gè)概率分布去描述的未知狀況。這個(gè)概率分布在抽樣之前就已存在，它是關(guān)于的先驗(yàn)信息的概率陳述。這個(gè)概率分布就稱為先驗(yàn)分布，用來(lái)表示。統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：經(jīng)典（頻率）學(xué)派與貝葉斯學(xué)派貝葉斯公式與后驗(yàn)分布稱為的后驗(yàn)分布。貝葉斯公式與后驗(yàn)分布稱為的后驗(yàn)分布先驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則與后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則定義1：在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè)為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)，為的先驗(yàn)分布，則平均風(fēng)險(xiǎn)稱為決策的貝葉斯風(fēng)險(xiǎn)。若在決策函數(shù)類中存在，使得則稱為決策函數(shù)類在貝葉斯（先驗(yàn)）風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，簡(jiǎn)稱貝葉斯決策函數(shù)或貝葉斯解。先驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則與后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則定義1：在給定的統(tǒng)計(jì)決策問(wèn)題中定義2：在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè)為決策函數(shù)的損失函數(shù)，為的后驗(yàn)分布，則條件期望風(fēng)險(xiǎn)稱為決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)。若在決策函數(shù)類中存在，使得則稱為決策函數(shù)類在貝葉斯后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，或稱其為貝葉斯后驗(yàn)型決策函數(shù)。定義2：在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè)例6.1一位收藏家擬收購(gòu)一幅名畫(huà)，這幅畫(huà)標(biāo)價(jià)為5000元。若這幅畫(huà)是真品，則值10000元；若是贗品，則一文不值。此外，買(mǎi)下一幅假畫(huà)或者沒(méi)有買(mǎi)下一幅真畫(huà)都會(huì)損害這位收藏家的名譽(yù)，其收益情況如下表

采取的行動(dòng)畫(huà)的狀態(tài)買(mǎi)不買(mǎi)真品+5000-3000贗品-60000現(xiàn)在，這位收藏家需要決定是買(mǎi)還是不買(mǎi)這幅畫(huà)？例6.1一位收藏家擬收購(gòu)一幅名畫(huà)，這幅畫(huà)標(biāo)價(jià)為5000(1)如果收藏家有以下三種決策可供選擇：：以概率0.5買(mǎi)下這幅畫(huà)；：請(qǐng)一位鑒賞家進(jìn)行鑒定（已知該鑒賞家以概率0.95識(shí)別一幅真畫(huà)，以概率0.7識(shí)別一幅假畫(huà)），如果鑒賞家鑒定為真品就買(mǎi)下這幅畫(huà)；：肯定不買(mǎi)那么，什么是這位收藏家的最小最大決策？（2）如果根據(jù)賣畫(huà)者以往的資料得知，發(fā)生的概率為0.75，發(fā)生的概率為0.25，那么這位收藏家是否應(yīng)買(mǎi)下這幅畫(huà)呢？（3）在（2）的條件下，這位收藏家為穩(wěn)妥起見(jiàn)，聘請(qǐng)一位鑒賞家做鑒定。已知鑒賞家以概率0.95識(shí)別一幅真畫(huà)，以概率0.7識(shí)別一幅假畫(huà)。如果鑒賞家說(shuō)這幅畫(huà)是真品，那么這位收藏家是否應(yīng)買(mǎi)下這幅畫(huà)呢？(1)如果收藏家有以下三種決策可供選擇：（2）如果根據(jù)賣畫(huà)這是一個(gè)決策問(wèn)題，狀態(tài)集，為真品，為贗品,行動(dòng)集表示“買(mǎi)”，表示“不買(mǎi)”，損失函數(shù)用矩陣可表示為

統(tǒng)計(jì)決策中所說(shuō)的損失可以理解為“該賺到而沒(méi)有賺到的錢(qián)”，“不該虧而虧損的錢(qián)”或者“不該支付而支付的錢(qián)”。采用收益函數(shù)時(shí)，損失函數(shù)時(shí)，損失函數(shù)采用支付函數(shù)這是一個(gè)決策問(wèn)題，狀態(tài)集解：（1）對(duì)，對(duì)，對(duì)，解：（1）對(duì)，對(duì)，對(duì)，計(jì)算結(jié)果表明，收藏家的最小最大決策為，即如果鑒賞家鑒定為真品就買(mǎi)下這幅畫(huà)，這一決策的最小最大風(fēng)險(xiǎn)為1800元。根據(jù)先驗(yàn)分布，可分別算出行動(dòng)，的平均損失，亦即，行動(dòng)，的平均風(fēng)險(xiǎn)，因?yàn)檫@是無(wú)數(shù)據(jù)決策問(wèn)題，所以對(duì)比上述結(jié)果可知，采取行動(dòng)為上策，即，收藏家應(yīng)該買(mǎi)下這幅畫(huà)。（2）由題意知，的先驗(yàn)分布為：計(jì)算結(jié)果表明，收藏家的最小最大決策為，(3)引入隨機(jī)變量

由題意知：

(3)引入隨機(jī)變量由題意知：的先驗(yàn)分布為，由貝葉斯公式可得的后驗(yàn)分布的先驗(yàn)分布為這樣樣本空間，行動(dòng)空間，所以決策函數(shù)只有以下4個(gè)這樣樣本空間，行動(dòng)空間這樣本值時(shí)，這些決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)分別是：這樣本值時(shí)，這些決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)分別是在時(shí)，這些決策函數(shù)的貝葉斯后風(fēng)險(xiǎn)分別是：

在時(shí)，這些決策函數(shù)的貝葉斯后風(fēng)險(xiǎn)分別是：可見(jiàn)在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下，是最優(yōu)決策函數(shù)，換言之，當(dāng)鑒定家說(shuō)這幅畫(huà)是真品時(shí)，這位收藏家應(yīng)買(mǎi)下這幅畫(huà)。下面計(jì)算（3）中那些決策函數(shù)的貝葉斯風(fēng)險(xiǎn)，先算的邊緣分布：可見(jiàn)在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下，是最優(yōu)決策函數(shù)，從而，由此可見(jiàn)，在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)仍是，在兩種不同風(fēng)險(xiǎn)準(zhǔn)則下得出相同的最優(yōu)決策函數(shù)，其理論依據(jù)是定理6.1.1.從而，由此可見(jiàn)，在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)仍是定理6.1.1對(duì)給定的統(tǒng)計(jì)決策問(wèn)題（含給定的先驗(yàn)分布）和決策函數(shù)類，若貝葉斯風(fēng)險(xiǎn)滿足條件則貝葉斯決策函數(shù)與貝葉斯后驗(yàn)型決策函數(shù)等價(jià)。定理6.1.1對(duì)給定的統(tǒng)計(jì)決策問(wèn)題（含給定的先驗(yàn)6.2貝葉斯推斷在經(jīng)典統(tǒng)計(jì)學(xué)中，總體的分布函數(shù)用表示，其中表示未知參數(shù)，表示參數(shù)空間。改寫(xiě)為經(jīng)典統(tǒng)計(jì)學(xué)并不產(chǎn)生任何實(shí)質(zhì)上的影響，僅僅是記號(hào)的變更。Bayes統(tǒng)計(jì)中意義就不同了，其表示條件分布。6.2貝葉斯推斷在經(jīng)典統(tǒng)計(jì)學(xué)中，總體的分布函數(shù)用定義6.1

若函數(shù)和相比僅差一個(gè)常數(shù)因子，則稱為的核，記為例如定義6.1若函數(shù)和相比僅差一個(gè)常數(shù)因貝葉斯學(xué)派認(rèn)為，的后驗(yàn)分布集先驗(yàn)信息和樣本信息于一身，包含了的所有可供利用的信息，所以有關(guān)的點(diǎn)估計(jì)，區(qū)間估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都要基于后驗(yàn)分布來(lái)進(jìn)行。樣本分布其中為總體的條件概率密度。貝葉斯學(xué)派認(rèn)為，的后驗(yàn)分布一、貝葉斯估計(jì)1、點(diǎn)估計(jì)貝葉斯估計(jì)量就是貝葉斯決策函數(shù)（貝葉斯解）則稱為的貝葉斯估計(jì)量定義設(shè)總體的分布函數(shù)為，其中參數(shù)為具有先驗(yàn)分布的隨機(jī)變量，又設(shè)為來(lái)自總體的樣本。若在決策函數(shù)類中有一個(gè)，使得一、貝葉斯估計(jì)1、點(diǎn)估計(jì)貝葉斯估計(jì)量就是貝葉斯決策函數(shù)（貝葉定理若損失函數(shù)為，且，則的貝葉斯估計(jì)為其中為的后驗(yàn)概率密度。注：由定理可知，當(dāng)使用平方損失函數(shù)時(shí)，的貝葉斯估計(jì)為（或），即的后驗(yàn)分布的期望，故稱這種估計(jì)為后驗(yàn)期望估計(jì)。定理若損失函數(shù)為例1設(shè)總體的分布為，其中未知量為隨機(jī)變量，且，為來(lái)自總體的樣本值，求的貝葉斯估計(jì)。解：因?yàn)榈暮篁?yàn)概率密度的核是所以，的貝葉斯估計(jì)為可見(jiàn)，在樣本的條件下，的條件分布為例1設(shè)總體的分布為

條件（1）、（2）表明，D集中了后驗(yàn)概率密度取值盡可能大的點(diǎn)，因此的最大后驗(yàn)密度可信區(qū)間就是在同一可信概率下長(zhǎng)度最短的區(qū)間。2、區(qū)間估計(jì)定義設(shè)參數(shù)的后驗(yàn)分布為，對(duì)給定的樣本和概率，若存在區(qū)域D滿足下列條件：（1）（2）任給，總有則稱D是的可信水平為的最大后驗(yàn)密度可信域。當(dāng)是一維的且D是一個(gè)區(qū)間時(shí)，稱D為的最大后驗(yàn)密度可信區(qū)間。條件（1）、（2）表明，D集中了后驗(yàn)概率密度例2設(shè)為來(lái)自正態(tài)分布的樣本，其中已知。又設(shè)的先驗(yàn)分布為正態(tài)分布，其中為已知，求的可信區(qū)間。解：因?yàn)榈暮篁?yàn)概率密度其中例2設(shè)可見(jiàn)是正態(tài)分布，因此對(duì)給定的，查得標(biāo)準(zhǔn)正態(tài)分布的上側(cè)分位數(shù)，使