統(tǒng)計(Bayesian決策理論

1、第二章 統(tǒng)計（Bayesian）決策理論Bayesian決策理論是統(tǒng)計模式識別方法的理論基礎(chǔ)，大多數(shù)人認(rèn)為也是神經(jīng)網(wǎng)絡(luò)分類方法的理論基礎(chǔ)。說到底，Bayesian決策方法就是企望在后驗概率P(wj/x)（據(jù)此確定樣本x的類別）和代價P(e)（即風(fēng)險，做這一決策產(chǎn)生的損失）之間尋找一個平衡點。當(dāng)然，我們希望P(wj/x)越大越好，P(e)越小越好。2.1 基于最小錯誤率（Minimum-error-rate）的決策最小錯誤率Probability of minimum error。我們應(yīng)將之理解為犯錯誤最小的概率，與上一章的分類錯誤率不是一回事。設(shè)有兩個類別w1和w2，它們的先驗概率（Prior

2、 Probabilities）P(w1)、P(w2)為已知。(1) 根據(jù)先驗概率決策對樣本x而言，我們除知道P(w1)和P(w2)之外，其它一無所知。令P(w1)>P(w2)，若希望做決策時誤差為最小，則認(rèn)為 xÎw1。類似地，若有n個類別，且則決策 xÎwj；若這時，我們不能作出決策。該方法的缺陷之一是P(wj)的準(zhǔn)確值一般是不知道的，常用的方法是估計。設(shè)樣本總數(shù)為N，第j類樣本數(shù)為Nj，則（頻數(shù)比）。若所有類別的樣本數(shù)一樣多，即，k=1,2,¼,n，這時該方法失效。(2) 根據(jù)后驗概率（Posteriori Probabilities）決策設(shè)可求得后驗概

3、率P(wj/x)，j=1,2,¼,n，若則可決策 xÎwj。我們知道，Bayesian公式為這里，p(x)為x的概率密度，p(x/wj)為x屬于wj的類條件概率密度。將(2-4)代入(2-3)，得或式(2-6)可改寫成于是，依據(jù)后驗概率大小可得到如下決策規(guī)則我們稱l(x)為似然函數(shù)（Likelihood function）。特別地，若P(wj)=P(wk)，即先驗概率相等，這時分類閾值q=1，式（2-8）所示的決策規(guī)則化為即R1R20xl(x)圖2.2 似然比分布曲線R1R20xp(x/wj)P(wj)p(x/wk)P(wk)p(x/w)P(w)圖2.1 類條件概率密度與先

4、驗概率乘積的分布曲線1這就是說，在先驗概率相等的條件下，我們可以僅根據(jù)類條件概率密度的大小來確定樣本x的類別。圖2.1為p(x/wj)=N(0, 1), p(x/wk)=0.6N(1, 1)+0.4N(-1, 2)的類條件概率密度分布曲線，圖2.2為這兩個類的似然比分布曲線(3) 最小錯誤概率圖2.3為求最小錯誤概率的示意圖R1R20xp(x/wj)P(wj)p(x/wk)P(wk)p(x/w)P(w)圖2.3求最小錯誤概率的示意圖x屬于wk但被錯分為wj的區(qū)域x屬于wj但被錯分為wk的區(qū)域。最小錯誤概率就是圖中陰影部分的面積。若樣本x屬于wk，但分類器將其錯分為wj，由此引起的分類誤差的概率

5、為同樣地，若樣本x屬于wj，但分類器將其錯分為wk，由此引起的分類誤差的概率為在只有wj、wk兩個類別的情況下，樣本x被錯分的概率為由于和將(2-14)和(2-15)代入(2-13)，得即但P(wj)+P(wk)=1，所以我們稱P(c)為正確分類的概率。于是，式（2-19）意味著使分類錯誤的概率為最小等價于使分類正確的概率為最大。值得注意的是，最小錯誤概率的推導(dǎo)實際上是根據(jù)后驗概率得到的，即（2-13）的完整寫法是對于只有wj和wk兩個類別的情況，基于最小錯誤率的決策邊界有下列幾種表達形式。(1) 直接由后驗概率相等所決定，即(2) 由后驗概率取自然對數(shù)相等所決定，即將Bayes公式兩邊取自然對數(shù)，我們有這里，被稱為分類閾值。上述結(jié)論很容易推廣到多類情況?；谧钚″e誤概率的決策方法存在以下缺陷。(1) 先驗概率P(wj)，j=1,2,¼,n一般不知道，難以準(zhǔn)確估計。(2) 類條件概率密度函數(shù)p(x/wj)，j=1,2,¼