貝葉斯決策完整版課件

貝葉斯決策理論

BayesianDecisionTheory劉芳，戚玉濤qi_yutao@163.com精選貝葉斯決策理論

BayesianDecisionTheo貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選引言機(jī)器自動(dòng)識(shí)別分類，能不能避免錯(cuò)分類，做到百分之百正確？怎樣才能減少錯(cuò)誤？錯(cuò)分類往往難以避免，因此就要考慮減小因錯(cuò)分類造成的危害損失，那么有沒(méi)有可能對(duì)危害大的錯(cuò)誤嚴(yán)格控制？什么是先驗(yàn)概率、類概率密度函數(shù)和后驗(yàn)概率？它們的定義和相互關(guān)系如何?貝葉斯公式正是體現(xiàn)三者關(guān)系的式子。精選引言機(jī)器自動(dòng)識(shí)別分類，能不能避免錯(cuò)分類，做到百分之百正確？怎引言貝葉斯決策理論 貝葉斯統(tǒng)計(jì)決策理論是處理模式分類問(wèn)題的基本理論之一，對(duì)模式分析和分類器（Classifier）的設(shè)計(jì)起指導(dǎo)作用。貝葉斯決策的兩個(gè)要求各個(gè)類別的總體概率分布(先驗(yàn)概率和類條件概率密度)是已知的要決策分類的類別數(shù)是一定的精選引言貝葉斯決策理論精選引言在連續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d種特征觀察量x1,x2,…xd，這些特征的所有可能的取值范圍構(gòu)成了d維特征空間。稱向量假設(shè)要研究的分類問(wèn)題有c個(gè)類別，類型空間表示為：為d維特征向量。精選引言在連續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d種特征觀察量x1引言評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問(wèn)題，采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策。貝葉斯決策常用的準(zhǔn)則：

最小錯(cuò)誤率準(zhǔn)則

最小風(fēng)險(xiǎn)準(zhǔn)則

Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選引言評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問(wèn)題，采用不同的標(biāo)準(zhǔn)會(huì)得到貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小錯(cuò)誤率準(zhǔn)則黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計(jì)決策理論就是根據(jù)每一類總體的概率分布決定未知類別的樣本屬于哪一類！精選最小錯(cuò)誤率準(zhǔn)則黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計(jì)決策最小錯(cuò)誤率準(zhǔn)則先驗(yàn)概率：類條件概率：后驗(yàn)概率：貝葉斯公式未獲得觀測(cè)數(shù)據(jù)之前類別的分布觀測(cè)數(shù)據(jù)在各類別種情況下的分布X屬于哪一類的概率其中：精選最小錯(cuò)誤率準(zhǔn)則先驗(yàn)概率：未獲得觀測(cè)數(shù)據(jù)之前類別的分布觀測(cè)數(shù)據(jù)最小錯(cuò)誤率準(zhǔn)則

例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來(lái)判斷病人是否患血液病。兩類識(shí)別問(wèn)題：患病，未患病根據(jù)醫(yī)學(xué)知識(shí)和以往的經(jīng)驗(yàn)，醫(yī)生知道：患病的人，白細(xì)胞的濃度服從均值2000方差1000的正態(tài)分布；未患病的人，白細(xì)胞的濃度服從均值7000，方差3000的正態(tài)分布；（類條件概率）一般人群中，患病的人數(shù)比例為0.5%；（先驗(yàn)概率）一個(gè)人的白細(xì)胞濃度時(shí)3100，醫(yī)生應(yīng)該做出怎樣的判斷？（后驗(yàn)概率？）精選最小錯(cuò)誤率準(zhǔn)則例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來(lái)最小錯(cuò)誤率準(zhǔn)則數(shù)學(xué)表示：

Ω：表示類別這一隨機(jī)變量ω1：表示患病ω2：表示不患病

X：表示白細(xì)胞濃度這一隨機(jī)變量

x：表示白細(xì)胞濃度值精選最小錯(cuò)誤率準(zhǔn)則數(shù)學(xué)表示：精選最小錯(cuò)誤率準(zhǔn)則醫(yī)生根據(jù)已經(jīng)掌握的知識(shí)知道類別的先驗(yàn)分布：先驗(yàn)概率分布：未獲得觀測(cè)數(shù)據(jù)（病人白細(xì)胞濃度）之前類別的分布。精選最小錯(cuò)誤率準(zhǔn)則醫(yī)生根據(jù)已經(jīng)掌握的知識(shí)知道類別的先驗(yàn)分布：先驗(yàn)最小錯(cuò)誤率準(zhǔn)則觀測(cè)數(shù)據(jù)白細(xì)胞濃度分別在兩種情況下的類條件概率分布：已知先驗(yàn)分布和觀測(cè)值的類條件概率分布，就可以用貝葉斯理論求得x屬于哪一類的后驗(yàn)概率：和精選最小錯(cuò)誤率準(zhǔn)則觀測(cè)數(shù)據(jù)白細(xì)胞濃度分別在兩種情況下的類條件概率最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則以先驗(yàn)概率、類條件概率密度、特征值（向量）為輸入以后驗(yàn)概率作為類別判斷的依據(jù)貝葉斯公式保證了錯(cuò)誤率最小精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率的貝葉斯決策規(guī)則為：

如果大于，則把x歸于患病狀態(tài)，反之則歸于未患病狀態(tài)。（最大后驗(yàn)概率決策）

x1=x2?精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率的貝葉斯決策規(guī)則為：x1=x2?精最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：x2=x3x2和x3都是p(x,ω1)=p(x,ω2)的根，因此是兩類分界精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：x2=x3x2和x最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：記平均錯(cuò)誤率為P(e)，令t=x2=x3，則精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：精選最小錯(cuò)誤率準(zhǔn)則平均錯(cuò)誤率是否最??？精選最小錯(cuò)誤率準(zhǔn)則平均錯(cuò)誤率是否最??？精選最小錯(cuò)誤率準(zhǔn)則似然比公式則：等價(jià)于：似然比公式精選最小錯(cuò)誤率準(zhǔn)則似然比公式則：等價(jià)于：似然比公式精選最小錯(cuò)誤率準(zhǔn)則特例1：精選最小錯(cuò)誤率準(zhǔn)則特例1：精選最小錯(cuò)誤率準(zhǔn)則特例2：精選最小錯(cuò)誤率準(zhǔn)則特例2：精選最小錯(cuò)誤率準(zhǔn)則形式邏輯（經(jīng)典確定性推理）以鱸魚和鮭魚分類為例：假言：如果魚的長(zhǎng)度大于45cm，則該魚為鱸魚，否則該魚為鮭魚前提：現(xiàn)在某條魚結(jié)論：該魚為鮭魚概率推理（不確定性推理）精選最小錯(cuò)誤率準(zhǔn)則形式邏輯（經(jīng)典確定性推理）精選最小錯(cuò)誤率準(zhǔn)則例子：給定，類條件概率密度如圖?，F(xiàn)有一條魚x=38cm，若采用最小錯(cuò)誤率決策，該魚應(yīng)該為哪一類？

故判決：精選最小錯(cuò)誤率準(zhǔn)則例子：故判決：精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策：考慮各種錯(cuò)誤造成損失不同而提出的一種決策規(guī)則。條件風(fēng)險(xiǎn)：精選最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策：考慮各種錯(cuò)誤造成損失不同而提最小風(fēng)險(xiǎn)準(zhǔn)則期望風(fēng)險(xiǎn)：對(duì)于x的不同觀察值，采取決策αi時(shí)，其條件風(fēng)險(xiǎn)大小是不同的。所以究竟采取哪一種決策將隨x的取值而定。這樣，決策α可以看成隨機(jī)向量x的函數(shù)，記為α(x)。可以定義期望風(fēng)險(xiǎn)Rexp為：期望風(fēng)險(xiǎn)反映對(duì)整個(gè)空間上所有x的取值采取相應(yīng)的決策α(x)所帶來(lái)的平均風(fēng)險(xiǎn)。精選最小風(fēng)險(xiǎn)準(zhǔn)則期望風(fēng)險(xiǎn)：對(duì)于x的不同觀察值，采取決策αi時(shí)，其最小風(fēng)險(xiǎn)準(zhǔn)則兩分類問(wèn)題的例子：精選最小風(fēng)險(xiǎn)準(zhǔn)則兩分類問(wèn)題的例子：精選似然比公式精選似然比公式精選最小風(fēng)險(xiǎn)準(zhǔn)則不同的損失函數(shù)決定了不同的似然比判決閾值θ：θ

a：0-1損失θ

b：λ12>λ21每一類的判決域可能是不連續(xù)的!精選最小風(fēng)險(xiǎn)準(zhǔn)則不同的損失函數(shù)決定了不同的似然比判決閾值θ：θ最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策的步驟：1）根據(jù)先驗(yàn)概率和類條件概率計(jì)算出后驗(yàn)概率；2）利用后驗(yàn)概率和損失矩陣計(jì)算采取每種決策的條件風(fēng)險(xiǎn)；3）比較各個(gè)條件風(fēng)險(xiǎn)的值，條件風(fēng)險(xiǎn)最小的決策即為最小風(fēng)險(xiǎn)貝葉斯決策精選最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策的步驟：精選最小風(fēng)險(xiǎn)準(zhǔn)則精選最小風(fēng)險(xiǎn)準(zhǔn)則精選最小風(fēng)險(xiǎn)準(zhǔn)則對(duì)于貝葉斯最小風(fēng)險(xiǎn)決策，如果損失函數(shù)為“0-1損失”，即取如下的形式：

那么，條件風(fēng)險(xiǎn)為：此時(shí)，貝葉斯最小風(fēng)險(xiǎn)決策與最小錯(cuò)誤率決策等價(jià)。精選最小風(fēng)險(xiǎn)準(zhǔn)則對(duì)于貝葉斯最小風(fēng)險(xiǎn)決策，如果損失函數(shù)為“0-1損Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則:

后驗(yàn)概率最大化，理論上錯(cuò)誤率最小最小風(fēng)險(xiǎn)準(zhǔn)則：風(fēng)險(xiǎn)函數(shù)最小化，理論上總風(fēng)險(xiǎn)最小在先驗(yàn)概率和損失未知的情況下如何決策？精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則:精選Neyman-Pearson準(zhǔn)則問(wèn)題：先驗(yàn)概率和損失未知通常情況下，無(wú)法確定損失。先驗(yàn)概率未知，是一個(gè)確定的值某一種錯(cuò)誤較另一種錯(cuò)誤更為重要?；舅枷耄阂笠活愬e(cuò)誤率控制在很小，在滿足此條件的前提下再使另一類錯(cuò)誤率盡可能小。用lagrange乘子法求條件極值精選Neyman-Pearson準(zhǔn)則問(wèn)題：先驗(yàn)概率和損失未知精選Neyman-Pearson準(zhǔn)則對(duì)兩分類問(wèn)題，錯(cuò)誤率可以寫為：由于P(ω1)

和P(ω2)對(duì)具體問(wèn)題往往是確定的（但是未知），一般稱P1(e)和P2(e)為兩類錯(cuò)誤率。P1(e)和P2(e)的值決定了P(e)的值。精選Neyman-Pearson準(zhǔn)則對(duì)兩分類問(wèn)題，錯(cuò)誤率可以寫為Neyman-Pearson準(zhǔn)則精選Neyman-Pearson準(zhǔn)則精選Neyman-Pearson準(zhǔn)則為了求L的極值點(diǎn)，將L分別對(duì)t

和λ求偏導(dǎo)：注意：這里分析的是兩類錯(cuò)誤率，與先驗(yàn)概率無(wú)關(guān)！決策準(zhǔn)則

？精選Neyman-Pearson準(zhǔn)則為了求L的極值點(diǎn)，將L分精選精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的等價(jià)形式Neyman-Pearson準(zhǔn)則

兩者都以似然比為基礎(chǔ)，在未知先驗(yàn)概率時(shí)使用Neyman-Pearson準(zhǔn)則。精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的等價(jià)形式NeBayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小最大決策準(zhǔn)則Neyman-Pearson準(zhǔn)則假定先驗(yàn)概率是一個(gè)確定的值，此時(shí)判定結(jié)果會(huì)受到先驗(yàn)概率的影響。實(shí)際中，類先驗(yàn)概率P(i)往往不能精確知道或在分析過(guò)程中是變動(dòng)的，從而導(dǎo)致判決域不是最佳的。所以應(yīng)考慮如何解決在P(i)不確知或變動(dòng)的情況下使期望風(fēng)險(xiǎn)變大的問(wèn)題。最小最大決策準(zhǔn)則：在最差的條件下?tīng)?zhēng)取最好的結(jié)果，使最大風(fēng)險(xiǎn)最??！精選最小最大決策準(zhǔn)則Neyman-Pearson準(zhǔn)則假定先驗(yàn)概率最小最大決策準(zhǔn)則分析期望風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)的關(guān)系：

對(duì)于兩類問(wèn)題，設(shè)一種分類識(shí)別決策將特征空間R劃分為兩個(gè)子空間R1和R2，記λij為將屬于ωi類的模式判為ωj類的損失函數(shù)，各種判決的期望風(fēng)險(xiǎn)為：精選最小最大決策準(zhǔn)則分析期望風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)的最小最大決策準(zhǔn)則將)(1)(12w-=wPP和帶入上式：精選最小最大決策準(zhǔn)則將)(1)(12w-=wPP和帶入上式：精選最小最大決策準(zhǔn)則期望風(fēng)險(xiǎn)可寫成：一旦R1和R2確定，a和b為常數(shù)一旦R1和R2確定，

R

與P(ω1)成線性關(guān)系選擇使b=0的R1和R2，期望風(fēng)險(xiǎn)與P(ω1)無(wú)關(guān)！精選最小最大決策準(zhǔn)則期望風(fēng)險(xiǎn)可寫成：一旦R1和R2確定，最小最大決策準(zhǔn)則PA(1)1p(1)ACDR*BR*B0D’C’R1

,R2不變R1

,R2改變PB(1)b=0此時(shí)最大風(fēng)險(xiǎn)最小,D'=ab=0時(shí)的p(1)精選最小最大決策準(zhǔn)則PA(1)1p(1)ACDR*B最小最大決策準(zhǔn)則求b=0時(shí)的p(1)等價(jià)于在R隨著p(1)的變化曲線上求：時(shí)的p(1)。在b=0時(shí)的決策條件下，期望風(fēng)險(xiǎn)與p(1)無(wú)關(guān)，值為a，此時(shí)，R的最大值最小。這種決策準(zhǔn)則稱為最小最大決策準(zhǔn)則。精選最小最大決策準(zhǔn)則求b=0時(shí)的p(1)等價(jià)于在R隨著最小最大決策準(zhǔn)則由于：當(dāng)采用0-1損失函數(shù)時(shí)，b=0可推導(dǎo)出：此時(shí)，最小最大損失判決所導(dǎo)出的最佳分界面應(yīng)使兩類錯(cuò)誤概率相等！精選最小最大決策準(zhǔn)則由于：此時(shí)，最小最大損失判決所導(dǎo)出的最佳分界貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選分類器，判別函數(shù)，決策面分類器最常用的表述方式為判別函數(shù)：基于判別函數(shù)的判決每個(gè)類別對(duì)應(yīng)一個(gè)判別函數(shù)。如果：則模式為精選分類器，判別函數(shù)，決策面分類器最常用的表述方式為判別函數(shù)：分類器，判別函數(shù)，決策面判別函數(shù)Discriminantfunctions精選分類器，判別函數(shù)，決策面判別函數(shù)精選分類器，判別函數(shù)，決策面基于最小誤差概率的貝葉斯分類器基于最小總風(fēng)險(xiǎn)的貝葉斯分類器精選分類器，判別函數(shù)，決策面基于最小誤差概率的貝葉斯分類器精選分類器，判別函數(shù)，決策面表達(dá)同樣的判決規(guī)則可能采用不同的判別函數(shù)，只要滿足如下條件：用f(gi(x))替換gi(x)，其中f(*)為單調(diào)遞增函數(shù)例如：

gi(x)kgi(x),k為正常數(shù)

gi(x)gi(x)+k,k為任意常數(shù)

gi(x)log(gi(x))精選分類器，判別函數(shù)，決策面表達(dá)同樣的判決規(guī)則可能采用不同的判別分類器，判別函數(shù)，決策面特殊的，對(duì)于兩分類問(wèn)題，也可以只用一個(gè)判別函數(shù)

令：判決規(guī)則例如：如果：則模式為否則為精選分類器，判別函數(shù)，決策面特殊的，對(duì)于兩分類問(wèn)題，也可以只用一分類器，判別函數(shù)，決策面判決區(qū)域:

判決區(qū)域Ri是特征空間中的一個(gè)子空間，判決規(guī)則將所有落入Ri的樣本x分類為類別ωi。決策面（DecisionSurface）：判決邊界是特征空間中劃分判決區(qū)域的（超）平面在判決邊界上，通常有兩類或多類的判別函數(shù)值相等精選分類器，判別函數(shù)，決策面判決區(qū)域:精選分類器，判別函數(shù)，決策面判別函數(shù)和決策面：精選分類器，判別函數(shù)，決策面判別函數(shù)和決策面：精選分類器，判別函數(shù)，決策面分類器設(shè)計(jì)就是設(shè)計(jì)判別函數(shù)，求出判定面方程g(x)!精選分類器，判別函數(shù)，決策面分類器設(shè)計(jì)就是設(shè)計(jì)判別函數(shù)，求出判定貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選正態(tài)分布的統(tǒng)計(jì)決策為什么研究正態(tài)分布？物理上的合理性：較符合很多實(shí)際情況，觀測(cè)值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理，服從正態(tài)分布。數(shù)學(xué)上比較簡(jiǎn)單：參數(shù)個(gè)數(shù)少單變量正態(tài)分布多元正態(tài)分布精選正態(tài)分布的統(tǒng)計(jì)決策為什么研究正態(tài)分布？精選正態(tài)分布的統(tǒng)計(jì)決策單變量正態(tài)分布密度函數(shù)（高斯分布）：精選正態(tài)分布的統(tǒng)計(jì)決策單變量正態(tài)分布密度函數(shù)（高斯分布）：精選正態(tài)分布的統(tǒng)計(jì)決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣(對(duì)稱非負(fù)定)精選正態(tài)分布的統(tǒng)計(jì)決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣多元正態(tài)分布的性質(zhì)參數(shù)個(gè)數(shù)：d+d(d+1)/2

均值向量：d個(gè)參數(shù)協(xié)方差矩陣：對(duì)稱的d維矩陣，d(d+1)/2個(gè)參數(shù)等密度點(diǎn)的軌跡為一超橢球面要使密度p(x)值不變，需指數(shù)項(xiàng)為常數(shù)，即：超橢球面精選多元正態(tài)分布的性質(zhì)參數(shù)個(gè)數(shù)：d+d(d+1)/2要使密度p(多元正態(tài)分布的性質(zhì)馬氏距離(MahanlanobisDistance)：與歐式距離：不同，馬氏距離考慮數(shù)據(jù)的統(tǒng)計(jì)分布，在模式識(shí)別中有廣泛的用處。精選多元正態(tài)分布的性質(zhì)馬氏距離(MahanlanobisDis多元正態(tài)分布的性質(zhì)正態(tài)分布的隨機(jī)變量，不相關(guān)等價(jià)于獨(dú)立邊緣分布仍是正態(tài)分布精選多元正態(tài)分布的性質(zhì)正態(tài)分布的隨機(jī)變量，不相關(guān)等價(jià)于獨(dú)立邊緣分多元正態(tài)分布的性質(zhì)線性變換仍是正態(tài)分布線性組合仍是正態(tài)分布（線性變換的特例）一維正態(tài)隨機(jī)變量精選多元正態(tài)分布的性質(zhì)線性變換仍是正態(tài)分布線性組合仍是正態(tài)分布（多元正態(tài)分布的性質(zhì)精選多元正態(tài)分布的性質(zhì)精選正態(tài)分布的判別函數(shù)貝葉斯判別函數(shù)可以寫成對(duì)數(shù)形式：

類條件概率密度函數(shù)為正態(tài)分布時(shí)：精選正態(tài)分布的判別函數(shù)貝葉斯判別函數(shù)可以寫成對(duì)數(shù)形式：類條件概正態(tài)分布的判別函數(shù)情況一：各類協(xié)方差陣相等，且各特征獨(dú)立，方差相等情況二：各類協(xié)方差陣相等情況三：各類協(xié)方差陣不相等

任意的精選正態(tài)分布的判別函數(shù)情況一：各類協(xié)方差陣相等，且各特征獨(dú)立，方情況一：將代入得到?jīng)Q策函數(shù)展開(kāi)決策函數(shù)其中，二次項(xiàng)對(duì)所有的i是相等的精選情況一：將代入得到?jīng)Q策函數(shù)展開(kāi)決策函數(shù)其中，二次項(xiàng)對(duì)所有的正交因此，等價(jià)的判決函數(shù)為：其中：決策面可以寫成：其中：過(guò)與的超平面精選正交因此，等價(jià)的判決函數(shù)為：其中：決策面可以寫成：其中：過(guò)當(dāng)，但是，如果當(dāng)，向先驗(yàn)概率小的方向偏移。位于兩中心的中點(diǎn)；相對(duì)于平方距離較小，那么判決邊界的位置相對(duì)于確切的先驗(yàn)概率值并不敏感。在此情況下，最優(yōu)判決的規(guī)則為：為將某特征向量x歸類，通過(guò)測(cè)量每一x到c個(gè)均值向量中心的每一個(gè)歐氏距離，并將x歸為離它最近的那一類。這樣的分類器稱為“最小距離分類器”。精選當(dāng)，但是，如果當(dāng)，向先驗(yàn)概率小的方向偏移。位于兩中心的中點(diǎn)；情況一：最小距離分類器最小距離分類器判決邊界是d-1維超平面，垂直于兩類中心的連線精選情況一：最小距離分類器最小距離分類器判決邊界是d-1維超平面情況一：最小距離分類器上述結(jié)果表示在二維特征空間里，如下圖所示：可以推廣到多類的情況，注意這種分類方法沒(méi)有不確定的區(qū)域。

向先驗(yàn)概率兩類判決面與垂直，的中點(diǎn)時(shí)其交點(diǎn)為為時(shí)較小類型的均值點(diǎn)偏移。精選情況一：最小距離分類器上述結(jié)果表示在二維特征空間里，如下圖所各類的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類樣本集中在以該類均值為中心的同樣大小和形狀的超橢球內(nèi)。情況二：

決策函數(shù)不變，與i無(wú)關(guān)：精選各類的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類樣本集中在以該類均一個(gè)特例：當(dāng)時(shí)，各樣本先驗(yàn)概率相等。其中：為x到均值點(diǎn)的“馬氏距離”（Mahalanobis）的平方。對(duì)于樣本x只要計(jì)算出，把x歸于最小的類別。

進(jìn)一步簡(jiǎn)化：

精選一個(gè)特例：當(dāng)時(shí)，各樣本先驗(yàn)概率相等。其中：為x到均值點(diǎn)的“馬一般地，決策函數(shù)展開(kāi)決策函數(shù)對(duì)所有的i是相等的，則其中：精選一般地，決策函數(shù)展開(kāi)決策函數(shù)對(duì)所有的i是相等的，則其中：正交決策面可以寫成：其中：過(guò)與的超平面由于并非沿著方向，因此分界面并非與均值間的連線垂直正交。精選正交決策面可以寫成：其中：過(guò)與的超平面由于并非沿著方當(dāng)各類先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概率較小的均值點(diǎn)。上述結(jié)果表示在二維特征空間里，如下圖所示：

當(dāng)各類先驗(yàn)概率相等時(shí)，判決面與的交點(diǎn)精選當(dāng)各類先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概時(shí)決策面向先驗(yàn)概率小的方向偏移精選時(shí)決策面向先驗(yàn)概率小的方向偏移精選情況三：任意的去掉與i無(wú)關(guān)的項(xiàng)：可以寫為：其中二次項(xiàng)，一次項(xiàng)系數(shù)和常數(shù)項(xiàng)分別為：由于：精選情況三：任意的去掉與i無(wú)關(guān)的項(xiàng)：可以寫為：其中二次項(xiàng)，一次項(xiàng)——對(duì)應(yīng)的決策面為超二次曲面。第i類和第j類的決策面為：隨著的不同，超二次曲面可以為：超球面、超橢球面、超拋物面、超雙曲面，或超平面等。即：精選——對(duì)應(yīng)的決策面為超二次曲面。第i類和第j類的決策面甚至在方差不相等的一維高斯分布情況下，其判決區(qū)域也可以不連通！精選甚至在方差不相等的一維高斯分布情況下，其判決區(qū)域也可以不連通情況三：各類協(xié)方差不同，決策面為為超二次曲面。上述結(jié)果表示在二維特征空間里，如下圖所示：精選情況三：各類協(xié)方差不同，決策面為為超二次曲面。上述結(jié)果表示在精選精選正態(tài)分布的判別函數(shù)例：兩類正態(tài)分布樣本：求決策面方程精選正態(tài)分布的判別函數(shù)例：兩類正態(tài)分布樣本：求決策面方程精選令精選令精選求決策面方程為：和中點(diǎn)偏下精選求決策面方程為：和中點(diǎn)偏下精選貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選Bayesian置信網(wǎng)有些情況下，隨機(jī)變量的分布無(wú)法得到概率密度表達(dá)式，但是知道該隨機(jī)變量和另外一個(gè)隨機(jī)變量的關(guān)系。Bayesian置信網(wǎng)（BayesianBeliefNet）利用特征之間的相互影響（因果關(guān)系）來(lái)進(jìn)行決策用圖的形式（有向無(wú)環(huán)圖）表示表示因果依賴關(guān)系更適合離散變量又稱為因果網(wǎng)（causalnetwork）置信網(wǎng)（BeliefNet）精選Bayesian置信網(wǎng)有些情況下，隨機(jī)變量的分布無(wú)法得到概率Bayesian置信網(wǎng)實(shí)例的屬性存在如下關(guān)系一些屬性之間是條件獨(dú)立的一些屬性之間存在條件依賴（因果關(guān)系）Bayesian置信網(wǎng)可以看作是一種圖關(guān)系的學(xué)習(xí)器一種表達(dá)因果關(guān)系的聯(lián)合概率分布精選Bayesian置信網(wǎng)實(shí)例的屬性存在如下關(guān)系精選Bayesian置信網(wǎng)BayesianBeliefNet結(jié)構(gòu)：有向無(wú)環(huán)圖頂點(diǎn)：特征變量邊：起點(diǎn)變量對(duì)終點(diǎn)變量的影響（條件概率）例子：如右圖精選Bayesian置信網(wǎng)BayesianBeliefNet條件獨(dú)立縱向條件獨(dú)立的定義：縱向條件獨(dú)立（如右圖）：給定b，變量a與變量c條件獨(dú)立?？偨Y(jié)：如果a到c之間存在通路，給定ac上比c更近的變量b，則a與c在給定b條件下獨(dú)立。與獨(dú)立有區(qū)別精選條件獨(dú)立縱向條件獨(dú)立的定義：與獨(dú)立有區(qū)別精選條件獨(dú)立橫向條件獨(dú)立的定義：橫向條件獨(dú)立（如右圖）：給定a，變量b與變量c條件獨(dú)立?？偨Y(jié)：如果b到c之間不存在通路，給定c的所有直接變量a，則b與c在給定a條件下獨(dú)立。與獨(dú)立有區(qū)別精選條件獨(dú)立橫向條件獨(dú)立的定義：與獨(dú)立有區(qū)別精選聯(lián)合概率的計(jì)算聯(lián)合概率的計(jì)算：精選聯(lián)合概率的計(jì)算聯(lián)合概率的計(jì)算：精選聯(lián)合概率的計(jì)算聯(lián)合概率的計(jì)算：精選聯(lián)合概率的計(jì)算聯(lián)合概率的計(jì)算：精選聯(lián)合概率的計(jì)算更復(fù)雜的例子精選聯(lián)合概率的計(jì)算更復(fù)雜的例子精選聯(lián)合概率的計(jì)算原子概率稱為一個(gè)原子概率精選聯(lián)合概率的計(jì)算原子概率稱為一個(gè)原子概率精選例子求：精選例子求：精選例子求：精選例子求：精選例子求：精選例子求：精選例子求：精選例子求：精選條件概率的計(jì)算條件概率計(jì)算：精選條件概率的計(jì)算條件概率計(jì)算：精選例子求：精選例子求：精選Bayesian置信網(wǎng)Bayesian置信網(wǎng)的決策確定性證據(jù)決策(樸素BayesianBN決策)不完整確定性證據(jù)決策不確定性證據(jù)決策精選Bayesian置信網(wǎng)Bayesian置信網(wǎng)的決策精選Bayesian置信網(wǎng)確定性證據(jù)決策(樸素BayesianBN決策)：已知一BayesianBN包含變量x=(xg,xb)和y。完整確定性證據(jù)：現(xiàn)給定某樣本x0，要求預(yù)測(cè)y最可能的取值？求解后驗(yàn)概率：采用MAP決策：精選Bayesian置信網(wǎng)確定性證據(jù)決策(樸素Bayesian繼續(xù)前面的例子：已知c=T,s=F,r=F,求最大可能的w?所以：精選繼續(xù)前面的例子：所以：精選Bayesian置信網(wǎng)不完整確定性證據(jù)決策：已知一BayesianBN包含變量x=(xg,xb)和y。不完整確定性證據(jù)：現(xiàn)給定某樣本x0=(x0g,?)，要求預(yù)測(cè)y最可能的取值？求解后驗(yàn)概率：采用MAP決策：精選Bayesian置信網(wǎng)不完整確定性證據(jù)決策：精選繼續(xù)前面的例子：已知c=T,求最大可能的w?所以：精選繼續(xù)前面的例子：所以：精選Bayesian置信網(wǎng)不確定性證據(jù)決策：不確定性證據(jù)：證據(jù)不是確定的值，而是某個(gè)概率分布等。不確定性證據(jù)決策：

給定不確定性證據(jù)e，e包含兩個(gè)部分ep和ec，要求對(duì)y做決策父節(jié)點(diǎn)P子節(jié)點(diǎn)C精選Bayesian置信網(wǎng)不確定性證據(jù)決策：父節(jié)點(diǎn)P子節(jié)點(diǎn)C精選問(wèn)：冬天捕到亮度高的魚，該魚最有可能是鱸魚還是鮭魚？（對(duì)f的決策）北：北大西洋

南：南大西洋精選問(wèn)：冬天捕到亮度高的魚，該魚最有可能是鱸魚還是鮭魚？（對(duì)f的北：北大西洋

南：南大西洋冬天捕到兩種魚的概率精選北：北大西洋南：南大西洋冬天捕到兩種魚的概率精選北：北大西洋

南：南大西洋魚的亮度為亮，長(zhǎng)度被遮擋精選北：北大西洋南：南大西洋魚的亮度為亮，長(zhǎng)度被遮擋精選所以北：北大西洋

南：南大西洋精選所以北：北大西洋南：南大西洋精選貝葉斯決策理論

BayesianDecisionTheory劉芳，戚玉濤qi_yutao@163.com精選貝葉斯決策理論

BayesianDecisionTheo貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選引言機(jī)器自動(dòng)識(shí)別分類，能不能避免錯(cuò)分類，做到百分之百正確？怎樣才能減少錯(cuò)誤？錯(cuò)分類往往難以避免，因此就要考慮減小因錯(cuò)分類造成的危害損失，那么有沒(méi)有可能對(duì)危害大的錯(cuò)誤嚴(yán)格控制？什么是先驗(yàn)概率、類概率密度函數(shù)和后驗(yàn)概率？它們的定義和相互關(guān)系如何?貝葉斯公式正是體現(xiàn)三者關(guān)系的式子。精選引言機(jī)器自動(dòng)識(shí)別分類，能不能避免錯(cuò)分類，做到百分之百正確？怎引言貝葉斯決策理論 貝葉斯統(tǒng)計(jì)決策理論是處理模式分類問(wèn)題的基本理論之一，對(duì)模式分析和分類器（Classifier）的設(shè)計(jì)起指導(dǎo)作用。貝葉斯決策的兩個(gè)要求各個(gè)類別的總體概率分布(先驗(yàn)概率和類條件概率密度)是已知的要決策分類的類別數(shù)是一定的精選引言貝葉斯決策理論精選引言在連續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d種特征觀察量x1,x2,…xd，這些特征的所有可能的取值范圍構(gòu)成了d維特征空間。稱向量假設(shè)要研究的分類問(wèn)題有c個(gè)類別，類型空間表示為：為d維特征向量。精選引言在連續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d種特征觀察量x1引言評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問(wèn)題，采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策。貝葉斯決策常用的準(zhǔn)則：

最小錯(cuò)誤率準(zhǔn)則

最小風(fēng)險(xiǎn)準(zhǔn)則

Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選引言評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問(wèn)題，采用不同的標(biāo)準(zhǔn)會(huì)得到貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小錯(cuò)誤率準(zhǔn)則黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計(jì)決策理論就是根據(jù)每一類總體的概率分布決定未知類別的樣本屬于哪一類！精選最小錯(cuò)誤率準(zhǔn)則黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計(jì)決策最小錯(cuò)誤率準(zhǔn)則先驗(yàn)概率：類條件概率：后驗(yàn)概率：貝葉斯公式未獲得觀測(cè)數(shù)據(jù)之前類別的分布觀測(cè)數(shù)據(jù)在各類別種情況下的分布X屬于哪一類的概率其中：精選最小錯(cuò)誤率準(zhǔn)則先驗(yàn)概率：未獲得觀測(cè)數(shù)據(jù)之前類別的分布觀測(cè)數(shù)據(jù)最小錯(cuò)誤率準(zhǔn)則

例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來(lái)判斷病人是否患血液病。兩類識(shí)別問(wèn)題：患病，未患病根據(jù)醫(yī)學(xué)知識(shí)和以往的經(jīng)驗(yàn)，醫(yī)生知道：患病的人，白細(xì)胞的濃度服從均值2000方差1000的正態(tài)分布；未患病的人，白細(xì)胞的濃度服從均值7000，方差3000的正態(tài)分布；（類條件概率）一般人群中，患病的人數(shù)比例為0.5%；（先驗(yàn)概率）一個(gè)人的白細(xì)胞濃度時(shí)3100，醫(yī)生應(yīng)該做出怎樣的判斷？（后驗(yàn)概率？）精選最小錯(cuò)誤率準(zhǔn)則例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來(lái)最小錯(cuò)誤率準(zhǔn)則數(shù)學(xué)表示：

Ω：表示類別這一隨機(jī)變量ω1：表示患病ω2：表示不患病

X：表示白細(xì)胞濃度這一隨機(jī)變量

x：表示白細(xì)胞濃度值精選最小錯(cuò)誤率準(zhǔn)則數(shù)學(xué)表示：精選最小錯(cuò)誤率準(zhǔn)則醫(yī)生根據(jù)已經(jīng)掌握的知識(shí)知道類別的先驗(yàn)分布：先驗(yàn)概率分布：未獲得觀測(cè)數(shù)據(jù)（病人白細(xì)胞濃度）之前類別的分布。精選最小錯(cuò)誤率準(zhǔn)則醫(yī)生根據(jù)已經(jīng)掌握的知識(shí)知道類別的先驗(yàn)分布：先驗(yàn)最小錯(cuò)誤率準(zhǔn)則觀測(cè)數(shù)據(jù)白細(xì)胞濃度分別在兩種情況下的類條件概率分布：已知先驗(yàn)分布和觀測(cè)值的類條件概率分布，就可以用貝葉斯理論求得x屬于哪一類的后驗(yàn)概率：和精選最小錯(cuò)誤率準(zhǔn)則觀測(cè)數(shù)據(jù)白細(xì)胞濃度分別在兩種情況下的類條件概率最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則以先驗(yàn)概率、類條件概率密度、特征值（向量）為輸入以后驗(yàn)概率作為類別判斷的依據(jù)貝葉斯公式保證了錯(cuò)誤率最小精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率的貝葉斯決策規(guī)則為：

如果大于，則把x歸于患病狀態(tài)，反之則歸于未患病狀態(tài)。（最大后驗(yàn)概率決策）

x1=x2?精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率的貝葉斯決策規(guī)則為：x1=x2?精最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：x2=x3x2和x3都是p(x,ω1)=p(x,ω2)的根，因此是兩類分界精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：x2=x3x2和x最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：記平均錯(cuò)誤率為P(e)，令t=x2=x3，則精選最小錯(cuò)誤率準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：精選最小錯(cuò)誤率準(zhǔn)則平均錯(cuò)誤率是否最??？精選最小錯(cuò)誤率準(zhǔn)則平均錯(cuò)誤率是否最?。烤x最小錯(cuò)誤率準(zhǔn)則似然比公式則：等價(jià)于：似然比公式精選最小錯(cuò)誤率準(zhǔn)則似然比公式則：等價(jià)于：似然比公式精選最小錯(cuò)誤率準(zhǔn)則特例1：精選最小錯(cuò)誤率準(zhǔn)則特例1：精選最小錯(cuò)誤率準(zhǔn)則特例2：精選最小錯(cuò)誤率準(zhǔn)則特例2：精選最小錯(cuò)誤率準(zhǔn)則形式邏輯（經(jīng)典確定性推理）以鱸魚和鮭魚分類為例：假言：如果魚的長(zhǎng)度大于45cm，則該魚為鱸魚，否則該魚為鮭魚前提：現(xiàn)在某條魚結(jié)論：該魚為鮭魚概率推理（不確定性推理）精選最小錯(cuò)誤率準(zhǔn)則形式邏輯（經(jīng)典確定性推理）精選最小錯(cuò)誤率準(zhǔn)則例子：給定，類條件概率密度如圖?，F(xiàn)有一條魚x=38cm，若采用最小錯(cuò)誤率決策，該魚應(yīng)該為哪一類？

故判決：精選最小錯(cuò)誤率準(zhǔn)則例子：故判決：精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策：考慮各種錯(cuò)誤造成損失不同而提出的一種決策規(guī)則。條件風(fēng)險(xiǎn)：精選最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策：考慮各種錯(cuò)誤造成損失不同而提最小風(fēng)險(xiǎn)準(zhǔn)則期望風(fēng)險(xiǎn)：對(duì)于x的不同觀察值，采取決策αi時(shí)，其條件風(fēng)險(xiǎn)大小是不同的。所以究竟采取哪一種決策將隨x的取值而定。這樣，決策α可以看成隨機(jī)向量x的函數(shù)，記為α(x)?？梢远x期望風(fēng)險(xiǎn)Rexp為：期望風(fēng)險(xiǎn)反映對(duì)整個(gè)空間上所有x的取值采取相應(yīng)的決策α(x)所帶來(lái)的平均風(fēng)險(xiǎn)。精選最小風(fēng)險(xiǎn)準(zhǔn)則期望風(fēng)險(xiǎn)：對(duì)于x的不同觀察值，采取決策αi時(shí)，其最小風(fēng)險(xiǎn)準(zhǔn)則兩分類問(wèn)題的例子：精選最小風(fēng)險(xiǎn)準(zhǔn)則兩分類問(wèn)題的例子：精選似然比公式精選似然比公式精選最小風(fēng)險(xiǎn)準(zhǔn)則不同的損失函數(shù)決定了不同的似然比判決閾值θ：θ

a：0-1損失θ

b：λ12>λ21每一類的判決域可能是不連續(xù)的!精選最小風(fēng)險(xiǎn)準(zhǔn)則不同的損失函數(shù)決定了不同的似然比判決閾值θ：θ最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策的步驟：1）根據(jù)先驗(yàn)概率和類條件概率計(jì)算出后驗(yàn)概率；2）利用后驗(yàn)概率和損失矩陣計(jì)算采取每種決策的條件風(fēng)險(xiǎn)；3）比較各個(gè)條件風(fēng)險(xiǎn)的值，條件風(fēng)險(xiǎn)最小的決策即為最小風(fēng)險(xiǎn)貝葉斯決策精選最小風(fēng)險(xiǎn)準(zhǔn)則最小風(fēng)險(xiǎn)貝葉斯決策的步驟：精選最小風(fēng)險(xiǎn)準(zhǔn)則精選最小風(fēng)險(xiǎn)準(zhǔn)則精選最小風(fēng)險(xiǎn)準(zhǔn)則對(duì)于貝葉斯最小風(fēng)險(xiǎn)決策，如果損失函數(shù)為“0-1損失”，即取如下的形式：

那么，條件風(fēng)險(xiǎn)為：此時(shí)，貝葉斯最小風(fēng)險(xiǎn)決策與最小錯(cuò)誤率決策等價(jià)。精選最小風(fēng)險(xiǎn)準(zhǔn)則對(duì)于貝葉斯最小風(fēng)險(xiǎn)決策，如果損失函數(shù)為“0-1損Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則:

后驗(yàn)概率最大化，理論上錯(cuò)誤率最小最小風(fēng)險(xiǎn)準(zhǔn)則：風(fēng)險(xiǎn)函數(shù)最小化，理論上總風(fēng)險(xiǎn)最小在先驗(yàn)概率和損失未知的情況下如何決策？精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則:精選Neyman-Pearson準(zhǔn)則問(wèn)題：先驗(yàn)概率和損失未知通常情況下，無(wú)法確定損失。先驗(yàn)概率未知，是一個(gè)確定的值某一種錯(cuò)誤較另一種錯(cuò)誤更為重要?；舅枷耄阂笠活愬e(cuò)誤率控制在很小，在滿足此條件的前提下再使另一類錯(cuò)誤率盡可能小。用lagrange乘子法求條件極值精選Neyman-Pearson準(zhǔn)則問(wèn)題：先驗(yàn)概率和損失未知精選Neyman-Pearson準(zhǔn)則對(duì)兩分類問(wèn)題，錯(cuò)誤率可以寫為：由于P(ω1)

和P(ω2)對(duì)具體問(wèn)題往往是確定的（但是未知），一般稱P1(e)和P2(e)為兩類錯(cuò)誤率。P1(e)和P2(e)的值決定了P(e)的值。精選Neyman-Pearson準(zhǔn)則對(duì)兩分類問(wèn)題，錯(cuò)誤率可以寫為Neyman-Pearson準(zhǔn)則精選Neyman-Pearson準(zhǔn)則精選Neyman-Pearson準(zhǔn)則為了求L的極值點(diǎn)，將L分別對(duì)t

和λ求偏導(dǎo)：注意：這里分析的是兩類錯(cuò)誤率，與先驗(yàn)概率無(wú)關(guān)！決策準(zhǔn)則

？精選Neyman-Pearson準(zhǔn)則為了求L的極值點(diǎn)，將L分精選精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的等價(jià)形式Neyman-Pearson準(zhǔn)則

兩者都以似然比為基礎(chǔ)，在未知先驗(yàn)概率時(shí)使用Neyman-Pearson準(zhǔn)則。精選Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的等價(jià)形式NeBayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson準(zhǔn)則最小最大決策準(zhǔn)則精選Bayes決策準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則精選最小最大決策準(zhǔn)則Neyman-Pearson準(zhǔn)則假定先驗(yàn)概率是一個(gè)確定的值，此時(shí)判定結(jié)果會(huì)受到先驗(yàn)概率的影響。實(shí)際中，類先驗(yàn)概率P(i)往往不能精確知道或在分析過(guò)程中是變動(dòng)的，從而導(dǎo)致判決域不是最佳的。所以應(yīng)考慮如何解決在P(i)不確知或變動(dòng)的情況下使期望風(fēng)險(xiǎn)變大的問(wèn)題。最小最大決策準(zhǔn)則：在最差的條件下?tīng)?zhēng)取最好的結(jié)果，使最大風(fēng)險(xiǎn)最小！精選最小最大決策準(zhǔn)則Neyman-Pearson準(zhǔn)則假定先驗(yàn)概率最小最大決策準(zhǔn)則分析期望風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)的關(guān)系：

對(duì)于兩類問(wèn)題，設(shè)一種分類識(shí)別決策將特征空間R劃分為兩個(gè)子空間R1和R2，記λij為將屬于ωi類的模式判為ωj類的損失函數(shù)，各種判決的期望風(fēng)險(xiǎn)為：精選最小最大決策準(zhǔn)則分析期望風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)的最小最大決策準(zhǔn)則將)(1)(12w-=wPP和帶入上式：精選最小最大決策準(zhǔn)則將)(1)(12w-=wPP和帶入上式：精選最小最大決策準(zhǔn)則期望風(fēng)險(xiǎn)可寫成：一旦R1和R2確定，a和b為常數(shù)一旦R1和R2確定，

R

與P(ω1)成線性關(guān)系選擇使b=0的R1和R2，期望風(fēng)險(xiǎn)與P(ω1)無(wú)關(guān)！精選最小最大決策準(zhǔn)則期望風(fēng)險(xiǎn)可寫成：一旦R1和R2確定，最小最大決策準(zhǔn)則PA(1)1p(1)ACDR*BR*B0D’C’R1

,R2不變R1

,R2改變PB(1)b=0此時(shí)最大風(fēng)險(xiǎn)最小,D'=ab=0時(shí)的p(1)精選最小最大決策準(zhǔn)則PA(1)1p(1)ACDR*B最小最大決策準(zhǔn)則求b=0時(shí)的p(1)等價(jià)于在R隨著p(1)的變化曲線上求：時(shí)的p(1)。在b=0時(shí)的決策條件下，期望風(fēng)險(xiǎn)與p(1)無(wú)關(guān)，值為a，此時(shí)，R的最大值最小。這種決策準(zhǔn)則稱為最小最大決策準(zhǔn)則。精選最小最大決策準(zhǔn)則求b=0時(shí)的p(1)等價(jià)于在R隨著最小最大決策準(zhǔn)則由于：當(dāng)采用0-1損失函數(shù)時(shí)，b=0可推導(dǎo)出：此時(shí)，最小最大損失判決所導(dǎo)出的最佳分界面應(yīng)使兩類錯(cuò)誤概率相等！精選最小最大決策準(zhǔn)則由于：此時(shí)，最小最大損失判決所導(dǎo)出的最佳分界貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選分類器，判別函數(shù)，決策面分類器最常用的表述方式為判別函數(shù)：基于判別函數(shù)的判決每個(gè)類別對(duì)應(yīng)一個(gè)判別函數(shù)。如果：則模式為精選分類器，判別函數(shù)，決策面分類器最常用的表述方式為判別函數(shù)：分類器，判別函數(shù)，決策面判別函數(shù)Discriminantfunctions精選分類器，判別函數(shù)，決策面判別函數(shù)精選分類器，判別函數(shù)，決策面基于最小誤差概率的貝葉斯分類器基于最小總風(fēng)險(xiǎn)的貝葉斯分類器精選分類器，判別函數(shù)，決策面基于最小誤差概率的貝葉斯分類器精選分類器，判別函數(shù)，決策面表達(dá)同樣的判決規(guī)則可能采用不同的判別函數(shù)，只要滿足如下條件：用f(gi(x))替換gi(x)，其中f(*)為單調(diào)遞增函數(shù)例如：

gi(x)kgi(x),k為正常數(shù)

gi(x)gi(x)+k,k為任意常數(shù)

gi(x)log(gi(x))精選分類器，判別函數(shù)，決策面表達(dá)同樣的判決規(guī)則可能采用不同的判別分類器，判別函數(shù)，決策面特殊的，對(duì)于兩分類問(wèn)題，也可以只用一個(gè)判別函數(shù)

令：判決規(guī)則例如：如果：則模式為否則為精選分類器，判別函數(shù)，決策面特殊的，對(duì)于兩分類問(wèn)題，也可以只用一分類器，判別函數(shù)，決策面判決區(qū)域:

判決區(qū)域Ri是特征空間中的一個(gè)子空間，判決規(guī)則將所有落入Ri的樣本x分類為類別ωi。決策面（DecisionSurface）：判決邊界是特征空間中劃分判決區(qū)域的（超）平面在判決邊界上，通常有兩類或多類的判別函數(shù)值相等精選分類器，判別函數(shù)，決策面判決區(qū)域:精選分類器，判別函數(shù)，決策面判別函數(shù)和決策面：精選分類器，判別函數(shù)，決策面判別函數(shù)和決策面：精選分類器，判別函數(shù)，決策面分類器設(shè)計(jì)就是設(shè)計(jì)判別函數(shù)，求出判定面方程g(x)!精選分類器，判別函數(shù)，決策面分類器設(shè)計(jì)就是設(shè)計(jì)判別函數(shù)，求出判定貝葉斯決策理論引言貝葉斯決策常用的準(zhǔn)則分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù)Bayesian置信網(wǎng)精選貝葉斯決策理論引言精選正態(tài)分布的統(tǒng)計(jì)決策為什么研究正態(tài)分布？物理上的合理性：較符合很多實(shí)際情況，觀測(cè)值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理，服從正態(tài)分布。數(shù)學(xué)上比較簡(jiǎn)單：參數(shù)個(gè)數(shù)少單變量正態(tài)分布多元正態(tài)分布精選正態(tài)分布的統(tǒng)計(jì)決策為什么研究正態(tài)分布？精選正態(tài)分布的統(tǒng)計(jì)決策單變量正態(tài)分布密度函數(shù)（高斯分布）：精選正態(tài)分布的統(tǒng)計(jì)決策單變量正態(tài)分布密度函數(shù)（高斯分布）：精選正態(tài)分布的統(tǒng)計(jì)決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣(對(duì)稱非負(fù)定)精選正態(tài)分布的統(tǒng)計(jì)決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣多元正態(tài)分布的性質(zhì)參數(shù)個(gè)數(shù)：d+d(d+1)/2

均值向量：d個(gè)參數(shù)協(xié)方差矩陣：對(duì)稱的d維矩陣，d(d+1)/2個(gè)參數(shù)等密度點(diǎn)的軌跡為一超橢球面要使密度p(x)值不變，需指數(shù)項(xiàng)為常數(shù)，即：超橢球面精選多元正態(tài)分布的性質(zhì)參數(shù)個(gè)數(shù)：d+d(d+1)/2要使密度p(多元正態(tài)分布的性質(zhì)馬氏距離(MahanlanobisDistance)：與歐式距離：不同，馬氏距離考慮數(shù)據(jù)的統(tǒng)計(jì)分布，在模式識(shí)別中有廣泛的用處。精選多元正態(tài)分布的性質(zhì)馬氏距離(MahanlanobisDis多元正態(tài)分布的性質(zhì)正態(tài)分布的隨機(jī)變量，不相關(guān)等價(jià)于獨(dú)立邊緣分布仍是正態(tài)分布精選多元正態(tài)分布的性質(zhì)正態(tài)分布的隨機(jī)變量，不相關(guān)等價(jià)于獨(dú)立邊緣分多元正態(tài)分布的性質(zhì)線性變換仍是正態(tài)分布線性組合仍是正態(tài)分布（線性變換的特例）一維正態(tài)隨機(jī)變量精選多元正態(tài)分布的性質(zhì)線性變換仍是正態(tài)分布線性組合仍是正態(tài)分布（多元正態(tài)分布的性質(zhì)精選多元正態(tài)分布的性質(zhì)精選正態(tài)分布的判別函數(shù)貝葉斯判別函數(shù)可以寫成對(duì)數(shù)形式：

類條件概率密度函數(shù)為正態(tài)分布時(shí)：精選正態(tài)分布的判別函數(shù)貝葉斯判別函數(shù)可以寫成對(duì)數(shù)形式：類條件概正態(tài)分布的判別函數(shù)情況一：各類協(xié)方差陣相等，且各特征獨(dú)立，方差相等情況二：各類協(xié)方差陣相等情況三：各類協(xié)方差陣不相等

任意的精選正態(tài)分布的判別函數(shù)情況一：各類協(xié)方差陣相等，且各特征獨(dú)立，方情況一：將代入得到?jīng)Q策函數(shù)展開(kāi)決策函數(shù)其中，二次項(xiàng)對(duì)所有的i是相等的精選情況一：將代入得到?jīng)Q策函數(shù)展開(kāi)決策函數(shù)其中，二次項(xiàng)對(duì)所有的正交因此，等價(jià)的判決函數(shù)為：其中：決策面可以寫成：其中：過(guò)與的超平面精選正交因此，等價(jià)的判決函數(shù)為：其中：決策面可以寫成：其中：過(guò)當(dāng)，但是，如果當(dāng)，向先驗(yàn)概率小的方向偏移。位于兩中心的中點(diǎn)；相對(duì)于平方距離較小，那么判決邊界的位置相對(duì)于確切的先驗(yàn)概率值并不敏感。在此情況下，最優(yōu)判決的規(guī)則為：為將某特征向量x歸類，通過(guò)測(cè)量每一x到c個(gè)均值向量中心的每一個(gè)歐氏距離，并將x歸為離它最近的那一類。這樣的分類器稱為“最小距離分類器”。精選當(dāng)，但是，如果當(dāng)，向先驗(yàn)概率小的方向偏移。位于兩中心的中點(diǎn)；情況一：最小距離分類器最小距離分類器判決邊界是d-1維超平面，垂直于兩類中心的連線精選情況一：最小距離分類器最小距離分類器判決邊界是d-1維超平面情況一：最小距離分類器上述結(jié)果表示在二維特征空間里，如下圖所示：可以推廣到多類的情況，注意這種分類方法沒(méi)有不確定的區(qū)域。

向先驗(yàn)概率兩類判決面與垂直，的中點(diǎn)時(shí)其交點(diǎn)為為時(shí)較小類型的均值點(diǎn)偏移。精選情況一：最小距離分類器上述結(jié)果表示在二維特征空間里，如下圖所各類的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類樣本集中在以該類均值為中心的同樣大小和形狀的超橢球內(nèi)。情況二：

決策函數(shù)不變，與i無(wú)關(guān)：精選各類的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類樣本集中在以該類均一個(gè)特例：當(dāng)時(shí)，各樣本先驗(yàn)概率相等。其中：為x到均值點(diǎn)的“馬氏距離”（Mahalanobis）的平方。對(duì)于樣本x只要計(jì)算出，把x歸于最小的類別。

進(jìn)一步簡(jiǎn)化：

精選一個(gè)特例：當(dāng)時(shí)，各樣本先驗(yàn)概率相等。其中：為x到均值點(diǎn)的“馬一般地，決策函數(shù)展開(kāi)決策函數(shù)對(duì)所有的i是相等的，則其中：精選一般地，決策函數(shù)展開(kāi)決策函數(shù)對(duì)所有的i是相等的，則其中：正交決策面可以寫成：其中：過(guò)與的超平面由于并非沿著方向，因此分界面并非與均值間的連線垂直正交。精選正交決策面可以寫成：其中：過(guò)與的超平面由于并非沿著方當(dāng)各類先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概率較小的均值點(diǎn)。上述結(jié)果表示在二維特征空間里，如下圖所示：

當(dāng)各類先驗(yàn)概率相等時(shí)，判決面與的交點(diǎn)精選當(dāng)各類先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概時(shí)決策面向先驗(yàn)概率小的方向偏移精選時(shí)決策面向先驗(yàn)概率小的方向偏移精選情況三：任意的去掉與i無(wú)關(guān)的項(xiàng)：可以寫為：其中二次項(xiàng)，一次項(xiàng)系數(shù)和常數(shù)項(xiàng)分別為：由于：精選情況三：任意的去掉與i無(wú)關(guān)的項(xiàng)：可以寫為：其中二次項(xiàng)，一次項(xiàng)——對(duì)應(yīng)的決策面為超二次曲面。第i類和第j類的決策面為：隨著的不同，超二次曲面可以為：超球面、超橢球面、超拋物面、超雙曲面，或超平面等。即：精選——對(duì)應(yīng)的決策面為超二次曲面。第i類和第j類的決策面甚至在方差不相等的一維高斯分布情況下，其判決區(qū)域也可以不連通！精選甚至在方差不相等的一維高斯分布情況下，其判決區(qū)域也可以不連通情況三：各類協(xié)方差不同，決策面為為超二次曲面。上述結(jié)果表示在二維特征空間里，如下圖所示：精選情