貝葉斯決策理論課件講義和關于風險概念的進一步討論

第2章貝葉斯決策理論2.1引言2.2幾種常用的決策規(guī)則2.2.1基于最小錯誤率的貝葉斯決策2.2.2基于最小風險的貝葉斯決策2.2.3限定一類錯誤率，使另一類錯誤率最小2.2.4最小最大決策2.2.5分類器、判別函數(shù)及決策面2.3正態(tài)分布時的統(tǒng)計決策?2.1引言模式識別的目的就是要確定某一個給定的模式樣本屬于哪一類可以通過對被識別對象的多次觀察和測量，構成特征向量，并將其作為某一個判決規(guī)則的輸入，按此規(guī)則來對樣本進行分類?作為統(tǒng)計判別問題的模式分類在獲取模式的觀測值時，有些事物具有確定的因果關系，即在一定的條件下，它必然會發(fā)生或必然不發(fā)生例如識別一塊模板是不是直角三角形，只要憑“三條直線邊閉合連線和一個直角”這個特征，測量它是否有三條直線邊的閉合連線并有一個直角，就完全可以確定它是不是直角三角形這種現(xiàn)象是確定性的現(xiàn)象?但在現(xiàn)實世界中，由許多客觀現(xiàn)象的發(fā)生，就每一次觀察和測量來說，即使在基本條件保持不變的情況下也具有不確定性只有在大量重復的觀察下，其結果才能呈現(xiàn)出某種規(guī)律性，即對它們觀察到的特征具有統(tǒng)計特性特征值不是一個確定的向量，而是一個隨機向量此時，只能利用模式集的統(tǒng)計特性來分類，以使分類器發(fā)生錯誤的概率最小作為統(tǒng)計判別問題的模式分類?統(tǒng)計識別的基本方法——貝葉斯決策應用貝葉斯決策的前提條件已知各類別總體的概率分布已知決策分類的類別數(shù)在已知相關概率（類別先驗概率和類條件概率分布）的情況下，特征空間中一個觀察量的類別歸屬問題?2.2幾種常用的決策規(guī)則主要學習最小錯誤率Bayes錯誤和最小風險決策；了解在更復雜情況下的幾種決策規(guī)則討論決策規(guī)則用于模式識別的幾個問題?2.2.1基于最小錯誤率的貝葉斯決策從盡量減少錯誤的角度出發(fā)，利用貝葉斯公式得出使錯誤最小的分類原則以癌細胞識別的例子引出貝葉斯決策?貝葉斯決策的出發(fā)點癌細胞識別，兩類別問題——細胞正常與異常若僅利用先驗概率進行分類統(tǒng)計的角度得出的兩類細胞的出現(xiàn)概率無法實現(xiàn)正常與異常細胞的分類目的先驗概率提供的信息太少，要結合樣本觀測信息，為此需要利用類條件概率?貝葉斯公式p?各類樣本的分布情況?貝葉斯決策的幾種表達形式?兩類模式集分類問題對一大批人進行癌癥普查，患癌者以ω1類代表，正常人以ω2類代表設被試驗的人中患有癌癥的概率為0.005，即P(ω1)=0.005，當然P(ω2)=1-0.005=0.995現(xiàn)任意抽取一人，要判斷他是否患有癌癥。顯然，因為P(ω2)>P(ω1)，只能說是正常的可能性大。如要進行判斷，只能通過化驗來實現(xiàn)應用實例?設有一種診斷癌癥的試驗，其結果為“陽性”和“陰性”兩種反應若用這種試驗來對一個病人進行診斷，提供的化驗結果以模式x代表，這里x為一維特征，且只有x=“陽”和x=“陰”兩種結果尋找樣本觀測量

?假設根據(jù)臨床記錄，發(fā)現(xiàn)這種方法有以下統(tǒng)計結果患有癌癥的人試驗反應為陽性的概率=0.95，即p(x=陽|ω1)=0.95患有癌癥的人試驗反應為陰性的概率=0.05，即p(x=陰|ω1)=0.05正常人試驗反應為陽性的概率=0.01，即p(x=陽|ω2)=0.01正常人試驗反應為陰性的概率=0.99，即p(x=陰|ω2)=0.99觀測量的類條件概率?應用貝葉斯決策問題若被化驗的人具有陽性反應，他患癌癥的概率為多少，即求P(ω1|

x=陽)=？這里P(ω1)是根據(jù)以往的統(tǒng)計資料得到的，為患癌癥的先驗概率?，F(xiàn)在經(jīng)過化驗，要求出P(ω1|

x=陽)，即經(jīng)過化驗后為陽性反應的人中患癌癥的概率，稱為后驗概率[計算]0.323?最小錯誤率的證明以一維情況為例證明貝葉斯決策確實對應最小錯誤率統(tǒng)計意義上的錯誤率，即平均錯誤率，用P(e)表示?最小錯誤率的證明?錯誤率圖示以t為界確實使錯誤率最小，因為P(e/x)始終取最小這個圖在哪見過？與圖像分割中最優(yōu)閾值對應的錯誤分割結果類似，最優(yōu)閾值同樣是基于最小錯誤概率圖像分割蘊含了與模式識別類似的思想，即判定給定像素屬于目標還是背景?多類問題的貝葉斯決策?2.2.2基于最小風險的貝葉斯決策問題的提出：風險的概念風險與損失緊密相連，如病情診斷、商品銷售等問題日常生活中的風險選擇，所謂是否去冒險最小風險貝葉斯決策考慮各種錯誤造成損失不同而提出的一種決策規(guī)則“寧可錯殺一千，也不放走一個”?以決策論的觀點決策空間：所以可能決策組成的集合每個決策都將帶來一定的損失，可表示為決策和自然狀態(tài)的函數(shù)?一般決策表?相關的數(shù)學表示?條件期望損失引入損失的概念，制定決策不能僅考慮最小錯誤率，而是要考慮采取的決策相應的損失是否最小損失的數(shù)學表示，跟決策相關——條件期望損失，條件風險對于特定的x采取決策αi

的期望損失?期望風險?最小風險貝葉斯決策?最小風險貝葉斯決策步驟?對兩類問題?對兩類問題?最小風險貝葉斯決策示例?最小風險貝葉斯決策示例?上一節(jié)的例子檢驗呈陽性者患病概率是0.323若按最小錯誤率決策：正常ω2采用最小風險決策，需要用到損失函數(shù)損失的評估是個關鍵問題寧可虛驚一百不可漏診一人?最小風險貝葉斯決策的討論除了知道最小錯誤貝葉斯決策也需要的先驗概率和類條件概率外，損失函數(shù)的確定往往也是一個難題與最小錯誤貝葉斯決策的關系差別在于是否考慮風險，即錯誤損失最小風險決策可看作加權形式的最小錯誤決策，加權值即損失函數(shù)取特定形式時二者可能等價，如損失函數(shù)取0-1形式?定義損失函數(shù)?2.2.3限定一類錯誤率，使另一類錯誤率最小?條件極值問題利用拉格朗日乘子法將條件極值轉化為無條件極值?條件極值問題??似然比——決策規(guī)則比較最終結果的似然比表示形式最小錯誤率Bayes決策的表示形式最小風險Bayes決策的表示形式?似然的含義似然——likelihood表明在其他條件都相等的情況下，使得較大的更有可能是真實的類別?2.2.4最小最大決策?以兩類情況下的最小風險Bayes決策為例進行討論總風險公式?假定決策域已經(jīng)確定，我們以表示分類器判為時的特征空間中的區(qū)域，同樣有和，于是總風險用條件風險的形式表示為??一旦和確定，風險就是先驗概率的線性函數(shù)，可表示為由于)(1wP在0和1之間取值，所以期望風險有baRa+￡￡?由上式可見，當類條件概率密度、損失函數(shù)ij、類域Ri

取定后，R是P(1)的線性函數(shù)?？紤]P(1)的各種可能取值情況，為此在區(qū)間(0,1)中取若干個不同的P(1)值，并分別按最小損失準則確定相應的最佳決策類域R1、R2，然后計算出其相應的最小平均損失R*，從而可得最小平均損失R*與先驗概率P(1)的關系曲線。?最小最大決策圖示最小風險R*與先驗概率的關系曲線先驗概率取固定值的最小風險先驗概率為的最小風險分類結果對應各種先驗概率的風險變化為何為切線？盡管對應的最小風險相對其他先驗概率最大，但不管先驗概率如何變化，此種分類風險恒定，從而使所有可能的最大風險最小化?小結：各種情況下的方法選擇在某些實際問題中，可能存在以下幾種情況：⑴

不知道各類的先驗概率)(iPw⑵

難于確定誤判的代價ijl⑶

某一種錯誤較另一種錯誤更為重要針對⑴，可以采用最小最大損失準則或簡單令各類先驗概率相等針對⑶，N-P準則針對⑵，如果允許的話，可以避開使用損失函數(shù)而采用最小誤判概率準則?2.2.5分類器、判別函數(shù)及決策面應用前述Bayes決策規(guī)則，設計分類器對觀察量實施分類用于表達決策規(guī)則的某些函數(shù)稱為判別函數(shù)；是直接用來對模式樣本進行分類的準則函數(shù)對于c類問題，按照決策規(guī)則把d維特征空間分成c個決策域，劃分決策域的邊界面稱為決策面?多類問題——最小錯誤率決策規(guī)則?多類問題——判別函數(shù)?多類問題——決策面?多類問題——分類器?兩類情況——決策規(guī)則?兩類問題——判別函數(shù)?兩類問題——決策面?兩類問題——分類器?例題:教材23頁，套公式?2.3正態(tài)分布時的統(tǒng)計決策貝葉斯分類器的結構可由條件概率密度和先驗概率來決定最受青睞的密度函數(shù)——正態(tài)分布，也稱高斯分布合理性：中心極限定理表明，在相當一般的條件下，當獨立隨機變量的個數(shù)增加時，其和的分布趨于正態(tài)分布簡易性?2.3.1正態(tài)分布的定義及性質單變量正態(tài)分布由兩個參數(shù)完全確定，即均值和方差?正態(tài)分布概率密度函數(shù)在整個定義域上積分為1服從正態(tài)分布的樣本聚集在均值附近，其散布程度與標準差（方差）有關?多元正態(tài)分布均值向量協(xié)方差矩陣多元正態(tài)分布的概率密度函數(shù)定義?協(xié)方差矩陣的計算計算公式，計算協(xié)方差矩陣。已知?協(xié)方差矩陣的性質對稱非負定陣元素正負？元素含義：對角線和非對角線協(xié)方差：用來度量變量之間“協(xié)同變異”大小的總體參數(shù)，即二者相互影響大小的參數(shù)；絕對值越大，相互影響越大對角陣情形；去相關?多元正態(tài)分布的性質均值向量和協(xié)方差矩陣共同決定分布均值向量有d個分量協(xié)方差矩陣獨立元素個數(shù)為d(d+1)/2多元正態(tài)分布由d+d(d+1)/2個參數(shù)完全決定，常表示為?多元正態(tài)分布的性質等密度點的軌跡是超橢球面?多元正態(tài)分布的性質馬氏距離：

到的Mahalanobis距離等密度點軌跡是到均值向量的馬氏距離為常數(shù)的超橢球面樣本離散度由決定；同單變量正態(tài)分布類似，方差影響樣本分布的疏密程度?橢圓主軸的確定為簡單處理，將橢球中心移至原點來求橢球長短軸?設在超橢球上，到超橢球中心的距離為，求主軸長度即是求其條件極值，構造Lagrange函數(shù)?對的橢圓第i個主軸的長度與Σ的第i個特征值的平方根成正比，方向由對應特征向量的方向決定?多元正態(tài)分布的性質不相關性等價于獨立性?邊緣分布和條件分布的正態(tài)性線形變換的正態(tài)不變性通過變換，能使本來相關的隨機變量在新的坐標系中獨立；便于處理多元正態(tài)分布的性質?多元正態(tài)分布的性質線形組合的正態(tài)不變性線性變換的特例?2.3.2多元正態(tài)下的最小錯誤率決策?下面根據(jù)上式對以下三種情況進行討論?！瓫Q策面方程?（1），即每類的協(xié)方差矩陣都相等，而且類內各特征間相互獨立，具有相等的方差Ⅰ如果先驗概率不等，那么平方距離（歐氏距離）必須通過方差進行歸一化，并通過增加進行修正。?Ⅱ如果先驗概率相等稱其為最小距離分類器。?可看作線性分類器?對其，我們用一個二維二類模式例子，設先驗概率相等，從幾何上表示其關系（不相等的情況請參照教材P32）?（2），即各類的協(xié)方差矩陣都相等如果先驗概率相等，只要計算到各類的均值點的馬氏距離平方，然后把歸于距離平方最小的類別。?對以上兩類情況進行化簡?決策面方程只要協(xié)方差矩陣相等，先驗概率相等，就對應最小距離分類器，包括歐式距離和馬氏距離?對其，我們用一個二維二類模式例子，設先驗概率相等，從幾何上表示其關系?（2）各類的協(xié)方差矩陣不相等?二維模式，12的幾種情況R1R2(a)圓，2類的方差小R1R2(b)橢圓，2類的方差小R1R2(c)拋物線，

2類的方差小R1R2(d)雙曲線(e)直線，兩類的分布關于一直線是對稱R1R2?例：模式分布如圖所示，兩類均值向量和協(xié)方差矩陣可用下式估計。(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321兩類均作為正態(tài)分布，并假設先驗概率相等，求故判別函數(shù)和決策面。?(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321?兩類均作為正態(tài)分布，并假設，故判別函數(shù)為?

第十四章關于風險概念的進一步討論齊寅峰公司財務學經(jīng)濟科學出版社本章我們將指出上述風險的定義中的問題，提出風險的各種不同的定義方法，研究投資者對待風險的態(tài)度，進一步討論回報率與風險的關系。這些討論，對于把握難以捉摸的風險概念是至關重要的。齊寅峰公司財務學經(jīng)濟科學出版社第一節(jié)風險定義的問題一、“E－σ”分析失效的情形二、風險的其他定義齊寅峰公司財務學經(jīng)濟科學出版社一、“E－σ”分析失效的情形傳統(tǒng)的投資組合分析中，每一備選方案都用兩個數(shù)據(jù)來衡量：回報率的期望值E和回報率的均方差σ，并且假定投資者都偏好于大的期望回報率和小的均方差。

每個投資者都偏好于大的回報率期望值是一種理性的選擇假設，任何情況下都不會發(fā)生懷疑。齊寅峰公司財務學經(jīng)濟科學出版社一、“E－σ”分析失效的情形（續(xù)）但是說投資者都是避免風險的，卻值得懷疑。如果風險是指日常用語是指壞事而非好事，這倒也沒錯。但事實上用均方差定義風險，它表示回報率與期望值偏差的平方的期望值的方根，因此只是表明回報率的離散程度，而這種偏離可正可負。若是正偏離，即回報離高于其期望值，并不是壞事而是好事。只有負偏離，即回報率低于其期望值才是不好的事。在這種風險定義下，無法證明投資者都