Bayes判別--精選文檔

1、 §5.2Bayes判別1. Bayes判別的基本思想假設(shè)已知對(duì)象的先驗(yàn)概率和“先驗(yàn)條件概率”, 而后得到后驗(yàn)概率, 由后驗(yàn)概率作出判別.2. 兩個(gè)總體的Bayes判別(1) 基本推導(dǎo)設(shè)概率密度為和的維總體出現(xiàn)的先驗(yàn)概率為()先驗(yàn)概率的取法: (i) , (ii) ,一個(gè)判別法 = 一個(gè)劃分=距離判別中判別下的誤判情況討論,或代價(jià)分別記為,在得新后, 后驗(yàn)概率為(i) 當(dāng)時(shí), 最優(yōu)劃分是兩個(gè)總體的Bayes的判別準(zhǔn)則此時(shí), 有最小的誤判概率.因?yàn)橹挥腥r(shí), 才有最小.(ii) 當(dāng)時(shí)對(duì)的誤判平均損失: ,對(duì)的誤判平均損失:,對(duì)整個(gè)誤判的平均損失:可證使最小的最優(yōu)劃分是或當(dāng)時(shí), 有當(dāng),

2、且時(shí), 有相當(dāng)于經(jīng)典統(tǒng)計(jì)學(xué)中的似然比準(zhǔn)則判別.(2) 兩個(gè)正態(tài)總體的Bayes判別1) 的判別其中,及 實(shí)用中, 用樣本均值和樣本協(xié)方差陣代.替.當(dāng)時(shí), 與距離判別等價(jià).如用后驗(yàn)概率來判別(或其估計(jì)), 則有.1) 的判別與距離判別的區(qū)別為廣義平方距離函數(shù),推導(dǎo)過程略.當(dāng) “三同”時(shí), 與距離判別一樣.(3) 誤判概率的計(jì)算在下, 作簡(jiǎn)要討論.用廣義距離可導(dǎo)出劃分(_)其中, ,兩個(gè)總體與的馬氏平方距離可記為經(jīng)導(dǎo), 對(duì)(_)的劃分, 其誤判率為隨大而小.實(shí)用中, 用代.當(dāng)時(shí), 有當(dāng)按容量比例選取時(shí), 即有誤判率的回代估計(jì).例5.3 預(yù)報(bào)春旱. 兩個(gè)預(yù)報(bào)因子的觀察值,假設(shè)誤報(bào)損失相同, 先驗(yàn)概率

3、按比例. 由下表數(shù)據(jù)進(jìn)行兩總體的Bayes判別.解 , .調(diào)用proc discrim得廣義平方距離為()后驗(yàn)概率為,().回代判別結(jié)果如下略,誤判率=0;若用交叉確認(rèn)法, 則應(yīng)按下式計(jì)算逐個(gè)剔除, 交叉判別.有一錯(cuò)(10號(hào)被判錯(cuò)), 交叉確認(rèn)估計(jì)3. 多個(gè)總體的Bayes判別(1) 一般討論設(shè)概率密度為的維總體出現(xiàn)的先驗(yàn)概率為, ()先驗(yàn)概率的取法: (i) , 或(ii) ,一個(gè)判別法 = 一個(gè)劃分=判別準(zhǔn)則判別下的誤判情況討論,代價(jià)記為一個(gè)損失矩陣(約定)常取.來自判為其他總體的概率是誤判的概率使其最小, 得最優(yōu)劃分.當(dāng)不全相等時(shí), 將來自判為其他總體的平均損失率誤判的平均損失率應(yīng)使其最

4、小的劃分.進(jìn)一步的討論1) 當(dāng)時(shí), 因, 故從而有當(dāng)時(shí),是使最小的最優(yōu)劃分.又由Bayes公式, 當(dāng)出現(xiàn)樣品時(shí), 總體的后驗(yàn)概率故最優(yōu)劃分為, ()當(dāng)有多個(gè)時(shí), 任選一個(gè).2) 當(dāng)不全相等時(shí),取劃分為可使達(dá)到最小.若記(當(dāng)出現(xiàn)后,被判為來自后驗(yàn)平均損失, 則有若有多個(gè), 則任判一個(gè).(2) 多個(gè)正態(tài)總體的Bayes判別1) 對(duì)的情況(i) 當(dāng)時(shí),設(shè)線性判別函數(shù)為,其中廣義平方函數(shù),后驗(yàn)概率這時(shí)最優(yōu)劃分()實(shí)用中, 用樣本均值和樣本協(xié)方差陣代替.(ii) 不全相等時(shí), 設(shè)則有后驗(yàn)概率,這時(shí)最優(yōu)劃分()實(shí)用中, 用,代替.2) 一般損失情況計(jì)算及最優(yōu)劃分為例5.4 某學(xué)院招生時(shí), 有兩個(gè)參考指標(biāo):

5、 平均學(xué)分指數(shù); 管理能力考試成績;申請(qǐng)者分為3類: 錄取; 不錄取; 待定.近期有85位記錄. (部分資料)假定1) 各總體正態(tài)分布;2) 先驗(yàn)概率按比例;3) 誤判損失相同討論在(i) 協(xié)方差陣相同; (ii) 協(xié)方差不全相同時(shí);Bayes判別分析, 并給出誤判率的回判法和交叉確認(rèn)法估計(jì)值.若有一新申請(qǐng)者的資料和, 在兩種情況下各被判入哪類?解 (i) 調(diào)用proc discrim過程, 得(部分)和關(guān)于新樣本的后驗(yàn)概率, ,故應(yīng)該待定.(ii) 協(xié)方差不全相等時(shí), 有和關(guān)于新樣本的后驗(yàn)概率, ,當(dāng)屬類(錄取).總結(jié)前述內(nèi)容均利用了所給定的全部p個(gè)指標(biāo)變量, 但并非指標(biāo)變量越多, 判別效果就越好, 相反, 有時(shí)可能影響判別分析效果因此，如回歸分析一樣，在判別分析中仍存在指