設(shè)計(jì)一 貝葉斯最小錯(cuò)誤率分類(lèi)器設(shè)計(jì)

1、設(shè)計(jì)一貝葉斯最小錯(cuò)誤率分類(lèi)器設(shè)計(jì)實(shí)驗(yàn)報(bào)告課程名稱(chēng)模式識(shí)別實(shí)驗(yàn)名稱(chēng)貝葉斯實(shí)驗(yàn)儀器學(xué) 院 自動(dòng)化 班 級(jí) 姓名/學(xué)號(hào)實(shí)驗(yàn)日期成 績(jī) 指導(dǎo)教師一、實(shí)驗(yàn)?zāi)康耐ㄟ^(guò)本次綜合設(shè)計(jì)，了解模式識(shí)別的基本原理、貝葉斯 最小錯(cuò)誤率分類(lèi)器的原理。本實(shí)驗(yàn)旨在讓同學(xué)對(duì)模式識(shí)別有一個(gè)初步的理解，能夠 根據(jù)自己的設(shè)計(jì)對(duì)貝葉斯決策理論算法有一個(gè)深刻地認(rèn)識(shí)，理解二類(lèi)分 類(lèi)器的。二、實(shí)驗(yàn)設(shè)備及條件matlab軟件三、實(shí)驗(yàn)原理分類(lèi)是一項(xiàng)非?；竞椭匾娜蝿?wù)，并有著極其廣泛的 應(yīng)用。分類(lèi)是利用預(yù)定的已分類(lèi)數(shù)據(jù)集構(gòu)造出一個(gè)分類(lèi)函數(shù) 或分類(lèi)模型（也稱(chēng)作分類(lèi)器），并利用該模型把未分類(lèi)數(shù)據(jù)映 射到 某一給定類(lèi)別中的過(guò)程。分類(lèi)器的構(gòu)造方法很多，

2、主 要包括規(guī)則歸納、決策樹(shù)、貝葉斯、神經(jīng)網(wǎng)絡(luò)、粗糙集、 以及支持向量機(jī)(SVM)等方法。其中貝葉斯分類(lèi)方法建立在貝葉斯統(tǒng)計(jì)學(xué)v1和貝葉斯網(wǎng)絡(luò)s1基礎(chǔ)上， 能夠有效地處理不完整數(shù)據(jù)，并且具有模型可解釋、精度 高等優(yōu)點(diǎn)，而被認(rèn)為是最優(yōu)分類(lèi)模型之一 9。尤其是最早 的樸素貝葉斯分類(lèi)器101雖然結(jié)構(gòu)簡(jiǎn)單，但在很多情況下卻 具有相當(dāng)高的分類(lèi)精度，可以達(dá)到甚至超過(guò)其它成熟算法 如1 的分類(lèi)精度，而且對(duì)噪聲數(shù)據(jù)具有 很強(qiáng)的抗干擾能 力。因此，對(duì)貝葉斯分類(lèi)算法的深入研究，無(wú)論對(duì)其理論的 發(fā)展，還是在實(shí)際中的應(yīng)用，都具有很重要的意義。貝葉斯分類(lèi)器的分類(lèi)原理是通過(guò)某對(duì)象的先驗(yàn)概率，利 用貝葉斯公式計(jì)算出其后驗(yàn)概率

3、，即該對(duì)象屬于某一類(lèi)的概 率，選擇具有最大后驗(yàn)概率的類(lèi)作為該對(duì)象所屬的類(lèi)。目前 研究較多的貝葉斯分類(lèi)器主要有四種，分別是：Naive Bayes、 TAN、 BAN 和 GBNo貝葉斯網(wǎng)絡(luò)是一個(gè)帶有概率注釋的有向無(wú)環(huán)圖，圖中的 每一個(gè)結(jié)點(diǎn)均表示一個(gè)隨機(jī)變量，圖中兩結(jié)點(diǎn)間若存在著一 條弧，則表示這兩結(jié)點(diǎn)相對(duì)應(yīng)的隨機(jī)變量是概率相依的，反 之則說(shuō)明這兩個(gè)隨機(jī)變量是條件獨(dú)立的。網(wǎng)絡(luò)中任意一個(gè)結(jié) 點(diǎn)X均有一個(gè)相應(yīng)的條件概率表(Conditional Probability Table，CPT)，用以表示結(jié)點(diǎn)X在其父結(jié)點(diǎn)取各可能值時(shí)的 條件概率。若結(jié)點(diǎn)X無(wú)父結(jié)點(diǎn)，則X的CPT為其先驗(yàn)概率分 布。貝葉斯網(wǎng)絡(luò)

4、的結(jié)構(gòu)及各結(jié)點(diǎn)的CPT定義了網(wǎng)絡(luò)中各變量 的概率分布。貝葉斯分類(lèi)器是用于分類(lèi)的貝葉斯網(wǎng)絡(luò)。該網(wǎng)絡(luò)中應(yīng)包 含類(lèi)結(jié)點(diǎn)C,其中C的取值來(lái)自于類(lèi)集合(cl , c2 ,., cm)，還包含一組結(jié)點(diǎn)X = ( Xl , X2 , . , Xn)，表示用 于分類(lèi)的特征。對(duì)于貝葉斯網(wǎng)絡(luò)分類(lèi)器，若某一待分類(lèi)的樣 本D，其分類(lèi)特征值為x = ( xl , x2 , . , x n)，貝 樣本D屬于類(lèi)別lj ci的概率P( C = ci | Xl = xl , X2 = x 2 , . , Xn = x n)，( i = l ,2 , . , m)應(yīng)滿(mǎn)足下 式：P( C = ci | X = x) = Max P

5、( C = cl | X = x) , P( C =c2 | X = x ) , . , P( C = cm | X = x ) 而貝葉 斯公式：P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x)其中，P( C = ci)可領(lǐng)域?qū)＜业慕?jīng)驗(yàn)得到，而P( X = x C = ci)和？( X = x)的計(jì)算則較困難。應(yīng)用貝葉斯網(wǎng)絡(luò)分類(lèi)器進(jìn)行分類(lèi)主要分成兩階段。第一 階段是貝葉斯網(wǎng)絡(luò)分類(lèi)器的學(xué)習(xí)，即從樣本數(shù)據(jù)中構(gòu)造分類(lèi) 器，包括結(jié)構(gòu)學(xué)習(xí)和CPT學(xué)習(xí)；第二階段是貝葉斯網(wǎng)絡(luò)分類(lèi) 器的推理，即計(jì)算類(lèi)結(jié)點(diǎn)的條件概率，對(duì)分類(lèi)數(shù)據(jù)進(jìn)行

6、分類(lèi)。 這兩個(gè)階段的時(shí)間復(fù)雜性均取決于特征值間的依賴(lài)程度，甚至可以是NP完全問(wèn)題，因而在實(shí)際應(yīng)用中，往往需要對(duì)貝 葉斯網(wǎng)絡(luò)分類(lèi)器進(jìn)行簡(jiǎn)化。根據(jù)對(duì)特征值間不同關(guān)聯(lián)程度的 假設(shè)，可以得出各種貝葉斯分類(lèi)器，Naive Bayes、TAN、BAN、 GBN就是其中較典型、研究較深入的貝葉斯分類(lèi)器。貝葉斯網(wǎng)絡(luò)分類(lèi)器是一種典型的基于統(tǒng)計(jì)方法的分類(lèi)模型。它 以貝葉斯定理為理論基礎(chǔ)，巧妙地將事件的先驗(yàn)概率與后 驗(yàn)概率聯(lián)系起來(lái)，利用先驗(yàn)信息和樣本數(shù)據(jù)確定事件的后 驗(yàn)概率。錯(cuò)誤率最小的貝葉斯分類(lèi)器設(shè)計(jì)思想是尋找一種 劃分方式，使“錯(cuò)判”率最小。四、實(shí)驗(yàn)內(nèi)容與步驟實(shí)驗(yàn)內(nèi)容：假定某個(gè)局部區(qū)域細(xì)胞識(shí)別中正常和非正常 兩

7、類(lèi)先驗(yàn)概率分別為正常狀態(tài)：P二；異常狀態(tài)：P二?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為：-已知類(lèi)條件概率的曲線(xiàn)如下圖：類(lèi)條件概率分布正態(tài)分布分別為試對(duì)觀察的結(jié)果進(jìn)行 分類(lèi)。最小風(fēng)險(xiǎn)貝葉斯決策可按下列步驟進(jìn)行:在已知P(Wi) , P(X|Wi), i=1, , c及給出待識(shí)別的X 的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：j=1,，x利用計(jì)算出的后驗(yàn)概率及決策表，根據(jù)貝葉斯公式 計(jì)算。策。對(duì)中得到的a個(gè)條件風(fēng)險(xiǎn)值,i=1,，a進(jìn)行比較， 找出使其條件風(fēng)險(xiǎn)最小的決策，即則就是最小風(fēng)險(xiǎn)貝葉斯決五、實(shí)驗(yàn)報(bào)告要求1)的設(shè)計(jì)，用matlab完成基于最小錯(cuò)誤率的貝葉斯分類(lèi)器 要求程序相應(yīng)語(yǔ)句有說(shuō)明文字，要求有子

8、程序的調(diào)用過(guò)程。根據(jù)例子畫(huà)出后驗(yàn)概率的分布曲線(xiàn)以及分類(lèi)的 結(jié)果示意圖。如果是最小風(fēng)險(xiǎn)貝葉斯決策，決策表如下：最小風(fēng)險(xiǎn)貝葉斯決策表：狀態(tài)決策a 1 0 4a 2 2 0請(qǐng)重新設(shè)計(jì)程序，完成基于最小風(fēng)險(xiǎn)的貝葉斯分類(lèi)器， 畫(huà)出相應(yīng)的條件風(fēng)險(xiǎn)的分布曲線(xiàn)和分類(lèi)結(jié)果，并比較兩個(gè)結(jié) 果。根據(jù)課程設(shè)計(jì)結(jié)果，編寫(xiě)課程設(shè)計(jì)報(bào)告。在報(bào)告中 應(yīng)寫(xiě)出設(shè)計(jì)的方法、步驟、控制方案、實(shí)驗(yàn)接線(xiàn)圖、實(shí)驗(yàn)結(jié)果。5）實(shí)驗(yàn)報(bào)告成績(jī)?cè)u(píng)分標(biāo) 準(zhǔn)+實(shí)驗(yàn)動(dòng)手情況+實(shí)驗(yàn)報(bào)告；+實(shí)驗(yàn)內(nèi)容+實(shí)驗(yàn)器材+實(shí)驗(yàn) 原理+實(shí)驗(yàn)步驟及方法+實(shí)驗(yàn)數(shù)據(jù)處理+思考題+最小二乘法 +圖形+結(jié)論最小二乘法：手算+matlab編程圖形：坐標(biāo)紙畫(huà)出離散點(diǎn)和擬合圖形或用mat

9、lab生成 圖形打印+實(shí)驗(yàn)課堂留的+正確性六、思考題附參考算法代碼和實(shí)驗(yàn)參考結(jié)果：實(shí)驗(yàn)報(bào)告課程名稱(chēng)模式識(shí)別實(shí)驗(yàn)名稱(chēng)貝葉斯實(shí)驗(yàn)儀器學(xué) 院自動(dòng)化班級(jí)姓名/學(xué)號(hào)實(shí)驗(yàn)日期成 績(jī)指導(dǎo)教師一、實(shí)驗(yàn)?zāi)康耐ㄟ^(guò)本次綜合設(shè)計(jì)，了解模式識(shí)別的基本原理、貝葉斯 最小錯(cuò)誤率分類(lèi)器的原理。本實(shí)驗(yàn)旨在讓同學(xué)對(duì)模式識(shí)別有一個(gè)初步的理解，能夠 根據(jù)自己的設(shè)計(jì)對(duì)貝葉斯決策理論算法有一個(gè)深刻地認(rèn)識(shí)，理解二類(lèi)分 類(lèi)器的。二、實(shí)驗(yàn)設(shè)備及條件matlab軟件三、實(shí)驗(yàn)原理分類(lèi)是一項(xiàng)非?；竞椭匾娜蝿?wù)，并有著極其廣泛的 應(yīng)用。分類(lèi)是利用預(yù)定的已分類(lèi)數(shù)據(jù)集構(gòu)造出一個(gè)分類(lèi)函數(shù) 或分類(lèi)模型(也稱(chēng)作分類(lèi)器)，并利用該模型把未分類(lèi)數(shù)據(jù)映 射到 某一

10、給定類(lèi)別中的過(guò)程。分類(lèi)器的構(gòu)造方法很多，主 要包括規(guī)則歸納、決策樹(shù)、貝葉斯、神經(jīng)網(wǎng)絡(luò)、粗糙集、 以及支持向量機(jī)(SVM)等方法。其中貝葉斯分類(lèi)方法建立在貝葉斯統(tǒng)計(jì)學(xué)v1和貝葉斯網(wǎng)絡(luò)s1基礎(chǔ)上， 能夠有效地處理不完整數(shù)據(jù)，并且具有模型可解釋、精度 高等優(yōu)點(diǎn)，而被認(rèn)為是最優(yōu)分類(lèi)模型之一9。尤其是最早 的樸素貝葉斯分類(lèi)器101雖然結(jié)構(gòu)簡(jiǎn)單，但在很多情況下卻 具有相當(dāng)高的分類(lèi)精度，可以達(dá)到甚至超過(guò)其它成熟算法 如1 的分類(lèi)精度，而且對(duì)噪聲數(shù)據(jù)具有 很強(qiáng)的抗干擾能 力。因此，對(duì)貝葉斯分類(lèi)算法的深入研究，無(wú)論對(duì)其理論的 發(fā)展，還是在實(shí)際中的應(yīng)用，都具有很重要的意義。貝葉斯分類(lèi)器的分類(lèi)原理是通過(guò)某對(duì)象的先驗(yàn)

11、概率，利 用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類(lèi)的概 率，選擇具有最大后驗(yàn)概率的類(lèi)作為該對(duì)象所屬的類(lèi)。目前 研究較多的貝葉斯分類(lèi)器主要有四種，分別是：Naive Bayes、 TAN、 BAN 和 GBNo貝葉斯網(wǎng)絡(luò)是一個(gè)帶有概率注釋的有向無(wú)環(huán)圖，圖中的 每一個(gè)結(jié)點(diǎn)均表示一個(gè)隨機(jī)變量，圖中兩結(jié)點(diǎn)間若存在著一 條弧，則表示這兩結(jié)點(diǎn)相對(duì)應(yīng)的隨機(jī)變量是概率相依的，反 之則說(shuō)明這兩個(gè)隨機(jī)變量是條件獨(dú)立的。網(wǎng)絡(luò)中任意一個(gè)結(jié) 點(diǎn)X均有一個(gè)相應(yīng)的條件概率表(Conditional Probability Table，CPT)，用以表示結(jié)點(diǎn)X在其父結(jié)點(diǎn)取各可能值時(shí)的 條件概率。若結(jié)點(diǎn)X無(wú)父結(jié)點(diǎn)，則X

12、的CPT為其先驗(yàn)概率分 布。貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)及各結(jié)點(diǎn)的CPT定義了網(wǎng)絡(luò)中各變量 的概率分布。貝葉斯分類(lèi)器是用于分類(lèi)的貝葉斯網(wǎng)絡(luò)。該網(wǎng)絡(luò)中應(yīng)包 含類(lèi)結(jié)點(diǎn)C，其中C的取值來(lái)自于類(lèi)集合(cl , c2 ,., cm)，還包含一組結(jié)點(diǎn)X = ( Xl , X2 , . , Xn)，表示用 于分類(lèi)的特征。對(duì)于貝葉斯網(wǎng)絡(luò)分類(lèi)器，若某一待分類(lèi)的樣 本D，其分類(lèi)特征值為x = ( xl , x2 , . , x n)，則 樣本D屬于類(lèi)別lj ci的概率P( C = ci | Xl = xl , X2 = x2 , . . , Xn = x n)，( i = l ,2 , . . , m)應(yīng)滿(mǎn)足下式：P( C

13、= ci X = x) = Max P( C = cl X=x) , P( C=c2 X = x ) , . , P( C = cm X = x ) 而貝葉斯公式：P( C = ci X = x) = P( X = xC = ci) * P( C =ci) / P( X = x)其中，P( C = ci)可領(lǐng)域?qū)＜业慕?jīng)驗(yàn)得到，而P( X = x C = ci)和？( X = x)的計(jì)算則較困難。應(yīng)用貝葉斯網(wǎng)絡(luò)分類(lèi)器進(jìn)行分類(lèi)主要分成兩階段。第一 階段是貝葉斯網(wǎng)絡(luò)分類(lèi)器的學(xué)習(xí)，即從樣本數(shù)據(jù)中構(gòu)造分類(lèi) 器，包括結(jié)構(gòu)學(xué)習(xí)和CPT學(xué)習(xí)；第二階段是貝葉斯網(wǎng)絡(luò)分類(lèi) 器的推理，即計(jì)算類(lèi)結(jié)點(diǎn)的條件概率，對(duì)分類(lèi)數(shù)

14、據(jù)進(jìn)行分類(lèi)。 這兩個(gè)階段的時(shí)間復(fù)雜性均取決于特征值間的依賴(lài)程度，甚 至可以是NP完全問(wèn)題，因而在實(shí)際應(yīng)用中，往往需要對(duì)貝 葉斯網(wǎng)絡(luò)分類(lèi)器進(jìn)行簡(jiǎn)化。根據(jù)對(duì)特征值間不同關(guān)聯(lián)程度的 假設(shè)，可以得出各種貝葉斯分類(lèi)器，Naive Bayes、TAN、BAN、 GBN就是其中較典型、研究較深入的貝葉斯分類(lèi)器。貝葉斯網(wǎng)絡(luò)分類(lèi)器是一種典型的基于統(tǒng)計(jì)方法的分類(lèi)模型。它 以貝葉斯定理為理論基礎(chǔ)，巧妙地將事件的先驗(yàn)概率與后 驗(yàn)概率聯(lián)系起來(lái)，利用先驗(yàn)信息和樣本數(shù)據(jù)確定事件的后 驗(yàn)概率。錯(cuò)誤率最小的貝葉斯分類(lèi)器設(shè)計(jì)思想是尋找一種 劃分方式，使“錯(cuò)判”率最小。四、實(shí)驗(yàn)內(nèi)容與步驟實(shí)驗(yàn)內(nèi)容：假定某個(gè)局部區(qū)域細(xì)胞識(shí)別中正常和非

15、正常 兩類(lèi)先驗(yàn)概率分別為正常狀態(tài)：P=；異常狀態(tài)：P二?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為：已知類(lèi)條件概率的曲線(xiàn)如下圖:類(lèi)條件概率分布正態(tài)分布分別為試對(duì)觀察的結(jié)果進(jìn)行 分類(lèi)。最小風(fēng)險(xiǎn)貝葉斯決策可按下列步驟進(jìn)行：在已知P(Wi)，P(X|Wi)，i=1,，c及給出待識(shí)別的X 的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：j=1,，x利用計(jì)算出的后驗(yàn)概率及決策表，根據(jù)貝葉斯公式 計(jì)算。策。對(duì)中得到的a個(gè)條件風(fēng)險(xiǎn)值,i=1,，a進(jìn)行比較， 找出使其條件風(fēng)險(xiǎn)最小的決策，即則就是最小風(fēng)險(xiǎn)貝葉斯決五、實(shí)驗(yàn)報(bào)告要求1)的設(shè)計(jì)，用matlab完成基于最小錯(cuò)誤率的貝葉斯分類(lèi)器 要求程序相應(yīng)語(yǔ)句有說(shuō)明文字，要求有子程序的調(diào)用過(guò)程。根據(jù)例子畫(huà)出后驗(yàn)概率的分布曲線(xiàn)以及分類(lèi)的 結(jié)果示意圖。如果是最小風(fēng)險(xiǎn)貝葉斯決策，決策表如下：最小風(fēng)險(xiǎn)貝葉斯決策表：狀態(tài)決策a 2 2 0請(qǐng)重新設(shè)計(jì)程序，完成基于最小風(fēng)險(xiǎn)的貝葉