模式識(shí)別實(shí)驗(yàn)報(bào)告-實(shí)驗(yàn)一-Bayes分類器設(shè)計(jì)

1、實(shí)驗(yàn)一 Bayes分類器設(shè)計(jì)【實(shí)驗(yàn)?zāi)康摹繉δＪ阶R(shí)別有一個(gè)初步的理解，能夠根據(jù)自己的設(shè)計(jì)對貝葉斯決策理論算法有一個(gè)深刻地認(rèn)識(shí)，理解二類分類器的設(shè)計(jì)原理。【實(shí)驗(yàn)原理】最小風(fēng)險(xiǎn)貝葉斯決策可按下列步驟進(jìn)行：(1)在已知，i=1,，c及給出待識(shí)別的的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：j=1,，x (2)利用計(jì)算出的后驗(yàn)概率及決策表，按下面的公式計(jì)算出采取,i=1,，a的條件風(fēng)險(xiǎn),i=1,2,a(3)對(2)中得到的a個(gè)條件風(fēng)險(xiǎn)值,i=1,，a進(jìn)行比較，找出使其條件風(fēng)險(xiǎn)最小的決策，即則就是最小風(fēng)險(xiǎn)貝葉斯決策。【實(shí)驗(yàn)內(nèi)容】假定某個(gè)局部區(qū)域細(xì)胞識(shí)別中正常（）和非正常（）兩類先驗(yàn)概率分別為正常狀態(tài)：P（）=

2、0.9；異常狀態(tài)：P（）=0.1?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為：-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知類條件概率是的曲線如下圖：類條件概率分布正態(tài)分布分別為N（-2，0.25）、N（2,4）試對觀察的結(jié)果進(jìn)行分類?！緦?shí)驗(yàn)要求】1) 用matlab完成基于最

3、小錯(cuò)誤率的貝葉斯分類器的設(shè)計(jì)，要求程序相應(yīng)語句有說明文字，要求有子程序的調(diào)用過程。2) 根據(jù)例子畫出后驗(yàn)概率的分布曲線以及分類的結(jié)果示意圖。3) 如果是最小風(fēng)險(xiǎn)貝葉斯決策，決策表如下：最小風(fēng)險(xiǎn)貝葉斯決策表：狀態(tài)決策104220請重新設(shè)計(jì)程序，完成基于最小風(fēng)險(xiǎn)的貝葉斯分類器，畫出相應(yīng)的條件風(fēng)險(xiǎn)的分布曲線和分類結(jié)果,并比較兩個(gè)結(jié)果?！緦?shí)驗(yàn)程序】u 最小錯(cuò)誤率貝葉斯決策² 分類器設(shè)計(jì)x=-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934

4、 2.8792 -0.9780 0.7932 1.1882 3.0682 -1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 pw1=0.9 ; pw2=0.1e1=-2; a1=0.5e2=2;a2=2m=numel(x) %得到待測細(xì)胞個(gè)數(shù)pw1_x=zeros(1,m) %存放對w1的后驗(yàn)概率矩陣pw2_x=zeros(1,m) %存放對w2的后驗(yàn)概率矩陣results=zeros(1,m) %存放比較結(jié)果矩陣for i = 1:m%計(jì)算在w1下的后驗(yàn)概率 pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpd

5、f(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)%計(jì)算在w2下的后驗(yàn)概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)endfor i = 1:m if pw1_x(i)>pw2_x(i) %比較兩類后驗(yàn)概率 result(i)=0 %正常細(xì)胞 else result(i)=1 %異常細(xì)胞 endenda=-5:0.05:5 %取樣本點(diǎn)以畫圖n=numel(a)pw1_plot=zeros(1,n)pw2_plot=zeros(1,n)for j

6、=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)%計(jì)算每個(gè)樣本點(diǎn)對w1的后驗(yàn)概率以畫圖pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)endfigure(1)hold onplot(a,pw1_plot,'k-',a,pw2_plot,'r-.')for k=1:m if result(k)=0 plot(x(k)

7、,-0.1,'b*') %正常細(xì)胞用*表示 else plot(x(k),-0.1,'rp') %異常細(xì)胞用五角星表示 end;end;legend('正常細(xì)胞后驗(yàn)概率曲線','異常細(xì)胞后驗(yàn)概率曲線','正常細(xì)胞','異常細(xì)胞')xlabel('樣本細(xì)胞的觀察值')ylabel('后驗(yàn)概率')title('后驗(yàn)概率分布曲線')grid onreturn ;² 實(shí)驗(yàn)內(nèi)容仿真x = -3.9847 , -3.5549 , -1.2401 , -0

8、.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 disp(x)pw1=0.9pw2=0.1result=bayes(x,pw1,pw2)u 最小風(fēng)險(xiǎn)貝葉斯決策² 分類器設(shè)計(jì)function R1_x,R2_x,result=danger(x

9、,pw1,pw2)m=numel(x) %得到待測細(xì)胞個(gè)數(shù)R1_x=zeros(1,m) %存放把樣本X判為正常細(xì)胞所造成的整體損失R2_x=zeros(1,m) %存放把樣本X判為異常細(xì)胞所造成的整體損失result=zeros(1,m) %存放比較結(jié)果e1=-2a1=0.5e2=2a2=2%類條件概率分布px_w1:（-2，0.25） px_w2（2,4）r11=0r12=2r21=4r22=0%風(fēng)險(xiǎn)決策表for i=1:m %計(jì)算兩類風(fēng)險(xiǎn)值 R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x

10、(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2) R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)endfor i=1:m if R2_x(i)>R1_x(i)%第二類比第一類風(fēng)險(xiǎn)大 resul

11、t(i)=0 %判為正常細(xì)胞（損失較?。?，用0表示 else result(i)=1 %判為異常細(xì)胞，用1表示 end enda=-5:0.05:5 %取樣本點(diǎn)以畫圖n=numel(a)R1_plot=zeros(1,n)R2_plot=zeros(1,n)for j=1:n R1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,

12、a2) R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2) %計(jì)算各樣本點(diǎn)的風(fēng)險(xiǎn)以畫圖endfigure(1)hold onplot(a,R1_plot,'b-',a,R2_plot,'g*-')for k=1:m if result(k)=0 plot(x(k),-0.1,'b&

13、#39;)%正常細(xì)胞用上三角表示 else plot(x(k),-0.1,'go')%異常細(xì)胞用圓表示 end;end;legend('正常細(xì)胞','異常細(xì)胞','Location','Best')xlabel('細(xì)胞分類結(jié)果')ylabel('條件風(fēng)險(xiǎn)')title('風(fēng)險(xiǎn)判決曲線')grid onreturn² 實(shí)驗(yàn)內(nèi)容仿真x = -3.9847 , -3.5549 ,-1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7

14、605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 disp(x)pw1=0.9pw2=0.1R1_x,R2_x,result=danger(x,pw1,pw2)【實(shí)驗(yàn)結(jié)果和數(shù)據(jù)】u 最小錯(cuò)誤率貝葉斯決策后驗(yàn)概率曲線與判決結(jié)果在一張圖上：后驗(yàn)概率曲線如圖所示，帶*的綠色曲線為判決成異常細(xì)胞的后驗(yàn)概率曲線；另一條平滑

15、的藍(lán)色曲線為判為正常細(xì)胞的后驗(yàn)概率曲線。根據(jù)最小錯(cuò)誤概率準(zhǔn)則，判決結(jié)果見曲線下方，其中“上三角”代表判決為正常細(xì)胞，“圓圈”代表異常細(xì)胞。各細(xì)胞分類結(jié)果：0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 10為判成正常細(xì)胞，1為判成異常細(xì)胞圖1 基于最小錯(cuò)誤率的貝葉斯判決u 最小風(fēng)險(xiǎn)貝葉斯決策風(fēng)險(xiǎn)判決曲線如圖2所示，其中帶*的綠色曲線代表異常細(xì)胞的條件風(fēng)險(xiǎn)曲線；另一條光滑的藍(lán)色曲線為判為正常細(xì)胞的條件風(fēng)險(xiǎn)曲線。根據(jù)貝葉斯最小風(fēng)險(xiǎn)判決準(zhǔn)則，判決結(jié)果見曲線下方，其中“上三角”代表判決為正常細(xì)胞，“圓圈“代表異常細(xì)胞。各細(xì)胞分類結(jié)果：1 0 0 0 0 0

16、0 0 0 0 0 0 1 1 0 1 1 1 0 0 0 1 0 1其中，0為判成正常細(xì)胞，1為判成異常細(xì)胞圖2 基于最小風(fēng)險(xiǎn)的貝葉斯判決【實(shí)驗(yàn)分析】由最小錯(cuò)誤率的貝葉斯判決和基于最小風(fēng)險(xiǎn)的貝葉斯判決得出的圖形中的分類結(jié)果可以看出，樣本-3.9934、-3.9847在前者中被分為“正常細(xì)胞”，在后者中被分為“異常細(xì)胞”，分類結(jié)果截然不同。因?yàn)樵诮o予最小風(fēng)險(xiǎn)的貝葉斯判決中，影響決策結(jié)果的因素多了一個(gè)“損失”?？梢钥闯?，在圖1中，這兩個(gè)樣本點(diǎn)下兩類決策的后驗(yàn)概率相差很小，當(dāng)結(jié)合最小風(fēng)險(xiǎn)貝葉斯決策表進(jìn)行計(jì)算時(shí)，“損失”就起了主導(dǎo)作用，導(dǎo)致出現(xiàn)了相反的結(jié)果。另外，最小錯(cuò)誤率貝葉斯決策就是在0-1損失

17、函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策，即前者是后者的特例。實(shí)驗(yàn)二 基于Fisher準(zhǔn)則線性分類器設(shè)計(jì)【實(shí)驗(yàn)?zāi)康摹勘緦?shí)驗(yàn)旨在讓同學(xué)進(jìn)一步了解分類器的設(shè)計(jì)概念，能夠根據(jù)自己的設(shè)計(jì)對線性分類器有更深刻地認(rèn)識(shí)，理解Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及Lagrande乘子求解的原理。【實(shí)驗(yàn)條件】Matlab軟件【實(shí)驗(yàn)原理】線性判別函數(shù)的一般形式可表示成 其中 根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價(jià)投影方向W的函數(shù)為： 上面的公式是使用Fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形

18、式的運(yùn)算，我們稱為線性變換，其中式一個(gè)向量，是的逆矩陣，如是d維，和都是d×d維，得到的也是一個(gè)d維的向量。向量就是使Fisher準(zhǔn)則函數(shù)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量 的計(jì)算方法，但是判別函數(shù)中的另一項(xiàng)尚未確定，一般可采用以下幾種方法確定如或者 或當(dāng)與已知時(shí)可用當(dāng)W0確定之后，則可按以下規(guī)則分類，使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個(gè)著名的方法，盡管提出該方法的時(shí)間比較早，仍見有

19、人使用?！緦?shí)驗(yàn)程序】function fisher%w1中數(shù)據(jù)點(diǎn)的坐標(biāo)x1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;

20、x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0.553

21、6 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.87840.9751 0.7840 0.4158 1.0315 0.7533 0.9548;%將x1、x2、x3變?yōu)樾邢蛄縳1=x1(:);x2=x2(:);x3=x3(:);%計(jì)算第一類的樣本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1

22、(3)=mean(x3);%計(jì)算第一類樣本類內(nèi)離散度矩陣S1S1=zeros(3,3);for i=1:36 S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)'*-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i);end%w2的數(shù)據(jù)點(diǎn)坐標(biāo)x4 =1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466

23、1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414;x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.

24、2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.67

25、39 0.8651 1.3699 1.1458;x4=x4(:);x5=x5(:);x6=x6(:);%計(jì)算第二類的樣本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%計(jì)算第二類樣本類內(nèi)離散度矩陣S2S2=zeros(3,3);for i=1:36 S2=S2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)'*-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i);end%總類內(nèi)離散度矩陣SwSw=zeros(3,3);Sw=S1+S2;%樣本類間離散度矩陣SbSb=zeros(

26、3,3);Sb=(m1-m2)'*(m1-m2);%最優(yōu)解WW=Sw-1*(m1-m2)'%將W變?yōu)閱挝幌蛄恳苑奖阌?jì)算投影W=W/sqrt(sum(W.2);%計(jì)算一維Y空間中的各類樣本均值M1及M2for i=1:36 y(i)=W'*x1(i) x2(i) x3(i)'endM1=mean(y)for i=1:36 y(i)=W'*x4(i) x5(i) x6(i)'endM2=mean(y)%利用當(dāng)P(w1)與P(w2)已知時(shí)的公式計(jì)算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%

27、計(jì)算將樣本投影到最佳方向上以后的新坐標(biāo) X1=x1*W(1)+x2*W(2)+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%得到投影長度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐標(biāo)%繪制樣本點(diǎn)figure(1)plot3(x1,x2,x3,'r*') %第一類hold onplot3(x4,x5,x6,'bp') %第二類legend('第一類點(diǎn)','第二類點(diǎn)')title('Fisher線性判別曲線')W1=5*W; %畫出最佳方向 line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','b'); %判別已給點(diǎn)的分類 a1=1,1.5,0.6'a2=1.2,1.0,0.55'a3=2.0,0.9,0.68'a4=1.2,1.5,0.89'a5=0.23,2.33,1.43'A