模式識別試驗報告-試驗一-Bayes分類器設(shè)計匯總

1、實驗一 Bayes分類器設(shè)計【實驗?zāi)康摹繉δＪ阶R別有一個初步的理解， 能夠根據(jù)自己的設(shè)計對貝葉斯決策理論算法有一個深刻 地認(rèn)識，理解二類分類器的設(shè)計原理?！緦嶒炘怼孔钚★L(fēng)險貝葉斯決策可按下列步驟進(jìn)行:在已知P( i)，P(X i) , i=1,，c及給出待識別的 X的情況下，根據(jù)貝葉斯公式計算出后驗概率:P( iX)P(X i)P( i)cj=1,，X-可編輯修改-P(X i)P( i)j 1ai,i=l,，a的條件風(fēng)(2)利用計算出的后驗概率及決策表，按下面的公式計算出采取cR(ai X)(ai, j)P( j X) ,i=1,2,aj i(3)對(2)中得到的a個條件風(fēng)險值 R(aiX)

2、,i=1,，a進(jìn)行比較，找出使其條件風(fēng)險最小的決策ak，即R ak x min R ai xi 1,L a則ak就是最小風(fēng)險貝葉斯決策。【實驗內(nèi)容】1 )和非正常(2 )兩類先驗概率分別為假定某個局部區(qū)域細(xì)胞識別中正常(正常狀態(tài)：P (1) =0.9 ;異常狀態(tài)：P (2 ) =0.1 ?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為X:3.9847-3.5549-1.2401-0.9780-0.7932-2.85312.7605-3.7287-3.5414-2.2692-3.4549-3.07523.99342.8792-0.97800.79321.18823.06821.5799-1.4885-0.7

3、431-0.4221-1.11864.2532已知類條件概率是的曲線如下圖:P(x| 1) p(x| 2)類條件概率分布正態(tài)分布分別為N (-2 , 0.25 )、N (2,4 )試對觀察的結(jié)果進(jìn)行分類?！緦嶒炓蟆?) 用matlab完成基于最小錯誤率的貝葉斯分類器的設(shè)計，要求程序相應(yīng)語句有說明 文字，要求有子程序的調(diào)用過程。2) 根據(jù)例子畫出后驗概率的分布曲線以及分類的結(jié)果示意圖。3) 如果是最小風(fēng)險貝葉斯決策，決策表如下：最小風(fēng)險貝葉斯決策表：狀態(tài)12決策al04a220請重新設(shè)計程序，完成基于最小風(fēng)險的貝葉斯分類器，畫出相應(yīng)的條件風(fēng)險的分布曲線和分類結(jié)果，并比較兩個結(jié)果?！緦嶒灣绦颉孔?/p>

4、小錯誤率貝葉斯決策分類器設(shè)計x=-3.9847-3.5549-1.2401-0.9780-0.7932-2.8531-2.7605-3.7287-3.5414-2.2692-3.4549-3.0752-3.99342.8792-0.97800.79321.18823.0682-1.5799-1.4885-0.7431-0.4221-1.11864.2532 pw1=0.9 ; pw2=0.1e1=-2; a仁 0.5e2=2;a2=2m=nu mel(x) % 得到待測細(xì)胞個數(shù)pw1_x=zeros(1,m)%存放對w1的后驗概率矩陣pw2_x=zeros(1,m)%存放對w2的后驗概率矩陣r

5、esults=zeros(1,m) %存放比較結(jié)果矩陣for i = 1:m % 計算在 w1 下的后驗概率pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)% 計算在 w2 下的后驗概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)endfor i = 1:mif pw1_x(i)>pw2_x(i)% 比較兩類后驗概率result(i)=0 % 正常細(xì)胞el

6、seresult(i)=1 % 異常細(xì)胞endenda=-5:0.05:5 % 取樣本點以畫圖n=numel(a)pw1_plot=zeros(1,n)pw2_plot=zeros(1,n) for j=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a( j),e2,a2)% 計算每個樣本點對 w1 的后驗概率以畫圖pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a( j),e2,a2)e

7、ndfigure(1)hold onplot(a,pw1_plot,'k-',a,pw2_plot,'r-.')for k=1:mif result(k)=0plot(x(k),-0.1,'b*') % 正常細(xì)胞用 * 表示elseplot(x(k),-0.1,'rp') % 異常細(xì)胞用五角星表示end;end;legend(' 正常細(xì)胞后驗概率曲線 ',' 異常細(xì)胞后驗概率曲線 ','正常細(xì)胞 ',' 異常細(xì)胞 ')xlabel(' 樣本細(xì)胞的觀察值 

8、9;)ylabel(' 后驗概率 ') title(' 后驗概率分布曲線 ')grid on return ;實驗內(nèi)容仿真-2.8531,-2.7605 , 2.8792 , -0.9780 , -0.4221 , -1.1186x = -3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 4.2

9、532 disp(x) pw1=0.9pw2=0.1result=bayes(x,pw1,pw2)最小風(fēng)險貝葉斯決策分類器設(shè)計function R1_x,R2_x,result=danger(x,pw1,pw2) m=numel(x) % 得到待測細(xì)胞個數(shù)R1_x=zeros(1,m) % 存放把樣本 X 判為正常細(xì)胞所造成的整體損失 R2_x=zeros(1,m) % 存放把樣本 X 判為異常細(xì)胞所造成的整體損失 result=zeros(1,m) % 存放比較結(jié)果e1=-2 a1=0.5e2=2 a2=2%類條件概率分布 px_w1: (-2 ，0.25 ) px_w2 (2,4)r11=

10、0r12=2r21=4r22=0%風(fēng)險決策表for i=1:m % 計算兩類風(fēng)險值R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2)R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*pw2*norm

11、pdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2)endfor i=1:mif R2_x(i)>R1_x(i)% 第二類比第一類風(fēng)險大result(i)=0 % 判為正常細(xì)胞(損失較小) ，用 0 表示elseresult(i)=1% 判為異常細(xì)胞，用 1 表示endenda=-5:0.05:5 % 取樣本點以畫圖n=numel(a)R1_plot=zeros(1,n)R2_plot=zeros(1,n)for j=1:nR1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*

12、normpdf(a(j),e1,a1)+pw2*normpdf(a( j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a( j),e2,a2)R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a( j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a( j),e2,a2)%計算各樣本點的風(fēng)險以畫

13、圖endfigure(1)hold on plot(a,R1_plot,'b-',a,R2_plot,'g*-')for k=1:mif result(k)=0plot(x(k),-0.1,'b")%正常細(xì)胞用上三角表示elseplot(x(k),-0.1,'go')% 異常細(xì)胞用圓表示end;end;legend(' 正常細(xì)胞 ','異常細(xì)胞 ','Location','Best')xlabel(' 細(xì)胞分類結(jié)果 ')ylabel(' 條件

14、風(fēng)險 ')title(' 風(fēng)險判決曲線 ')grid onreturn實驗內(nèi)容仿真x = -3.9847 ,-3.5549-1.2401 , -0.9780 , -0.7932-2.8531-3.7287 , -3.5414 , -2.2692-3.4549-3.0752 , -3.9934-0.9780 , 0.7932 , 1.18823.0682, -1.5799, -1.4885 , -0.7431,-2.7605 ,2.8792, -0.4221-1.1186 , 4.2532 disp(x) pw1=0.9-可編輯修改 -pw2=0.1 R1_x,R2_x,

15、result=da nger(x,pw1,pw2)【實驗結(jié)果和數(shù)據(jù)】最小錯誤率貝葉斯決策后驗概率曲線與判決結(jié)果在一張圖上：后驗概率曲線如圖所示，帶*的綠色曲線為判決成異常細(xì)胞的后驗概率曲線；另一條平滑的藍(lán)色曲線為判為正常細(xì)胞的后驗概率曲線。根據(jù)最小錯誤概率準(zhǔn)則，判決結(jié)果見曲線下方，其中“上三角”代表判決為正常細(xì)胞，“圓圈”代表異常細(xì)胞。各細(xì)胞分類結(jié)果：00000000000001011 1000101-50為判成正常細(xì)胞，1為判成異常細(xì)胞LliiLix.“ HUdUJUllmiiwudiiiidilii11廠一-正常細(xì)胞 異常細(xì)胞*/1111甲1f卜* 十七ikH 彈1 miLiumL4-1.

16、21后驗概率分布曲線-4-3-2-10 12細(xì)胞的觀察值3458 6 4 2 00 0 0 0 率概驗后圖1基于最小錯誤率的貝葉斯判決最小風(fēng)險貝葉斯決策風(fēng)險判決曲線如圖2所示，其中帶*的綠色曲線代表異常細(xì)胞的條件風(fēng)險曲線；另一條光滑的藍(lán)色曲線為判為正常細(xì)胞的條件風(fēng)險曲線。根據(jù)貝葉斯最小風(fēng)險判決準(zhǔn)則， 判決結(jié)果見曲線下方，其中“上三角”代表判決為正常細(xì)胞,“圓圈“代表異常細(xì)胞。-可編輯修改-各細(xì)胞分類結(jié)果:1 0000000000011 0 1 1 1 0 0 0 1 0 1其中，0為判成正常細(xì)胞，1為判成異常細(xì)胞風(fēng)險判決曲線險風(fēng)件條5 3 53 22 5 1正常細(xì)胞-異常細(xì)胞0-0.5-5-4

17、Ji.|j一_in 11-2 -1 1 2細(xì)胞分類結(jié)果圖2 基于最小風(fēng)險的貝葉斯判決【實驗分析】由最小錯誤率的貝葉斯判決和基于最小風(fēng)險的貝葉斯判決得出的圖形中的分類結(jié)果可 以看出，樣本-3.9934、-3.9847在前者中被分為“正常細(xì)胞”，在后者中被分為“異常細(xì)胞”，分類結(jié)果截然不同。因為在給予最小風(fēng)險的貝葉斯判決中，影響決策結(jié)果的因素多了一個 “損失”。可以看出，在圖1中，這兩個樣本點下兩類決策的后驗概率相差很小，當(dāng)結(jié)合最小風(fēng) 險貝葉斯決策表進(jìn)行計算時，“損失”就起了主導(dǎo)作用，導(dǎo)致出現(xiàn)了相反的結(jié)果。另外，最小錯誤率貝葉斯決策就是在0-1損失函數(shù)條件下的最小風(fēng)險貝葉斯決策，即前者是后者的特例

18、。實驗二基于Fisher準(zhǔn)則線性分類器設(shè)計【實驗?zāi)康摹勘緦嶒炛荚谧屚瑢W(xué)進(jìn)一步了解分類器的設(shè)計概念，能夠根據(jù)自己的設(shè)計對線性分類器有更深刻地認(rèn)識，理解 Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及 Lagrande 子求解的原理。【實驗條件】Matlab軟件【實驗原理】線性判別函數(shù)的一般形式可表示成g (X)wtx wo其中wXiXWXdWd根據(jù)Fisher選擇投影方向 W的原則，即使原樣本向量在該方向上的投影能兼顧類間分 布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價投影方向W的函數(shù)為：-可編輯修改-Jf(W)(mim2)2Si2S2* 1WSw （mi m2）上面的公式是使用

19、 Fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運(yùn)算，我們稱為線性變換，其中mi m2式一個向量，SW是S的逆矩陣，如m m21*是d維，S和Sw都是d xd維，得到的 W 也是一個d維的向量。向量W*就是使Fisher準(zhǔn)則函數(shù)JF(W)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X 空間投影到一維 Y空間的最佳投影方向，該向量W*的各分量值是對原d維特征向量求加權(quán) 和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量W*的計算方法，但是判別函數(shù)中的另一項Wo尚未確定，一般可采用以下幾種方法確定Wo如-可編輯修改 -Wor1

20、 m22或者W0N1r12危mN1N2或當(dāng)p( )1與p()2已知時可用W0m m in p（ 1）/ p（ 2）2N1 N2 2當(dāng)W0確定之后，則可按以下規(guī)則分類,WTXw0 X1WTXw0 X2使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個著名的方法，盡管提出該方法的時間比較早，仍見有人使用。實驗程序】function fisher %w1 中數(shù)據(jù)點的坐標(biāo)x1 =0.23311.52070.64990.29080.25180.6682-0.54310.9407-0.21260.33451.0650-0.02470.58381.16531.26530.7226-0.20150.407

21、0x2 =2.33852.19461.67302.06812.12132.47971.87042.29481.77142.20272.45681.75232.04662.02262.37571.94492.38012.2373x3 =0.53380.85141.08310.60710.44390.49281.00720.42720.43531.02990.71271.01240.77050.41291.00850.97510.78400.4158%將 x1、x2 、x3 變?yōu)樾邢蛄?.77571.05241.19740.56220.90230.13330.0507-0.08100.73150.

22、10430.31220.66550.8137-0.33990.5152-0.1717-1.0573-0.2099;1.63651.78442.01551.51181.96921.83402.39391.56481.93291.69912.48831.72591.79872.08282.07982.16141.92352.2604;0.41641.11760.55360.59011.09271.07560.98690.48411.09920.45760.85441.12750.76760.84180.87841.03150.75330.9548;x1=x1(:);x2=x2(:);x3=x3(:

23、);% 計算第一類的樣本均值向量 m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);% 計算第一類樣本類內(nèi)離散度矩陣 S1S1=zeros(3,3);for i=1:36S1=S1+-m1(1)+x1(i)-m1(2)+x2(i) -m1(3)+x3(i)'*-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i);endx5 =1.02980.9611 0.9154 1.49010.8200 0.9399%w2 的數(shù)據(jù)點坐標(biāo)x4 =1.40101.23012.08141.16551.37401.18291.76321.973

24、92.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414;1.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71

25、401.24461.33921.18080.55031.47081.14350.76791.1288;x6 =0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458;x4=x4(:);x5=x5(:);x6=x6(:);%

26、 計算第二類的樣本均值向量 m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);% 計算第二類樣本類內(nèi)離散度矩陣 S2S2=zeros(3,3);for i=1:36-m2(2)+x5(i)S2=S2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)'*-m2(1)+x4(i)-m2(3)+x6(i);end% 總類內(nèi)離散度矩陣 SwSw=zeros(3,3);Sw=S1+S2;% 樣本類間離散度矩陣 SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);% 最優(yōu)解 WW=Swr*(m1-m

27、2)'% 將 W 變?yōu)閱挝幌蛄恳苑奖阌嬎阃队癢=W/sqrt(sum(W.A2);%計算一維Y空間中的各類樣本均值M1及M2for i=1:36y(i)=W'*x1(i) x2(i) x3(i)'endM1=mean(y)for i=1:36y(i)=W'*x4(i) x5(i) x6(i)'endM2=mean(y)% 利用當(dāng) P(w1) 與 P(w2) 已知時的公式計算 W0 p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%計算將樣本投影到最佳方向上以后的新坐標(biāo)X1=x1*W(1)+x2*W(2)

28、+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%得到投影長度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐標(biāo)%繪制樣本點figure(1)plot3(x1,x2,x3,'r*') % 第一類hold onplot3(x4,x5,x6,'bp') % 第二類legend(' 第一類點 ',' 第二類點 ')title('Fisher 線性判別曲線 ')W1=5*W;%畫出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','b');%判別已給點的分類a1=1,1.5,0.6'a2=1.2,1.0,0.55'a3=2.0,0.9,0.68'a4=1.2,1.5,0.89'a5=0.23,2.33,1.43'A=a1 a2 a3 a4 a5n=size(A,2);%下面代碼在改變樣本時都不必修改%繪制待測數(shù)據(jù)投影到最佳方向上的點for k=1:nA1=A(:,