用身高與體重?cái)?shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)報(bào)告

1、用身高和體重?cái)?shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)報(bào)告姓 名：劉懿郴 學(xué) 號(hào)：2009302308 范 英 學(xué) 號(hào)： 2009302316 胡 亮 學(xué) 號(hào)： 2009302319 班 級(jí)：93911、 基本要求 用FAMALE.TXT和MALE.TXT的數(shù)據(jù)作為訓(xùn)練樣本集，建立Bayes分類器，用測(cè)試樣本數(shù)據(jù)對(duì)該分類器進(jìn)行測(cè)試。調(diào)整特征、分類器等方面的一些因素，考察它們對(duì)分類器性能的影響，從而加深對(duì)所學(xué)內(nèi)容的理解和感性認(rèn)識(shí)。2、具體做法 （1）應(yīng)用兩個(gè)特征進(jìn)行實(shí)驗(yàn)：同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，分別假設(shè)二者相關(guān)或不相關(guān)，在正態(tài)分布假設(shè)下估計(jì)概率密度，建立最小錯(cuò)誤率Bayes分類器，寫出得到的決策規(guī)則，將該分

2、類器應(yīng)用到訓(xùn)練/測(cè)試樣本，考察訓(xùn)練/測(cè)試錯(cuò)誤情況。比較相關(guān)假設(shè)和不相關(guān)假設(shè)下結(jié)果的差異。在分類器設(shè)計(jì)時(shí)可以考察采用不同先驗(yàn)概率（如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs. 0.1等）進(jìn)行實(shí)驗(yàn)，考察對(duì)決策和錯(cuò)誤率的影響。 （2） 自行給出一個(gè)決策表，采用最小風(fēng)險(xiǎn)的Bayes決策重復(fù)上面的實(shí)驗(yàn)。3、實(shí)驗(yàn)原理 已知樣本服從正態(tài)分布， （1）所以可以用最大似然估計(jì)來(lái)估計(jì)和兩個(gè)參數(shù) 樣本類分為男生和女生兩類，利用最大似然估計(jì)分別估計(jì)出男生樣本的，和女生樣本的，然后將數(shù)據(jù)帶入（1）公式分別計(jì)算兩者的類條 件概率密度和，然后根據(jù)貝葉斯公式計(jì)算出兩類的后驗(yàn)概率和實(shí)驗(yàn)一：對(duì)于兩類情

3、況，我們可以僅定義一個(gè)判別函數(shù)： 其中 = = 并將決策規(guī)則表示為 如果 >0，則決策； <0，則決策。 實(shí)驗(yàn)二：我們定義一個(gè)決策表如下圖 損失狀態(tài) 決策0620我們定義判別函數(shù)并將決策規(guī)則表示為 如果 >0，則決策； <0，則決策。xx>0? 輸入數(shù)據(jù)樣本集帶入判別函數(shù) N Y 實(shí)驗(yàn)流程圖4、實(shí)驗(yàn)結(jié)果 利用matlab我們計(jì)算出了male.txt 和female.txt的均值和協(xié)方差，和，這樣我們可以利用公式和判別函數(shù)與決策規(guī)則對(duì)訓(xùn)練/測(cè)試樣本集進(jìn)行分類，結(jié)果如下：（1） 當(dāng)體重和身高相關(guān)的時(shí)候 對(duì)于test1測(cè)試集，總體來(lái)說，對(duì)樣本集的判斷正確率隨著

4、男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減小（也就是隨著男性先 驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越少，甚至沒有；而把女性判別為男性的概率越來(lái)越大）而對(duì)于test1測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越大；而把女性判別為男性的概率越來(lái)越?。?）當(dāng)體重和身高不相關(guān)的時(shí)候 對(duì)于test1測(cè)試集，總體來(lái)說，對(duì)樣本集的

5、判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越少，甚至沒有；而把女性判別為男性的概率越來(lái)越大）而對(duì)于test1測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越大；而把女性判別為男性的概率越來(lái)越?。?）當(dāng)體重和身高相關(guān)的時(shí)候 對(duì)于test1測(cè)試集，總體來(lái)說，

6、對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減小（也就是隨著男性先 驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越少，甚至沒有；而把女性判別為男性的概率越來(lái)越大）而對(duì)于test1測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減小（也就是隨著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越大；而把女性判別為男性的概率越來(lái)越小）（4）當(dāng)體重和身高不相關(guān)的時(shí)候 對(duì)于test1測(cè)試

7、集，總體來(lái)說，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減小（也就是隨著男性先 驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越少，甚至沒有；而把女性判別為男性的概率越來(lái)越大）而對(duì)于test1測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來(lái)越大；而把女性判別為男性的概率越來(lái)越?。?.結(jié)果總體分析由實(shí)驗(yàn)結(jié)果可知，對(duì)

8、測(cè)試集的測(cè)試數(shù)據(jù)表明，最小錯(cuò)誤率的貝葉斯分類器在假設(shè)兩特征相關(guān)的情況下，男生類與女生類的先驗(yàn)概率與事實(shí)越接近既各為0.5時(shí)其準(zhǔn)確率越高，當(dāng)男生的先驗(yàn)概率大于女生時(shí)，容易將女生誤判為男生，當(dāng)男生的先驗(yàn)概率小于女生時(shí)，容易將男生誤判為女生，在假設(shè)兩特征不相關(guān)時(shí)分類器對(duì)先驗(yàn)概率依賴較小且準(zhǔn)確率較高。而對(duì)樣本集的測(cè)試數(shù)據(jù)則表明女生先驗(yàn)概率大于男生時(shí)分類器的準(zhǔn)確率較高，假設(shè)兩類特征不相關(guān)時(shí)其準(zhǔn)確率變化不大，但女生先驗(yàn)概率較大時(shí)對(duì)男生的誤判較多，男生的先驗(yàn)概率較大時(shí)對(duì)女生的誤判較多。最小風(fēng)險(xiǎn)的貝葉斯分類器假設(shè)兩類特征相關(guān)時(shí)，男生類與女生類的先驗(yàn)概率與事實(shí)接近既各為0.5時(shí)其準(zhǔn)確率較高，由于男生誤判為女生的

9、損失較大，所以男生的先驗(yàn)概率越大則將女生誤判為男生的概率越高，準(zhǔn)確率則較低，女生的先驗(yàn)概率較高時(shí)分類器準(zhǔn)確率較高，假設(shè)兩類特征相關(guān)時(shí)，情況與不相關(guān)時(shí)類似，說明最小風(fēng)險(xiǎn)的貝葉斯分類器對(duì)先驗(yàn)概率依賴程度較高而對(duì)特征之間是否相互獨(dú)立關(guān)系不大。另外，對(duì)樣本集的分類測(cè)試正確率明顯低于測(cè)試集，分析認(rèn)為是由于樣本分布并不十分近似正態(tài)分布，且數(shù)據(jù)分布比較分散，而測(cè)試集的數(shù)據(jù)卻恰好較嚴(yán)格服從正態(tài)分布且數(shù)據(jù)分布比較集中。6.實(shí)驗(yàn)心得通過實(shí)驗(yàn)更加深刻地理解了貝葉斯分類器的設(shè)計(jì)過程以及模式識(shí)別的流程，通過實(shí)驗(yàn)了解了所學(xué)知識(shí)的實(shí)用價(jià)值，明白了最大似然估計(jì)，最小錯(cuò)誤率的貝葉斯分類器與最小風(fēng)險(xiǎn)的貝葉斯分類器的優(yōu)缺點(diǎn)與適用情

10、況。通過討論解決實(shí)驗(yàn)中遇到的問題，明白了書中的公式不止需要記憶，還需要理解，明白了團(tuán)隊(duì)分工協(xié)作的重要性。7.相關(guān)實(shí)驗(yàn)代碼（1）當(dāng)體重和身高相關(guān)的最小錯(cuò)誤率分類期代碼 clear all;pw1=input('ÄÐÉúµÄÏÈÑé¸ÅÂÊ£º')pw2=input('Å®ÉúµÄÏÈÑé¸Å

11、94;Ê£º')male1=0;female1=0;error11=0;error12=0;male2=0;female2=0;error21=0;error22=0;%²âÊÔÑù±¾t1H t1W=textread('E:´óÈýÏÂѧÆÚģʽʶ±ðÄ£

12、2;½Ê¶±ðʵÑétest1.txt','%f %f %*s');t2H t2W=textread('E:´óÈýÏÂѧÆÚģʽʶ±ðģʽʶ±ðʵÑétest

13、2.txt','%f %f %*s');HW1=t1H t1W;HW1=HW1'HW2=t2H t2W;HW2=HW2'number1=length(HW1) ; %test1(15,20)µÄ¸öÊýnumber2=length(HW2) ; %test2(50,250)µÄ¸öÊýfor n=1:20 a=HW1(:,n); u11=173.9200;65.5020;thegema11=20.7536 23.0582;23.0582

14、 59.8982;%ÄÐÉú u12=162.8400;52.5960;thgema12=43.9344 15.5254;15.5254 31.1285;%Å®Éú det11=det(thegema11);det12=det(thgema12); p(11)=1/(2*pi)*(det110.5)*exp(-1/2*(a-u11)'/thegema11)*(a-u11); p(12)=1/(2*pi)*(det120.5)*exp(-1/2*(a-u12)'/thgema12)*(a-u12);

15、pz=p(11)*pw1+p(12)*pw2; p11=(p(11)*pw1)/pz;p12=(p(12)*pw2)/pz; g=p11-p12; if (g>0)%Ñù±¾¼¯Ç°15¸öÈËÊÇÄÐÉú male1=male1+1; else error11=error11+1; endend male1 error11 for n=21:number1 a=HW1(:,n); u11=173.9200;6

16、5.5020;thegema11=20.7536 23.0582;23.0582 59.8982;%ÄÐÉú u12=162.8400;52.5960;thgema12=43.9344 15.5254;15.5254 31.1285;%Å®Éú det11=det(thegema11);det12=det(thgema12); p(11)=1/(2*pi)*(det110.5)*exp(-1/2*(a-u11)'/thegema11)*(a-u11); p(12)=1/(2*pi)*(det120.5)*e

17、xp(-1/2*(a-u12)'/thgema12)*(a-u12); pz=p(11)*pw1+p(12)*pw2; p11=(p(11)*pw1)/pz;p12=(p(12)*pw2)/pz; g=p11-p12; if (g<0)%Ñù±¾¼¯test1ºó20¸öÊÇfemale female1=female1+1; else error12=error12+1; endend female1 error12 for n=1:50 a=HW2(:,n);

18、 u11=173.9200;65.5020;thegema11=20.7536 23.0582;23.0582 59.8982;%ÄÐÉú u12=162.8400;52.5960;thgema12=43.9344 15.5254;15.5254 31.1285;%Å®Éú det11=det(thegema11);det12=det(thgema12); p(11)=1/(2*pi)*(det110.5)*exp(-1/2*(a-u11)'/thegema11)*(a-u11); p(12)=1/(2*p

19、i)*(det120.5)*exp(-1/2*(a-u12)'/thgema12)*(a-u12); pz=p(11)*pw1+p(12)*pw2; p11=(p(11)*pw1)/pz;%maleºóÑé¸ÅÂÊ p12=(p(12)*pw2)/pz;%femaleºóÑé¸ÅÂÊ g=p11-p12;%test2Ç°50¸öΪfemale if (g<0)%

20、ÅжÏÊDz»ÊÇfemale female2=female2+1; else error21=error21+1; endend female2 error21 for n=51:number2 a=HW2(:,n); u11=173.9200;65.5020;thegema11=20.7536 23.0582;23.0582 59.8982;%ÄÐÉú u12=162.8400;52.5960;thgema12=43.9344 15.5254;15.

21、5254 31.1285;%Å®Éú det11=det(thegema11);det12=det(thgema12); p(11)=1/(2*pi)*(det110.5)*exp(-1/2*(a-u11)'/thegema11)*(a-u11); p(12)=1/(2*pi)*(det120.5)*exp(-1/2*(a-u12)'/thgema12)*(a-u12); pz=p(11)*pw1+p(12)*pw2; p11=(p(11)*pw1)/pz;%maleºóÑé¸Å