iris數(shù)據(jù)集下的樸素貝葉斯

1、 3/3iris數(shù)據(jù)集下的樸素貝葉斯 數(shù)據(jù)挖掘 (計(jì)科一班楊平1025115034） 題目：iris 數(shù)據(jù)集下的樸素貝葉斯實(shí)現(xiàn) 一問題描述： Iris 數(shù)據(jù)集是在分類和模式識(shí)別研究中常用的基準(zhǔn)數(shù)據(jù)。它是根據(jù)花瓣和萼片的長度和寬度來對(duì)Iris 進(jìn)行分類。Iris 數(shù)據(jù)集包含3類4維樣本,分別標(biāo)為1, 2, 3。其中, 每類樣本數(shù)目為50, 且服從正態(tài)分布，每個(gè)數(shù)據(jù)樣本有4個(gè)特征向量，分別代表萼片長度, 萼片寬度, 花瓣長度和花瓣寬度。 分類是利用預(yù)定的已分類數(shù)據(jù)集構(gòu)造出一個(gè)分類函數(shù)或分類模型(也稱作分類器)，并利用該模型把未分類數(shù)據(jù)映射到某一給定類別中的過程。 原理描述： 貝葉斯公式1(|)()

2、(|)max () m i i i j P X P P X P X =的實(shí)質(zhì)是通過觀察樣本將狀態(tài)的先驗(yàn)概率轉(zhuǎn)化為狀態(tài)的后驗(yàn)概率，給定一個(gè)未知類別的數(shù)據(jù)樣本X ，貝葉斯分類法將預(yù)測(cè)X 屬于具有最高后驗(yàn)概率的類。本問題可以數(shù)學(xué)描述為多元正態(tài)概率型下的最小錯(cuò)誤率貝葉斯分類。 1）先驗(yàn)概率 設(shè)數(shù)據(jù)庫表有d 個(gè)屬性，因此，可以用一個(gè)d 維列向量12,.,T d x x x x =來表示。同時(shí)，假定有c 個(gè)類12,.c 。如果類的先驗(yàn)概率未知，則可以假定這些類是等概率的，即 12()().()c P P P =，且()i i S P S = 其中，i S 是類i 中的訓(xùn)練樣本數(shù)，而S 是訓(xùn)練樣本總數(shù)。 2

3、）參數(shù)估計(jì) 對(duì)于多變量正態(tài)分布，估計(jì)其均值和方差： 11?N k k x N = 11?()()N T k k k N x x =- 其中，k x 為多元正態(tài)分布總體中第K 個(gè)抽樣，是d 維向量，? 是均值向量的最大似然估計(jì)，是協(xié)方差矩陣的最大似然估計(jì)。 二利用python 調(diào)用matlab 函數(shù)，實(shí)現(xiàn)聯(lián)合開發(fā) .m 文件見于附錄 下面是python 調(diào)用matlab 方法實(shí)現(xiàn) from win32com.client import Dispatch h = Dispatch(Matlab.application)#啟動(dòng)MATLAB 自動(dòng)化服務(wù)器 h.execute(Iris_import.m

4、) h.execute(compare3.m) 三.附錄 (1）. “compare3.m ”文件 function max=compare3(a,b,c) max=a; if maxb max=b; end if maxc max=c; End （2）.“Iris_import.m ”文件 clc; clear all; d=4;c=3;N=50; D=load(Iris_data.txt); data=zeros(150,d); G1=zeros(50,d); G2=zeros(50,d); G3=zeros(50,d); for i=1:1:4 data(:,i)=D(:,i+1); e

5、nd for i=1:1:N G1(i,:)=data(i,:); G2(i,:)=data(i+N,:); G3(i,:)=data(i+2*N,:); end disp(G1); disp(G2); disp(G3); %計(jì)算各組的均值向量和協(xié)方差矩陣 miu1=mean(G1,1) miu2=mean(G2,1) miu3=mean(G3,1) sigma1=zeros(d,d); sigma2=zeros(d,d); sigma3=zeros(d,d); for i=1:1:N sigma1=sigma1+(G1(i,:)-miu1)*(G1(i,:)-miu1); sigma2=si

6、gma2+(G2(i,:)-miu2)*(G2(i,:)-miu2); sigma3=sigma3+(G3(i,:)-miu3)*(G3(i,:)-miu3); end sigma1=sigma1/N sigma2=sigma2/N sigma3=sigma3/N %代入判別函數(shù)，實(shí)現(xiàn)分類 R=zeros(150,3); fid=fopen(classifier_result.txt,wt); for i=1:1:150 R(i,1)=-1/2*(data(i,:)-miu1)*inv(sigma1)*(data(i,:)-miu1)-1/2*log(det(sigma1); R(i,2)=-

7、1/2*(data(i,:)-miu2)*inv(sigma2)*(data(i,:)-miu2)-1/2*log(det(sigma2); R(i,3)=-1/2*(data(i,:)-miu3)*inv(sigma3)*(data(i,:)-miu3)-1/2*log(det(sigma3); switch (compare3(R(i,1),R(i,2),R(i,3) case R(i,1) fprintf(fid,第%-2d個(gè)樣本屬于第1類n,i); case R(i,2) fprintf(fid,第%-2d個(gè)樣本屬于第2類n,i); otherwise R(i,3) fprintf(fid,第%-2d個(gè)樣本屬于第3類n,i); end end fclose(f