模式識(shí)別實(shí)驗(yàn)指導(dǎo)

《模式識(shí)別》實(shí)驗(yàn)一貝葉斯分類器設(shè)計(jì)一、實(shí)驗(yàn)意義及目的掌握貝葉斯判別原理，能夠利用MATLAB編制程序?qū)崿F(xiàn)貝葉斯分類器設(shè)計(jì)，熟悉基于MATLAB的算法處理函數(shù)，并能夠利用算法解決簡(jiǎn)單問題。二、實(shí)驗(yàn)內(nèi)容1.設(shè)正態(tài)分布的均值分別為μ1=11T和μ2=1.51.5T，協(xié)方差矩陣均為0.2I2.基于樸素貝葉斯分類器實(shí)現(xiàn)手寫數(shù)字識(shí)別。手寫數(shù)字如圖1所示，訓(xùn)練圖像和測(cè)試圖像見附件。圖1手寫數(shù)字圖像示例三、參考設(shè)計(jì)1.最小風(fēng)險(xiǎn)貝葉斯分類器設(shè)計(jì)1）設(shè)計(jì)思路根據(jù)給定的參數(shù)生成服從正態(tài)分布的數(shù)據(jù)；分為訓(xùn)練樣本和測(cè)試樣本，利用訓(xùn)練樣本估計(jì)兩類類條件概率函數(shù)參數(shù)；計(jì)算各測(cè)試樣本的后驗(yàn)概率，對(duì)應(yīng)決策的條件風(fēng)險(xiǎn)，求最小風(fēng)險(xiǎn)并決策。2）參考代碼clc,clear,closeall;%生成數(shù)據(jù)N=1000;N1=200;P=[0.50.5];mu1=[11];mu2=[1.51.5];I=[10;01];sigma1=0.2*I;sigma2=0.2*I;rng('default')R1=mvnrnd(mu1,sigma1,N);R2=mvnrnd(mu2,sigma2,N);%獲取訓(xùn)練樣本和測(cè)試樣本序號(hào)random=randperm(N,N1);testing_idx=ismember(1:N,random);training_idx=~testing_idx;%利用訓(xùn)練樣本估計(jì)兩類正態(tài)分布參數(shù)，各屬性獨(dú)立，分別估計(jì)Phat1=zeros(2,2);training=R1(training_idx,1);Phat1(:,1)=mle(training);training=R1(training_idx,2);Phat1(:,2)=mle(training);Emu1=Phat1(1,:);Esigma1=[Phat1(2,1)^2,0;0Phat1(2,2)^2];Phat2=zeros(2,2);training=R2(training_idx,1);Phat2(:,1)=mle(training);training=R2(training_idx,2);Phat2(:,2)=mle(training);Emu2=Phat2(1,:);Esigma2=[Phat2(2,1)^2,0;0Phat2(2,2)^2];%計(jì)算各測(cè)試樣本對(duì)應(yīng)的后驗(yàn)概率，用先驗(yàn)概率和類條件概率密度的乘積代替testing1=R1(testing_idx,:);testing2=R2(testing_idx,:);postp1=zeros(2,N1);fori=1:N1 cur=testing1(i,:);postp1(1,i)=P(1)*…exp(-(cur-Emu1)/Esigma1*(cur-Emu1)'/2)/sqrt(det(Esigma1));postp1(2,i)=P(2)*…exp(-(cur-Emu2)/Esigma2*(cur-Emu2)'/2)/sqrt(det(Esigma2));end[~,pos1]=max(postp1,[],1);postp2=zeros(2,N1);fori=1:N1 cur=testing2(i,:);postp2(1,i)=P(1)*…exp(-(cur-Emu1)/Esigma1*(cur-Emu1)'/2)/sqrt(det(Esigma1));postp2(2,i)=P(2)*…exp(-(cur-Emu2)/Esigma2*(cur-Emu2)'/2)/sqrt(det(Esigma2));end[~,pos2]=max(postp2,[],1);ratio1=(sum(pos1==1)+sum(pos2==2))/(2*N1)%計(jì)算各決策對(duì)應(yīng)的風(fēng)險(xiǎn)，確定最小風(fēng)險(xiǎn)，進(jìn)行決策lamda=[01;0.50];R1=zeros(2,N1);fori=1:N1 R1(1,i)=postp1(1,i)*lamda(1,1)+postp1(2,i)*lamda(2,1);R1(2,i)=postp1(1,i)*lamda(1,2)+postp1(2,i)*lamda(2,2);end[~,pos1]=min(R1,[],1); R2=zeros(2,N1);fori=1:N1 R2(1,i)=postp2(1,i)*lamda(1,1)+postp2(2,i)*lamda(2,1); R2(2,i)=postp2(1,i)*lamda(1,2)+postp2(2,i)*lamda(2,2);end[~,pos2]=min(R2,[],1);ratio2=(sum(pos1==1)+sum(pos2==2))/(2*N1)程序的運(yùn)行結(jié)果如下：ratio1=0.7775ratio2=0.76252.手寫數(shù)字識(shí)別生成訓(xùn)練樣本讀取圖像文件，反色，將數(shù)字目標(biāo)變?yōu)榘咨?；通過確定數(shù)字的外接矩形截取數(shù)字所在區(qū)域；將數(shù)字區(qū)域歸一化為16×16的子圖像；將16×16的數(shù)據(jù)變換為1×256的一維數(shù)據(jù)，生成訓(xùn)練樣本。clc;clear;closeall;fmt={'*.jpg','JPEGimage(*.jpg)';'*.*','AllFiles(*.*)'};[FileName,FilePath]=uigetfile(fmt,'導(dǎo)入數(shù)據(jù)','*.jpg','MultiSelect','on');if~isequal([FileName,FilePath],[0,0]) FileFullName=strcat(FilePath,FileName);else return;endN=length(FileFullName);Image=zeros(50);n=16;n1=20;BWI=zeros(n);training=zeros(N,n*n);labeltrain=[];forj=1:N Image=imread(FileFullName{j}); Image=255-Image;Image=imbinarize(Image,0.2);;[y,x]=find(Image==1); BWI=Image(min(y):max(y),min(x):max(x)); BWI=imresize(BWI,[n,n]); training(j,:)=double(BWI(:)');[pathstr,namestr,ext]=fileparts(FileName{j}); labeltrain=[labeltrain;str2num(namestr(1))];end2）訓(xùn)練貝葉斯分類器采用fitcnb函數(shù)訓(xùn)練樸素貝葉斯分類器。3）對(duì)訓(xùn)練樣本進(jìn)行決策歸類利用所創(chuàng)建的貝葉斯分類器對(duì)象，采用predict函數(shù)對(duì)訓(xùn)練樣本進(jìn)行判別，將各樣本對(duì)應(yīng)判斷類別與原始類別進(jìn)行比對(duì)，測(cè)定識(shí)別率。4）對(duì)未知類別的數(shù)據(jù)進(jìn)行決策歸類對(duì)測(cè)試圖像進(jìn)行預(yù)處理，生成測(cè)試樣本，利用所創(chuàng)建的貝葉斯分類器對(duì)象，采用predict函數(shù)對(duì)測(cè)試樣本進(jìn)行判別，將各測(cè)試樣本對(duì)應(yīng)判斷類別與原始類別進(jìn)行比對(duì)，測(cè)定識(shí)別率。四、實(shí)驗(yàn)要求1.熟悉貝葉斯決策方法原理，熟悉MATLAB函數(shù)，讀懂參考代碼。2.參考教材【例2-16】（不同字體數(shù)字識(shí)別）方法，修改【例2-16】的程序，進(jìn)行相應(yīng)的訓(xùn)練、測(cè)試及識(shí)別率統(tǒng)計(jì)。五、實(shí)驗(yàn)考核考勤（20%）、課堂表現(xiàn)（40%）、實(shí)驗(yàn)報(bào)告成績(jī)（40%）。六、實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)結(jié)束后，撰寫實(shí)驗(yàn)報(bào)告，實(shí)驗(yàn)報(bào)告主題部分應(yīng)包括：算法原理、程序流程、算法各部分主要函數(shù)代碼以及功能注釋、運(yùn)行結(jié)果四部分，每部分占實(shí)驗(yàn)報(bào)告的25%，按照撰寫情況打分。

《模式識(shí)別》實(shí)驗(yàn)二Fisher線性判別一、實(shí)驗(yàn)意義及目的掌握線性判別原理，能夠利用Matlab編制程序?qū)崿F(xiàn)Fisher線性判別函數(shù)的設(shè)計(jì)，熟悉基于Matlab的算法處理函數(shù)，并能夠利用算法解決簡(jiǎn)單問題。二、實(shí)驗(yàn)內(nèi)容1.針對(duì)3類數(shù)據(jù)ω1:-5-5,-5-4,-4-5,-5-6,-6-52.基于SVM實(shí)現(xiàn)手寫數(shù)字識(shí)別。訓(xùn)練圖像和測(cè)試圖像見附件。三、參考設(shè)計(jì)1.Fisher線性分類器解決3類分類問題1）設(shè)計(jì)思路獲取訓(xùn)練數(shù)據(jù)，分別對(duì)每類數(shù)據(jù)計(jì)算均值、類內(nèi)離散度矩陣；針對(duì)其中兩兩組合，按照Fisher線性判別原理，確定投影方向，計(jì)算一維閾值點(diǎn)；對(duì)待測(cè)數(shù)據(jù)，分別按不同組合的投影方向投影，投影值和對(duì)應(yīng)一維閾值點(diǎn)比較，若在某一類和其他類的所有組合中，待測(cè)數(shù)據(jù)都判為該類，則最終決策該數(shù)據(jù)歸為這一類。2）參考代碼clc,clear,closeall;training=[-5-5;-5-4;-4-5;-5-6;-6-5;55;54;45;56;65;...-55;-54;-45;-56;-65]';species=[000001111122222];sta=tabulate(species);[c,k]=size(sta);n=2;cpmean=zeros(n,c);cpcov=zeros(n,n,c);figure,holdon;pointtype=['o';'*';'+'];%計(jì)算各類的均值和協(xié)方差矩陣fori=1:cindex=find(species==sta(i,1));plot(training(1,index),training(2,index),pointtype(i));N=length(index);aver=mean(training(:,index),2);cpmean(:,i)=aver; cpcov(:,:,i)=(training(:,index)-aver*ones(1,N))*... (training(:,index)-aver*ones(1,N))';endlinetype=['r';'g';'m'];num=1;x=[-2-2]';plot(x(1),x(2),'rp');xsign=zeros(c,c);z0=zeros(c,c);%一對(duì)一訓(xùn)練Fisher分類器fori=1:c-1forj=i+1:cm1=cpmean(:,i);m2=cpmean(:,j);S1=cpcov(:,:,i);S2=cpcov(:,:,j);Sw=S1+S2;w=Sw\(m1-m2);z1=w'*m1;z2=w'*m2;z0(i,j)=(z1+z2)/2;z0(j,i)=-z0(i,j);%繪制分界線ifw(1)==0x2=z0(i,j)/w(2);plot([-10,10],[x2x2],linetype(num));elseifw(2)==0x1=z0(i,j)/w(1);plot([x1x1],[-10,10],linetype(num));elsex1=-10:0.01:10;x2=-(w(1)*x1-z0(i,j))/(w(2));plot(x1,x2,linetype(num));endnum=num+1;ifnum==4num=1;endxsign(i,j)=w'*x;xsign(j,i)=-xsign(i,j);endend%決策歸類fori=1:cifxsign(i,:)>=z0(i,:)result=strcat('(',num2str(x'),')','屬于第',num2str(i),'類');endendtitle('Fisher線性判別');line1='x1';line2=result;xlabel({line1;line2});ylabel('x2');holdoff;boxon程序的運(yùn)行結(jié)果如圖2所示。圖2Fisher線性分類器實(shí)現(xiàn)3類分類四、實(shí)驗(yàn)要求1.熟悉線性判別原理，讀懂參考代碼，進(jìn)一步理解Fisher線性判別原理；2.參考教材【例4-15】方法，修改【例4-15】的程序，進(jìn)行相應(yīng)的訓(xùn)練、測(cè)試及識(shí)別率統(tǒng)計(jì)。五、實(shí)驗(yàn)考核考勤（20%）、課堂表現(xiàn)（40%）、實(shí)驗(yàn)報(bào)告成績(jī)（40%）。六、實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)結(jié)束后，撰寫實(shí)驗(yàn)報(bào)告，實(shí)驗(yàn)報(bào)告主題部分應(yīng)包括：算法原理、程序流程、算法各部分主要函數(shù)代碼以及功能注釋、運(yùn)行結(jié)果四部分，每部分占實(shí)驗(yàn)報(bào)告的25%，按照撰寫情況打分。

《模式識(shí)別》實(shí)驗(yàn)三C均值聚類一、實(shí)驗(yàn)意義及目的掌握C均值聚類算法原理，能夠利用MATLAB編制程序?qū)崿F(xiàn)C均值聚類，熟悉基于MATLAB的算法處理函數(shù)，并能夠利用算法解決簡(jiǎn)單問題。二、實(shí)驗(yàn)內(nèi)容1.采用和實(shí)驗(yàn)一中同樣的預(yù)處理方法，直接將處理后圖像的像素值作為特征，隨機(jī)選擇初始聚類中心，采用漢明距離作為相似性測(cè)度，基于C均值聚類算法實(shí)現(xiàn)手寫數(shù)字圖像聚類。2.修改程序，將預(yù)處理后的數(shù)字圖像分塊，提取塊均值作為特征，采用相關(guān)系數(shù)為相似性度量，根據(jù)經(jīng)驗(yàn)指定初始聚類中心，使用C均值聚類算法實(shí)現(xiàn)手寫數(shù)字圖像聚類。三、參考設(shè)計(jì)1．預(yù)處理并提取特征讀取圖像文件，反色，將數(shù)字目標(biāo)變?yōu)榘咨?；通過確定數(shù)字的外接矩形截取數(shù)字所在區(qū)域；將數(shù)字區(qū)域歸一化為16×16的子圖像；將16×16的數(shù)據(jù)變換為1×256的一維數(shù)據(jù)，生成樣本。（見實(shí)驗(yàn)一）2．實(shí)現(xiàn)聚類隨機(jī)選擇初始聚類中心，采用漢明距離作為相似性測(cè)度，利用kmeans函數(shù)實(shí)現(xiàn)聚類。[idx,C]=kmeans(training,10,'Distance','hamming');3．繪制聚類結(jié)果根據(jù)idx中的聚類結(jié)果，將聚為同一類的圖像拼接到一起顯示。fori=1:10idbw=training(idx==i,:);num=size(idbw,1);showResult=zeros(n1,n1*num);forj=1:numresult=reshape(idbw(j,:),n,n);showResult((n1-n)/2+1:n+(n1-n)/2,(j-1)*n1+1:(j-1)*n1+n)=result;endstr=[num2str(i)'.jpg'];imwrite(showResult,str);figure,imshow(showResult),title(['第'num2str(i)'類圖像']);end程序運(yùn)行結(jié)果如圖3所示，聚類效果并不理想。且由于受初值影響，每次運(yùn)行，聚類結(jié)果可能會(huì)發(fā)生變化。圖3手寫數(shù)字C均值聚類四、實(shí)驗(yàn)要求1.熟悉C均值聚類原理，熟悉MATLAB函數(shù)，讀懂參考代碼；2.修改參考代碼，更改提取的特征以及聚類算法的相關(guān)參數(shù)，實(shí)現(xiàn)聚類。五、實(shí)驗(yàn)考核考勤（20%）、課堂表現(xiàn)（40%）、實(shí)驗(yàn)報(bào)告成績(jī)（40%）。六、實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)結(jié)束后，撰寫實(shí)驗(yàn)報(bào)告，實(shí)驗(yàn)報(bào)告主題部分應(yīng)包括：算法原理、程序流程、算法各部分主要函數(shù)代碼以及功能注釋、運(yùn)行結(jié)果四部分，每部分占實(shí)驗(yàn)報(bào)告的25%，按照撰寫情況打分。

《模式識(shí)別》實(shí)驗(yàn)四主成分分析一、實(shí)驗(yàn)意義及目的掌握主成分分析原理，能夠利用MATLAB編制程序?qū)崿F(xiàn)主成分分析，熟悉基于MATLAB的算法處理函數(shù)，并能夠利用算法解決簡(jiǎn)單問題。二、實(shí)驗(yàn)內(nèi)容1.對(duì)ionosphere數(shù)據(jù)進(jìn)行降維并設(shè)計(jì)SVM。采用留出法將ionosphere數(shù)據(jù)集中的數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，對(duì)訓(xùn)練樣本進(jìn)行主成分分析，根據(jù)累積貢獻(xiàn)率確定低維度，降低維數(shù)，并設(shè)計(jì)基于SVM的分類器；對(duì)測(cè)試集數(shù)據(jù)利用降維變換陣降維并進(jìn)行預(yù)測(cè)分類。2.對(duì)手寫數(shù)字圖像進(jìn)行PCA降維及重建。三、參考設(shè)計(jì)1．生成訓(xùn)練和測(cè)試樣本集clc,clear,closeall;loadionosphere[N,n]=size(X);label=ones(size(Y));Y=cell2mat(Y);label(Y=='b')=2;C=cvpartition(Y,'HoldOut');trIdx=training(C);teIdx=test(C);2．主成分分析%實(shí)現(xiàn)PCA降維，并計(jì)算累積貢