貝葉斯最小錯(cuò)誤概率分類器設(shè)計(jì)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上一、 實(shí)驗(yàn)?zāi)康?. 掌握密度函數(shù)監(jiān)督參數(shù)估計(jì)方法；2. 掌握貝葉斯最小錯(cuò)誤概率分類器設(shè)計(jì)方法。二、 實(shí)驗(yàn)原理貝葉斯分類器是各種分類器中分類錯(cuò)誤概率最小或者在預(yù)先給定代價(jià)的情況下平均風(fēng)險(xiǎn)最小的分類器。它的設(shè)計(jì)方法是一種最基本的統(tǒng)計(jì)分類方法。其分類原理是通過某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。對(duì)于兩類分類問題，已知先驗(yàn)概率P(1)和 P(2)，以及類別標(biāo)號(hào) 1和2，得到相應(yīng)的類條件概率密度P(x |1)， P(x|2)， 由貝葉斯公式：計(jì)算得到條件概率P(i|x) (i=1,2)，又稱為后

2、驗(yàn)概率。如果：P(i|x)=max P(i|x)，x i 或者：P(1|x) P(2|x)，x 1P(2|x) P(1|x)，x 2三、 實(shí)驗(yàn)內(nèi)容對(duì)于一個(gè)兩類分類問題，設(shè)兩類的先驗(yàn)概率相同（），兩類的類條件概率密度函數(shù)服從二維正態(tài)分布，即 其中，。1.生成兩類模式隨機(jī)樣本點(diǎn)并進(jìn)行分類；2.設(shè)計(jì)最大似然估計(jì)算法對(duì)兩類類條件概率密度函數(shù)進(jìn)行估計(jì)；3.用2中估計(jì)的類條件概率密度函數(shù)設(shè)計(jì)最小錯(cuò)誤概率貝葉斯分類器，實(shí)現(xiàn)對(duì)兩類樣本的分類。四、 實(shí)驗(yàn)步驟1. 產(chǎn)生訓(xùn)練樣本根據(jù)實(shí)驗(yàn)提供的先驗(yàn)均值向量和協(xié)方差矩陣，利用編寫的multivrandn函數(shù)構(gòu)造二維正態(tài)分布，分別產(chǎn)生N=500及N=1000個(gè)樣本，所得

3、結(jié)果如圖1.1及1.2所示。圖1.1兩類訓(xùn)練樣本（N=500）圖1.2兩類訓(xùn)練樣本（N=1000）2. 參數(shù)估計(jì)對(duì)產(chǎn)生的樣本進(jìn)行最大似然估計(jì)，估計(jì)出樣本二維正態(tài)分布的均值向量和協(xié)方差矩陣。其中，。對(duì)于樣本N=500估計(jì)結(jié)果如下：1=3.0575 6.0294， 2=2.9404 -1.9881，1=0.47340.00520.00522.1152，2=2.1241-0.1233-0.12332.0153對(duì)于樣本N=1000估計(jì)結(jié)果如下：1=3.0072 5.9923， 2=2.9869 -1.9336，1=0.54990.04880.04882.0033，2=1.98410.05250.052

4、51.81023. 分類器設(shè)計(jì)根據(jù)上面得出的參數(shù)估計(jì)結(jié)果和貝葉斯最大后驗(yàn)概率判決準(zhǔn)則設(shè)計(jì)分類器。當(dāng)，則。設(shè)計(jì)分類函數(shù)，對(duì)樣本進(jìn)行分類判決。例如對(duì)類別1中的第一個(gè)樣本進(jìn)行分類，結(jié)果如圖2所示：圖2.分類結(jié)果對(duì)兩組樣本進(jìn)行分類，運(yùn)用matlab 理論分別計(jì)算出N=500及N=1000個(gè)樣本的分界線，結(jié)果如圖3.1及3.2所示：圖3.1 兩組樣本分類結(jié)果(N=500)圖3.2 兩組樣本分類結(jié)果(N=1000)五、 實(shí)驗(yàn)分析1. 在產(chǎn)生樣本的過程中，利用二維正態(tài)分布函數(shù)函數(shù)產(chǎn)生大量樣本，經(jīng)過均值和協(xié)方差矩陣的估計(jì)后可以看出：隨著樣本數(shù)量N的增加，估計(jì)出的均值更接近于真實(shí)值；方差相對(duì)變化較大，即樣本數(shù)據(jù)

5、的波動(dòng)較大，不確定性越大。故樣本數(shù)越多，分類器將兩類樣本分離的會(huì)更加清楚，分類器的性能越好。2. 參數(shù)估計(jì)完全按照最大似然估計(jì)過程，結(jié)果如上所示，由于樣本產(chǎn)生較好且數(shù)量較大，估計(jì)值也比較準(zhǔn)確，從反面驗(yàn)證了參數(shù)估計(jì)過程的正確性。3. 根據(jù)最大后驗(yàn)概率判決準(zhǔn)則，利用估計(jì)出的參數(shù)設(shè)計(jì)分類器，兩組樣本分類結(jié)果如圖3.1及3.2所示，可以看出：N=500和N=1000時(shí)均有個(gè)別誤差，大部分樣本分類正確；隨著樣本數(shù)的增加，分類錯(cuò)誤的樣本數(shù)越少，即錯(cuò)誤率越小，分類器的性能越好。4. 添加干擾，檢測(cè)實(shí)驗(yàn)結(jié)果在產(chǎn)生樣本時(shí)，添加均勻分布的一個(gè)干擾項(xiàng)，再次驗(yàn)證參數(shù)估計(jì)和分類結(jié)果如下：1=8.5751 11.6213

6、， 2=8.4160 3.7158，1=7.4464-0.8548-0.85488.9503，2=9.11591.24931.24938.8853可以看出，得到的均值及方差估計(jì)值與真實(shí)值差距較大。分類結(jié)果如圖4所示：圖4 樣本分類結(jié)果（有干擾）從分類結(jié)果可知，樣本混淆現(xiàn)象嚴(yán)重，分類錯(cuò)誤的樣本數(shù)較多。因此，在有干擾的情況下該分類器的訓(xùn)練誤差較大，錯(cuò)誤率高，性能較差。六、 程序代碼本次實(shí)驗(yàn)程序代碼共分為三部分：主程序及兩個(gè)函數(shù)程序。1. 主程序如下：N=500clear all;close all;clc;d=2; %二維pw1=0.5;pw2=0.5;u1=3,6;u2=3,-2; %均值向量s

7、igma1=0.5,0;0,2; %協(xié)方差矩陣sigma2=2,0;0,2;N=500; %訓(xùn)練樣本數(shù)samples1=multivrandn(u1,sigma1,N);samples2=multivrandn(u2,sigma2,N);figure(1);for i=1:Nplot(samples1(i,1),samples1(i,2),b*);hold on;plot(samples2(i,1),samples2(i,2),ro);hold on;endlegend(訓(xùn)練樣本1,訓(xùn)練樣本2);hold on;u_1=mean(samples1,1); %估計(jì)均值u_2=mean(sampl

8、es2,1);sig1=zeros(2,2); %協(xié)方差矩陣的估計(jì)for i=1:Ntemp=(samples1(i,:)-u_1)*(samples1(i,:)-u_1);sig1=sig1+temp;endsig1=sig1/N; %估計(jì)協(xié)方差矩陣sig2=zeros(2,2);for i=1:Ntemp=(samples2(i,:)-u_2)*(samples2(i,:)-u_2);sig2=sig2+temp;endsig2=sig2/N;% 畫出實(shí)際分類線syms x1 x2f1=(1/(sqrt(2*pi).d)./det(sig1).*exp(-1/2*(x1 x2-u_1)*i

9、nv(sig1)*(x1 x2-u_1);f2=(1/(sqrt(2*pi).d)./det(sig2).*exp(-1/2*(x1 x2-u_2)*inv(sig2)*(x1 x2-u_2);f3=f2/f1-pw1/pw2;ezplot(f3,-4,10);hold on;text(-2,4,分界線);N=1000clear all;close all;clc;d=2; %二維pw1=0.5;pw2=0.5;u1=3,6;u2=3,-2; %均值向量sigma1=0.5,0;0,2; %協(xié)方差矩陣sigma2=2,0;0,2;N=1000; %訓(xùn)練樣本數(shù)samples1=multivran

10、dn(u1,sigma1,N);samples2=multivrandn(u2,sigma2,N);figure(1);for i=1:N plot(samples1(i,1),samples1(i,2),b*);hold on; plot(samples2(i,1),samples2(i,2),ro);hold on;endlegend(訓(xùn)練樣本1,訓(xùn)練樣本2);hold on;u_1=mean(samples1,1); %估計(jì)均值u_2=mean(samples2,1); sig1=zeros(2,2); %協(xié)方差矩陣的估計(jì)for i=1:N temp=(samples1(i,:)-u_1

11、)*(samples1(i,:)-u_1); sig1=sig1+temp;end sig1=sig1/N; %估計(jì)協(xié)方差矩陣sig2=zeros(2,2);for i=1:N temp=(samples2(i,:)-u_2)*(samples2(i,:)-u_2); sig2=sig2+temp;endsig2=sig2/N; % 畫出實(shí)際分類線syms x1 x2f1=(1/(sqrt(2*pi).d)./det(sig1).*exp(-1/2*(x1 x2-u_1)*inv(sig1)*(x1 x2-u_1);f2=(1/(sqrt(2*pi).d)./det(sig2).*exp(-1

12、/2*(x1 x2-u_2)*inv(sig2)*(x1 x2-u_2);f3=f2/f1-pw1/pw2;ezplot(f3,-4,10);hold on;text(-2,4,分界線); 2.二維正態(tài)分布樣本產(chǎn)生函數(shù) multivrandn function Y = multivrandn(u,R,M)% this function draws M samples from N(u,R)% where u is the mean vector(row) and R is the covariance matrix which must be positive definiten = leng

13、th(u); % get the dimensionC = chol(R); % perform cholesky decomp R = CCX = randn(M,n); % draw M samples from N(0,I)Z=unifrnd(1,10,M,n);Y = X*C +Z+ ones(M,1)*u;end 3.分類判決函數(shù)分類 fenlei( samples1(1,:),pw1,pw2,u_1,u_2,sig1,sig2,d ) function fenlei(samples1(1,:),pw1,pw2,u_1,u_2,sig1,sig2,d )%UNTITLED2 Summary of this function goes here% Detailed explanation goes