模式識(shí)別實(shí)驗(yàn)一(最小貝葉斯決策及ROC曲線)概要

1、實(shí)驗(yàn)一實(shí)驗(yàn)原理1. 最小錯(cuò)誤率貝葉斯決策規(guī)則：對(duì)于兩類(lèi)問(wèn)題，最小錯(cuò)誤率貝葉斯決策有如下判決規(guī)則：P( 11 X)P( 21 X),則X 1；反之，則 X2。由于先驗(yàn)概率P( i)可以確定，與當(dāng)前樣本X無(wú)關(guān)，所以決策規(guī)則也可整理成下面的形式：若l(x)X|B ") ，則X -1,否則X -20P(X®2) P®1)2. 平均錯(cuò)誤率決策邊界把X軸分割成兩個(gè)區(qū)域，分別稱(chēng)為第一類(lèi)和第二類(lèi) 的決策區(qū)域.樣本在中但屬于第二類(lèi)的錯(cuò)誤概率和樣本在中但屬于第一類(lèi)的錯(cuò)誤概率就是出現(xiàn)錯(cuò)誤的概率，再考慮到樣 本自身的分布后就是平均錯(cuò)誤率：t:P(e)二 J-P( 21 x) p(x)dx

2、 t P( 1 |x) p(x)dxt:=p(x| 2)P('2)dx t P(X| 1)P( Jdx3此實(shí)驗(yàn)中的判決門(mén)限和平均錯(cuò)誤率(1) 判決門(mén)限假設(shè)隨機(jī)脈沖信號(hào)f中0的概率為,高斯噪聲信號(hào)n服 從，信號(hào)疊加時(shí)的放大倍數(shù)為a，疊加后的信號(hào)為s 二 f * a n。由最小錯(cuò)誤率貝葉斯決策可得：ffP(1)P(X| 1). P(，2)P(X| 2)22化簡(jiǎn)計(jì)算得：t _ a2沁一2匚(lnU P。)np0)2a(2) 平均錯(cuò)誤率由上述積分式可計(jì)算。二、實(shí)驗(yàn)內(nèi)容1、已知均值和方差，產(chǎn)生高斯噪聲信號(hào)，計(jì)算其統(tǒng)計(jì)特性實(shí)驗(yàn)中利用MATLAB產(chǎn)生均值為0,方差為1的高斯噪聲信號(hào)，信號(hào) 統(tǒng)計(jì)分布的

3、程序和結(jié)果如下：瀘生高斯噪聲并統(tǒng)計(jì)其特性x=0;%均值為0y=1;%方差為1n=normrnd(x,y,1 1000000);%產(chǎn)生均值為0,方差為1的高斯噪聲 m仁m ea n(n)%高斯噪聲的均值v1=var( n); %高斯噪聲的方差figure(1)plot(n(1:400); title('均值為0,方差為1的高斯噪聲');figure(2)hist(n,10000); title('高斯噪聲的統(tǒng)計(jì)特性');得到 m1= -4.6534e-005 ； v1= 0.9971。高斯噪聲的統(tǒng)計(jì)特性2已知隨機(jī)脈沖信號(hào)中0和1的出現(xiàn)概率，產(chǎn)生該隨機(jī)脈沖信號(hào)，分析

4、其統(tǒng)計(jì)特性實(shí)驗(yàn)中利用MATLAB產(chǎn)生隨機(jī)脈沖信號(hào)，信號(hào)統(tǒng)計(jì)分布的特性程序 及結(jié)果如下：%隨機(jī)脈沖信號(hào)及其統(tǒng)計(jì)特性p=u nidrnd(10000,1,1000000)%產(chǎn)生1至U 100000之間均勻分布的隨機(jī)序列 p0=0.4;f=p>(p0*10000);%設(shè)置門(mén)限，此時(shí)0的概率為0.4,1的概率為0.6m2=mea n(f);v2=var(f);figure©);stairs(f(1:400);title('隨機(jī)脈沖信號(hào)');axis(0 400 -0.2 1.2);figure(4)hist(f,-0.2:0.01:1.2);title('隨機(jī)脈

5、沖序列的統(tǒng)計(jì)特性');得到：m2=0.5995;V2=0.2401隨機(jī)脈沖信號(hào)050100150 2即 290300350400隨機(jī)脈沖序列的統(tǒng)計(jì)特性f|IIIII iIIIIII-0 44)2002040.60.811.2143在隨機(jī)脈沖信號(hào)中疊加高斯噪聲信號(hào)， 在不同的參數(shù)設(shè)置下分析其 統(tǒng)計(jì)特性用MATLAB將兩個(gè)信號(hào)疊加，并分析其統(tǒng)計(jì)特性，具體程序及結(jié)果如下：%隨機(jī)脈沖信號(hào)疊加高斯噪聲信號(hào)及其統(tǒng)計(jì)特性 a=5;%取隨機(jī)信號(hào)的幅度為5s=f*a+n;%對(duì)高斯噪聲信號(hào)和隨機(jī)脈沖序列進(jìn)行疊加m3=mea n( s)%信號(hào)的均值v3=var(s); %信號(hào)的方差subplot(2,1,1

6、);stairs(s(1:400)%繪制部分疊加信號(hào)title('疊加后的信號(hào)');subplot(2,1,2);hist(s,1000)%繪圖分析疊加后信號(hào)的統(tǒng)計(jì)特性title('疊加后信號(hào)的統(tǒng)計(jì)特性')得到 m3=2.9994;v3二 6.9964;10g .I|11 蠡加后信號(hào)的統(tǒng)計(jì)特性05010015020025D3003504004000300020001000°505104依據(jù)最小錯(cuò)誤概率貝葉斯決策原理，確定判決門(mén)限，完成信號(hào)檢測(cè)，計(jì)算兩類(lèi)錯(cuò)誤率設(shè)判決門(mén)限為t,平均錯(cuò)誤率為e,利用MATLAB計(jì)算t和e,具體程序和結(jié)果如下：%確定判決門(mén)限，

7、完成信號(hào)檢測(cè)，計(jì)算兩類(lèi)錯(cuò)誤率a=5;p0=0.4%第一類(lèi)先驗(yàn)概率為0.4t=(aA2 -2*v1*(log(1-p0)-log(p0)/(2*a); %利用貝葉斯決策計(jì)算判別門(mén)限 s1=s>t%執(zhí)行判決e仁 sum(f-s1)=-1)/(1000000*p0);% 計(jì)算虛警率 e2=sum(f-s1)=1)/(1000000*(1-p0);% 計(jì)算漏檢率 e=e1*p0+e2*(1-p0);%計(jì)算平均錯(cuò)誤率得到：判決門(mén)限t=2.4189,平均錯(cuò)誤率e=0.0060。5改變判決門(mén)限，繪制ROC曲線在MATLAB中調(diào)用ROC函數(shù)，程序及繪制的曲線如下所示:(1)利用貝葉斯最小錯(cuò)誤概率繪制RO

8、C曲線Smi n=min (si);Smax=max(s1);o=(s1-Smin)/(Smax-Smin);%對(duì) s 進(jìn)行歸一化處理 tpr,fpr,thresholds=roc(f,o);%調(diào)用 roc 函數(shù) plotroc(f,o); %繪制 ROC 曲線title('ROC 曲線')oROC曲線0 10.20 30.4 OS 0 60.70 啟 0 91False Positive Rate8- o7- o.6- oamDC世>一1一5©1一 pn3 o.2 O-(2)改變判決門(mén)限，令t=1.8, 2.0, 2.2, 2.4, 2.6, 2.8得到的平均

9、錯(cuò)誤概率分別為 e=0.0148,0.0099,0.0071, 0.0060,0.0068, 0.0068 數(shù)據(jù)表明，貝葉斯決策平均錯(cuò)誤率理論上是最小錯(cuò)誤概率。6改變隨機(jī)脈沖信號(hào)與高斯噪聲的參數(shù)，重復(fù)以上實(shí)驗(yàn)(1)其他條件不變，改變高斯噪聲的均值，取均值 =2,方差=14504003503002502001501005003-2-1 D 12345 B 7高斯嗓聲的統(tǒng)計(jì)特性播加后的信號(hào)15II1i'III|訂:WWOWWIMEIIIIII'050100150200250300350400蟲(chóng)抑后信號(hào)的統(tǒng)計(jì)特性篇Ct2>話口 亠(D己一均值為鮎方差為1的ROC曲線0 10.2

10、0.3040.50.60.70.80.91False Positive Rate由上例得到：均值為1,方差為2時(shí)，t= 2.4188 , e=0.1353。當(dāng)其他條件不變時(shí)，高斯白噪聲均值判決門(mén)限，從而決定平均錯(cuò)誤率 由此可看出，高斯噪聲的均值對(duì)最小錯(cuò)誤率貝葉斯決策的判決門(mén)限有 影響，均值越大，判決門(mén)限越大，對(duì)平均錯(cuò)誤率影響越大。(2)其他條件不變，改變高斯噪聲的方差，分別取方差=05、2,用matlab繪制ROC曲線如下圖所示：awu a>一一 sod養(yǎng)加后的信號(hào)101 1 1 1 1 1 050100150200250300350400歪加后信號(hào)的統(tǒng)計(jì)特性600040002000均值

11、為0,方差為0.5的ROC曲線0.1U.20.3U.40.50.6 U.Z 0.80.91False Positive Rate300020001000均值為0,方差為2的ROC曲線0 1020.3040 506070 8091False Positive Rate當(dāng)方差=0.5時(shí)，判決門(mén)限t=2.4797基本不變，平均錯(cuò)誤率e幾乎接近 于0;當(dāng)方差=2時(shí)，判決門(mén)限t=2.1760,變化不大，但平均錯(cuò)誤率 e=0.1028,明顯大大增大。由此可看出，高斯噪聲的方差對(duì)最小錯(cuò)誤 率貝葉斯決策的判決門(mén)限影響較小， 對(duì)平均錯(cuò)誤率的影響很大，方差 越大，平均錯(cuò)誤率也越大。(3) 其他條件不變，改變隨機(jī)脈

12、沖中 01的概率，分別取P0=O3,09得到的ROC曲線如下圖所示：P0=03時(shí)：蠢加后的信號(hào)050100150200260300350400蠡加后信號(hào)的統(tǒng)計(jì)特性4000300020001000此時(shí)，判決門(mén)限t=2.3303,平均錯(cuò)誤率e=0.0056pO=O3的ROC曲線a-e-'EH<DZ一一Qd 卷2 18 7 fi- O.QOL5o.0.1Q IIIIIIII100.10 20.3040 50 60 70.B091False Positive RateP0=0.9 時(shí):蠡加后信號(hào)的統(tǒng)計(jì)特性6000 I1l此時(shí)，判決門(mén)限t=2.9401,平均錯(cuò)誤率e=0.0035po=o.

13、&的尺oc曲線0.10.20.30.40 60 607 Q.B 0.91Falsa Positiva Rata&017 6 5 4 3 o.O 00.O.皿一啊住衛(wèi)工一七如Bd en先驗(yàn)概率對(duì)判決門(mén)限和平均錯(cuò)誤率均有影響。(4 )其他條件不變，改變信號(hào)疊加時(shí)的放大倍數(shù)，分別取放大倍數(shù) 得到的ROC曲線如下圖所示：9o.5O-.3.201020.40.50.6070.30.91False Positive Rate滬呂的RO匚曲線7O.4o0.10.20.30.40.50.60.70.80.91False Positive Rate當(dāng)a =2時(shí)，判決門(mén)限變t=0.7969,平均錯(cuò)誤率e=0.1539;當(dāng)a=8時(shí), 判決門(mén)限t= 3.9492,平均錯(cuò)誤率e= 3.7000e-005由此可看出，放大倍 數(shù)對(duì)判決門(mén)限和平均錯(cuò)誤率均有影響， 且放大倍數(shù)越大，判決門(mén)限越 大，平均錯(cuò)誤率越小。三、誤差分析由實(shí)驗(yàn)原理中的平均錯(cuò)誤率積分式可得理論上的平均錯(cuò)誤率，下面 通過(guò)matlab計(jì)算理論上的平均錯(cuò)誤率。程序和結(jié)果如所示：%誤差分析t=(-10