Parzen窗估計(jì)與KN近鄰估計(jì)實(shí)驗(yàn)報(bào)告材料

1、實(shí)用文案模式識(shí)別實(shí)驗(yàn)報(bào)告裝訂線題目：Parzen 窗估計(jì)與 KN近鄰估計(jì)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專業(yè) xxxxxxxxxxxxxxxx學(xué)號(hào)xxxxxxxxxxxx姓名xxxx指導(dǎo)教師xxxx20xx 年 xx 月 xx 日Parzen 窗估計(jì)與 KN近鄰估計(jì)一、實(shí)驗(yàn)?zāi)康臉?biāo)準(zhǔn)文檔實(shí)用文案本實(shí)驗(yàn)的目的是學(xué)習(xí)Parzen 窗估計(jì)和k 最近鄰估計(jì)方法。在之前的模式識(shí)別研究中，我們假設(shè)概率密度函數(shù)的參數(shù)形式已知，即判別函數(shù)J(.)的參數(shù)是已知的。本節(jié)使用非參數(shù)化的方法來(lái)處理任意形式的概率分布而不必事先考慮概率密度的參數(shù)形式。在模式識(shí)別中有躲在令人感興趣的非參數(shù)化方法，Parzen 窗估計(jì)和k 最近鄰估計(jì)就是

2、兩種經(jīng)典的估計(jì)法。二、實(shí)驗(yàn)原理1. 非參數(shù)化概率密度的估計(jì)對(duì)于未知概率密度函數(shù)的估計(jì)方法， 其核心思想是： 一個(gè)向量 x 落在區(qū)域 R 中的概率可表示為：其中， P 是概率密度函數(shù)p(x) 的平滑版本，因此可以通過(guò)計(jì)算P 來(lái)估計(jì)概率密度函數(shù)p(x) ，假設(shè) n 個(gè)樣本 x1,x2, ,xn ，是根據(jù)概率密度函數(shù) p(x) 獨(dú)立同分布的抽取得到， 這樣，有 k 個(gè)樣本落在區(qū)域 R 中的概率服從以下分布：其中 k 的期望值為：k 的分布在均值附近有著非常顯著的波峰，因此若樣本個(gè)數(shù)n 足夠大時(shí)，使用k/n 作為概率 P 的一個(gè)估計(jì)將非常準(zhǔn)確。假設(shè)p(x) 是連續(xù)的，且區(qū)域R 足夠小，則有：如下圖所示

3、， 以上公式產(chǎn)生一個(gè)特定值的相對(duì)概率，當(dāng) n 趨近于無(wú)窮大時(shí)，曲線的形狀逼近一個(gè)函數(shù)，該函數(shù)即是真實(shí)的概率。公式中的V 是區(qū)域 R所包含的體積。綜上所述，可以得到關(guān)于概率密度函數(shù)p(x) 的估計(jì)為：標(biāo)準(zhǔn)文檔實(shí)用文案在實(shí)際中，為了估計(jì)x 處的概率密度函數(shù)，需要構(gòu)造包含點(diǎn)x 的區(qū)域 R1,R2,Rn。第一個(gè)區(qū)域使用 1 個(gè)樣本，第二個(gè)區(qū)域使用 2 個(gè)樣本，以此類推。記 Vn 為 Rn 的體積。 kn 為落在區(qū)間 Rn 中的樣本個(gè)數(shù)，而 pn (x) 表示為對(duì) p(x) 的第 n 次估計(jì)：欲滿足 pn(x) 收斂： pn(x) p(x) ，需要滿足以下三個(gè)條件：有兩種經(jīng)常采用的獲得這種區(qū)域序列的途徑

4、，如下圖所示。其中“Parzen窗方法”就是根據(jù)某一個(gè)確定的體積函數(shù)，比如 Vn=1/ n 來(lái)逐漸收縮一個(gè)給定的初始區(qū)間。這就要求隨機(jī)變量kn 和 kn/n能夠保證pn (x)能收斂到p(x) 。第二種“ k- 近鄰法”則是先確定kn為 n 的某個(gè)函數(shù)，如kn= n。這樣，體積需要逐漸生長(zhǎng)，直到最后能包含進(jìn)x 的 kn 個(gè)相鄰點(diǎn)。標(biāo)準(zhǔn)文檔實(shí)用文案2.Parzen 窗估計(jì)法已知測(cè)試樣本數(shù)據(jù) x1,x2, ,xn ，在不利用有關(guān)數(shù)據(jù)分布的先驗(yàn)知識(shí)，對(duì)數(shù)據(jù)分布不附加任何假定的前提下，假設(shè) R 是以 x 為中心的超立方體， h 為這個(gè)超立方體的邊長(zhǎng)，對(duì)于二維情況，方形中有面積 V=h2，在三維情況中立

5、方體體積 V=h3，如下圖所示。根據(jù)以下公式，表示x 是否落入超立方體區(qū)域中：估計(jì)它的概率分布：標(biāo)準(zhǔn)文檔實(shí)用文案其中 n 為樣本數(shù)量， h 為選擇的窗的長(zhǎng)度，(.)為核函數(shù)，通常采用矩形窗和高斯窗。3.k 最近鄰估計(jì)在 Parzen 算法中，窗函數(shù)的選擇往往是個(gè)需要權(quán)衡的問(wèn)題，k- 最近鄰算法提供了一種解決方法， 是一種非常經(jīng)典的非參數(shù)估計(jì)法。 基本思路是： 已知訓(xùn)練樣本數(shù)據(jù)x1,x2,xn而估計(jì) p(x) ，以點(diǎn) x 為中心，不斷擴(kuò)大體積Vn，直到區(qū)域內(nèi)包含k 個(gè)樣本點(diǎn)為止，其中k是關(guān)于 n 的某一個(gè)特定函數(shù)，這些樣本被稱為點(diǎn)x 的 k 個(gè)最近鄰點(diǎn)。當(dāng)涉及到鄰點(diǎn)時(shí)，通常需要計(jì)算觀測(cè)點(diǎn)間的距離

6、或其他的相似性度量，這些度量能夠根據(jù)自變量得出。這里我們選用最常見(jiàn)的距離度量方法：歐幾里德距離。最簡(jiǎn)單的情況是當(dāng)k=1 的情況，這時(shí)我們發(fā)現(xiàn)觀測(cè)點(diǎn)就是最近的（最近鄰）。一個(gè)顯著的事實(shí)是：這是簡(jiǎn)單的、直觀的、有力的分類方法，尤其當(dāng)我們的訓(xùn)練集中觀測(cè)點(diǎn)的數(shù)目n很大的時(shí)候。可以證明， k 最近鄰估計(jì)的誤分概率不高于當(dāng)知道每個(gè)類的精確概率密度函數(shù)時(shí)誤分概率的兩倍。三、實(shí)驗(yàn)基本步驟第一部分 ，對(duì)表格中的數(shù)據(jù)，進(jìn)行 Parzen 窗估計(jì)和設(shè)計(jì)分類器，本實(shí)驗(yàn)的窗函數(shù)為一個(gè)球形的高斯函數(shù)，如下：標(biāo)準(zhǔn)文檔實(shí)用文案1) 編寫(xiě)程序，使用Parzen 窗估計(jì)方法對(duì)一個(gè)任意的測(cè)試樣本點(diǎn)x進(jìn)行分類。對(duì)分類器的訓(xùn)練則使用表

7、格3中的三維數(shù)據(jù)。同時(shí)，令h =1 ，分類樣本點(diǎn)為(0.5,1.0,0.0)，(0.31,1.51,-0.50)， (-0.3,0.44,-0.1)進(jìn)行實(shí)驗(yàn)。2) 可以改變 h 的值，不同的 h 將導(dǎo)致不同的概率密度曲線，如下圖所示。h=0.1 時(shí)：h=0.5 時(shí)：標(biāo)準(zhǔn)文檔實(shí)用文案h=1 時(shí)：第二部分 的實(shí)驗(yàn)?zāi)康氖菍W(xué)習(xí)和掌握非參數(shù)估計(jì)：k- 近鄰概率密度估計(jì)方法。對(duì)前面表格中的數(shù)據(jù)進(jìn)行k- 近鄰概率密度估計(jì)方法和設(shè)計(jì)分類器。編寫(xiě)程序，對(duì)表格中的3 個(gè)類別的三維特征，使用k- 近鄰概率密度估計(jì)方法。并且對(duì)下 列 點(diǎn) 處 的 概 率 密 度 進(jìn) 行 估 計(jì) ： (-0.41,0.82,0.88)，

8、 (0.14,0.72,4.1)，(-0.81,0.61,-0.38)。標(biāo)準(zhǔn)文檔實(shí)用文案四、實(shí)驗(yàn)代碼如下：% Parzen 窗算法% w： c 類訓(xùn)練樣本% x：測(cè)試樣本% h：參數(shù)% 輸出 p：測(cè)試樣本 x 落在每個(gè)類的概率 function p = Parzen(w,x,h)xt,yt,zt = size(w);p = zeros(1,zt);for i = 1:zthn = h;for j = 1:xthn = hn / sqrt(j);p(i) = p(i) + exp(-(x - w(j,:,i)*(x - w(j,:,i)'/ (2 *power(hn,2) / (hn *

9、 sqrt(2*3.14);endp(i) = p(i) / xt;end% k- 最近鄰算法% w： c 類訓(xùn)練樣本% x：測(cè)試樣本% k：參數(shù)function p = kNearestNeighbor(w,k,x)% w = w(:,:,1);w(:,:,2);w(:,:,3); xt,yt,zt = size(w);wt = ;%zeros(xt*zt, yt);if nargin=2p = zeros(1,zt);for i = 1:xtfor j = 1:xtdist(j,i) = norm(wt(i,:) - wt(j,:);endt(:,i) = sort(dist(:,i);m

10、(:,i) = find(dist(:,i) <= t(k+1,i); % 找到 k 個(gè)最近鄰的編號(hào) end標(biāo)準(zhǔn)文檔實(shí)用文案endif nargin=3for q = 1:ztwt = wt; w(:,:,q);xt,yt = size(wt);endfor i = 1:xtdist(i) = norm(x - wt(i,:);endt = sort(dist); %歐氏距離排序a,b = size(t);m = find(dist <= t(k+1); %找到 k 個(gè)最近鄰的編號(hào)num1 = length(find(m>0 & m<11);num2 = len

11、gth(find(m>10 & m<21);num3 = length(find(m>20 & m<31);if yt = 3plot3(w(:,1,1),w(:,2,1),w(:,3,1), 'r.');hold on;grid on;plot3(w(:,1,2),w(:,2,2),w(:,3,2), 'g.');plot3(w(:,1,3),w(:,2,3),w(:,3,3), 'b.');if (num1 > num2) | (num1 > num3)plot3(x(1,1),x(1,2)

12、,x(1,3), 'ro');disp('點(diǎn)： ',num2str(x),'屬于第一類 ');elseif (num2 > num1) | (num2 > num3)plot3(x(1,1),x(1,2),x(1,3), 'go');disp('點(diǎn)： ',num2str(x),'屬于第二類 ');elseif (num3 > num1) | (num3 > num2)plot3(x(1,1),x(1,2),x(1,3), 'bo');disp('點(diǎn)：

13、',num2str(x),'屬于第三類 ');elsedisp('無(wú)法分類 ');endendif yt = 2plot(w(:,1,1),w(:,2,1), 'r.');hold on;grid on;plot(w(:,1,2),w(:,2,2), 'g.');標(biāo)準(zhǔn)文檔實(shí)用文案plot(w(:,1,3),w(:,2,3), 'b.');if (num1 > num2) | (num1 > num3)plot(x(1,1),x(1,2), 'ro');disp(' 點(diǎn)：

14、',num2str(x),' 屬于第一類 '); elseif (num2 > num1) | (num2 > num3)plot(x(1,1),x(1,2), 'go');disp(' 點(diǎn)： ',num2str(x),' 屬于第二類 '); elseif (num3 > num1) | (num3 > num2)plot(x(1,1),x(1,2), 'bo');disp(' 點(diǎn)： ',num2str(x),' 屬于第三類 '); elsedisp(

15、'無(wú)法分類 ');endendendtitle('k-最近鄰分類器 ');legend('第一類數(shù)據(jù) ',.' 第二類數(shù)據(jù) ',.' 第三類數(shù)據(jù) ',.' 測(cè)試樣本點(diǎn) ');clear;close all;% Parzen 窗估計(jì)和 k 最近鄰估計(jì)%w1(:,:,1) = 0.28 1.31 -6.2; 0.07 0.58 -0.78;1.54 2.01 -1.63; -0.44 1.18 -4.32; -0.81 0.21 5.73; 1.52 3.16 2.77;2.20 2.42 -0.19;

16、0.91 1.94 6.21;0.65 1.93 4.38; -0.26 0.82 -0.96;w1(:,:,2) = 0.011 1.03 -0.21;1.27 1.280.08;0.13 3.120.16;-0.21 1.23 -0.11;-2.18 1.39 -0.19;標(biāo)準(zhǔn)文檔實(shí)用文案0.34 1.96 -0.16;-1.38 0.940.45;-0.12 0.820.17;-1.44 2.310.14;0.26 1.940.08;w1(:,:,3) = 1.36 2.17 0.14;1.41 1.45 -0.38;1.22 0.99 0.69;2.46 2.19 1.31;0.68

17、0.79 0.87;2.51 3.22 1.35;0.60 2.44 0.92;0.64 0.13 0.97;0.85 0.58 0.99;0.66 0.51 0.88;x(1,:) = 0.5 1 0;x(2,:) = 0.31 1.51 -0.5;x(3,:) = -0.3 0.44 -0.1;% 驗(yàn)證 h 的二維數(shù)據(jù) w2(:,:,1) = 0.28 1.31 ;0.07 0.58 ;1.54 2.01 ; -0.44 1.18 ; -0.81 0.21 ; 1.52 3.16 ;2.20 2.42 ;0.91 1.94 ;0.65 1.93 ; -0.26 0.82 ;w2(:,:,2

18、) = 0.011 1.03 ;1.27 1.28 ;0.13 3.12 ;-0.21 1.23 ;-2.18 1.39 ;0.34 1.96 ;-1.38 0.94 ;-0.12 0.82 ;-1.44 2.31 ;0.26 1.94 ;標(biāo)準(zhǔn)文檔實(shí)用文案w2(:,:,3) = 1.36 2.17 ;1.411.45;1.220.99;2.462.19;0.680.79;2.513.22;0.602.44;0.640.13;0.850.58;0.660.51;y(1,:) = 0.5 1;y(2,:) = 0.31 1.51;y(3,:) = -0.3 0.44;h = .1; % 重要參數(shù)p = Parzen(w1,x(1,:)