模式識(shí)別試驗(yàn)(基于Fisher準(zhǔn)則線性分類器設(shè)計(jì))(共7頁(yè))

1、精選優(yōu)質(zhì)文檔-傾情為你奉上 模式識(shí)別實(shí)驗(yàn)（三）一、 實(shí)驗(yàn)名稱基于Fisher準(zhǔn)則線性分類器設(shè)計(jì)二、實(shí)驗(yàn)?zāi)康模罕緦?shí)驗(yàn)旨在讓同學(xué)進(jìn)一步了解分類器的設(shè)計(jì)概念，能夠根據(jù)自己的設(shè)計(jì)對(duì)線性分類器有更深刻地認(rèn)識(shí)，理解Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及Lagrange乘子求解的原理。三、實(shí)驗(yàn)原理：線性判別函數(shù)的一般形式可表示成 其中根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評(píng)價(jià)投影方向W的函數(shù)為： 上面的公式是使用Fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運(yùn)算，我們稱為線性變換

2、，其中(m1-m2)式一個(gè)向量，Sw-1是Sw的逆矩陣，如(m1-m2)是d維，Sw和Sw-1都是d×d維，得到的也是一個(gè)d維的向量。向量就是使Fisher準(zhǔn)則函數(shù)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對(duì)原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量 的計(jì)算方法，但是判別函數(shù)中的另一項(xiàng)w0尚未確定，一般可采用以下幾種方法確定w0如或者 或當(dāng)與已知時(shí)可用當(dāng)W0確定之后，則可按以下規(guī)則分類，使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個(gè)著名的方法，

3、盡管提出該方法的時(shí)間比較早，仍見有人使用。四、實(shí)驗(yàn)內(nèi)容：已知有兩類數(shù)據(jù)和二者的概率已知=0.6，=0.4。中數(shù)據(jù)點(diǎn)的坐標(biāo)對(duì)應(yīng)一一如下：數(shù)據(jù)：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2

4、015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604z = 0.5338

5、0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數(shù)據(jù)點(diǎn)的對(duì)應(yīng)的三維坐標(biāo)為x2 = 1.4010 1.2301 2.0814 1.1655 1.3740 1.18

6、29 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334

7、 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1

8、.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數(shù)據(jù)的樣本點(diǎn)分布如下圖：五、實(shí)驗(yàn)要求：1. 可以選擇二維的數(shù)據(jù)，或者選擇三維的數(shù)據(jù)作為樣本。根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，求出評(píng)價(jià)投影方向W的函數(shù)，并在圖形表示出來。并在實(shí)驗(yàn)報(bào)告中表示出來，并求使取極大值的。用matlab完成Fisher線性分類器的設(shè)計(jì)，程

9、序的語(yǔ)句要求有注釋。2. 根據(jù)上述的結(jié)果并判斷（1，1.5）， (1.2，1.0)，(2.0，0.9)，(1.2，1.5)，（0.23，2.33）或者（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個(gè)類別，并畫出數(shù)據(jù)分類相應(yīng)的結(jié)果圖，要求畫出其在W上的投影。3. 分析一下W的比例因子對(duì)于Fisher判別函數(shù)沒有影響的原因。補(bǔ)充實(shí)驗(yàn)：基于感知函數(shù)準(zhǔn)則的線性分類器設(shè)計(jì)一、 實(shí)驗(yàn)名稱線性分類器設(shè)計(jì)（感知準(zhǔn)則函數(shù)準(zhǔn)則）二、 實(shí)驗(yàn)?zāi)康谋緦?shí)驗(yàn)旨在讓同學(xué)理解感知準(zhǔn)則函數(shù)的原理，通過軟件編程模擬線性分類器，

10、理解感知函數(shù)準(zhǔn)則的的確定過程，掌握梯度下降算法求增廣權(quán)向量，進(jìn)一步深刻認(rèn)識(shí)線性分類器。三、 實(shí)驗(yàn)原理：感知準(zhǔn)則函數(shù)是五十年代由Rosenblatt提出的一種自學(xué)習(xí)判別函數(shù)生成方法，由于Rosenblatt企圖將其用于腦模型感知器，因此被稱為感知準(zhǔn)則函數(shù)。其特點(diǎn)是隨意確定的判別函數(shù)初始值，在對(duì)樣本分類訓(xùn)練過程中逐步修正直至最終確定。感知準(zhǔn)則函數(shù)利用梯度下降算法求增廣權(quán)向量的做法，可簡(jiǎn)單敘述為： 任意給定一向量初始值，第k+1次迭代時(shí)的權(quán)向量等于第k次的權(quán)向量加上被錯(cuò)分類的所有樣本之和與的乘積。可以證明，對(duì)于線性可分的樣本集，經(jīng)過有限次修正，一定可以找到一個(gè)解向量，即算法能在有限步內(nèi)收斂。其收斂速度的快慢取決于初始權(quán)向量和系數(shù)。四、 實(shí)驗(yàn)內(nèi)容已知有兩個(gè)樣本空間w1和w2，這些點(diǎn)對(duì)應(yīng)的橫縱坐標(biāo)的分布情況是：x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=-2.5,-2.5,-1.5,-4,-5,-3;y2=1,-1,5,1,-4,0;在二維空間樣本分布圖形如下所示：（plot(x1,y1,x2,y2)）五、實(shí)驗(yàn)任務(wù)：1、 用matlab完成感知準(zhǔn)則函數(shù)確定程序的設(shè)計(jì)。2、 請(qǐng)確定sample=0,1,-1,