模式識別練習(xí)題簡答和計(jì)算

1、1、試說明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。2T-1,、答：Mahalanobis距離的平方定義為：r(x,u)=(x-u)乙(x-u)其中x,u為兩個(gè)數(shù)據(jù)，工,是一個(gè)正定對稱矩陣(一般為協(xié)方差矩陣)。根據(jù)定義，距某一點(diǎn)的Mahalanobis距離相等點(diǎn)的軌跡是超橢球，如果是單位矩陣2則Mahalanobis距離就是通常的歐氏距離。2、試說明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。答：監(jiān)督學(xué)習(xí)方法用來對數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲

2、得。該訓(xùn)練集由帶分類號的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是離線的。非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過程，也沒有帶分類號(標(biāo)號)的訓(xùn)練數(shù)據(jù)集，一般用來對數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布的主分量等。就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類器設(shè)計(jì)，然后用所設(shè)計(jì)的分類器對道路圖像進(jìn)行分割。使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進(jìn)行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。111/2、，、3、已知一組數(shù)據(jù)的協(xié)方差矩陣為，試問J/21)(1)協(xié)方差矩陣中各元素的含義。(2)求該數(shù)組的兩個(gè)主分量。(3)主分量分析或稱K-L變換，它的最

3、佳準(zhǔn)則是什么？(4)為什么說經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。11/2J/21(1)對角元素是各分量的方差，非對角元素是各分量之間的協(xié)方差。1、九-1(2)主分量，通過求協(xié)方差矩陣的特征值，用2=0得(九_1)2=1/4,則1/2,相應(yīng)地：兒=3/2,對應(yīng)特征向量為3/21、1這兩個(gè)特征向量，即為主分量。(3) K-L變換的最佳準(zhǔn)則為：對一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計(jì)算截尾誤差最小。(4)在經(jīng)主分量分解后，協(xié)方差矩陣成為對角矩陣，因而各主分量間相關(guān)性消除。4、試說明以下問題求解是基于監(jiān)督學(xué)習(xí)或是非監(jiān)督學(xué)習(xí)：(1)求數(shù)據(jù)集的主分量(2)漢字識別(3

4、)自組織特征映射(4) CT圖像的分割(5) 1)求數(shù)據(jù)集的主分量是非監(jiān)督學(xué)習(xí)方法；(2)漢字識別：對待識別字符加上相應(yīng)類別號一有監(jiān)督學(xué)習(xí)方法；(3)自組織特征映射一將高維數(shù)組按保留近似度向低維映射一非監(jiān)督學(xué)習(xí)；(4)CT圖像分割一按數(shù)據(jù)自然分布聚類一非監(jiān)督學(xué)習(xí)方法；5、試列舉線性分類器中最著名的三種最佳準(zhǔn)則以及它們各自的原理。答：線性分類器三種最優(yōu)準(zhǔn)則:Fisher準(zhǔn)則：根據(jù)兩類樣本一般類內(nèi)密集，類間分離的特點(diǎn)，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類間盡可能分開。這種度量通過類內(nèi)離散矩陣Sw和類間離散矩陣Sb實(shí)現(xiàn)。感知準(zhǔn)則函數(shù)：準(zhǔn)則函數(shù)以使錯(cuò)分類樣

5、本到分界面距離之和最小為原則。其優(yōu)點(diǎn)是通過錯(cuò)分類樣本提供的信息對分類器函數(shù)進(jìn)行修正，這種準(zhǔn)則是人工神經(jīng)元網(wǎng)絡(luò)多層感知器的基礎(chǔ)。支持向量機(jī)：基本思想是在兩類線性可分條件下，所設(shè)計(jì)的分類器界面使兩類之間的間隔為最大，它的基本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。6、試分析五種常用決策規(guī)則思想方法的異同。答、五種常用決策是：1 .基于最小錯(cuò)誤率的貝葉斯決策，利用概率論中的貝葉斯公式，得出使得錯(cuò)誤率最小的分類規(guī)則。2 .基于最小風(fēng)險(xiǎn)的貝葉斯決策，引入了損失函數(shù)，得出使決策風(fēng)險(xiǎn)最小的分類。當(dāng)在0-1損失函數(shù)條件下，基于最小風(fēng)險(xiǎn)的貝葉斯決策變成基于最小錯(cuò)誤率的貝葉斯決策。3 .在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤

6、率最小的兩類別決策。4 .最大最小決策：類先驗(yàn)概率未知，考察先驗(yàn)概率變化對錯(cuò)誤率的影響，找出使最小貝葉斯奉獻(xiàn)最大的先驗(yàn)概率，以這種最壞情況設(shè)計(jì)分類器。5 .序貫分類方法，除了考慮分類造成的損失外，還考慮特征獲取造成的代價(jià)，先用一部分特征分類，然后逐步加入性特征以減少分類損失，同時(shí)平衡總的損失，以求得最有效益。7、1.什么是特征選擇?2.什么是Fisher線性判別？答：1.特征選擇就是從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的。2.Fisher線性判別：可以考慮把d維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維，這在數(shù)學(xué)上容易辦到，然而，即使樣本在d維空間里形

7、成若干緊湊的互相分得開的集群，如果把它們投影到一條任意的直線上，也可能使得幾類樣本混在一起而變得無法識別。但是在一般情況下，總可以找到某個(gè)方向，使得在這個(gè)方向的直線上，樣本的投影能分開得最好。問題是如何根據(jù)實(shí)際情況找到這條最好的、最易于分類的投影線，這就是Fisher算法所要解決的基本問題8、寫出兩類和多類情況下最小風(fēng)險(xiǎn)貝葉斯決策判別函數(shù)和決策面方程。兩類問題：判別函數(shù)gi(x)=3iP(Wx)i2P(W2X)g2(X)2lP(WiX)，22P(W2X)決策面方程：g1(x)=g2(x)cC類問題：判別函數(shù)gi(x)=總p(Wjx),i=1,2,c決策面方程：gi(x)=gj(x),i=j,i

8、=1,2,c,j=1,2,c9、請論述模式識別系統(tǒng)的主要組成部分及其設(shè)計(jì)流程，并簡述各組成部分中常用方法的主要思想0信號空間數(shù)據(jù)獲取特征空間I廠I_分類器設(shè)計(jì)特征提取與選搔'分類決策信息獲取：通過測量、采樣和量化，可以用矩陣或向量表示二維圖像或波形。預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對輸入測量儀器或其他因素造成的退化現(xiàn)象進(jìn)行復(fù)原。特征選擇和提?。簽榱擞行У貙?shí)現(xiàn)分類識別，就要對原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。分類決策：在特征空間中用統(tǒng)計(jì)方法把識別對象歸為某一類。10、簡述支持向量機(jī)的基本思想。答：SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。最優(yōu)分類面就是要求分類線不但能將

9、兩類正確分開（訓(xùn)練錯(cuò)誤率為0）,且使分類間隔最大。SVM考慮尋找一個(gè)滿足分類要求的超平面，并且使訓(xùn)練集中的點(diǎn)距離分類面盡可能的遠(yuǎn)，也就是尋找一個(gè)分類面使它兩側(cè)的空白區(qū)域（margin）最大。過兩類樣本中離分類面最近的點(diǎn)，且平行于最優(yōu)分類面的超平面上Hi,H2的訓(xùn)練樣本就叫支持向量。四、計(jì)算題1iIi_i1、設(shè)兩類樣本的類內(nèi)散布矩陣分別為§=S2=,兩類的類心分別為%1J9羥11mi=(2,0)T,m2=(2,2)、試用巾sher準(zhǔn)則求其決策面方程。生力110410解：Sw=女§+Sz)=i,s：=2|01|01-t-ms/10)td(x)=(mi-m2)TS(x-i22)=

10、(0,-2)八，(x-2,X2-1)T=-2x2+2I。Ud(x)工0=x三112或?qū)懗鰶Q策面方程d(x)=-x2+1=02、已知兩個(gè)一維模式類別的類概率密度函數(shù)為：x0<x<1-11<x<2p(x/，1)=2-x1<x<2p(x/2)=3-x2<x<3,0其它、0其它先驗(yàn)概率P1)=0.6,P(*=0.4,(1)求0-1代價(jià)Bayes判決函數(shù);(2)求總錯(cuò)誤概率P(e);(3)判斷樣本1x1=1.35,x2=1.45,x3=1.55,x4=1.65)各屬于哪一類別答：(1)基于0-1代價(jià)Bayes判決函數(shù)為:、口P(x|i)P(2)0.42當(dāng)&

11、gt;=一電0.67時(shí)，xWw，否貝Uxww2,p(x|2)<P(1)0.63(2)總的誤判概率P(e)為:2-x2x-13行：x=8=1.65P(e)=P(/)*p(x|1)dxP(2)*p(x|2)dxD2Di21.6=0.6*.(2-x)dx0.4*.(x-1)dx1.61=0.12(3)x1=1.35,p(x/孫)/p(x/2)=0.65/0.35比1.86>0.67,所以x1ww1x2=1.45,p(x/?)/p(x/®2)=0.55/0.45定1.22>0.67,所以x2X3=1.55,p(x/0)/p(x/a)=0.45/0.550.82a0.67,所

12、以X3Ww1X4=1.65,p(x/©i)/p(x/c)=0.35/0.65電0.54<0.67,所以x4wW23、假設(shè)在某個(gè)地區(qū)細(xì)胞識別中正常(W1)和異常(W2)兩類先驗(yàn)概率分別為P(Wi)=0.8,P(W2)=0.2,現(xiàn)有一待識別的細(xì)胞，其觀察值為x,從類條件概率密度分布曲線上查得P(x/w)=0.25,P(x/W2)=0.6,并且已知K11=0,%2=6,九21=1,%=0試對該細(xì)胞x用一下兩種方法進(jìn)行分類：(1)基于最小錯(cuò)誤率的貝葉斯決策；(2)基于最小風(fēng)險(xiǎn)的貝葉斯決策；請分析兩種結(jié)果的異同及原因。答：(1)利用貝葉斯公式，分別計(jì)算出W1和W2的后驗(yàn)概率：p(x|W1

13、)p(W1)0.25父0.8p(W1x)=2=0.625虧0.25父0.8+0.6父0.2-p(xWj)p(Wj1)j1p(W2x)=1-p(W1x)=0.375根據(jù)貝葉斯決策規(guī)則：p(W1x)=0.625Ap(W2x)=0.375,所以把x歸為正常狀態(tài)(2)根據(jù)條件和上面算出的后驗(yàn)概率，計(jì)算出條件風(fēng)險(xiǎn)：2R(：1x)-%p(Wjx)-*p(W1x)十：12p(W2x)=3.125j12R(:2x)="'2jp(Wjx)=,21p(W1x)22p(W22x)=1.75j1由于R(%x)AR(%x),即決策為W2的條件風(fēng)險(xiǎn)小于決策為W1的條件風(fēng)險(xiǎn)，因此采取決策行動(dòng)2,即判斷待識

14、別的細(xì)胞x為W2類-異常細(xì)胞。將（1）與（2）相對比，其分類結(jié)果正好相反，這是因?yàn)檫@里影響決策結(jié)果的因素又多了一個(gè)，即損失”；而且兩類錯(cuò)誤決策所造成的損失相差很懸殊,因此損失”起了主導(dǎo)作用。4、有兩類樣本集x；=0,0,0T,xf=1,0,0T,X13=1,0,1T,x：=1,1,0T1T2T3Tx2=0,0,1T,x；=0,1,0T,x2=0,1,1T,x4=1,1,1T用K-L變換求其二維特征空間，并求出其特征空間的坐標(biāo)軸;使用Fisher線性判別方法給出這兩類樣本的分類面。解:T1一TEXX="為為8i一0.5EXXT=0.250.250.250.50.250.2510.250

15、.5,其對應(yīng)的特征值和特征向量為:-0.250I000.250。：01對應(yīng)的坐標(biāo):-21v6不11V6不11為一工1-2否J31-1-V6-46-0jV61<3-2172-1，降到二維空間,一0.7510.25m2一0.2510.759.25。75T2.32工<3-2LT613161316303933-111.-113161616161616161616、T311111113m1)(Xi-m1)=+一+一-161616161616161616311111339161616i一161616_161616'131"310-16161644393131+16161644

16、4131113_，_161616_4444Si=二,(Xii113一工16一工31_一二161616163931+161616161313一161616一1-161工933_161616161611+3111616161616113111616一161616一4S2="(Xi-m2)(x-m2)Ti1161161616116163_9_161613444104441_134-44311-1_1Sw(S1013-1241-13；2*w=Sw(m1-m2)=-2V。*T*Twmwm222T所以判別函數(shù)為g(x)=12x+12一5、假設(shè)兩類模式服從如下的正態(tài)分布:1求使tr（Sw1Sb）最

17、大化的一維特征空間的變換矢量11SwSb=o041o-05201-2-2+1yJ/V1-2-小o,b-11Nl)(-/V2T1-2-sbW是DM1矩陣，即W=w。因?yàn)镾0的秩為1,所以SSb只有一個(gè)非零特征值,為求解Sw1sb的特征值，解方程SW1Sbw=%w,r1，,T即一Sw（1一2）（1一2）TW=，1W41.T.2因?yàn)橐唬ǚ截埃㏕w為標(biāo)量，所以，w=S;（為匕）=|L6、現(xiàn)有樣本集X=(0,0)T,(0,1)T,(2,1)T,(2,3)T,(3,4)T,(1,0)T,試用K-meansC-均值算法進(jìn)行聚類分析(類數(shù)C=2),初始聚類中心為(0,0)(0,1)解：第一步：由題意知C=2,

18、初始聚類中心為Z10=(0,0)T,Z20=(0,1)T第二步：|X1-Z10|二|(0,0)T-(0,0)T|二0|X1-Z20|二|(0,0)T-(0,1)T|二1因?yàn)閨X1-Z10|<|X1-Z20|,所以X1W1|X2-Z10|=|(0,1)T-(0,0)T|=1|X2-Z20|二|(0,1)T-(0,1)T|=0因?yàn)閨X2-Zl0|>|X2-Z20|,所以X2三02同理因?yàn)閨X3-Z10|=51/2>|X3-Z20|=2,所以X32因?yàn)閨x4-Z10|=81/2>|X4-Z20|=51/2,所以X4.2X5,2,X6,1由此得到新的類：1=x1,X6N1=2,

19、2=x2,X3,X4,X5N2=4第三步：根據(jù)新分成的兩類計(jì)算新的聚類中心Zii=(xi+X6)/2=(0.5,0)TZ21=(X2+X3+X4+X5)/4=(1.75,2.25)T第四步：因?yàn)樾屡f聚類中心不等，轉(zhuǎn)第二步第二步:重新計(jì)算X1,X2,X3,X4,X5,X6到Z11、Z12的距離,把它們歸為最近聚類中心，重新分為兩類1=x1,X2,X6N1=3,2=X3,X4,X5N2=3第三步：根據(jù)新分成的兩類計(jì)算新的聚類中心Zi2=(xi+X2+X6)/3=(1/3,1/3)TZ22=(X3+X4+X5)/3=(7/3,8/3)T第四步：因?yàn)樾屡f聚類中心不等，轉(zhuǎn)第二步重新計(jì)算X1,X2,X3,

20、X4,X5,X6到Z12、Z22的距離,把它們歸為最近聚類中心，重新分為兩類C1=x1,X2,X6,Ni=3,01=x3,X4,X5,N2=3和上次聚類結(jié)果一樣，計(jì)算結(jié)束。7、已知二維樣本：x1=(-1,0)T,12=(0,-1);£=(0,0)T,x4=(2,0)T和x5=(0,2)T,4口町明,13,£,£W切2。試用感知器算法求出分類決策函數(shù)，并判斷x6=(2,1)T屬于哪一類？答：將樣本符號規(guī)范化得:X；=(-1,0,1)T,兄=(0,-1,1)T,兄=(0,0,-1),反=(-2,0,-1)-和兄二(0,-2,-1)T,賦初值w=(1,1,1)T,取增量

21、P=1,置迭代步數(shù)k=1,則有:k=1,xk=x1,d(xk)=wT(k)xk=0,k=2,xk=x2,d(xk)=wT(k)xk=10,k=3,xk=x3,d(xk)=wT(k)xk-2：0,k=4,xk=x4,d(xk)=wT(k)xk-1：0,k=5,xk”，d(xk)=wT(k)xk-2二0,k=6,xk=x1，d(xj=wT(k)xk=10,k=7,xk=x2,d(xk)=wT(k)xk=0,k=8,xk=x3,d(xk)=wT(k)xk=0,k=9,xk=x4,d(xk)=wT(k)xk=50,w(2)=w(1)x1=(0,1,2)tw(3)=w(2)w(4)-w(3)x3u(0,

22、1,1)Tw(5)=w(4)x4=(2,1,0)Tw(6)=w(5)x5=(-2,-1,-1)Tw(7)=w(6)w(8)-w(7)x2-(-2,-2,0)tw(9)=w(8)x3=(-2,-2,-1)Tw(10)=w(9)k=10,xk=x5,d(xk)=wT(k)xk=50,w(11)=w(10)k=11,xk=x1,d(xk)=wT(k)xk=10,w(12)=w(11)k=12,xk=x2,d(xk)=wT(k)xk=50,w(13)=w(12)k=13,xk=x3,d(xj=wT(k)xk=50,w(14)=w(13)分類決策函數(shù)為d(x)=-2x1-2x2-1所以，最后收斂于w=(-2,-2,-1)T,將x6=(2,1),代入決策函數(shù)，d(x)=-7<0,所以8、兩類樣本的均值矢量分別為m1=(4,2)T和m2=(-4,-2)T,協(xié)方差矩陣分別為：",C2=42L兩類的先驗(yàn)概率相等,J3一24試求一維特征提取矩陣。解，總的類內(nèi)散布陣可以算得:s“.±G+：G=3.51.5、J.535)依據(jù)“進(jìn)行DKLT,得到特征值4=5,%=2對應(yīng)的特征向量分