模式識(shí)別試題及總結(jié)

填空與選擇填空〔此題答案寫(xiě)在此試卷上，30分〕1、模式識(shí)別系統(tǒng)的根本構(gòu)成單元包括：模式采集、特征提取與選擇和模式分類(lèi)。2、統(tǒng)計(jì)模式識(shí)別中描述模式的方法一般使用特真矢量；句法模式識(shí)別中模式描述方法一般有串、樹(shù)、網(wǎng)。3、聚類(lèi)分析算法屬于〔1〕；判別域代數(shù)界面方程法屬于〔3〕?！?〕無(wú)監(jiān)督分類(lèi)(2)有監(jiān)督分類(lèi)〔3〕統(tǒng)計(jì)模式識(shí)別方法〔4〕句法模式識(shí)別方法4、假設(shè)描述模式的特征量為0-1二值特征量，那么一般采用〔4〕進(jìn)行相似性度量。〔1〕距離測(cè)度〔2〕模糊測(cè)度〔3〕相似測(cè)度〔4〕匹配測(cè)度5、以下函數(shù)可以作為聚類(lèi)分析中的準(zhǔn)那么函數(shù)的有〔1〕〔3〕〔4〕?！?〕〔2〕(3)(4)6、Fisher線性判別函數(shù)的求解過(guò)程是將N維特征矢量投影在〔2〕中進(jìn)行?！?〕二維空間〔2〕一維空間〔3〕N-1維空間7、以下判別域界面方程法中只適用于線性可分情況的算法有〔1〕；線性可分、不可分都適用的有〔3〕?！?〕感知器算法〔2〕H-K算法〔3〕積累位勢(shì)函數(shù)法8、以下四元組中滿足文法定義的有〔1〕〔2〕〔4〕。〔1〕({A,B},{0,1},{A01,A0A1,A1A0,BBA,B0},〔2〕({A},{0,1},{A0,A0A},A〔3〕({S},{a,b},{S00S,S11S,S00,S11},S)〔4〕({A},{0,1},{A01,A0A1,A1A0},9、影響層次聚類(lèi)算法結(jié)果的主要因素有〔計(jì)算模式距離的測(cè)度、〔聚類(lèi)準(zhǔn)那么、類(lèi)間距離門(mén)限、預(yù)定的類(lèi)別數(shù)目〕〕。10、歐式距離具有〔1、2〕；馬式距離具有〔1、2、3、4〕。

〔1〕平移不變性〔2〕旋轉(zhuǎn)不變性〔3〕尺度縮放不變性〔4〕不受量綱影響的特性11、線性判別函數(shù)的正負(fù)和數(shù)值大小的幾何意義是〔正〔負(fù)〕表示樣本點(diǎn)位于判別界面法向量指向的正〔負(fù)〕半空間中；絕對(duì)值正比于樣本點(diǎn)到判別界面的距離?！?。12、感知器算法1?！?〕只適用于線性可分的情況；〔2〕線性可分、不可分都適用。13、積累勢(shì)函數(shù)法較之于H-K算法的優(yōu)點(diǎn)是〔該方法可用于非線性可分情況〔也可用于線性可分情況〕〕；位勢(shì)函數(shù)K(x,xk)與積累位勢(shì)函數(shù)K(x)的關(guān)系為〔〕。14、在統(tǒng)計(jì)模式分類(lèi)問(wèn)題中，聶曼-皮爾遜判決準(zhǔn)那么主要用于〔某一種判決錯(cuò)誤較另一種判決錯(cuò)誤更為重要〕情況；最小最大判決準(zhǔn)那么主要用于〔先驗(yàn)概率未知的〕情況。15、“特征個(gè)數(shù)越多越有利于分類(lèi)”這種說(shuō)法正確嗎？〔錯(cuò)誤〕。特征選擇的主要目的是〔從n個(gè)特征中選出最有利于分類(lèi)的的m個(gè)特征〔m<n〕，以降低特征維數(shù)〕。一般在〔可分性判據(jù)對(duì)特征個(gè)數(shù)具有單調(diào)性〕和〔Cnm>>n〕的條件下，可以使用分支定界法以減少計(jì)算量。16、散度Jij越大，說(shuō)明i類(lèi)模式與j類(lèi)模式的分布〔差異越大〕；當(dāng)i類(lèi)模式與j類(lèi)模式的分布相同時(shí)，Jij=〔0〕。17、有限狀態(tài)自動(dòng)機(jī)Af=(，Q，，q0，F(xiàn))，={0，1}；Q={q0，q1}；：(q0，0)=q1，(q0，1)=q1，(q1，0)=q0，ω1:{a,d};ω2:{b,c}〕。18、影響聚類(lèi)算法結(jié)果的主要因素有〔②③④〕。

①類(lèi)別的樣本質(zhì)量；②分類(lèi)準(zhǔn)那么；③特征選?。虎苣Ｊ较嗨菩詼y(cè)度。19、模式識(shí)別中，馬式距離較之于歐式距離的優(yōu)點(diǎn)是〔③④〕。

①平移不變性；②旋轉(zhuǎn)不變性；③尺度不變性；④考慮了模式的分布。20、基于二次準(zhǔn)那么函數(shù)的H-K算法較之于感知器算法的優(yōu)點(diǎn)是〔①③〕。

①可以判別問(wèn)題是否線性可分；②其解完全適用于非線性可分的情況；

③其解的適應(yīng)性更好；④計(jì)算量小。21、影響根本C均值算法的主要因素有〔④①②〕。

①樣本輸入順序；②模式相似性測(cè)度；③聚類(lèi)準(zhǔn)那么；④初始類(lèi)心的選取。22、位勢(shì)函數(shù)法的積累勢(shì)函數(shù)K(x)的作用相當(dāng)于Bayes判決中的〔②④〕。

①先驗(yàn)概率；②后驗(yàn)概率；③類(lèi)概率密度；④類(lèi)概率密度與先驗(yàn)概率的乘積。23、在統(tǒng)計(jì)模式分類(lèi)問(wèn)題中，領(lǐng)先驗(yàn)概率未知時(shí)，可以使用〔②④〕。

①最小損失準(zhǔn)那么；②最小最大損失準(zhǔn)那么；③最小誤判概率準(zhǔn)那么；④N-P判決。24、在〔①③〕情況下，用分支定界法做特征選擇計(jì)算量相對(duì)較少。

①Cnd>>n,〔n為原特征個(gè)數(shù)，d為要選出的特征個(gè)數(shù)〕；②樣本較多；③選用的可分性判據(jù)J對(duì)特征數(shù)目單調(diào)不減；④選用的可分性判據(jù)J具有可加性。25、散度JD是根據(jù)〔③〕構(gòu)造的可分性判據(jù)。

①先驗(yàn)概率；②后驗(yàn)概率；③類(lèi)概率密度；④信息熵；⑤幾何距離。26、似然函數(shù)的概型且為單峰，那么可用〔①②③④⑤〕估計(jì)該似然函數(shù)。

①矩估計(jì)；②最大似然估計(jì)；③Bayes估計(jì)；④Bayes學(xué)習(xí)；⑤Parzen窗法。27、Kn近鄰元法較之Parzen窗法的優(yōu)點(diǎn)是〔②〕。

①所需樣本數(shù)較少；②穩(wěn)定性較好；③分辨率較高；④連續(xù)性較好。28、從分類(lèi)的角度講，用DKLT做特征提取主要利用了DKLT的性質(zhì)：〔①③〕。

①變換產(chǎn)生的新分量正交或不相關(guān)；②以局部新的分量表示原矢量均方誤差最小；③使變換后的矢量能量更趨集中；29、一般，剪輯k-NN最近鄰方法在〔①〕的情況下效果較好。

①樣本數(shù)較大；②樣本數(shù)較?。虎蹣颖境蕡F(tuán)狀分布；④樣本呈鏈狀分布。30、如果以特征向量的相關(guān)系數(shù)作為模式相似性測(cè)度，那么影響聚類(lèi)算法結(jié)果的主要因素有〔②③〕。

①類(lèi)別樣本質(zhì)量；②分類(lèi)準(zhǔn)那么；③特征選?。虎芰烤V。二、(15分)簡(jiǎn)答及證明題〔1〕影響聚類(lèi)結(jié)果的主要因素有那些？〔2〕證明馬氏距離是平移不變的、非奇異線性變換不變的。答：〔1〕分類(lèi)準(zhǔn)那么，模式相似性測(cè)度，特征量的選擇，量綱。〔2〕證明：(2分)(2分)(1分)設(shè)，有非奇異線性變換： (1分)(4分)三、(8分)說(shuō)明線性判別函數(shù)的正負(fù)和數(shù)值大小在分類(lèi)中的意義并證明之。答：〔1〕〔4分〕的絕對(duì)值正比于到超平面的距離平面的方程可以寫(xiě)成式中。于是是平面的單位法矢量，上式可寫(xiě)成設(shè)是平面中的任一點(diǎn)，是特征空間中任一點(diǎn)，點(diǎn)到平面的距離為差矢量在上的投影的絕對(duì)值，即 (1-1)上式中利用了在平面中，故滿足方程式(1-1)的分子為判別函數(shù)絕對(duì)值，上式說(shuō)明，的值正比于到超平面的距離，一個(gè)特征矢量代入判別函數(shù)后所得值的絕對(duì)值越大說(shuō)明該特征點(diǎn)距判別界面越遠(yuǎn)。〔2〕〔4分〕的正〔負(fù)〕反映在超平面的正〔負(fù)〕側(cè)兩矢量和的數(shù)積為〔2分〕顯然，當(dāng)和夾角小于時(shí)，即在指向的那個(gè)半空間中，>0；反之，當(dāng)和夾角大于時(shí)，即在背向的那個(gè)半空間中，<0。由于，故和同號(hào)。所以，當(dāng)在指向的半空間中時(shí)，；當(dāng)在背向的半空間中，。判別函數(shù)值的正負(fù)表示出特征點(diǎn)位于哪個(gè)半空間中，或者換句話說(shuō)，表示特征點(diǎn)位于界面的哪一側(cè)。五、(12分，每問(wèn)4分)在目標(biāo)識(shí)別中，假定有農(nóng)田和裝甲車(chē)兩種類(lèi)型，類(lèi)型1和類(lèi)型2分別代表農(nóng)田和裝甲車(chē)，它們的先驗(yàn)概率分別為0.8和0.2，損失函數(shù)如表1所示。現(xiàn)在做了三次試驗(yàn)，獲得三個(gè)樣本的類(lèi)概率密度如下：：0.3，0.1，0.6：0.7，0.8，0.3〔1〕 試用貝葉斯最小誤判概率準(zhǔn)那么判決三個(gè)樣本各屬于哪一個(gè)類(lèi)型；〔2〕 假定只考慮前兩種判決，試用貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)那么判決三個(gè)樣本各屬于哪一類(lèi)；〔3〕 把拒絕判決考慮在內(nèi)，重新考核三次試驗(yàn)的結(jié)果。表1類(lèi)型損失判決145111解：由題可知：，，，，〔1〕〔4分〕根據(jù)貝葉斯最小誤判概率準(zhǔn)那么知：，那么可以任判；，那么判為；，那么判為；〔2〕〔4分〕由題可知：那么，判為；，判為；，判為；〔3〕〔4分〕對(duì)于兩類(lèi)問(wèn)題，對(duì)于樣本，假設(shè)，有那么對(duì)于第一個(gè)樣本，，那么拒判；，那么拒判；，拒判。1.監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別：監(jiān)督學(xué)習(xí)方法用來(lái)對(duì)數(shù)據(jù)實(shí)現(xiàn)分類(lèi)，分類(lèi)規(guī)那么通過(guò)訓(xùn)練獲得。該訓(xùn)練集由帶分類(lèi)號(hào)的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過(guò)程是離線的。

非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過(guò)程，也沒(méi)有帶分類(lèi)號(hào)〔標(biāo)號(hào)〕的訓(xùn)練數(shù)據(jù)集，一般用來(lái)對(duì)數(shù)據(jù)集進(jìn)行分析，如聚類(lèi)，確定其分布的主分量等。

〔實(shí)例：道路圖〕就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法那么先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類(lèi)器設(shè)計(jì)，然后用所設(shè)計(jì)的分類(lèi)器對(duì)道路圖像進(jìn)行分割。

使用非監(jiān)督學(xué)習(xí)方法，那么依據(jù)道路路面象素與非道路象素之間的聚類(lèi)分析進(jìn)行聚類(lèi)運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。2.動(dòng)態(tài)聚類(lèi)是指對(duì)當(dāng)前聚類(lèi)通過(guò)迭代運(yùn)算改善聚類(lèi)；

分級(jí)聚類(lèi)那么是將樣本個(gè)體，按相似度標(biāo)準(zhǔn)合并，隨著相似度要求的降低實(shí)現(xiàn)合并。3.線性分類(lèi)器三種最優(yōu)準(zhǔn)那么：

Fisher準(zhǔn)那么：根據(jù)兩類(lèi)樣本一般類(lèi)內(nèi)密集,類(lèi)間別離的特點(diǎn)，尋找線性分類(lèi)器最正確的法線向量方向，使兩類(lèi)樣本在該方向上的投影滿足類(lèi)內(nèi)盡可能密集，類(lèi)間盡可能分開(kāi)。

該種度量通過(guò)類(lèi)內(nèi)離散矩陣Sw和類(lèi)間離散矩陣Sb實(shí)現(xiàn)。

感知準(zhǔn)那么函數(shù)：準(zhǔn)那么函數(shù)以使錯(cuò)分類(lèi)樣本到分界面距離之和最小為原那么。

其優(yōu)點(diǎn)是通過(guò)錯(cuò)分類(lèi)樣本提供的信息對(duì)分類(lèi)器函數(shù)進(jìn)行修正，這種準(zhǔn)那么是人工神經(jīng)元網(wǎng)絡(luò)多層感知器的根底。

支持向量機(jī)：根本思想是在兩類(lèi)線性可分條件下，所設(shè)計(jì)的分類(lèi)器界面使兩類(lèi)之間的間隔為最大,它的根本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。試問(wèn)“模式”與“模式類(lèi)”的含義。如果一位姓王的先生是位老年人，試問(wèn)“王先生”和“老頭”誰(shuí)是模式，誰(shuí)是模式類(lèi)？答：在模式識(shí)別學(xué)科中，就“模式”與“模式類(lèi)”而言，模式類(lèi)是一類(lèi)事物的代表，概念或典型，而“模式”那么是某一事物的具體表達(dá)，如“老頭”是模式類(lèi)，而王先生那么是“模式”，是“老頭”的具體化。試說(shuō)明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答：Mahalanobis距離的平方定義為：

其中x，u為兩個(gè)數(shù)據(jù)，是一個(gè)正定對(duì)稱矩陣〔一般為協(xié)方差矩陣〕。根據(jù)定義，距某一點(diǎn)的Mahalanobis距離相等點(diǎn)的軌跡是超橢球，如果是單位矩陣Σ，那么Mahalanobis距離就是通常的歐氏距離。試說(shuō)明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對(duì)道路圖像中道路區(qū)域的劃分的根本做法，以說(shuō)明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。答：監(jiān)督學(xué)習(xí)方法用來(lái)對(duì)數(shù)據(jù)實(shí)現(xiàn)分類(lèi)，分類(lèi)規(guī)那么通過(guò)訓(xùn)練獲得。該訓(xùn)練集由帶分類(lèi)號(hào)的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過(guò)程是離線的。

非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過(guò)程，也沒(méi)有帶分類(lèi)號(hào)〔標(biāo)號(hào)〕的訓(xùn)練數(shù)據(jù)集，一般用來(lái)對(duì)數(shù)據(jù)集進(jìn)行分析，如聚類(lèi)，確定其分布的主分量等。

就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法那么先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類(lèi)器設(shè)計(jì)，然后用所設(shè)計(jì)的分類(lèi)器對(duì)道路圖像進(jìn)行分割。

使用非監(jiān)督學(xué)習(xí)方法，那么依據(jù)道路路面象素與非道路象素之間的聚類(lèi)分析進(jìn)行聚類(lèi)運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。試述動(dòng)態(tài)聚類(lèi)與分級(jí)聚類(lèi)這兩種方法的原理與不同。答：動(dòng)態(tài)聚類(lèi)是指對(duì)當(dāng)前聚類(lèi)通過(guò)迭代運(yùn)算改善聚類(lèi)；分級(jí)聚類(lèi)那么是將樣本個(gè)體，按相似度標(biāo)準(zhǔn)合并，隨著相似度要求的降低實(shí)現(xiàn)合并。如果觀察一個(gè)時(shí)序信號(hào)時(shí)在離散時(shí)刻序列得到的觀察量序列表示為，而該時(shí)序信號(hào)的內(nèi)在狀態(tài)序列表示成。如果計(jì)算在給定O條件下出現(xiàn)S的概率，試問(wèn)此概率是何種概率。如果從觀察序列來(lái)估計(jì)狀態(tài)序列的最大似然估計(jì)，這與Bayes決策中基于最小錯(cuò)誤率的決策有什么關(guān)系。答：在給定觀察序列條件下分析它由某個(gè)狀態(tài)序列S產(chǎn)生的概率似后驗(yàn)概率，寫(xiě)成P(S|O)，而通過(guò)O求對(duì)狀態(tài)序列的最大似然估計(jì),與貝葉斯決策的最小錯(cuò)誤率決策相當(dāng)。一組數(shù)據(jù)的協(xié)方差矩陣為，試問(wèn)

1．協(xié)方差矩陣中各元素的含義。

2．求該數(shù)組的兩個(gè)主分量。

3．主分量分析或稱K-L變換，它的最正確準(zhǔn)那么是什么？

4．為什么說(shuō)經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。答：協(xié)方差矩陣為，那么

1〕對(duì)角元素是各分量的方差，非對(duì)角元素是各分量之間的協(xié)方差。

2〕主分量，通過(guò)求協(xié)方差矩陣的特征值，用得，那么，相應(yīng)的特征向量為：，對(duì)應(yīng)特征向量為，對(duì)應(yīng)。

這兩個(gè)特征向量即為主分量。

3〕K-L變換的最正確準(zhǔn)那么為：

對(duì)一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計(jì)算截尾誤差最小。

4〕在經(jīng)主分量分解后，協(xié)方差矩陣成為對(duì)角矩陣，因而各主分量間相關(guān)消除。試說(shuō)明以下問(wèn)題求解是基于監(jiān)督學(xué)習(xí)或是非監(jiān)督學(xué)習(xí)：

1.求數(shù)據(jù)集的主分量

2.漢字識(shí)別

3.自組織特征映射

4.CT圖像的分割答：1、求數(shù)據(jù)集的主分量是非監(jiān)督學(xué)習(xí)方法；

2、漢字識(shí)別對(duì)待識(shí)別字符加上相應(yīng)類(lèi)別號(hào)——有監(jiān)督學(xué)習(xí)方法；

3、自組織特征映射——將高維數(shù)組按保存近似度向低維映射——非監(jiān)督學(xué)習(xí)；

4、CT圖像分割——按數(shù)據(jù)自然分布聚類(lèi)——非監(jiān)督學(xué)習(xí)方法；試列舉線性分類(lèi)器中最著名的三種最正確準(zhǔn)那么以及它們各自的原理。答：線性分類(lèi)器三種最優(yōu)準(zhǔn)那么：

Fisher準(zhǔn)那么：根據(jù)兩類(lèi)樣本一般類(lèi)內(nèi)密集,類(lèi)間別離的特點(diǎn)，尋找線性分類(lèi)器最正確的法線向量方向，使兩類(lèi)樣本在該方向上的投影滿足類(lèi)內(nèi)盡可能密集，類(lèi)間盡可能分開(kāi)。

該種度量通過(guò)類(lèi)內(nèi)離散矩陣Sw和類(lèi)間離散矩陣Sb實(shí)現(xiàn)。

感知準(zhǔn)那么函數(shù)：準(zhǔn)那么函數(shù)以使錯(cuò)分類(lèi)樣本到分界面距離之和最小為原那么。

其優(yōu)點(diǎn)是通過(guò)錯(cuò)分類(lèi)樣本提供的信息對(duì)分類(lèi)器函數(shù)進(jìn)行修正，這種準(zhǔn)那么是人工神經(jīng)元網(wǎng)絡(luò)多層感知器的根底。

支持向量機(jī)：根本思想是在兩類(lèi)線性可分條件下，所設(shè)計(jì)的分類(lèi)器界面使兩類(lèi)之間的間隔為最大,它的根本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。在一兩維特征空間，兩類(lèi)決策域由兩條直線H1和H2分界，

其中

而包含H1與H2的銳角局部為第一類(lèi)，其余為第二類(lèi)。

試求：

1．用一雙層感知器構(gòu)造該分類(lèi)器

2．用凹函數(shù)的并構(gòu)造該分類(lèi)器答：按題意要求1〕H1與H2將空間劃分成四個(gè)局部，按使H1與H2大于零與小于零表示成四個(gè)區(qū)域，而第一類(lèi)屬于(－＋)區(qū)域，為方便起見(jiàn)，令那么第一類(lèi)在(＋＋)區(qū)域。用雙層感知器，神經(jīng)元用域值，那么在第一類(lèi)樣本輸入時(shí)，兩隱層結(jié)點(diǎn)的輸出均為＋1，其余那么分別為(＋－)，(――)，(－＋),故可按圖設(shè)置域值。2〕用凹函數(shù)的并表示：或表示成，如，那么，否那么設(shè)有兩類(lèi)正態(tài)分布的樣本基于最小錯(cuò)誤率的貝葉斯決策分界面，分別為X2=0，以及X1=3，其中兩類(lèi)的協(xié)方差矩陣，先驗(yàn)概率相等，并且有，。

試求：以及。答：設(shè)待求，待求由于，先驗(yàn)概率相等。那么基于最小錯(cuò)誤率的Bayes決策規(guī)那么，在兩類(lèi)決策面分界面上的樣本X應(yīng)滿足〔1〕其中按題意，〔注：為方便起見(jiàn)，在下面計(jì)算中先去掉系數(shù)4/3〕。按題意分界面由x1=3及x2=0兩條直線構(gòu)成，那么分界面方程為(2)對(duì)〔1〕式進(jìn)行分解有得〔3〕由〔3〕式第一項(xiàng)得〔4〕將〔4〕式與〔2〕式比照可知a=1,c=1又由c=1與，得b2=1/4，b有兩種可能，即b=1/2或b=-1/2，

如果b=1/2，那么說(shuō)明，此時(shí)分界面方程應(yīng)為線性，與題意不符，只有b=-1/2

那么〔4〕式為：2X1X2〔5〕

將相應(yīng)結(jié)果帶入〔3〕式第二項(xiàng)有

〔6〕

那么結(jié)合〔5〕〔2〕應(yīng)有

，那么〔7〕

解得，

由得九、證明在Σ正定或半正定時(shí)，Mahalanobis距離r符合距離定義的三個(gè)條件，即

〔1〕r(a,b)=r(b,a)

〔2〕當(dāng)且僅當(dāng)a=b時(shí)，有r(a,b)=0

〔3〕r(a,c)≤r(a,b)+r(b,c)

證明：(1)根據(jù)定義(2)由于Σ為對(duì)稱陣，故Σ可以分解為，其中，且所有特征值大于等于零。

可以認(rèn)為

這就變?yōu)榱藗鹘y(tǒng)意義上的歐氏距離，可以由歐氏距離滿足的性質(zhì)直接證明本命題。

十、對(duì)一副道路圖像，希望把道路局部劃分出來(lái)，可以采用以下兩種方法：1．在該圖像中分別在道路局部與非道路局部畫(huà)出一個(gè)窗口，把在這兩個(gè)窗口中的象素?cái)?shù)據(jù)作為訓(xùn)練集，用Fisher準(zhǔn)那么方法求得分類(lèi)器參數(shù)，再用該分類(lèi)器對(duì)整幅圖進(jìn)行分類(lèi)。2．將整幅圖的每個(gè)象素的屬性記錄在一張數(shù)據(jù)表中，然后用某種方法將這些數(shù)據(jù)按它們的自然分布狀況劃分成兩類(lèi)。因此每個(gè)象素就分別得到相應(yīng)的類(lèi)別號(hào)，從而實(shí)現(xiàn)了道路圖像的分割。試問(wèn)以上兩種方法哪一種是監(jiān)督學(xué)習(xí)，哪個(gè)是非監(jiān)督學(xué)習(xí)？答：第一種方法中標(biāo)記了兩類(lèi)樣本的標(biāo)號(hào)，需要人手工干預(yù)訓(xùn)練過(guò)程，屬于監(jiān)督學(xué)習(xí)方法；第二種方法只是依照數(shù)據(jù)的自然分布，把它們劃分成兩類(lèi)，屬于非監(jiān)督學(xué)習(xí)方法。十一、有兩類(lèi)數(shù)據(jù),分別為

試求：該組數(shù)據(jù)的類(lèi)內(nèi)及類(lèi)間離散矩陣及。答：第一類(lèi)的均值向量為

十二、設(shè)一個(gè)二維空間中的兩類(lèi)樣本服從正態(tài)分布，其參數(shù)分別為：，，先驗(yàn)概率，試證明：其基于最小錯(cuò)誤率的貝葉斯決策分界面方程為一圓，并求其方程。證明：先驗(yàn)概率相等條件下，基于最小錯(cuò)誤率貝葉斯決策的分界面上兩類(lèi)條件概率密度函數(shù)相等。

因此有：

化簡(jiǎn)為，是一個(gè)圓的方程。十三、試分析五種常用決策規(guī)那么思想方法的異同。答、五種常用決策是：1.基于最小錯(cuò)誤率的貝葉斯決策，利用概率論中的貝葉斯公式，得出使得錯(cuò)誤率最小的分類(lèi)規(guī)那么。2.基于最小風(fēng)險(xiǎn)的貝葉斯決策，引入了損失函數(shù)，得出使決策風(fēng)險(xiǎn)最小的分類(lèi)。當(dāng)在0－1損失函數(shù)條件下，基于最小風(fēng)險(xiǎn)的貝葉斯決策變成基于最小錯(cuò)誤率的貝葉斯決策。3.在限定一類(lèi)錯(cuò)誤率條件下使另一類(lèi)錯(cuò)誤率最小的兩類(lèi)別決策。4.最大最小決策：類(lèi)先驗(yàn)概率未知，考察先驗(yàn)概率變化對(duì)錯(cuò)誤率的影響，找出使最小貝葉斯奉獻(xiàn)最大的先驗(yàn)概率，以這種最壞情況設(shè)計(jì)分類(lèi)器。5.序貫分類(lèi)方法，除了考慮分類(lèi)造成的損失外，還考慮特征獲取造成的代價(jià)，先用一局部特征分類(lèi)，然后逐步參加性特征以減少分類(lèi)損失，同時(shí)平衡總的損失，以求得最有效益。十四、假設(shè)在某個(gè)地區(qū)細(xì)胞識(shí)別中正?！瞱1〕和異?！瞱2〕兩類(lèi)先驗(yàn)概率分別為P(w1)=0.9，P(w2)=0.1，現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，從類(lèi)條件概率密度分布曲線上查得，，并且，，，試對(duì)該細(xì)胞x用一下兩種方法進(jìn)行分類(lèi)：基于最小錯(cuò)誤率的貝葉斯決策；基于最小風(fēng)險(xiǎn)的貝葉斯決策；請(qǐng)分析兩種結(jié)果的異同及原因。答：1.2.十五、既然有線性判別函數(shù)，為什么還要引進(jìn)非線性判別函數(shù)？試分析由“線性判別函數(shù)”向“非線性判別函數(shù)”推廣的思想和方法。答：實(shí)際中有很多模式識(shí)別問(wèn)題并不是線性可分的，這時(shí)就需要采用非線性分類(lèi)器，比方當(dāng)兩類(lèi)樣本分不具有多峰性質(zhì)并互相交錯(cuò)時(shí)，簡(jiǎn)單的線性判別函數(shù)往往會(huì)帶來(lái)較大的分類(lèi)錯(cuò)誤。這時(shí)，樹(shù)分類(lèi)器作為一種分段線性分類(lèi)器，常常能有效地應(yīng)用于這種情況。十六、1.什么是特征選擇？2.什么是Fisher線性判別？答：1.特征選擇就是從一組特征中挑選出一些最有效的特征以到達(dá)降低特征空間維數(shù)的目的。2.Fisher線性判別：可以考慮把d維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維，這在數(shù)學(xué)上容易辦到，然而，即使樣本在d維空間里形成假設(shè)干緊湊的互相分得開(kāi)的集群，如果把它們投影到一條任意的直線上，也可能使得幾類(lèi)樣本混在一起而變得無(wú)法識(shí)別。但是在一般情況下，總可以找到某個(gè)方向，使得在這個(gè)方向的直