模式識(shí)別試題及總結(jié)

1、一、填空與選擇填空（本題答案寫在此試卷上，30分）1、 模式識(shí)別系統(tǒng)的基本構(gòu)成單元包括：模式采集、特征提取與選擇和模式分類。2、統(tǒng)計(jì)模式識(shí)別中描述模式的方法一般使用 特真矢量；句法模式識(shí)別中模式 描述方法一般有串、樹、網(wǎng) 。3、 聚類分析算法屬于（1）；判別域代數(shù)界面方程法屬于（3）。（1）無監(jiān)督分類 （2）有監(jiān)督分類（3）統(tǒng)計(jì)模式識(shí)別方法（4）句法模式識(shí)別方法4、 若描述模式的特征量為0-1二值特征量，則一般采用（4）進(jìn)行相似性度量。（1）距離測(cè)度 （2）模糊測(cè)度（3）相似測(cè)度（4）匹配測(cè)度5、下列函數(shù)可以作為聚類分析中的準(zhǔn)則函數(shù)的有 （1）（3）（4）。(1 )( 2 )（4）6、 Fis

2、her線性判別函數(shù)的求解過程是將N維特征矢量投影在（2）中進(jìn)行。（1）二維空間（2）一維空間（3）N-1維空間7、下列判別域界面方程法中只適用于線性可分情況的算法七O；線性可分、 TOC o 1-5 h z 不可分都適用的有（3）。（1）感知器算法（2）H-K算法 （3）積累位勢(shì)函數(shù)法8、 下列四元組中滿足文法定義的有（1）（2）（4）。（1） （A, B）, 0, 1, A 01, A0A1, A1A0, B BA, B0,A）（2） （A, 0, 1, A 0,A0A,A）（3）（S, a,b,S00S,S11S,S00,S 11,S）（4）（A, 0, 1, A 01,A0A1,A1A0

3、,A）9、影響層次聚類算法結(jié)果的主要因素有（計(jì)算模式距離的測(cè)度、（聚類準(zhǔn)則、類間距離門限、預(yù)定的類別數(shù)目）。10、 歐式距離具有（1、2 ）；馬式距離具有（1、2、3、4）。（1）平移不變性（2）旋轉(zhuǎn)不變性（3）尺度縮放不變性（4）不受量綱影響的 特性11、線性判別函數(shù)的正負(fù)和數(shù)值大小的幾何意義是（正（負(fù)）表示樣本點(diǎn)位于 判別界面法向量指向的正（負(fù)）半空間中；絕對(duì)值正比于樣本點(diǎn)到判別界面的距 離。）。12、感知器算法。（1）只適用于線性可分的情況；（2）線性可分、不可分都適用。13、積累勢(shì)函數(shù)法較之于H-K算法的優(yōu)點(diǎn)是（該方法可用于非線性可分情況（也 可用于線性可分情況）；位勢(shì)函數(shù)K（x,xk

4、）與積累位勢(shì)函數(shù)K（x）的關(guān)系為K （X） = Z a K（x, x ）/-kk 、（X/X）。14、在統(tǒng)計(jì)模式分類問題中，聶曼-皮爾遜判決準(zhǔn)則主要用于（羞一種判決錯(cuò) 誤較另一種判決錯(cuò)誤更為重要）情況；最小最大判決準(zhǔn)則主要用于（先驗(yàn)概率未 知的）情況。15、“特征個(gè)數(shù)越多越有利于分類”這種說法正確嗎？（錯(cuò)誤）。特征選擇的 主要目的是（從n個(gè)特征中選出最有利于分類的的m個(gè)特征（mn）的條件下， 可以使用分支定界法以減少計(jì)算量。16、散度Jij越大，說明i類模式與j類模式的分布（差別越大）;當(dāng)i類 模式與j類模式的分布相同時(shí)，Jij二（0）。17、已知有限狀態(tài)自動(dòng)機(jī) Af=（ ，Q，q0，F(xiàn)），=

5、0，1； Q=q0，qi；:（q0，0）= qi， （qo，i）= qi， （qi，0）=q0， （qi，i）=q0； q0二q0； F=qo?，F(xiàn)有輸 入字符串：（a） 000iii0i0ii, （b） ii00ii00ii, （c） i0ii00iii000，（d）00i00ii,試問，用 Af 對(duì)上述字符串進(jìn)行分類的結(jié)果為（3i:a,d;g：b,c）。i8、影響聚類算法結(jié)果的主要因素有（_）。已知類別的樣本質(zhì)量；分類準(zhǔn)則；特征選?。荒Ｊ较嗨菩詼y(cè)度。i9、模式識(shí)別中，馬式距離較之于歐式距離的優(yōu)點(diǎn)是（）。平移不變性；旋轉(zhuǎn)不變性；尺度不變性；考慮了模式的分布。20、基于二次準(zhǔn)則函數(shù)的H-K算法較

6、之于感知器算法的優(yōu)點(diǎn)是（_）?？梢耘袆e問題是否線性可分；其解完全適用于非線性可分的情況；其解的適應(yīng)性更好；計(jì)算量小。21、影響基本C均值算法的主要因素有（）。樣本輸入順序；模式相似性測(cè)度；聚類準(zhǔn)則；初始類心的選取。22、位勢(shì)函數(shù)法的積累勢(shì)函數(shù)K（x）的作用相當(dāng)于Bayes判決中的（_）。先驗(yàn)概率；后驗(yàn)概率；類概率密度；類概率密度與先驗(yàn)概率的乘積。23、在統(tǒng)計(jì)模式分類問題中，當(dāng)先驗(yàn)概率未知時(shí)，可以使用（_）。最小損失準(zhǔn)則；最小最大損失準(zhǔn)則；最小誤判概率準(zhǔn)則；N-P判決。24、在（）情況下，用分支定界法做特征選擇計(jì)算量相對(duì)較少。Cndn,（n為原特征個(gè)數(shù)，d為要選出的特征個(gè)數(shù)）；樣本較多；選用的

7、可分性判據(jù)J對(duì)特征數(shù)目單調(diào)不減；選用的可分性判據(jù)J具有可加性。25、散度JD是根據(jù)（）構(gòu)造的可分性判據(jù)。先驗(yàn)概率；后驗(yàn)概率；類概率密度；信息熵；幾何距離。26、似然函數(shù)的概型已知且為單峰，則可用（_）估計(jì)該似然函數(shù)。矩估計(jì)；最大似然估計(jì)；Bayes估計(jì)；Bayes學(xué)習(xí)；Parzen窗法。27、Kn近鄰元法較之Parzen窗法的優(yōu)點(diǎn)是（_）。所需樣本數(shù)較少；穩(wěn)定性較好；分辨率較高；連續(xù)性較好。28、從分類的角度講，用DKLT做特征提取主要利用了 DKLT的性質(zhì)：（ _）。變換產(chǎn)生的新分量正交或不相關(guān)；以部分新的分量表示原矢量均方誤差最 ??；使變換后的矢量能量更趨集中；29、一般，剪輯k-NN最近

8、鄰方法在（_）的情況下效果較好。樣本數(shù)較大；樣本數(shù)較小；樣本呈團(tuán)狀分布；樣本呈鏈狀分布。30、如果以特征向量的相關(guān)系數(shù)作為模式相似性測(cè)度，則影響聚類算法結(jié)果的 主要因素有（_）。已知類別樣本質(zhì)量；分類準(zhǔn)則；特征選取；量綱。二、（15分）簡(jiǎn)答及證明題（1）影響聚類結(jié)果的主要因素有那些？（2）證明馬氏距離是平移不變的、非奇異線性變換不變的。答：（1）分類準(zhǔn)則，模式相似性測(cè)度，特征量的選擇，量綱。（2）證明：（2分）設(shè)，有非奇異線性變換:（1分）（2分）（1分）（4分）三、（8分）說明線性判別函數(shù)的正負(fù)和數(shù)值大小在分類中的意義并證明之。答：（1）（4 分）正比于的距離的絕對(duì)值到超平平面的方程可以寫成

9、式中。于是頁腳內(nèi)容11是平面的單位法矢量，上式可寫成中的任一點(diǎn)，中任一點(diǎn)，點(diǎn)到平面的距離為差矢量在上的投影的絕對(duì)值，即（1-1）在平面上式中利用了中，故滿足方程式（11）的分子為判別函數(shù)絕對(duì)值，上式表明正比于到超平面的距離個(gè)特征矢量代入判別函數(shù)后所得值的絕對(duì)值越大表明該特征點(diǎn)距判別界面越遠(yuǎn)。（2）（4分）的正（負(fù)）反映在超平面的正（負(fù)）側(cè)兩 矢 量的數(shù)積為（2分）顯然，當(dāng)夾角小于時(shí)，即指向的那個(gè)半空間中，0;反之，當(dāng)夾角大于時(shí)，即背向的那個(gè)半空間中，0。由于，故同號(hào)。所以，當(dāng)指向的半空間中時(shí)，;當(dāng)背向的半空間中，。判別函數(shù)值的正負(fù)表示出特征點(diǎn)位于哪個(gè)半空間 中，或者換句話說，表示特征點(diǎn)位于界面

10、的哪一側(cè)。五、（12分，每問4分）在目標(biāo)識(shí)別中，假定有農(nóng)田和裝甲車兩種類型，類型7 和類型2分別代表農(nóng)田和裝甲車，它們的先驗(yàn)概率分別為0.8和0.2,損失函數(shù)如表1 所示?，F(xiàn)在做了三次試驗(yàn)，獲得三個(gè)樣本的類概率密度如下：:0.3，0.1，0.6:0.7，0.8, 0.3（1）試用貝葉斯最小誤判概率準(zhǔn)則判決三個(gè)樣本各屬于哪一個(gè)類型；（2）假定只考慮前兩種判決，試用貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則判決三個(gè)樣本各屬于哪一 類；（3）把拒絕判決考慮在內(nèi)，重新考核三次試驗(yàn)的結(jié)果。表1類型 損失判決o 1a 114解：由題可知:,（1）（4分）根據(jù)貝葉斯最小誤判概率準(zhǔn)則知:，則可以任判;，則判為，則判為（2）（4分）由

11、題可知:，判為，判為，判為（3）（4分）對(duì)于兩類問題，對(duì)于樣本，假設(shè)已知，有則對(duì)于第一個(gè)樣本，則拒判;，則拒判;，拒判。監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別：監(jiān)督學(xué)習(xí)方法用來對(duì)數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲得。該訓(xùn)練集由帶分 類號(hào)的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是離線的。非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過程，也沒有帶分類號(hào)（標(biāo)號(hào)）的 訓(xùn)練數(shù)據(jù)集，一般用來對(duì)數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布的主分量等。（實(shí)例：道路圖）就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖 像中獲取道路象素與非道路象素集，進(jìn)行分類器設(shè)計(jì)，然后用所設(shè)計(jì)的分類器對(duì)道 路圖像進(jìn)行分割。使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素

12、與非道路象素之間的聚類分析進(jìn) 行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。動(dòng)態(tài)聚類是指對(duì)當(dāng)前聚類通過迭代運(yùn)算改善聚類；分級(jí)聚類則是將樣本個(gè)體，按相似度標(biāo)準(zhǔn)合并，隨著相似度要求的降低實(shí) 現(xiàn)合并。線性分類器三種最優(yōu)準(zhǔn)則：Fisher準(zhǔn)則：根據(jù)兩類樣本一般類內(nèi)密集，類間分離的特點(diǎn)，尋找線性分 類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類 間盡可能分開。該種度量通過類內(nèi)離散矩陣Sw和類間離散矩陣Sb實(shí)現(xiàn)。感知準(zhǔn)則函數(shù)：準(zhǔn)則函數(shù)以使錯(cuò)分類樣本到分界面距離之和最小為原則。其優(yōu)點(diǎn)是通過錯(cuò)分類樣本提供的信息對(duì)分類器函數(shù)進(jìn)行修正，這種準(zhǔn)則是 人工神經(jīng)元網(wǎng)絡(luò)多層感知器的基礎(chǔ)。支持向量機(jī)：基本思想

13、是在兩類線性可分條件下，所設(shè)計(jì)的分類器界面使 兩類之間的間隔為最大，它的基本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。試問“模式”與“模式類”的含義。如果一位姓王的先生是位老年人，試、問“王先生”和“老頭”誰是模式，誰是模式類？答：在模式識(shí)別學(xué)科中，就“模式”與“模式類”而言，模式類是一類事物的 代表，概念或典型，而“模式”則是某一事物的具體體現(xiàn)，如“老頭”是模式類， 而王先生則是“模式氣 是“老頭”的具體化。試說明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答：Mahalanobis距離的平方定義為：L3(xsu) =

14、(x-u)TS-1(x-u)其中x，u為兩個(gè)數(shù)據(jù)，廠】是一個(gè)正定對(duì)稱矩陣(一般為協(xié)方差矩陣)。 根據(jù)定義，距某一點(diǎn)的Mahalanobis距離相等點(diǎn)的軌跡是超橢球，如果是單位矩 陣Z，則Mahalanobis距離就是通常的歐氏距離。試說明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對(duì)道路圖像中道路區(qū)域的劃 分的基本做法，以說明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。答：監(jiān)督學(xué)習(xí)方法用來對(duì)數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲得。該訓(xùn)練集 由帶分類號(hào)的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是離線的。非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過程，也沒有帶分類號(hào)(標(biāo)號(hào)) 的訓(xùn)練數(shù)據(jù)集，一般用來對(duì)數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布

15、的主分量等。就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖像中獲取道路象 素與非道路象素集，進(jìn)行分類器設(shè)計(jì)，然后用所設(shè)計(jì)的分類器對(duì)道路圖像進(jìn)行分 割。使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素與非道路象素之間的聚類分 析進(jìn)行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。試述動(dòng)態(tài)聚類與分級(jí)聚類這兩種方法的原理與不同。、答：動(dòng)態(tài)聚類是指對(duì)當(dāng)前聚類通過迭代運(yùn)算改善聚類；分級(jí)聚類則是將樣 本個(gè)體，按相似度標(biāo)準(zhǔn)合并，隨著相似度要求的降低實(shí)現(xiàn)合并。如果觀察一個(gè)時(shí)序信號(hào)時(shí)在離散時(shí)刻序列得到的觀察量序列表示為 、。=。/，氣），而該時(shí)序信號(hào)的內(nèi)在狀態(tài)序列表示成s=%，。如果計(jì)算在給 定O條件下出現(xiàn)S的概率，試問此概率是何種概

16、率。如果從觀察序列來估計(jì)狀 態(tài)序列的最大似然估計(jì)，這與Bayes決策中基于最小錯(cuò)誤率的決策有什么關(guān)系。答：在給定觀察序列。京J條件下分析它由某個(gè)狀態(tài)序列S產(chǎn)生的概 率似后驗(yàn)概率，寫成P（S|O），而通過O求對(duì)狀態(tài)序列的最大似然估計(jì)，與貝葉斯 決策的最小錯(cuò)誤率決策相當(dāng)。六、已知一組數(shù)據(jù)的協(xié)方差矩陣為W1 L試問七、1.協(xié)方差矩陣中各元素的含義。八、2.求該數(shù)組的兩個(gè)主分量。九、3.主分量分析或稱K-L變換，它的最佳準(zhǔn)則是什么？+4.為什么說經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。協(xié)方差矩陣為1）對(duì)角元素是各分量的方差，非對(duì)角元素是各分量之間的協(xié)方差。%-1 -1/212）主分量，通過求協(xié)方差矩

17、陣的特征值，用一 2入-1）得 TOC o 1-5 h z fl1d任=L 入 = -，x=-一3,貝H，相應(yīng)的特征向量為：工，對(duì)應(yīng)特征向量為UJ2,對(duì)應(yīng)E。這兩個(gè)特征向量即為主分量。3）K-L變換的最佳準(zhǔn)則為：對(duì)一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下， 以均方誤差計(jì)算截尾誤差最小。4）在經(jīng)主分量分解后，協(xié)方差矩陣成為對(duì)角矩陣，因而各主分量 間相關(guān)消除。十一、試說明以下問題求解是基于監(jiān)督學(xué)習(xí)或是非監(jiān)督學(xué)習(xí)：十二、1.求數(shù)據(jù)集的主分量十三、2.漢字識(shí)別十四、3.自組織特征映射十五、 4. CT圖像的分割答：1、求數(shù)據(jù)集的主分量是非監(jiān)督學(xué)習(xí)方法；2、漢字識(shí)別對(duì)待識(shí)別字符加上相應(yīng)類

18、別號(hào)有監(jiān)督學(xué)習(xí)方法；3、自組織特征映射將高維數(shù)組按保留近似度向低維映射一非監(jiān) 督學(xué)習(xí)；4、CT圖像分割按數(shù)據(jù)自然分布聚類一一非監(jiān)督學(xué)習(xí)方法；十六 試列舉線性分類器中最著名的三種最佳準(zhǔn)則以及它們各自的原理。、答：線性分類器三種最優(yōu)準(zhǔn)則：Fisher準(zhǔn)則：根據(jù)兩類樣本一般類內(nèi)密集 類間分離的特點(diǎn)，尋找線性 分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密 集，類間盡可能分開。該種度量通過類內(nèi)離散矩陣Sw和類間離散矩陣Sb實(shí)現(xiàn)。感知準(zhǔn)則函數(shù)：準(zhǔn)則函數(shù)以使錯(cuò)分類樣本到分界面距離之和最小為原 則。其優(yōu)點(diǎn)是通過錯(cuò)分類樣本提供的信息對(duì)分類器函數(shù)進(jìn)行修正，這種準(zhǔn)則 是人工神經(jīng)元網(wǎng)絡(luò)多層感知

19、器的基礎(chǔ)。支持向量機(jī)：基本思想是在兩類線性可分條件下，所設(shè)計(jì)的分類器界 面使兩類之間的間隔為最大，它的基本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。十七、 在一兩維特征空間，兩類決策域由兩條直線H1和H2分界，十八、其中+阪廣2= H卜漢+易+2 = 0十九、而包含H1與H2的銳角部分為第一類，其余為第二類。二十、試求：二十一、1.用一雙層感知器構(gòu)造該分類器一十一2.用凹函數(shù)的并構(gòu)造該分類器答：按題意要求1）H1與H2將空間劃分成四個(gè)部分，按使H1與H2大于零與小于零表 示成四個(gè)區(qū)域，而第一類屬于（一+）區(qū)域，為方便起見，令瓦：-灼= n則 第一類在（+）區(qū)域。用雙層感知器，神經(jīng)元用1域值，則在第一類樣

20、本輸入時(shí)， 兩隱層結(jié)點(diǎn)的輸出均為+1,其余則分別為（+一），（），（-+）,故可按圖設(shè) 置域值。2）用凹函數(shù)的并表示：曄門卑或表示成P4 呻日件,町），如啪乂， 則E、，否則X已S：二十三、設(shè)有兩類正態(tài)分布的樣本基于最小錯(cuò)誤率的貝葉斯決策分界面，分別為X2=0，以及X1=3,其中兩類的協(xié)方差矩陣御=1御，先驗(yàn)概率相等，&=12 f-ii立日看 W 1 *廣2并且有 ， I J。二十四、試求：以及叼。1 A a b加 i答：設(shè)待求3 v ch待求2 L%由于御，先驗(yàn)概率相等。則基于最小錯(cuò)誤率的Bayes決策規(guī)則，在兩類決策面分界面上的樣本X 應(yīng)滿足點(diǎn)5） = （英-代）2】0?。?） n其中按

21、題意I J，2 J （注：為方便起見，在下面計(jì)算中先去掉系數(shù)4/3）。按題意分界面由xi=3及x2=0兩條直線構(gòu)成，則分界面方程為易仕3）= 0n ”3 = 0 （2）對(duì)（1）式進(jìn)行分解有其咆攻-曲提演+由蒞出1國(guó)1 -沖柜四捉少X+得對(duì)土1 -由獲楓=。（3）由（3）式第一項(xiàng)得 .秘=咐2 TH： c）XF（l-a） + &i頑/ -團(tuán) + 如-時(shí)（4）將（4）式與（2）式對(duì)比可知a=i,c=i又由C=1與虞|=|&|,得b2=l/4, b有兩種可能，即b=l/2或b=-l/2,如果b=l/2，則表明后|=壓1，此時(shí)分界面方程應(yīng)為線性，與題意不符， 只有b=-i/2則（4）式為：2X1X2（

22、5）將相應(yīng)結(jié)果帶入（3）式第二項(xiàng)有（6）1/21T11/2)1V21一蜘-1/2 kJ則結(jié)合（5）（2）應(yīng)有一皿+ !皿=七則 羽=也（7）:白衛(wèi)1-白禎+ = 3解得電1，吃=-2，-1/2U21/2九、證明在Z正定或半正定時(shí)，Mahalanobis距離r符合距離定義的三個(gè)條件，即r(a,b)=r(b,a)當(dāng)且僅當(dāng)a=b時(shí)，有r(a,b)=0r(a,c)&刁即決策為噸的條件風(fēng)險(xiǎn)小于決策為崢的條件風(fēng)險(xiǎn)，因此我們采取決策行動(dòng)的，即判斷待識(shí) 別的細(xì)胞丫為噸類一異常細(xì)胞-將1與2柑對(duì)比，其分類結(jié)果正好相反，這是因?yàn)檫@里撮響職策結(jié)果的因素又多了一個(gè) 即“損失L.而且兩類銬誤決策所造成的損殳相差很懸殊,

23、因此裕失就起了主導(dǎo)作用十五、既然有線性判別函數(shù)，為什么還要引進(jìn)非線性判別函數(shù)？試分析由“線性判 別函數(shù)”向“非線性判別函數(shù)”推廣的思想和方法。答:實(shí)際中有很多模式識(shí)別問題并不是線性可分的，這時(shí)就需要采用非線性分類器， 比如當(dāng)兩類樣本分不具有多峰性質(zhì)并互相交錯(cuò)時(shí)，簡(jiǎn)單的線性判別函數(shù)往往會(huì)帶來較大 的分類錯(cuò)誤。這時(shí)，樹分類器作為一種分段線性分類器，常常能有效地應(yīng)用于這種情況。十六、1.什么是特征選擇?2.什么是Fisher線性判別？答：1.特征選擇就是從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間 維數(shù)的目的。2. Fisher線性判別：可以考慮把d維空間的樣本投影到一條直線上，形成一維 空

24、間，即把維數(shù)壓縮到一維，這在數(shù)學(xué)上容易辦到，然而，即使樣本在d維空間里形 成若干緊湊的互相分得開的集群，如果把它們投影到一條任意的直線上，也可能使得幾 類樣本混在一起而變得無法識(shí)別。但是在一般情況下，總可以找到某個(gè)方向，使得在這 個(gè)方向的直線上，樣本的投影能分開得最好。問題是如何根據(jù)實(shí)際情況找到這條最好的、 最易于分類的投影線，這就是Fisher算法所要解決的基本問題。十七、寫出兩類和多類情況下最小風(fēng)險(xiǎn)貝葉斯決策判別函數(shù)和決策面方程。兩類別問題：判別函數(shù)glW = A11p(tD1|x) -F A12p(D3|x)3Cx) -+A.32p(o2|x)決策面方程：gl(x) - g2 W類別問題

25、；判別函數(shù)&W = 2 如P(3j|x), i = L ai=i決策面方程；Mx) =g(x), i手j ij = L，c特征空十八、請(qǐng)論述模式識(shí)別系統(tǒng)的主要組成部分及其設(shè)計(jì)流程，并簡(jiǎn)述各組成部 分中常用方法的主要思想。信號(hào)空數(shù)據(jù)獲預(yù)處理特征提取與選擇分類器設(shè)分類決策計(jì)信息獲?。和ㄟ^測(cè)量、米樣和量化，可以用矩陣或向量表示二維圖像或以為波形。預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測(cè)量?jī)x器或其他因素造成的退化現(xiàn) 象進(jìn)行復(fù)原。特征選擇和提?。簽榱擞行У貙?shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能 反映分類本質(zhì)的特征。分類決策：在特征空間中用統(tǒng)計(jì)方法把識(shí)別對(duì)象歸為某一類。十九、有兩類樣本集X1

26、= 0,0,0T1X 2 = 1,0,0T1x 3 = 1,0,1T1X 4 = 1,1,0T1X1 = 0,0,1t2X 2 = 0,1,0T2x 3 = 0,1,1T2用K-L變換求其二維特征空間，并求出其特征空間的坐標(biāo)軸;使用Fisher線性判別方法給出這兩類樣本的分類面。對(duì)應(yīng)的坐標(biāo)T414，=1以所以判別函數(shù)為；g(x)= -6一一6_二十、定性說明基于參數(shù)方法和非參數(shù)方法的概率密度估計(jì)有什么區(qū)別？答：基于參數(shù)方法：是由已知類別的樣本集對(duì)總體分布的某些參數(shù)進(jìn)行統(tǒng)計(jì)推 斷非參數(shù)方法：已知樣本所屬類別，但未知總體概率密度函數(shù)形式假設(shè),一類模式服從如下的#態(tài)分布，一|T. 一 1 。一丹=I

27、 ，舄】=L = 十.、R =也= 5請(qǐng)分別求出使利打（見）（&二S* + & ）最大化的一維特征空間的變換二十一、二 1 -2Sb 一：2出心（山一卜尸一：（阮一此）（隊(duì)一內(nèi)）丁 一1=111 r? 01Sw=5（$S“ =0 55 52 2-因?yàn)轷帕R的秩為L(zhǎng)所以跖響只有一個(gè)非零本征值W是矩陣，即W=吼為求 的本征值應(yīng)解方程：-總）（沔-=為w|（ P1 H2）TW是標(biāo)量，所以w = SwX Pl -此）=10.4二十二、簡(jiǎn)述支持向量機(jī)的基本思想。答:SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。最優(yōu)分類面就是要求分類線不但能將兩類正確分開（訓(xùn)練錯(cuò)誤率為0），且使分類 間隔最大。SVM考慮尋找一個(gè)滿足分類要求的超平面，并且使訓(xùn)練集中的點(diǎn)距離分類面盡 可能的遠(yuǎn)，也就是尋找一個(gè)分類面使它兩側(cè)的空白區(qū)域（margin）最大。過兩類樣本中離分類面最近的點(diǎn)，且平行于最優(yōu)分類面的超平面上H1，H2的訓(xùn) 練樣本就叫支持