第7章 基于K-L變換的特征提取

第7章基于K—L變換的特征提取7.1

離散的卡洛南—洛伊(K—L)變換7.2

采用K—L變換的分類特征提取7.3

鑒別向量和鑒別平面上一章討論的特征選擇是在一定的準(zhǔn)則下從n個(gè)特征中選出m個(gè)來反映原來的模式，這種簡單的刪掉某個(gè)特征總是不十分理想的，因?yàn)橐话銇碚f，原來的n個(gè)數(shù)據(jù)各自在不同程度上反映了識別對象的某些特性，簡單的刪掉可能會丟失較多的信息。這時(shí)，若將原來的特征作正交變換，獲得的每個(gè)數(shù)據(jù)都是原來的n個(gè)數(shù)據(jù)的線性組合，然后從新的數(shù)據(jù)中選出少數(shù)幾個(gè)，使它們盡可能多地反映各類模式之間的差異，又盡可能的相互獨(dú)立，這比單純的選擇方法更靈活，效果更好，這就是將要介紹的K—L變換，它適用于任何的概率密度函數(shù)。K—L變換實(shí)際上是一種最佳的特征壓縮。返回本章首頁7.1離散的卡洛南—洛伊（K—L）變換返回本章首頁設(shè)是一個(gè)維的隨機(jī)向量，則它可以用下式無誤差的展開：返回本章首頁是線性獨(dú)立的，其構(gòu)成了包含的維空間，這些向量就是這個(gè)空間的一個(gè)基組。進(jìn)一步它還滿足以下性質(zhì)：假定我們只保留向量的分量的一個(gè)子集，就用這些分量估計(jì)出。返回本章首頁下面討論最佳子集的選取

若用的分量來恢復(fù)原始模式，不應(yīng)使模式產(chǎn)生明顯的畸變。實(shí)際上我們的任務(wù)就是要選擇一個(gè)最佳的變換使得模式向量的維數(shù)降低后仍能保留模式的最重要的特征。若保留，不保留的用預(yù)先選定的常數(shù)來代替，這時(shí)對的估計(jì)值為：返回本章首頁注意到和都是隨機(jī)向量，用的均方誤差作為選取個(gè)特征的子集的有效性的判據(jù)，則是和的函數(shù)，要使最小，就是求使取極小值的最佳的和的值。對的選擇返回本章首頁也就是說，對于省略掉的那些分量，應(yīng)當(dāng)用它們的期望值來代替。這時(shí)的均方誤差對的最佳選擇（）實(shí)際上要在的條件下，找出使最小的，構(gòu)造Lagrange函數(shù)：返回本章首頁L極小的必要條件為該式表示，是協(xié)方差矩陣的第i

個(gè)本征值，而是與對應(yīng)的本征向量。這時(shí)，最小均方誤差為：式中所選的愈小，誤差愈小。從以上可以得出結(jié)論：返回本章首頁（1）為使誤差最小，不采用的本征向量，其對應(yīng)的本征值應(yīng)盡可能小。將本征值按大小次序標(biāo)號，即應(yīng)首先采用前面的本征向量。這時(shí)的變換矩陣為（2）K—L變換是在均方誤差最小的意義下獲得的數(shù)據(jù)壓縮的最佳變換，它消除模式特征之間的相關(guān)性，突出其差異性，且不受模式分布的限制。返回本章首頁例題7-1兩組二維空間的數(shù)據(jù)（a）（b）如圖所示，

試用K—L變換來做一維的特征提取。（a）（b）返回本章首頁解：這兩種情況下的期望向量

對于數(shù)據(jù)（a），有對于數(shù)據(jù)（b），有返回本章首頁計(jì)算協(xié)方差矩陣的本征值和本征向量：對于數(shù)據(jù)（a）:對于數(shù)據(jù)（b）:返回本章首頁期末測試1試列舉線性分類器中你所學(xué)過的最佳準(zhǔn)則以及它們各自的原理。2試說明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。3試說明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。4

已知一組數(shù)據(jù)的協(xié)方差矩陣為

試問（1）協(xié)方差矩陣中各元素的含義。（2）求該數(shù)組的兩個(gè)主分量。（3）主分量分析或稱K-L變換，它的最佳準(zhǔn)則是什么？（4）為什么說經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。返回本章首頁設(shè)有兩類二維正態(tài)分布的樣本基于最小錯(cuò)誤率的貝葉斯決策分界面方程為

，其中兩類的協(xié)方差矩陣先驗(yàn)概率，并且有。試求：之值?？紤]基于具有先驗(yàn)知識和分布和

的樣本的分類器。（1）在這種情況下，求Bayes判定規(guī)則和Bayes錯(cuò)誤率；（2）求按最近鄰法決策的漸近平均錯(cuò)誤率。返回本章首頁1試列舉線性分類器中你所學(xué)過的最佳準(zhǔn)則以及它們各自的原理。

答：Fisher準(zhǔn)則：根據(jù)兩類樣本一般類內(nèi)密集,類間分離的特點(diǎn)，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類間盡可能分開。

該種度量通過類內(nèi)離散矩陣和類間離散矩陣實(shí)現(xiàn)。

感知準(zhǔn)則函數(shù)：準(zhǔn)則函數(shù)以使錯(cuò)分類樣本到分界面距離之和最小為原則，即

通過錯(cuò)分類樣本提供的信息對分類器函數(shù)進(jìn)行修正，這種準(zhǔn)則是人工神經(jīng)元網(wǎng)絡(luò)多層感知器的基礎(chǔ)。

最小平方誤差準(zhǔn)則函數(shù)：使平方誤差最小，即

解線性不等式的問題轉(zhuǎn)化為解線性等式的問題，求得的偽逆解使平方誤差最小。返回本章首頁2試說明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。答：監(jiān)督學(xué)習(xí)方法用來對數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲得。該訓(xùn)練集由帶分類號的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是離線的。

非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過程，也沒有帶分類號（標(biāo)號）的訓(xùn)練數(shù)據(jù)集，一般用來對數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布的主分量等。

就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類器設(shè)計(jì)，然后用所設(shè)計(jì)的分類器對道路圖像進(jìn)行分割。

使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進(jìn)行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。返回本章首頁3試說明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答：Mahalanobis

距離的平方定義為：

其中，、為兩個(gè)向量，是一個(gè)正定對稱矩陣（一般為協(xié)方差矩陣）。根據(jù)定義，距某一點(diǎn)的Mahalanobis距離相等點(diǎn)的軌跡是超橢球，如果是單位矩陣，則Mahalanobis距離就是通常的歐氏距離。

返回本章首頁4

已知一組數(shù)據(jù)的協(xié)方差矩陣為

試問（1）協(xié)方差矩陣中各元素的含義。（2）求該數(shù)組的兩個(gè)主分量。（3）主分量分析或稱K-L變換，它的最佳準(zhǔn)則是什么？（4）為什么說經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。答：1）對角元素是各分量的方差，非對角元素是各分量之間的協(xié)方差。

2）主分量，求協(xié)方差矩陣的特征值，

相應(yīng)的特征向量為：;

對應(yīng)特征向量為，

這兩個(gè)特征向量即為主分量。返回本章首頁

3）K-L變換的最佳準(zhǔn)則為：

對一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計(jì)算截尾誤差最小。

4）在經(jīng)主分量分解后，協(xié)方差矩陣成為對角矩陣，因而各主分量間相關(guān)消除。返回本章首頁設(shè)有兩類二維正態(tài)分布的樣本基于最小錯(cuò)誤率的貝葉斯決策分界面方程為

，其中兩類的協(xié)方差矩陣先驗(yàn)概率，并且有。試求：之值。解：決策面方程為

返回本章首頁返回本章首頁返回本章首頁6考慮基于具有先驗(yàn)知識和分布和

的樣本的分類器。（1）在這種情況下，求Bayes判定規(guī)則和Bayes錯(cuò)誤率；（2）求按最近鄰法決策的漸近平均錯(cuò)誤率。解：返回本章首頁返回本章首頁返回本章首頁一般的多類問題中，設(shè)損失函數(shù)為0-1損失函數(shù)返回本章首頁返回本章首頁