特征選擇與特征提取課件

第八章成分分析與核函數(shù)第八章成分分析與核函數(shù)8.0問題的提出一般來說，在建立識(shí)別系統(tǒng)時(shí)，抽取的原始特征往往比較多，特征的維數(shù)比較大，這會(huì)給識(shí)別器的訓(xùn)練帶來很大的困難，因此希望能夠采用某種方法降低特征的維數(shù)。這些方法可以稱作成分分析的方法。成分分析方法主要包括：主成分分析；多重判別分析；獨(dú)立成分分析；8.0問題的提出一般來說，在建立識(shí)別系統(tǒng)時(shí)，抽取的原始特征人臉識(shí)別舉例人臉識(shí)別舉例8.1主成分分析

（PCA，PrincipalComponentAnalysis）PCA是一種最常用的線性成分分析方法；PCA的主要思想是尋找到數(shù)據(jù)的主軸方向，由主軸構(gòu)成一個(gè)新的坐標(biāo)系（維數(shù)可以比原維數(shù)低），然后數(shù)據(jù)由原坐標(biāo)系向新的坐標(biāo)系投影。PCA的其它名稱：離散K-L變換，Hotelling變換；8.1主成分分析

（PCA，PrincipalCompoPCA的思想x1x2y1y2PCA的思想x1x2y1y2PCA的思想x1x2y1y2PCA的思想x1x2y1y2PCA算法利用訓(xùn)練樣本集合計(jì)算樣本的均值m和協(xié)方差矩陣S；計(jì)算S的特征值，并由大到小排序；選擇前d’個(gè)特征值對(duì)應(yīng)的特征矢量作成一個(gè)變換矩陣E=[e1,e2,…,ed’]；訓(xùn)練和識(shí)別時(shí)，每一個(gè)輸入的d維特征矢量x可以轉(zhuǎn)換為d’維的新特征矢量y：

y=Etx。PCA算法利用訓(xùn)練樣本集合計(jì)算樣本的均值m和協(xié)方差矩陣S；PCA的討論由于S是實(shí)對(duì)稱陣，因此特征矢量是正交的；將數(shù)據(jù)向新的坐標(biāo)軸投影之后，特征之間是不相關(guān)的；特征值描述了變換后各維特征的重要性，特征值為0的各維特征為冗余特征，可以去掉。PCA的討論由于S是實(shí)對(duì)稱陣，因此特征矢量是正交的；例8.1

有兩類問題的訓(xùn)練樣本： 將特征由2維壓縮為1維。例8.1有兩類問題的訓(xùn)練樣本：x1x2e1e2x1x2e1e2特征人臉特征人臉PCA重構(gòu)原圖像d’=15102050100200PCA重構(gòu)原圖像d’=158.2多重判別分析

（MDA,MultipleDiscriminantAnalysis）x1x2e1e28.2多重判別分析

（MDA,MultipleDiscMDA與PCAPCA將所有的樣本作為一個(gè)整體對(duì)待，尋找一個(gè)均方誤差最小意義下的最優(yōu)線性映射，而沒有考慮樣本的類別屬性，它所忽略的投影方向有可能恰恰包含了重要的可分性信息；MDA則是在可分性最大意義下的最優(yōu)線性映射，充分保留了樣本的類別可分性信息；MDA還被稱為：FDA(FisherDiscriminantAnalysis)或LDA(LinearDiscriminantAnalysis)。MDA與PCAPCA將所有的樣本作為一個(gè)整體對(duì)待，尋找一個(gè)均Fisher線性判別準(zhǔn)則樣本x在w方向上的投影：定義類內(nèi)散布矩陣：定義類間散布矩陣：Fisher線性判別準(zhǔn)則：wFisher線性判別準(zhǔn)則樣本x在w方向上的投影：wFDA算法利用訓(xùn)練樣本集合計(jì)算類內(nèi)散度矩陣Sw和類間散度矩陣SB；計(jì)算Sw-1SB的特征值；選擇非0的c-1個(gè)特征值對(duì)應(yīng)的特征矢量作成一個(gè)變換矩陣W=[w1,w2,…,wc-1]；訓(xùn)練和識(shí)別時(shí)，每一個(gè)輸入的d維特征矢量x可以轉(zhuǎn)換為c-1維的新特征矢量y：

y=WTx。FDA算法利用訓(xùn)練樣本集合計(jì)算類內(nèi)散度矩陣Sw和類間散度矩陣3類問題FDA3類問題FDAFDA的討論經(jīng)FDA變換后，新的坐標(biāo)系不是一個(gè)正交坐標(biāo)系；新的坐標(biāo)維數(shù)最多為c-1，c為類別數(shù)；只有當(dāng)樣本數(shù)足夠多時(shí)，才能夠保證類內(nèi)散度矩陣Sw為非奇異矩陣（存在逆陣），而樣本數(shù)少時(shí)Sw可能是奇異矩陣。FDA的討論經(jīng)FDA變換后，新的坐標(biāo)系不是一個(gè)正交坐標(biāo)系；8.3成分分析的其它問題獨(dú)立成分分析(ICA,IndependentComponentAnalysis)：PCA去除掉的是特征之間的相關(guān)性，但不相關(guān)不等于相互獨(dú)立，獨(dú)立是更強(qiáng)的要求。ICA試圖使特征之間相互獨(dú)立。多維尺度變換(MDS,MultidimensionalScaling)典型相關(guān)分析(CCA,CanonicalCorrelationAnalysis)偏最小二乘(PLS,PartialLeastSquare)8.3成分分析的其它問題獨(dú)立成分分析(ICA,Inde線性PCA的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)線性PCA的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)8.4核函數(shù)及其應(yīng)用8.4核函數(shù)及其應(yīng)用非線性PCA的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性PCA的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)空間的非線性映射建立一個(gè)R2R3的非線性映射計(jì)算R3中2個(gè)矢量的內(nèi)積：定義核函數(shù)：，則：輸入空間特征空間空間的非線性映射建立一個(gè)R2R3的非線性映射輸入空間特征空核函數(shù)上個(gè)例子說明：特征空間中兩個(gè)矢量之間的內(nèi)積可以通過定義輸入空間中的核函數(shù)直接計(jì)算得到。這就啟示我們可以不必定義非線性映射Φ而直接在輸入空間中定義核函數(shù)K來完成非線性映射。這樣做的條件是：定義的核函數(shù)K能夠?qū)?yīng)于特征空間中的內(nèi)積；識(shí)別方法中不需要計(jì)算特征空間中的矢量本身，而只須計(jì)算特征空間中兩個(gè)矢量的內(nèi)積。核函數(shù)上個(gè)例子說明：特征空間中兩個(gè)矢量之間的內(nèi)積可以通過定義Hibert-Schmidt理論作為核函數(shù)應(yīng)滿足如下條件： 是下的對(duì)稱函數(shù)，對(duì)任意，且 有：

成立，則可以作為核函數(shù)。此條件也稱為Mercer條件。Hibert-Schmidt理論作為核函數(shù)應(yīng)滿足如下條件：常用的核函數(shù)GaussianRBF：Polynomial：Sigmoidal：Inv.Multiquardric：常用的核函數(shù)GaussianRBF：核函數(shù)應(yīng)用于線性分類器

（SVM的非線性版本）SVM的求解，最后歸結(jié)為如下目標(biāo)函數(shù)的優(yōu)化：可以引入非線性映射Φ，則目標(biāo)函數(shù)變?yōu)椋憾鴻?quán)矢量為：判別函數(shù)：核函數(shù)應(yīng)用于線性分類器

（SVM的非線性版本）SVM的求解，支持矢量機(jī)的實(shí)現(xiàn)支持矢量機(jī)的實(shí)現(xiàn)核函數(shù)應(yīng)用于PCA（KPCA） 訓(xùn)練樣本集合。定義