模式識(shí)別-第11講-基于K-L展開(kāi)式的特征提取

模式識(shí)別

授課教師薛耀紅xueyh@第11講基于K-L變換的特征提取回顧：兩類提取有效信息、壓縮特征空間的方法：特征提取

(extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征特征選擇(selection)

：從原始特征中挑選出一些最有代表性，分類性能最好的特征常見(jiàn)類別可分離性判據(jù)：－基于距離的可分性判據(jù)－基于概率密度分布的判據(jù)基于K－L展開(kāi)式的特征提取K-L變換，是一種常用的正交變換，K-L變換常用來(lái)作為數(shù)據(jù)壓縮，這里我們用它作降維。學(xué)習(xí)這一節(jié)主要要掌握以下幾個(gè)問(wèn)題：1．什么是正交變換；2．K-L變換是一種最佳的正交變換，要弄清是什么意義的最佳，也就是說(shuō)它最佳的定義；3．K-L變換的性質(zhì)；4．K-L變換的重要應(yīng)用。

基于K－L展開(kāi)式的特征提取正交變換概念變換是一種工具，它的用途歸根結(jié)底是用來(lái)描述事物，特別是描述信號(hào)用的。例如我們看到一個(gè)復(fù)雜的時(shí)序信號(hào)，希望能夠?qū)λM(jìn)行描述。描述事物的基本方法之一是將復(fù)雜的事物化成簡(jiǎn)單事物的組合,或?qū)ζ溥M(jìn)行分解，分析其組成的成分。例如對(duì)一波形，我們希望知道它是快速變化的(高頻)，還是緩慢變化的(低頻)，或是一成不變的(常量)。如果它既有快速變化的成分，又有緩慢變化的成分，又有常量部分，那么我們往往希望將它的成分析取出來(lái)。這時(shí)我們就要用到變換?；贙－L展開(kāi)式的特征提取正交變換概念變換的實(shí)質(zhì)是一套度量用的工具，例如用大尺子度量大的東西，用小尺子度量小的東西，在信號(hào)處理中用高頻，低頻或常量來(lái)衡量一個(gè)信號(hào)中的各種不同成分。對(duì)某一套完整的工具就稱為某種變換。如傅里葉變換就是用一套隨時(shí)間正弦、余弦變化的信號(hào)作為度量工具，這些正弦，余弦信號(hào)的頻率是各不相同的，才能度量出信號(hào)中相應(yīng)的不同頻率成分?；贙－L展開(kāi)式的特征提取圖6-1圖6-2a圖6-2b例如，圖6-1中的信號(hào)只有一個(gè)單一頻率的簡(jiǎn)諧信號(hào)，而圖6-2(a)中信號(hào)就不是一個(gè)簡(jiǎn)諧信號(hào)所描述的，它起碼可以分解成圖6-2中的兩個(gè)成分，一是基波，另一是三次諧波。基于K－L展開(kāi)式的特征提取由此可以看出，對(duì)事物可以有不同的描述方法，如圖6-2(a)是對(duì)信號(hào)的一種描述，而圖6-2(b)則利用成分分解，得到該事物的另一種描述。當(dāng)將一事物從一種描述轉(zhuǎn)換成另一種描述時(shí)，就要用不同的工具，因而每一套工具稱為一種變換。為了對(duì)復(fù)雜事物進(jìn)行經(jīng)濟(jì)有效的描述，我們希望將其分解成相互獨(dú)立的成分，譬如我們分析其快速變化的成分時(shí)，就希望它只不再混雜其它成分。傅里葉變換為例，希望它分析出某種頻率的成分，就不要包含其它任何頻率的成分。這就要求，作為變換的工具中的每個(gè)成分是相互獨(dú)立的，用其中某一個(gè)工具就只能從信號(hào)中分析出一種成分，而分析不出其它成分?；贙－L展開(kāi)式的特征提取

用變換對(duì)信號(hào)進(jìn)行分析，所使用的數(shù)學(xué)工具是點(diǎn)積。點(diǎn)積的實(shí)質(zhì)就是兩個(gè)信號(hào)中相同成分之間乘積之總和。圖6-3(a)中是兩個(gè)隨時(shí)間連續(xù)變化的信號(hào)，它們之間的點(diǎn)積運(yùn)算定義為圖6-3a在這里同一成分是指同一時(shí)刻t兩個(gè)信號(hào)的值F(t)與G(t)。積分就是在整個(gè)時(shí)間域上求和。基于K－L展開(kāi)式的特征提取圖6-3(b)中的向量A與B在一個(gè)二維空間定義，它們兩者分別含有成分為(a1,a2)與(b1,b2)，a1與b1是兩者的同一種成分，a2與b2則是另一種成分。故它們的點(diǎn)積定義為a1b1+a2b2，在這種條件下就不需要積分，而只是簡(jiǎn)單求和。圖6-3b基于K－L展開(kāi)式的特征提取點(diǎn)積運(yùn)算的結(jié)果是一個(gè)數(shù)值，或大于零，小于零或等于零等于零的情況在圖6-3(b)中出現(xiàn)在A與B之間夾角為90°的情況，這表明B中沒(méi)有A的成分，A中也沒(méi)有B的成分，因此又稱相互正交。由此我們知道作為一種變換，如果這種變換中的每一種成分與其它成分都正交時(shí)，它們之間的關(guān)系就相互獨(dú)立了，每一種成分的作用是其它成分所不能代替的。拿傅里葉變換來(lái)說(shuō)，頻率為f的成分只能靠變換頻率為f的成分去析取。另一方面也說(shuō)明了這套變換必須是完備的，也就是它必須包含一切必要的成分，例如必須有基波的任何一次整數(shù)倍頻率的諧波，否則就會(huì)對(duì)信號(hào)分析不全面?；贙－L展開(kāi)式的特征提取上式中要求uiTuj=1，是考慮到ui是作為度量事物的單位應(yīng)用的，它本身的模應(yīng)該為1，ui又稱為某一個(gè)基。而被分解后的任何事物(在此指信號(hào))可等成各種成分之和。故任一信號(hào)X可表示成：

其中ci是相應(yīng)基ui的相應(yīng)成分。綜合以上分析，我們可以將對(duì)這種變換的定義總結(jié)為：

如果將這種變換中的每一成分，用一個(gè)向量ui表示，i是其下標(biāo)，原理上可以到∞，則我們要求的正交變換可表示成：基于K－L展開(kāi)式的特征提取基于Karhunen-Loeve變換的特征提取方法是以在特征空間分布的樣本特征向量為原始數(shù)據(jù)，通過(guò)實(shí)行K-L變換，找到維數(shù)較少的組合特征，達(dá)到降維的目的。由于樣本的描述都是離散的向量，因此我們只討論K-L變換的離散情況。K-L變換：對(duì)給定一個(gè)D維訓(xùn)練樣本集（原始特征空間），進(jìn)行特征空間的降維，降到d維，d<D。也就是說(shuō)將d+1維以上的成分略去，顯然原信號(hào)會(huì)因此受到一些損失。基于K－L展開(kāi)式的特征提取K-L變換的最佳體現(xiàn)在對(duì)給定一個(gè)訓(xùn)練樣本集條件下，能使這種誤差從總體上來(lái)說(shuō)是最小。注意這里講的是總體，這是因?yàn)榻稻S以后，訓(xùn)練樣本集中的每個(gè)樣本數(shù)據(jù)都受到損失，要衡量的是總體效果。這種情況下最常用的指標(biāo)是均方誤差最小，或稱均方誤差的期望值最小。這就是說(shuō)要找的正交變換能使一組樣本集的均方誤差的期望值為最小。基于K－L展開(kāi)式的特征提取K-L變換是一種正交變換，即將一個(gè)向量x，在某一種坐標(biāo)系統(tǒng)中的描述，轉(zhuǎn)換成用另一種基向量組成的坐標(biāo)系來(lái)表示。這組基向量是正交的，其中每個(gè)坐標(biāo)基向量用uj表示，j=1,…,∞，因此，一個(gè)向量x可表示成我們將表示的無(wú)限多維基向量坐標(biāo)系統(tǒng)改成有限維坐標(biāo)系近似，即：基于K－L展開(kāi)式的特征提取我們希望在同樣維數(shù)條件下，使向量X的估計(jì)量誤差最小。確切地說(shuō)是使所引起的均方誤差為最小。X基于K－L展開(kāi)式的特征提取要使均方誤差最小是一個(gè)求極值的問(wèn)題，即求最佳的正交變換的基ui，i=1,…∞。因此還要滿足變換是正交歸一這個(gè)條件，因此這是一個(gè)求條件極值的問(wèn)題，一般方法是利用拉格朗日乘子法將條件數(shù)值轉(zhuǎn)換成一個(gè)求無(wú)條件極值的問(wèn)題，實(shí)質(zhì)求解過(guò)程是對(duì)拉格朗日函數(shù)g(ui)求偏導(dǎo)而得出的結(jié)果。

基于K－L展開(kāi)式的特征提取基于K－L展開(kāi)式的特征提取基于K－L展開(kāi)式的特征提取用矩陣ψ=E[xxT

]

的前d

個(gè)本征值（從大到小排列）對(duì)應(yīng)的本征向量作為基來(lái)展開(kāi)x

時(shí)，截?cái)嗾`差在所有用d

維正交坐標(biāo)系展開(kāi)中是最小的。uj

，j=1,2,…,d

張成了新的特征空間.展開(kāi)系數(shù)cj=ujTx,

j=1,2,…,d

則組成了新的特征向量.基于K－L展開(kāi)式的特征提取向量應(yīng)是矩陣的特征值的特征向量，而此時(shí)截?cái)嗾`差為。如將按其大小順序排列，即則取前d項(xiàng)特征值對(duì)應(yīng)的特征向量組成的坐標(biāo)系，可使向量的均方誤差為最小。滿足上述條件的變換就是K-L變換。基于K－L展開(kāi)式的特征提取K-L變換的基并沒(méi)有固定的形式，它是從對(duì)給定數(shù)據(jù)集{x}進(jìn)行計(jì)算產(chǎn)生的。換句話說(shuō)，給定的數(shù)據(jù)集不同，得到的K-L變換基函數(shù)也因此而不同。正是因?yàn)樗鼘?duì)給定數(shù)據(jù)集{x}存在依賴關(guān)系，它在降低維數(shù)時(shí)仍能較好地描述數(shù)據(jù)，因此是模式識(shí)別中降低特征空間維數(shù)的有效方法。但是由于它的正交基函數(shù)族是從訓(xùn)練樣本集中計(jì)算出來(lái)的，因此并不存在一種對(duì)任何數(shù)據(jù)都適用的K-L變換基，一般的作法是先用一組訓(xùn)練數(shù)據(jù)計(jì)算出K-L變換基，然后用這組基來(lái)分析其它數(shù)據(jù)。K－L變換的性質(zhì)2.展開(kāi)系數(shù)互不相關(guān)K-L展開(kāi)式的第一個(gè)重要性質(zhì)是展開(kāi)系數(shù)彼此無(wú)關(guān)的，即任意兩個(gè)系數(shù)乘積的期望為其中：ij為Kronecker積。說(shuō)明：因?yàn)? 來(lái)自樣本，K-L坐標(biāo)系將其作了對(duì)角化，消除了原向量x各分量之間的相關(guān)性。從而可能消去帶有較少信息的坐標(biāo)軸，降低空間的維數(shù)。例如，簡(jiǎn)化坐標(biāo)：3.表示熵信息熵是對(duì)于不確定性的度量。K-L變換的實(shí)質(zhì)是使矩陣的D個(gè)特征值中，只有幾個(gè)是較大的，其余較小，因此，K-L坐標(biāo)系可以有效地進(jìn)行信息壓縮。說(shuō)明：1如果所有的特征值相等，即同等重要，則HR取最大值。2如果熵值=0，則表示x的所有信息僅由一個(gè)展開(kāi)項(xiàng)表示即可。3熵函數(shù)叫做表示熵，可以用來(lái)估計(jì)信息壓

縮的程度。4對(duì)同一特征向量集{x}，K-L坐標(biāo)系下的表示熵為最小。4.總體熵一般說(shuō)來(lái)，各類均值向量通常包含有較多的判別信息。選擇這樣一些特征量，使當(dāng)用同一類的這些特征量的均值所組成的向量代表該類的樣本用來(lái)進(jìn)行分類時(shí)，所引起的分類不確定性度量最小。可以用總體熵來(lái)度量這種分類的不確定性。總體熵可以作為類均值向量代表同類各樣本的不確定性的一種度量。總體熵的意義總體熵的意義K-L坐標(biāo)系的生成數(shù)據(jù)集合{x}的K-L坐標(biāo)系是由二階統(tǒng)計(jì)量來(lái)確定的。可以使用以下幾種方法來(lái)生成K-L坐標(biāo)系：樣本所屬類別未知時(shí)：1、可以使用樣本的自相關(guān)矩陣2、對(duì)于無(wú)類別標(biāo)簽的樣本集，均值向量無(wú)意

義，也常使用協(xié)方差矩陣

樣本所屬類別已知時(shí)：可以使用各種二階矩，得到不同的K-L坐標(biāo)系1、使用總類內(nèi)離散度矩陣使用條件：（1）樣本集合{x}有類別標(biāo)簽（2）各類的先驗(yàn)概率已知（3）均值向量已知（4）協(xié)方差矩陣已知

2、每次使用一個(gè)類別樣本集合來(lái)建立K-L坐

標(biāo)系。

該K-L變換常用于信息壓縮，很少用于分類。未知類別樣本的K－L變換舉例用總體樣本的協(xié)方差矩陣C=E[(x-μ)(x-μ)T]

進(jìn)行K-L變換，K-L坐標(biāo)系U=[u1,u2,...,ud]按照C的本征值的下降次序選擇例：設(shè)一樣本集的協(xié)方差矩陣是：

求最優(yōu)2x1特征提取器U

解：計(jì)算特征值及特征向量[V,D]=eig(C);

特征值D=[24.736,2.263]T,特征向量:

由于λ1>λ2，故最優(yōu)2x1特征提取器

此時(shí)的K-L變換式為：基于K－L變換的數(shù)據(jù)壓縮舉例給出樣本數(shù)據(jù)如下：試用K-L變換作一維數(shù)據(jù)壓縮。思路：1）求總體均值向量；2）求產(chǎn)生矩陣ψ

；

3）求產(chǎn)生矩陣的特征值λi及特征向量；

4）按λi排序，確定變換矩陣W；

5）利用求新的一維樣本。K－L變換的一些典型應(yīng)用上面我們從數(shù)學(xué)的角度分析了K-L變換的性質(zhì)。歸結(jié)起來(lái)，它消除了各分量之間的相關(guān)性，因而用它來(lái)描述事物時(shí)，可以減少描述量的冗余性，做到用最經(jīng)濟(jì)有效的方法描述事物。下面結(jié)合一些應(yīng)用實(shí)例來(lái)說(shuō)明如何運(yùn)用K-L變換的這一性質(zhì)。K－L變換的一些典型應(yīng)用以人臉圖象這個(gè)例子看，K-L變換的降維效果是十分明顯的。對(duì)一幅人臉圖象，如果它由M行與N列象素組成，則原始的特征空間維數(shù)就應(yīng)為M×N。而如果在K-L變換以后只用到30個(gè)基，那么維數(shù)就降至30，由此可見(jiàn)降維的效果是極其明顯的。另一方面降維與數(shù)據(jù)壓縮又是緊密聯(lián)系在一起的。譬如原訓(xùn)練樣本集的數(shù)量為V，而現(xiàn)采用30個(gè)基，每個(gè)基實(shí)質(zhì)上是一幅圖象，再加上每幅圖像的描述參數(shù)，數(shù)據(jù)量是大大降低，尤其是圖象數(shù)很大時(shí)，壓縮量是十分明顯的。

1．降維與壓縮K－L變換的一些典型應(yīng)用使用K-L變換不僅僅起到降維與壓縮數(shù)據(jù)的作用，更重要的是每個(gè)描述量都有明確的意義，因而改變某一個(gè)參數(shù)就可讓圖象按所需要的方向變化。在沒(méi)有使用K-L變換的原數(shù)據(jù)集中對(duì)圖象的描述量是每個(gè)象素的灰度值，而孤立地改變某個(gè)象素的灰度值是沒(méi)有意義的。而在使用K-L變換后，每個(gè)描述量都有其各自的作用。因此通過(guò)改變這些參數(shù)的值就可實(shí)現(xiàn)對(duì)模型的有效描述，這在圖象生成中是很有用的。因此利用K-L變換構(gòu)造出可控制的，連續(xù)可調(diào)的參數(shù)模型，這在人臉識(shí)別與人臉圖象重構(gòu)采方面的應(yīng)用是十分有效的。2．構(gòu)造參數(shù)模型K－L變換的一些典型應(yīng)用圖像重構(gòu)K－L變換的一些典型應(yīng)用利用K-L變換進(jìn)行人臉圖象識(shí)別是一個(gè)著名的方法。其原理：首先搜集要識(shí)別的人的人臉圖象，建立人臉圖象庫(kù)；利用K-L變換確定相應(yīng)的“特征臉”圖像，再反過(guò)來(lái)用這些“特征臉”圖像對(duì)人臉圖象庫(kù)中的人臉圖象進(jìn)行K-L變換，從而得到每幅圖象的參數(shù)向量，并將每幅圖的參數(shù)向量存起來(lái)。在識(shí)別時(shí)，先對(duì)一張所輸入的臉圖象進(jìn)行必要的規(guī)范化，再進(jìn)行K-L變換分析，得到其參數(shù)向量。將這個(gè)參數(shù)向量與庫(kù)中每幅圖的參數(shù)向量進(jìn)行比較，找到最相似的參數(shù)向量，也就等于找到最相似的人臉，從而認(rèn)為所輸入的人臉圖象就是庫(kù)內(nèi)該人的一張人臉,完成了識(shí)別過(guò)程。

3．人臉識(shí)別利用特征臉?lè)ㄟM(jìn)行人臉識(shí)別的過(guò)程由訓(xùn)練階段和識(shí)別階段兩個(gè)階段組成其具體步驟如下：訓(xùn)練階段第一步：假設(shè)訓(xùn)練集有200個(gè)樣本，由灰度圖組成，每個(gè)樣本大小為M*N寫(xiě)出訓(xùn)練樣本矩陣：其中向量xi為由第i個(gè)圖像的每一列向量堆疊成一列的MN維列向量,即把矩陣向量化,如下圖所示：訓(xùn)練階段如：第i個(gè)圖像矩陣為則xi為訓(xùn)練階段第二步：計(jì)算平均臉

計(jì)算訓(xùn)練圖片的平均臉：訓(xùn)練階段第三步：計(jì)算差值臉計(jì)算每一張人臉與平均臉的差值訓(xùn)練階段第四步：構(gòu)建協(xié)方差矩陣訓(xùn)練階段第五步：求協(xié)方差矩陣的特征值和特征向量，構(gòu)造特征臉空間協(xié)方差矩陣的維數(shù)為MN*MN，考慮其維數(shù)較大，計(jì)算量比較大，所以采用奇異值分解(SingularValueDecomposition,SVD)定理，通過(guò)求解的特征值和特征向量來(lái)獲得的特征值和特征向量。訓(xùn)練階段求出的特征值及其正交歸一化特征向量根據(jù)特征值的貢獻(xiàn)率選取前p個(gè)最大特征值及其對(duì)應(yīng)的特征向量貢獻(xiàn)率是指選取的特征值的和與占所有特征值的和比，即：訓(xùn)練階段一般取即使訓(xùn)練樣本在前p個(gè)特征向量集上的投影有99%的能量求出原協(xié)方差矩陣的特征向量則“特征臉”空間為：

訓(xùn)練階段第六步將每一幅人臉與平均臉的差值臉矢量投影到“特征臉”空間，即識(shí)別階段第一步：將待識(shí)別的人臉圖像與平均臉的差值臉投影到特征臉空間，得到其特征向量表示：識(shí)別階段第二步：定義閾值識(shí)別階段第三步：采用歐式距離來(lái)計(jì)算與每個(gè)人臉的距離識(shí)別階段

為了區(qū)分人臉和非人臉，還需要計(jì)算原始圖像與由特征臉空間重建的圖像之間的距離其中：識(shí)別階段根據(jù)以下規(guī)則對(duì)人臉進(jìn)行分類：1)若，則輸入圖像不是人臉圖像；2)若，且，則輸入圖像包含未知人臉；3)若，且，則輸入圖像為庫(kù)中第k個(gè)人的人臉。2D-PCA2D-PCA是在基本PCA算法上的改進(jìn)，主要不同是協(xié)方差矩陣構(gòu)造方法不同，選取前P個(gè)最大特征值和特征向量也有所不同。訓(xùn)練階段1設(shè)訓(xùn)練樣本集合為：其中：

i表示第i個(gè)人，即類別數(shù)，