【課件教案】 pca和lda講義整理

PCA和LDA

葛永新PCA和LDAContents特征臉的物理含義關(guān)于主成分的理解作者信息

論文信息

訓(xùn)練階段識(shí)別階段Contents特征臉的物理含義關(guān)于主成分的理解作者信息論論文信息TurkM，PentlandA．Eigenfacesforrecognition[J]．JoumalofCognitiveNeumseience，1991，3(1)：71—86.

論文信息TurkM，PentlandA．Eigenfac作者信息（1/2）MatthewTurkProfessorComputerScienceDepartmentMediaArtsandTechnologyProgramUniversityofCalifornia,SantaBarbara

Researchinterests:Computervisionandimaging,perceptualinterfaces,multimodalinteraction,human-computerinteraction,gesturerecognition,artificialintelligence

/~mturk/作者信息（1/2）MatthewTurkProfes4作者信息（1/2）Prof.AlexPaulPentland

ToshibaProfessorofMedia,Arts,andSciences

MassachusettsInstituteofTechnology

/~pentland

Director,HumanDynamicsLaboratoryDirector,MediaLabEntrepreneurshipProgram

作者信息（1/2）Prof.AlexPaulPentl5關(guān)于主成分的理解（1/3）五行是一種哲學(xué)觀，認(rèn)為萬(wàn)事萬(wàn)物都是由金木水火土這五種要素組成

西方人：所有事物都是由元素周期表中的103種元素組成的水：H2O=2*H+1*O線(xiàn)性代數(shù)尋找基向量的過(guò)程

關(guān)于主成分的理解（1/3）五行是一種哲學(xué)觀，認(rèn)為萬(wàn)事萬(wàn)物都是6關(guān)于主成分的理解（2/3）PCA的基礎(chǔ)就是K-L變換，是一種常用的正交變化，K-L變換思想如下：假設(shè)X為n維隨機(jī)變量，X可以用n個(gè)基向量的加權(quán)和表示

其中是加權(quán)系數(shù)，是基向量，其矩陣表示形式是

其系數(shù)向量為關(guān)于主成分的理解（2/3）PCA的基礎(chǔ)就是K-L變換，是一種7關(guān)于主成分的理解（3/3）綜上所述，K-L展開(kāi)式的系數(shù)可用下列步驟求出

求隨機(jī)向量X的自相關(guān)矩陣R=E（XTX），通常我們采用數(shù)據(jù)集的協(xié)方差矩陣作為K-L坐標(biāo)系的產(chǎn)生矩陣；求出自相關(guān)矩陣或協(xié)方差矩陣的特征值和特征向量，；3.展開(kāi)式系數(shù)即為，由正交性可得，此二式為K-L變換公式

關(guān)于主成分的理解（3/3）綜上所述，K-L展開(kāi)式的系數(shù)可用下8特征臉的物理含義（1/4）比如ORL人臉數(shù)據(jù)庫(kù)中有400幅人臉圖像，是不是可以找到一組基，讓所有的人臉庫(kù)中的人臉都可以用這組基的線(xiàn)性組合來(lái)表示特征臉的物理含義（1/4）比如ORL人臉數(shù)據(jù)庫(kù)中有400幅人9特征臉的物理含義（2/4）意義何在？1.維度大大減少假設(shè)數(shù)據(jù)庫(kù)中的圖像大小為112*92，那么存儲(chǔ)這些圖像所需要的空間大小為112*92*200=4121600；假設(shè)我們尋找一組基，不妨假定為40維（即40幅人臉圖像），則數(shù)據(jù)庫(kù)中的每幅圖像都可以用這40幅圖像表示，則這個(gè)數(shù)據(jù)庫(kù)所需的存儲(chǔ)空間為40*400=16000；對(duì)比：4121600/16000=257.6特征臉的物理含義（2/4）意義何在？1.維度大大減少10特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大命題1：隨機(jī)變量方差越大，包含的信息越多，特別地，如果一個(gè)變量方差為0，則該變量為常數(shù)，不包含任何信息。命題2：所有原始數(shù)據(jù)在主分量上的投影方差為特征值。PCA思想：尋找主分量，即尋找一組向量，使得原始數(shù)據(jù)在這組向量上的投影值的方差盡可能大。最大方差對(duì)應(yīng)的向量就是第一主分量，以此類(lèi)推特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大11特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據(jù)的相關(guān)性t=COV(X,Y),t=1,相關(guān)；t=0，不相關(guān)命題：對(duì)于矩陣A來(lái)說(shuō)，如果AAT是一個(gè)對(duì)角矩陣，則A中的向量是非相關(guān)的。1）特征臉，即基是正交的，非相關(guān)2）投影系數(shù)，可以證明也是非相關(guān)的特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據(jù)的相關(guān)12訓(xùn)練階段（1/12）訓(xùn)練階段即是尋求最優(yōu)特征臉（基）第一步：假設(shè)訓(xùn)練集有400個(gè)樣本，由灰度圖組成，每個(gè)樣本的大小為M*N寫(xiě)出訓(xùn)練樣本矩陣：

X=(x1,x2,…,x200)其中向量x為由第個(gè)圖像的每一列向量堆成一列的MN維列向量，即把矩陣向量化，如下圖所示：訓(xùn)練階段（1/12）訓(xùn)練階段即是尋求最優(yōu)特征臉（基）第一步：13訓(xùn)練階段（2/12）如：第i個(gè)圖像的矩陣為

則xi用這個(gè)列向量來(lái)表示訓(xùn)練階段（2/12）如：第i個(gè)圖像的矩陣為14訓(xùn)練階段（3/12）第二步：計(jì)算平均臉計(jì)算訓(xùn)練圖片的平均臉訓(xùn)練階段（3/12）第二步：計(jì)算平均臉15訓(xùn)練階段（4/12）平均臉示意圖訓(xùn)練階段（4/12）16訓(xùn)練階段（5/12）第三步：計(jì)算差值臉（也叫去平均化）計(jì)算每張人臉與平均臉的差值訓(xùn)練階段（5/12）第三步：計(jì)算差值臉（也叫去平均化）17訓(xùn)練階段（6/12）

差值臉示意圖訓(xùn)練階段（6/12）18訓(xùn)練階段（7/12）第四步：構(gòu)建協(xié)方差矩陣訓(xùn)練階段（7/12）第四步：構(gòu)建協(xié)方差矩陣19訓(xùn)練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，構(gòu)造特征臉空間協(xié)方差矩陣的維數(shù)為MN*MN，考慮其維數(shù)較大，計(jì)算量也比較大，所以一般采用奇異值分解（SingularValueDecomposition,SVD），通過(guò)求解ATA來(lái)獲得AAT的特征值和特征向量。訓(xùn)練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，20訓(xùn)練階段（9/12）求出ATA的特征值及其正交歸一化特征向量協(xié)方差vi根據(jù)特征值的貢獻(xiàn)率選取前p個(gè)最大特征值及其對(duì)應(yīng)的特征向量貢獻(xiàn)率是指選取的特征值之和與所有特征值之和的比，即訓(xùn)練階段（9/12）求出ATA的特征值及其正交歸一化21訓(xùn)練階段（10/12）選取的特征臉示例Discussion:對(duì)應(yīng)較大特征值的特征向量，用于表示人體的大體形狀（低頻信息），而對(duì)應(yīng)于較小特征值的特征向量則用于描述人臉的具體細(xì)節(jié)（高頻信息）訓(xùn)練階段（10/12）22訓(xùn)練階段（11/12）第六步：將每一幅人臉與平均臉的差值臉矢量投影到“特征臉”空間，即訓(xùn)練階段（11/12）第六步：將每一幅人臉與平均臉的差值臉矢23訓(xùn)練階段（12/12）一般選取即使訓(xùn)練樣本在前p個(gè)特征向量集上的投影有99%的能量求出原協(xié)方差矩陣的特征向量則“特征臉”空間為訓(xùn)練階段（12/12）一般選取24識(shí)別階段（1/5）第一步：將待識(shí)別的人臉圖像T與平均臉的差值臉投影到特征空間，得到其特征向量表示：識(shí)別階段（1/5）第一步：將待識(shí)別的人臉圖像T與平均臉的差值25識(shí)別階段（2/5）待識(shí)別的人臉圖像T及其與平均臉的差值臉識(shí)別階段（2/5）待識(shí)別的人臉圖像T26識(shí)別階段（3/5）第二步：采用歐式距離來(lái)計(jì)算與每個(gè)人臉之間的距離：識(shí)別階段（3/5）第二步：采用歐式距離來(lái)計(jì)算與每27識(shí)別階段（4/5）第