【教學(xué)講解課件教案】 pca和lda

PCA和LDA

葛永新PCA和LDAContents特征臉的物理含義關(guān)于主成分的理解作者信息

論文信息

訓(xùn)練階段識(shí)別階段Contents特征臉的物理含義關(guān)于主成分的理解作者信息論論文信息TurkM，PentlandA．Eigenfacesforrecognition[J]．JoumalofCognitiveNeumseience，1991，3(1)：71—86.

論文信息TurkM，PentlandA．Eigenfac作者信息（1/2）MatthewTurkProfessorComputerScienceDepartmentMediaArtsandTechnologyProgramUniversityofCalifornia,SantaBarbara

Researchinterests:Computervisionandimaging,perceptualinterfaces,multimodalinteraction,human-computerinteraction,gesturerecognition,artificialintelligence

/~mturk/作者信息（1/2）MatthewTurkProfes4作者信息（1/2）Prof.AlexPaulPentland

ToshibaProfessorofMedia,Arts,andSciences

MassachusettsInstituteofTechnology

/~pentland

Director,HumanDynamicsLaboratoryDirector,MediaLabEntrepreneurshipProgram

作者信息（1/2）Prof.AlexPaulPentl5關(guān)于主成分的理解（1/3）五行是一種哲學(xué)觀，認(rèn)為萬事萬物都是由金木水火土這五種要素組成

西方人：所有事物都是由元素周期表中的103種元素組成的水：H2O=2*H+1*O線性代數(shù)尋找基向量的過程

關(guān)于主成分的理解（1/3）五行是一種哲學(xué)觀，認(rèn)為萬事萬物都是6關(guān)于主成分的理解（2/3）PCA的基礎(chǔ)就是K-L變換，是一種常用的正交變化，K-L變換思想如下：假設(shè)X為n維隨機(jī)變量，X可以用n個(gè)基向量的加權(quán)和表示

其中是加權(quán)系數(shù)，是基向量，其矩陣表示形式是

其系數(shù)向量為關(guān)于主成分的理解（2/3）PCA的基礎(chǔ)就是K-L變換，是一種7關(guān)于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下列步驟求出

求隨機(jī)向量X的自相關(guān)矩陣R=E（XTX），通常我們采用數(shù)據(jù)集的協(xié)方差矩陣作為K-L坐標(biāo)系的產(chǎn)生矩陣；求出自相關(guān)矩陣或協(xié)方差矩陣的特征值和特征向量，；3.展開式系數(shù)即為，由正交性可得，此二式為K-L變換公式

關(guān)于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下8特征臉的物理含義（1/4）比如ORL人臉數(shù)據(jù)庫中有400幅人臉圖像，是不是可以找到一組基，讓所有的人臉庫中的人臉都可以用這組基的線性組合來表示特征臉的物理含義（1/4）比如ORL人臉數(shù)據(jù)庫中有400幅人9特征臉的物理含義（2/4）意義何在？1.維度大大減少假設(shè)數(shù)據(jù)庫中的圖像大小為112*92，那么存儲(chǔ)這些圖像所需要的空間大小為112*92*200=4121600；假設(shè)我們尋找一組基，不妨假定為40維（即40幅人臉圖像），則數(shù)據(jù)庫中的每幅圖像都可以用這40幅圖像表示，則這個(gè)數(shù)據(jù)庫所需的存儲(chǔ)空間為40*400=16000；對(duì)比：4121600/16000=257.6特征臉的物理含義（2/4）意義何在？1.維度大大減少10特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大命題1：隨機(jī)變量方差越大，包含的信息越多，特別地，如果一個(gè)變量方差為0，則該變量為常數(shù)，不包含任何信息。命題2：所有原始數(shù)據(jù)在主分量上的投影方差為特征值。PCA思想：尋找主分量，即尋找一組向量，使得原始數(shù)據(jù)在這組向量上的投影值的方差盡可能大。最大方差對(duì)應(yīng)的向量就是第一主分量，以此類推特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大11特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據(jù)的相關(guān)性t=COV(X,Y),t=1,相關(guān)；t=0，不相關(guān)命題：對(duì)于矩陣A來說，如果AAT是一個(gè)對(duì)角矩陣，則A中的向量是非相關(guān)的。1）特征臉，即基是正交的，非相關(guān)2）投影系數(shù)，可以證明也是非相關(guān)的特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據(jù)的相關(guān)12訓(xùn)練階段（1/12）訓(xùn)練階段即是尋求最優(yōu)特征臉（基）第一步：假設(shè)訓(xùn)練集有400個(gè)樣本，由灰度圖組成，每個(gè)樣本的大小為M*N寫出訓(xùn)練樣本矩陣：

X=(x1,x2,…,x200)其中向量x為由第個(gè)圖像的每一列向量堆成一列的MN維列向量，即把矩陣向量化，如下圖所示：訓(xùn)練階段（1/12）訓(xùn)練階段即是尋求最優(yōu)特征臉（基）第一步：13訓(xùn)練階段（2/12）如：第i個(gè)圖像的矩陣為

則xi用這個(gè)列向量來表示訓(xùn)練階段（2/12）如：第i個(gè)圖像的矩陣為14訓(xùn)練階段（3/12）第二步：計(jì)算平均臉計(jì)算訓(xùn)練圖片的平均臉訓(xùn)練階段（3/12）第二步：計(jì)算平均臉15訓(xùn)練階段（4/12）平均臉示意圖訓(xùn)練階段（4/12）16訓(xùn)練階段（5/12）第三步：計(jì)算差值臉（也叫去平均化）計(jì)算每張人臉與平均臉的差值訓(xùn)練階段（5/12）第三步：計(jì)算差值臉（也叫去平均化）17訓(xùn)練階段（6/12）

差值臉示意圖訓(xùn)練階段（6/12）18訓(xùn)練階段（7/12）第四步：構(gòu)建協(xié)方差矩陣訓(xùn)練階段（7/12）第四步：構(gòu)建協(xié)方差矩陣19訓(xùn)練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，構(gòu)造特征臉空間協(xié)方差矩陣的維數(shù)為MN*MN，考慮其維數(shù)較大，計(jì)算量也比較大，所以一般采用奇異值分解（SingularValueDecomposition,SVD），通過求解ATA來獲得AAT的特征值和特征向量。訓(xùn)練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，20訓(xùn)練階段（9/12）求出ATA的特征值及其正交歸一化特征向量協(xié)方差vi根據(jù)特征值的貢獻(xiàn)率選取前p個(gè)最大特征值及其對(duì)應(yīng)的特征向量貢獻(xiàn)率是指選取的特征值之和與所有特征值之和的比，即訓(xùn)練階段（9/12）求出ATA的特征值及其正交歸一化21訓(xùn)練階段（10/12）選取的特征臉示例Discussion:對(duì)應(yīng)較大特征值的特征向量，用于表示人體的大體形狀（低頻信息），而對(duì)應(yīng)于較小特征值的特征向量則用于描述人臉的具體細(xì)節(jié)（高頻信息）訓(xùn)練階段（10/12）22訓(xùn)練階段（11/12）第六步：將每一幅人臉與平均臉的差值臉矢量投影到“特征臉”空間，即訓(xùn)練階段（11/12）第六步：將每一幅人臉與平均臉的差值臉矢23訓(xùn)練階段（12/12）一般選取即使訓(xùn)練樣本在前p個(gè)特征向量集上的投影有99%的能量求出原協(xié)方差矩陣的特征向量則“特征臉”空間為訓(xùn)練階段（12/12）一般選取24識(shí)別階段（1/5）第一步：將待識(shí)別的人臉圖像T與平均臉的差值臉投影到特征空間，得到其特征向量表示：識(shí)別階段（1/5）第一步：將待識(shí)別的人臉圖像T與平均臉的差值25識(shí)別階段（2/5）待識(shí)別的人臉圖像T及其與平均臉的差值臉識(shí)別階段（2/5）待識(shí)別的人臉圖像T26識(shí)別階段（3/5）第二步：采用歐式距離來計(jì)算與每個(gè)人臉之間的距離：識(shí)別階段（3/5）第二步：采用歐式距離來計(jì)算與每27識(shí)別階段（4/5）第三步：根據(jù)前面計(jì)算的歐式距離，找出與測試圖像最小的圖像標(biāo)簽，即為測試圖像的標(biāo)簽：識(shí)別階段（4/5）第三步：根據(jù)前面計(jì)算的歐式距離，找出與測試28識(shí)別階段（5/5）數(shù)據(jù)庫中最接近的圖測試圖識(shí)別階段（5/5）數(shù)據(jù)庫中最接近的圖29

ThankYou!Qusetions?ThankYou!QusPCA和LDA

葛永新PCA和LDAContents特征臉的物理含義關(guān)于主成分的理解作者信息

論文信息

訓(xùn)練階段識(shí)別階段Contents特征臉的物理含義關(guān)于主成分的理解作者信息論論文信息TurkM，PentlandA．Eigenfacesforrecognition[J]．JoumalofCognitiveNeumseience，1991，3(1)：71—86.

論文信息TurkM，PentlandA．Eigenfac作者信息（1/2）MatthewTurkProfessorComputerScienceDepartmentMediaArtsandTechnologyProgramUniversityofCalifornia,SantaBarbara

Researchinterests:Computervisionandimaging,perceptualinterfaces,multimodalinteraction,human-computerinteraction,gesturerecognition,artificialintelligence

/~mturk/作者信息（1/2）MatthewTurkProfes34作者信息（1/2）Prof.AlexPaulPentland

ToshibaProfessorofMedia,Arts,andSciences

MassachusettsInstituteofTechnology

/~pentland

Director,HumanDynamicsLaboratoryDirector,MediaLabEntrepreneurshipProgram

作者信息（1/2）Prof.AlexPaulPentl35關(guān)于主成分的理解（1/3）五行是一種哲學(xué)觀，認(rèn)為萬事萬物都是由金木水火土這五種要素組成

西方人：所有事物都是由元素周期表中的103種元素組成的水：H2O=2*H+1*O線性代數(shù)尋找基向量的過程

關(guān)于主成分的理解（1/3）五行是一種哲學(xué)觀，認(rèn)為萬事萬物都是36關(guān)于主成分的理解（2/3）PCA的基礎(chǔ)就是K-L變換，是一種常用的正交變化，K-L變換思想如下：假設(shè)X為n維隨機(jī)變量，X可以用n個(gè)基向量的加權(quán)和表示

其中是加權(quán)系數(shù)，是基向量，其矩陣表示形式是

其系數(shù)向量為關(guān)于主成分的理解（2/3）PCA的基礎(chǔ)就是K-L變換，是一種37關(guān)于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下列步驟求出

求隨機(jī)向量X的自相關(guān)矩陣R=E（XTX），通常我們采用數(shù)據(jù)集的協(xié)方差矩陣作為K-L坐標(biāo)系的產(chǎn)生矩陣；求出自相關(guān)矩陣或協(xié)方差矩陣的特征值和特征向量，；3.展開式系數(shù)即為，由正交性可得，此二式為K-L變換公式

關(guān)于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下38特征臉的物理含義（1/4）比如ORL人臉數(shù)據(jù)庫中有400幅人臉圖像，是不是可以找到一組基，讓所有的人臉庫中的人臉都可以用這組基的線性組合來表示特征臉的物理含義（1/4）比如ORL人臉數(shù)據(jù)庫中有400幅人39特征臉的物理含義（2/4）意義何在？1.維度大大減少假設(shè)數(shù)據(jù)庫中的圖像大小為112*92，那么存儲(chǔ)這些圖像所需要的空間大小為112*92*200=4121600；假設(shè)我們尋找一組基，不妨假定為40維（即40幅人臉圖像），則數(shù)據(jù)庫中的每幅圖像都可以用這40幅圖像表示，則這個(gè)數(shù)據(jù)庫所需的存儲(chǔ)空間為40*400=16000；對(duì)比：4121600/16000=257.6特征臉的物理含義（2/4）意義何在？1.維度大大減少40特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大命題1：隨機(jī)變量方差越大，包含的信息越多，特別地，如果一個(gè)變量方差為0，則該變量為常數(shù)，不包含任何信息。命題2：所有原始數(shù)據(jù)在主分量上的投影方差為特征值。PCA思想：尋找主分量，即尋找一組向量，使得原始數(shù)據(jù)在這組向量上的投影值的方差盡可能大。最大方差對(duì)應(yīng)的向量就是第一主分量，以此類推特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大41特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據(jù)的相關(guān)性t=COV(X,Y),t=1,相關(guān)；t=0，不相關(guān)命題：對(duì)于矩陣A來說，如果AAT是一個(gè)對(duì)角矩陣，則A中的向量是非相關(guān)的。1）特征臉，即基是正交的，非相關(guān)2）投影系數(shù)，可以證明也是非相關(guān)的特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據(jù)的相關(guān)42訓(xùn)練階段（1/12）訓(xùn)練階段即是尋求最優(yōu)特征臉（基）第一步：假設(shè)訓(xùn)練集有400個(gè)樣本，由灰度圖組成，每個(gè)樣本的大小為M*N寫出訓(xùn)練樣本矩陣：

X=(x1,x2,…,x200)其中向量x為由第個(gè)圖像的每一列向量堆成一列的MN維列向量，即把矩陣向量化，如下圖所示：訓(xùn)練階段（1/12）訓(xùn)練階段即是尋求最優(yōu)特征臉（基）第一步：43訓(xùn)練階段（2/12）如：第i個(gè)圖像的矩陣為

則xi用這個(gè)列向量來表示訓(xùn)練階段（2/12）如：第i個(gè)圖像的矩陣為44訓(xùn)練階段（3/12）第二步：計(jì)算平均臉計(jì)算訓(xùn)練圖片的平均臉訓(xùn)練階段（3/12）第二步：計(jì)算平均臉45訓(xùn)練階段（4/12）平均臉示意圖訓(xùn)練階段（4/12）46訓(xùn)練階段（5/12）第三步：計(jì)算差值臉（也叫去平均化）計(jì)算每張人臉與平均臉的差值訓(xùn)練階段（5/12）第三步：計(jì)算差值臉（也叫去平均化）47訓(xùn)練階段（6/12）

差值臉示意圖訓(xùn)練階段（6/12）48訓(xùn)練階段（7/12）第四步：構(gòu)建協(xié)方差矩陣訓(xùn)練階段（7/12）第四步：構(gòu)建協(xié)方差矩陣49訓(xùn)練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，構(gòu)造特征臉空間協(xié)方差矩陣的維數(shù)為MN*MN，考慮其維數(shù)較大，計(jì)算量也比較大，所以一般采用奇異值分解（SingularValueDecomposition,SVD），通過求解ATA來獲得AAT的特征值和特征向量。訓(xùn)練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，50訓(xùn)練階段（9/12）求出ATA的特征值及其正交歸一化特征向量協(xié)方差vi根據(jù)特征值的貢獻(xiàn)率選取前p個(gè)最大特征值及其對(duì)應(yīng)的特征向量貢獻(xiàn)率是指選取的特征值之和與所有特征值之和的比，即訓(xùn)練階段（9/12）求出ATA的特征值及其正交歸一化51訓(xùn)練階段（10/12）