PCA+SVM人臉識別

1、PCA+SVM人臉識別人臉識別組員學號：201224020331-34組員姓名：張潤德雒亞彤劉衛(wèi)東趙光遠概述概述： 編程平臺：Matlab； 數(shù)據(jù)： ORL人臉庫。40人，每人10幅圖，圖像大小為112*92像素。圖像本身已經(jīng)經(jīng)過處理，不需要進行歸一化和校準等工作； 數(shù)據(jù)處理：主成分分析法（PCA） 分類器： 支持向量機（SVM）人臉識別算法步驟概述人臉識別算法步驟概述： 1、讀取訓練數(shù)據(jù)集； 2、主成分分析法降維并去除數(shù)據(jù)之間的相關性； 3、數(shù)據(jù)規(guī)格化（去除數(shù)據(jù)單位因素對分類造成的影響，這個對此實驗造成的影響不大）； 4、SVM訓練（選取徑向基和函數(shù)）； 5、讀取測試數(shù)據(jù)、降維、規(guī)格化； 6

2、、用步驟4產(chǎn)生的分類函數(shù)進行分類（多分類問題，采用一對一投票策略，歸位得票最多的一類）； 7、計算正確率。PCA簡要介紹：簡要介紹：PCA（Principal Components Analysis）即主成分分析，是圖像處理中經(jīng)常用到的降維方法，大家知道，我們在處理有關數(shù)字圖像處理方面的問題時，比如經(jīng)常用的圖像的查詢問題，在一個幾萬或者幾百萬甚至更大的數(shù)據(jù)庫中查詢一幅相近的圖像。這時，我們通常的方法是對圖像庫中的圖片提取響應的特征，如顏色，紋理，sift（尺度不變特征轉換），surf（角點檢測）等等特征，然后將其保存，建立響應的數(shù)據(jù)索引，然后對要查詢的圖像提取相應的特征，與數(shù)據(jù)庫中的圖像特征對

3、比，找出與之最近的圖片。這里，如果我們?yōu)榱颂岣卟樵兊臏蚀_率，通常會提取一些較為復雜的特征，如sift，surf等，一幅圖像有很多個這種特征點，每個特征點又有一個相應的描述該特征點的128維的向量，設想如果一幅圖像有300個這種特征點，那么該幅圖像就有300*vector（128維）個，如果我們數(shù)據(jù)庫中有一百萬張圖片，這個存儲量是相當大的，建立索引也很耗時，如果我們對每個向量進行PCA處理，將其降維為64維，就非常的節(jié)約空間了。主成分分析（主成分分析（PCA）預備知識）預備知識 所用到的數(shù)學方法： 樣本X和樣本Y的協(xié)方差(Covariance)： 協(xié)方差為正時說明X和Y是正相關關系，協(xié)方差為負時

4、X和Y是負相關關系，協(xié)方差為0時X和Y相互獨立。 Cov(X,X)就是X的方差(Variance). 當樣本是n維數(shù)據(jù)時，它們的協(xié)方差實際上是協(xié)方差矩陣（對稱方陣），方陣的邊長是 。比如對于3維數(shù)據(jù)(x,y,z)，計算它的協(xié)方差就是：主成分分析（主成分分析（PCA）預備知識）預備知識主成分分析（主成分分析（PCA）預備知識）預備知識 對A進行奇異值分解就能求出所有特征值和Q矩陣。 A * Q = Q * D( D是由特征值組成的對角矩陣) 由特征值和特征向量的定義知，Q的列向量就是A的特征向量。主成分分析（主成分分析（PCA）過程）過程 1.特征中心化。即每一維的數(shù)據(jù)都減去該維的均值。這里的“

5、維”指的就是一個特征（或?qū)傩裕?，變換之后每一維的均值都變成了0。 2.原始數(shù)據(jù)矩陣A，每一列減去該列均值后，得到矩陣B； 3.計算B的協(xié)方差矩陣C； 4.計算協(xié)方差矩陣C的特征值和特征向量。主成分分析（主成分分析（PCA）過程）過程 5.選取大的特征值對應的特征向量，得到新的數(shù)據(jù)集： 特征值是由大到小排列的，前兩個特征值的和已經(jīng)超過了所有特征值之和的97%。我們?nèi)∏皟蓚€特征值對應的特征向量，得到一個新的矩陣M，這樣我們就將數(shù)據(jù)集的特征顯著地降低了大部分。SVM支持向量機簡介：支持向量機簡介： 在機器學習領域，支持向量機SVM(Support Vector Machine)是一個有監(jiān)督的學習模型

6、，通常用來進行模式識別、分類、以及回歸分析。 Vapnik等人在多年研究統(tǒng)計學習理論基礎上對線性分類器提出了另一種設計最佳準則。其原理也從線性可分說起，然后擴展到線性不可分的情況。甚至擴展到使用非線性函數(shù)中去，這種分類器被稱為支持向量機(Support Vector Machine，簡稱SVM)。支持向量機的提出有很深的理論背景。SVM支持向量機簡介：支持向量機簡介： SVM的主要思想可以概括為兩點: SVM的主要思想可以概括為兩點:它是針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間使其線性可分，從而 使得高維特征空間采用

7、線性算法對樣本的非線性特征進行線性分析成為可能; 它基于結構風險最小化理論之上在特征空間中建構最優(yōu)分割超平面，使得學習器得到全局最優(yōu)化，并且在整個樣本空間的期望風險以某個概率滿足一定上界。訓練集訓練集和和測試測試集集 在具體運用SVM工作之前我們先來了解一下訓練集和測試集。 在機器學習方法當中，分為監(jiān)督學習，非監(jiān)督學習，強化學習。而SVM支持向量機是一種監(jiān)督學習的算法。所謂監(jiān)督學習，就是給予機器一套題目并附上標準答案，讓它去做題，自己總結了一套做題的方法（這些方法就是建立的模型），它在根據(jù)已經(jīng)學習好的方法來做一套新的題目，把題目做對，盡可能打高分。訓練集訓練集和和測試測試集集 訓練集就是給予機

8、器的一套題目及標準答案，測試集就是給它的一套新題。而訓練集有標簽和數(shù)據(jù)之分，標簽就是標準答案，標簽有著1和0，就表示這些訓練集中有兩類，像我們的人臉數(shù)據(jù)有40種人臉，我們就用1到40來表示。數(shù)據(jù)就是有著多維的表征一個事物的數(shù)據(jù)，就是給機器的第一套題目。測試集也有數(shù)據(jù)，就是后面給機器測試的題目，如果測試集原本含有標簽，這些標簽就可以作為標準給機器前面訓練總結的方法（模型）打分，查看準確率。 在這個人臉庫中，每個人有10張圖，我們將前5張作為訓練集，就有200張圖。用一個矩陣來表示這200張圖，就形成了一個200*10304的矩陣。后5張圖用來當測試集。SVM支持向量機作用：支持向量機作用： SVM支持向量機分類器是一個二類分類器，但是本次人臉