模式識別文獻綜述報告

1、 文獻綜述報告 指導老師： 馬 麗 學 號：20111000700 班 級： 075111 姓 名： 劉 建 成 績： 目 錄. 一、 報告內容要點. 二、 應用主成分分解(PCA)法的圖像融合技術. 三、 基于類內加權平均值的模塊 PCA 算法. 四、 PCA-LDA 算法在性別鑒別中的應用. 五、 一種面向數據學習的快速PCA算法. 六、 Theory of fractional covariance matrix and its applications in PCA and 2D-PCA. 七、 課程心得體會. 八、 參考文獻.1、 報告內容要點 每篇論文主要使用什么算法實現什么 論文

2、有沒有對算法做出改進（為什么改進，原算法存在什么問題，改進方法是什么） 論文中做了什么對比試驗，實驗結論是什么？可以加入自己的分析和想法，例如這篇論文還存在什么問題或者缺點，這篇論文所作出的改進策略是否好，你自己對算法有沒有什么改進的想法？二、 應用主成分分解(PCA)法的圖像融合技術第一篇 應用主成分分解(PCA)法的圖像融合技術 ，作者主要是實現用PCA可以提取圖像數據中主要成分這一特點，從元圖像獲得協方差矩陣的特征值和特征向量，據此確定圖像融合算法中的加權系數和最終融合圖像。作者在圖像融合的算法上進行改進，用PCA獲得待融合的每幅圖像的加權系數Wi。是這樣實現的：計算待融合的i幅圖像數據

3、矩陣的協方差矩陣，從中獲得i，用圖像所對應的i在所有和中所占比例作為這幅圖像的加權系數。算法流程:設共有 N 幅源圖, 把每幅圖像看作一維向量記做(1) 由源圖像構造數據矩陣 (2) 計算數據矩陣 X 的協方差矩陣C為圖像的方差,為第 i 幅源圖像的平均灰度值。(3) 計算協方差矩陣的 C 的特征值 及相應的特征向量 由特征值方程 求出特征值 i和對應的特征向量 i(i=1,2,m)。(4) 確定加權系數i (5) 計算最終融合圖像 F得到的圖像可以用下式來表達： 作者做了幾種確定加權系數算法的對比試驗，并且實驗結果如下，可見PCA分解確定加權系數得到的圖像交互信息量和聯合熵都優(yōu)于另外兩個，所

4、以是相對較好的算法。結合我們模式識別課程所學，其實PCA算法應用于圖像融合就相當于遙感數據圖像中各個波段的圖像融合在一起。作者在論文中提到：他是將每幅圖像都看做一維的向量，其實也就相當于我們一個波段的圖像向量（zy3中145*145,1）。我們在MATLAB中實現的PCA提取前K個主成分，也就是前K個波段的圖像融合在一起。加權系數也是從各個特征值確定，取對應特征向量矩陣來對圖像進行變換。按照融合前是否對圖像進行多尺度分解, 作者將已有的圖像融合算法分為多尺度分解和非多尺度分解兩大類。本文作者創(chuàng)新點在于利用主稱分分解(PCA)可以保留原數據中的主要信息的特點, 在非多尺度分解的框架下, 發(fā)展了一

5、種基于 PCA 分解確定加權系數的圖像融合算法。在對比實驗中經過定量的觀察和定性的計算發(fā)現該算法優(yōu)于其它的非多尺度融合方法。 我的想法：若能將該圖像融合辦法加入多尺度分解算法, 必將取得更好的融合圖像。三、 基于類內加權平均值的模塊 PCA 算法本文作者針對主成分分析(PCA)算法在人臉識別中識別率低的問題，提出一種基于類內加權平均值的模塊 PCA 算法。該算法對每一類訓練樣本中每個訓練樣本的每個子塊求類內加權平均值，用類內加權平均值對訓練樣本類內的相應子塊進行規(guī)范化處理。由所有規(guī)范化后的子塊構成總體散布矩陣，得到最優(yōu)投影矩陣，由訓練集全體子塊的中間值對訓練樣本子塊和測試樣本子塊進行規(guī)范化后投

6、影到最優(yōu)投影矩陣，得到識別特征，并用最近距離分類器分類。 作者在本文中是對模塊PCA算法的改進，主要是基于類內加權平均值，其基本思想是先將一個 m n的圖像矩陣 I 分成 p q分塊圖像矩陣，即其中，每個子圖像矩陣Ikl 是矩陣，然后將所有訓練圖像樣本的子圖像矩陣看作訓練樣本圖像向量施行 PCA 方法。相對于傳統模塊 PCA 算法的改進是：在求總體散布矩陣時不是用所有訓練樣本子塊的平均值，而是用子塊的類內加權平均值。這樣可以減小訓練樣本均值偏離類中心對求取最優(yōu)投影矩陣的影響，有利于識別率的提高. 對比試驗：作者做了傳統 PCA 算法、22 模塊 PCA 算法和基于類內加權平均值的 22 模塊

7、PCA算法的實驗.并且得出的結果為：傳統 PCA 算法的識別率最低，最高識別率只有 77%，模塊 PCA 算法提高了識別率，而基于類內加權平均值的分塊 PCA 算法優(yōu)于該方法。在 42 分塊情況下，改進的算法比普通模塊 PCA 算法有更高的識別率并且魯棒性更強。42 分塊方式優(yōu)于 22 分塊方式。 在44分塊方式下的正確識別率有很大下降，這是因為對每張圖片分的塊數越多，每個子塊包含的可區(qū)分信息量越少，會出現較多的相似子塊，不利于分類，導致正確識別率下降。在這種情況下同樣基于類內加權平均值的模塊 PCA 算法仍然優(yōu)于普通模塊 PCA 算法。模塊 PCA 人臉識別算法的突出優(yōu)點是能夠抽取圖像的局部

8、特征，這些局部特征更好地反映了圖像之間的差異，便于模式識別。同時，由于對原始數字圖像進行分塊，可以方便地在較小的圖像上使用鑒別分析的方法，因此過程簡便。為了進一步提高識別率，作者對模塊 PCA 人臉識別算法進行了改進，提出了基于類內加權平均值的模塊 PCA 算法。在ORL 人臉庫上的實驗表明，此方法優(yōu)于傳統的 PCA 算法和普通模塊 PCA 算法。我的想法：對同一個數據庫，原始圖像采用不同的分塊，獲得的最高識別率一般不同，所以我認為這個算法可以繼續(xù)尋找最佳分塊方式以獲得最高識別率以及如何簡化分塊 PCA 算法。 四、 PCA-LDA 算法在性別鑒別中的應用 本文的PCA-LDA 算法是將PCA

9、 算法與LDA 算法構造的特征子空間進行融合，獲得其融合特征空間；然后，將訓練樣本與測試樣本分別朝該融合特征空間投影，獲得識別特征；最后，利用最近鄰準則完成性別鑒別。 算法流程： 設訓練樣本表示為N ， N表示訓練樣本數。在訓練過程中，首先讀入訓練樣本 xi，i = 1,., N ，并計算訓練樣本的均值avg ，即其中，。同樣，利用訓練樣本可計算每類訓練樣本的均值。性別鑒別屬于兩類模式識別問題，劃分類別僅為男女兩類。接著，對訓練樣本規(guī)范化。然后，計算協方差矩陣Q 的特征值與特征向量，并取其較大l 個特征值對應的特征向量，組成PCA 算法的特征子空間根據即可把訓練樣本矩陣X 投影到特征子空間W1

10、 中。其中，Y 稱為訓練樣本矩陣X 的PCA 降維特征，即識別特征。顯然，m n維的訓練樣本圖像經過 PCA 算法獲得了l 1 維的降維特征。數據量得到了大大壓縮。 從這篇論文中我知道，通過 PCA 算法的特征子空間的投影，每一幅人臉圖像就對應于該特征子空間中的一個點。同樣，特征子空間中的任一點也對應于一幅圖像。特征子空間中的點重構后的圖像很像“人臉”，所以被稱為“特征臉”。有了“特征臉”組成的降維子空間，任何一幅人臉圖像都可以向其做投影并獲得PCA 降維特征，該特征表征了圖像在特征子空間中的位置。因此，在PCA 算法中，原來的人臉圖像識別問題就轉化為依據特征子空間中的訓練樣本點進行分類的問題

11、。 對比實驗：本文作者對PCA-LDA 算法與PCA 算法進行對比，他們的特征空間維數與正確識別率的關系如下圖： 試驗結果為：PCA-LDA 算法的融合特征空間的不同選擇，以及不同的訓練樣本數均影響性別鑒別的正確識別率。同時，PCA-LDA 算法比PCA 算法識別性能好，對樣本數據具有較好的魯棒性。 本文作者結合 PCA 算法與LDA 算法的特點，提出了用于性別鑒別的PCA-LDA 算法。該算法將原始圖像投影到PCA-LDA 算法構造的融合特征空間中，去掉了圖像大量的冗余信息，同時，保留了圖像的有用信息。該算法既實現了PCA算法的特征壓縮，又解決了LDA 算法出現的小樣本集問題，為性別鑒別提供

12、了一種新途徑。 我的想法：在作者對算法改進的基礎上進行有效地實現PCA 算法與LDA 算法特征子空間的融合以及有效地選擇融合特征空間的維數，應該可以更加優(yōu)化算法。五、 一種面向數據學習的快速PCA算法 因為高維數據的主成分分析較難處理,而且計算時間和空間復雜度隨著數據維數的增加而急劇增加。鑒于此，作者在文中提出了一種直接面向數據學習的PCA算法,即在迭代中新的權向量等于所有樣本向量的加權和,這樣可以不必計算數據協方差矩陣.在解決給定樣本向量或平穩(wěn)隨機過程的PCA問題時,該算法能夠彌補目前批量的算法和增量算法存在的不足。此外,作者還從理論上證明該算法的收斂性。 作者提出的PCA算法基于一種直接面

13、向數據學習的思想,即在迭代中新的權向量是所有數據向量的加權和,稱為直接面向數據學習的PCA算法(Data-Oriented PCA, DOPCA).在解決給定數據或平穩(wěn)隨機過程的PCA問題時,DOPCA算法能夠彌補目前批量算法和增量算法存在的不足.首先,它不需要計算數據協方差矩陣,運算復雜度低,可解決高維數據問題.其次,DOPCA算法具有單邊漸近的收斂特性,能夠較為快地求出最優(yōu)特征向量的精確解.除此之外,本文作者還證明PCA子空間的收斂一致性,并提出一種快速算法,使計算效率更高,收斂速度加快.算法流程如下：1.求解第1個特征向量2.求解高階特征向量3.快速計算算法具體如下：前p個特征向量的DO

14、PCA基本算法step 1 選擇需要計算的特征向量數p,并使k=1.step 2 隨機初始化權向量wkstep 3 更新權向量：step 4 歸一化權向量:step 5 若wk未收斂,則返回到step 3.否則,轉到step 6.step 7 k=k+1,回到step 2直到k =p.在step 6緊縮所有樣本向量,數據矩陣X的每一列對應一個樣本向量.當第k個特征向量的當前值wk和更新以前的值滿足時迭代收斂.通常地,可允許有很小的收斂容差,即判斷迭代收斂的標準為其中,E是收斂容差,abs(#)是求絕對值運算.對比實驗：實驗1：平均迭代次數l與樣本向量維數之間的關系.實驗2：計算時間隨著向量空間

15、維數或樣本數目的增加總體呈現線性增長趨勢.實驗3：采用ORL人臉圖像數據庫進行特征臉提取實驗.CCIPCA(Candid Covariance-Free Incre-mentalPCA)算法比隨機梯度上升(Stochastic GradientAscen,t SGA)算法和廣義Hebbian算法(Generalized Hebbian Algorithm, GHA)6有更好的收斂特性,所以僅用CCIPCA作為增量學習算法的代表進行比較.在特征臉實驗中,由于數據庫中只有400張圖像,所以可用矩陣計算方法來求特征向量.但是,當數據量較大時,矩陣計算方法就很難處理了,而用DOPCA就可求出特征向量的

16、精確解.實驗結果表明,DOPCA算法收斂速度快,能求出最優(yōu)特征向量的精確解,是一種解決大數據量高維PCA問題的有效方法。這篇論文主要研究不需計算協方差矩陣而求解高維數據特征向量精確解的辦法?；诿嫦驍祿W習的思想,本文提出一種簡單的DOPCA算法。經過分析,這個算法可精確收斂到數據協方差矩陣的特征向量.利用迭代向量在高階線性子空間投影, FastDOPCA可進一步加快收斂速度.在這篇論文中，面向數據學習的思想給了我很大的啟示，它可以應用在很多的算法中，大大提高算法的速度和效率。6、 Theory of fractional covariance matrix and its applicati

17、ons in PCA and 2D-PCA 在這篇論文中，作者給了定義的部分方差和部分協方差的新定義。此外，還給出部分協方差矩陣的定義?；诓糠謪f方差矩陣，主成分分析（PCA）和二維主成分分析（2D-PCA），作者提出了兩種新的技術，叫做部分主成分分析（FPCA）和二維部分主成分分析 （2D-FPCA），它把PCA和2D-PCA成部分順序形式，并擴展了PCA和2D-PCA的過渡識別范圍。為了比較FPCA及2D-FPCA的性能，并且在ORL和Yale這兩個人臉圖像數據庫進行了一系列的對比實驗。對比實驗：1. PCA和FPCA的對比FPCA與傳統的無監(jiān)督的PCA方法在ORL人臉庫進行性能評估的對比

18、。該ORL人臉庫包含從40個人，每個提供10個不同的圖像。對于圖像的拍攝時間不同。面部表情（眼睛的開或閉、微笑或不笑）和面部細節(jié)（戴眼鏡或不戴眼鏡）也各不相同。首先，對每一類第一個五張圖像樣本做訓練數據，剩余的圖像作為測試數據。因此，總的訓練和測試數量是200。所有圖像都是灰度像素規(guī)范化到 23X28像素。部分協方差由得到的矩陣。這里，部分協方差矩陣的大小是644X644，我們很容易計算其特征值以及對應的特征向量，并且貢獻率特征值由計算可得。 根據特征值的貢獻率，我們選擇對應于P最大特征值的特征向量，E1，E2，。 。 。 ，EP，作為投影軸。圖像的投影由可以投影到軸上，我們在低維空間中得到構

19、造子圖像。最近鄰分類器與歐幾里德距離應用于分類。結果很顯然，在相同的維度FPCA最佳識別的精度總是高于PCA?？偟膩碚fFPCA的頂部的識別精度大約5，比PCA更高。2.2D-PCA和2D-FPCA的對比2D-FPCA與經典的無監(jiān)督方法2DPCA在Yale人臉庫進行性能評估的比較。 Yale人臉數據庫包含15個人的165圖像 （每個人都有11種不同的圖像）在不同光照下的各種表情。在該實驗每個圖像是人為裁剪并調整到40X40個像素。首先，將試驗 在每類中隨機選擇六個圖像作為，而其余保持進行測試。該 FCM是由計算。計算FCM的特征向量后，很容易由獲得2D-FPCA和2D-PCA的CRE。 結果顯示

20、如下圖，然后，最近鄰分類器與歐氏距離最終用于分類。 它的識別類似于2D-PCA方法。實驗結果表明，兩個新的技術優(yōu)于標準的PCA和2D-PCA如果0和1之間選擇不同的順序。結果很顯然，在同維度2D-FPCA的最佳平均識別精度優(yōu)于2D-PCA。我的想法：從論文中我們知道，在一般情況下，降序的FPCA頂端識別精度比PCA高大約5。，降維且降序時2D-FPCA的平均識別精度比2D-PCA大了約5而比2D-PCA大了10。 整體而言，本文中FPCA及2D-FPCA的性能比PCA和2D-PCA的更好。 我會認為作者提出的部分方差和部分協方差在未來可以應用在圖像處理并可以對圖像分析提供有價值的信息。 7、 課程心得體會 非常高興選擇了馬麗老師的通選課程，老師的作風一向嚴謹認真，樸素求實，這也正是我能夠把模式識別這門課程學得相當深刻的原因。 而在模式識別的課程中，PCA算法可以說是最感興趣的一個算法，因為從網上查閱資料得知，其在人臉識別的領域有著非常高的地位，這迎合了我從小的科幻夢想。并且，馬老師在課堂上對PCA和LDA的對比給了我非常深刻的印象。PCA和LDA有著不同的決策函數線，所有樣本點在PCA決策函數上的投影特點是：方差最大，但是可分性不好，而且各點直接由重合部