人臉識別技術研究解讀.doc

學習資料收集于網絡，僅供參考 人臉識別技術研究1 引言1.1 選題背景 目前，在個人身份鑒別中主要依靠ID卡和密碼等傳統(tǒng)手段，這些傳統(tǒng)手段的安全性能較低，且都是基于，“What he Dossesses”或“What he remembers”的簡單身份鑒別，離真真意義上的身份鑒別“Who he is”還相差甚遠。依靠傳統(tǒng)方法來確認個人身份越來越不適應現(xiàn)代科技的發(fā)展和社會的進步。生物特征識別技術給可靠的身份鑒定帶來了可能。最近，國際生物特征組織(IBG)對生物特征識別技術做了較詳細的市場分析和預測，其結果顯示，全球生物特征識別技術2014年的產值約為69億美元，預計到2016年將超過93億美元，市場潛力非常巨大。 生物識別技術是指利用一個人特有的生理和行為特征進行自動的身份認證。只有滿足以下幾個條件的生理或行為特征才能被用做生物識別特征1) 普遍性。即每個人都要具備這種特征。2) 唯一性。即不同的人應該具備不同的這種特性。3) 持久性。即這種特征不隨時間地點的改變而變化。4) 可采集性。即該特征可以被定量地測量。研究和經驗表明，人臉、指紋、手型、掌紋、虹膜、視網膜、簽名、聲音等都滿足這些條件，可以用于識別人的身份。基于這些特征，人們發(fā)展了人臉識別、指紋識別、語音識別、虹膜識別等多種生物識別技術。在所有的生物特征識別技術中，利用人臉特征進行身份識別是最自然、最直接和最友好的于段。與其它生物特征識別技術相比，人臉的獲取非常容易，幾乎可以在被采集對象無意識的狀態(tài)下獲取人臉圖像，這樣的取樣方式沒有“侵犯性”。 人臉識別技術是種重要的生物特征識別技術，應用非常廣泛。人臉是自然界存在的一種特殊的復雜視覺模式，它包含及其豐富的信息。首先，人臉具有一定的不變性和唯一性，人臉識別是人類在進行身份確認時使用最為普遍的一種方式，人臉圖像還能夠提供一個人的性別、年齡、種族等有關信息。其次，人臉也學習資料具有多樣的變化能力，從人臉的不同表情人們可以感知到一個人的情緒、感受、甚至秉性和氣質。它無需特殊的采集設備，系統(tǒng)的成本低，而且自動人臉識別的使用非常自然，可以在被識別對象毫無察覺的情況下進行，是種非常受使用者歡迎的方式。雖然人類在表情、年齡或發(fā)型等發(fā)生巨大變化的情況下，可以毫不費力地以人臉來識別某人，但要建立一個能夠完全自動進行人臉識別的系統(tǒng)卻是非常困難的，諸多因素使得人臉識別研究成為一項極其挑戰(zhàn)性的課題它牽涉到模式識別、圖像處理、計算機視覺、生理學、心理學、以及認知科學等方面的諸多知識，并與基于其它生物特征的身份鑒別方法以及計算機人機感知交互領域都有密切聯(lián)系。與指紋、視網膜、虹膜、基因、掌形等其它生物特征識別系統(tǒng)相比，人臉識別具有直接、友好、方便和非接觸等許多優(yōu)點，多年來一直受到許多研究者的關注。 人臉識別研究，起源于19世紀末法國人Sir Franis Gahon的工作。到20世紀90年代，開始作為一個獨立學科快速發(fā)展起來。人臉識別研究的發(fā)展大致分成三個階段第一階段是以Allen和Parke為代表，主要研究人臉識別所需要的面部特征。研究者用計算機實現(xiàn)了較高質量的人臉灰度模型。這階段的工作特點是識別過程全部依賴于操作人員。第二階段是人機交互式識別階段，其中用幾何特征參數(shù)來表示人臉正面圖像是以Harmon和Lesk為代表，將人臉面部特征用多維特征矢量表示出來，并設計了基于這一特征表示法的識別系統(tǒng)。而以Kaya和Kobayashi為代表，則采用了統(tǒng)計識別的方法、用歐氏距離來表示人臉特征，這兩類方法都擺脫不了人的干預。第三階段是真正的機器自動識別階段，近十余年來，隨著高速度高性能計算機的發(fā)展，人臉模式識別方法有了較大的突破，提出了多種機器全自動識別系統(tǒng)，人臉識別技術進人了實用化階段。如Eyematic公司研發(fā)的人臉識別系統(tǒng)。我國清華大學的“十五”攻關項目人臉識別系統(tǒng)也通過了由公安部主持的專家鑒定。人臉識別有著廣泛的應用領域 (1)在安全防范領域中的應用。社會上有許多重要的部門，如軍事、金融、保密等部門都需要對出入人員進行身份識別，以防止信息泄漏和不法現(xiàn)象的發(fā)生。使用該技術可以方便地進行身份識別，而不使被識別者感到不舒服。(2)在犯罪刑偵領域中的應用。在刑偵工作中，對罪犯的抓捕是至關重要的一環(huán)。應用人臉識別技術可以依據犯罪嫌疑人的人臉圖像對機場、車站、港口等重要交通場所進行監(jiān)控，從而大大促進了罪犯抓捕工作的開展。(3)在公共事業(yè)領域中的應用。在現(xiàn)代社會，許多領域都需要對人進行身份驗證。如銀行、保險、交通等公工事業(yè)部門。采用傳統(tǒng)的密碼、IC卡等手段和技術對人進行身份驗證具有安全性差，易遺失、易偽造等缺點。而采用人臉識別技術進行身份驗證則能夠很好地克服傳統(tǒng)身份驗證手段和技術的缺點。因此成熟的人臉識別技術不但具有極大的學術研究價值，而且具有廣泛的社會需求和市場領域。一個成功的具有商用價值的人臉識別系統(tǒng)必將對現(xiàn)實社會帶來極大的影響。當前，人臉識別己成為計算機視覺、模式識別和人工智能等領域的一個研究熱點。我們有理由相信，隨著技術的不斷發(fā)展，人臉識別技術將不斷完善，并得到更為廣泛的應用。1.2 論文的研究歷史背景及目的近年來，由于視頻監(jiān)控，人機交互和視頻檢索等應用的需求，視頻中的人臉檢測研究得到迅速發(fā)展。視頻中人臉檢測可以劃分為三個環(huán)節(jié):先提取視頻文件中的幀，對圖像進行人臉檢測，再還原成視頻，完成視頻中人臉的檢測。人臉檢測最初來源于人臉識別。是指對于任意一副給定的圖像，采用一定的策略對其進行搜索以確定其中是否含有人臉，如果是則返回一臉的位置、大小和姿態(tài)，并把有人臉的地放識別出來。早期，人臉檢測技術主要服務于人臉識別課題的研究；但是，隨著生物識別技術的快速發(fā)展，入臉檢測技術己經被廣泛的應用于其它相關領域，產生一定的商業(yè)價值。例如：國家軍事、安全系統(tǒng)驗證、視頻會議、人機智能交，各類金融卡、身份驗證等等方面具有重要的應用價值，所以，現(xiàn)在人們有許多人對人臉識別越來越重視了。人臉檢測的研究同時也具有非常重要的的學術價值，人臉是一類具有相當復雜的細節(jié)變化的自然結構目標，對此類目標的挑戰(zhàn)性在于：人臉由于外貌、表情、膚色等不同，具有模式的可變性；一般意義下的人臉上，可能存在眼鏡、胡須等附屬物；作為三維物體的人臉影像不可避免地受由光照產生的陰影的影響。因此，如果能夠找到解決這些問題的方法，成功地構造出人臉檢測系統(tǒng)，將為解決其他類似的復雜模式的檢測問題提供重要的啟示。人臉檢測的目的是檢測一張圖像是否由人臉，如果有人臉，就把它從圖像背景中分離出來，然后對特征進行人臉識別。而在視頻中的人臉檢測在信息處理中，已經成為是一項相當難突破的技術，越來越受到計算機視覺界的廣泛關注，作為這個有價值課題，已經滲透到各不同領域中。1.3 國內外研究現(xiàn)狀三維人臉識別越來越受到研究人員的重視。國內外都興起了對三維人臉識別技術研究的浪潮。1.3.1 國內進展 在國內，最早研究人臉檢測識別的，當屬于中科院計算所跟哈工大的一個聯(lián)合面像實驗室。該實驗室的高文教授，陳熙林教授，山世光教授，直到今天，都一直活躍在人臉識別領域，更可貴的是，在IEEE上面發(fā)表了很多paper。這一點，很值得國內的同行學習。后來，該實驗室，成為上海銀晨的研發(fā)中心，專門為上海銀晨做技術研發(fā)和技術支持。其次是中科院生物識別研究所的李子青教授，以及下屬的中科奧森公司。李子青教授，當年在微軟亞洲研究院的時候，就從事人臉識別方面的研究工作。后來，在中科院組建了專門的人臉識別研究團隊。該研究團隊，首先提出了基于近紅外的人臉識別技術，并將該項人臉識別技術用于08年北京奧運會。同時，基于近紅外的人臉識別技術，得到了國際上同行業(yè)專家的認同和一致肯定。接著，是清華大學的丁曉青教授。丁曉青教授在OCR(字符識別)領域，可謂國內第一人。不過，最近幾年轉行做人臉識別，也是非常有成就的。不說別的，就只從FRVT2006（美國國家標準研究所2006年全球人臉識別供應商系統(tǒng)性能測試）的測試結果來看，丁曉青教授的研究團隊是唯一一個完成大規(guī)模3D人臉識別性能測試的參賽團隊。由此可見，在國內人臉識別領域來說，她們的算法，在3D領域，絕對排名第一。1.3.2 國外進展國外主要有美國、歐洲國家、日本等著名的科研機構有美國的MIT和CMU，英國的劍橋大學。在人臉識別領域中，國際上逐步形成了一下幾個研究方向：基于幾何特征的方法、基于膚色模型的方法、基于模板匹配的方法、基于KL變換的特征臉方法、基于隱馬爾可夫模型的方法和神經網絡識別的方法等等。它們可以被歸類到基于顯式特征和基于隱式特征的兩大類方法中。發(fā)展至今，人臉識別的方法越來越多，最有代表的是基于Haar特征的人臉識別方法是其中較為典型的方法，該算法不僅具有較高的檢測率，同時也能夠滿足實時檢測的要求?；贖aar特征的人臉識別方法始于2001年Paul Viola和Michael Jones兩者撰寫的一篇論文，他們在論文中提出了Haar特征和Adaboost算法，并利用它們進行人臉檢測。但是此方法只能用于檢測正面無旋轉的人臉。為此，Rainer Lienhart等人于2002年對此方法進行了擴展, 增加了傾斜特征的定義，此后此方法被擴展到全旋轉縮放情況下的人臉檢測。自從以上幾位學者運用基于Haar特征和Adaboost算法進行人臉檢測取得長足進步之后，基于Haar特征的人臉檢測方法備受專家學者的青睞，國內外相關內容的研究成果也是層出不窮。1.4 本文的主要工作 本文是在人臉特征庫的基礎上做人臉特征提取和識別研究，主要內容分為四章，分別如下：（1）第一章：主要介紹了本文的歷史背景，著重介紹了人臉檢測技術的研究現(xiàn)狀以及國內外研究現(xiàn)狀，并明確了本文的工作內容和章節(jié)安排。（2）第二章：主要分析幾種主流的人臉識別算法和每種算法的優(yōu)點和劣勢，本文在這里主要介紹了三種即：基于幾何特征的方法、基于模板的方法和基于模型的方法。1. 基于幾何特征的方法是最早、最傳統(tǒng)的方法，通常需要和其他算法結合才能有比較好的效果；2. 基于模板的方法可以分為基于相關匹配的方法、特征臉方法、線性判別分析方法、奇異值分解方法、神經網絡方法、動態(tài)連接匹配方法等。3. 基于模型的方法則有基于隱馬爾柯夫模型，主動形狀模型和主動外觀模型的方法等。 （3）第三章：本章針對光照不均問題，提出了基于球面諧波基圖像的光照補償算法，用以在任意光照條件下進行人臉識別。算法份兩步進行：光照估計和光照補償。 （4）第四章：基于幾何特征的人臉識別并利用幾何特征的方法實現(xiàn)人臉特征識別。2 人臉識別算法分析 主流的人臉識別技術基本上可以歸結為三類，即：基于幾何特征的方法、基于模板的方法和基于模型的方法?；趲缀翁卣鞯姆椒ㄊ亲钤?、最傳統(tǒng)的方法，通常需要和其他算法結合才能有比較好的效果；2. 基于模板的方法可以分為基于相關匹配的方法、特征臉方法、線性判別分析方法、奇異值分解方法、神經網絡方法、動態(tài)連接匹配方法等。3. 基于模型的方法則有基于隱馬爾柯夫模型，主動形狀模型和主動外觀模型的方法等。2.1 基于幾何特征的方法人臉由眼睛、鼻子、嘴巴、下巴等部件構成，正因為這些部件的形狀、大小和結構上的各種差異才使得世界上每個人臉千差萬別，因此對這些部件的形狀和結構關系的幾何描述，可以做為人臉識別的重要特征。幾何特征最早是用于人臉側面輪廓的描述與識別，首先根據側面輪廓曲線確定若干顯著點，并由這些顯著點導出一組用于識別的特征度量如距離、角度等。Jia 等由正面灰度圖中線附近的積分投影模擬側面輪廓圖是一種很有新意的方法。 采用幾何特征進行正面人臉識別一般是通過提取人眼、口、鼻等重要特征點的位置和眼睛等重要器官的幾何形狀作為分類特征,但Roder對幾何特征提取的精確性進行了實驗性的研究，結果不容樂觀?？勺冃文０宸梢砸暈閹缀翁卣鞣椒ǖ囊环N改進，其基本思想是 :設計一個參數(shù)可調的器官模型 (即可變形模板),定義一個能量函數(shù)，通過調整模型參數(shù)使能量函數(shù)最小化，此時的模型參數(shù)即做為該器官的幾何特征。 這種方法思想很好，但是存在兩個問題，一是能量函數(shù)中各種代價的加權系數(shù)只能由經驗確定，難以推廣，二是能量函數(shù)優(yōu)化過程十分耗時，難以實際應用。 基于參數(shù)的人臉表示可以實現(xiàn)對人臉顯著特征的一個高效描述，但它需要大量的前處理和精細的參數(shù)選擇。同時，采用一般幾何特征只描述了部件的基本形狀與結構關系，忽略了局部細微特征，造成部分信息的丟失，更適合于做粗分類，而且目前已有的特征點檢測技術在精確率上還遠不能滿足要求，計算量也較大。 2.2 局部特征分析方法 主元子空間的表示是緊湊的，特征維數(shù)大大降低，但它是非局部化的，其核函數(shù)的支集擴展在整個坐標空間中，同時它是非拓撲的，某個軸投影后臨近的點與原圖像空間中點的臨近性沒有任何關系，而局部性和拓撲性對模式分析和分割是理想的特性，似乎這更符合神經信息處理的機制，因此尋找具有這種特性的表達十分重要?；谶@種考慮，Atick提出基于局部特征的人臉特征提取與識別方法。這種方法在實際應用取得了很好的效果，它構成了FaceIt人臉識別軟件的基礎。2.3 特征臉方法特征臉方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有簡單有效的特點, 也稱為基于主成分分析(principal component analysis,簡稱PCA)的人臉識別方法。 特征子臉技術的基本思想是：從統(tǒng)計的觀點，尋找人臉圖像分布的基本元素，即人臉圖像樣本集協(xié)方差矩陣的特征向量，以此近似地表征人臉圖像。這些特征向量稱為特征臉(Eigenface)。實際上，特征臉反映了隱含在人臉樣本集合內部的信息和人臉的結構關系。將眼睛、面頰、下頜的樣本集協(xié)方差矩陣的特征向量稱為特征眼、特征頜和特征唇，統(tǒng)稱特征子臉。特征子臉在相應的圖像空間中生成子空間，稱為子臉空間。計算出測試圖像窗口在子臉空間的投影距離，若窗口圖像滿足閾值比較條件，則判斷其為人臉。 基于特征分析的方法，也就是將人臉基準點的相對比率和其它描述人臉臉部特征的形狀參數(shù)或類別參數(shù)等一起構成識別特征向量，這種基于整體臉的識別不僅保留了人臉部件之間的拓撲關系，而且也保留了各部件本身的信息，而基于部件的識別則是通過提取出局部輪廓信息及灰度信息來設計具體識別算法?，F(xiàn)在Eigenface(PCA)算法已經與經典的模板匹配算法一起成為測試人臉識別系統(tǒng)性能的基準算法；而自1991年特征臉技術誕生以來，研究者對其進行了各種各樣的實驗和理論分析，F(xiàn)ERET96測試結果也表明，改進的特征臉算法是主流的人臉識別技術，也是具有最好性能的識別方法之一。 該方法是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等屬性，然后再計算出它們的幾何特征量，而這些特征量形成一描述該面像的特征向量。其技術的核心實際為“局部人體特征分析”和“圖形/神經識別算法?！边@種算法是利用人體面部各器官及特征部位的方法。如對應幾何關系多數(shù)據形成識別參數(shù)與數(shù)據庫中所有的原始參數(shù)進行比較、判斷與確認。Turk和Pentland提出特征臉的方法，它根據一組人臉訓練圖像構造主元子空間，由于主元具有臉的形狀，也稱為特征臉 ,識別時將測試 圖像投影到主元子空間上，得到一組投影系數(shù)，和各個已知人的人臉圖像比較進行識別。Pentland等報告了相當好的結果，在 200個人的 3000幅圖像中得到 95%的正確識別率，在數(shù)據庫上對 150幅正面人臉象只有一個誤識別。但系統(tǒng)在進行特征臉方法之前需要作大量預處理工作如歸一化等。 在傳統(tǒng)特征臉的基礎上，研究者注意到特征值大的特征向量 (即特征臉 )并不一定是分類性能好的方向，據此發(fā)展了多種特征 (子空間 )選擇方法，如Peng的雙子空間方法、Weng的線性歧義分析方法、Belhumeur的FisherFace方法等。事實上，特征臉方法是一種顯式主元分析人臉建模，一些線性自聯(lián)想、線性壓縮型網則為隱式的主元分析方法，它們都是把人臉表示為一些向量的加權和，這些向量是訓練集叉積陣的主特征向量，Valentin對此作了詳細討論?？傊?，特征臉方法是一種簡單、快速、實用的基于變換系數(shù)特征的算法，但由于它在本質上依賴于訓練集和測試集圖像的灰度相關性，而且要求測試圖像與訓練集比較像，所以它有著很大的局限性?；贙L 變換的特征人臉識別方法基本原理: KL變換是圖象壓縮中的一種最優(yōu)正交變換，人們將它用于統(tǒng)計特征提取，從而形成了子空間法模式識別的基礎，若將KL變換用于人臉識別，則需假設人臉處于低維線性空間，且不同人臉具有可分性，由于高維圖象空間KL變換后可得到一組新的正交基，因此可通過保留部分正交基，以生成低維人臉空間，而低維空間的基則是通過分析人臉訓練樣本集的統(tǒng)計特性來獲得，KL變換的生成矩陣可以是訓練樣本集的總體散布矩陣，也可以是訓練樣本集的類間散布矩陣，即可采用同一人的數(shù)張圖象的平均來進行訓練，這樣可在一定程度上消除光線等的干擾，且計算量也得到減少，而識別率不會下降。2.4 基于彈性模型的方法 等人針對畸變不變性的物體識別提出了動態(tài)鏈接模型 ()，將物體用稀疏圖形來描述 (見下圖)，其頂點用局部能量譜的多尺度描述來標記，邊則表示拓撲連接關系并用幾何距離來標記，然后應用塑性圖形匹配技術來尋找最近的已知圖形。等人在此基礎上作了改進，用圖像庫做實驗，用 300幅人臉圖像和另外 300幅圖像作比較，準確率達到 97.3%。此方法的缺點是計算量非常巨大 。 Nastar將人臉圖像 ( ) (，)建模為可變形的 3網格表面 (，(，) ) (如下圖所示 )，從而將人臉匹配問題轉化為可變形曲面的彈性匹配問題。利用有限元分析的方法進行曲面變形，并根據變形的情況判斷兩張圖片是否為同一個人。這種方法的特點在于將空間 (，)和灰度(,)放在了一個 3空間中同時考慮，實驗表明識別結果明顯優(yōu)于特征臉方法。 Lanitis等提出靈活表現(xiàn)模型方法，通過自動定位人臉的顯著特征點將人臉編碼為 83個模型參數(shù)，并利用辨別分析的方法進行基于形狀信息的人臉識別。彈性圖匹配技術是一種基于幾何特征和對灰度分布信息進行小波紋理分析相結合的識別算法，由于該算法較好的利用了人臉的結構和灰度分布信息，而且還具有自動精確定位面部特征點的功能，因而具有良好的識別效果，適應性強識別率較高，該技術在FERET測試中若干指標名列前茅，其缺點是時間復雜度高，速度較慢，實現(xiàn)復雜。2.5 其它方法除了以上幾種方法，人臉識別還有其它若干思路和方法，包括一下一些：1） 隱馬爾可夫模型方法（Hidden Markov Model）2） Gabor 小波變換+圖形匹配（1）精確抽取面部特征點以及基于Gabor引擎的匹配算法，具有較好的準確性，能夠排除由于面部姿態(tài)、表情、發(fā)型、眼鏡、照明環(huán)境等帶來的變化。（2）Gabor濾波器將Gaussian網絡函數(shù)限制為一個平面波的形狀，并且在濾波器設計中有優(yōu)先方位和頻率的選擇，表現(xiàn)為對線條邊緣反應敏感。（3）但該算法的識別速度很慢，只適合于錄象資料的回放識別，對于現(xiàn)場的適應性很差。人臉等密度線分析匹配方法（1） 多重模板匹配方法該方法是在庫中存貯若干標準面像模板或面像器官模板，在進行比對時，將采樣面像所有象素與庫中所有模板采用歸一化相關量度量進行匹配。（2） 線性判別分析方法（Linear Discriminant Analysis，LDA）（3）本征臉法 本征臉法將圖像看做矩陣 ,計算本征值和對應的本征向量作為代數(shù)特征進行識別 ,具有無需提取眼嘴鼻等幾何特征的優(yōu)點 ,但在單樣本時識別率不高 ,且在人臉模式數(shù)較大時計算量大 （4） 特定人臉子空間(FSS)算法該技術來源于但在本質上區(qū)別于傳統(tǒng)的特征臉人臉識別方法。特征臉方法中所有人共有一個人臉子空間，而該方法則為每一個體人臉建立一個該個體對象所私有的人臉子空間，從而不但能夠更好的描述不同個體人臉之間的差異性，而且最大可能地擯棄了對識別不利的類內差異性和噪聲，因而比傳統(tǒng)的特征臉算法具有更好的判別能力。另外，針對每個待識別個體只有單一訓練樣本的人臉識別問題，提出了一種基于單一樣本生成多個訓練樣本的技術，從而使得需要多個訓練樣本的個體人臉子空間方法可以適用于單訓練樣本人臉識別問題。（5）奇異值分解(singular value decomposition,簡稱SVD)是一種有效的代數(shù)特征提取方法.由于奇異值特征在描述圖像時是穩(wěn)定的,且具有轉置不變性、旋轉不變性、位移不變性、鏡像變換不變性等重要性質,因此奇異值特征可以作為圖像的一種有效的代數(shù)特征描述。奇異值分解技術已經在圖像數(shù)據壓縮、信號處理和模式分析中得到了廣泛應用. 在本文中，主要選擇基于幾何特征的方法，這種方法最容易理解同樣編寫起來的難度也相對較小，但是為了彌補幾何特征法對于光照和表情等變化的適應性，本文又探究了現(xiàn)在比較主流的，基于球面諧波基的人臉光照補償算法，并將其運用到系統(tǒng)的設計中去，提高系統(tǒng)對人臉的識別率。3 光照對人臉識別影響的研究 人臉識別經過近40年的發(fā)展，對于均勻光照下的中性表情的證明人臉圖像起識別率已經很高，然而在一些更加復雜的情況下，現(xiàn)有的多數(shù)系統(tǒng)的識別性能還是受到光照變化的影響特別大，這是因為當人臉的光照發(fā)生變化時候，人臉圖像的外觀也會隨之發(fā)生很大的變化。 本章針對這個問題，提出了基于球面諧波基圖像的光照補償算法，用以在任意光照條件下進行人臉識別。算法份兩步進行：光照估計和光照補償。3.1基于球面諧波基圖像的人臉圖像光照估計 球面諧波子空間理論表明，在各向同性遠光源假設條件下，朗伯凸表面的任意圖像均可表示為該凸表面9個球面諧波基圖像的線性組合，這9個線性組合的系數(shù)反映了該圖像拍攝時的光照情況。而對于任意給定的2D圖像，如果能夠估計出對象的3D形狀和表面反射系數(shù)，則可以解析地計算出9個球面諧波基圖像，然后就可以通過最小二乘法解出9個光照系數(shù)。本節(jié)首先簡單介紹球面諧波子空間理論，然后給出粗略估計人臉3D形狀和表面反射屬性進而計算給定人臉球面諧波基圖像的策略，最后給出了基于最小二乘的光照系數(shù)估計方法。3.1.1 球面諧波基圖像模型 本章的工作是基于Basri等1和Ramamoorthi2提 出的球面諧波理論而發(fā)展出來的，因此本節(jié)首先簡單介紹球面諧波基圖像模型。假設物體為朗伯凸表面，光源為各向同性遠光源，則其輻照度E為= (2-1) 其中為表面法線方向的球坐標表示，為入射光場，積分區(qū)間為物體表面法線方向的上半球，為一個旋轉操作，將局部坐標轉換成全局坐標。式(2-1)實際上是一個旋轉卷積，因此很適合在空間頻域中分析。球面上的信號處理工具為球面諧波函數(shù)，類似2D平面上的傅立葉級數(shù)。朗伯表面的反射方程在空域中積分區(qū)域很大(上半球)，根據Heisenberg測不準原理，則其在頻域中一定局限在低頻范圍。因此輻照度E在頻域中用球面諧波函數(shù)展開為 (2-2) 其中為朗伯反射函數(shù)的球面諧波系數(shù)，為光照的球面諧波系數(shù)，為球面諧波函數(shù)。式(2-2)的詳細推導請參考文獻1,2。 假設人臉為朗伯凸表面，用表示人臉圖像中某點的反射率， 表示該點的法線方向，則其亮度為= （2-3）其中 （2-4）為人臉的球面諧波基圖像。球面諧波基圖像可以看作是人臉在諧波光照下的圖像，諧波光照為只含有一個諧波成分的虛擬光照環(huán)境。這樣，人臉圖像可表示為其9個球面諧波基圖像 的線性組合，這9個線性組合的系數(shù)為光照系數(shù) 。3.1.2 人臉的球面諧波基圖像近似 為了利用球面諧波基圖像模型進行分析，我們需要知道人臉的球面諧波基圖像，即需知道人臉的反射率和法線，其中法線又與3D形狀相關。9D線性子空間方法7利用已知的人臉3D結構計算球面諧波基圖像，Zhang3等假設人臉諧波基圖像每點的分布符合高斯分布，再融合輸入人臉的信息，用MAP估計得到輸入人臉的諧波基圖像.在本文中，輸入人臉的反射率圖和法線圖也是通過“人臉類”的先驗知識得到。但我們所用的人臉類的先驗知識的表示有所不同。人臉的形狀大致相同，該假設已用于很多視覺算法中4,5,6。由于表示光照的參數(shù)只有9個，相對圖像的像素數(shù)目很少，因此可以將圖像的分辨率降低。而分辨率降低之后,不同人臉的形狀差異就更小了。且光照對圖像的影響是全局的，因此微小的形狀偏差不會對光照估計造成嚴重影響。但為了盡可能地減小輸入人臉形狀與平均人臉形狀的差別，本文采用基于特征點的變形技術，將平均3D人臉形狀變形到輸入人臉，以得到盡可能與輸入人臉相似的3D形狀。本文中我們用一種改進的AAM模型7來定位人臉圖像上的關鍵特征點。在輸入人臉圖像的特征點與平均3D人臉形狀的特征點對齊之后，其它的頂點我們采用Kriging插值，將平均3D人臉形狀變形到輸入人臉,得到輸入人臉的3D形狀。 有了輸入人臉的形狀，其姿態(tài)也可以根據特征點的相對位置確定，則我們可以很容易地計算輸入人臉的法線。圖2.1給出了本文采用的平均人臉形狀、輸入人臉圖像的特征點及其經過對齊后的特定人臉形狀和法線圖。 圖1 平均人臉形狀及輸入人臉的形狀 光照變化對特征點的精確定位仍然是一個巨大的挑戰(zhàn)。在光照條件很惡劣的情況下，自動定位的特征點不太準確。在本文實驗部分我們比較了只用兩個眼睛位置對齊平均人臉形狀模型和輸入人臉圖像的結果，以觀察系統(tǒng)對配準精度的敏感性。 關于反射率，我們假設人臉表面各點的反射率近似相等。更準確地，我們假設人臉的反射率圖中除了直流分量外不包含其它低頻分量。雖然人臉表面并不嚴格滿足上述假設，我們發(fā)現(xiàn)在實際應用中還是取得了很好的效果。人眼觀察到的人臉皮膚顏色大致相同也證明了這一點。由于光照參數(shù)的維數(shù)很少，在實際應用中，為了使輸入更符合這一點,我們將圖像的分辨率可以降得很低，這樣各點的反射率更接近，且反射率與皮膚差別較大的區(qū)域，如眉毛、眼睛、鼻子和嘴巴部分不參與光照估計運算。給定任意輸入人臉圖像，通過上述方法估計其反射率和法線方向后，即可根據式(2-4)計算其球面諧波基圖像。3.1.3 光照估計 給定一幅人臉圖像(維列向量，為圖像中的像素個數(shù))，并通過2.1.2節(jié)中的方法計算該人臉的球面諧波基圖像B，則式(2-3)中的未知數(shù)只有9個光照系數(shù)，因此，光照估計就是估計式(2-3)中的光照環(huán)境的9個低頻球面諧波系數(shù)。這可以通過解下述最小二乘問題得到 （2-5）其中為諧波基圖像的矩陣形式，是一個9的矩陣，矩陣的每一列為一個諧波基圖像。需要指出的是，根據式(2-5)估計出的光照系數(shù) 與真實的光照系數(shù)之間相差常數(shù)倍，即=，其中為反射率圖的直流系數(shù)。3.2人臉圖像光照補償 在光照估計的基礎上，本節(jié)我們討論人臉圖像光照補償。光照補償是期望將輸入人臉圖像經過處理后得到一個與光照無關或至少對光照變化不敏感的表示，從而使得人臉識別變得更容易。這可以用一個統(tǒng)一的計算模型來表達： (2-6)其中表示原始圖像，是削弱光照變化影響的變換，是變換后的特征表示，可以是圖像或者其它特征。本節(jié)我們討論兩種光照補償方式：紋理圖像和差圖像。3.2.1 紋理圖像如式(2-3)所示，其中。這種表示形式的一個好處是可以將人臉圖像對紋理的依賴與形狀和光照的依賴分開，其中圖像對形狀和光照的依賴關系用輻照度表示。估計出了光照條件并已知人臉的法線方向，我們可以根據式(2-2)計算該人臉的輻照度度。這樣,給定輸入圖像及其對應的輻照度，根據式(2-3)，我們得到輸入人臉的紋理圖像為原圖像與其輻照度之比，即 (2-7)紋理圖像只包含紋理信息，與形狀無關，也與光照無關。但是由于計算紋理圖像時涉及除法，當輻照度中的像素亮度值較低時，會引入噪聲。為了抑制紋理圖像中的噪聲，在識別時我們再對式(2-7)做對數(shù)變換，得到 (2-8)作為式(2-6)中對光照變化不敏感的特征。紋理圖像中雖然沒有形狀信息，但輻照度度E的計算還需要知道輸入人臉的形狀。與光照估計的全局過程不同，光照補償是對圖像中每個像素單獨進行是一個局部過程，因此在計算輸入人臉的形狀時，對特征點定位精度有一定敏感性。3.2.2 差圖像 光照變化對特征點的準確定位至今仍是一個很大的挑戰(zhàn)，因此本小節(jié)我們考慮另外一種光照補償方式，既能保留輸入人臉的形狀和紋理信息，同時又對配準精度不敏感。根據，輻照度依賴于光照和輸入人臉的形狀。輻照度中只包含低頻信息，濾去圖像中的低頻信息就能將光照的影響去掉。進行濾波操作最合適的方法是將中的乘法變成log域中的加法。對式(2-3)兩邊進行l(wèi)og運算，也可以得到式(2-8)的紋理圖像。由上面的討論我們知道計算E還需要知道輸入人臉的形狀，因此對配準有一定要求。由于輸入人臉的精確形狀很難得到，所以在下面的差圖像光照補償算法中我們不顯式地使用輸入人臉的形狀，只利用編碼在輸入圖像中的形狀信息。另外我們希望在處理之后的圖像中不同輸入人臉形狀的信息還能得到保留。用平均人臉模型來代替式(2-8)中的輸入人臉的形狀是一個很好的選擇： (2-9)其中是平均人臉在輸入光照下的輻照度。由于的低頻性質和E類似，上式中的受光照的影響也很小。不同的是，上式中是用平均人臉形狀計算的，所以最后處理得到的圖像中，不僅包含了輸入人臉的紋理信息，同時輸入人臉形狀同平均人臉形狀的差異也得到了保留。上式一個直觀的解釋是：將輸入圖像(log域)減去一個只與光照有關的成分(平均人臉在輸入光照下的輻照度)，最后得到的結果圖像中光照的影響得到了減弱，同時輸入人臉的形狀和紋理信息沒有丟失。需要指出的是，當粗略配準時(只有兩個眼睛位置給定)，式(2-8)與式(2-9)是等價的。當輸入光照對應的輻照度亮度過低時，式(2-8)的會隨變化有較大變化，帶來噪聲。為了抑制噪聲，我們退而求其次，用圖像域中的減法來代替式(2-9)中l(wèi)og域的減法，得到 (2-10)如果將平均人臉的紋理看成為常數(shù)1，則可以看成為，為平均人臉在輸入光照下的圖像。這樣將 (2-11)定義為差圖像，作為式(2-6)中對光照變化不敏感的特征F。由于兩幅圖像在相同光照下，通過對兩幅圖像做差，減弱了光照變化對人臉圖像的影響，從而達到光照補償?shù)哪康模瑫r又保留了用于識別的輸入人臉與平均人臉的差別。該差別既包括由紋理引起的差別，也包括由形狀引起的差別。4 識別系統(tǒng)設計4.1 程序總體流程4.1.1 應用程序的總體結構設計流程圖用 戶從“文件”菜單中選擇“打開”選項在彈出的“打開”對話框中選擇要打開的位圖，點擊“確定”，應用程序顯示所要打開的位圖識別獲取臉部區(qū)域獲取特征參數(shù)人臉定位圖象預處理顯示識別結果 圖2 總體結構設計流程圖 4.1.2 圖像預處理的層次圖 預處理光線補償圖像灰度化高斯平滑均衡直方圖圖像對比度增強二值化 圖3 預處理的層次圖4.2 各模塊功能概述 以上是該系統(tǒng)的總體結構設計圖以及圖像預處理模塊的層次圖。下面介紹系統(tǒng)中的各模塊的功能及算法：4.2.1 圖像獲取模塊 該模塊主要是從攝像頭拍照后進行獲取圖片，也可以從圖片庫中獲取，獲取后的圖片可以在軟件的界面中顯示出來以便進行識別。4.2.2 人臉區(qū)域獲取 該系統(tǒng)中圖像里人臉區(qū)域的獲取，主要是根據膚色來進行獲取，通過膚色非線形分段色彩變換來實現(xiàn)。這一非線性分段色彩變換得到的膚色模型屬于色彩空間中的聚類模型，這一類膚色模型的建立首先要選取一種合適的色彩空間。4.2.3 圖像預處理模塊 圖像預處理就是對獲取得來的圖像進行適當?shù)奶幚?，使它具有的特征能夠在圖像中明顯的表現(xiàn)出來。該模塊中的子模塊有如下5個，下面對它們進行概述： 1）光線補償 因為系統(tǒng)得到的圖片可能會存在光線不平衡的情況，這會影響我們對特征 的提取，同時系統(tǒng)中要用到基于球面的諧波基光照補償，這樣不但會修正光照不均的問題同時又保留了用于識別的輸入人臉與平均人臉的差別。該差別既包括由紋理引起的差別，也包括由形狀引起的差別。 2）灰度變化 圖像灰度化的過程就是把彩色圖像轉換為黑白色圖像的過程，它也是為了將圖像的信息更加具體、簡單的表現(xiàn)出來，但是，這樣做也將會丟失圖像信息。因此，盡可能在轉化的過程中用簡單的方式表現(xiàn)圖像復雜的信息。 3）高斯平滑處理 高斯平滑將對圖像進行平滑處理，在圖像采集過程中，由于各種因素的影響，圖像往往會出現(xiàn)一些不規(guī)則的噪聲，入圖像在傳輸、存儲等都有可能產生數(shù)據的丟失。從而影響圖像的質量。處理噪聲的過程稱為平滑。平滑可以降低圖像的視覺噪聲，同時出去圖像中的高頻部分后，那些本來不明顯的低頻成分更容易識別。平滑可以通過卷積來實現(xiàn)。經過卷積平滑后的水平投影后，二值化提供了較好的圖像效果。 4）對比度增強 對比度增強，就是對圖像的進一步處理，將對比度再一次拉開。它針對原始圖像的每一個像素直接對其灰度進行處理的，其處理過程主要是通過增強函數(shù)對像素的灰度級進行運算并將運算結果作為該像素的新灰度值來實現(xiàn)的。通過改變選用的增強函數(shù)的解析表達式就可以得到不同的處理效果。 5）二值化 二值化的目的是將采集獲得的多層次灰度圖像處理成二值圖像，以便于分析理解和識別并減少計算量。二值化就是通過一些算法，通過一個閾值改變圖像中的像素顏色，令整幅圖像畫面內僅有黑白二值，該圖像一般由黑色區(qū)域和白色區(qū)域組成，可以用一個比特表示一個像素，“1”表示黑色，“0”表示白色，當然也可以倒過來表示，這種圖像稱之為二值圖像。這便有利于我們對特征的提取。該設計中采用組內方差和組外方差來實現(xiàn)二值化。 6）直方圖均衡 直方圖均衡化的目的是使一輸入圖像轉換為在每一灰度級上都有相同的象素點數(shù)，它的處理的中心思想是把原始圖像的灰度直方圖從比較集中的某個灰度區(qū)間變成在全部灰度范圍內的均勻分布，它的研究思路是：通過直方圖變換式來進行直方圖的均衡處理，直方圖變換式是 但是直方圖均衡化存在著兩個缺點： 1）變換后圖像的灰度級減少，某些細節(jié)消失； 2）某些圖像，如直方圖有高峰，經處理后對比度不自然的過分增強。4.2.4 人臉定位模塊 人臉定位是將典型的臉部特征（如眼睛，鼻尖，嘴唇等等）標記出來，在本系統(tǒng)中，定位的特征是眼睛，鼻尖和嘴巴三個。由于眼睛具有對稱性，因此可以很快就能標記出來，而鼻子是在眼睛下面，且嘴巴在鼻子下面，所以只要眼睛標記好，鼻子和嘴巴也能相應的標記出來。4.2.5 特征提取模塊特征提取按以下4個步驟進行：（1）、提取兩只眼睛的距離（2）、眼睛的傾角度（3）、眼睛、嘴巴的重心（4）、用一個矩形標出每一個特征在特征提取完之后將會得到相應的特征值以便存入后臺數(shù)據庫。 4.2.6 識別模塊該模塊通過與庫存中的特征向量進行比較，找出與特征最相近的參數(shù)，再對該參數(shù)進一步分析。如果分析在我們所確認的范圍內，我們就認為該人就是我們所要找的。然后從庫存中提取出該人相關的信息，并顯示出來。如果庫存中沒有，則給出提示是否對存庫作為樣本。4.3詳細設計圖像點運算是一種既簡單又重要的技術，它能讓用戶改變圖像數(shù)據占據的灰度范圍，一幅輸入圖像經過點運算后將產生一幅新的輸出圖像，由輸入像素點的灰度值決定相應的輸出像素點的灰度值，點運算與局部運算的差別在于：后者每個輸出像素的灰度值由對應輸入像素的一個領域內幾個像素的灰度值決定。所以，點運算不可以改變圖像內的空間關系。點運算可以按照預定的方式改變一幅圖的灰度直方圖。除了灰度級的改變是根據某種特定的灰度變換函數(shù)進行之外，點運算可以看作是“從像素到像素”的復制操作。如果輸入圖像為A（x，y），輸出圖像為B（x，y），則點運算可表示為： B（x，y） = fA（x，y） （式2）其中函數(shù)f（D）被稱為灰度變換（Gray Scale Transformation ，GST）函數(shù)，它描述了輸入灰度值和輸出灰度值之間的轉換關系，一旦灰度變換函數(shù)確定，該點運算就完全被確定下來了。點運算有時又稱為對比度增強、對比度拉伸或灰度變換，它是圖像數(shù)字化軟件和圖像顯示軟件的重要組成部分。下面將對本設計解決各圖像點處理模塊運用進行到的理論和編程實現(xiàn)進行詳細講述。4.3.1光線補償（1）算法思想：光線補償?shù)南敕ǖ奶岢鲋饕强紤]到膚色等色彩信息經常受到光源顏色、圖像采集設備的色彩偏差等因素的影響，而在整體上偏離本質色彩而向某一方向移動，即我們通常所說的色彩偏冷、偏暖、照片偏黃、便藍等等。這種現(xiàn)象在藝術照片中更為常見。所以Anil K.Jain等提出，為了抵消這種整個圖像中存在著的色彩偏差，我們將整個圖像中所有像素亮度（是經過了非線形r-校正后的亮度）從高到低進行排列，取前5%的像素，如果這些像素的數(shù)目足夠多（例如，大于100），我們就將它們的亮度作為“參考白”（Reference White），也即將它們的色彩的R、G、B分量值都調整為255。整幅圖像的其他像素點的色彩值也都按這一調整尺度進行交換。 同樣，由于人臉是一種類似球形的物體，所以光照因素，本來也受限于其幾何形狀，所以可以先選取一個球形的物體作為校正補償?shù)哪０?，對其校正?） 具體實現(xiàn)光線補償功能： 明白了光線補償這功能的算法及思想，就可以編碼實現(xiàn)其功能了，實現(xiàn)過程如下：、 編輯菜單IDR_MAINFRAM，先在其中添加一菜單項，將其命名為“預處理”，并在其屬性欄中將其設為“彈出”菜單，點擊預處理該菜單項將會彈出一個新的子菜單，此時把該子菜單命名為“光線補償”，并把其ID設為ID_READY_LIGHTINGCONPENSATE，對應文件FaceDetectViewCpp中的函數(shù)ReadyLightingconpensate()實現(xiàn)，并在void CFaceDetectView: OnReadyLightingconpensate()中添加如下代碼：hDIBTemp = gDib.CopyHandle(hDIB);gDib.LightingCompensate(hDIB);GlobalUnlock(hDIB);Invalidate();光線補償功能實質上是用上段代碼中的LightingCompensate（）函數(shù)來進行實現(xiàn)。函數(shù)LightingCompensate（）是類DIB的一個成員函數(shù)。其核心代碼如下所述：/下面的循環(huán)對圖像進行光線補償for(i =0;iheight;i+)for(int j=0;jPixelOffset(i,j,wBytesPerLine); /得到藍色分量*(lpData+lOffset) = colorb;/綠色分量colorb = *(lpData+lOffset+1);colorb *=co;if(colorb 255)colorb = 255