人臉識別改進

1、湖南省大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實驗計劃項 目 申 報 表項目名稱：基于單目視覺技術(shù)車輛智能碰撞規(guī)避的研究學(xué)校名稱湖南工業(yè)大學(xué)學(xué)生姓名學(xué)號專業(yè)性別入學(xué)年份2012.092012.092012.092012.092013.09指導(dǎo)教師宓茜職稱學(xué)科專業(yè)學(xué)生曾經(jīng)參與科研的情況本項目組成員參加過全國大學(xué)生電子設(shè)計大賽， 以及在學(xué)校和同學(xué)T做過 多種實訓(xùn)1:比如啟基于單片機的萬年歷系統(tǒng)，智能刷卡系統(tǒng)、溫度檢測系統(tǒng)； 基于數(shù)電的簡單的報警系統(tǒng)、以及基于模電的簡易收音機等等。指導(dǎo)教師承擔(dān)科研課題情況項目：1 融合不確定性與隨機統(tǒng)計信息的回轉(zhuǎn)干燥過程建模新方法研究國家自科基金項目2 基于支持向量機的回轉(zhuǎn)干燥過程

2、混合建模與能耗 /排放優(yōu)化新方法研究 教育廳青年項目（型并聯(lián)控制技術(shù)的研究教育廳項目（編號：10C0604）項目研究和實驗的目的、內(nèi)容和要解決的主要問題一、項目研究的目的隨著科技的飛速發(fā)展，傳統(tǒng)的身份識別(如口令、身份卡等)容易遺失， 易被破解等問題逐漸暴漏，已不能滿足各種安全需要。人們期望有一種更加 可靠的技術(shù)來進行身份鑒別。生物特征識別技術(shù)給這一切帶來了可能。由于人臉的面部特征難以復(fù)制和假冒，從而被應(yīng)用到最現(xiàn)代化的門禁系 統(tǒng)，網(wǎng)上支付系統(tǒng)等等領(lǐng)域中。人臉識別技術(shù)是利用計算機分析人臉，從中 提取出有效的特征和識別信息，通過與數(shù)據(jù)庫的人臉比較來管理和控制的技 術(shù)，與以往的身份識別系統(tǒng)相比提高了

3、安全防范的可靠性。2015年3月15日晚間，全球矚目的漢諾威消費電子、信息及通信博覽會 (CeBIT)在德國開幕。馬云在開幕式上，向德國總理默克爾與中國副總理馬凱 演示了螞蟻金服的Smile to Pay掃臉技術(shù)、項目研究的內(nèi)容人臉比對是指對于給定的一幅任意圖像，首先進行人臉檢測，對其中的人臉部分進行特征提取，根據(jù)這些提取的特征參數(shù)，與另外一幅任意給定的圖像中的所含人臉部分的特征 參數(shù)進行比對，判斷兩者是否為同一個人。典型的人臉自動比對系統(tǒng)如圖1.5所示，它以含人臉的靜態(tài)圖像或者視頻作為輸入，以比對之后的結(jié)果作為輸由，其中包括了人臉圖像獲取、人臉檢測、人臉特征提取和人臉識別四個 主要的環(huán)節(jié)。人

4、 臉.圖像 獲人臉檢測特征提取人臉識別圖1.5人臉識別系統(tǒng)一般框架人臉圖像的獲取一般來說，圖像的獲取都是通過攝像頭攝取，但攝取的圖像可以是真人，也 可以是人臉的圖片或者為了相對簡單， 可以不考慮通過攝像頭來攝取頭像， 而是 直接給定要識別的圖像。(2)人臉檢測人臉檢測(FaceDeteetion)就是給定靜態(tài)圖像或者視頻，判斷其中是否有人臉存在，如果存在，則給出人臉的大小、位置等狀態(tài)信息。由于受異常人臉的干擾，在人頭定位的基礎(chǔ)上實現(xiàn)了人臉檢測，異常人臉的排 除成了這一部分的關(guān)鍵內(nèi)容。(3)人臉特征提取人臉特征提取即提取人臉面部中所具有的特征，它的本質(zhì)就是將一般的圖像數(shù)據(jù)映射到機器空間中去，以此

5、可以利用模式識別或圖像 分析的方法進行后續(xù)的處理和研究?；谌四樀南闰炛R，每個人臉特征都有唯一不變性和變化多樣性這兩個特點，只有充分利用唯一不 變性和變化多樣性這兩個特點才能夠進行后面的人臉比對識別操作。(4)人臉識別人臉識別指的是對輸入的兩個人臉圖像，利用兩個人臉圖像的特征參數(shù)，采取某種算法進行人臉之間的比對，最終返回人臉比對的結(jié)果。目前，依據(jù)人臉比對技術(shù)所采用的特征，可將人臉比對技術(shù)主要分為兩 類：(1)基于人臉圖像的幾何特征比對，(2)基于人臉圖像的統(tǒng)計特征比 對。前者主要考慮人臉五官所在的相對位置具有不變性和唯一性；后者主要考慮了每個人臉圖像的象素數(shù)據(jù)具有的穩(wěn)定性和唯一性。三、解決的

6、主要問題(1)圖像的采集。采集過程中需要保持人信息的完整性，包括拍攝圖像時 要保持拍攝環(huán)境的一致性，如光照，拍攝角度等要保持一致；需要保持人臉圖像 的姿態(tài)，即拍攝正面的人臉圖像；并保持拍攝時人臉的表情和配飾的一致性，如戴或不戴眼睛，是否化妝等等。(2)人臉識別方法的選擇問題。在進行識別方法的選擇時，既要考慮到識別算法的實用性和有效性，又要 考慮識別方法的識別效率和準(zhǔn)確率的問題。綜合考慮現(xiàn)有的人臉識別方法，從中 選擇適合于本系統(tǒng)需求的人臉識別方法。(3)需要識別的人臉圖像發(fā)生變化，如需要識別的人員增加、減少、人員 的相關(guān)信息發(fā)生變更等問題。國內(nèi)外研究現(xiàn)狀和發(fā)展動態(tài)到現(xiàn)在為止，人臉識前期以 All

7、en和Parke為代表，主要研究人臉識別所需 要的面部特征，研究者用計算機實現(xiàn)了較高質(zhì)量的人臉灰度圖模型。這一階段工作的特點是識別過程 全部依賴于操作人員，顯然這不是一種可以完成自動識別 的系統(tǒng)。中期是人機交互式識別階段，代表性工作有 ：Harmon和Lesk用幾何特 征參數(shù)來表示人臉正面圖像。他們采用多維特征矢量表示人臉面部特征， 并設(shè)計 了基于這一特征表示法的識別系統(tǒng)。Kayak Kobayashi則采用了統(tǒng)計識別方法， 用歐氏距離來表征人臉特征。但這類方法需要利用操作員的某些先驗知識，仍然擺脫不了人的干預(yù)。后期是真正的機器自動識別階段。隨著高速度、高性能計算 機的發(fā)展，人臉模式識別方法有

8、了較大的突破，提出了多種機器全自動識別系 統(tǒng)，人臉識別技術(shù)進入了實用化階段。人臉識別技術(shù)在世界范圍內(nèi)得到廣泛的關(guān)注，更多的研究開始集中在基于視 頻的人臉識別上面。視頻下的人臉識別系統(tǒng)主要是針對視頻圖像序列進行分析處 理，它通常涉及到人臉檢測、人臉跟蹤、特征提取、人臉識別幾個過程。其近 些年來，隨著計算機計算能力的加強，基于視頻流下的人臉識別發(fā)展迅速， 各種 面向復(fù)雜應(yīng)用背景的視頻 人臉識別系統(tǒng)也隨之涌現(xiàn)。由于基于視頻流下的人臉 識別系統(tǒng)具有如此大的應(yīng)用前景，它引起了許多國家的高度關(guān)注。國內(nèi)外眾多的 大學(xué)和研究機構(gòu)，如美國的 CMU MIT UIUC大學(xué)、英國的劍橋大學(xué)、日本的 Toshiba公

9、司和國內(nèi)的清華 大學(xué)、中科院自動化所等單位都對基于視頻的人臉識 別進行了廣泛而深入的研究，盡管基于視頻的人臉識別技術(shù)取得了很大成果，但在實際應(yīng)用中還存在很大 的局限性，面臨著許多困難與瓶頸，這些問題也決定 了基于視頻人臉識別技術(shù)的發(fā)展趨勢及今后的研究方向，本項目學(xué)生有關(guān)的研究積累和已取得的成績一、研究積累目前，項目進行了前期調(diào)研，完成了部分?jǐn)?shù)據(jù)采集，取得了一定進展，為項 目整體推進打下良好基礎(chǔ)，項目學(xué)生的有關(guān)研究積累和取得成績?nèi)缦拢? .通過人臉識別系統(tǒng)項目設(shè)計研究在軟件方面對算法有了比較深入的了解，在圖像處理方面也有了新的突破，在圖文信息采集方面也有一定的了解。2 .我們也基本了解自動檢測技

10、術(shù)。3 .已進行市場和技術(shù)調(diào)研，并根據(jù)用戶需求，對此人臉識別進行初步設(shè)計二、已取得的成績我們對人臉識別系統(tǒng)項目研究到至今，我們已經(jīng)完成了初步的軟件和硬件進行了規(guī)劃。項目的技術(shù)路線、進度安排及預(yù)期成果一、技術(shù)路線人臉檢測的技術(shù)主要是用到基于Adaboost算法的檢測方法。daboost算法的步驟如下：1 .指定訓(xùn)練樣本庫 S,正負(fù)樣本的總數(shù)分別為X和Y;T是訓(xùn)練的總共循環(huán)次數(shù)；2 .初始化每個樣本的權(quán)值為1/n;3 .開始迭代：(1)在所有訓(xùn)練樣本的不同概率分布情況下，訓(xùn)練得到每輪的弱分類器；(2)計算基于這個弱分類器分類的錯誤率；(3)選擇適當(dāng)?shù)拈}值，使得錯誤率最小；(4)更新所有樣本的權(quán)重分

11、布：(5)判斷是否達到總共的最大循環(huán)次數(shù)，達到則退由該循環(huán)否則繼續(xù)迭代；4 .最后得到一個強分類器daboost算法流程圖基于Adaboost算法的人眼和嘴巴的檢測嘴巴的訓(xùn)練和檢測過程是和人眼訓(xùn)練和檢測過程是一樣的，只是訓(xùn)練的時候正樣本有所區(qū)別，1樣本庫的構(gòu)造在訓(xùn)練分類器之前，需要輸入的數(shù)據(jù)主要有人眼樣本（即正樣本）、非人眼樣本（即負(fù)樣本卜矩形特征。（l）正樣本庫的構(gòu)造人眼樣本的選取，對最終訓(xùn)練得到的人眼檢測系統(tǒng)有著很大的影響。人眼樣本的選擇如果過于單一，比如沒有考慮光照,姿態(tài)等的變化，那么最后訓(xùn)練得到的分類器的漏檢率就會比較高，人眼檢測系統(tǒng)就很不完善 的正樣本數(shù)據(jù)。，所以樣本庫必須要有豐富截

12、取的部分人眼圖像(2)負(fù)樣本庫的構(gòu)造由于背景的復(fù)雜性，因此在收集非人眼樣本時，圖像背景不能單一，紋理要比較豐富，圖像要更貼近 實際生活。用了 MIT的非人臉庫，共有4381幅非人眼圖像，里面的圖像有著很大差異，是專門針對分類器訓(xùn)練制作的負(fù) 樣本庫，對分類器的訓(xùn)練有很大幫助，能提高分類器的分類性臺匕 目匕。MIT的非人臉庫的部分圖像選取的人眼樣本全部是睜開人眼的樣本，含有戴無色眼鏡，當(dāng)人眼閉著的時候，就檢測不到人眼，可以視為異常人臉2人眼分類器的訓(xùn)練由于在矩形窗口中矩形特征的數(shù)目非常多，選取所有的矩形特征參與分類計算，計算量非?？捎^。通過實驗發(fā)現(xiàn)，利用這些特征中的一小部分就能組成一個有效的分類器

13、，可以采用弱學(xué)習(xí)算法來逐次選擇對分類最有利的矩形特征。對于每一 個特征來說，弱學(xué)習(xí)算法確定一個錯分樣本最少的最優(yōu)閉值 分類函數(shù)。一個弱分類器h,(x)包含一個特征f,(x)，一個閩值氏 和用來表示不等式方向的Pj, Pj取正負(fù)1。如下圖：oc工 otherwiseAdaboost算法通過迭代的方式對一組帶有權(quán)值的向量進行訓(xùn)練，初始時所有的向量數(shù)據(jù)都被分配成相等的權(quán)值。每一輪迭代，就訓(xùn)練得到一個相 應(yīng)的弱分類器，進入下一輪迭代前，對于被錯誤分類的向量數(shù) 據(jù)就增加其權(quán)值，而對于被正確分類的向量數(shù)據(jù)就減小其權(quán)值。最終得到的強分類器是T(T是迭代的總共次數(shù)個弱分類器的加權(quán)集成，其中每個不同弱分類器的權(quán)

14、值與訓(xùn) 練的誤差成反比。在本章中，Adaboost還具有特征選擇的功能 每一輪的訓(xùn)練過程中僅用一個特征進行訓(xùn)練并最后選擇最 有利于分類的特征作為弱分類器。Adaboost算法的訓(xùn)練過程如下：給定一系列的訓(xùn)練樣本：(X1,Yl),(X2,Y2),(Xn,Yn), Xi為圖像樣本,Yi為樣本的類別標(biāo)志，Yi =o表示圖像為非人眼圖 像,Yi=1表示圖像為人眼圖像；其中，i=1,2,n,為總共的樣本1 1Wi =,-，數(shù)。將兩類不同的樣本的分別賦予權(quán)值： 2mMm和1分別為樣本總數(shù)和非人眼樣本總數(shù)。假設(shè)要訓(xùn)練T個弱分類器，這里T也是選定的特征數(shù)目。假設(shè)t=1,T,執(zhí)行循環(huán)如下：(1)歸一化權(quán)值：3p

15、 =r i z 柏=1 ； (2)使得為概率分布，即7(3)對于每一個矩形特征，訓(xùn)練得到一個僅利用該矩形 特征的弱分類器而。計算 hj的加權(quán)誤差：幻=£：1而3)一阿1(4)從所有的矩形特征所對應(yīng)的弱分類器中選擇一個加 權(quán)訓(xùn)練誤差為最小的弱分類器。這個分類器表示為 h,訓(xùn)練誤差為：句=£：p；I-)-mo|(4)按照得到的最佳弱分類器，調(diào)整樣本權(quán)重：當(dāng)樣本被正確的分類時。ei=0,當(dāng)樣本被錯誤的分類時,°F,因為故總是比0.5小，所以四1 ,每輪訓(xùn)練之后，正確分類的樣本權(quán)值減小，錯誤分類的樣本權(quán)值增大。最后訓(xùn)練得到的強分類器由總共T個特征的弱分類器組成:I1 I1

16、,£(ln元地上不t-iPt/ t=iPt k0, otherwise在每一輪訓(xùn)練的過程中，該算法從所有的矩形特征中總是選 擇分類誤差最小的矩形特征。簡單的訓(xùn)練流程圖如圖級聯(lián)分類器人眼分類器的級聯(lián)隨著弱分類器九(x)數(shù)目的不斷增加，最終的強分類器H(x)也會變得越來越復(fù)雜。一些結(jié)構(gòu)簡單的強分類器仍然具有較 高的效率，它們可以用來排除大多數(shù)的非人眼圖像區(qū)域而同 時檢測出幾乎所有可能存在的人眼區(qū)域。為了提高分類器整體的檢測性能同時又減少檢測時間，可將多個強分類器按照 從簡單到復(fù)雜的順序聯(lián)接起來從而就構(gòu)成了分類器的級聯(lián)使整個的人眼檢測過程形成一個簡單決策樹，如圖3.13所示。分類器級聯(lián)前端

17、的結(jié)構(gòu)簡單的分類器通過簡單的計算來排除大多數(shù)的非人眼窗口，而后面的結(jié)構(gòu)較復(fù)雜分類器通過更多的處理來進一步排除剩余的非人眼窗口，降低檢測的錯誤率。對于級聯(lián)系統(tǒng)的每一級來說，如果該分類器的 輸由為T,則認(rèn)為該檢測窗口可能含有人眼區(qū)域，將該檢測窗口輸入到下一級的分類器進行進一步的判定；否則，在該級分類器將檢測窗口判斷為非人眼區(qū)域進行排除。通過 該級聯(lián)系統(tǒng)，最終可以得到一個比較穩(wěn)定輸生的人眼區(qū)域。嘴巴檢測的實現(xiàn)利用Adaboost的方法同樣可以實現(xiàn)嘴巴的檢測和定位。在構(gòu)造樣本庫的時候只需要把正樣本庫的圖片換為嘴巴的圖片,負(fù)樣本庫不變，利用Adaboost算法進行分類器的訓(xùn)練，得 到最后的級聯(lián)強分類器，

18、利用強分類器在人臉區(qū)域進行嘴巴 的搜索，找由并標(biāo)示由人的嘴巴的位置。通過截取ORL人臉庫和MIT人臉庫中2500幅人的不同表情，不同光照情況下人 的嘴巴的圖片作為訓(xùn)練所用的正樣本。圖3.14截取的部分嘴巴圖像人眼檢測和嘴巴檢測的結(jié)果:人眼和嘴巴檢測的事例以上的四幅圖片就是用 Adaboost算法最后訓(xùn)練由來的 分類器檢測得到的結(jié)果，其中第一幅、第二幅和第四幅是臉部 沒有任何遮擋物的人眼檢測和嘴巴檢測 ，第三幅是戴無色眼 鏡的人眼和嘴巴的檢測結(jié)果。部分檢測和錯檢的人臉圖像上圖是用 Adaboost算法訓(xùn)練的分類器檢測人眼和嘴巴由現(xiàn)漏檢和錯檢的情況，之所以會存在漏檢和錯檢的情況，是因為 人臉圖片情

19、況比較多變，表情的變化，姿勢的變化都會對人眼 檢測和嘴巴檢測產(chǎn)生影響。選取了 200幅圖像進行了人眼和嘴巴的檢測和定位這些圖像多數(shù)是正面人臉圖像，因為轉(zhuǎn)角比較大的側(cè)面人臉圖像有時候就拍不到人臉面部的部分特征，所有該方法對其就沒有檢測的意義。部分存在人眼的漏檢和錯檢 ，部分存在嘴 巴的漏檢和錯檢，最終實驗結(jié)果如下表。表3.1人眼和嘴巴定位算法的準(zhǔn)確率圖像總數(shù)正確定位數(shù)錯誤定位數(shù)未定位數(shù)檢測率20018210891%圖3.17異常人臉檢測情況上圖是部分異常人臉的檢測情況，可以看由只能檢測由人眼或者嘴巴，不能完成人眼和嘴巴的同時檢測。從而就可以排除異常人臉，啟用報警裝置并提示操作人員摘下遮擋物。 如果操作人員摘下遮擋物，則進行第二次的人眼和嘴巴檢測。 否則提示ATM環(huán)境存在非法人員入侵。最后證明該方法能在絕大多數(shù)的情況下檢測到正常人 臉的人眼和嘴巴特征，而對于異常人臉只能檢測到部分的人臉特征（檢測不到嘴巴或者人眼，或者同時檢測不到嘴巴和人 眼）。通過基于人臉面部特征的檢測來排除掉異常人臉的方法 是可行的，通過這一步的處理，留下正常人臉能進行后面的人 特征點提取和人臉對比工作。進度安排：2015年4月-8月