第9章-人臉識(shí)別

人臉識(shí)別技術(shù)

FaceRecognitionTechnology吳士泓

2人臉識(shí)別的意義與感性相識(shí)人臉識(shí)別的現(xiàn)狀人臉識(shí)別的過(guò)程人臉識(shí)別的方法人臉的關(guān)鍵技術(shù)人臉識(shí)別系統(tǒng)的開(kāi)發(fā)與試驗(yàn)工具3人臉識(shí)別的感性相識(shí)人臉識(shí)別的意義人體生物認(rèn)證技術(shù)人臉識(shí)別的系統(tǒng)人臉識(shí)別是一個(gè)活躍的探討領(lǐng)域，是人類(lèi)視覺(jué)最杰出的實(shí)力之一。雖然人臉識(shí)別的精確性要低于虹膜、指紋的識(shí)別，但由于它的無(wú)侵害性和對(duì)用戶(hù)最自然、最直觀的方式，使人臉識(shí)別成為最簡(jiǎn)潔被接受的生物特征識(shí)別方式。人臉識(shí)別是人體生物認(rèn)證技術(shù)的一種，首先我們談?wù)勅梭w生物認(rèn)證技術(shù)人體生物的生物特征包括生理特征和行為特征兩大類(lèi)。⑴人體的生理特征主要包括人臉、指紋、掌紋、掌形、虹膜、視網(wǎng)膜、靜脈、DNA、顱骨等，這些特征是與生俱來(lái)的，是先天形成的；⑵而行為特征包括聲紋、簽名、步態(tài)、耳形、按鍵節(jié)奏、身體氣味等，這些特征是由后天的生活環(huán)境和生活習(xí)慣確定的。這些生物特征本身固有的特點(diǎn)確定了其在生物認(rèn)證中所起的作用是不同的。表1對(duì)各種生物認(rèn)證技術(shù)作了一個(gè)簡(jiǎn)潔的比較。生物特征識(shí)別：人臉臉部熱量圖指紋手形手部血管分布虹膜視網(wǎng)膜簽名語(yǔ)音7基于生物特征的身份認(rèn)證生物特征=生理特征+行為特征生理特征(whatyouare?)與生俱來(lái)，如DNA、臉像、虹膜、指紋等行為特征(whatyoudo?)后天習(xí)慣使然，如筆跡、步態(tài)等8人體生物特征的起源于

傳統(tǒng)的身份認(rèn)證的問(wèn)題基于學(xué)問(wèn)的身份認(rèn)證(whatyouknow?)簡(jiǎn)潔遺忘簡(jiǎn)潔被盜簡(jiǎn)潔攻擊基于令牌的身份認(rèn)證(whatyouhave?)簡(jiǎn)潔丟失簡(jiǎn)潔被盜簡(jiǎn)潔偽造學(xué)問(wèn)+令牌我們必需找尋更加牢靠便捷的身份認(rèn)證方法--------------------人體生物認(rèn)證10常用生物特征的比較［A.Jain,L.HongandS.Pankanti.“Biometrics:PromisingFrontiersforEmergingIdentificationMarket”，CommunicationACM,2000］生物特征普遍性獨(dú)特性穩(wěn)定性可采集性性能接受程度防欺騙性人臉HighLowMediumHighLowHighLow指紋MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh視網(wǎng)膜HighHighMediumLowHighLowHigh簽名LowLowLowHighLowHighLow聲音MediumLowLowMediumLowHighLow人臉識(shí)別的意義BillGates:以人類(lèi)生物特征進(jìn)行身份驗(yàn)證的生物識(shí)別技術(shù)，在今后數(shù)年內(nèi)將成為IT產(chǎn)業(yè)最為重要的技術(shù)革命12生物特征的評(píng)估普遍性 Universality唯一性 Uniqueness恒久性 Permanence易采集性 Collectability系統(tǒng)性能 Performance(achievableidentificationaccuracy,resourcerequirements,robustness)用戶(hù)接受程度 UserAcceptance防欺瞞實(shí)力 ResistancetoCircumvention13各種生物特征市場(chǎng)份額的統(tǒng)計(jì)生物認(rèn)證技術(shù)市場(chǎng)收入的預(yù)料1415人臉識(shí)別的應(yīng)用人臉識(shí)別系統(tǒng)在金融、證券、社保、公安、軍隊(duì)及其他須要平安認(rèn)證的行業(yè)和部門(mén)有著廣泛的應(yīng)用典型應(yīng)用罪犯調(diào)查訪問(wèn)限制人員考勤重用門(mén)票駕駛執(zhí)照電子商務(wù)信用卡準(zhǔn)考證身份證北京奧運(yùn)開(kāi)幕式人臉識(shí)別門(mén)票查驗(yàn)現(xiàn)場(chǎng)－觀眾人臉身份驗(yàn)證中科院人臉識(shí)別技術(shù)成功用于奧運(yùn)會(huì)開(kāi)幕式8月8日，數(shù)萬(wàn)名觀眾由國(guó)家體育場(chǎng)鳥(niǎo)巢的100多個(gè)人臉識(shí)別系統(tǒng)快速身份驗(yàn)證關(guān)口有序入場(chǎng)，參與2008北京奧運(yùn)會(huì)的開(kāi)幕式。據(jù)悉，該驗(yàn)證系統(tǒng)是由中科院自動(dòng)化所研制的。“9·11”事務(wù)是生物特征認(rèn)證技術(shù)在全球發(fā)展的一個(gè)轉(zhuǎn)折點(diǎn)。“9·11”以后生物識(shí)別技術(shù)的重要性被全球各國(guó)政府更加清晰地相識(shí)到。傳統(tǒng)的身份鑒別技術(shù)面臨反恐任務(wù)時(shí)所表現(xiàn)出來(lái)的缺陷，使得各國(guó)政府在探討與應(yīng)用上對(duì)生物特征識(shí)技術(shù)起先了大規(guī)模的投資。在美國(guó)：三個(gè)相關(guān)的法案（愛(ài)國(guó)者法案、邊疆簽證法案、航空平安法案）都要求必需接受生物識(shí)別技術(shù)作為法律實(shí)施保證?？傮w上來(lái)說(shuō)，國(guó)外生物認(rèn)證技術(shù)的應(yīng)用已經(jīng)進(jìn)入了以政府應(yīng)用為主的階段。深圳康貝爾人臉識(shí)別系統(tǒng)人臉識(shí)別門(mén)禁系統(tǒng)

人臉識(shí)別大型場(chǎng)館準(zhǔn)入系統(tǒng)

人臉識(shí)別在銀行金庫(kù)的應(yīng)用中國(guó)人民銀行規(guī)定全部的金庫(kù)安防監(jiān)控系統(tǒng)都要有人臉識(shí)別功能聯(lián)合國(guó)的國(guó)際民用航空組織(ICAO)已對(duì)188個(gè)成員國(guó)發(fā)布了航空領(lǐng)域運(yùn)用生物特征認(rèn)證技術(shù)的規(guī)劃，提出將在個(gè)人護(hù)照中加入生物特征(包括指紋識(shí)別、虹膜識(shí)別、面相識(shí)別)，并在進(jìn)入各個(gè)國(guó)家的邊疆時(shí)進(jìn)行個(gè)人身份的確認(rèn)。目前，此規(guī)劃已經(jīng)在美國(guó)、歐盟、澳大利亞、日本、南韓、南非等國(guó)家和地區(qū)通過(guò)，從2004年底就起先實(shí)施了。人臉識(shí)別技術(shù)在國(guó)外的探討現(xiàn)狀當(dāng)前很多國(guó)家綻開(kāi)了有關(guān)人臉識(shí)別的探討，主要有美國(guó)，歐洲國(guó)家，日本等，著名的探討機(jī)構(gòu)有美國(guó)MIT的Medialab,AIlab,CMU（卡耐基-梅隆高校）的Human-ComputerInterfaceInstitute，MicrosoftResearch,英國(guó)的DepartmentofEngineeringinUniversityofCambridge（劍橋高校）等。綜合有關(guān)文獻(xiàn)，目前的方法主要集中在以下幾個(gè)方面：綜合有關(guān)文獻(xiàn)，目前的方法主要集中在以下幾個(gè)方面：（1）模板匹配（2）示例學(xué)習(xí)（3）神經(jīng)網(wǎng)絡(luò)（4）基于隱馬爾可夫模型的方法除此以外，基于AdaBoost的人臉識(shí)別算法，基于彩色信息的方法，基于形態(tài)分析的方法，以及多模態(tài)信息融合的方法，國(guó)外都進(jìn)行了大量的探討與試驗(yàn)。探討現(xiàn)狀國(guó)際上對(duì)人臉及人臉面部表情識(shí)別的探討現(xiàn)在漸漸成為科研熱點(diǎn)。國(guó)內(nèi)外很多機(jī)構(gòu)都在進(jìn)行這方面的探討,尤其美國(guó)、日本。進(jìn)入90年頭,對(duì)人臉表情識(shí)別的探討變得特別活躍,吸引了大量的探討人員和基金支持,EI可檢索到的相關(guān)文獻(xiàn)就多達(dá)數(shù)千篇。美國(guó)、日本、英國(guó)、德國(guó)、荷蘭、法國(guó)等經(jīng)濟(jì)發(fā)達(dá)國(guó)家和發(fā)展中國(guó)家如印度、新加坡都有特地的探討組進(jìn)行這方面的探討。其中MIT、CMU、Maryland高校、Standford高校、日本城蹊高校、東京高校、ATR探討所的貢獻(xiàn)尤為突出。國(guó)內(nèi)的探討工作主要是集中在三大類(lèi)方法的探討：①基于幾何特征的人臉正面自動(dòng)識(shí)別方法②基于代數(shù)特征的人臉正面自動(dòng)識(shí)別方法③基于連接機(jī)制的人臉正面自動(dòng)識(shí)別方法。人臉識(shí)別的過(guò)程32人臉識(shí)別的過(guò)程登記過(guò)程識(shí)別過(guò)程一對(duì)一的驗(yàn)證過(guò)程一對(duì)多的辨別過(guò)程33登記過(guò)程34一對(duì)一的驗(yàn)證過(guò)程35一對(duì)多的辨別過(guò)程人臉識(shí)別系統(tǒng)所謂人臉識(shí)別系統(tǒng)，是指不須要人為干預(yù)，能夠自動(dòng)獲得人臉圖像并且辨別出其身份的系統(tǒng)一個(gè)人臉識(shí)別系統(tǒng)至少要包含三個(gè)部分，即數(shù)據(jù)采集子系統(tǒng)、人臉檢測(cè)子系統(tǒng)和人臉識(shí)別子系統(tǒng)數(shù)據(jù)采集子系統(tǒng)人臉識(shí)別子系統(tǒng)人臉檢測(cè)子系統(tǒng)人臉識(shí)別系統(tǒng)識(shí)別結(jié)果：Heis…!人臉檢測(cè)與人臉識(shí)別的探討內(nèi)容(1)人臉檢測(cè)（FaceDetection）人臉檢測(cè)（FaceDetection）是指在輸入圖像中確定全部人臉（假如存在）的位置、大小、位姿的過(guò)程。人臉檢測(cè)是自動(dòng)人臉識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵環(huán)節(jié)。(2)人臉識(shí)別人臉識(shí)別細(xì)分為兩類(lèi)，一類(lèi)是回答我是誰(shuí)的問(wèn)題，即分辨（Identification），另一類(lèi)是回答這個(gè)人是我嗎？即確認(rèn)（Verification）。明顯，用于Identification模式的識(shí)別系統(tǒng)對(duì)算法的運(yùn)算速度的要求要高于Verification模式的識(shí)別系統(tǒng)。從人臉自動(dòng)識(shí)別技術(shù)所依據(jù)的理論來(lái)講，人臉檢測(cè)與人臉識(shí)別都是模式識(shí)別問(wèn)題。人臉檢測(cè)是把全部的人臉作為一個(gè)模式，而非人臉作為另一個(gè)模式，人臉檢測(cè)的過(guò)程就是將人臉模式與非人臉模式區(qū)分開(kāi)來(lái)。人臉識(shí)別是把每一個(gè)人的人臉作為一個(gè)模式來(lái)對(duì)待，不同人的臉屬于不同的模式類(lèi)，人臉識(shí)別的過(guò)程是將屬于不同人的臉歸于各自的模式。換句話說(shuō)，人臉檢測(cè)強(qiáng)調(diào)的是人臉之間的共性，而人臉識(shí)別則要區(qū)分不同人臉之間的差異，二者同屬于模式分類(lèi)問(wèn)題。應(yīng)用—人臉識(shí)別人臉檢測(cè)與人臉識(shí)別的評(píng)價(jià)標(biāo)準(zhǔn)定義1：檢測(cè)（Detection）指對(duì)人臉圖像進(jìn)行檢測(cè)和定位的過(guò)程。定義2：拒檢（DetectionRejection）指不能正常檢測(cè)到人臉或人臉不能定位以及人臉檢測(cè)失敗。定義3：拒檢率DRR（DetectionRejectionRate）指被拒檢的人臉圖像占統(tǒng)計(jì)總數(shù)的比例，用百分比表示。定義4：比對(duì)（Matching）指以人臉特征與另一人臉特征比較的過(guò)程。定義5：匹配相像度（Similarity）人臉特征比對(duì)的輸出結(jié)果，代表參與比對(duì)的兩個(gè)人臉特征的相像程度。用0到1之間的小數(shù)表示，該數(shù)字愈大表示比對(duì)的人臉特征相像程度愈大，該數(shù)字愈小表示參與比對(duì)的人臉特征相像程度愈小。定義6：錯(cuò)誤拒絕FR（FalseRejection）指定某匹配相像度為判定閾值，在來(lái)自于同一個(gè)個(gè)體的人臉特征之間的比對(duì)，其結(jié)果（匹配相像度）小于設(shè)定閾值。即指授權(quán)人不能被正確接受的比率。定義7：錯(cuò)誤接受FA（FalseAcceptance）指定某匹配相像度為判定閾值，在來(lái)自于同一個(gè)個(gè)體的人臉特征之間的比對(duì)，其結(jié)果（匹配相像度）大于設(shè)定閾值。即指非授權(quán)人錯(cuò)誤的推斷為授權(quán)人的比率。定義8：錯(cuò)誤拒絕率（FalseRejectionRate）指發(fā)生FR的比對(duì)次數(shù)占總統(tǒng)計(jì)比對(duì)次數(shù)的比例，用百分比表示，也叫拒真率。定義9：錯(cuò)誤接受率FAR（FalseAcceptanceRate）指發(fā)生FA的比對(duì)次數(shù)占總統(tǒng)計(jì)比對(duì)次數(shù)的比例，用百分比表示，也叫錯(cuò)誤通過(guò)率，或認(rèn)假率。定義10：相等錯(cuò)誤率EER（EqualErrorRate）指在某給定匹配相像度下，F(xiàn)AR與FRR相等時(shí)的錯(cuò)誤率，即FAR=FRR。定義11：登錄時(shí)間（EnrollmentTime）從一幅人臉圖像獲得后，進(jìn)行人臉檢測(cè)、定位和特征提取所花費(fèi)的時(shí)間，此時(shí)間是數(shù)學(xué)統(tǒng)計(jì)平均值，用毫秒（ms）表示。定義12：比對(duì)時(shí)間（MatchingTime）比較兩張人臉特征所花費(fèi)的時(shí)間，此時(shí)間包含文件讀寫(xiě)時(shí)間的數(shù)學(xué)統(tǒng)計(jì)平均值，用毫秒（ms）來(lái)表示?；蛘呤菍⒁粡埲四樚卣髋c確定數(shù)量的人臉特征進(jìn)行比對(duì)所花費(fèi)的時(shí)間的總和，表示為毫秒/萬(wàn)人。定義13：首選識(shí)別率（FirstHit）匹配相像度最大的人臉是正確的人的比率。即將識(shí)別結(jié)果依據(jù)匹配相像度從大到小排列，排在第一位的人臉就是正確的被識(shí)別的人的比率。定義14：累計(jì)識(shí)別率（FirsnHit）正確的識(shí)別結(jié)果在前N個(gè)候選人中的比率。即將識(shí)別結(jié)果依據(jù)匹配相像度從大到小排列，在前N個(gè)結(jié)果中存在被識(shí)別的人的比率。特征臉（eigenface）方法是人臉識(shí)別的基準(zhǔn)技術(shù)，并已成為事實(shí)上的工業(yè)標(biāo)準(zhǔn)該方法基于主成分分析（PCA）PCA是將分散在一組變量上的信息集中到某幾個(gè)綜合指標(biāo)（主成分）上的數(shù)學(xué)方法，事實(shí)上起著數(shù)據(jù)降維的作用，并保證降維過(guò)程最大化保留原數(shù)據(jù)的差異這對(duì)最大化類(lèi)間差異（即不同人之間的差異）并最小化類(lèi)內(nèi)差異（即同一人的不同圖像間的差異）很有效用PCA將2維數(shù)據(jù)降到1維的例子，綠色點(diǎn)表示二維數(shù)據(jù)，PCA的目標(biāo)就是找到這樣一條直線，使得全部點(diǎn)在這條直線上的投影點(diǎn)之間的平均距離最大。也就是最大化地保留了原數(shù)據(jù)的差異性特征臉?lè)椒ǜ纱嘤?jì)算C的本征值和本征向量是困難的，可以通過(guò)對(duì)矩陣做奇異值分解間接求出m值的選擇：假如將本征向量復(fù)原成圖像，這些圖像很像人臉，因此稱(chēng)為“特征臉”[M.Turk&A.Pentland,JCN91]特征臉特征（eigenfeature）方法利用PCA分析眼、鼻、嘴等局部特征，即特征臉特征方法[R.Brunelli&T.Poggio,TPAMI93][A.Pentlandetal.,CVPR94]這事實(shí)上相當(dāng)于：為若干重要的特征建立本征空間，然后將多個(gè)本征空間集成起來(lái)特征臉vs.特征臉特征特征臉利用全局特征，特征臉特征利用局部特征，二者各有優(yōu)勢(shì)待識(shí)別圖像特征臉識(shí)別結(jié)果特征臉特征識(shí)別結(jié)果[A.Pentlandetal.,CVPR94]特征臉vs.特征臉特征(2)(1)(3)(4)難題——能否自動(dòng)確定：該用哪些特征？（眼睛？鼻子？嘴？……）特征的準(zhǔn)確位置在哪兒？（從哪兒到哪兒算眼睛？……）將二者結(jié)合，可以得到更好的識(shí)別效果同樣，這事實(shí)上相當(dāng)于：為若干重要的特征建立本征空間，然后將多個(gè)本征空間集成起來(lái)由于嘴部受表情影響很?chē)?yán)峻，因此未考慮嘴部特征試驗(yàn)結(jié)果[X.Geng&Z.-H.Zhou,unpub04]FERET人臉數(shù)據(jù)庫(kù)上的結(jié)果(3)(2)(1)(4)(2)(1)(3)(4)待識(shí)別圖像出現(xiàn)在算法返回的前Rank個(gè)圖像中SEME選擇的特征本征臉+本征特征所用的特征SEME的可擴(kuò)展性SEME的訓(xùn)練（計(jì)算）開(kāi)銷(xiāo)很大，但只需訓(xùn)練一次[X.Geng&Z.-H.Zhou,unpub04]將FERET人臉數(shù)據(jù)庫(kù)上選擇出的本征空間集成干脆用于ORL（左）和BioID（右）這兩個(gè)人臉數(shù)據(jù)庫(kù)的結(jié)果人臉識(shí)別的關(guān)鍵問(wèn)題1.人臉面部形態(tài)（面型、眼睛、鼻子）2.人臉識(shí)別中的視覺(jué)特征（早期MARR理論框架3個(gè)層次計(jì)算理論、算法、實(shí)現(xiàn)機(jī)制；現(xiàn)多層次）3人臉識(shí)別中的光照問(wèn)題4.人臉識(shí)別中的姿態(tài)問(wèn)題面部特征提取算法幾何特征提取統(tǒng)計(jì)特征提?。ㄖ鞒煞?、2維主成分、線性判別分析法、獨(dú)立成分分析法）頻率域特征提?。℅abol、離散余弦）運(yùn)動(dòng)特征提取代數(shù)特征提取面部特征的模式識(shí)別算法線性判別分析（Fisher線性判別）支持向量機(jī)SVM貝葉斯網(wǎng)絡(luò)隱馬爾可夫模型及其基本問(wèn)題人工神經(jīng)網(wǎng)絡(luò)模糊模式識(shí)別人臉識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)人臉識(shí)別系統(tǒng)的總體設(shè)計(jì)人臉識(shí)別系統(tǒng)的算法設(shè)計(jì)人臉識(shí)別系統(tǒng)的實(shí)現(xiàn)人臉識(shí)別系統(tǒng)的開(kāi)發(fā)與試驗(yàn)工具Intel?開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV簡(jiǎn)介:///forum/Intel?開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCVOpenCV概述

書(shū)目1什么是OpenCV2重要特性3誰(shuí)創(chuàng)建了它4新特征5從哪里下載OpenCV6假如在安裝/運(yùn)行/運(yùn)用OpenCV中遇到問(wèn)題7OpenCV參考手冊(cè)8中文翻譯者什么是OpenCVOpenCV是Intel?開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)。它由一系列C函數(shù)和少量C++類(lèi)構(gòu)成，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法。

opencv自帶的sample里面有很多識(shí)別例子，有人臉視頻跟蹤的，還有畫(huà)圖的，也有定位人臉的?？偩V：用C/C++編寫(xiě)的開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)。目的是為了實(shí)時(shí)應(yīng)用。獨(dú)立于操作系統(tǒng)/硬件/圖形管理器。通用的圖像/視頻載入、保存和獲得模塊。底層和高層的應(yīng)用開(kāi)發(fā)包。OpenCV模塊：cv–主要的OpenCV函數(shù)。cvaux–協(xié)助的（試驗(yàn)性的）OpenCV函數(shù)。cxcore–數(shù)據(jù)結(jié)構(gòu)與線性代數(shù)支持。highgui–圖像界面函數(shù)。重要特性O(shè)penCV擁有包括300多個(gè)C函數(shù)的跨平臺(tái)的中、高層API。它不依靠于其它的外部庫(kù)——盡管也可以運(yùn)用某些外部庫(kù)。OpenCV對(duì)非商業(yè)應(yīng)用和商業(yè)應(yīng)用都是免費(fèi)（FREE）的。（細(xì)微環(huán)節(jié)參考license）。OpenCV為Intel?IntegratedPerformancePrimitives(IPP)供應(yīng)了透亮接口。這意味著假如有為特定處理器優(yōu)化的的IPP庫(kù)，Op