動(dòng)態(tài)人臉識(shí)別技術(shù)與應(yīng)用研究

1、C A S I P P動(dòng)態(tài)人臉識(shí)別技術(shù)與應(yīng)用研究動(dòng)態(tài)人臉識(shí)別技術(shù)與應(yīng)用研究 報(bào)告人報(bào)告人: 徐從東徐從東導(dǎo)導(dǎo) 師師:肖炳甲肖炳甲 研究員研究員羅家融羅家融 研究員研究員C A S I P P報(bào)告主要內(nèi)容報(bào)告主要內(nèi)容 一、研究的目的和意義一、研究的目的和意義二、研究歷史與現(xiàn)狀二、研究歷史與現(xiàn)狀三、研究的一般過程三、研究的一般過程四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)五、技術(shù)關(guān)鍵點(diǎn)五、技術(shù)關(guān)鍵點(diǎn)六、進(jìn)度安排六、進(jìn)度安排C A S I P P一、研究的目的和意義一、研究的目的和意義人臉識(shí)別的一般概念：根據(jù)場景中的靜態(tài)圖像或人臉識(shí)別的一般概念：根據(jù)場景中的靜態(tài)圖像或視頻，利用給定的人臉數(shù)據(jù)庫信息，鑒別或確認(rèn)視頻，利

2、用給定的人臉數(shù)據(jù)庫信息，鑒別或確認(rèn)該場景中的一位或多位人的身份的過程。該場景中的一位或多位人的身份的過程。 C A S I P P一、研究的目的和意義一、研究的目的和意義近年來，隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，生物特征的自近年來，隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，生物特征的自動(dòng)識(shí)別技術(shù)得到廣泛研究與開發(fā)，如指紋識(shí)別、掌形動(dòng)識(shí)別技術(shù)得到廣泛研究與開發(fā)，如指紋識(shí)別、掌形識(shí)別等。人臉識(shí)別是基于臉像的身份鑒別，旨在使計(jì)識(shí)別等。人臉識(shí)別是基于臉像的身份鑒別，旨在使計(jì)算機(jī)具有通過臉像來鑒別身份的功能，是一種依托于算機(jī)具有通過臉像來鑒別身份的功能，是一種依托于圖像理解、模式識(shí)別、計(jì)算機(jī)視覺等高技術(shù)的智能系圖像理解、模式識(shí)

3、別、計(jì)算機(jī)視覺等高技術(shù)的智能系統(tǒng)，與其它人體生物特征識(shí)別技術(shù)相比具有直接、友統(tǒng)，與其它人體生物特征識(shí)別技術(shù)相比具有直接、友好、方便的特點(diǎn)，是最自然直接的手段，易于為用戶好、方便的特點(diǎn)，是最自然直接的手段，易于為用戶所接受。所接受。 C A S I P P一、研究的目的和意義一、研究的目的和意義人臉識(shí)別技術(shù)應(yīng)用前景廣泛人臉識(shí)別技術(shù)應(yīng)用前景廣泛, ,可用于銀行、海關(guān)的監(jiān)控可用于銀行、海關(guān)的監(jiān)控系統(tǒng)及自動(dòng)門衛(wèi)系統(tǒng)等。特別是在非接觸環(huán)境和不驚系統(tǒng)及自動(dòng)門衛(wèi)系統(tǒng)等。特別是在非接觸環(huán)境和不驚動(dòng)被檢測人的情況下，人臉識(shí)別技術(shù)的優(yōu)越性遠(yuǎn)遠(yuǎn)超動(dòng)被檢測人的情況下，人臉識(shí)別技術(shù)的優(yōu)越性遠(yuǎn)遠(yuǎn)超過已有的指紋等檢測方法。

4、自美國過已有的指紋等檢測方法。自美國“911”“911”事件以來，事件以來，這一技術(shù)引起廣泛關(guān)注。作為最容易隱蔽使用的識(shí)別這一技術(shù)引起廣泛關(guān)注。作為最容易隱蔽使用的識(shí)別技術(shù)，人臉識(shí)別成為當(dāng)今國際反恐和安全防范最重要技術(shù)，人臉識(shí)別成為當(dāng)今國際反恐和安全防范最重要的手段之一。的手段之一。 C A S I P P二、研究歷史與現(xiàn)狀二、研究歷史與現(xiàn)狀 （一）在人臉識(shí)別方面，人類最早的研究工（一）在人臉識(shí)別方面，人類最早的研究工作至少可追朔到二十世紀(jì)五十年代在心理學(xué)作至少可追朔到二十世紀(jì)五十年代在心理學(xué)方面的研究和六十年代在工程學(xué)方面的研究。方面的研究和六十年代在工程學(xué)方面的研究。 心理學(xué)：心理學(xué)：J.

5、 S. Bruner The perception of people 1954工程學(xué)：工程學(xué)：Bledsoe Facial Recognition Project Report 1964 C A S I P P二、研究歷史與現(xiàn)狀二、研究歷史與現(xiàn)狀（二）關(guān)于人臉的機(jī)器識(shí)別研究開始于二十（二）關(guān)于人臉的機(jī)器識(shí)別研究開始于二十世紀(jì)七十年代。世紀(jì)七十年代。 M.D. Kelly Visual Identification of People by Computer 1970 Picture Processing System by Computer Complex and Recognition o

6、f Human Faces Kanades Ph. D. Thesis 1973C A S I P P二、研究歷史與現(xiàn)狀二、研究歷史與現(xiàn)狀（三）（三）2020世紀(jì)世紀(jì)9090年代以來，隨著高精度高性年代以來，隨著高精度高性能計(jì)算機(jī)的出現(xiàn)，人臉識(shí)別方法有了重大突能計(jì)算機(jī)的出現(xiàn)，人臉識(shí)別方法有了重大突破，才進(jìn)入了真正的機(jī)器自動(dòng)識(shí)別階段。破，才進(jìn)入了真正的機(jī)器自動(dòng)識(shí)別階段。在用靜態(tài)圖像或視頻圖像做人臉識(shí)別的領(lǐng)域中，國際在用靜態(tài)圖像或視頻圖像做人臉識(shí)別的領(lǐng)域中，國際上形成了以下幾類主要的人臉識(shí)別方法：基于幾何特上形成了以下幾類主要的人臉識(shí)別方法：基于幾何特征的人臉識(shí)別方法；基于模板匹配的人臉識(shí)別方法；

7、征的人臉識(shí)別方法；基于模板匹配的人臉識(shí)別方法；基于基于K-L交換的特征臉方法；隱馬爾可夫模型方法；交換的特征臉方法；隱馬爾可夫模型方法；神經(jīng)網(wǎng)絡(luò)識(shí)別方法；基于動(dòng)態(tài)鏈接結(jié)構(gòu)的彈性圖匹配神經(jīng)網(wǎng)絡(luò)識(shí)別方法；基于動(dòng)態(tài)鏈接結(jié)構(gòu)的彈性圖匹配方法；利用運(yùn)動(dòng)和顏色信息對動(dòng)態(tài)圖像序列進(jìn)行人臉方法；利用運(yùn)動(dòng)和顏色信息對動(dòng)態(tài)圖像序列進(jìn)行人臉識(shí)別的方法等。識(shí)別的方法等。 C A S I P P二、研究歷史與現(xiàn)狀二、研究歷史與現(xiàn)狀近幾年來，國際上發(fā)表有關(guān)人臉識(shí)別方面的論文數(shù)量近幾年來，國際上發(fā)表有關(guān)人臉識(shí)別方面的論文數(shù)量大幅度增加，每年的國際會(huì)議上關(guān)于人臉識(shí)別的專題大幅度增加，每年的國際會(huì)議上關(guān)于人臉識(shí)別的專題也屢屢可

8、見。與此同時(shí)，一些科研單位和公司開始將也屢屢可見。與此同時(shí)，一些科研單位和公司開始將研究成果轉(zhuǎn)移為實(shí)用產(chǎn)品，如研究成果轉(zhuǎn)移為實(shí)用產(chǎn)品，如Miros公司的公司的TrueFace，Visinocs公司的公司的FaceIt，以及以及Zn Bochum Gmbh公司研公司研制的制的ZN-Face等等 C A S I P P二、研究歷史與現(xiàn)狀二、研究歷史與現(xiàn)狀（四）國內(nèi)關(guān)于人臉識(shí)別的研究始于（四）國內(nèi)關(guān)于人臉識(shí)別的研究始于2020世紀(jì)世紀(jì)8080年代，研究主要集中于部分高等院校和科年代，研究主要集中于部分高等院校和科研院所。研院所。 四川大學(xué)周激流等運(yùn)用積分投影法提取面部特征的關(guān)鍵四川大學(xué)周激流等運(yùn)用積

9、分投影法提取面部特征的關(guān)鍵點(diǎn)并用于識(shí)別點(diǎn)并用于識(shí)別 ；南京理工大學(xué)楊靜宇等采用奇異值分；南京理工大學(xué)楊靜宇等采用奇異值分解方法進(jìn)行人臉識(shí)別研究解方法進(jìn)行人臉識(shí)別研究 ；南京郵電大學(xué)顧慶壽等提；南京郵電大學(xué)顧慶壽等提出一種基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)判決樹的人臉識(shí)別方法，綜出一種基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)判決樹的人臉識(shí)別方法，綜合利用多種神經(jīng)網(wǎng)絡(luò)模型和特征提取算法。合利用多種神經(jīng)網(wǎng)絡(luò)模型和特征提取算法。中科院自動(dòng)化所、公安部等單位也進(jìn)行了人臉識(shí)別方面中科院自動(dòng)化所、公安部等單位也進(jìn)行了人臉識(shí)別方面的研究的研究 。C A S I P P二、研究歷史與現(xiàn)狀二、研究歷史與現(xiàn)狀（五）在人臉識(shí)別研究中存在的主要困難（五）在

10、人臉識(shí)別研究中存在的主要困難 人臉識(shí)別研究的困難主要存在于兩個(gè)方面：人臉模式的人臉識(shí)別研究的困難主要存在于兩個(gè)方面：人臉模式的可變性和外界場景的復(fù)雜性。可變性和外界場景的復(fù)雜性。 人臉模式的可變性主要包括：人臉圖像的大小、人臉的人臉模式的可變性主要包括：人臉圖像的大小、人臉的姿態(tài)、膚色、表情和遮避的可變性。姿態(tài)、膚色、表情和遮避的可變性。 外界場景的復(fù)雜性主要包括：復(fù)雜的圖像背景、不可控外界場景的復(fù)雜性主要包括：復(fù)雜的圖像背景、不可控的光照條件等。的光照條件等。 由于以上的兩個(gè)方面的原因，使人臉識(shí)別研究很難取得由于以上的兩個(gè)方面的原因，使人臉識(shí)別研究很難取得較滿意的結(jié)果。較滿意的結(jié)果。C A

11、S I P P三、研究的一般過程三、研究的一般過程輸入圖像或視頻輸入圖像或視頻人臉檢測與分割人臉檢測與分割特征提取特征提取人臉識(shí)別人臉識(shí)別輸出識(shí)別結(jié)果輸出識(shí)別結(jié)果C A S I P P三、研究的一般過程三、研究的一般過程輸入圖像或視頻輸入圖像或視頻人臉檢測與分割人臉檢測與分割特征提取特征提取人臉識(shí)別人臉識(shí)別輸出識(shí)別結(jié)果輸出識(shí)別結(jié)果人臉檢測與分割人臉檢測與分割：從任意的場景中檢測人臉的存從任意的場景中檢測人臉的存在并進(jìn)行定位，提取出一個(gè)人臉。在并進(jìn)行定位，提取出一個(gè)人臉。 C A S I P P三、研究的一般過程三、研究的一般過程輸入圖像或視頻輸入圖像或視頻人臉檢測與分割人臉檢測與分割特征提取特

12、征提取人臉識(shí)別人臉識(shí)別輸出識(shí)別結(jié)果輸出識(shí)別結(jié)果特征提取是指根據(jù)已知數(shù)據(jù)庫中的人臉的表征方法，從人特征提取是指根據(jù)已知數(shù)據(jù)庫中的人臉的表征方法，從人臉圖像中提取出該人臉圖像的表征值。人臉的表征方法很臉圖像中提取出該人臉圖像的表征值。人臉的表征方法很多，通常的方法有幾何特征、代數(shù)特征、特征臉、固定特多，通常的方法有幾何特征、代數(shù)特征、特征臉、固定特征模板等。征模板等。C A S I P P三、研究的一般過程三、研究的一般過程輸入圖像或視頻輸入圖像或視頻人臉檢測與分割人臉檢測與分割特征提取特征提取人臉識(shí)別人臉識(shí)別輸出識(shí)別結(jié)果輸出識(shí)別結(jié)果人臉識(shí)別：根據(jù)人臉的表征方法，選擇適當(dāng)?shù)钠ヅ洳呗詫⑷四樧R(shí)別：根據(jù)

13、人臉的表征方法，選擇適當(dāng)?shù)钠ヅ洳呗詫⒌玫降娜四樑c數(shù)據(jù)庫中的已知人臉相比較，確定是否為已得到的人臉與數(shù)據(jù)庫中的已知人臉相比較，確定是否為已知的人臉。知的人臉。 C A S I P P四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)系統(tǒng)設(shè)計(jì)為基于動(dòng)態(tài)圖像的人臉識(shí)別系統(tǒng)，設(shè)計(jì)本系統(tǒng)設(shè)計(jì)為基于動(dòng)態(tài)圖像的人臉識(shí)別系統(tǒng)，設(shè)計(jì)本系統(tǒng)的目的是通過前端的攝像頭判斷某一視野是否系統(tǒng)的目的是通過前端的攝像頭判斷某一視野是否有人，如果有人則對其身份進(jìn)行鑒定有人，如果有人則對其身份進(jìn)行鑒定,進(jìn)而作出一進(jìn)而作出一些必要的反應(yīng)。些必要的反應(yīng)。 C A S I P P四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)前前端端攝攝像像頭頭圖像采集圖像采集人臉檢測人臉檢測人臉識(shí)

14、別人臉識(shí)別特征庫管理特征庫管理人臉特征庫人臉特征庫C A S I P P四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)圖像采集圖像采集圖像采集是指將前端攝像頭傳過來的信圖像采集是指將前端攝像頭傳過來的信號(hào)采集為視頻和圖片。對于市場上常用號(hào)采集為視頻和圖片。對于市場上常用的數(shù)字?jǐn)z像頭，在的數(shù)字?jǐn)z像頭，在WINDOWS系統(tǒng)中，系統(tǒng)中，我們可采用我們可采用VFW方式或者方式或者DIRECTSHOW 方式來采集攝像頭傳方式來采集攝像頭傳過來的數(shù)字信號(hào)。過來的數(shù)字信號(hào)。C A S I P P四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)根據(jù)采集的圖像，確定圖像中是否有人臉，如根據(jù)采集的圖像，確定圖像中是否有人臉，如果有則確定人臉的位置，并轉(zhuǎn)化成標(biāo)

15、準(zhǔn)大小的果有則確定人臉的位置，并轉(zhuǎn)化成標(biāo)準(zhǔn)大小的人臉圖像。此處我們采用基于圖像顏色的人臉人臉圖像。此處我們采用基于圖像顏色的人臉檢測方法。首先在圖像中檢測人的皮膚，確定檢測方法。首先在圖像中檢測人的皮膚，確定皮膚的位置，以此作為人臉的候選區(qū)域。再在皮膚的位置，以此作為人臉的候選區(qū)域。再在這些候選區(qū)域中檢測臉部特征，進(jìn)一步確定人這些候選區(qū)域中檢測臉部特征，進(jìn)一步確定人臉區(qū)域。臉區(qū)域。 人臉檢測人臉檢測C A S I P P四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)光線補(bǔ)償光線補(bǔ)償 人臉檢測人臉檢測顏色模型轉(zhuǎn)換顏色模型轉(zhuǎn)換 構(gòu)造皮膚顏色模型構(gòu)造皮膚顏色模型皮膚區(qū)域檢測與分割皮膚區(qū)域檢測與分割 人臉區(qū)域的確定人臉區(qū)域

16、的確定 C A S I P P四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)根據(jù)檢測的人臉圖像，計(jì)算其特征，根據(jù)這些根據(jù)檢測的人臉圖像，計(jì)算其特征，根據(jù)這些特征判斷是不是已知的人臉，從而確定人的身特征判斷是不是已知的人臉，從而確定人的身份。份。 人臉識(shí)別人臉識(shí)別確定人臉的表征方法確定人臉的表征方法 構(gòu)造人臉的特征模型構(gòu)造人臉的特征模型 計(jì)算特征值進(jìn)行身份鑒定計(jì)算特征值進(jìn)行身份鑒定C A S I P P四、系統(tǒng)設(shè)計(jì)四、系統(tǒng)設(shè)計(jì)主要是對已知人臉的學(xué)習(xí)，并將得到的特征值主要是對已知人臉的學(xué)習(xí)，并將得到的特征值保存到人臉特征庫中保存到人臉特征庫中 人臉特征庫管理人臉特征庫管理確定已知人臉的圖像確定已知人臉的圖像 確定學(xué)習(xí)算

17、法確定學(xué)習(xí)算法 特征庫自動(dòng)和人工管理特征庫自動(dòng)和人工管理C A S I P P五、技術(shù)關(guān)鍵點(diǎn)五、技術(shù)關(guān)鍵點(diǎn) （一）皮膚顏色模型的構(gòu)建（一）皮膚顏色模型的構(gòu)建皮膚顏色模型皮膚顏色模型決定決定皮膚檢測、人臉檢測的精度，要構(gòu)皮膚檢測、人臉檢測的精度，要構(gòu)造合適的皮膚造合適的皮膚顏色顏色模型，首先必須確定使用何種顏色模型，首先必須確定使用何種顏色模型，在此基礎(chǔ)上，統(tǒng)計(jì)分析人的皮膚顏色的分布規(guī)模型，在此基礎(chǔ)上，統(tǒng)計(jì)分析人的皮膚顏色的分布規(guī)律，確定分布模型，根據(jù)大量的皮膚樣本，求出該模律，確定分布模型，根據(jù)大量的皮膚樣本，求出該模型的參數(shù)值，完成模型構(gòu)建。型的參數(shù)值，完成模型構(gòu)建。C A S I P P五、技術(shù)關(guān)鍵點(diǎn)五、技術(shù)關(guān)鍵點(diǎn) （二）人臉表征方式確定與人臉特征模型構(gòu)造（二）人臉表征方式確定與人臉特征模型構(gòu)造人臉表征方式的選取與人臉特征模型構(gòu)造密切相關(guān)，表人臉表征方式的選取與人臉特征模型構(gòu)造密切相關(guān)，表征方式選擇和人臉特征模型構(gòu)造的恰當(dāng)與否，決定著人征方式選擇和人臉特征模型構(gòu)造的恰當(dāng)與否，決定著人臉識(shí)別算法的精度。臉識(shí)別算法的精度。 C A S I P P五、技術(shù)關(guān)鍵點(diǎn)五、技術(shù)關(guān)鍵點(diǎn) （三）已知人臉的特征的學(xué)習(xí)算法（三）已知人臉的特征的學(xué)習(xí)算法已知人臉的特征的學(xué)習(xí)算法是特征庫管理模塊的核心，已知人臉的特征的學(xué)習(xí)算法是特征庫管理模塊的核