動(dòng)態(tài)人臉識(shí)別技術(shù)與應(yīng)用研究PPT課件

1、2021/3/91C A S I P P動(dòng)態(tài)人臉識(shí)別技術(shù)與應(yīng)用研究動(dòng)態(tài)人臉識(shí)別技術(shù)與應(yīng)用研究 報(bào)告人報(bào)告人: 徐從東徐從東導(dǎo)導(dǎo) 師師:肖炳甲肖炳甲 研究員研究員羅家融羅家融 研究員研究員2021/3/92C A S I P P報(bào)告主要內(nèi)容報(bào)告主要內(nèi)容 一、系統(tǒng)概述一、系統(tǒng)概述二、研究現(xiàn)狀二、研究現(xiàn)狀三、下一步工作三、下一步工作2021/3/93C A S I P P一、系統(tǒng)概述一、系統(tǒng)概述系統(tǒng)設(shè)計(jì)為基于動(dòng)態(tài)圖像的人臉識(shí)別系統(tǒng)，設(shè)計(jì)本系統(tǒng)設(shè)計(jì)為基于動(dòng)態(tài)圖像的人臉識(shí)別系統(tǒng)，設(shè)計(jì)本系統(tǒng)的目的是通過前端的攝像頭判斷某一視野是否系統(tǒng)的目的是通過前端的攝像頭判斷某一視野是否有人，如果有人則對(duì)其身份進(jìn)行鑒定

2、有人，如果有人則對(duì)其身份進(jìn)行鑒定,進(jìn)而作出一進(jìn)而作出一些必要的反應(yīng)。些必要的反應(yīng)。 2021/3/94C A S I P P前前端端攝攝像像頭頭圖像采集圖像采集人臉檢測(cè)與分割人臉檢測(cè)與分割人臉識(shí)別人臉識(shí)別特征庫管理特征庫管理人臉特征庫人臉特征庫一、系統(tǒng)概述一、系統(tǒng)概述2021/3/95C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀圖像采集圖像采集圖像采集是指將前端攝像頭傳過來的信號(hào)采圖像采集是指將前端攝像頭傳過來的信號(hào)采集為視頻和圖片。主要內(nèi)容：集為視頻和圖片。主要內(nèi)容：（1）采集攝像頭傳來的視頻信號(hào)（2）對(duì)采集到的視頻進(jìn)行分割與取幀（3）對(duì)處理后的視頻的再現(xiàn)在Windows操作系統(tǒng)下，采用V

3、FW方法，對(duì)數(shù)字?jǐn)z像頭進(jìn)行操作，用VC6.0編程。（已完成）2021/3/96C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀根據(jù)采集的圖像，確定圖像中是否有人臉，如根據(jù)采集的圖像，確定圖像中是否有人臉，如果有則確定人臉的位置，并轉(zhuǎn)化成標(biāo)準(zhǔn)大小的果有則確定人臉的位置，并轉(zhuǎn)化成標(biāo)準(zhǔn)大小的人臉圖像。此處我們采用基于皮膚顏色的人臉人臉圖像。此處我們采用基于皮膚顏色的人臉檢測(cè)方法。首先在圖像中檢測(cè)人的皮膚，確定檢測(cè)方法。首先在圖像中檢測(cè)人的皮膚，確定皮膚的位置，以此作為人臉的候選區(qū)域。再在皮膚的位置，以此作為人臉的候選區(qū)域。再在這些候選區(qū)域中檢測(cè)臉部特征，進(jìn)一步確定人這些候選區(qū)域中檢測(cè)臉部特征，進(jìn)一步確

4、定人臉區(qū)域。臉區(qū)域。 人臉檢測(cè)與分割人臉檢測(cè)與分割2021/3/97C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割第一步：光線補(bǔ)償?shù)诙剑簩GB圖像轉(zhuǎn)化為YCBCR圖像第三步：建立皮膚顏色的高斯分布模型第四步：用高斯模型檢測(cè)出圖像中的皮膚區(qū)域第五步：求出皮膚區(qū)域中皮膚色調(diào)的馬氏距離圖第六步：用主成份分析法確定皮膚區(qū)域是否是人臉2021/3/98C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割第一步：光線補(bǔ)償?shù)诙剑簩GB圖像轉(zhuǎn)化為YCBCR圖像目的是減小外界光照的影響2021/3/99C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢

5、測(cè)與分割人臉檢測(cè)與分割第三步：建立皮膚顏色的高斯分布模型皮膚顏色服從高斯分布：)()(2/12/11|21)|(ssTsccseskincp（1）收集皮膚圖像樣本（收集了一些皮膚圖像樣本）（2）統(tǒng)計(jì)計(jì)算出皮膚顏色高斯分布的參數(shù)2021/3/910C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割第三步：建立皮膚顏色的高斯分布模型（2）統(tǒng)計(jì)計(jì)算出皮膚顏色高斯分布的參數(shù)（顏色分量只取CB與CR分量）均值與協(xié)方差：njjscn11njTsjsjsccn1)(112021/3/911C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割第四步：用高斯模型檢測(cè)

6、出圖像中的皮膚區(qū)域根據(jù)上面的高斯模型，可以直接計(jì)算出顏色c是皮膚的可能性的概率，也可用從顏色向量c 到均值向量的Mahalanobis距離來度量，計(jì)算公式如下：)()()(1ssTssccc2021/3/912C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割第四步：用高斯模型檢測(cè)出圖像中的皮膚區(qū)域（1）計(jì)算圖像的馬氏距離（2）根據(jù)馬氏距離確定圖像中各點(diǎn)像素是否是皮膚像素（3）對(duì)皮膚像素進(jìn)行膨脹與腐蝕（4）去除假區(qū)域（5）確定可能的人臉區(qū)域并縮放到標(biāo)準(zhǔn)人臉圖像大小。步驟如下：用MATLAB進(jìn)行編程2021/3/913C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)

7、與分割人臉檢測(cè)與分割原始圖像根據(jù)馬氏距離確定的皮膚像素2021/3/914C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割對(duì)皮膚像素進(jìn)行膨脹與腐蝕去除假區(qū)域2021/3/915C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割確定的可能人臉區(qū)域2021/3/916C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測(cè)與分割人臉檢測(cè)與分割第五步：求出皮膚區(qū)域中皮膚色調(diào)的馬氏距離圖（計(jì)算方法與前面完全一樣）第六步：用主成份分析法確定皮膚區(qū)域是否是人臉（與特征臉法類似，此處是用的馬氏距離圖）2021/3/917C A S I P P二、研究現(xiàn)狀二、研

8、究現(xiàn)狀根據(jù)前面檢測(cè)的人臉圖像，計(jì)算其特征，根據(jù)這些特征判斷是不是已知的人臉，從而確定人的身份。這些特征可以是具體的，也可是抽象的。 人臉識(shí)別人臉識(shí)別為了便于計(jì)算，可以將人臉圖像作為高維空間的一個(gè)點(diǎn)或一個(gè)向量，將這個(gè)高維向量映射到維數(shù)較低的向量空間，并用映射空間的向量表示人臉圖像，來進(jìn)行人臉識(shí)別。2021/3/918C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉識(shí)別人臉識(shí)別特征臉法：在人臉識(shí)別中，用主成份分析方法對(duì)人臉圖像的原始空間進(jìn)行轉(zhuǎn)換，即構(gòu)造人臉圖像數(shù)據(jù)集的協(xié)方差矩陣，對(duì)之進(jìn)行正交變換，求出協(xié)方差矩陣的特征向量，再依據(jù)特征值的大小對(duì)這些特征向量進(jìn)行排序，每一個(gè)向量表示人臉圖像中一個(gè)不同

9、數(shù)量的變量 ，這些特征向量表示特征的一個(gè)集合，它們共同表示一個(gè)人臉圖像。在人臉識(shí)別領(lǐng)域，人們能常稱這些特征向量為特征臉 。每一個(gè)體人臉圖像都可以確切地表示為一組特征臉的線性組合。 2021/3/919C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉識(shí)別人臉識(shí)別采用MATLAB進(jìn)行編程實(shí)現(xiàn)，仿真對(duì)象是ORL（Olivette Research Lab) 標(biāo)準(zhǔn)人臉庫算法訓(xùn)練過程算法訓(xùn)練過程1 構(gòu)造訓(xùn)練樣本集構(gòu)造訓(xùn)練樣本集trainingSet 即從人臉圖像目錄中讀取多個(gè)人臉圖像即從人臉圖像目錄中讀取多個(gè)人臉圖像到到trainingSet 中；中；2 計(jì)算出所有訓(xùn)練樣本的平均臉計(jì)算出所有訓(xùn)練樣本的

10、平均臉meanImage 和各訓(xùn)練樣本相對(duì)于平均和各訓(xùn)練樣本相對(duì)于平均臉的差值圖像臉的差值圖像differenceImages；3 用特征值分解的方法求差值圖像用特征值分解的方法求差值圖像differenceImages 的特征值和特征向的特征值和特征向量量Eimage Eval；4 求訓(xùn)練集中的每個(gè)差值圖像相對(duì)于各特征向量上的投影值求訓(xùn)練集中的每個(gè)差值圖像相對(duì)于各特征向量上的投影值xuWeight構(gòu)成的特征臉向量；構(gòu)成的特征臉向量；5 計(jì)算每一類的平均投影值計(jì)算每一類的平均投影值xuAveWeight（對(duì)于最近鄰法不需要這一對(duì)于最近鄰法不需要這一步）步）2021/3/920C A S I P

11、 P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉識(shí)別人臉識(shí)別算法識(shí)別過程算法識(shí)別過程1 讀取一幅待識(shí)別圖像讀取一幅待識(shí)別圖像recogniseImage 2 求取該圖像相對(duì)于平均臉求取該圖像相對(duì)于平均臉meanImage 差值圖像差值圖像recDiffIm3 求差值圖像求差值圖像recDiffIm 在各特征向量上的投影在各特征向量上的投影weight4 求該投影值求該投影值weight構(gòu)成的向量與各類的構(gòu)成的向量與各類的xuAveWeight構(gòu)成的向量之構(gòu)成的向量之間的歐氏距離間的歐氏距離xuDiffWeight（基于夾角最小法則：該投影值基于夾角最小法則：該投影值weight構(gòu)成的向量與各訓(xùn)練樣本的構(gòu)成的向

12、量與各訓(xùn)練樣本的xuWeight構(gòu)成的向量之間的夾角余弦構(gòu)成的向量之間的夾角余弦 ）5 判斷與最小的歐氏距離判斷與最小的歐氏距離xuDiffWeight則該圖像屬于該類則該圖像屬于該類（基于夾角最小法則：判斷最小的夾角余弦所對(duì)應(yīng)的訓(xùn)練樣本所屬類基于夾角最小法則：判斷最小的夾角余弦所對(duì)應(yīng)的訓(xùn)練樣本所屬類為該圖像的類別為該圖像的類別）2021/3/921C A S I P P主要包括對(duì)皮膚圖像庫的管理、對(duì)已知人臉圖像庫的管理，對(duì)各種學(xué)習(xí)方法的管理和計(jì)算出的人臉各種表征值的管理。人臉特征庫管理人臉特征庫管理二、研究現(xiàn)狀二、研究現(xiàn)狀2021/3/922C A S I P P（1）完成人臉檢測(cè)與分割的工作（MATLAB語言）三、下一步工作三、下一步工