發(fā)明專利案例-人臉識(shí)別方法

...wd......wd......wd...說明書一種人臉比對(duì)方法技術(shù)領(lǐng)域本創(chuàng)造涉及生物特征識(shí)別技術(shù)領(lǐng)域，尤其涉及一種人臉比對(duì)的方法。背景技術(shù)人臉是人的重要信息，是區(qū)分不同的人的重要依據(jù)，因此人臉比對(duì)是較指紋、虹膜等技術(shù)更自然、更直接的比對(duì)方式。人臉比對(duì)是將圖像或視頻輸入的人臉通過提取特定的人臉特征信息，與數(shù)據(jù)庫中已注冊(cè)的人臉特征信息相比較，獲得匹配的人臉極其相似度，確認(rèn)是否與數(shù)據(jù)庫中人臉為同一。人臉比對(duì)在很多場(chǎng)合下都具有非常重要的作用，例如手機(jī)彩信中的視頻彩信、人機(jī)界面、權(quán)限控制、智能監(jiān)視系統(tǒng)等。比對(duì)的準(zhǔn)確性、精度和魯棒性問題一直是業(yè)界關(guān)心的主要問題。另外，在人臉比對(duì)中，如果當(dāng)前輸入一張靜態(tài)照片，其與數(shù)據(jù)庫中已注冊(cè)人臉相比對(duì)，也會(huì)得出匹配的結(jié)果，這將導(dǎo)致識(shí)別的客體并不是真實(shí)的人臉，導(dǎo)致無權(quán)限的人得到權(quán)限。因此，判斷當(dāng)前輸入為真實(shí)的人的臉還是靜態(tài)的照片非常重要，而現(xiàn)有技術(shù)還無法解決。因此，業(yè)界急需一種能夠確保輸入真實(shí)、具有較高準(zhǔn)確性與魯棒性的人臉比對(duì)技術(shù)。創(chuàng)造內(nèi)容為彌補(bǔ)現(xiàn)有技術(shù)的缺乏，本創(chuàng)造目的是提供一種人臉比對(duì)方法，解決人臉表情變化和姿態(tài)變化的影響，提高比對(duì)的準(zhǔn)確性、精度和魯棒性，保障比對(duì)的真實(shí)性。為了實(shí)現(xiàn)上述目的，本創(chuàng)造的技術(shù)方案如下：一種人臉比對(duì)方法，包含：人臉比對(duì)方法，其特征在于，包含：步驟601，人臉跟蹤，獲取特征點(diǎn)；步驟603，提取詳細(xì)的人臉特征數(shù)據(jù)；步驟605人臉比對(duì)，將該人臉特征數(shù)據(jù)與人臉數(shù)據(jù)庫中的每一個(gè)人臉的特征數(shù)據(jù)進(jìn)展比對(duì)，獲得其相似性；具體方法為：選取數(shù)據(jù)庫中的一個(gè)人臉k的特征模板庫，；對(duì)特征模板，，計(jì)算輸入人臉的特征與之間的相似度Skji；計(jì)算輸入人臉與特征模板的相似度；計(jì)算輸入人臉與人臉k的相似度為；重復(fù)步驟〔1〕-〔4〕，獲得輸入人臉與數(shù)據(jù)庫中所有K個(gè)人臉的相似度，取其中最大者，得到其對(duì)應(yīng)的人臉k’；其中，M為人的特征模板個(gè)數(shù)，N為選取的人的人臉特征點(diǎn)個(gè)數(shù)，i為人臉特征。步驟607，判斷是否已找到匹配的人臉；為相似度閾值，假設(shè)，那么判斷輸入人臉與數(shù)據(jù)庫中的人臉k’相匹配；步驟608，判斷表情是否有顯著變化；根據(jù)連續(xù)多幀人臉特征點(diǎn)進(jìn)展分析，包括但不限于：嘴巴的張開與閉合，眼睛的張開與閉合，判斷人臉的表情是否發(fā)生了顯著的變化；在人臉表情有顯著變化時(shí)，執(zhí)行步驟609，輸出比中的人臉。其中，該步驟603提取詳細(xì)的人臉特征數(shù)據(jù)的具體方法為：根據(jù)步驟601人臉檢測(cè)跟蹤得到的準(zhǔn)確的人臉特征點(diǎn)位置，插值獲得其他選取的人臉特征點(diǎn)的位置；根據(jù)雙眼位置對(duì)圖像進(jìn)展歸一化處理；計(jì)算得到人臉特征點(diǎn)i的Gabor特征，所有特征點(diǎn)的Gabor特征即組成一個(gè)人臉特征數(shù)據(jù)，，N為選取的人臉特征點(diǎn)個(gè)數(shù)。其中，該人臉特征點(diǎn)為人臉上的顯著特征點(diǎn)，人臉特征點(diǎn)的特征選取所有80個(gè)Gabor復(fù)系數(shù)，表達(dá)完整的人臉信息，完整表達(dá)不同人臉之間的差異性。其中，該步驟601人臉跟蹤，獲取特征點(diǎn)所選取的人臉特征為人臉的共同性的特征。進(jìn)一步的，該人臉比對(duì)方法還包含步驟604人臉注冊(cè)；保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù)庫；具體方法為：將步驟603獲得的詳細(xì)人臉特征數(shù)據(jù)參加此人的人臉特征模板庫，，M為此人的特征模板個(gè)數(shù)，保存至數(shù)據(jù)庫。其中，該步驟601人臉跟蹤，獲取特征點(diǎn)的具體包含離線訓(xùn)練方法和在線跟蹤方法；該離線訓(xùn)練方法包含多層構(gòu)造人臉模型訓(xùn)練方法和人臉特征點(diǎn)的離線模板訓(xùn)練方法；該多層構(gòu)造人臉模型訓(xùn)練方法為該在線跟蹤方法提供人臉模型，該離線模板訓(xùn)練方法為該在線跟蹤方法提供人臉特征點(diǎn)離線模板；該多層構(gòu)造人臉模型訓(xùn)練方法包含如下步驟：步驟301，選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；步驟302，對(duì)人臉圖像的特征點(diǎn)進(jìn)展標(biāo)記；步驟3031-3061，得到基準(zhǔn)形狀模型；步驟3032-3062，得到全局形狀模型；步驟3033-3063，得到局部形狀模型。其中，該基準(zhǔn)形狀模型、該全局形狀模型與該局部形狀模型的獲得方法為：用s表示一個(gè)人臉形狀向量：， 其中，為平均人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量；人臉形狀向量s表示為，其中、和分別表示基準(zhǔn)特征點(diǎn)、全局特征點(diǎn)和局部特征點(diǎn)；剛性基準(zhǔn)形狀的點(diǎn)分布模型全局基準(zhǔn)形狀的點(diǎn)分布模型局部形狀模型的點(diǎn)分布模型第i個(gè)局部形狀向量為，其中，分別表示屬于第i個(gè)局部形狀的全局和局部特征點(diǎn)。其中，該人臉特征點(diǎn)的表達(dá)方法為：給定灰度圖像中的一個(gè)像素，其附近的局部圖像中的像素為，一系列Gabor系數(shù)可表達(dá)該點(diǎn)附近的局部外觀，定義為：其中Gabor核為高斯包絡(luò)函數(shù)限定的平面波，其中，為頻率，為方向，為特征小波矢量，為特征小波x方向矢量，為特征小波y方向矢量，i為復(fù)數(shù)算子，優(yōu)選，，，，且頻率波寬設(shè)為；Gabor核由10個(gè)頻率、8個(gè)方向組成80個(gè)Gabor復(fù)系數(shù)，用以表達(dá)像素點(diǎn)附近的外觀特征，用一個(gè)jet向量表示這些系數(shù)，，其中，和分別為第j個(gè)Gabor系數(shù)的幅值和相位；對(duì)80個(gè)Gabor復(fù)系數(shù)進(jìn)展實(shí)驗(yàn)篩選，得到該人臉特征點(diǎn)表達(dá)所用的小波特征。其中，該人臉特征點(diǎn)的離線模板訓(xùn)練方法如下：步驟401，選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；步驟402，對(duì)人臉圖像的特征點(diǎn)進(jìn)展標(biāo)記；步驟403，對(duì)圖像進(jìn)展歸一化處理；步驟404，計(jì)算所有樣本的Gabor特征；步驟405，獲得各樣本Gabor特征之間的相似度；其中，和為Gabor特征和分別為Gabor系數(shù)的幅值和相位，；為和之間的相對(duì)位移；如果，其中，，，，和類似地進(jìn)展定義；對(duì)每個(gè)特征點(diǎn)，計(jì)算N個(gè)Gabor特征兩兩之間的相似度，當(dāng)其相似度大于閾值ST時(shí)即認(rèn)為兩者相似，ST可通過實(shí)驗(yàn)選取，選取0.85；步驟406，計(jì)算各樣本Gabor特征的相似特征數(shù)n；步驟407，選擇n最大的樣本Gabor特征；步驟408，判斷n是否大于nT；假設(shè)步驟408的判斷結(jié)果為否，那么執(zhí)行步驟411，處理下一特征點(diǎn)，然后返回步驟404繼續(xù)執(zhí)行；假設(shè)步驟408的判斷結(jié)果為是，那么執(zhí)行步驟409，將Gabor特征參加離線模板；對(duì)每一個(gè)Gabor特征，設(shè)有ni個(gè)與其相似的Gabor特征，將ni值最大且大于閾值nT的Gabor特征參加樣本特征集，nT也通過實(shí)驗(yàn)選取，選取nT=2；步驟410，將該Gabor特征從樣本中刪除，同時(shí)將與其相似度大于閾值ST’的Gabor特征從中刪除，ST’大于ST，選取0.9；返回步驟405，對(duì)步驟405-409作迭代計(jì)算；對(duì)重復(fù)上述過程，直到選不出樣本為止；最終的樣本特征集即為該人臉特征點(diǎn)的特征樣本，作為人臉特征的離線模板提供給該在線跟蹤方法使用。其中，該在線跟蹤方法包含：步驟501，初始化，初始化變量和參數(shù)設(shè)置，參數(shù)包含但不限于圖像格式、分辨率、顏色空間，跟蹤模式；步驟502，輸入一幀圖像；步驟503，圖像歸一化，將輸入圖像轉(zhuǎn)換成標(biāo)準(zhǔn)尺寸的圖像；步驟504，判斷是否重新檢測(cè)；假設(shè)步驟504的判斷結(jié)果為是，那么執(zhí)行步驟505，利用基準(zhǔn)形狀模型，基于ASM形狀約束，對(duì)齊基準(zhǔn)特征點(diǎn)；步驟506，利用全局形狀模型，基于ASM形狀約束，對(duì)齊全局特征點(diǎn)；步驟507，利用局部形狀模型，基于ASM形狀約束，對(duì)齊局部特征點(diǎn)；步驟508，更新在線特征模板，根據(jù)得到的臉部特征點(diǎn)的位置更新其小波特征作為該人臉的在線特征模板；步驟515，估計(jì)人臉姿態(tài)，根據(jù)六個(gè)根基點(diǎn)的位置估計(jì)人臉的姿態(tài)；返回步驟502循環(huán)執(zhí)行在線跟蹤方法步驟502至步驟508以及步驟515并執(zhí)行步驟516，輸出人臉特征點(diǎn)及人臉姿態(tài)信息；假設(shè)步驟504的判斷結(jié)果假設(shè)為否，那么執(zhí)行步驟509，基于在線特征模板更新眼角點(diǎn)；然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點(diǎn)；然后執(zhí)行步驟511，更新其他特征點(diǎn)；然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀；然后執(zhí)行步驟513，基于形狀約束更新全局特征點(diǎn)；然后執(zhí)行步驟514，基于形狀約束更新局部特征點(diǎn)；然后返回步驟508，繼續(xù)執(zhí)行在線跟蹤方法步驟509至步驟514。本創(chuàng)造的有益效果是：1.本創(chuàng)造選取人臉上的顯著特征點(diǎn)作為比對(duì)依據(jù)，人臉特征點(diǎn)的特征從所有80個(gè)Gabor復(fù)系數(shù)中選取，表達(dá)了完整的人臉信息，使不同人臉之間的差異最大化，人臉比對(duì)的準(zhǔn)確性和魯棒性較好。2.使用本創(chuàng)造的人臉比對(duì)方法，消除了人臉表情、姿態(tài)的影響，在比對(duì)中判斷出了人臉的真實(shí)性，使得跟蹤和比對(duì)準(zhǔn)確性、精度和魯棒性更高。3.使用本創(chuàng)造，能夠判斷當(dāng)前輸入為真實(shí)的人臉還是靜態(tài)的照片。附圖說明下面結(jié)合附圖，通過對(duì)本創(chuàng)造的具體實(shí)施方式的詳細(xì)描述，將使本創(chuàng)造的技術(shù)方案及其他有益效果顯而易見。圖1為本創(chuàng)造人臉跟蹤方法的組成框架圖；圖2為本創(chuàng)造的人臉特征點(diǎn)示意圖；圖3為本創(chuàng)造多層構(gòu)造人臉模型訓(xùn)練方法的流程圖；圖4為本創(chuàng)造人臉特征點(diǎn)的離線模板訓(xùn)練方法流程圖；圖5為本創(chuàng)造人臉跟蹤方法的流程圖；圖6為本創(chuàng)造人臉比對(duì)方法的流程圖。具體實(shí)施方式為了使本創(chuàng)造實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與成效易于明白了解，下面進(jìn)一步闡述本創(chuàng)造。本創(chuàng)造人臉比對(duì)方法主要包括兩個(gè)局部，一是訓(xùn)練局部，即注冊(cè)局部，一是比對(duì)局部。無論是訓(xùn)練局部，還是比對(duì)局部，都需先對(duì)人臉特征進(jìn)展檢測(cè)、跟蹤，從而得到準(zhǔn)確的人臉特征點(diǎn)的位置。圖1-圖5示出了人臉檢測(cè)跟蹤、獲取特征點(diǎn)的具體方法。下面詳細(xì)說明：圖1表示了本創(chuàng)造跟蹤方法的組成框架。本創(chuàng)造人臉跟蹤方法包含離線訓(xùn)練方法102和在線跟蹤方法101兩局部。離線訓(xùn)練方法102包含：多層構(gòu)造人臉模型訓(xùn)練方法1021和人臉特征點(diǎn)的離線模板訓(xùn)練方法1022；前者為在線跟蹤方法101提供人臉模型103，后者為人臉跟蹤方法101提供人臉特征點(diǎn)離線模板104。圖2為本創(chuàng)造人臉特征點(diǎn)示意圖。圖3為本創(chuàng)造多層構(gòu)造人臉模型訓(xùn)練方法的流程圖。下面結(jié)合圖2與圖3詳細(xì)說明本創(chuàng)造多層構(gòu)造人臉模型訓(xùn)練方法。人的面部特征具有很大的相似性，這些特征點(diǎn)的相對(duì)運(yùn)動(dòng)表達(dá)了人臉表情和人臉姿態(tài)的變化。給定這些人臉的特征點(diǎn)，用人臉特征點(diǎn)集的統(tǒng)計(jì)關(guān)系表示人臉模型，即可以構(gòu)建出一個(gè)點(diǎn)分布模型〔PDM〕來表達(dá)人臉的可能的形狀變化。本創(chuàng)造基于ASM的原理，從一系列人臉圖像訓(xùn)練得到多層構(gòu)造人臉模型。多層構(gòu)造人臉模型訓(xùn)練方法首先執(zhí)行步驟301，選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本。然后執(zhí)行步驟302，對(duì)人臉圖像的特征點(diǎn)進(jìn)展標(biāo)記。然后執(zhí)行步驟3031-3061，得到基準(zhǔn)形狀模型。具體為：步驟3031，基于剛性基準(zhǔn)點(diǎn)組成形狀向量，來表示基準(zhǔn)特征點(diǎn)的位置；然后執(zhí)行步驟3041，根據(jù)Procrustes變換對(duì)齊所有形狀向量到一個(gè)統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟3051，由PCA方法獲得形狀約束參數(shù)，步驟3061，得到基準(zhǔn)形狀模型。執(zhí)行步驟3032-3062，得到全局形狀模型。具體為：步驟3032，基于全局基準(zhǔn)點(diǎn)組成形狀向量，來表示全局特征點(diǎn)的位置；然后執(zhí)行步驟3042，根據(jù)Procrustes變換對(duì)齊所有形狀向量到一個(gè)統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟3052，由PCA方法獲得形狀約束參數(shù)，步驟3062，得到全局形狀模型。執(zhí)行步驟3033-3063，得到局部形狀模型。具體為：步驟3033，基于局部基準(zhǔn)點(diǎn)組成形狀向量，來表示局部特征點(diǎn)的位置；然后執(zhí)行步驟3043，根據(jù)Procrustes變換對(duì)齊所有形狀向量到一個(gè)統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟3053，由PCA方法獲得形狀約束參數(shù)，步驟3063，得到局部形狀模型。步驟3031-3061、步驟3032-3062和步驟3033-3063的計(jì)算方法具體為：用向量s表示一個(gè)人臉形狀：， 〔1〕其中，為平均人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量。現(xiàn)有的ASM方法通過迭代過程搜索人臉形狀，迭代中所有的特征點(diǎn)位置同時(shí)更新，也就是說特征點(diǎn)之間的相互影響是簡(jiǎn)單的平行關(guān)系。鑒于人臉的復(fù)雜構(gòu)造，以及表情豐富的特點(diǎn)，這種簡(jiǎn)單的平行機(jī)制并缺乏以描述特征點(diǎn)之間的相互關(guān)系。例如，假設(shè)眼角位置固定，那么眼睛的開閉并不能影響口、鼻的特征點(diǎn)定位。本創(chuàng)造將人臉特征點(diǎn)組織為多個(gè)層次，以更好地適應(yīng)頭部運(yùn)動(dòng)、表情變化等對(duì)特征點(diǎn)位置的不同影響，我們稱為多層構(gòu)造人臉模型。第一類為基準(zhǔn)特征點(diǎn)，基本只受頭部姿態(tài)的影響，如眼角、鼻端等。第二類為全局特征點(diǎn)，用來約束整個(gè)人臉的全局形狀，包括基準(zhǔn)特征點(diǎn)和其他關(guān)鍵點(diǎn)、如嘴角、眉端等。第三類為局部特征點(diǎn)，只用來約束人臉各組成局部如眼、嘴、眉的細(xì)部特征，位于其輪廓邊界上，如上下嘴唇的輪廓點(diǎn)，上下眼瞼等，主要受表情變化影響?；诖耍緞?chuàng)造構(gòu)建的多層構(gòu)造人臉模型說明如下：如上所述，人臉形狀向量s可表示為，其中、和分別表示基準(zhǔn)特征點(diǎn)、全局特征點(diǎn)和局部特征點(diǎn)?；诖?，人臉形狀模型可分為剛性基準(zhǔn)形狀、全局基準(zhǔn)形狀、以及以下局部形狀：左眉、右眉、左眼、右眼、鼻、嘴等。對(duì)于剛性基準(zhǔn)形狀和全局基準(zhǔn)形狀，其點(diǎn)分布模型〔PDM〕可以從訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到如下， 〔2〕 〔3〕對(duì)于局部形狀模型，第i個(gè)局部形狀向量為，其中，分別表示屬于第i個(gè)局部形狀的全局和局部特征點(diǎn)。亦有， 〔4〕以上〔2〕、〔3〕、〔4〕三式即構(gòu)成了本創(chuàng)造的多層構(gòu)造人臉模型。其中各參數(shù)均基于ASM的原理通過訓(xùn)練得到。圖2顯示了本創(chuàng)造優(yōu)選的一組特征點(diǎn)，其中所有的星形點(diǎn)201為基準(zhǔn)特征點(diǎn)，所有的星形點(diǎn)201和空心原點(diǎn)202組成全局特征點(diǎn)，實(shí)心原點(diǎn)203為局部特征點(diǎn)。圖4為本創(chuàng)造人臉特征點(diǎn)的離線模板訓(xùn)練方法流程圖。人臉特征點(diǎn)的特征表達(dá)有很多種，如灰度特征、邊緣特征、小波特征等等。本創(chuàng)造采用多尺度多方向Gabor小波來建模特征點(diǎn)附近的局部外觀，表達(dá)人臉特征點(diǎn)。基于Gabor小波的特征表達(dá)具有人類視覺的心理物理根基，并且對(duì)于光照變化以及外觀變化下的表情識(shí)別、人臉識(shí)別和特征點(diǎn)表示等都具有很好的魯棒性。本創(chuàng)造小波特征的計(jì)算方法為：給定灰度圖像中的一個(gè)像素，其附近的局部圖像中的像素為，一系列Gabor系數(shù)可表達(dá)該點(diǎn)附近的局部外觀，定義為： 〔5〕其中Gabor核為高斯包絡(luò)函數(shù)限定的平面波 〔6〕 〔7〕其中，為頻率，為方向，為特征小波矢量，為特征小波x方向矢量，為特征小波y方向矢量，i為復(fù)數(shù)算子，優(yōu)選，，，，且頻率波寬設(shè)為。由此，本創(chuàng)造優(yōu)選的Gabor核由10個(gè)頻率、8個(gè)方向組成80個(gè)Gabor復(fù)系數(shù)，用以表達(dá)像素點(diǎn)附近的外觀特征。特別地，可用一個(gè)jet向量表示這些系數(shù)，可寫成， 〔8〕其中，和分別為第j個(gè)Gabor系數(shù)的幅值和相位。給定一幅圖像，每個(gè)標(biāo)記的人臉特征點(diǎn)都可以計(jì)算得到Gabor小波的jet向量，該jet向量即表達(dá)了該點(diǎn)的特征。然而，針對(duì)每一個(gè)人臉特征點(diǎn)，并非所有80個(gè)Gabor復(fù)系數(shù)均適合表達(dá)該特征。為使其能表達(dá)各種人臉的共同特征，須對(duì)80個(gè)Gabor復(fù)系數(shù)進(jìn)展實(shí)驗(yàn)篩選。以嘴角特征點(diǎn)為例，本創(chuàng)造優(yōu)選的Gabor復(fù)系數(shù)為：。由此，優(yōu)選出的即為本創(chuàng)造方法中所用的小波特征。本創(chuàng)造人臉特征點(diǎn)的離線模板訓(xùn)練方法如下：首先執(zhí)行步驟401，選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本。步驟402，對(duì)人臉圖像的特征點(diǎn)進(jìn)展標(biāo)記。步驟403，對(duì)圖像進(jìn)展歸一化處理，以保證所有特征點(diǎn)的Gabor特征的計(jì)算條件是相近的，從而保證特征采樣的準(zhǔn)確性。根據(jù)雙眼的位置，得到雙眼的中點(diǎn)作為基準(zhǔn)點(diǎn)，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對(duì)圖像進(jìn)展旋轉(zhuǎn)，同時(shí)對(duì)圖像進(jìn)展縮放以使雙眼之間的距離〔瞳距〕到達(dá)一特定值。通過這種歸一化處理后能保證Gabor特征表達(dá)的精度和魯棒性。然后執(zhí)行步驟404，計(jì)算所有樣本的Gabor特征。具體方法是：將標(biāo)記的特征點(diǎn)坐標(biāo)轉(zhuǎn)換至歸一化圖像中，對(duì)每個(gè)人臉特征點(diǎn)，根據(jù)式〔5〕-〔8〕計(jì)算其Gabor特征。那么對(duì)每一個(gè)特征點(diǎn)而言，共得N個(gè)Gabor特征，。然后，執(zhí)行步驟405，獲得各樣本Gabor特征之間的相似度；方法為：假設(shè)Gabor特征和，其相似度可由下式計(jì)算得到： 〔9〕其中，為和之間的相對(duì)位移，可由下式求得 〔10〕如果，其中，，，，和類似地進(jìn)展定義。對(duì)每個(gè)特征點(diǎn)，根據(jù)式〔9〕、〔10〕計(jì)算N個(gè)Gabor特征兩兩之間的相似度，當(dāng)其相似度大于閾值ST時(shí)即認(rèn)為兩者相似，ST可通過實(shí)驗(yàn)選取，選取0.85。然后執(zhí)行步驟406，計(jì)算各樣本Gabor特征的相似特征數(shù)n。然后執(zhí)行步驟407，選擇n最大的樣本Gabor特征。然后執(zhí)行步驟408，判斷n是否大于nT。假設(shè)步驟408的判斷結(jié)果為否，那么執(zhí)行步驟411，處理下一特征點(diǎn)。然后返回步驟404，繼續(xù)執(zhí)行本創(chuàng)造方法。假設(shè)步驟408的判斷結(jié)果為是，那么執(zhí)行步驟409，將Gabor特征參加離線模板。對(duì)每一個(gè)Gabor特征，設(shè)有ni個(gè)與其相似的Gabor特征，將ni值最大且大于閾值nT的Gabor特征參加樣本特征集，nT也通過實(shí)驗(yàn)選取，選取nT=2。然后執(zhí)行步驟410，將該Gabor特征從樣本中刪除，同時(shí)將與其相似度大于閾值ST’的Gabor特征從中刪除，這里ST’應(yīng)大于ST，選取0.9。然后返回步驟405，對(duì)步驟405-409作迭代計(jì)算。對(duì)重復(fù)上述過程，直到選不出樣本為止。最終的樣本特征集即為該人臉特征點(diǎn)的特征樣本，作為人臉特征的離線模板提供給在線跟蹤使用。圖5為本創(chuàng)造人臉跟蹤方法的流程圖。本創(chuàng)造方法包含：步驟501，初始化。本步驟主要初始化引擎，包含：初始化變量，參數(shù)設(shè)置，參數(shù)包括圖像格式、分辨率、顏色空間，跟蹤模式等。然后執(zhí)行步驟502，輸入一幀圖像。本步驟是根據(jù)步驟501設(shè)置好的格式輸入一幀圖像數(shù)據(jù)。然后執(zhí)行步驟503，圖像歸一化。本步驟是對(duì)輸入圖像進(jìn)展歸一化處理。即根據(jù)前一幀的人臉信息，主要為雙眼的位置信息，將輸入圖像轉(zhuǎn)換成標(biāo)準(zhǔn)尺寸的圖像，優(yōu)選的尺寸可為256×256。對(duì)人臉圖像進(jìn)展歸一化處理，是為了保證所有特征點(diǎn)的計(jì)算條件相近，從而保證特征采樣的準(zhǔn)確性。根據(jù)雙眼的位置，得到雙眼的中點(diǎn)作為基準(zhǔn)點(diǎn)，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對(duì)圖像進(jìn)展旋轉(zhuǎn)，同時(shí)對(duì)圖像進(jìn)展縮放以使雙眼之間的距離〔瞳距〕到達(dá)一特定值。通過這種歸一化處理后能保證Gabor特征表達(dá)的精度和魯棒性。然后執(zhí)行步驟504，判斷是否重新檢測(cè)。本步驟是根據(jù)前一幀的檢測(cè)結(jié)果判斷是否重新進(jìn)展人臉特征檢測(cè)，假設(shè)為第一幀圖像，那么直接進(jìn)展特征檢測(cè)。步驟504的判斷結(jié)果假設(shè)為是，那么繼續(xù)步驟505，基于形狀約束獲得基準(zhǔn)特征點(diǎn)。本步驟是利用基準(zhǔn)形狀模型517，基于ASM形狀約束對(duì)齊基準(zhǔn)特征點(diǎn)，基準(zhǔn)特征點(diǎn)不會(huì)因?yàn)楸砬榈淖兓\(yùn)動(dòng)，如眼角、鼻端?；鶞?zhǔn)形狀模型517的獲得方法請(qǐng)參見圖2和圖3及其對(duì)應(yīng)說明。步驟505基于形狀約束獲得基準(zhǔn)特征點(diǎn)的具體方法為:首先需對(duì)圖像進(jìn)展歸一化預(yù)處理。其次，根據(jù)雙眼的位置確定剛性基準(zhǔn)點(diǎn)的位置。根據(jù)雙眼位置和人臉模型中的剛性基準(zhǔn)形狀模型對(duì)齊剛性基準(zhǔn)點(diǎn)，獲得這些基準(zhǔn)點(diǎn)的初始位置。然后根據(jù)式〔2〕迭代更新其形狀參數(shù)，直到滿足迭代終止條件，即獲得剛性基準(zhǔn)點(diǎn)的準(zhǔn)確位置。迭代過程中，剛性基準(zhǔn)點(diǎn)的精度根據(jù)其Gabor特征與離線特征模板的相似度進(jìn)展判斷。具體步驟如下：對(duì)每一剛性基準(zhǔn)點(diǎn)i，計(jì)算其當(dāng)前位置的Gabor特征；根據(jù)式〔9〕、〔10〕計(jì)算與離線特征模板中每個(gè)Gabor特征的相似度，取相似度最大者作為與模板的相似度Si，并獲得其相對(duì)位移為。當(dāng)滿足以下條件之一時(shí)，迭代過程完畢，否那么轉(zhuǎn)入步驟4〕：a)所有剛性基準(zhǔn)點(diǎn)的平均相似度小于上一次迭代的平均相似度；b)90%以上的點(diǎn)的絕對(duì)位移值足夠小，即，這里閾值dT根據(jù)所需保證的精度確定，如可選dT=2；對(duì)相對(duì)位移值進(jìn)展限定，減少突變誤差，使得，這里閾值dxT和dyT根據(jù)所需保證的精度確定，如可選dxT=dyT=10；根據(jù)對(duì)剛性基準(zhǔn)點(diǎn)坐標(biāo)進(jìn)展更新：；根據(jù)更新的坐標(biāo)和剛性基準(zhǔn)形狀模型及式〔2〕更新形狀參數(shù)。根據(jù)更新的形狀參數(shù)獲得新的剛性基準(zhǔn)點(diǎn)坐標(biāo)值；迭代次數(shù)t增加1次。假設(shè)t超過閾值，那么迭代過程完畢，否那么轉(zhuǎn)入步驟〔1〕。然后執(zhí)行步驟506，基于形狀約束獲得全局特征點(diǎn)。本步驟是利用全局形狀模型518，基于ASM形狀約束，對(duì)齊全局特征點(diǎn)。全局特征點(diǎn)除包括8個(gè)基準(zhǔn)特征點(diǎn)外，還包括其他受表情影響較小的點(diǎn)，如嘴角、眉尖等。獲得全局形狀模型518的具體方法請(qǐng)參見圖2和圖3及其對(duì)應(yīng)說明。步驟506的基于形狀約束獲得全局特征點(diǎn)的具體方法與步驟505一樣,不同的是其利用剛性基準(zhǔn)點(diǎn)的位置以及全局基準(zhǔn)形狀模型，并在迭代中固定剛性基準(zhǔn)點(diǎn)的位置不變。然后執(zhí)行步驟507，基于形狀約束獲得局部特征點(diǎn)。本步驟是針對(duì)人臉的每一個(gè)局部特征，利用局部形狀模型519，基于ASM形狀約束對(duì)齊局部特征點(diǎn)。本創(chuàng)造人臉的局部特征點(diǎn)主要包括左眼、右眼、嘴、鼻的輪廓點(diǎn)，如左〔右〕眼包括眼角、上、下眼瞼等，嘴部包括兩個(gè)嘴角、上/下唇的中點(diǎn)，以及上/下唇中點(diǎn)與嘴角之間的輪廓點(diǎn)等。獲得局部形狀模型519的具體方法請(qǐng)參見圖2和圖3及其對(duì)應(yīng)說明。步驟507基于形狀約束獲得局部特征點(diǎn)的具體方法與步驟505一樣,不同的是其利用局部形狀模型，并固定全局基準(zhǔn)點(diǎn)的位置不變。然后執(zhí)行步驟508，更新在線特征模板。本步驟是根據(jù)得到的臉部特征點(diǎn)計(jì)算其Gabor小波特征，作為新的在線特征模板。然后執(zhí)行步驟515，估計(jì)人臉姿態(tài)。本步驟是根據(jù)6個(gè)根基點(diǎn)的位置估計(jì)人臉的姿態(tài)，6個(gè)根基點(diǎn)為：4個(gè)眼角點(diǎn)和2個(gè)鼻端點(diǎn)。本創(chuàng)造既可以構(gòu)建多層構(gòu)造人臉模型以適應(yīng)人臉表情的變化，也可以構(gòu)建不同角度下的人臉形狀模型以適應(yīng)人臉角度的變化，不再贅述。然而，構(gòu)建的人臉模型畢竟只能采樣有限的角度，如正面人臉，左側(cè)面人臉45度，右側(cè)面人臉45度，等等。為保證人臉特征跟蹤的精度，需估計(jì)出人臉的角度以選取適當(dāng)?shù)娜四樞螤钅Ｐ?，并?duì)其進(jìn)展角度的補(bǔ)償。本創(chuàng)造根據(jù)人臉的剛性基準(zhǔn)特征點(diǎn)的位置即能較好地估計(jì)出人臉角度，說明如下。為減少人臉表情的影響，需選取人臉的基準(zhǔn)特征點(diǎn)進(jìn)展人臉姿態(tài)的估計(jì)，本創(chuàng)造選擇4個(gè)眼角點(diǎn)和2個(gè)鼻端點(diǎn)作為參考。為估計(jì)人臉的姿態(tài)，這六個(gè)點(diǎn)的三維坐標(biāo)必須先進(jìn)展初始化。一般地，特征點(diǎn)的三維坐標(biāo)由通用的三維人臉模型，實(shí)際應(yīng)用中，可要求用戶面向攝像頭以獲得其正面人臉圖像，根據(jù)檢測(cè)結(jié)果，特征點(diǎn)的和值自動(dòng)調(diào)整為該用戶的值，深度值那么仍采用三維模型的值進(jìn)展近似。設(shè)人臉姿態(tài)參數(shù)，其中為人臉三個(gè)方向的歐拉角，為人臉大小的縮放值。步驟515估計(jì)人臉姿態(tài)的具體步驟如下：1〕構(gòu)建N個(gè)三角形。選擇任意三個(gè)非共線性的特征點(diǎn)組成一個(gè)三角形，對(duì)每一個(gè)，構(gòu)建一個(gè)局部坐標(biāo)系統(tǒng)。2〕由每個(gè)三角形獲得投影矩陣M。圖像坐標(biāo)與局部坐標(biāo)系統(tǒng)的關(guān)系可表示為 〔11〕其中，表示坐標(biāo)系統(tǒng)中三維點(diǎn)的投影圖像，是參考點(diǎn)的投影圖像，M是2×2的投影矩陣。通過限定歐拉角在到的范圍，可以從M恢復(fù)出兩組人臉姿態(tài)參數(shù)，進(jìn)而生成完全投影矩陣，但其中只有一個(gè)是正確的。3〕計(jì)算完全投影矩陣的投影偏差。根據(jù)完全投影矩陣將特征點(diǎn)的三維坐標(biāo)投影到圖像中，進(jìn)而獲得其與實(shí)際特征點(diǎn)圖像坐標(biāo)的偏差。如果大于閾值d，那么刪除該矩陣；否那么保存該矩陣，并設(shè)置其權(quán)重為。4〕加權(quán)得到最終結(jié)果。通過對(duì)N個(gè)三角形的檢測(cè)，最終得到K個(gè)完全投影矩陣，，及其對(duì)應(yīng)的權(quán)重，。對(duì)每個(gè)，可得到唯一的一組參數(shù)。最終的人臉姿態(tài)參數(shù)為： 〔12〕然后返回步驟502循環(huán)執(zhí)行在線跟蹤方法步驟502至508以及步驟515，并執(zhí)行步驟516，輸出人臉特征點(diǎn)及人臉姿態(tài)信息。步驟504的判斷結(jié)果假設(shè)為否，那么執(zhí)行步驟509，基于在線模板更新眼角點(diǎn)。本步驟是基于在線模板與特征點(diǎn)的上一幀位置的小波特征進(jìn)展比較，計(jì)算4個(gè)眼角點(diǎn)的位移，從而得到眼角的新位置。步驟509的具體獲得方法為：根據(jù)前一幀的雙眼位置對(duì)圖像進(jìn)展歸一化預(yù)處理；根據(jù)在線特征模板更新剛性基準(zhǔn)點(diǎn)中的眼角特征點(diǎn)：對(duì)于眼角特征點(diǎn)，計(jì)算其在當(dāng)前圖像的Gabor特征，然后根據(jù)式〔10〕計(jì)算與在線特征模板的位移，那么眼角特征點(diǎn)可更新為：。然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點(diǎn)。本步驟是計(jì)算離線訓(xùn)練的特征模板與在線特征模板的距離和相似度，根據(jù)該距離和相似度對(duì)眼角位置進(jìn)展修改得到新的位置。獲得離線特征模板的具體方法見圖4及其對(duì)應(yīng)的說明。步驟510的具體計(jì)算方法為：根據(jù)離線特征模板對(duì)眼角特征點(diǎn)進(jìn)展再修正：對(duì)于眼角特征點(diǎn)，根據(jù)式〔9〕、〔10〕計(jì)算在線特征模板與離線特征模板的相似度和位移，那么眼角特征點(diǎn)可進(jìn)一步修正為，其中為相似度調(diào)整值，根據(jù)精度要求進(jìn)展設(shè)置，如優(yōu)選可設(shè)為。然后執(zhí)行步驟511，更新其他特征點(diǎn)。首先，計(jì)算新的眼角特征點(diǎn)位置與上一幀位置的平均位移作為人臉剛性運(yùn)動(dòng)的初步估計(jì)，更新其他特征點(diǎn)所有特征點(diǎn)的坐標(biāo)為：。然后對(duì)每一特征點(diǎn)，重復(fù)步驟509與510，對(duì)眼角特征點(diǎn)以外的其他特征點(diǎn)的位置進(jìn)展更新。然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀。本步驟是根據(jù)前一幀估計(jì)的人臉姿態(tài)進(jìn)展誤差補(bǔ)償，對(duì)人臉的形狀模型進(jìn)展更新，以得到該姿態(tài)下的形狀模型。然后執(zhí)行步驟513，基于形狀約束更新全局特征點(diǎn)。本步驟是對(duì)全局特征點(diǎn)，根據(jù)補(bǔ)償?shù)娜中螤钅Ｐ瓦M(jìn)展形狀約束，獲得形狀參數(shù)，根據(jù)該形狀參數(shù)獲得準(zhǔn)確的全局特征點(diǎn)。本步驟是基于步驟512所更新的形狀模型約束更新全局特征點(diǎn)的位置。然后執(zhí)行步驟514，基于形狀約束更新局部特征點(diǎn)。本步驟是針對(duì)人臉的每一個(gè)局部特征，這一過程中，全局特征點(diǎn)不再更新。本步驟是基于步驟512所更新的形狀模型約束更新其局部特征點(diǎn)的位置。然后執(zhí)行步驟508，對(duì)所有特征點(diǎn)，計(jì)算其Gabor特征作為新的在線特征模板 以上過程根據(jù)檢測(cè)的人臉及人眼的位置完成了人臉特征點(diǎn)的檢測(cè)定位。由于各個(gè)人臉的差異性，其特征點(diǎn)的Gabor特征與離線特征模板的相似度各不一樣。為此，根據(jù)當(dāng)前人臉特征點(diǎn)位置獲得其Gabor特征作為后續(xù)幀人臉跟蹤的特征模板，即在線特征模板，以提高人臉特征跟蹤的效率和精度。圖6為本創(chuàng)造人臉比對(duì)方法的流程圖。本創(chuàng)造方法包含：步驟601，人臉跟蹤，獲取特征點(diǎn)。本步驟對(duì)輸入的視頻或者攝像頭實(shí)時(shí)畫面中的人臉進(jìn)展處理，獲取特征點(diǎn)的準(zhǔn)確位置。其詳細(xì)方法在圖1-圖5及其對(duì)應(yīng)的說明書中詳細(xì)說明。應(yīng)該注意的是，本創(chuàng)造的跟蹤局部選取的人臉特征為人臉的共同性的特征，如圖2中所示28個(gè)特征點(diǎn)。然后執(zhí)行步驟602，檢測(cè)圖像質(zhì)量，判斷是否滿足條件。本步驟是對(duì)于步驟601所獲取的圖像質(zhì)量進(jìn)展判斷，判斷圖像以及特征點(diǎn)的提取結(jié)果是否滿足注冊(cè)或比對(duì)的條件。檢測(cè)的參數(shù)包括圖像的亮度、光照的均勻性等。假設(shè)步驟602的判斷結(jié)果為否，那么執(zhí)行步驟610。假設(shè)步驟602的判斷結(jié)果為是，那么執(zhí)行步驟603，提取詳細(xì)的人臉特征數(shù)據(jù)。應(yīng)注意的是：為完整表達(dá)不同人臉之間的差異性，需提取適當(dāng)?shù)娜四樚卣鼽c(diǎn)，以便充分表達(dá)人臉信息。本創(chuàng)造選取人臉上的顯著特征點(diǎn)作為比對(duì)依據(jù)，除了圖2中所示28個(gè)特征點(diǎn)外，還增加雙眉之間的中點(diǎn)、鼻根即雙眼之間的中點(diǎn)、鼻尖，等等。根據(jù)精度、運(yùn)算性能等要求，可對(duì)特征點(diǎn)的選取適當(dāng)進(jìn)展調(diào)整。而人臉特征點(diǎn)的特征必須選取式〔8〕中所有80個(gè)Gabor復(fù)系數(shù)，表達(dá)完整的人臉信息，以使不同人臉之間的差異最大化。步驟603的具體方法為：根據(jù)人臉檢測(cè)跟蹤得到的準(zhǔn)確的人臉特征點(diǎn)位置，插值獲得其他選取的人臉特征點(diǎn)的位置，如：鼻根為雙眼位置的中點(diǎn)、鼻尖為4個(gè)鼻測(cè)點(diǎn)的中心點(diǎn)，等等。根據(jù)雙眼位置對(duì)圖像進(jìn)展歸一化處理。根據(jù)式〔8〕計(jì)算得到人臉特征點(diǎn)i的Gabor特征，所有特征點(diǎn)的Gabor特征即組成一個(gè)人臉特征模板，，N為選取的人臉特征點(diǎn)個(gè)數(shù)。然后執(zhí)行步驟604人臉注冊(cè)或者步驟605人臉比對(duì)。步驟604人臉注冊(cè)是保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù)庫。具體方法為：將步驟603獲得的詳細(xì)的人臉特征數(shù)據(jù)與此人已有的人臉特征模板庫進(jìn)展比較，假設(shè)其相似度S>ST，那么不保存該特征，否那么將該特征參加此人的人臉特征模板庫，，M為此人的特征模板個(gè)數(shù)，保存至數(shù)據(jù)庫。閾值ST根據(jù)實(shí)驗(yàn)選取，其相似度S的具體計(jì)算方法為：對(duì)特征模板，，