三維人臉姿態(tài)校正研究

1、    三維人臉姿態(tài)校正研究    王金偉 戴飛銘摘 要：提出一種鼻尖點(diǎn)提取方法：根據(jù)鼻尖點(diǎn)在人臉上的對(duì)稱性，提取人臉對(duì)稱軸上的特征點(diǎn)，并構(gòu)建人臉的對(duì)稱平面，對(duì)稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，依據(jù)中心側(cè)影線，提取鼻尖點(diǎn)。根據(jù)鼻尖點(diǎn)法向量、人臉對(duì)稱平面法向量以及鼻尖點(diǎn)和鼻基點(diǎn)之間的方向向量進(jìn)行姿態(tài)校正。該方法計(jì)算量小、魯棒性強(qiáng)。關(guān)鍵詞：鼻尖點(diǎn) 人臉區(qū)域分割 三維人臉表情：tp391.4 ：a ：1672-3791（2018）08（b）-0038-04近年來(lái)，三維人臉識(shí)別方法開(kāi)始逐漸取代二維人臉識(shí)別方法，二維人臉圖像易受姿態(tài)的影響，當(dāng)人臉發(fā)生偏轉(zhuǎn)時(shí)

2、，二維人臉圖像就會(huì)丟失一些信息，而三維人臉圖像可以在三維空間任意的旋轉(zhuǎn)、平移，可以彌補(bǔ)在不同視覺(jué)角度所觀察三維人臉表情圖像的差異，因此三維人臉圖像具有更好的魯棒性。雖然三維人臉數(shù)據(jù)不受姿態(tài)的影響，但三維人臉出現(xiàn)不同姿態(tài)的偏轉(zhuǎn)，都會(huì)造成三維幾何信息的變化，對(duì)特征點(diǎn)的提取容易造成影響，為了更好地提取準(zhǔn)確的特征點(diǎn)，必須對(duì)三維人臉表情進(jìn)行姿態(tài)的校正。文獻(xiàn)1在進(jìn)行三維人臉姿態(tài)校正之前，先對(duì)人臉進(jìn)行曲面擬合，對(duì)于三維巨大的點(diǎn)云數(shù)據(jù)來(lái)說(shuō)，計(jì)算量變得非常大。文獻(xiàn)2通過(guò)高斯曲率獲取人臉3個(gè)特征點(diǎn)，在將這3個(gè)特征點(diǎn)組建平面，在通過(guò)法向量進(jìn)行人臉姿態(tài)校正，雖然計(jì)算量較少，但在特征點(diǎn)提取的準(zhǔn)確性也會(huì)影響到人臉姿態(tài)的校

3、正。文獻(xiàn)3通過(guò)聚類算法獲取三維人臉鼻子區(qū)域，根據(jù)參考鼻子區(qū)域，使用三維空間仿射變換進(jìn)行人臉姿態(tài)的校正，再利用迭代最近點(diǎn)進(jìn)一步校正，該方法對(duì)三維數(shù)據(jù)的缺失、噪聲不敏感，具有較高的魯棒性，但在運(yùn)算時(shí)間上會(huì)比較長(zhǎng)。本文提出了基于一種改進(jìn)鼻尖點(diǎn)提取的三維人臉姿態(tài)校正算法研究：根據(jù)鼻尖點(diǎn)法向量、人臉對(duì)稱平面法向量以及鼻尖點(diǎn)和鼻基點(diǎn)之間的方向向量進(jìn)行姿態(tài)校正。該方法計(jì)算量小、魯棒性強(qiáng)。本文方法流程，如圖1所示。1 鼻尖點(diǎn)提取鼻尖點(diǎn)是人臉區(qū)域重要的特征點(diǎn)，在人臉表情變化及姿態(tài)的變動(dòng)的情況下，對(duì)鼻尖點(diǎn)的影響都比較小。目前，三維人臉表情識(shí)別對(duì)鼻尖點(diǎn)提取的研究還不夠深入，主要的方法有：（1）通過(guò)深度圖像提取人臉距

4、離參考面最近的點(diǎn)4-5，這一假設(shè)使得多數(shù)算法回避了提取鼻尖點(diǎn)這一關(guān)鍵步驟；（2）通過(guò)中心側(cè)影線提取鼻尖點(diǎn)，而中心側(cè)影線對(duì)鼻尖的提取都是基于三維人臉模型先驗(yàn)對(duì)稱的前提。yueming wang等6人通過(guò)三維人臉的鏡像模型后，采用迭代最近點(diǎn)法（icp，iterative closest point）進(jìn)行配準(zhǔn)，通過(guò)人臉的對(duì)稱點(diǎn)找出人臉的對(duì)稱平面，取對(duì)稱平面與三維人臉曲面的交線作為中心側(cè)影線。當(dāng)三維人臉的位置發(fā)生偏轉(zhuǎn)后，尤其是繞軸旋轉(zhuǎn)時(shí)，受人臉自身的旋轉(zhuǎn)造成信息的遮擋，采集到的三維人臉數(shù)據(jù)丟失最為嚴(yán)重，這時(shí)候人臉的點(diǎn)云數(shù)據(jù)基本上不是對(duì)稱的，因此采用鏡像模型的中心側(cè)影線提取鼻尖點(diǎn)的精確度不高。因此，本文

5、借鑒xu等人提取鼻尖點(diǎn)算法思路7-8，提出一種改進(jìn)的鼻尖點(diǎn)提?。╪ose tip feature extraction，ntfe）方法。該方法根據(jù)鼻尖的幾何形狀提取符合形狀參數(shù)的候選點(diǎn)；其次，在這些候選點(diǎn)中，根據(jù)鼻尖點(diǎn)在人臉上的對(duì)稱性，提取人臉對(duì)稱軸上的特征點(diǎn)，并構(gòu)建人臉的對(duì)稱平面，對(duì)稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，依據(jù)中心側(cè)影線，提取鼻尖點(diǎn)。1.1 鼻尖點(diǎn)的幾何形狀1.2 計(jì)算三維人臉的對(duì)稱性提取候選特征點(diǎn)后，還要通過(guò)人臉的對(duì)稱性進(jìn)一步對(duì)候選特征點(diǎn)進(jìn)行篩選，每個(gè)候選點(diǎn)對(duì)應(yīng)的曲面有可能有多個(gè)對(duì)稱平面與曲面相交，組成多條的對(duì)稱軸。1.3 中心側(cè)影線提取三維人臉對(duì)稱軸上的點(diǎn)后，根據(jù)對(duì)稱軸

6、上的點(diǎn)，構(gòu)建人臉的對(duì)稱平面，對(duì)稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，如圖2所示。1.4 提取鼻尖點(diǎn)和鼻基點(diǎn)將所提取到的中心側(cè)影線放到一個(gè)統(tǒng)一的坐標(biāo)上，如圖3所示，中心側(cè)影線上的點(diǎn)到軸上最大的距離為鼻尖點(diǎn)，計(jì)算額頭到鼻尖點(diǎn)這段距離的最小極值點(diǎn)為鼻基點(diǎn)。2 三維人臉姿態(tài)校正通過(guò)ntfe算法提取鼻尖點(diǎn)和鼻基點(diǎn)后，便可對(duì)三維人臉姿態(tài)進(jìn)行校正。首先建立正面的三維人臉坐標(biāo)系：x軸方向?yàn)樗较蛴摇軸方向?yàn)樨Q直向上、z軸方向?yàn)榇怪庇诩埫嫦蛲?。將上述所提取的三維人臉?lè)旁谝粋€(gè)統(tǒng)一的坐標(biāo)系中，根據(jù)計(jì)算機(jī)圖形學(xué)知識(shí)9，以x、y、z分別作為三維人臉模型繞x旋轉(zhuǎn)、繞y旋轉(zhuǎn)、繞z旋轉(zhuǎn)的角度，得到一個(gè)旋轉(zhuǎn)矩陣r，最后完

7、成姿態(tài)的校正。根據(jù)上述三維人臉的對(duì)稱性，篩選出在人臉對(duì)稱軸上的點(diǎn)云，建立一個(gè)對(duì)稱平面，法向量為nx；將鼻尖點(diǎn)及其鄰域內(nèi)的點(diǎn)云擬合成二次曲面，計(jì)算鼻尖點(diǎn)的法向量nz。根據(jù)旋轉(zhuǎn)矩陣r完成三維人臉表情姿態(tài)的校正，如圖4所示。3 實(shí)驗(yàn)結(jié)果比較與分析為了驗(yàn)證本文提出方法的有效性，在三維人臉表情bu-3dfe數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。從數(shù)據(jù)庫(kù)中任意選擇20張三維人臉表情圖像，并將其20個(gè)對(duì)象分為兩組：一組為訓(xùn)練集，另一組為測(cè)試集，每組各10個(gè)對(duì)象。最后，將平均值作為最終的實(shí)驗(yàn)結(jié)果。3.1 鼻尖點(diǎn)提取實(shí)驗(yàn)結(jié)果及分析其中n為人臉表情圖像數(shù)。按姿態(tài)校正前后進(jìn)行實(shí)驗(yàn)：第一種方法為姿態(tài)校正前方案，采用基于雙模態(tài)和基于局部曲率方法對(duì)8個(gè)特征點(diǎn)進(jìn)行提取，如圖5所示；第二方法為姿態(tài)校正后方案，如圖6所示。誤差值如表2和表3所示。實(shí)驗(yàn)結(jié)果可以看出，本文方法在提取準(zhǔn)確性更高，誤差值更小。參考文獻(xiàn)1 colombo a， cusano c.，schettini rd. 3d face detection using curvature analysisj.pattern recognition， 2006，39（13）：444-455.科技資訊2018年23期科技資訊的