人臉特征點(diǎn)定位及其應(yīng)用

1、整體介紹l主要內(nèi)容：當(dāng)前常用的特征點(diǎn)定位方法，主要介紹AAM。提出在人臉特征定位中基于膚色信息的AAM模型的改進(jìn)方法。介紹一個(gè)肖像畫生成系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)。l人臉特征點(diǎn)定位的概念u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073常用的幾種特征點(diǎn) 定位算法l基于灰度及其變化信息l基于可變形模板l基于神經(jīng)網(wǎng)絡(luò)l基于Active Contour Model（Snake，主動(dòng)輪廓模型）l基于Active Shape Model（ASM，主動(dòng)形狀模型）l基于Active Appearance Model（AAM，主動(dòng)表觀模型）由于人臉特征復(fù)雜性，及圖像的多變性，目前仍然沒有一個(gè)通用的方法l基于AAM

2、(Active Appearance Model)模型AAM模型常用的幾種特征點(diǎn)定位方法cQggcQxxgssQgQ由控制參數(shù)矢量c控制形狀形狀和紋理紋理的變化，調(diào)節(jié)c可以得到不同的形狀和臉部紋理，從而合成不同的人臉調(diào)節(jié)c可以合成不同的人臉形狀臉部紋理輪廓變化模式矩陣 臉部紋理變化模式矩陣 精細(xì)定位精細(xì)定位粗略定位粗略定位常用的幾種特征點(diǎn)定位方法lAAM搜索過程原圖像原圖像得到粗略定位不斷調(diào)整C，使合成人臉的灰度與圖像灰度差達(dá)到最小值得到精細(xì)定位由計(jì)算公式可得各特征點(diǎn)的位置對(duì)每一個(gè)比例、位置、旋轉(zhuǎn)角度進(jìn)行迭代搜索常用的幾種特征點(diǎn)定位方法lAAM搜索時(shí)間分析85.1%14.9%有很大的改進(jìn)空間基

3、于膚色信息的AAM改進(jìn)方法l膚色模型u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073采用YCrCb彩色空間進(jìn)行分析Y反映的是圖像的明度，故只Cr,Cb分量分析可以不受圖像的亮度影響。膚色像素在Cr-Cb空間中的分布相對(duì)很集中，可以用Gauss分布來描述 l高斯分布基于膚色信息的AAM改進(jìn)方法u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073l膚色模型所考察的像素和膚色的相似度：象素的矢量象素的矢量 與高斯分布中心的距離與高斯分布中心的距離基于膚色信息的AAM改進(jìn)方法 )(,21exp),(1TTTMxMxECxEMCbCrxmxCmxCbCrP，u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB

4、99011073TCbCrx,計(jì)算相似度自適應(yīng)閾值分割（二值化）lAAM改進(jìn)方法AAM的缺陷對(duì)彩色圖像進(jìn)行特征點(diǎn)定位時(shí)無疑忽略了色彩信息的作忽略了色彩信息的作用用，可以充分利用膚色信息，使搜索過程加速。一種基于膚色模型的人眼定位方法l眼睛在二值圖像中的雙孔結(jié)構(gòu)基于膚色信息的AAM改進(jìn)方法眼睛的雙孔結(jié)構(gòu)u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073lAAM改進(jìn)方法基于膚色模型的人眼定位方法基于膚色信息的AAM改進(jìn)方法計(jì)算相似度使用自動(dòng)閾值分割算法進(jìn)行二值化對(duì)二值圖進(jìn)行去噪音處理，就是在以每一個(gè)膚色象素為中心的5*5鄰域內(nèi)統(tǒng)計(jì)膚色象素的個(gè)數(shù)，超過半數(shù)時(shí)中心點(diǎn)保膚色lAAM改進(jìn)方法基于膚色模

5、型的人眼定位方法基于膚色信息的AAM改進(jìn)方法u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073對(duì)二值圖進(jìn)行腐蝕運(yùn)算，去掉各區(qū)域之間的細(xì)連線用邊緣跟蹤算法跟蹤各區(qū)域的輪廓對(duì)所有區(qū)域的輪廓進(jìn)行種子填充，得到“掩蓋圖”將二值圖與“掩蓋圖”求異或，即可得到二值圖中的所有孔基于膚色信息的AAM改進(jìn)方法lAAM改進(jìn)方法基于膚色模型的人眼定位方法u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073獲取候選眼，對(duì)每個(gè)孔進(jìn)行檢測(cè)若滿足以下條件則為候選眼：閾值D獲取候選眼對(duì)，將候選眼兩兩配對(duì)若符合下列條件，則為候選眼對(duì)：1.兩包圍盒不相交2.兩包圍盒中心連線斜率不超過閾值3.兩包圍盒大小不超過一定范圍001

6、,kk對(duì)每個(gè)候選眼對(duì)進(jìn)行模板匹配，計(jì)算平均眼對(duì)灰度與候選眼對(duì)所在區(qū)域灰度的相似度lAAM改進(jìn)方法改進(jìn)： 確定眼睛位置后，根據(jù)五官位置分布的規(guī)律性，可以由此確定人臉的位置及方向，從而為為AAM模模型的搜索提供一個(gè)較好的初始位置和大小型的搜索提供一個(gè)較好的初始位置和大小，并且可以縮小搜索窗口縮小搜索窗口，從而減少AAM的搜索時(shí)間 基于膚色信息的AAM改進(jìn)方法u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073lAAM改進(jìn)方法基于膚色信息的AAM改進(jìn)方法用基于臉色信息的人眼定位方法確定人眼根據(jù)眼睛和臉部區(qū)域的關(guān)系獲得臉部區(qū)域范圍，縮小搜索窗口根據(jù)人眼位置確定AAM模型的初始搜索姿態(tài)使用AAM搜索算

7、法，得到特征點(diǎn)精確定位u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073基于膚色信息的AAM改進(jìn)方法l性能比較圖片原模型定位間改進(jìn)后模型定位時(shí)間改進(jìn)量占原來的百分比122.6625.22177.0%220.1786.93965.6%321.6219.35156.8%418.4886.37665.5%522.9459.00460.6%621.9248.78259.9%721.8504.22480.7%823.1398.68462.5%921.7476.21371.4%1022.4225.95173.5%平均改進(jìn)百分比67.4u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073l系統(tǒng)結(jié)構(gòu)人物

8、肖像畫自動(dòng)生成系統(tǒng)u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073肖像畫自動(dòng)生成系統(tǒng)肖像畫自動(dòng)生成系統(tǒng)頭發(fā)處理臉部器官處理合成l開發(fā)工具： ，AAM-APIl臉部器官處理過程人物肖像畫自動(dòng)生成系統(tǒng)u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073自然三次樣條自動(dòng)閾值分割特征點(diǎn)定位使用84個(gè)特征點(diǎn)獲得各器官包圍盒l(wèi)頭發(fā)的提取過程人物肖像畫自動(dòng)生成系統(tǒng)只將Y值（亮度）T(50)的像素保留使用數(shù)學(xué)形態(tài)學(xué)的閉運(yùn)算將頭發(fā)中的噪音(白色小孔)濾去進(jìn)行兩次腐蝕，然后跟蹤輪廓每一輪廓對(duì)應(yīng)一個(gè)包圍盒根據(jù)頭發(fā)區(qū)域與臉部區(qū)域的位置關(guān)系，確定頭發(fā)區(qū)域用種子填充的方法填充頭發(fā)區(qū)域l肖像畫的合成及顯示 人物肖像畫自動(dòng)生成系統(tǒng)u人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073l系統(tǒng)運(yùn)行界面l系統(tǒng)結(jié)果人物肖像畫自動(dòng)生成系統(tǒng)系統(tǒng)存在的一些問題和待改進(jìn)的地方： l系統(tǒng)分析總結(jié)從系統(tǒng)的結(jié)果來看，對(duì)于大多數(shù)人臉圖像，都可以得到相應(yīng)的肖像圖人物肖像畫自動(dòng)生成系統(tǒng)l系統(tǒng)對(duì)頭發(fā)的處理并沒有考慮頭發(fā)被分割成若干區(qū)域的情況。l系統(tǒng)沒有對(duì)耳朵進(jìn)行處理 丟失l頭發(fā)邊界的處