基于MDMO的人臉微表情識(shí)別方法

基于基于 MDMO 的人臉微表情識(shí)別方法的人臉微表情識(shí)別方法 微表情是短暫的面部動(dòng)作短 自主和低強(qiáng)度 識(shí)別面部自發(fā)微表情是一個(gè)很大的挑戰(zhàn) 文獻(xiàn)中提出了一個(gè)簡單而有效的主要方向 光學(xué)流動(dòng) mdmo 微表情識(shí)別特征 應(yīng)用一 個(gè)強(qiáng)大的微表情視頻光學(xué)流動(dòng)法和面部區(qū)域劃分為感興趣區(qū)域 ROI 基于部分行動(dòng)單位 這是一個(gè)基于光學(xué)流動(dòng)興趣區(qū)域 歸一化的統(tǒng)計(jì)特征 考慮局部統(tǒng)計(jì)運(yùn)動(dòng)信息和空間位置 為了減少噪聲由于頭部運(yùn)動(dòng)的影響 提出了一種光學(xué)流驅(qū)動(dòng)的方法將所有幀的微表情的視 頻剪輯 最后 一個(gè) SVM 分類器利用 mdmo 特征識(shí)別微表情 1 DRMF 方法對(duì)面部區(qū)域進(jìn)行劃分 要建立了微表情識(shí)別的有效特征 首先通過使用受限的本地模型的一個(gè)實(shí)例來檢測(cè)并 將面部區(qū)域劃分為感興趣區(qū)域 即 ROIs 稱為判別響應(yīng)圖擬合 DRMF 使用 DRMF 方法 在每個(gè)微表情視頻片段中 在第一幀的面部區(qū)域 有力地檢測(cè)出一 組面部特征點(diǎn) 首先 使用 Viola Jones 人臉探測(cè)器來定位每一幀的面部區(qū)域 其次 通過 提取響應(yīng)塊和低維投影 計(jì)算出一組初始特征點(diǎn) 第三 drmf 迭代干擾這些初始特征點(diǎn)與 生成的特征模板 控制形狀和外觀的變化從一個(gè)訓(xùn)練集學(xué)習(xí)相關(guān)目標(biāo)圖像 形狀和外觀形 態(tài)變化的統(tǒng)計(jì)模型 應(yīng)用 DRMF 方法以一個(gè)強(qiáng)大的 準(zhǔn)確的方式定位面部地區(qū)的 68 個(gè)特征 點(diǎn) 在應(yīng)用中 使用了從 DRMF 方法獲得的 66 個(gè)特征點(diǎn) 在的微表情識(shí)別中 沒有使用兩 個(gè)特征點(diǎn)來識(shí)別內(nèi)唇角 圖圖 1 所示 左圖 使用所示 左圖 使用 DRMF 方法檢測(cè)面部區(qū)域的方法檢測(cè)面部區(qū)域的 66 個(gè)特征點(diǎn) 右圖 正常面部區(qū)域個(gè)特征點(diǎn) 右圖 正常面部區(qū)域 所有 66 個(gè)特征的面部特征都被表示為 FP fp1 fp66 在不同的框架中 面部區(qū)域 的部分在實(shí)踐中往往會(huì)有所不同 可以利用檢測(cè)到的特征點(diǎn)集 FP 對(duì)每個(gè)幀中的人臉區(qū)域進(jìn) 行歸一化處理 使每一幀的面部區(qū)域恢復(fù)正常 圖圖 2 所示 左圖 所示 左圖 36 個(gè)區(qū)域的劃分 由個(gè)區(qū)域的劃分 由 66 個(gè)特征點(diǎn)決定 右圖 由個(gè)特征點(diǎn)決定 右圖 由 ROIs 21 22 25 和和 26 所共享的所共享的 頂點(diǎn)的位置是頂點(diǎn)的位置是 IDs 4 和和 33 的兩個(gè)特征點(diǎn)的平均位置 的兩個(gè)特征點(diǎn)的平均位置 進(jìn)一步將標(biāo)準(zhǔn)化的面部區(qū)域劃分為 36 個(gè) ROIs 由 66 個(gè)特征點(diǎn)決定 36 個(gè) ROIs 中所 有頂點(diǎn)的規(guī)范規(guī)則 可以在計(jì)算機(jī)數(shù)字庫找到 例如 眉毛被劃分為外部和內(nèi)部部分 其中有兩個(gè)劃分準(zhǔn)則 1 ROI 劃分不應(yīng)該太粗糙 否則許多 AUs 將會(huì)定位在臉部相似或重疊的部分 在某些部分 比如嘴巴 提供了更多的分區(qū)來更好地區(qū)分不同的 AUs 2 ROI 劃分不應(yīng)該過于密集 一般來說 每個(gè) ROI 至少對(duì)應(yīng)一個(gè) AU 例如 ROI 1 只與 AU2 相關(guān) 不需要進(jìn)一步細(xì)分 2 光流場的計(jì)算 劃分好區(qū)域后就要進(jìn)行光流場的計(jì)算 光流是通過檢測(cè)兩個(gè)圖像幀之間不斷變化的像 素的強(qiáng)度來推斷物體的運(yùn)動(dòng) 在一個(gè)視頻剪輯中 一個(gè)像素定位為 x y t 強(qiáng)度為 I x y t 在兩幀之間移動(dòng)了 x y 和 t 根據(jù)亮度恒定約束條件 有 假設(shè)移動(dòng)很小 I x y t 的圖像約束可以用泰勒級(jí)數(shù)來獲得 是一個(gè)高階無窮小的 從兩個(gè)方程式可以有 得到 Vx 和 Vy 是 x 和 y 分量 分別是 I x y t 的速度或光流 因此 在距離 t 的兩幀之間 一 個(gè)像素的光學(xué)量值 t 被表示為一個(gè)二維的向量 由于圖像幀之間的光照變化可能會(huì)影響光流量估計(jì)的準(zhǔn)確度 為了解決強(qiáng)度不一致性 問題 對(duì)圖像序列進(jìn)行預(yù)處理 每個(gè)圖像分解為兩個(gè)部分 即一個(gè)結(jié)構(gòu)部分和一個(gè)紋理部分 結(jié)果表明 強(qiáng)度不一致是因?yàn)殛幱昂兔靼嫡J(rèn)識(shí)只能出現(xiàn)在原始圖像和結(jié)構(gòu)部分 因此 在 紋理部分的光流計(jì)算可以提供準(zhǔn)確的結(jié)果 圖圖 3 所示 在緊張的微表達(dá)中 圖像序列的光流 所示 在緊張的微表達(dá)中 圖像序列的光流 b d 和和 f 的光流場在顏色編碼方案中被可視化 的光流場在顏色編碼方案中被可視化 3 光流領(lǐng)域的面校準(zhǔn) 圖 在微表情的第一個(gè)框架中 由圖 在微表情的第一個(gè)框架中 由 DRMF 方法檢測(cè)到方法檢測(cè)到 13 個(gè)特征點(diǎn) 以使所有后續(xù)的幀對(duì)齊個(gè)特征點(diǎn) 以使所有后續(xù)的幀對(duì)齊 在微表情的短時(shí)間內(nèi) 圖像序列中的面部區(qū)域可能會(huì)有一個(gè)小的旋轉(zhuǎn)和轉(zhuǎn)化 為了修 正這個(gè)小的頭部動(dòng)作 為了一個(gè)微表情的視頻剪輯 在第一幀中使用了一些特征點(diǎn)的位置 在 66 個(gè)面部特征中通過使用 DRMF 方法檢測(cè)到的點(diǎn) 選擇了 13 個(gè)特征點(diǎn) 其中一個(gè)在鼻 子根部 另一個(gè)在面部輪廓線上 這 13 個(gè)特征點(diǎn)受各種微表情的影響最小 對(duì)于微表情剪輯中的每一個(gè)幀 Fi i 1 通過計(jì)算 f1 與 fi 之間的光流 使 fi 與 f1 保持 一致 將產(chǎn)生的光學(xué)流場表示為 Oi 這是第一幀中 13 個(gè)特征點(diǎn)的位置 則后面每一幀的 13 個(gè)特征點(diǎn)的位置 是這個(gè)表達(dá)式 按照光流場的計(jì)算方法有 是光流場中第 J 個(gè)點(diǎn)的光流失量 給定 P1 和 Pi 通過求解可以 很容易地得到仿射變換矩陣 在所有幀中利用 DRMF 方法 首先檢測(cè)到 13 個(gè)特征點(diǎn) 然后 每一幀與第一幀的特征 點(diǎn)的對(duì)應(yīng)關(guān)系確定仿射變換 使得每一幀的面部特征點(diǎn)在該矩陣變換下與第一幀的面部關(guān) 鍵點(diǎn)差異最小化 4 MDMO 特性 第一幀和之后的每一幀之間的光流被表示為 轉(zhuǎn)換歐式坐標(biāo)為極坐標(biāo) 其中分別是光流失量的大小和方向 在每一幀中 考慮每個(gè)區(qū) 域內(nèi)部的光流主方向 在每個(gè)分塊中計(jì)算 HOOF 特征 將所有光流方向向量量化到 8 個(gè)區(qū) 間 然后做統(tǒng)計(jì)直方圖運(yùn)算 是數(shù)量最多的方向向量的平均值的極坐標(biāo)表示 計(jì)算出這些 特征值來作為該區(qū)域的運(yùn)動(dòng)特征 由于幅度和方向都是 36 維的 最終獲得的特征是 72 維 向量 最終微表情的視頻剪輯是由光學(xué)流動(dòng)特征的級(jí)數(shù)表示 這里 nf 是視頻剪輯的幀數(shù) 考慮到在不同剪輯幀數(shù)不同 不同區(qū)域特征向量的分布可能十分廣泛 進(jìn)行標(biāo)準(zhǔn)化處理 分別地將極坐標(biāo)下的光流方向的平均值和光流場特征定義為笛卡爾坐標(biāo)下表達(dá)式 對(duì) 笛卡爾坐標(biāo)下的光流場特征求平均值 再將平均特征轉(zhuǎn)為極坐標(biāo)系下的坐標(biāo) 但是由于不 同剪輯下只要方向的強(qiáng)度不同 還要進(jìn)一步規(guī)范特征的幅值 最后 得到歸一化運(yùn)算后的 微表情的視頻剪輯 MDMO 特征向量 可以用來支持向量機(jī)建模 用于處理微表情的監(jiān)測(cè)和 識(shí)別任