移動設備上實時動畫系統(tǒng)

1、 移動設備上的實時人臉動畫系統(tǒng)PREFACE 基于實際表現(xiàn)的面部動畫系統(tǒng)，它能夠以實時28fps在移動設備上運行，該系統(tǒng)的一個關鍵組件是一個新型的回歸算法，它能夠從一臺普通的攝像機的二維視頻圖像幀中準確地推斷面部運動參數(shù)。demo摘要01相關研究的現(xiàn)狀1、基于特殊設備（例如面部標記點）的面部動畫技術已經(jīng)在電影和游戲制作方面取得了巨大的成功 ； 2、Weise等人（參考文獻2）開發(fā)了一個實時的面部動畫系統(tǒng)，其利用了Kinect 的RGBD攝像頭中獲取的深度和色彩信息。；3、曹等人（參考文獻1)為普通用戶提出了一個更實際的解決方案，用戶只需要單個普通攝像頭即可，而大多數(shù)的移動設備都能滿足這個條件。

2、02本篇論文的兩大貢獻點（1）曹等人在參考文獻1中通過兩步程序來跟蹤面部動畫（首先回歸各面部標定點的三維位置，然后計算頭部姿勢和表情系數(shù)）。而我們直接回歸頭部姿態(tài)和表情系數(shù)。這樣一步到位的方法可以大大減少回歸目標的維度數(shù)，在保證跟蹤精度的前提下顯著地提高跟蹤過程的性能表現(xiàn)。（2）我們進一步提出采集在不同的照明環(huán)境下的用戶的訓練圖像，并利用數(shù)據(jù)來訓練獨立用戶個體的回歸，這樣可以魯棒地解決使用移動設備時頻繁發(fā)生照明變化而出現(xiàn)的問題。 我們提出學習一個能從2D視頻圖像幀中直接回歸面部動作參數(shù)的用戶回歸因子，將一張圖像I和它的面部動作參數(shù)的一個初步猜測 作為輸入，迭代地更新 的值，然后輸出最終的動作參

3、數(shù)。 整個學習過程共分為以下 幾個步驟：1.制備訓練數(shù)據(jù) （1）圖像的拍攝和標記 （2）用戶混合外形的生成 具有自動定位地標記點的（a）（c）的兩幅拍攝圖像以及有手動校正標記點的（b）（d）圖像。 （3）運動參數(shù)的還原 最后將每張輸入圖像I的動作參數(shù)串聯(lián)起來，形成一個46+4+3=53維向量：2.創(chuàng)建訓練集 對于每個圖像和計算的運動參數(shù)向量 ，我們構造 的一組增廣的參數(shù)向量作為它在回歸過程中的初步猜測。每個增廣的參數(shù)向量表示為 ，與之結合我們將一個訓練元組構造成 3.回歸訓練，生成面部動作回歸 用這N個訓練數(shù)據(jù) ，我們基于圖像I的像素強度訓練一個從 到 的運動參數(shù)回歸函數(shù)。我們使用參考文獻1中

4、的兩級推動回歸算法。在第一級中，我們根據(jù)當前的運動參數(shù)重建三維標記，并對圖像I上的像素進行采樣來構造外觀向量，在第二級中，我們建立一個基于這個外觀向量的回歸序列，并通過最小化 和 之間的誤差來更新當前的運動參數(shù)。核心：（1）生成外觀向量 （2）特征選?。?）蕨類結構4.運行時進行回歸，將視頻圖像幀和前面的幀的面部動作參數(shù)作為輸入，同時計算當前幀的面部動作參數(shù) 通過3中訓練的面部運動回歸器，我們可以實時計算出輸入視頻幀I的面部運動參數(shù)。我們從前一幀的回歸結果 開始，從訓練集中找到類似于運動參數(shù) 的運動參數(shù)作為回歸的初始參數(shù)，并通過回歸器對它進行更新。最終，我們計算所有更新的參數(shù)向量 的中值作為最

5、后的結果。 第一個策略是用來自復雜環(huán)境的訓練數(shù)據(jù)訓練回歸器。我們收集不同環(huán)境下的用戶設置圖像。在我們的實驗中，如圖所示，我們囊括了辦公室中，戶外陽光直射下以及昏暗酒店房間中的的圖像。 第二個策略：由于移動相機經(jīng)常執(zhí)行白平衡，這改變了圖像的整體強度，使整個圖像變暗或變亮。由于我們比較了從圖像中獲取的索引對特征，這些特征是與像素強度相關的絕對值，所以全局調整將使強度值在范圍內不一致。為了處理這個問題，我們在訓練和運行測試過程中對外觀向量進行直方圖歸一化處理。左：歸一化前，大多數(shù)像素位于直方圖中的黑暗區(qū)域中，臉部顯得很暗; 右：歸一化后，直方圖均勻分布，人臉區(qū)域分布變得更加明亮。我們已經(jīng)在一臺擁有英

6、特爾酷睿i7 (3.5 GHz) CPU、能錄制30 fps的640480圖像的普通網(wǎng)絡攝像頭個人電腦上實現(xiàn)了該系統(tǒng)。實時算法在此設備上運行速度超過200fps，比1快8倍。我們還測試了摩托羅拉MT788手機上的回歸算法，該手機自帶英特爾Atom 2.0 GHz CPU和Android 4.0操作系統(tǒng)。性能依舊強大，大約在30 fps。我們與參考文獻1中的算法對訓練，測試中的時間消耗和不同的回歸目標的內存消耗分別進行比較，可以看到具有很大的性能提升。下圖是和參考文獻1中算法的跟蹤結果的比較，看上去相差無幾。但是實際上，從我們的運動參數(shù)重建的標記點位置并不像曹等人直接形狀回歸生成的那么準確。我們結果中的一些面部特征并不能很好地匹配，不能捕獲到臉部的細節(jié)。上部：我們的跟蹤結果 下部：參考文獻1的結果。結論： 我們引入了一種新穎的面部運動回歸算法，并表明它即