魔術(shù)眼鏡從2D到3D.pptx

1、魔術(shù)眼鏡：從2D到3D,摘要,本文提出了一個(gè)由2D互聯(lián)網(wǎng)人臉圖像中的眼鏡實(shí)現(xiàn)虛擬的3D眼鏡試戴系統(tǒng)。本系統(tǒng)的主要的技術(shù)挑戰(zhàn)是從2D人臉的眼鏡自動(dòng)重建3D眼鏡模型。,一、綜述,人體虛擬試穿是一個(gè)最重要的增強(qiáng)現(xiàn)實(shí)的應(yīng)用。 虛擬試戴眼鏡 在現(xiàn)有的試戴系統(tǒng)-預(yù)定義的數(shù)據(jù)庫(kù) 互聯(lián)網(wǎng)圖片的眼鏡,第二部分回顧了現(xiàn)有的基于單一圖像的三維重建方法。 第三節(jié)介紹了我們的系統(tǒng)概述。 第四、第五、第六條將提供我們的系統(tǒng)在圖像提取、三維變形和虛擬試穿等方面的技術(shù)細(xì)節(jié)。 第七節(jié)實(shí)驗(yàn)結(jié)果和討論在提出。 第八節(jié)總結(jié)的文件，并討論未來(lái)的工作。,2相關(guān)工作,1. 虛擬眼鏡試戴之前的研究工作 2. 提取人臉圖像感興趣區(qū)域 系統(tǒng)采用

2、了卷積神經(jīng)網(wǎng)絡(luò)的合成數(shù)據(jù)進(jìn)行訓(xùn)練的分類，首先在像素級(jí)得到粗糙的標(biāo)簽，然后將分類結(jié)果納入我們的水平集能量函數(shù)的邊緣信息，并獲得滿意的最終結(jié)果。 3. 從二維圖像重建三維模型 系統(tǒng)利用二維圖像的幾何形狀，直接指導(dǎo)三維模板的變形，從而可以得到視覺上可以接受的三維模型，包括分割步驟和變形步驟。,3系統(tǒng)概述,系統(tǒng)的輸入是一個(gè)眼鏡架的正面人臉圖像。其輸出是一個(gè)重建的可以放在用戶的臉上3D眼鏡模型。,過程,第一個(gè)模塊是2D眼鏡提取，從人臉圖像中提取干凈的2D眼鏡形狀。 提出了一個(gè)粗糙卷及神經(jīng)網(wǎng)絡(luò)分類，迭代級(jí)集分割進(jìn)行細(xì)化。我們將三維重建問題轉(zhuǎn)換為模板變形問題，簡(jiǎn)化了計(jì)算，但產(chǎn)生了良好的結(jié)果。 最后一個(gè)模塊是

3、三維虛擬嘗試，這是建立在我們以前的工作基礎(chǔ)上。該模塊將重建的三維眼鏡放到用戶的臉上，并演示了重建的輸出。在用戶查看系統(tǒng)是一個(gè)軟件并且在電腦上配備Kinect攝像頭。,四、2D眼鏡提取,1.利用像素的卷積神經(jīng)網(wǎng)絡(luò)分類器來(lái)大致確定是眼鏡的邊界 利用1000無(wú)遮擋的正面人臉圖像，由著名的FERET數(shù)據(jù)庫(kù)。同時(shí)， 200個(gè)戴眼鏡的圖像。這些圖像的眼鏡是用純背景干凈，這樣很容易得到相應(yīng)的輪廓形狀的面具，面部圖像通過兩只眼睛的位置校準(zhǔn)，眼鏡的圖像通過它的最左上點(diǎn)和最右上點(diǎn)的位置進(jìn)行校準(zhǔn)。,2.按水平集細(xì)化分割,(1)基于邊界的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)先的有效輪廓模型的生成，眼鏡的框架可以看作三個(gè)輪廓的組合：兩內(nèi)輪廓

4、和外輪廓。 (2)對(duì)稱性估計(jì) 內(nèi)輪廓，左右兩邊的輪廓是對(duì)稱的，而對(duì)于外輪廓，左右部分是對(duì)稱的。,(3)內(nèi)、外輪廓提取的細(xì)節(jié) 內(nèi)輪廓相對(duì)于外輪廓通常有相對(duì)較少的雜亂區(qū)域： 使用公式6來(lái)擴(kuò)張眼鏡的輪廓和適合眼鏡內(nèi)輪廓。 外輪廓的情況更為復(fù)雜，通常是與眉毛，頭發(fā)等，為了減少這些干擾，初始輪廓由內(nèi)輪廓的擴(kuò)張后生成。然后采用經(jīng)典的擴(kuò)展水平集算法。 先擴(kuò)張 再收縮,三維模型重建,1.首先進(jìn)行模型檢索，從候選模型找到最合適的模型。 2.二維操作點(diǎn)的選擇 3.二維圖像三維模型變形 受幾何校正技術(shù)的啟發(fā)，提出了一種通過優(yōu)化后的目標(biāo)函數(shù)的點(diǎn)對(duì)點(diǎn)的模型變形算法 4.紋理映射,六、虛擬眼鏡試戴,1.面部跟蹤 基于主動(dòng)

5、外觀模型（AAM）的人臉跟蹤系統(tǒng)，可以得到頭平移和旋轉(zhuǎn)。 2.阻塞求解 不同于基于特征點(diǎn)或三維重建的方法，在補(bǔ)償過程中我們添加了一個(gè)透明的通用人臉模型Candide-3解決遮擋問題。,七.仿真結(jié)果與討論,人臉合成過程中使用了FERET數(shù)據(jù)庫(kù)1000人臉數(shù)據(jù)。我們還創(chuàng)建了一個(gè)2D眼鏡的二進(jìn)制圖像形狀數(shù)據(jù)庫(kù)，包括合成步驟中187個(gè)眼鏡形狀。正面人臉圖像和三維模板模型是在在互聯(lián)網(wǎng)上搜索得到的。,1.眼鏡提取的結(jié)果 卷積神經(jīng)網(wǎng)絡(luò)的分析方法，給出了一個(gè)相當(dāng)粗略的猜測(cè)眼鏡地區(qū)。 經(jīng)過水平集的細(xì)化，我們可以輪廓光滑，自然的圖片。 利用人臉數(shù)據(jù)庫(kù)和眼鏡數(shù)據(jù)庫(kù)，同時(shí)充分利用圖像邊緣信息和對(duì)稱性信息。因此，提取的

6、眼鏡的形狀更加自然和完整。,2.三維變形的結(jié)果,有2個(gè)主要的影響因素：一個(gè)是輸入的輪廓與模板的二維投影（可在模型檢索階段）的相似性，另一個(gè)是模板模型的頂點(diǎn)分布。模板A有一個(gè)均勻分布的頂點(diǎn)并且?guī)g的連接更順暢，所以變形結(jié)果通常更有利。,3.虛擬試穿的結(jié)果 圖13：三維變形結(jié)果及相應(yīng)的虛擬試驗(yàn)結(jié)果。第一行顯示輸入的人臉圖像與眼鏡。第二行顯示的輪廓圖像扭曲的三維模板的投影。第三行顯示處理點(diǎn)模板模型和提取輪廓。第四行顯示變形后的三維模型。最后一行顯示在3det系統(tǒng)中試戴的結(jié)果。所有這些變形的模型都是由模板生成的。,結(jié)論,我們的系統(tǒng)提供了3D眼鏡從一個(gè)單一的圖像生成系統(tǒng)重建虛擬試戴模型的新的解決方案。提出一個(gè)基于只有幾個(gè)有限的模板的有效