深度人臉識別綜述

人臉識別綜述Pa

r

t 1 人臉識別基本概念Pa

r

t 2 Deep

Fa

cePa

r

t 3 Fa

ceN

et

Pa

r

t 4 C

en

ter

Los

sPa

r

t 5 如何搭建一個簡易人臉識別系統(tǒng)目錄人臉識別基本概念人臉驗證/人臉比對人臉1:1比對人臉識別給定兩個人臉，來判斷是否為一個人提供一個證件，然后進行比對。應用場景火車票刷臉進站、銀行柜臺、海關(guān)、手機解鎖、酒店入住、網(wǎng)吧驗證等。人臉識別人臉1：N比對一張待檢索的圖片，大小為N的人臉庫，判斷庫中是否有目標人物。應用場景安防、公安、智能門鎖、門禁、考勤機等。LFW(

Labled Faces

in

the

Wild)

數(shù)據(jù)集被廣泛用于測試人臉驗證算法的性能，其從數(shù)據(jù)集中選擇了6000

對人臉組成了人臉辨識圖片對，其中3000

對屬于同一個人的2

張人臉照片，

3000

對屬于不同的人每人1

張人臉照片。測試過程LFW

給出一對照片，詢問測試中的系統(tǒng)兩張照片是不是同一個人，系統(tǒng)給出“是”或“否”的答案。LFW

測試集已經(jīng)“飽和”。LFW

測試腳本通常會計算 Accuracy

，指定FAR

下的TAR

，

ERR

等指標LFW數(shù)據(jù)集評測指標比較主流的評測指標是這兩種：TPR@EER（在取到等錯率EER的情況下，正確率TPR的取值情況，TPR=TP/P）進行評價，TPR值越大算法性能越好。TPR@FAR=0.1、0.01

、0.001

...(

TPR@FAR=0.1表示在誤識率FAR=0.1時，TPR的取值情況，TPR=TP/P)為了更好的理解，你需要對這幾個指標的含義有所了解：TPR/FAR/FRR/EER真正率TPR=正確識別為正樣本數(shù)/正樣本對總數(shù)=TP/P誤識率FAR=錯誤識別為正樣本數(shù)/負樣本對總數(shù)=

FP/N拒識率FRR=錯誤識別為負樣本數(shù)/正樣本對總數(shù)=

FN/P等錯率EER:FAR=FRR，即拒識率和誤識率相等TP(TruePositive): 正確判斷為本人的個數(shù)（人臉對是同一個人被系統(tǒng)判定為同一人）TN

(True

Negative):

正確判斷為非本人的個數(shù)（人臉對不是同一個人被系統(tǒng)正確判為不是同一個人）FP

(False

Positive): 錯誤判斷為本人的個數(shù)（不是一個人但被認證為是同一個人，即誤檢）FN

(False

Negative):

錯誤判斷為非本人的個數(shù)（是本人但未被認證為本人，漏檢，或者稱為誤拒）1

人臉檢測2

人臉預處理通常是人臉關(guān)鍵點檢測+

人臉矯正，

可跳過3

人臉表示提取有較好表達能力的特征向量4

特征比對/

匹配人臉識別基本流程更全面的流程梳理Face

Processing人臉處理方法可以分為2類one-to-many：通過數(shù)據(jù)增廣，從一張圖生成很多個有不同屬性（如姿態(tài)）圖片，從單張圖片中生成許多塊或者圖片來進行姿態(tài)變化的多樣性，保證深度網(wǎng)絡能學到姿態(tài)不變性表征。常用3D臉，或者GAN；many-to-one：從單張或多張非正臉圖片中恢復人臉圖片到規(guī)范角度；然后特征提取工作可以在約束條件下進行，從而獲得更好的效果，學術(shù)界近年常用GAN等方法。Feature

Extraction主干網(wǎng)絡在人臉識別中使用的網(wǎng)絡結(jié)構(gòu)基本和用于分類任務的主干網(wǎng)絡的發(fā)展保持一致，下圖可以看到，人臉識別領(lǐng)域比較重要的工作中使用的主干網(wǎng)絡，基本就是追隨主干網(wǎng)絡的發(fā)展，從alexnet發(fā)展到VGG、ResNet，再到Senet等。另外一部分工作，不使用單一主干網(wǎng)絡的架構(gòu)，試圖通過使用多輸入或多任務的方式來提升模型特征提取的效果。Multi

networks多輸入多任務Loss函數(shù)發(fā)展時間線梳理數(shù)據(jù)集越來越多復雜的數(shù)據(jù)集被不斷的提出，可以說數(shù)據(jù)集本身的提出，也幫助人臉識別的發(fā)展指明了方向。VGGFace2是目前能拿到的在數(shù)據(jù)規(guī)模和噪聲比例都不錯的公開數(shù)據(jù)集。MS-Celbe-1M

值得借鑒的無監(jiān)督自動標注Asian-Celeb亞洲名人數(shù)據(jù)集DeepFaceD

eepF

ac

e

: Cl

osi

n

g t

h

e G

a

p t

o Hu

m

a

n

-

L

ev

el P

er

fo

r

man

c

e i

n F

ac

e V

er

i

fi

c

at

i

o

nD

eepF

ac

e

是CV

P

R

2

0

1

4

上由F

a

ce

B

ook

提出來的，

D

eepF

ac

e

基本算是C

N

N

在人臉識別的奠基之作，并將人臉識別精度接近人類水平。D

eepF

ac

e

在進行人臉識別的過程中主要分為以下步驟：

人臉檢測3

D

對齊人臉表示（

C

N

N

特征提?。?/p>

人臉驗證論文簡介一、人臉檢測（

f

ac

e d

e

t

e

c

t

i

o

n

）D

eepF

ac

e

采用了基于檢測點的人臉檢測方法（

fi

du

c

i

al P

o

i

n

t D

et

ec

t

o

r

）、先選擇6

個基準點，

2

只眼睛中心、 1

個鼻子點、3

個嘴上的點。、通過L

BP

特征用SV

R

來學習得到基準點。二、人臉對齊（

f

ac

e al

i

g

n

m

e

n

t

）在對齊方面，

D

eepF

ac

e

模型采用了3

D

對齊的方式。人臉檢測與對齊經(jīng)過3

D

對齊以后，形成的圖像都是1

5

2

×

1

5

2

的圖像，送入C

N

N

，其結(jié)果如下：

人臉表示C1

：卷積層，卷積核尺寸1

1

*

1

1

，共3

2

個卷積核M2

：池化層，最大池化3

*

3

，即s

t

r

i

de = 2C3

：卷積層，卷積核尺寸9

*

9，共1

6

個卷積核，共1

6

個卷積核。L

表示l

oca

l

，意思是卷積核的參數(shù)不共享，共1

6

個卷積核。L

表示l

oca

l

，意思是卷積核的參數(shù)不共享，共1

6

個卷積核。L

表示l

oca

l

，意思是卷積核的參數(shù)不共享L4

：

卷積層，卷積核尺寸9

*

9L5

：

卷積層，卷積核尺寸7

*

7L6

：

卷積層，卷積核尺寸5

*

5F7

：

全連接，

4

0

9

6

個神經(jīng)元F8

：

全連接，

4

0

3

0

個神經(jīng)元取F7

全連接輸出為人臉表示特征（由于經(jīng)過了RELU

，取值非負）

人臉特征需要進行歸一化，其歸一化的方式為：

先對每一維進行歸一化（每一維除以該維的最大值）

再將整個向量進行L2

正則化。歸一化的主要目的是避免光照等其他因素的影響。人臉特征的歸一化義對于最終的人臉驗證環(huán)節(jié)，論文給出了3

種方案：

1

內(nèi)積，

2

卡方加權(quán)，

3siamese

網(wǎng)絡直接用向量內(nèi)積來衡量相似度卡方加權(quán)卡方相似度的定加權(quán)系數(shù)wi

通過SVM

訓練出來siamese

網(wǎng)絡最后通過全連接訓練一個邏輯單元度量學習DeepFace實驗結(jié)果第一個使用深度學習解決人臉識別問題的架構(gòu)，超過了前人的效果，且逼近人類水平B

ac

k

bo

n

e

網(wǎng)絡使用了多層局部卷積結(jié)構(gòu)（

L

oca

l Con

vol

u

t

i

on

），原因是希望網(wǎng)絡的不同卷積核能學習人臉不同區(qū)域的特征，但會導致參數(shù)量增大，要求數(shù)據(jù)量很大，回過頭去看該策略并不是十分必要。轉(zhuǎn)化為分類問題用s

o

ft

max l

oss

訓練來得到人臉表征一些思考：

這樣訓練出的人臉特征真的好嗎？

人臉I(yè)D

過多怎么辦？每個類別的樣本太少如何解決？

DeepFace總結(jié)FaceNet在理想的狀況下，我們希望“

向量表示”

之間的距離就可以直接反映人臉的相似度：

D

eepF

ac

e

中，我們使用的是s

o

ft

max

損失，

s

o

ft

max

是類別間的損失，對于人臉來說，每一類就是一個人。盡管使用s

o

ft

max

損失可以區(qū)別每個人，但其本質(zhì)上沒有對每一類的向量表示之間的距離做出要求。人臉表示的理想情況Softmax訓練潛在問題的可視化使用CNN對MNIST進行分類，我們設(shè)計一個特殊的卷積網(wǎng)絡，讓最后一層的向量變?yōu)?維，此時可以畫出每一類對應的2維向量表示的圖（圖中一種顏色對應一種類別）Triplet

loss

三元組損失示意圖三元組損失直接對距離進行優(yōu)化，因此可以解決人臉的特征表示問題。但是在訓練過程中，三元組的選擇非常地有技巧性。如果每次都是隨機選擇三元組，因為很多三元組都不產(chǎn)生l

oss

，收斂慢，且難度過低并不能達到最好的性能。如果加入“

難例挖掘”

，即每次都選擇最難分辨率的三元組進行訓練，模型又往往不能正確的收斂，或者早早陷入局部極小值。對此，又提出每次都選擇那些“s

e

m

i

-

h

ar

d”

的數(shù)據(jù)進行訓練，難度逐步過渡，讓模型在可以收斂的同時也保持良好的性能。此外，使用三元組損失訓練人臉模型通常還需要非常大的人臉數(shù)據(jù)集，才能取得較好的效果。難以訓練是Facenet的最大缺點CenterLoss與三元組損失不同，中心損失不直接對距離進行優(yōu)化，它保留了原有的分類模型，但又為每個類(

在人臉模型中，一個類就對應一個人)

指定了一個類別中心。同一類的圖像對應的特征都應該盡量靠近自己的類別中心，不同類的類別中心盡量遠離。與Tr

ip

le

t

Lo

s

s

相比，使用中心損失訓練人臉模型不需要使用小心控制的采樣方法，而且利用較少的圖像就可以達到與三元組損失相似的效果。Center

Loss公式定義lambda效果可視化CenterLoss的Tensorflow實現(xiàn)實驗效果如何搭建一個人臉識別系統(tǒng)這里再次給出，制作一個初步的人臉識別框架，所需要的必備環(huán)節(jié)：

步驟1 人臉檢測（可以使用m

tc

n

n

給出人臉檢測框和5

點關(guān)鍵點）步驟2 人臉預處理（可以只做以下簡單的r

e

s

i

z

e

處理）

步驟3 人臉表示（

I

nc

e

p

t

i

onv

1 + s

o

f

tm

ax l

oss 訓練一個特征抽取網(wǎng)絡)步驟4 人臉識別（基于歐式距離/

c

os

距離的模板匹配）

以上給出的方案，其實就是fa

cen

et

的官方庫/davidsandberg/facenet目前的一個基本流程。最后，我們討論下，可以再哪些方面，對這個基礎(chǔ)版本的系統(tǒng)進行優(yōu)化。一個簡易的人臉識別框架數(shù)據(jù)是一個任務的重中之重，關(guān)于數(shù)據(jù)的問題會有很多需要解決：

如何收集數(shù)據(jù)？如何減少數(shù)據(jù)集中的噪聲？

多數(shù)公開數(shù)據(jù)集更偏重歐洲人，那么在自己的任務上嘗試亞洲人臉數(shù)據(jù)集會不會效果更好？還是在大數(shù)據(jù)上預訓練后，在自建小數(shù)據(jù)集上微調(diào)效果好？還是揉在一起訓效果好？

如何在提高當前關(guān)心人物效果的同時，保證泛化能力不損失的太厲害？

潛在的優(yōu)化點：數(shù)據(jù)集潛在的優(yōu)化點：人臉對齊通過閱讀源碼發(fā)現(xiàn)，F(xiàn)acenet項目中的facenet-maste