人臉識別演講ppt.ppt

人臉識別 AI 2018 09 07 facedetection AI weekreport 匯報人 芥末醬 前言 人臉識別 是基于人的臉部特征信息進行身份識別的一種生物識別技術(shù) 用攝像機或攝像頭采集含有人臉的圖像或視頻流 并自動在圖像中檢測和跟蹤人臉 進而對檢測到的人臉進行臉部識別 它集成了人工智能 機器學習 模型理論 視頻圖像處理等多樣專業(yè)技術(shù) 隨著智能手機的快速普及 可以通過手機鏡頭在手機上做基于人臉識別的身份注冊 認證 登錄等 使身份認證進程更安全 方便 由于人臉比指紋等視覺辨識度更高 所以刷臉的應(yīng)用前景更廣闊 目錄 Contents 01 人臉識別 應(yīng)用 02 人臉圖像 預(yù)處理 03 人臉圖像 特征檢測 04 人臉圖像 匹配與識別 01 人臉識別 初識 人臉識別分為兩大類 一是回答我是誰的問題 即辨認 Identification 二是回答這個人是我嗎 即 Verification 正常人眼的識別準確率是97 而目前專業(yè)的人臉識別研究企業(yè)機構(gòu)可讓其精確度高達99 以上 若結(jié)合眼紋等多因子驗證 準確率能達到99 99 且以人臉識別技術(shù)為核心的系統(tǒng) 能解決人臉識別在現(xiàn)實應(yīng)用場景中面臨的眾多問題 應(yīng)用場景 Applicationscenario 02 人臉圖像 預(yù)處理 預(yù)處理是人臉識別過程中的一個重要環(huán)節(jié) 輸入圖像由于圖像采集環(huán)境的不同 如光照明暗程度 以及設(shè)備性能的優(yōu)劣等 往往存有噪聲 對比度不夠等缺點 因此我們需要對其進行圖像預(yù)處理 圖像預(yù)處理 Imagepreprocessing 灰度化 Grayscale 灰度變換方法 Grayscaletransformationmethod rgbImage imread Lena jpg grayImage rgb2gray rgbImage J1 imadjust grayImage 01 01 2 5 J2 imadjust grayImage 01 01 1 5 J3 imadjust grayImage 01 01 0 67 J4 imadjust grayImage 01 01 0 4 subplot 1 5 1 imshow J1 title gamma 2 5 subplot 1 5 2 imshow J2 title gamma 1 5 subplot 1 5 3 imshow grayImage title 原灰度圖像 subplot 1 5 4 imshow J3 title gamma 0 67 subplot 1 5 5 imshow J4 title gamma 0 4 左圖是一張進行灰度變換的灰度圖 先從左上角看 該像素的灰度值為254 然后下一個灰度值143 對其進行映射 得到的值是一個比143少的數(shù) matlab當中常用的灰度變換函數(shù)是 imadjust I low in high in low out high out gamma 幾何變換 Geometrictransformation 平移se translate strel 1 2020 img2 imdilate img1 se figure imshow img2 imwrite img2 a2 jpg I imread baby bmp height width dim size I tform1 maketform affine 0 1 0 1 0 0 0 0 1 I1 imtransform I tform1 nearest 旋轉(zhuǎn)img3 imrotate img1 90 figure imshow img3 imwrite img3 a3 jpg 縮放img4 imresize img1 2 figure imshow img4 imwrite img4 a4 jpg 平移 轉(zhuǎn)置 旋轉(zhuǎn) 縮放 圖像增強 Imageenhancement 歸一化 Normalized 所謂圖像歸一化 就是通過一系列變換 將待處理的原始圖像轉(zhuǎn)換成相應(yīng)的唯一標準形式 該標準形式圖像對平移 旋轉(zhuǎn) 縮放等仿射變換具有不變特性 1 什么是歸一化 圖像歸一化使得圖像可以抵抗幾何變換的攻擊 也就是轉(zhuǎn)換成唯一的標準形式以抵抗仿射變換 2 為什么歸一化 線性函數(shù)歸一化 Min Maxscaling 0均值標準化 Z scorestandardization 3 數(shù)據(jù)歸一化的方法有哪些 03 人臉圖像 特征檢測 所謂人臉檢測 就是給定任意一張圖片 找到其中是否存在一個或多個人臉 并返回圖片中每個人臉的位置和范圍 即找出特征點 在模式識別領(lǐng)域 一句重要的話是 Featuresmatter 獲得好的特征是識別成功的關(guān)鍵 深度學習 特征點 DeepLearning 特征點檢測 算法在人臉檢測的基礎(chǔ)上 根據(jù)輸入的人臉圖像 自動定位出面部關(guān)鍵特征點 如眼睛 鼻尖 嘴角點 眉毛以及人臉各部件輪廓點等 輸入 人臉外觀 輸出 人臉特征點集合 人臉對齊 算法以看作在一張人臉圖像搜索人臉預(yù)先定義的點 也叫人臉形狀 通常從一個粗估計的形狀開始 然后通過迭代來細化形狀的估計 方法包括 AAM ActiveAppearnceModel ASM ActiveShapeModel 特征點定位 算法利用CNN 由粗到細 實現(xiàn)人臉關(guān)鍵點的精確定位 一般網(wǎng)絡(luò)結(jié)構(gòu)分為3層 level1 level2 level3 每層都包含多個獨立的CNN模型 特征點提取 算法需要一個特征提取器 predictor 構(gòu)建特征提取器可以訓練模型 要下載dlib提供的已經(jīng)訓練好的關(guān)鍵點提取模型 特征點檢測算法 BaseonCNN 人臉對齊算法 Facealignment 仿射變換以求人臉對齊 importcv2importnumpyasnpfrommatplotlibimportpyplotaspltimg cv2 imread lena jpg 1 rows cols channel img shape 仿射函數(shù) 將3個原圖點坐標 和得到結(jié)果圖的3個點坐標 生成參數(shù)帶入函數(shù)得到結(jié)果pts1 np float32 50 50 200 50 50 200 pts2 np float32 10 100 200 50 100 250 M cv2 getAffineTransform pts1 pts2 dst cv2 warpAffine img M cols rows plt subplot 121 plt imshow img plt title Input plt subplot 122 plt imshow dst plt title Output plt show 特征點定位算法 Featurelocation F1定位所有的5個關(guān)鍵點 EN1用于定位 左眼 右眼 鼻子三個特征點 NM1用于定位 左嘴角 右嘴角 鼻子三個特征點 level1粗定位 包含3個CNN 每兩個CNN負責預(yù)測同一個關(guān)鍵點 然后取平均得到這一點的精確預(yù)測 輸入為在level1輸出的關(guān)鍵點周圍的局部裁剪圖像 level2精確定位 包含10個CNN level3更精確定位 結(jié)構(gòu)和作用與level2一致 10個CNN 兩兩平均 只是輸入的圖像是在leve2關(guān)鍵點基礎(chǔ)上做了更小的裁剪 特征提取算法 Featureextraction 首先 需要一個特征提取器 predictor 構(gòu)建特征提取器可以訓練模型 要下載dlib提供的已經(jīng)訓練好的關(guān)鍵點提取模型 因為我的人臉圖片是不同角度的 所以不一定能夠檢測到人臉 所以當檢測不到人臉時 依次旋轉(zhuǎn)圖片60度 再次檢測 直到能夠檢測到人臉為止 如果旋轉(zhuǎn)了360度還是檢測不到人臉的話 那么認為該圖片中不存在人臉 關(guān)鍵點提取 提取 保存 保存68個關(guān)鍵點 對照著左圖 比如說想獲取鼻尖的坐標 那么橫坐標就是shapes 0 part 30 x 其余的類似 特征提取算法 Featureextraction include include include include include includeusingnamespacedlib usingnamespacestd intmain try cv VideoCapturecap 0 先初始化 打開視頻if cap isOpened cerr Unabletoconnecttocamera endl return1 關(guān)鍵點提取 frontal face detectordetector get frontal face detector shape predictorpose model deserialize shape predictor 68 face landmarks dat pose model while cv waitKey 30 27 Grabaframecv Mattemp cap temp cv imagecimg temp Detectfacesstd vectorfaces detector cimg Findtheposeofeachface std vectorshapes for unsignedlongi 0 i faces size i shapes push back pose model cimg faces i if shapes empty for inti 0 i 68 i circle temp cvPoint shapes 0 part i x shapes 0 part i y 3 cv Scalar 0 0 255 1 shapes 0 part i x 68個 Displayitallonthescreenimshow Dlib特征點 temp 04 人臉圖像 匹配與識別 提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫中存儲的特征模板進行搜索匹配 通過設(shè)定一個閾值 當相似度超過這一閾值 則把匹配得到的結(jié)果輸出 根據(jù)相似程度對人臉的身份信息進行判斷 這一過程又分為兩類 一類是確認 1 1 另一類是辨認 1 N 人臉識別 Facerecognition 通過計算特征向量之間的歐氏距離來得到人臉相似程度 在LFW上面取得了當時最好的成績 識別率為99 63 原理 1 先導入模型參數(shù)2 然后導入兩張圖片 分別獲取其經(jīng)過模型后得到的128維特征向量3 最后計算兩個向量的歐氏距離 步驟 歐幾里得度量 euclideanmetric 也稱歐氏距離 是一個通常采用的距離定義 指在m維空間中兩個點之間的真實距離 或者向量的自然長度 即該點到原點的距離 在二維和三維空間中的歐氏距離就是兩點之間的實際距離 計算歐氏距離 歐氏距離 EuclideanDistance 精確度比較 AccuracyComparison SeetaFace由中科院計算所山世光帶領(lǐng)研究組研發(fā) 代碼基于C 實現(xiàn) 不依賴第三方庫 但存在缺陷 1 人臉檢測速度很慢無法達到實時2 人臉對齊模塊其實不是很前沿因為只有五個點3 實驗過demo 相似度基本沒有達到0 8 DeepFace在使用前需要進行3D對齊處理 在訓練的時沒有進行對齊 采用了通過對圖片進行翻轉(zhuǎn) 切片等處理計算出對應(yīng)的特征向