人像一比一比對測試方案計(jì)劃

PAGE11人像一比一比對測試方案2015年5月

目錄1 人像1:1比對測試介紹 3 測試目的 3 測試重點(diǎn) 3 測試內(nèi)容 4 測試指標(biāo) 42 測試數(shù)據(jù)和環(huán)境準(zhǔn)備 5 測試數(shù)據(jù)準(zhǔn)備 5 查詢照準(zhǔn)備 5 登記照準(zhǔn)備 6 測試硬件形式 6 測試網(wǎng)絡(luò)環(huán)境 63 測試過程及說明 7 測試流程方法說明 7 靜態(tài)人像比對測試方法 7 參測單位輸入輸出 7 測試輸入 7 測試輸出 8 測試結(jié)果 84 測試計(jì)劃與安排 105 系統(tǒng)安全與數(shù)據(jù)安全 10人像1:1比對測試介紹測試目的人臉識別技術(shù)是基于人的面部特征信息進(jìn)行身份識別的一種生物識別技術(shù)，通過先進(jìn)、成熟的人臉識別技術(shù)可以全面的提升互聯(lián)網(wǎng)線上遠(yuǎn)程開戶等業(yè)務(wù)的拓展和服務(wù)能力提升，并通過柜臺開戶優(yōu)化、VIP身份識別等功能優(yōu)化線下業(yè)務(wù)。人臉識別技術(shù)的應(yīng)用順應(yīng)了當(dāng)前互聯(lián)網(wǎng)金融趨勢，全面推進(jìn)業(yè)務(wù)創(chuàng)新拓展。人臉識別技術(shù)在近兩年飛速發(fā)展，計(jì)算機(jī)識別能力已超過人眼平均水平。同時(shí)，人民銀行近期下發(fā)遠(yuǎn)程開戶意見征求稿，微眾、網(wǎng)商等互聯(lián)網(wǎng)銀行已對人臉識別技術(shù)探索應(yīng)用。人臉識別技術(shù)在金融行業(yè)的使用正在迅速擴(kuò)散。人臉識別技術(shù)在金融領(lǐng)域應(yīng)用的核心在于取得判斷申請人當(dāng)前人像照與申請人對應(yīng)的個(gè)人證件照是否為“同一人”。無論業(yè)務(wù)場景如何變化，歸其根本還是兩張靜態(tài)圖片的1：1比對。因此在金融領(lǐng)域人臉識別技術(shù)的測試中，將靜態(tài)人像1：1比對的結(jié)果做為衡量人像識別產(chǎn)品性能的根本指標(biāo)。人像1：1比對測試使得在自己的業(yè)務(wù)場景下，更好地了解行業(yè)技術(shù)的成熟度，比較各廠商識別能力。測試重點(diǎn)根據(jù)業(yè)務(wù)場景，驗(yàn)證人像識別技術(shù)在具體業(yè)務(wù)上提供服務(wù)的能力。主要包括：金融領(lǐng)域需要人臉識別技術(shù)較低誤報(bào)率。人臉識別技術(shù)測試最常用的兩個(gè)指標(biāo)是“誤報(bào)率”和“通過率”，所謂“誤報(bào)率”是指：不同人照片比對判斷錯誤的比例（換句話說：將不同人的兩張照片識別為同一個(gè)人），“通過率”是指：相同人照片比對判斷正確地比例（換句話說：將同一個(gè)人兩張照片識別為同一人的比例）。對于金融領(lǐng)域而言，比較兩者，誤報(bào)率尤為重要，因?yàn)椋航鹑陬I(lǐng)域往往都是資金流動交易，若“誤報(bào)率”較高，則更容易將偽冒者識別通過非本人的賬戶身份，一旦發(fā)生資金操作，會帶來極大風(fēng)險(xiǎn)和隱患，故，銀行人像識別需求應(yīng)希望較低的“誤報(bào)率”。測試數(shù)據(jù)量的大小，決定測試結(jié)果的參考性。測試場景和數(shù)據(jù)越接近真實(shí)業(yè)務(wù)場景，測試結(jié)果對于實(shí)際應(yīng)用的參考越大。測試數(shù)據(jù)量越大，越能夠體現(xiàn)識別系統(tǒng)真實(shí)性能，考慮到現(xiàn)場測試環(huán)境，一般建議最好測試比對次數(shù)在百萬量級以上，以符合真實(shí)環(huán)境業(yè)務(wù)需求。測試內(nèi)容基于申請人當(dāng)前拍攝照片（查詢照）與申請人提供信息（如姓名和身份證號碼）對應(yīng)的登記照片進(jìn)行靜態(tài)人像比對，從而判斷是否同一人。登記照片指證件照片或者證件水印照片。測試指標(biāo)誤報(bào)率 ：不同人的查詢照和登記照判斷為同一人照片的比例；誤報(bào)率=將不同人的查詢照和登記照判斷為同一人照片的次數(shù)/總比對次數(shù)。通過率 ：同一人的查詢照和登記照判斷為同一人的比例；通過率=將同一人的查詢照和登記照判斷為同一人的次數(shù)/數(shù)據(jù)集中查詢照和登記照為同一人照片的總次數(shù)萬分之一誤報(bào)率下，通過率：在每10000次比對誤報(bào)1次的前提下，對相同人照片判斷正確的比例十萬分之一誤報(bào)率下，通過率：在每100000比次對誤報(bào)1次的前提下，對相同人照片判斷正確的比例測試數(shù)據(jù)和環(huán)境準(zhǔn)備測試數(shù)據(jù)準(zhǔn)備根據(jù)金融領(lǐng)域應(yīng)用場景和測試結(jié)果的可參考性，應(yīng)準(zhǔn)備超過1000人的查詢照和登記照各一張。查詢照準(zhǔn)備準(zhǔn)備超過1000人的生活照，照片質(zhì)量建議：光照均勻，明亮，無反光或陰影；光源需是自然光或者室內(nèi)明亮白光自然無化妝人像端正，無明顯的抬頭、低頭、側(cè)臉人像清晰較清晰，人臉的雙眼皮、皺紋等明顯細(xì)節(jié)特征人像大小在150x150或以上（截取臉部頭像后）圖像大小一般在5KB(JPG圖像)以上神態(tài)自然，可微笑（但不露齒），無大笑、皺眉等明顯表情五官可見，眉毛、眼睛基本不被劉海、眼鏡等遮擋拍攝距離在2米以上，無拍攝距離過近導(dǎo)致的明顯失真參考樣例登記照準(zhǔn)備準(zhǔn)備超過1000人的身份證件照,是。如無法直接提供身份證件照，可提供每個(gè)人的真實(shí)姓名、身份證號碼，通過公安身份平臺（或接口方式）獲取對應(yīng)地證件照片（可能含有水?。；蛘呤褂蒙矸葑C翻拍照，身份證翻拍照的照片質(zhì)量建議見附件。測試硬件形式測試可通過一下任何一種方式進(jìn)行：測試硬件：建議配置高于CPU一顆i7-3770，內(nèi)存大于等于8G，硬盤大于等于200G。由參與測試廠商自行攜帶服務(wù)器設(shè)備。通過云服務(wù)進(jìn)行測試。測試網(wǎng)絡(luò)環(huán)境參與測試廠商自行提供本次人臉識別測試的系統(tǒng)平臺，測試期間如需要通過網(wǎng)絡(luò)獲取公安證件照，提供內(nèi)網(wǎng)/外網(wǎng)，或自行準(zhǔn)備3/4G無線網(wǎng)絡(luò)。測試過程及說明測試流程方法說明靜態(tài)人像比對測試方法測試數(shù)據(jù)輸入，由參測單位啟動測試，將A、B兩個(gè)文件夾導(dǎo)入識別系統(tǒng)中，（A文件夾存有所有查詢照）（B文件夾存有所有登記照），命名規(guī)則分別為：A文件夾，B文件夾。各參測單位分別在各自識別系統(tǒng)中比對A文件夾中每一張照片和B文件夾中每一張照片。生成比對結(jié)果，包括每次比對的相似度和用時(shí)。根據(jù)標(biāo)準(zhǔn)格式輸出csv文本文件。參測單位輸入輸出測試輸入A、B兩組照片文件夾，A文件夾內(nèi)是生活照、B文件夾中是登記照；測試輸出文本文件（格式：圖片A、圖片B、是否本人、比對分值、耗時(shí)長ms）測試結(jié)果a) 根據(jù)各參測單位提交結(jié)果分別整理，歸納分成兩張表，“測試照片通過表”和“測試照片不通過表”，根據(jù)相似度數(shù)值降序排列（從高到低）。如下圖所示：說明：根據(jù)參測單位照片依次比對相似度取值結(jié)果，填入“測試照片通過表”中的“相似度取值”列中。通過率計(jì)算：首先，通過上面的測試結(jié)果我們可以得出幾個(gè)參數(shù)值：A和B比對通過的人數(shù)量是N；A和B比對不通過的人數(shù)量是A*B–N；不通過的數(shù)據(jù)中，D為序列號，E為相似度值，在同一行；通過的數(shù)據(jù)中，F(xiàn)的取值為相似度值≥E的總次數(shù)；誤報(bào)率在萬分之一下，通過率的計(jì)算公式：步驟一：總測試比對次數(shù)/10000得出萬分之一誤報(bào)率下，不通過數(shù)據(jù)表中序列號，與之對應(yīng)的相似度值E, 如果測試數(shù)據(jù)是1000對照片，則D=1000*1000/10000=100（D取整數(shù)，小數(shù)向前進(jìn)一位），找到其對應(yīng)的E值，假設(shè)E=78步驟二：根據(jù)“不通過表”相似度E找到“通過表”中對應(yīng)的序列號F。假設(shè)F=923得出：萬分之一誤報(bào)率下，通過率=F/N；例子中的通過率為%。誤報(bào)率在十萬分之一下，通過率的計(jì)算公式：與上面類似，D=(A*B)/100000得出：十萬分之一誤報(bào)率下，通過率=F/N；測試計(jì)劃與安排測試時(shí)間為：月日時(shí)。各參測廠商攜帶程序和可能需要的硬件設(shè)備按時(shí)到達(dá)測試現(xiàn)場。系統(tǒng)安全與數(shù)據(jù)安全為了確保系統(tǒng)和數(shù)據(jù)的安全，將采取以下幾個(gè)措施：1、與參加測試單位之間簽訂保密協(xié)議，明確此次測試數(shù)據(jù)只能用于該項(xiàng)目。2