人臉識(shí)別性能測(cè)試方案

1、人臉識(shí)別系統(tǒng)性能測(cè)試方案2017年12月1事項(xiàng)說(shuō)明12測(cè)試目的23測(cè)試方式24測(cè)試內(nèi)容25測(cè)試環(huán)境25.1 網(wǎng)絡(luò)環(huán)境25.2 硬件環(huán)境26靜態(tài)人像比對(duì)系統(tǒng)評(píng)測(cè)36.1 方案描述36.2 測(cè)試數(shù)據(jù)準(zhǔn)備36.3 測(cè)試步驟36.4 評(píng)判指標(biāo)46.5 評(píng)判方法57動(dòng)態(tài)離線視頻布控測(cè)試57.1 方案描述57.2 測(cè)試數(shù)據(jù)準(zhǔn)備57.3 測(cè)試步驟57.4 評(píng)判指標(biāo)67.5 評(píng)判方法78最終成績(jī)統(tǒng)計(jì)79測(cè)試流程71事項(xiàng)說(shuō)明 參測(cè)廠商操作系統(tǒng)安裝及軟件和人口照片數(shù)據(jù)導(dǎo)入、測(cè)試調(diào) 試工作，具體部署時(shí)間由甲方通知各個(gè)參測(cè)單位； 參測(cè)廠商自行準(zhǔn)備測(cè)試環(huán)境所需的所有硬件，操作系統(tǒng)及軟 件環(huán)境； 參測(cè)廠商上報(bào)不超過(guò)2人的

2、現(xiàn)場(chǎng)操作團(tuán)隊(duì)，并提供現(xiàn)場(chǎng)操作 人員的身份信息（姓名、身份證號(hào)、聯(lián)系方式），由組織測(cè)試 方進(jìn)行身份核查，所有測(cè)試人員進(jìn)場(chǎng)前上交通訊工具；組織測(cè)試方提供所有測(cè)試數(shù)據(jù)，對(duì)于提供的測(cè)試素材（人像照 片），參測(cè)單位有保密義務(wù)，不得外泄或復(fù)制，禁止拍照、截 圖；為保證本次系統(tǒng)測(cè)試數(shù)據(jù)的安全和保密性，確保測(cè)試數(shù)據(jù)不 外泄，本次測(cè)試過(guò)程中的數(shù)據(jù)轉(zhuǎn)換，編輯和認(rèn)定均應(yīng)在組織者 制定的場(chǎng)地進(jìn)行，并于測(cè)試前簽訂保密協(xié)議，參測(cè)人員不允許 能通過(guò)任何移動(dòng)存儲(chǔ)介質(zhì)（手機(jī)、U盤、移動(dòng)硬盤以及光盤等） 或網(wǎng)絡(luò)方式將測(cè)試數(shù)據(jù)帶離測(cè)試現(xiàn)場(chǎng)；為保證本次測(cè)試的公平公正公開(kāi)，局域網(wǎng)中嚴(yán)禁使用個(gè)人公 司的筆記本，對(duì)于測(cè)試環(huán)境有任何的數(shù)據(jù)導(dǎo)

3、入，都需要有測(cè)試 方專人在場(chǎng)監(jiān)督下方可進(jìn)行，嚴(yán)禁將測(cè)試環(huán)境的數(shù)據(jù)導(dǎo)出，帶 離測(cè)試現(xiàn)場(chǎng)。測(cè)試結(jié)束后，所有參測(cè)設(shè)備須由測(cè)試組織方清空并格式化后 方能帶離。2測(cè)試目的了解各企業(yè)人臉識(shí)別系統(tǒng)的實(shí)際性能表現(xiàn)；評(píng)估現(xiàn)有人臉識(shí) 別系統(tǒng)對(duì)公安實(shí)戰(zhàn)應(yīng)用需求的滿足程度；為后期人臉識(shí)別技術(shù)系 統(tǒng)建設(shè)選型提供數(shù)據(jù)依據(jù)。3測(cè)試方式采用實(shí)驗(yàn)室測(cè)試的方式。4測(cè)試內(nèi)容本次測(cè)試包括兩個(gè)方面：靜態(tài)識(shí)別技術(shù)測(cè)試，動(dòng)態(tài)識(shí)別技術(shù) 測(cè)U試。5測(cè)試環(huán)境5.1 網(wǎng)絡(luò)環(huán)境為了保證測(cè)試的公平公正，靜態(tài)測(cè)試與離線視頻測(cè)試的測(cè)試 環(huán)境一律采用單機(jī)或單集群局域網(wǎng)，不得接入外網(wǎng)，和外界物理 隔離。5.2 硬件環(huán)境此次測(cè)試機(jī)器由各廠家自行提供，測(cè)試前需向

4、組織測(cè)試方報(bào) 備機(jī)器數(shù)量及具體參數(shù)配置。6靜態(tài)人像比對(duì)系統(tǒng)評(píng)測(cè)6.1 方案描述由測(cè)試方提供證件照底庫(kù)和多組查詢照。參測(cè)單位對(duì)底庫(kù)照 片進(jìn)行建庫(kù)，并啟動(dòng)人像檢索功能，系統(tǒng)需將查詢返回的前二 十名結(jié)果保存下來(lái)，由測(cè)試方統(tǒng)計(jì)命中結(jié)果。6.2 測(cè)試數(shù)據(jù)準(zhǔn)備測(cè)試數(shù)據(jù)描述證件照底庫(kù)5000萬(wàn)張證件照照片查詢照片查詢照總共300張，包括低清視頻截圖照、高清視 頻截圖、其他照片三類照片數(shù)據(jù)。6.3 測(cè)試步驟測(cè)試步驟描述描述測(cè)試數(shù)據(jù)準(zhǔn)備1.組織測(cè)試方準(zhǔn)備5000萬(wàn)證件照底庫(kù)，并將300張測(cè) 試數(shù)據(jù)集的登記照混入人像庫(kù)，并進(jìn)行統(tǒng)一重命名。2.將5000萬(wàn)張照片壓縮為一個(gè)zip格式壓縮包，作為 測(cè)試數(shù)據(jù)源。廠家建立

5、人像庫(kù)1 .各測(cè)試參商將測(cè)試服務(wù)器部署到組織測(cè)試方指定區(qū) 域，組織測(cè)試方以移動(dòng)硬盤為介質(zhì)將5000萬(wàn)數(shù)據(jù)壓縮 包以隨機(jī)順序移交給參測(cè)廠商。2 .各參測(cè)廠商拷貝人像庫(kù)壓縮包結(jié)束后，統(tǒng)一開(kāi)始計(jì) 時(shí)，要求在4天內(nèi)完成建庫(kù)，6天未完成建庫(kù)，則靜態(tài) 算法測(cè)試計(jì)零分。廠家測(cè)試1.參測(cè)廠商以隨機(jī)順序依次一一進(jìn)行測(cè)試，組織測(cè)試 方以U盤為介質(zhì)，將300張測(cè)試集查詢照下發(fā)給當(dāng)前參測(cè)廠商。2 .參測(cè)單位啟動(dòng)系統(tǒng)進(jìn)行批量自動(dòng)人像檢索，將得到 在底庫(kù)中的前20名最相似人員結(jié)果寫入CSV文件中。 測(cè)試完成后，參測(cè)單位將結(jié)果CSV文件交予測(cè)試方。 記錄提交的CSV文件的MD5值。3 .當(dāng)前測(cè)試廠商在測(cè)試過(guò)程中不允許對(duì)測(cè)試

6、圖片進(jìn)行 修改，檢索一旦開(kāi)啟，不允許對(duì)機(jī)器進(jìn)行操作。4 .測(cè)試過(guò)程中，非當(dāng)前測(cè)試廠商的測(cè)試人員需在指定 區(qū)域休息，不得操作各自服務(wù)器。5 .比對(duì)時(shí)間為連續(xù)2小時(shí)以內(nèi)，超過(guò)2.5小時(shí)則靜態(tài) 算法項(xiàng)計(jì)零分。人工驗(yàn)證測(cè)試結(jié)果測(cè)試方對(duì)各廠家的測(cè)試結(jié)果和標(biāo)準(zhǔn)答案進(jìn)行對(duì)比，記 錄結(jié)果，并形成測(cè)試報(bào)告。6.4 評(píng)判指標(biāo)各廠家提交的csv表格格式如下:查詢照首位第二位第二十Q0001B03B44B79Q0002A02B53B39統(tǒng)計(jì)量說(shuō)明： 首位命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標(biāo)人物位于第一位，即相似度最高； 前十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標(biāo)人物位于前二至十位； 前二十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標(biāo)人物位

7、于前十一至 二十位6.5 評(píng)判方法命中情況首位2-10 位11-20 位分?jǐn)?shù)權(quán)重10.50.1命中數(shù)量ABC總分（百分制）100*(1*A+0.5*B+0.2*C)/(300)7動(dòng)態(tài)離線視頻布控測(cè)試7.1 方案描述測(cè)試方提供離線視頻文件，同時(shí)會(huì)提供一定數(shù)量登記照片作 為布控庫(kù)。參測(cè)單位將布控人員導(dǎo)入測(cè)試系統(tǒng)，并啟動(dòng)離線視 頻分析比對(duì)功能。系統(tǒng)需將離線視頻分析過(guò)程中報(bào)警比中結(jié) 果記錄保存下來(lái)，由測(cè)試方統(tǒng)計(jì)報(bào)警情況。7.2 測(cè)試數(shù)據(jù)準(zhǔn)備測(cè)試數(shù)據(jù)描述證件照底庫(kù)30萬(wàn)張底庫(kù)布控照片。攝像頭架設(shè)按人臉卡口標(biāo)準(zhǔn)架設(shè)。離線視頻錄制 步驟1 .將20位黑名單人員，將其證件照混入布控底庫(kù)中2 .測(cè)試前，組織方組

8、織測(cè)試人員前往測(cè)試點(diǎn)位進(jìn)行視頻錄制3 .黑名單人員人通過(guò)鏡頭5次，即最終有視頻有100人次通過(guò)4 .所有黑名單過(guò)人記錄信息整理為CSV文件，對(duì)于每一個(gè)視頻 中出現(xiàn)的黑名單人員，標(biāo)注其ID，起始時(shí)間，結(jié)束時(shí)間作為一 次過(guò)人記錄，以作為黑名單過(guò)人記錄的標(biāo)準(zhǔn)答案7.3 測(cè)試步驟測(cè)試步驟描述描述測(cè)試數(shù)據(jù)準(zhǔn)備1 .測(cè)試方準(zhǔn)備30萬(wàn)證件照底庫(kù)，并將20張黑名單的 證件照混入人像庫(kù)，并進(jìn)行統(tǒng)一重命名2 .測(cè)試方按照離線視頻錄制方法錄制一段時(shí)長(zhǎng)約30分 鐘，人流量約為1000的離線視頻，轉(zhuǎn)換為標(biāo)準(zhǔn)A丫1格 式，作為測(cè)試所用視頻源廠家建立人像庫(kù)1 .各測(cè)試參商將測(cè)試服務(wù)器部署到組織測(cè)試方指定區(qū) 域，組織測(cè)試方以

9、移動(dòng)硬盤為介質(zhì)將30萬(wàn)數(shù)據(jù)壓縮包 以隨機(jī)順序移交給參測(cè)廠商2 .參測(cè)廠商拷貝人像庫(kù)，導(dǎo)入各自系統(tǒng)，并啟動(dòng)建 庫(kù)，要求在一小時(shí)內(nèi)完成建庫(kù)廠家測(cè)試1 .組織測(cè)試方以U盤為介質(zhì)，將測(cè)試視頻下發(fā)給參測(cè) 廠商2 .各參測(cè)廠商將視頻文件上傳至人臉識(shí)別系統(tǒng)，為了 比較各廠家在同一誤報(bào)率下的準(zhǔn)確率，各廠家需以同 一誤報(bào)數(shù)量的前提下，調(diào)整自身報(bào)警閾值，維持此時(shí) 的報(bào)警閾值，不得修改。3 .測(cè)試過(guò)程中，組織測(cè)試方對(duì)參測(cè)廠商一對(duì)一進(jìn)行監(jiān) 督，不允許參測(cè)廠商對(duì)報(bào)警結(jié)果進(jìn)行增刪操作4 .測(cè)試結(jié)束后，參測(cè)廠商需將報(bào)警結(jié)果在可視化頁(yè)面 呈現(xiàn)，且將所有報(bào)警結(jié)果導(dǎo)出為一個(gè)CSV文件，組織 測(cè)試方依次 對(duì)參測(cè)廠商的報(bào)警結(jié)果進(jìn)行統(tǒng)

10、計(jì)人工驗(yàn)證測(cè)試結(jié)果測(cè)試方對(duì)各廠家的測(cè)試結(jié)果和標(biāo)準(zhǔn)答案進(jìn)行對(duì)比，記 錄結(jié)果，并形成測(cè)試報(bào)告7.4 評(píng)判指標(biāo)1.組織測(cè)試方統(tǒng)計(jì)如下信息量用來(lái)評(píng)判結(jié)果:a）系統(tǒng)正確報(bào)警數(shù)：指測(cè)試結(jié)果中可以匹配標(biāo)準(zhǔn)答案中某次黑名單過(guò)人記錄的報(bào)警結(jié)果，“匹配”需同時(shí)滿足如下條件：i. 布控ID屬于黑名單人員。ii. 報(bào)警時(shí)間處于該黑名單人員某次過(guò)人記錄時(shí)間范圍內(nèi)。iii. 報(bào)警分?jǐn)?shù)大于預(yù)設(shè)報(bào)警閾值。iv. 去重。如果標(biāo)準(zhǔn)答案中某個(gè)過(guò)人記錄匹配了多次報(bào)警結(jié)果，只算作一次正確報(bào)警。b）系統(tǒng)錯(cuò)誤報(bào)警數(shù)：指測(cè)試結(jié)果中不匹配標(biāo)準(zhǔn)答案中對(duì)應(yīng)黑 名單過(guò)人記錄的報(bào)警結(jié)果。7.5評(píng)判方法1 .組織測(cè)試方以隨機(jī)順序依次挑選測(cè)試廠商進(jìn)行結(jié)果統(tǒng)計(jì)， 將參測(cè)廠商報(bào)警結(jié)果的分?jǐn)?shù)從高到低排序，從上往下篩選，當(dāng)找 到第十個(gè)錯(cuò)誤報(bào)警時(shí)，記錄該錯(cuò)誤報(bào)警的報(bào)警分?jǐn)?shù)，統(tǒng)計(jì)所有報(bào) 警分?jǐn)?shù)在該分?jǐn)?shù)以上的正確報(bào)警結(jié)果，假設(shè)為N，則得分為N。2 .為了保證統(tǒng)計(jì)的嚴(yán)肅性，統(tǒng)計(jì)期間其他廠家不得入場(chǎng)，待 當(dāng)前廠家統(tǒng)計(jì)完成后，換下一廠家入場(chǎng)統(tǒng)計(jì)。8最終成績(jī)統(tǒng)計(jì)廠家名稱靜態(tài)測(cè)試得分動(dòng)態(tài)測(cè)試得分9測(cè)試流程實(shí)驗(yàn)室測(cè)試環(huán)節(jié)