人像識(shí)別系統(tǒng)在視頻監(jiān)控領(lǐng)域的應(yīng)用

人像識(shí)別系統(tǒng)在視頻監(jiān)控領(lǐng)域的應(yīng)用

一、視頻存儲(chǔ)規(guī)模隨著武漢視頻監(jiān)控系統(tǒng)、智能城市等項(xiàng)目的發(fā)展，城市視頻監(jiān)控系統(tǒng)的攝像頭數(shù)量顯著增加。按照“圈、塊、格、點(diǎn)”的布局原則,目前,武漢市局視頻監(jiān)控系統(tǒng)中公安自建的前端監(jiān)控點(diǎn)達(dá)30000余個(gè),視頻存儲(chǔ)規(guī)模達(dá)到20PB。特別是高清監(jiān)控的廣泛應(yīng)用,使得人臉識(shí)別在數(shù)據(jù)采集上的阻礙大大減小,提升了人臉識(shí)別的質(zhì)量,擴(kuò)大了應(yīng)用范圍。人像識(shí)別系統(tǒng)利用視頻圖像分析、數(shù)據(jù)挖掘等技術(shù),對(duì)公安關(guān)注的各類(lèi)目標(biāo)進(jìn)行識(shí)別、定位、監(jiān)控、追蹤,提高了社會(huì)面動(dòng)態(tài)管控能力。刑事偵破、社會(huì)治安、戶(hù)籍管理、監(jiān)所管理等公安用戶(hù),都可在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上通過(guò)人像檢測(cè)、人像匹配、身份識(shí)別、人員關(guān)聯(lián)搜索等技術(shù),在身份核實(shí)、治安防范、人口管理、犯罪偵察、訴貪追逃、案底挖掘等各個(gè)層面提高業(yè)務(wù)管理水平,真正實(shí)現(xiàn)“智慧警務(wù)”的工作要求。二、云計(jì)算平臺(tái)總體架構(gòu)人像識(shí)別系統(tǒng)架構(gòu)設(shè)計(jì)遵循“智慧警務(wù)”的總體架構(gòu),分為數(shù)據(jù)采集層、網(wǎng)絡(luò)傳輸層、支撐平臺(tái)層、業(yè)務(wù)應(yīng)用層四個(gè)層次和云安全、云運(yùn)維兩個(gè)保障。系統(tǒng)總體架構(gòu)如圖1所示。三、系統(tǒng)功能設(shè)計(jì)(一)庫(kù)內(nèi)信息建模人像特征庫(kù)分為基礎(chǔ)庫(kù)與專(zhuān)題庫(kù)兩大類(lèi)并按期同步更新,其中人像基礎(chǔ)庫(kù)包括全市870萬(wàn)常住人口和300萬(wàn)流動(dòng)人口,人像專(zhuān)題庫(kù)包括全國(guó)20萬(wàn)在逃人員、全市1.5萬(wàn)重點(diǎn)人口、15萬(wàn)違法犯罪人員、看守所出所人員、拘留所出所人員、迷失人員、流浪乞討人員、吸販毒人員、駕駛員、出入境人員等。每個(gè)對(duì)象的信息數(shù)據(jù)包括人像照片、身份信息、人員類(lèi)型等。獲取到各類(lèi)數(shù)據(jù)庫(kù)的數(shù)據(jù)之后,需要對(duì)庫(kù)內(nèi)信息進(jìn)行訓(xùn)練建模。訓(xùn)練建模的流程如圖2所示,最終形成各類(lèi)信息特有的特征庫(kù),如常住人口特征庫(kù)、重點(diǎn)人口特征庫(kù)等,為人像比對(duì)提供基礎(chǔ)數(shù)據(jù)。(二)公共支持平臺(tái)1.流動(dòng)人口信息采集實(shí)現(xiàn)各關(guān)聯(lián)業(yè)務(wù)應(yīng)用系統(tǒng)相關(guān)數(shù)據(jù)的接入,如常住人口信息、重點(diǎn)人口信息、流動(dòng)人口信息等,實(shí)現(xiàn)對(duì)這些信息的采集、清洗、存儲(chǔ)、檢索和同步等,并根據(jù)實(shí)際具體要求,按照標(biāo)準(zhǔn)對(duì)采集數(shù)據(jù)過(guò)程進(jìn)行規(guī)范。2.人臉比對(duì)及共享基于人臉圖像預(yù)處理、人臉特征值的計(jì)算提取、特征比對(duì)相似度計(jì)算、條件過(guò)濾等功能,實(shí)現(xiàn)人臉比對(duì)服務(wù),同時(shí)提供共享接口,支撐與人像相關(guān)的業(yè)務(wù)應(yīng)用。公共支撐平臺(tái)還提供微/模糊人臉自動(dòng)重建服務(wù),提高人像業(yè)務(wù)應(yīng)用效率。3.統(tǒng)一的服務(wù)標(biāo)準(zhǔn)化人像服務(wù)公共支撐平臺(tái)內(nèi)所有數(shù)據(jù)和服務(wù)均可共享,為上層應(yīng)用提供支撐。平臺(tái)在規(guī)劃初期對(duì)新建服務(wù)進(jìn)行標(biāo)準(zhǔn)化約束,服務(wù)按照“高內(nèi)聚、低融合”的建設(shè)思路,對(duì)外提供接口,并按照具體需求對(duì)平臺(tái)內(nèi)的服務(wù)進(jìn)行封裝,實(shí)現(xiàn)服務(wù)的共享,同時(shí)為“智慧警務(wù)”云平臺(tái)的擴(kuò)展提供支持。4.對(duì)相似度結(jié)果進(jìn)行重新排序通過(guò)智能排序分系統(tǒng)結(jié)合人員身份信息(如年齡、籍貫、前科信息等)及相關(guān)活動(dòng)信息,對(duì)相似度結(jié)果進(jìn)行重新排序,將犯罪嫌疑人的排名前移,掌握破案先機(jī)。5.應(yīng)急信息的統(tǒng)一發(fā)布報(bào)警信息發(fā)布分系統(tǒng)作為整個(gè)人像系統(tǒng)的統(tǒng)一報(bào)警信息接收與發(fā)送平臺(tái),主要支撐人像各應(yīng)用終端對(duì)報(bào)警信息的需求。6.動(dòng)態(tài)環(huán)境建設(shè)1.人臉部件檢測(cè)人像識(shí)別比對(duì)系統(tǒng)支持靜態(tài)圖片的一對(duì)一比對(duì),將用于比對(duì)的兩張圖片分別上傳至比對(duì)系統(tǒng),手動(dòng)或者自動(dòng)定位人臉部件,并可通過(guò)人臉部件(眼睛、臉、眉毛、鼻子、嘴巴、下顎)過(guò)濾功能,比對(duì)獲取兩張圖片的相似度值,為偵查辦案提供參考依據(jù)。2.比對(duì)分析法人像識(shí)別比對(duì)系統(tǒng)支持靜態(tài)圖像的一對(duì)多比對(duì)功能,將用于比對(duì)的視頻監(jiān)控人臉截取處理后的圖片載入人像比對(duì)系統(tǒng),通過(guò)基本比對(duì)條件(年齡段、性別、籍貫、戶(hù)籍地、民族)的限定,與系統(tǒng)內(nèi)已有訓(xùn)練建模的各類(lèi)人臉特征庫(kù)(基本特征庫(kù)、專(zhuān)題特征庫(kù))比對(duì)獲取相似度值。比對(duì)結(jié)果以縮略圖的形式按照相似度值的高低進(jìn)行排序,為偵查辦案提供參考依據(jù)。人像識(shí)別比對(duì)系統(tǒng)支持靜態(tài)圖像的多對(duì)多比對(duì)功能,以多張人臉圖片或一類(lèi)人臉特征庫(kù)(基本特征庫(kù)、專(zhuān)題特征庫(kù))與庫(kù)內(nèi)(基本特征庫(kù)、專(zhuān)題特征庫(kù))圖片進(jìn)行比對(duì),獲取相似度值,為偵查辦案提供參考依據(jù)。4.人臉圖像重建人像識(shí)別比對(duì)系統(tǒng)支持動(dòng)態(tài)微人臉重建、模糊人臉還原服務(wù),將城市視頻監(jiān)控系統(tǒng)或其它途徑獲取的微小、模糊等人眼不能辨認(rèn)、不能提取特征的人臉圖像重建為系統(tǒng)可進(jìn)行比對(duì)的人臉圖像,與人像特征庫(kù)進(jìn)行比對(duì),得到相似度值,確定嫌疑人身份信息,為偵查辦案提供參考依據(jù)。5.所存特征庫(kù)的錄入人像識(shí)別比對(duì)系統(tǒng)支持人臉入庫(kù)及查詢(xún)功能,可將一張人臉圖像通過(guò)手動(dòng)方式輸入人員基本信息(身份證號(hào)、姓名、性別、籍貫、戶(hù)籍地等)及要錄入的目的人臉特征庫(kù)(常住人口、流動(dòng)人口、重點(diǎn)人員等),系統(tǒng)即可自動(dòng)將相應(yīng)人信息存入指定特征庫(kù)。系統(tǒng)同時(shí)支持查詢(xún)功能,可手動(dòng)輸入一定條件(身份證號(hào)、姓名等信息),系統(tǒng)即可輸出符合該條件的所有人員,供偵查人員甄別。6.白人名單人像識(shí)別比對(duì)系統(tǒng)支持白名單功能,可將特定人員基本信息錄入系統(tǒng)的白名單庫(kù)中,即可實(shí)現(xiàn)對(duì)特定人員的信息保護(hù),不可查詢(xún)。(五)識(shí)別門(mén)戶(hù)監(jiān)控人像門(mén)戶(hù)網(wǎng)站立足全體民警,提供人像相關(guān)信息的發(fā)布共享平臺(tái)。用戶(hù)通過(guò)人像識(shí)別門(mén)戶(hù)可以登陸人像識(shí)別應(yīng)用服務(wù)分系統(tǒng),進(jìn)行各類(lèi)人像比對(duì)操作,或登錄在線(xiàn)培訓(xùn)考核分系統(tǒng),進(jìn)行人像識(shí)別相關(guān)培訓(xùn)和考核操作。通過(guò)門(mén)戶(hù)網(wǎng)站,既可進(jìn)行各類(lèi)人像比對(duì)操作,也可在網(wǎng)站發(fā)布根據(jù)人像進(jìn)行偵查破案的相關(guān)信息。四、系統(tǒng)特色(一)辦案民警面臨困難案件偵查業(yè)務(wù)中經(jīng)常會(huì)遇到照片或視頻監(jiān)控場(chǎng)景里目標(biāo)人物的面部圖像像素較低、模糊不清、肉眼無(wú)法辨認(rèn)的問(wèn)題,常常讓辦案民警陷入困境。通過(guò)微/模糊人臉重建技術(shù),將上述差、小、模糊面部圖像進(jìn)行還原,重建成可比對(duì)的圖像,在人臉特征庫(kù)中進(jìn)行比對(duì),協(xié)助民警縮小排查范圍并最終確認(rèn)目標(biāo)人身份,如圖3所示。該技術(shù)屬于獨(dú)創(chuàng)算法,是公安部門(mén)偵查破案的利器,多年來(lái)協(xié)助公安部門(mén)破獲了多起重大案件。(二)響比對(duì)結(jié)果分析偵查破案過(guò)程中獲取的人臉圖像部分區(qū)域有時(shí)過(guò)于模糊或殘缺,嚴(yán)重影響比對(duì)結(jié)果。針對(duì)這種情況,人像系統(tǒng)提供部件組合查詢(xún)比對(duì)功能,在比對(duì)中選擇性忽略某一部件或某些部件的組合(眼睛、臉、眉毛、鼻子、嘴巴、下顎),降低由于圖像質(zhì)量原因?qū)Ρ葘?duì)結(jié)果造成的影響。(三)提高辦案效率人像識(shí)別應(yīng)用服務(wù)系統(tǒng)充分貼近公安實(shí)際業(yè)務(wù)工作,除各類(lèi)人像識(shí)別基本功能和專(zhuān)業(yè)人像處理工具外,還為民警提供系統(tǒng)查詢(xún)綠色通道、案事件資料庫(kù)管理、對(duì)接視頻監(jiān)控系統(tǒng)等多項(xiàng)功能,實(shí)現(xiàn)與公安偵查破案業(yè)務(wù)的深度融合,提高辦案效率。(四)串并案研判人像系統(tǒng)保存歷史案件信息,包括涉案人員的照片,并支持通過(guò)人像比對(duì)進(jìn)行串并案研判。在偵查破案過(guò)程中,每次提交的比對(duì)圖像自動(dòng)與案件資料庫(kù)中的照片進(jìn)行比對(duì),如果發(fā)現(xiàn)提交照片與某個(gè)以往案件中照片的相似度較高,則目標(biāo)可能是同一人,可以將該案件與匹配案件進(jìn)行合并。(五)求調(diào)整計(jì)算、存儲(chǔ)資源人像識(shí)別引擎采用分布式架構(gòu),可進(jìn)行彈性擴(kuò)展,根據(jù)性能需求調(diào)整計(jì)算、存儲(chǔ)資源。系統(tǒng)采用管理節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)分離的結(jié)構(gòu),當(dāng)性能需求提升時(shí),可以通過(guò)追加計(jì)算節(jié)點(diǎn)的方式提高系統(tǒng)的計(jì)算能力,從而保證高并發(fā)、低延遲的特性,如圖4所示。(六)系統(tǒng)的難題，如何解根據(jù)“前艙后云”理念設(shè)計(jì)的人像偵查艙屬全國(guó)公安系統(tǒng)首創(chuàng),它將解決以往公安信息化無(wú)法全面整合各種獨(dú)立“煙囪”系統(tǒng)的難題。偵查艙是多網(wǎng)絡(luò)、全信息、智能化、高集成的一站式人像偵查辦案協(xié)同工作平臺(tái),接入了數(shù)據(jù)網(wǎng)、視頻網(wǎng)、語(yǔ)音網(wǎng)、集群通信網(wǎng)和互聯(lián)網(wǎng)等多種網(wǎng)絡(luò),整合了偵查辦案所需各類(lèi)關(guān)聯(lián)信息,集成了人像識(shí)別應(yīng)用服務(wù)分系統(tǒng)的所有功能,可以與技偵、網(wǎng)偵等相關(guān)業(yè)務(wù)部門(mén)協(xié)同工作,解決了偵查業(yè)務(wù)中“他是誰(shuí)?他干過(guò)什么?他在哪里?”的關(guān)鍵問(wèn)題。五、視頻監(jiān)控行業(yè)的應(yīng)用實(shí)例(一)同案?jìng)刹閷?duì)象為一中年男子、下穿黑色包某年某月某日,某地區(qū)發(fā)生一起拎包盜竊案件,受害人放置在車(chē)輛上的一個(gè)黑色提包被人拎走。經(jīng)過(guò)視頻追蹤發(fā)現(xiàn),嫌疑對(duì)象為一中年男子,上穿深色夾克衫(偏藍(lán)色),下穿深色長(zhǎng)褲,腳穿黑色皮鞋,盜竊受害人黑色包后徒步逃走。利用人臉識(shí)別系統(tǒng)對(duì)視頻圖像優(yōu)化、模糊人臉還原后,成功關(guān)聯(lián)比對(duì)出嫌疑人并將其抓獲,如圖6、圖7所示。(二)監(jiān)控圖像不足,入擾案發(fā)現(xiàn)場(chǎng)某年某月某日,某地區(qū)一金店發(fā)生搶劫案,用時(shí)3分鐘搶走7000多克黃金價(jià)值近300萬(wàn)元。由于作案人經(jīng)過(guò)周密策劃,動(dòng)作迅速,案發(fā)現(xiàn)場(chǎng)沒(méi)有留下太多線(xiàn)索,無(wú)法破案。通過(guò)調(diào)取案犯逃跑路線(xiàn)視頻(監(jiān)控錄像)可以鎖定犯罪嫌疑人的基本體貌特征,但是由于監(jiān)控圖像過(guò)小、辨識(shí)率低,無(wú)法判斷嫌犯的真實(shí)面目,破案再次陷入僵局。一籌莫展之際,利用人臉識(shí)別系統(tǒng)對(duì)視頻微人臉圖像優(yōu)化、重建后,關(guān)聯(lián)比對(duì)出犯罪嫌疑人,據(jù)此將其抓獲,如圖8所示。(三)畫(huà)犯罪嫌疑人的畫(huà)像某年某月某日,武漢市發(fā)生一起故意殺人案,根據(jù)視頻截圖中的模糊人臉和目擊人描述,辦案人員請(qǐng)來(lái)三位素描畫(huà)像專(zhuān)家進(jìn)行人工畫(huà)像,所畫(huà)兇手畫(huà)像分別如圖9所示。經(jīng)過(guò)案件偵查,通過(guò)人像比對(duì)輔助進(jìn)行嫌疑人排查工作,將手工畫(huà)像進(jìn)行比對(duì),最終鎖定犯罪嫌疑人并將其抓獲,如圖10所示。六、業(yè)務(wù)數(shù)據(jù)的融合、挖掘目前,人像識(shí)別系統(tǒng)已經(jīng)針對(duì)城市視頻監(jiān)控系統(tǒng)的人像重建、還原及比對(duì)需求建立了各類(lèi)人像特征數(shù)據(jù)庫(kù),實(shí)現(xiàn)了部分非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理,并與相關(guān)的業(yè)務(wù)數(shù)據(jù)進(jìn)行關(guān)聯(lián)、碰撞。未來(lái)幾年,人像系統(tǒng)將進(jìn)一步結(jié)合物聯(lián)網(wǎng)、云計(jì)算等技術(shù),將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù),在云中心實(shí)現(xiàn)具備社會(huì)面感知能力的控制流與公安工作數(shù)據(jù)信息流的碰撞融合,以此推動(dòng)數(shù)據(jù)信息深度挖掘,拓展人像比對(duì)系統(tǒng)在城市視頻監(jiān)控系統(tǒng)中的應(yīng)用。云服務(wù)系