視圖匯聚分析平臺(tái)技術(shù)方案

視圖匯聚分析平臺(tái)

技術(shù)方案

目錄

1概述.......................................................................4

1.1產(chǎn)品背景............................................................4

1.2需求分析............................................................4

1.3建設(shè)目標(biāo)............................................................7

1.4建設(shè)依據(jù)............................................................7

1.5術(shù)語定義............................................................9

1.5.1視頻專網(wǎng)....................................................9

1.5.2公安信息網(wǎng)...................................................9

1.5.3視頻監(jiān)控共享平臺(tái)............................................10

1.5.4視頻監(jiān)控聯(lián)網(wǎng)平臺(tái)............................................10

1.5.5人像圖像....................................................10

1.5.6人像特征數(shù)據(jù)................................................10

1.5.7抓拍特征庫..................................................10

1.5.8布控特征庫...................................................10

1.5.9靜態(tài)特征庫...................................................11

1.5.10人像圖像附加信息...........................................11

1.5.11人像屬性....................................................11

1.5.12場景圖像....................................................11

1.5.13靜態(tài)庫......................................................11

1.5.14抓拍庫......................................................11

1.5.15布控庫......................................................11

1.5.16最佳人像快照...............................................12

1.5.17人像卡口...................................................12

1.5.18人像卡口攝像機(jī).............................................12

1.5.19移動(dòng)人像圖像采集設(shè)備.......................................12

1.5.20人證比對(duì)圖像采集設(shè)備.......................................12

1.5.21視頻流人像圖像采集設(shè)備.....................................12

1.5.22公安視頻圖像信息數(shù)據(jù)庫.....................................12

2產(chǎn)品設(shè)計(jì).................................................................13

2.1總體邏輯架構(gòu).......................................................13

2.2與其它平臺(tái)的關(guān)系...................................................13

2.3總體架構(gòu)設(shè)計(jì).......................................................14

2.3.1省級(jí)平臺(tái)架構(gòu)描述.............................................15

2.3.2地市級(jí)平臺(tái)架構(gòu)描述..........................................17

2.4業(yè)務(wù)流圖設(shè)計(jì).......................................................18

2.4.1數(shù)據(jù)采集流圖.................................................18

2.4.2視頻網(wǎng)與公安網(wǎng)數(shù)據(jù)交互流圖..................................18

2.4.3上下級(jí)數(shù)據(jù)交互流圖..........................................19

2.4.4動(dòng)態(tài)比對(duì)業(yè)務(wù)流圖.............................................20

2.5核心技術(shù)介紹.......................................................20

2.5.1超大規(guī)模人臉結(jié)構(gòu)化數(shù)據(jù)......................................22

2.5.2分層矢量化模型（人臉DNA）.................................................................23

2.5.3雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)（人臉學(xué)習(xí)模型）........................24

2.5.4豐富的算法模塊...............................................25

2.5.5雙塔深度神經(jīng)網(wǎng)絡(luò)（大數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)架構(gòu)）....................26

2.5.6雙模異構(gòu)深度神經(jīng)網(wǎng)絡(luò)（大數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)架構(gòu)）.................27

2.6產(chǎn)品功能介紹.......................................................29

2.6.1登錄系統(tǒng).....................................................29

2.6.2應(yīng)用中心/級(jí)聯(lián)訂閱............................................30

2.6.3數(shù)據(jù)中心.....................................................33

2.6.4任務(wù)中心/布控任務(wù)............................................35

2.6.5系統(tǒng)中心.....................................................36

3產(chǎn)品運(yùn)行環(huán)境.............................................................37

4產(chǎn)品特點(diǎn).................................................................38

4.1大規(guī)模數(shù)據(jù)接入....................................................38

4.2分布式部署能力....................................................38

4.3視圖解析能力.......................................................38

4.4多維視圖數(shù)據(jù)融合應(yīng)用..............................................38

4.5對(duì)外統(tǒng)一服務(wù)接口..................................................38

4.6大數(shù)據(jù)云計(jì)算能力..................................................38

4.7豐富的貼近實(shí)戰(zhàn)業(yè)務(wù)分析模型........................................39

4.8完全自主知識(shí)產(chǎn)權(quán)算法..............................................39

1概述

L1產(chǎn)品背景

隨著我國平安城市、智能交通、雪亮工程等各項(xiàng)建設(shè)的持續(xù)開展，以及金

融、教育、物業(yè)等各行業(yè)用戶安防意識(shí)的不斷增強(qiáng)，視頻監(jiān)控市場近5年來一

直保持著18%左右的穩(wěn)定增長。然而，大多數(shù)攝像頭一直沒能擺脫人工監(jiān)控的

傳統(tǒng)監(jiān)控方式，由此導(dǎo)致了大量視頻數(shù)據(jù)堆積占用存儲(chǔ)資源、視頻監(jiān)控實(shí)時(shí)性

差、視頻檢索困難等問題。一旦有案件發(fā)生，海量攝像頭帶來的海量視頻數(shù)據(jù)

檢索工作需要耗費(fèi)大量警力。

近年來，隨著智慧社區(qū)、智慧城市等項(xiàng)目的大力建設(shè)以及實(shí)名制的有力推

廣，產(chǎn)生了大量的基于人像圖片的海量數(shù)據(jù)，由于每個(gè)項(xiàng)目由不同的廠家建

設(shè)，而且無統(tǒng)一的建設(shè)行業(yè)標(biāo)準(zhǔn)，使各類數(shù)據(jù)無法進(jìn)行有效整合，使其形成數(shù)

據(jù)孤島。視圖人像資源需經(jīng)智能解析處理后，形成人們便于理解的語義描述，

讓能使海量視圖數(shù)據(jù)“看得懂”，才能出海量數(shù)據(jù)中挖掘出有價(jià)值的信息，體

現(xiàn)出海量數(shù)據(jù)所帶來的價(jià)值。

在國家大力推進(jìn)“大數(shù)據(jù)”、“人工智能”等先進(jìn)技術(shù)研發(fā)的背景下，利

用先進(jìn)成熟的科學(xué)技術(shù)，享受科技成果帶來的好處，達(dá)到“科技強(qiáng)警，向科技

要警力”的目的。

1.2需求分析

1）數(shù)據(jù)匯聚需求

數(shù)據(jù)匯聚是基于人像視圖為基礎(chǔ)匯聚相關(guān)人像數(shù)據(jù)資源，主要來源于酒

店、網(wǎng)吧、社區(qū)、地鐵站等公共場所，從公安現(xiàn)有業(yè)務(wù)應(yīng)用出發(fā)，這些數(shù)據(jù)主

要分布于互聯(lián)網(wǎng)、視頻專網(wǎng)、公安信息網(wǎng)中，通過分網(wǎng)分級(jí)匯聚后，統(tǒng)一匯聚

到公安信息網(wǎng)內(nèi)，結(jié)合公安網(wǎng)內(nèi)獨(dú)有的涉密的人像視圖資源，建立統(tǒng)一的人像

視圖資源中心，為上層業(yè)務(wù)應(yīng)用提供底層的基礎(chǔ)數(shù)據(jù)支撐。具體內(nèi)容如下：

■人像抓拍機(jī)

近年來，在地鐵站、車站、火車站等場所，建設(shè)了大量人像抓拍機(jī)設(shè)備，

但由于設(shè)備廠家不一、建設(shè)時(shí)間、建設(shè)部門不同等因素，無法對(duì)人像抓拍數(shù)據(jù)

進(jìn)行統(tǒng)一管理。通過建立統(tǒng)一的采集標(biāo)準(zhǔn)，對(duì)人像抓拍機(jī)的人像圖片進(jìn)行采

集，并經(jīng)統(tǒng)一算法解析，對(duì)人像圖片進(jìn)行結(jié)構(gòu)化處理，使各類抓拍機(jī)數(shù)據(jù)匯聚

融合，為上層業(yè)務(wù)服務(wù)。

■人證合一

在實(shí)名制大力推廣的背景下，酒店、網(wǎng)吧等場所，利用人證合一設(shè)備對(duì)

人、證身份進(jìn)行合一校驗(yàn)，通過建立統(tǒng)一的采集標(biāo)準(zhǔn)，對(duì)人證合一的人像圖

片、身份圖片進(jìn)行采集，并經(jīng)統(tǒng)一算法解析，對(duì)人像圖片進(jìn)行結(jié)構(gòu)化處理，使

其數(shù)據(jù)達(dá)到匯聚融合。

■門禁數(shù)據(jù)

隨著人們安保意識(shí)的增強(qiáng)，以及智慧社區(qū)的建立推廣，建立了大量的智能

門禁大門，實(shí)現(xiàn)刷臉開門、手機(jī)開門等便捷方式，通過建立統(tǒng)一的采集標(biāo)準(zhǔn)，

對(duì)門禁的人像圖片、開門信息數(shù)據(jù)進(jìn)行采集，并經(jīng)統(tǒng)一算法解析，對(duì)人像圖片

進(jìn)行結(jié)構(gòu)化處理，使其數(shù)據(jù)達(dá)到匯聚融合。

■視頻資源

天網(wǎng)工程、雪亮工程建設(shè)產(chǎn)生了大量的視頻資源，不僅占用空間大，也不

便于視頻研判排查。讓視頻流經(jīng)統(tǒng)一算法解析處理，使其視頻結(jié)構(gòu)化，生成人

像圖片與結(jié)構(gòu)化描述信息，不僅減少了存儲(chǔ)空間，同時(shí)也提高了視頻研判的效

率。

■公安信息網(wǎng)數(shù)據(jù)資源

公安網(wǎng)內(nèi)數(shù)據(jù)密級(jí)較高，主要以結(jié)構(gòu)化數(shù)據(jù)、頭像圖片為主，利用智能解

析將頭像圖片結(jié)構(gòu)化處理，可以與匯聚的人像視圖數(shù)據(jù)進(jìn)行有效融合，在公安

網(wǎng)內(nèi)對(duì)人像數(shù)據(jù)進(jìn)行深層次的應(yīng)用。

2）視圖智能解析需求

從海量非結(jié)構(gòu)化的視圖資源中，挖掘有價(jià)值的信息，需要耗費(fèi)大量時(shí)間與

人力資源，但同時(shí)也不一定能達(dá)到預(yù)期效果。為了解決業(yè)務(wù)應(yīng)用的迫切需求，

需對(duì)視頻流進(jìn)行結(jié)構(gòu)化處理，識(shí)別出行人、車輛等目標(biāo)信息，并能對(duì)行人的人

臉屬性進(jìn)行結(jié)構(gòu)化，車輛的屬性進(jìn)行結(jié)構(gòu)化，后期隨著智能技術(shù)的成熟，還可

對(duì)動(dòng)作等信息進(jìn)行精確描述。

3）安全需求

數(shù)據(jù)安全是平臺(tái)的基礎(chǔ)，該平臺(tái)作為數(shù)據(jù)匯聚服務(wù)平臺(tái)，就顯得尤為重

要。數(shù)據(jù)安全主要從保密性、完整性、可用性三個(gè)方面。保密性：對(duì)核心數(shù)據(jù)

進(jìn)行加密處理，保證涉密數(shù)據(jù)的安全；完整性:數(shù)據(jù)傳輸過程中保證數(shù)據(jù)的完整

性；可用性：對(duì)匯聚的數(shù)據(jù)采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，匯聚融合后的數(shù)據(jù)有統(tǒng)一的

數(shù)據(jù)標(biāo)準(zhǔn)，為上層業(yè)務(wù)服務(wù)。

4）共享需求

將人像視圖數(shù)據(jù)匯聚融合后，打破了地域、部門的邊界，在保證數(shù)據(jù)安全

的前提下，應(yīng)最大限度的實(shí)現(xiàn)數(shù)據(jù)共享，發(fā)揮海量數(shù)據(jù)所帶來的數(shù)據(jù)價(jià)值；同

時(shí)，也需要將視圖智能解析的能力共享，為更多的上層應(yīng)用服務(wù)，不斷優(yōu)化與

完善解析能力，更好與行業(yè)結(jié)合，為行業(yè)應(yīng)用提供深層次的應(yīng)用。

1.3建設(shè)目標(biāo)

利用云存儲(chǔ)、云計(jì)算、人工智能技術(shù)，匯聚門禁數(shù)據(jù)、人證合一數(shù)據(jù)、人/

車卡口數(shù)據(jù)等與人像視圖相關(guān)的數(shù)據(jù)資源，建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，使各類數(shù)據(jù)

有效融合，實(shí)現(xiàn)對(duì)海量視圖數(shù)據(jù)的深度應(yīng)用與數(shù)據(jù)共享，為業(yè)務(wù)應(yīng)用提供基礎(chǔ)

人像數(shù)據(jù)支撐，同時(shí)也為其提供視圖智能解析處理的能力。

1.4建設(shè)依據(jù)

1.2012年2月10日公安部發(fā)布《全國公安機(jī)關(guān)視頻圖像信息整合與共享

工作任務(wù)書》（公科信［2012R1號(hào)）提出了各級(jí)公安機(jī)關(guān)要“建成一個(gè)共享平

臺(tái)、完善一張傳輸網(wǎng)絡(luò)、建立一個(gè)數(shù)據(jù)庫、構(gòu)筑四大保障支柱”，重點(diǎn)提出要

求逐步完善視頻圖像信息數(shù)據(jù)庫的建設(shè)。

2.2015年5月13日國家發(fā)展改革委、中央綜治辦、公安部等九部委《關(guān)

于加強(qiáng)公共安全視頻監(jiān)控建設(shè)聯(lián)網(wǎng)應(yīng)用工作的若干意見》（發(fā)改高技（2015）

996號(hào)）要求：運(yùn)用數(shù)據(jù)挖掘、人臉比對(duì)、車牌識(shí)別、智能預(yù)警、無線射頻、

地理信息、北斗導(dǎo)航等現(xiàn)代技術(shù)，在充分考慮技術(shù)成熟度的基礎(chǔ)上，加大在公

共安全視頻監(jiān)控系統(tǒng)中的集成應(yīng)用力度，提高視頻圖像信息的綜合應(yīng)用水平。

逐步建立國家級(jí)和省級(jí)公共安全視頻圖像數(shù)據(jù)處理分析中心，深化視頻圖像信

息預(yù)測預(yù)警、實(shí)時(shí)監(jiān)控、軌跡追蹤、快速檢索等應(yīng)用。

3.2015年1月23日公安部《關(guān)于進(jìn)一步加強(qiáng)公安機(jī)關(guān)視頻圖像信息應(yīng)用

工作的意見》（公通字（2015）4號(hào)）要求：加快車輛識(shí)別、行為分析、人臉

比對(duì)、目標(biāo)篩查等技術(shù)在視頻監(jiān)控中的集成應(yīng)用，實(shí)時(shí)監(jiān)控預(yù)警人員及車輛的

行跡追蹤，實(shí)現(xiàn)視頻快速檢索。

4.2017年2月24日公安部《關(guān)于推進(jìn)公安信息化發(fā)展若干問題的意見》

（公通字（2017）7號(hào)）要求：強(qiáng)化視頻實(shí)戰(zhàn)應(yīng)用。構(gòu)建視頻綜合應(yīng)用平臺(tái)，

加快車輛特征識(shí)別、人臉比對(duì)、行為分析等智能技術(shù)應(yīng)用，實(shí)現(xiàn)對(duì)人員密集區(qū)

域、重點(diǎn)場所、要害部位風(fēng)險(xiǎn)隱患的自動(dòng)感知、預(yù)警防范、目標(biāo)追蹤等，提高

視頻圖像技術(shù)的實(shí)戰(zhàn)效能。

5.2017年4月全國公安裝備建設(shè)“十三五”規(guī)劃重點(diǎn)項(xiàng)目《全國公安視頻

圖像基礎(chǔ)設(shè)施及應(yīng)用系統(tǒng)》建設(shè)任務(wù)書要求：在公安信息網(wǎng)和視頻專網(wǎng)內(nèi)建設(shè)

部、省、市視頻圖像信息解析系統(tǒng)，提供專業(yè)的視頻圖像處理、分析、檢索及

視頻大數(shù)據(jù)分析服務(wù)。通過視頻圖像解析系統(tǒng)建設(shè)，實(shí)現(xiàn)對(duì)視頻內(nèi)容進(jìn)行結(jié)構(gòu)

化分析、信息提取，匯聚整合各類視頻圖像信息資源（包括監(jiān)控視頻資源、視

頻結(jié)構(gòu)化分析信息資源以及視頻大數(shù)據(jù)分析相關(guān)業(yè)務(wù)數(shù)據(jù)等），并支持對(duì)視頻

圖像信息按預(yù)定策略進(jìn)行比對(duì)、碰撞，對(duì)數(shù)據(jù)進(jìn)行深層次、大區(qū)域、多維數(shù)據(jù)

挖掘和研判，為公安業(yè)務(wù)工作更加智能化地提供視頻圖像信息、目標(biāo)特征等相

關(guān)信息。

6.2017年7月，國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，明確指出新一

代人工智能發(fā)展分三步走的戰(zhàn)略目標(biāo)，到2030年使中國人工智能理論、技術(shù)與

應(yīng)用總體達(dá)到世界領(lǐng)先水平，成為世界主要人工智能創(chuàng)新中心。人工智能是讓

機(jī)器擁有分析、感知等能力，可以模擬人類那樣思考并做出反應(yīng)。其中人臉識(shí)

別是人工智能學(xué)科中發(fā)展最快應(yīng)用最廣泛的一個(gè)分支,現(xiàn)已廣泛應(yīng)用于金融、公

安、政府、教育、等多個(gè)領(lǐng)域。人臉識(shí)別特指利用分析比較人臉視覺特征信息

進(jìn)行身份鑒別的計(jì)算機(jī)技術(shù)，包括人臉圖像采集、人臉定位、人臉識(shí)別預(yù)處

理、身份確認(rèn)以及身份查找等一系列相關(guān)技術(shù)。人臉識(shí)別系統(tǒng)集成了人工智

能、機(jī)器識(shí)別、機(jī)器學(xué)習(xí)、模型理論、專家系統(tǒng)、視頻圖像處理等多種專業(yè)技

術(shù)，是生物特征識(shí)別的最新應(yīng)用。得益于深度學(xué)習(xí)算法的迅速發(fā)展，人臉識(shí)別

精度已從以前的70%80%提升到現(xiàn)在的95%以上，在技術(shù)上已具備普及的條

件。隨著技術(shù)的進(jìn)一步成熟和社會(huì)認(rèn)同度的提高，人臉識(shí)別技術(shù)將應(yīng)用在更多

的領(lǐng)域。

相關(guān)政策性文件如下：

＞《中央社會(huì)治安綜合治理委員會(huì)關(guān)于進(jìn)一步加強(qiáng)社會(huì)治安綜合治理

基層基礎(chǔ)建設(shè)的若干意見》

＞公安部《公安計(jì)算機(jī)信息系統(tǒng)“九五”規(guī)劃》

＞公安部關(guān)于城市報(bào)警與監(jiān)控系統(tǒng)的建設(shè)、管理、應(yīng)用規(guī)范性文件（公

安部科技信息化局匯編）

＞《關(guān)于深入開展城市報(bào)警與監(jiān)控系統(tǒng)應(yīng)用工作的通知》（公科信

[2010]27號(hào)）

＞《關(guān)于征求推進(jìn)人口信息人像比對(duì)技術(shù)應(yīng)用相關(guān)工作意見的通知》

（公安部三局）；

＞《關(guān)于加快推進(jìn)人口信息人像比對(duì)技術(shù)應(yīng)用的通知》（公治明發(fā)

[20121331號(hào)）；

＞《公安部部級(jí)人口信息人像比對(duì)系統(tǒng)（應(yīng)用管理系統(tǒng)軟件部分）項(xiàng)目

征求意見公告》；

＞公安部《“十二五”社會(huì)公共安全領(lǐng)域科技創(chuàng)新專項(xiàng)規(guī)劃》；

＞公安部《公安信息化行業(yè)深度分析及“十二五”發(fā)展規(guī)劃指導(dǎo)報(bào)告》；

＞公安部《關(guān)于進(jìn)一步加強(qiáng)社會(huì)治安防控體系建設(shè)的指導(dǎo)意見》；

＞國家、公安部、省/區(qū)公安廳相關(guān)政策。

1.5術(shù)語定義

1.5.1視頻專網(wǎng)

公安視頻監(jiān)控專網(wǎng)是指公安專用業(yè)務(wù)承載網(wǎng)絡(luò)，獨(dú)立于公安信息網(wǎng)（內(nèi)網(wǎng)）和

公眾互聯(lián)網(wǎng)（外網(wǎng)），專門用于承載視頻業(yè)務(wù)的傳輸網(wǎng)。

1.5.2公安信息網(wǎng)

公安信息網(wǎng)是獨(dú)立的，不和社會(huì)互聯(lián)網(wǎng)相連，用于公安收集保存和查詢警

務(wù)數(shù)據(jù)的專用傳輸網(wǎng)絡(luò)。

L5.3視頻監(jiān)控共享平臺(tái)

是指建設(shè)在視頻監(jiān)控專網(wǎng)上，在視頻信息標(biāo)準(zhǔn)化和規(guī)范化的基礎(chǔ)上，依據(jù)

視頻監(jiān)控信息系統(tǒng)技術(shù)和傳輸技術(shù)，使視頻信息和視頻信息產(chǎn)品在不同層次、

不同部門信息系統(tǒng)間實(shí)現(xiàn)交流與共享的分析與管理平臺(tái)。

L5.4視頻監(jiān)控聯(lián)網(wǎng)平臺(tái)

部署在公安信息網(wǎng)內(nèi)、以GA/T28181-2016為聯(lián)網(wǎng)標(biāo)準(zhǔn)、以實(shí)現(xiàn)級(jí)聯(lián)聯(lián)網(wǎng)

為主、提供視頻監(jiān)控綜合管理服務(wù)的核心系統(tǒng)軟件。

1.5.5人像圖像

人像提取算法或人像抓拍設(shè)備從拍攝畫面中提取的人像區(qū)域照片。

1.5.6人像特征數(shù)據(jù)

特征碼是指人像識(shí)別系統(tǒng)對(duì)人像圖像進(jìn)行建模分析后提取出來的非結(jié)構(gòu)化

數(shù)據(jù)。每個(gè)目標(biāo)人的人像信息對(duì)應(yīng)一個(gè)特征碼，用來相互比對(duì)、檢索。

1.5.7抓拍特征庫

抓拍特征庫是指人像識(shí)別系統(tǒng)對(duì)抓拍庫內(nèi)所有的人像圖像提取一遍特征碼

后，形成的特征碼庫。

1.5.8布控特征庫

布控特征庫是指人像識(shí)別系統(tǒng)對(duì)布控庫內(nèi)所有的照片提取一遍特征碼后，

形成的特征碼庫。

L5.9靜態(tài)特征庫

靜態(tài)特征庫是指人像識(shí)別系統(tǒng)對(duì)靜態(tài)庫內(nèi)所有的照片提取一遍特征碼后，

形成的特征碼庫。

1.5.10人像圖像附加信息

包括拍攝時(shí)間、拍攝地點(diǎn)經(jīng)度、拍攝地點(diǎn)緯度、設(shè)備編碼、人員身份信息

等及其他需補(bǔ)充描述的結(jié)構(gòu)化信息。

1.5.11人像屬性

經(jīng)過人像識(shí)別算法結(jié)構(gòu)化后可用于檢索的屬性信息，如性別、年齡等。

1.5.12場景圖像

采集設(shè)備拍攝的完整畫面，包含目標(biāo)人及周圍環(huán)境。

1.5.13靜態(tài)庫

是指由人像圖像中的人像特征信息構(gòu)成的數(shù)據(jù)庫。包括人像比對(duì)特征值信

息，人像結(jié)構(gòu)化屬性信息、人像圖片信息、身份信息。

1.5.14抓拍庫

抓拍庫是通過前端人像采集設(shè)備（包括視頻監(jiān)控?cái)z像機(jī)、人像抓拍攝像

機(jī)、移動(dòng)終端、人證核驗(yàn)設(shè)備、人像識(shí)別門禁、人像識(shí)別閘機(jī)等設(shè)備）采集的

人像圖像及對(duì)應(yīng)場景圖匯聚而成的人像庫。抓拍庫包含人臉大圖、小圖、人像

屬性、抓拍特征庫等數(shù)據(jù)。

1.5.15布控庫

布控庫是指需要進(jìn)行實(shí)時(shí)布控的重點(diǎn)人員庫，例如全國在逃人員庫等。

L5.16最佳人像快照

綜合評(píng)估角度、清晰度、分辨率、表情、光照、遮擋等因素而獲得的綜合

最優(yōu)的人像區(qū)域快照。

1.5.17人像卡口

裝有對(duì)行人進(jìn)行人像圖像采集設(shè)備的控制點(diǎn)。

1.5.18人像卡口攝像機(jī)

安裝在人像卡口點(diǎn)位上的攝像機(jī)，能準(zhǔn)確檢測過往人員，完成目標(biāo)人像的

抓拍，輸出人像圖像。

1.5.19移動(dòng)人像圖像采集設(shè)備

利用人像識(shí)別技術(shù)，在移動(dòng)終端視頻圖像中抓拍人像圖像的設(shè)備。

1.5.20人證比對(duì)圖像采集設(shè)備

用于酒店、網(wǎng)吧、旅館等前臺(tái)桌面式圖像采集設(shè)備，通過采集圖片與身份

證實(shí)現(xiàn)人證比對(duì)。

1.5.21視頻流人像圖像采集設(shè)備

用于接收攝像機(jī)采集的視頻流，通過分析視頻流，提取人像圖像的視頻分

析設(shè)備。

1.5.22公安視頻圖像信息數(shù)據(jù)庫

用于存儲(chǔ)視頻圖像信息的數(shù)據(jù)庫，具有支撐公安視頻圖像信息應(yīng)用的相關(guān)

基礎(chǔ)服務(wù)功能，簡稱視圖庫。

2產(chǎn)品設(shè)計(jì)

2.1總體邏輯架構(gòu)

人像視圖數(shù)據(jù)匯聚解析平臺(tái)由數(shù)據(jù)采集服務(wù)、分布式數(shù)據(jù)存儲(chǔ)、人像視圖

主題庫、智能解析服務(wù)構(gòu)成，視頻數(shù)據(jù)遵照GB28181標(biāo)準(zhǔn)，社區(qū)數(shù)據(jù)、門禁數(shù)

據(jù)、人證合一數(shù)據(jù)遵照行業(yè)通用標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)采集，對(duì)外遵照GA/T1400-2017

標(biāo)準(zhǔn)要求，提供數(shù)據(jù)服務(wù)接口。

亞務(wù)應(yīng)用

人臉卡口■抓拍檢索庫庫檢索布控告警人員出入“進(jìn)分析統(tǒng)計(jì)分析掛圉作戰(zhàn)

抓拍庫門禁庫

集

分

分

數(shù)

群

布

布

據(jù)

狀

式

式

健

態(tài)

計(jì)

存

康

管分布式存偌（結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)

算

儲(chǔ)視圖智韻展析引擎

管

理據(jù)、學(xué)結(jié)構(gòu)化數(shù)據(jù)）

管

管

理

模

理

理

決

2.2與其它平臺(tái)的關(guān)系

人像視圖資源匯聚解析平臺(tái)除了匯聚公安自有的人像視圖資源外，同時(shí)還

需匯聚外部的人像視圖資源，如：小區(qū)門禁、酒店人證合一等，匯聚的人像視

圖資源與智能解析能力，為上層業(yè)務(wù)應(yīng)用平臺(tái)提供服務(wù)。人像視圖資源匯聚解

析平臺(tái)與其人像視圖數(shù)據(jù)相關(guān)的平臺(tái)進(jìn)行對(duì)接，如圖所示：

人像視圖匯聚解析平臺(tái)在公安網(wǎng)內(nèi)主要與公安八大信息資源庫對(duì)接，將八

大庫中的人像視圖數(shù)據(jù)進(jìn)行智能解析處理，為后期案件研判、身份確認(rèn)、以圖

搜圖等業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。公安八大信息資源庫包括：全國人口基本信息

資源庫、全國在逃人員信息資源庫、全國違法犯罪人員信息資源庫、全國出入

境人員信息資源庫、全國被盜搶汽車信息資源庫、全國警員基本信息資源庫、

全國安全重點(diǎn)單位信息資源庫、全國機(jī)動(dòng)車駕駛員信息資源庫。

對(duì)接方式包括數(shù)據(jù)庫直接對(duì)接、數(shù)據(jù)庫間接對(duì)接和離線對(duì)接三種。數(shù)據(jù)庫

直接對(duì)接需要對(duì)方數(shù)據(jù)庫服務(wù)器ip地址、端口號(hào)、數(shù)據(jù)庫用戶名和密碼，根據(jù)

通信接口或數(shù)據(jù)庫表結(jié)構(gòu)進(jìn)行對(duì)接，獲取數(shù)據(jù)庫中的唯一性標(biāo)識(shí)、姓名、身份

證號(hào)、人臉圖片，直接對(duì)接無需額外的硬件服務(wù)器支持。數(shù)據(jù)庫間接對(duì)接方式

需要單獨(dú)一臺(tái)硬件服務(wù)器作為中轉(zhuǎn)設(shè)備，獲取中轉(zhuǎn)服務(wù)器ip地址、用戶名、密

碼，以及數(shù)據(jù)庫版本，由中轉(zhuǎn)服務(wù)器對(duì)接公安信息資源庫。如果無法自動(dòng)同

步，需要手動(dòng)下載公安信息資源庫人臉圖片和相關(guān)信息，通過離線方式導(dǎo)入到

人像視圖匯聚解析平臺(tái)中。

2.3總體架構(gòu)設(shè)計(jì)

人像視圖資源匯聚解析平臺(tái)建設(shè)主要分為數(shù)據(jù)采集、智能解析、數(shù)據(jù)存儲(chǔ)

核心模塊構(gòu)成，數(shù)據(jù)采集主要負(fù)責(zé)匯聚各類人像視圖數(shù)據(jù)資源，支持

restful.JDBC、XML等主流的數(shù)據(jù)采集接口形式；智能解析主要負(fù)責(zé)對(duì)視圖數(shù)

據(jù)進(jìn)行智能解析，形成可描述的結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)存儲(chǔ)主要負(fù)責(zé)海量數(shù)據(jù)存

儲(chǔ)，包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，三核心模塊采用緩存與流式處理

技術(shù)，快速完成數(shù)據(jù)處理與數(shù)據(jù)交互，對(duì)外提供符合國標(biāo)標(biāo)準(zhǔn)的服務(wù)接口，總

體的架構(gòu)圖如下。

2.3.1省級(jí)平臺(tái)架構(gòu)描述

2.3,1.1互聯(lián)網(wǎng)平臺(tái)架構(gòu)描述

省級(jí)互聯(lián)網(wǎng)的人像視圖資源匯聚解析平臺(tái)的主要作用是：

＞匯聚門禁、酒店、網(wǎng)吧等重點(diǎn)場所的人像視圖資源，包括人臉結(jié)構(gòu)化、

人像視圖、采集點(diǎn)位信息等，匯聚市級(jí)互聯(lián)網(wǎng)平臺(tái)推送上來的人臉小圖、

人臉特征值和結(jié)構(gòu)化信息。

＞已和公安網(wǎng)建立了數(shù)據(jù)交互的用戶，可直接通過安全邊界將人臉結(jié)構(gòu)化、

人臉小圖、人臉特征值推送至省廳公安網(wǎng)內(nèi)平臺(tái)；其余單位需將人臉結(jié)

構(gòu)化、人臉小圖、人臉特征值通過安全邊界推送至省廳視頻網(wǎng)內(nèi)平臺(tái)。

＞對(duì)外業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)與解析能力接口。

A接收專網(wǎng)的數(shù)據(jù)請求指令，按需將人像原圖或視頻片段，通過安全邊界

同步至相應(yīng)的專網(wǎng)平臺(tái)內(nèi)。

視頻專網(wǎng)平臺(tái)架構(gòu)描述

省廳視頻專網(wǎng)人像視圖資源匯聚解析平臺(tái)的主要作用是：

＞匯聚互聯(lián)網(wǎng)平臺(tái)推送的人臉小圖、人臉特征值和結(jié)構(gòu)化信息；包括人臉

結(jié)構(gòu)化、人像視圖、采集點(diǎn)位信息等；解析處理省廳平臺(tái)視頻聯(lián)網(wǎng)/共享

平臺(tái)的原始圖片與視頻流，保存人臉結(jié)構(gòu)化、人像視圖、采集點(diǎn)位信息

等；匯聚市級(jí)視頻專網(wǎng)平臺(tái)推送上來的人臉小圖、人臉特征值和結(jié)構(gòu)化

信息。

＞對(duì)外業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)與解析能力接口。

＞接收省廳公安信息網(wǎng)傳遞過來的布控指令，并將該布控指令和布控?cái)?shù)據(jù)

通過視頻專網(wǎng)下發(fā)至市級(jí)視頻專網(wǎng)平臺(tái)。

＞接收公安信息網(wǎng)的數(shù)據(jù)請求指令，按需將人像原圖或視頻片段，通過安

全邊界同步至公安信息網(wǎng)平臺(tái)內(nèi)。

公安信息網(wǎng)平臺(tái)架構(gòu)描述

省廳公安信息網(wǎng)人像視圖資源匯聚解析平臺(tái)的主要作用是：

＞對(duì)接各警種現(xiàn)有的人員信息數(shù)據(jù)庫，建立各類靜態(tài)專題人像庫，如常住

人口庫、在逃人員專題人像庫、機(jī)動(dòng)車駕駛員信息專題人像庫、違法人

員專題人像庫、涉毒人員專題人像庫、出入境專題人像庫、治安專題人

像庫、刑偵專題人像庫、情報(bào)專題人像庫、交警專題人像庫等，其中在

逃人員專題人像庫等重點(diǎn)人員庫可用于全省動(dòng)態(tài)布控。

＞生成全省特征值布控庫（基于在逃庫建設(shè)），并通過邊界將布控庫發(fā)送至

省廳視頻專網(wǎng)平臺(tái)中，并由其下發(fā)至市級(jí)平臺(tái)布控比對(duì)。

＞對(duì)外業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)與解析能力接口。

A匯聚省級(jí)視頻專網(wǎng)平臺(tái)推送上來的人臉小圖、人臉特征值和結(jié)構(gòu)化信息。

＞向視頻專網(wǎng)發(fā)送原始視圖請求指令，并接收其返回的原始視圖數(shù)據(jù)。

2.3.2地市級(jí)平臺(tái)架構(gòu)描述

互聯(lián)網(wǎng)平臺(tái)架構(gòu)描述

地市視頻專網(wǎng)人像視圖資源匯聚解析平臺(tái)的主要作用是：

＞匯聚全市門禁、酒店、網(wǎng)吧等重點(diǎn)場所的人像視圖資源，包括人臉結(jié)構(gòu)

化、人像視圖、采集點(diǎn)位信息等。

＞對(duì)外業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)與解析能力接口。

＞接收視頻專網(wǎng)的數(shù)據(jù)請求指令，按需將人像原圖或視頻片段，通過安全

邊界同步至視頻專網(wǎng)平臺(tái)內(nèi)。

＞將本級(jí)互聯(lián)網(wǎng)平臺(tái)匯聚的人臉小圖、人臉特征值和結(jié)構(gòu)化信息推送至本

市的視頻專網(wǎng)平臺(tái)。

視頻網(wǎng)平臺(tái)架構(gòu)描述

地市人像視圖資源匯聚解析平臺(tái)的主要作用是：

＞匯聚互聯(lián)網(wǎng)平臺(tái)推送的人臉小圖、人臉特征值和結(jié)構(gòu)化信息；包括人臉

結(jié)構(gòu)化、人像視圖、采集點(diǎn)位信息等；解析處理省廳平臺(tái)視頻聯(lián)網(wǎng)/共享

平臺(tái)的原始圖片與視頻流，保存人臉結(jié)構(gòu)化、人像視圖、采集點(diǎn)位信息

等。

＞對(duì)外業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)與解析能力接口。

＞接收省廳視頻專網(wǎng)下發(fā)的布控指令，并將該布控告警結(jié)果推送至省廳視

頻專網(wǎng)平臺(tái)。

＞接收省廳視頻網(wǎng)的數(shù)據(jù)請求指令，按需將人像原圖或視頻片段，通過安

全邊界同步至省廳視頻網(wǎng)平臺(tái)內(nèi)。

2.4業(yè)務(wù)流圖設(shè)計(jì)

2.4.1數(shù)據(jù)采集流圖

數(shù)據(jù)匯聚主要以非結(jié)構(gòu)化視圖數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)為主，視頻流數(shù)據(jù)經(jīng)智能

解析算法，形成圖片數(shù)據(jù)，并存儲(chǔ)在視圖數(shù)據(jù)模塊，將解析后的特征向量值，

存儲(chǔ)進(jìn)半結(jié)構(gòu)化庫中，解析后的屬性信息儲(chǔ)存入結(jié)構(gòu)化數(shù)據(jù)庫中。圖片經(jīng)智能

解析算法后，將提取到的特征向量數(shù)據(jù)存儲(chǔ)入半結(jié)構(gòu)化數(shù)據(jù)庫中，解析屬性儲(chǔ)

存入結(jié)構(gòu)化數(shù)據(jù)庫中。

2.4.2視頻網(wǎng)與公安網(wǎng)數(shù)據(jù)交互流圖

視頻網(wǎng)將經(jīng)解析服務(wù)提取到的人像圖片、人像特征向量、結(jié)構(gòu)數(shù)據(jù)通過安

全網(wǎng)閘的數(shù)據(jù)鏈路擺渡至公安網(wǎng)的存儲(chǔ)庫中，原始的場景圖片在視頻網(wǎng)中保

存。

公安網(wǎng)內(nèi)以消息信令的方式對(duì)視頻網(wǎng)內(nèi)的數(shù)據(jù)進(jìn)行請求，原始背景圖片通

過數(shù)據(jù)鏈路返回至公安網(wǎng)內(nèi)；視頻錄像通過視頻鏈路以視頻流的方式返回至公

安網(wǎng)內(nèi)。

2.4.3上下級(jí)數(shù)據(jù)交互流圖

平臺(tái)具有分網(wǎng)分級(jí)部署，各平臺(tái)間利用接口服務(wù)實(shí)現(xiàn)數(shù)據(jù)匯聚與級(jí)聯(lián)檢

索，實(shí)現(xiàn)各平臺(tái)間是交互應(yīng)用，從而實(shí)現(xiàn)數(shù)據(jù)的完全共享?？紤]到帶寬的因

素，減少數(shù)據(jù)傳輸中對(duì)帶寬的影響，對(duì)原始的抓拍視圖采用就近存儲(chǔ)的原則，

同時(shí)也支持按需進(jìn)行上級(jí)匯聚，既滿足上級(jí)平臺(tái)的需求也減少數(shù)據(jù)傳輸量，上

級(jí)平臺(tái)可利用級(jí)聯(lián)接口對(duì)下級(jí)平臺(tái)內(nèi)的原始視圖進(jìn)行調(diào)用，做到有目的性調(diào)

閱。交互流圖如下所示。

2.4.4動(dòng)態(tài)比對(duì)業(yè)務(wù)流圖

上級(jí)人像視頻資源匯聚平臺(tái)將所需下發(fā)黑名單人員庫的數(shù)據(jù)下發(fā)至下級(jí)平

臺(tái)的黑名單人員消息中心，下發(fā)的數(shù)據(jù)內(nèi)容包含：姓名、圖片、身份證編號(hào)、

特征值向量等，下級(jí)平臺(tái)可根據(jù)需要消費(fèi)消息中心的數(shù)據(jù)內(nèi)容，下級(jí)平臺(tái)將告

警數(shù)據(jù)推送至本級(jí)的報(bào)警消息隊(duì)列中，上級(jí)平臺(tái)消費(fèi)下級(jí)平臺(tái)的推送的報(bào)警數(shù)

據(jù)，實(shí)現(xiàn)報(bào)警數(shù)據(jù)的上報(bào)，從而形成布控指令下發(fā)、告警消息上報(bào)的流程，如

圖所示。

2.5核心技術(shù)介紹

理論、數(shù)據(jù)、模塊：“鐵三角”構(gòu)筑人臉識(shí)別技術(shù)核心優(yōu)勢。算法核心優(yōu)

勢可以如下形象解釋：

1）雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)理論就像我們建立了一個(gè)類人的大腦，具有比較

強(qiáng)的學(xué)習(xí)能力;

2）超大規(guī)模結(jié)構(gòu)化數(shù)據(jù)就像經(jīng)過人類無數(shù)年智慧結(jié)晶形成的語文、數(shù)學(xué)、

物理知識(shí)；

3）模塊就像教育學(xué)生的軟件資源，把知識(shí)梳理成體系，可以讓學(xué)生系統(tǒng)的

學(xué)習(xí)，隨之將學(xué)到的知識(shí)更好的應(yīng)用。

模塊

富

豐的

法

算模

體

塊系

理論、數(shù)據(jù)、模塊：“鐵三角”構(gòu)筑人臉識(shí)別技術(shù)核心優(yōu)勢

三個(gè)方面相輔相成，數(shù)據(jù)跟模塊疊加，通過雙層異構(gòu)深度網(wǎng)絡(luò)來訓(xùn)練，就

可以得到一個(gè)基礎(chǔ)的人臉識(shí)別算法最強(qiáng)大腦。再利用非結(jié)構(gòu)化數(shù)據(jù)做大量的專

業(yè)訓(xùn)練，金融行業(yè)用金融場景人臉數(shù)據(jù)，安防行業(yè)用安防行業(yè)數(shù)據(jù)，就使得算

法各有所長。在各個(gè)方面都能夠?qū)?、精、尖?/p>

2.5.1超大規(guī)模人臉結(jié)構(gòu)化數(shù)據(jù)

人臉結(jié)構(gòu)化數(shù)據(jù)庫定義：

人臉標(biāo)簽信息豐富

對(duì)于一張人臉圖片而言，具有其人臉圖片的以下內(nèi)容的部分標(biāo)簽或全部標(biāo)簽

信息：

人臉檢測信息：人臉數(shù)量、人臉坐標(biāo)；

蟋化數(shù)據(jù)vs非懈化瞬

人臉空間信息：俯仰角、旋轉(zhuǎn)角、偏航角；

ID非結(jié)構(gòu)化數(shù)據(jù)

人臉關(guān)鍵點(diǎn)信息：眼睛、鼻子、嘴、臉部輪廓坐標(biāo)；牌——只有ID信息

0.

人臉屬性信息：年齡、性別、人種等；

人臉表情信息：微笑、悲傷、閉眼、驚訝、憤怒、正常等；

人臉遮擋信息：墨鏡、帽子、口罩等；

人臉身份信息：姓名、ID

一個(gè)ID多結(jié)構(gòu)標(biāo)簽圖片

對(duì)于一人多張人臉圖片而言，具有架構(gòu)化的標(biāo)簽人臉圖片組合；

例如：數(shù)據(jù)庫有張三同一時(shí)間同一地點(diǎn)同一表情不同角度的人臉圖片集合;

也有同一時(shí)間同一地點(diǎn)同一角度不同表情的人臉圖片集合；

多人多張結(jié)構(gòu)化標(biāo)簽圖片

研究院具有全球首創(chuàng)的結(jié)構(gòu)話數(shù)據(jù)采集

陣列，從2012年到2015年間共采集建立1000

人總計(jì)1500萬張以上的人臉結(jié)構(gòu)化數(shù)據(jù)庫。

陣列特點(diǎn)：

1）可移動(dòng)、可拆卸、全天候、多角度、多

場景、毫秒級(jí)同步

2）現(xiàn)場（通道、廣場、大廳）實(shí)景拍攝

3）采集超過1500萬張

2.5.2分層矢量化模型（人臉DNA）

單層的特征編碼的流程圖

為了解決深度神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)的問題，我們提出了分層矢量化多媒體

信息表達(dá)體系。分層矢量化實(shí)際上是一個(gè)多層的特征編碼的過程。一個(gè)單層的特

征編碼由以下幾個(gè)步驟組成：首先，對(duì)圖片庫里所有的人臉圖像進(jìn)行分塊；其次

對(duì)每塊區(qū)域提取局部特征（如LBP、SIFT）形成局部特征描述子；然后，對(duì)所有局

部特征進(jìn)行量化形成字典；最后，根據(jù)字典信息和人臉圖像的映射，編碼形成人

臉圖像的特征向量，我們定義該特征向量為人臉DNAo

人臉DNA特征能夠很好的描述特定人臉的不變量，該特征對(duì)人臉光線、角度、

表情以及各種圖片噪聲具有一定的抗干擾性，再由雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)

化與學(xué)習(xí)，人臉的區(qū)分性更強(qiáng)，識(shí)別效果更佳。

舉個(gè)例子：我們認(rèn)一個(gè)人，最簡單的從這個(gè)人的身高、體型出發(fā)、發(fā)型等來

判斷是誰（認(rèn)知第一層）；更深一層從這個(gè)人的人臉、骨骼、虹膜、指紋來確認(rèn)

這個(gè)人的身份（認(rèn)知第二層）；更深層次，我們可以通過這個(gè)人的DNA來確認(rèn)這

個(gè)人的真實(shí)身份（認(rèn)知第三層）。所以認(rèn)知一個(gè)人，隨著逐層深入，一層比一層

更加可靠。

人臉DNA類似，在計(jì)算機(jī)人臉識(shí)別過程中，我們可以將人臉的最外在特征眼

睛大小形狀（丹鳳眼、濃眉大眼等），鼻子形狀（鷹鉤鼻、平鼻），嘴的大小形狀

（櫻桃小嘴）理解成第一層；可以將眼睛的距離，五官的位置，臉的輪廓等理解

成第二層；將人臉信息更抽象，提煉出人臉不隨光照、角度、年齡等影響的特征，

就是更深的層，我們定義為人臉DNA。

2.5.3雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)（人臉學(xué)習(xí)模型）

H女場景人齡

雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)示意圖

為了將兩張照片映射到同一特征空間中進(jìn)行比較，在異構(gòu)深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

上，我們提出了雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)模型。此模型中每層都是一個(gè)深度網(wǎng)絡(luò)（分

別以兩張照片為輸入），在訓(xùn)練時(shí)采用二分類損失函數(shù)并對(duì)兩個(gè)網(wǎng)絡(luò)中對(duì)應(yīng)權(quán)值

的差異性進(jìn)行正則化，可實(shí)現(xiàn)不同圖像空間到相同特征空間的映射。在特征空間

中，相同身份人臉圖像的類內(nèi)差異變小，而不同身份人臉圖像的類間差異變大，

從而增強(qiáng)了特征的判別性。

以人證合一為例：人的證件照要和現(xiàn)場的抓拍照或者普通照片上的人臉進(jìn)行

比對(duì)，我們不能直接拿來比對(duì)，這樣因?yàn)槟挲g、光照等各種信息影響，識(shí)別不準(zhǔn)。

我們應(yīng)該將證件照送到深度神經(jīng)網(wǎng)絡(luò)的一層，現(xiàn)場照送到深度神經(jīng)網(wǎng)絡(luò)的另一層,

兩張照片通過兩層不同的網(wǎng)相互交換信息（年齡差距、角度差距、光照影響等），

逐漸的去掉這些對(duì)人臉識(shí)別不利的因素，將兩張人臉照片映射到同一個(gè)可比的空

間再進(jìn)行比較。（例：要比較山東的蘋果和川西的蘋果哪個(gè)好吃，最好把它們都

運(yùn)到同一個(gè)地方，由同一個(gè)人來品嘗，給出最佳答案）

2.5.4豐富的算法模塊

對(duì)于一個(gè)完整的人臉識(shí)別系統(tǒng)而言，從一開始的視頻圖像解碼、人臉檢測到

最后的人臉特征匹配、識(shí)別策略等，每一個(gè)環(huán)節(jié)都具有許多算法模塊需要研究,

每一個(gè)流程里許多模塊又需要相互協(xié)同配合。只有具備豐富全面、一流高效的算

法模塊積累，才能夠發(fā)揮整個(gè)人臉識(shí)別系統(tǒng)在識(shí)別率、速度上的優(yōu)勢。類似于木

桶效應(yīng)，最后的成就取決于最短的那塊板子。

具有十年的計(jì)算機(jī)視頻圖像處理與模式識(shí)別算法積累，在人臉識(shí)別算法模塊

上也從2011年就從中國科學(xué)院開始研究并取得許多成果。

深度學(xué)習(xí)

關(guān)鍵點(diǎn)角度估計(jì)

解釋學(xué)習(xí)

對(duì)象"立

跟蹤特征對(duì)“3D旋正

對(duì)象主

問/月

分類

識(shí)別i

算法識(shí)別

檢測策略光照規(guī)整

模塊策略

圖像度量

規(guī)整關(guān)鍵點(diǎn)學(xué)習(xí)

信息

活體檢測融合檢測i年齡識(shí)別

屬性聚類性別識(shí)別對(duì)偶學(xué)習(xí)

歸納學(xué)習(xí)

2.5.5雙塔深度神經(jīng)網(wǎng)絡(luò)（大數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)架構(gòu)）

在大數(shù)據(jù)人工智能匹配場景中，為了將匹配對(duì)象A和B（如人臉軌跡和MAC

軌跡）進(jìn)行最精準(zhǔn)的匹配，需要針對(duì)所有A和B的組合進(jìn)行配對(duì)預(yù)測，這樣會(huì)

引入巨大的運(yùn)算量需求和過長的響應(yīng)延遲：比如100萬MAC數(shù)據(jù)和1萬張人臉

抓拍圖片，需要100億次inference做配對(duì)預(yù)測。這不僅對(duì)算力提出了苛刻的

需求，也大大加長了整個(gè)推薦系統(tǒng)的響應(yīng)時(shí)間，因此往往不適用于實(shí)際工程環(huán)

境。

雙塔深度神經(jīng)網(wǎng)絡(luò)正是針對(duì)此難點(diǎn)做出的工程化創(chuàng)新。如算法命名所示，

該神經(jīng)網(wǎng)絡(luò)分為A、B雙塔，每座塔是一個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)，雙塔各輸出一個(gè)指

定大小的特征向量Va和Vb,Va和Vb通過最后的距離層轉(zhuǎn)化為匹配分，衡量A

和B的匹配度。在實(shí)際運(yùn)用中，A塔輸入為關(guān)于A的特征集，B塔輸入為關(guān)于B

的特征集，因此Va和Vb實(shí)際上是A和B實(shí)體在高維向量空間中的投影，在實(shí)

際系統(tǒng)實(shí)現(xiàn)過程中，將人臉對(duì)象和MAC對(duì)象的時(shí)空關(guān)聯(lián)關(guān)系作為實(shí)體投影，其

關(guān)聯(lián)緊密度決定了匹配精準(zhǔn)度。

運(yùn)用雙塔深度神經(jīng)網(wǎng)絡(luò)，上文中提到的工程化難點(diǎn)迎刃而解。因?yàn)殡p塔深

度神經(jīng)網(wǎng)絡(luò)的匹配度預(yù)測，轉(zhuǎn)化成Distance(Va,Vb),我們可以簡化距離計(jì)算

為簡單的點(diǎn)乘運(yùn)算，因此對(duì)于上文中的例子，采用雙塔網(wǎng)絡(luò)，其計(jì)算量轉(zhuǎn)換

成：

100萬次A塔inference得到100萬個(gè)Va+1萬次B塔inference+100

億次點(diǎn)乘運(yùn)算。這相對(duì)于100億次神經(jīng)網(wǎng)絡(luò)inference是一個(gè)巨大的運(yùn)算量節(jié)

省。另外，大部分推薦場景下，Va和Vb的計(jì)算都可以離線進(jìn)行，即不算入推

薦系統(tǒng)的響應(yīng)延遲，因此使用雙塔網(wǎng)絡(luò)也可以大大降低系統(tǒng)響應(yīng)延遲。

除了對(duì)象匹配場景，雙塔深度神經(jīng)網(wǎng)絡(luò)還可以用于用戶日志挖掘、案事件

知識(shí)圖譜、事件風(fēng)險(xiǎn)管控、關(guān)注人員行為預(yù)判等多種其他場景。

2.5.6雙模異構(gòu)深度神經(jīng)網(wǎng)絡(luò)(大數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)架構(gòu))

在大數(shù)據(jù)人工智能領(lǐng)域，傳統(tǒng)算法如決策樹、邏輯回歸、隨機(jī)森林、支持

向量機(jī)等，都存在其固有缺點(diǎn)。例如，決策樹算法，對(duì)于數(shù)據(jù)分布的穩(wěn)定性要

求非常高，一旦數(shù)據(jù)分布發(fā)生偏移，模型表現(xiàn)會(huì)急轉(zhuǎn)直下；單純使用邏輯回歸

算法，其信息提取和擬合能力較差，因此往往需要和決策樹等算法多級(jí)聯(lián)合運(yùn)

用。而且傳統(tǒng)算法還存在一個(gè)共同的明顯缺點(diǎn)，既對(duì)特征工程要求較高，需要

數(shù)據(jù)分析師對(duì)原始數(shù)據(jù)中的很多信息進(jìn)行人工提取，做成特征，這些算法才能

基于這些特征進(jìn)行模型訓(xùn)練。這些特征，要么對(duì)原始數(shù)據(jù)進(jìn)行時(shí)間窗統(tǒng)計(jì)，要

么對(duì)稀疏數(shù)據(jù)進(jìn)行集中和集成，因此各高科技公司都組建了龐大的數(shù)據(jù)分析團(tuán)

隊(duì)，對(duì)原始大數(shù)據(jù)進(jìn)行了復(fù)雜且規(guī)模龐大的數(shù)據(jù)處理，這對(duì)人力、算力和管理

能力都提出了高需求。

針對(duì)這種情況，在傳統(tǒng)算法和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行了工程優(yōu)化和創(chuàng)新

融合，設(shè)計(jì)了雙模異構(gòu)深度神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)兼具傳統(tǒng)算法解釋性高、專家控

制力強(qiáng)的優(yōu)點(diǎn)，和神經(jīng)網(wǎng)絡(luò)信息提取能力和非線性擬合能力強(qiáng)的優(yōu)點(diǎn)，并考慮

到大數(shù)據(jù)的稀疏本質(zhì)，專門為此添加了自動(dòng)化的稀疏特征提取組件。

■出JR

雙模異構(gòu)深度神經(jīng)網(wǎng)絡(luò)，分為寬度部分和深度部分，寬度部分為邏輯回歸

組件，深度部分是神經(jīng)網(wǎng)絡(luò)組件，分別對(duì)數(shù)據(jù)中的規(guī)律性信息和推理性信息進(jìn)

行提??；最后，寬度部分和深度部分，以及專家輸入部分，通過統(tǒng)一的邏輯合

成層生成預(yù)測結(jié)果，并和標(biāo)定數(shù)據(jù)進(jìn)行誤差和梯度計(jì)算，同步反向傳播回深度

和寬度部分進(jìn)行迭代直至收斂。

雙模異構(gòu)深度神經(jīng)網(wǎng)絡(luò)的深度部分，又分為兩個(gè)部分，分別是處理密集型

特征的全連接NN,和處理稀疏數(shù)據(jù)的稀疏特征向量提取組件，兩個(gè)部分的輸出

再次通過全連接層匯成最終輸出。

稀疏特征向量提取組件，對(duì)稀疏數(shù)據(jù)進(jìn)行多步驟處理，分別是映射、池化

和組合。每一維度原始稀疏數(shù)據(jù)，例如，某用戶創(chuàng)建的所有經(jīng)驗(yàn)大數(shù)據(jù)技戰(zhàn)法

模型ID,經(jīng)過映射生成多個(gè)（但是比技戰(zhàn)法模型ID數(shù)量少很多）向量，再經(jīng)

過池化，形成唯一的一個(gè)特征向量；多維特征向量經(jīng)組合層生成tensor,輸入

全連接神經(jīng)網(wǎng)絡(luò)與密集特征部分提取的tensor進(jìn)行相互作用，從而形成最終的

神經(jīng)網(wǎng)絡(luò)預(yù)測。映射層在神經(jīng)網(wǎng)絡(luò)建立時(shí)被隨機(jī)初始化，映射矩陣在訓(xùn)練過程

中，會(huì)根據(jù)梯度反饋不停進(jìn)行迭代，直至收斂；池化和組合層是參數(shù)可配置

的，可選平均、最大值、最小值、點(diǎn)乘、拼接等多種池化和組合方式。

使用雙模異構(gòu)深度神經(jīng)網(wǎng)絡(luò)，不需要對(duì)原始數(shù)據(jù)進(jìn)行規(guī)模巨大的特征工

程，因?yàn)樵撋窠?jīng)網(wǎng)絡(luò)自身，其稀疏特征向量提取組件就具備強(qiáng)大的特征化能

力，其提取出來的特征向量，是原始數(shù)據(jù)中隱藏信息的高維空間表征，這些向

量不僅僅對(duì)本場景有效，而且往往可以直接作為另外一個(gè)場景神經(jīng)網(wǎng)絡(luò)訓(xùn)練的

特征輸入。因此使用雙模異構(gòu)神經(jīng)網(wǎng)絡(luò)，可以大大節(jié)省數(shù)據(jù)處理團(tuán)隊(duì)的工作

量。

在技戰(zhàn)法大數(shù)據(jù)建模的模型效果層面，雙模異構(gòu)深度神經(jīng)網(wǎng)絡(luò)大大超越傳

統(tǒng)大數(shù)據(jù)算法，并大幅超過單純的全連接神經(jīng)網(wǎng)絡(luò)。

2.6產(chǎn)品功能介紹

2.6.1登錄系統(tǒng)

登錄

拿到視圖匯聚分析平臺(tái)安裝部署后的使用地址（可詢問安裝部署人員、或

者視圖匯聚分析平臺(tái)管理人員），例如這邊拿到的視圖匯聚分析平臺(tái)地址是

http://192.168.10.32:WOOL打開谷歌或者IE瀏覽器,輸入視圖匯聚分析平

臺(tái)地址。登錄頁面如下。

輸入平臺(tái)賬號(hào)、密碼登錄。（平臺(tái)管理員賬號(hào)admin,初始密碼是

123456)

柳?匯聚分析平臺(tái)至A

■n

您郎*dm?n

■

0

s任B中心SMfSAS《快It號(hào)航

9MH>O

、/質(zhì)權(quán)信IB正審

a

&S-m?RBWasm

?正常?正彳■，00B

KU9&KKM6

fait*匯皂

B/ia

■A&KKA人俘象心ea1&*??itKAJie**■??

47120.209o676446,166

修改密碼

1、平臺(tái)右上角點(diǎn)擊登錄的賬號(hào)，在顯示的內(nèi)容項(xiàng)中點(diǎn)擊“修改密碼”，或

者點(diǎn)擊菜單欄“用戶中心”-“密碼管理”，即可進(jìn)入更改密碼頁面（注意：新

密碼不要與舊密碼一致）。

4m口（分析平臺(tái)

Q?貞

密碼管理

■?WH>

口?MrH>

三任期2'

0*?W?O

AW*R>.

A

&?ww?

2、密碼修改成功后，將返回到登錄頁面，用戶需要使用新的密碼登錄后才

可繼續(xù)使用。

2.6.2應(yīng)用中心/級(jí)聯(lián)訂閱

級(jí)聯(lián)訂閱支持實(shí)現(xiàn)對(duì)其他平臺(tái)的級(jí)聯(lián)，支持訂閱和推送兩種方式。

訂閱管理支持平臺(tái)對(duì)其他平臺(tái)進(jìn)行訂閱，從而獲取其他平臺(tái)的信息。

推送管理支持平臺(tái)將信息推送給其他平臺(tái)。

訂閱和被訂閱關(guān)系說明如下：

被訂閱方：將原始數(shù)據(jù)轉(zhuǎn)發(fā)給訂閱方。

訂閱方：向被訂閱方請求訂閱數(shù)據(jù)，接收轉(zhuǎn)發(fā)過來的數(shù)據(jù)。

訂閱管理支持平臺(tái)對(duì)其他平臺(tái)進(jìn)行訂閱，從而獲取其他平臺(tái)的信息。

新建訂閱

(1)進(jìn)入【應(yīng)用中心】-【級(jí)聯(lián)訂閱】點(diǎn)擊【新建】

新增訂閱X

M造？S要訂閱的系統(tǒng)：?協(xié)議類型：私育陸議

*訂閱時(shí)間周期：，通知"：［FTP

?是否芽網(wǎng)：公;「一，睡典：

，款指類型：像現(xiàn)設(shè)缶人證設(shè)備□終選設(shè)備所有諛蕾抓指教弟

人像庫人像集告要記錄

取消確定

(2)輸入正確的訂閱信息，選擇訂閱的系統(tǒng)以及傳輸協(xié)議，同時(shí)選擇訂閱授權(quán)的信息，完

成后保存完成訂閱的建立。

2.6,2.2新建推送

(1)進(jìn)入【應(yīng)用中心】-【級(jí)聯(lián)訂閱】-【推送管理】點(diǎn)擊【新建】

新增推送