面向交通技術(shù)的AI分析系統(tǒng)的設(shè)計(jì)開發(fā)

面向交通技術(shù)的AI分析系統(tǒng)的設(shè)計(jì)開發(fā)

Summary：本文提出一種應(yīng)用于公安、交警的交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)。通過統(tǒng)一的交通技術(shù)平臺(tái)，可實(shí)現(xiàn)各類交通監(jiān)控子系統(tǒng)的數(shù)據(jù)統(tǒng)一匯集接入，和各類交通監(jiān)控子系統(tǒng)的綜合管理。該系統(tǒng)可以對接高清視頻監(jiān)控系統(tǒng)、高清卡口系統(tǒng)、高清電子警察系統(tǒng)、交通信息分析系統(tǒng)、交通事件檢測系統(tǒng)、智能行為分析系統(tǒng)、交通違法處理系統(tǒng)等業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)各系統(tǒng)數(shù)據(jù)的匯集、存儲(chǔ)、處理、查詢和轉(zhuǎn)發(fā)，極大地推動(dòng)了智慧交通的發(fā)展應(yīng)用。Keys：交通監(jiān)控；數(shù)據(jù)處理；AI分析系統(tǒng)；設(shè)計(jì)1.引言當(dāng)前，交通管理的業(yè)務(wù)已經(jīng)展現(xiàn)出越來越多樣化的趨勢，交通管理和應(yīng)用的數(shù)據(jù)維度也越來越多，對于平臺(tái)的功能要求也已經(jīng)不止局限于視頻監(jiān)控和交通數(shù)據(jù)管理等程度。而是更進(jìn)一步地提出了交通流量接入和分析、單警系統(tǒng)的接入和警務(wù)管理，交通信號(hào)的管理和控制，交通誘導(dǎo)信息的接入和管理，車輛數(shù)據(jù)與橫向稱重?cái)?shù)據(jù)的結(jié)合，面向社會(huì)面的停車場管理系統(tǒng)、和入侵報(bào)警等設(shè)備的接入要求，以及與交通氣象數(shù)據(jù)，道路路面設(shè)施和路況數(shù)據(jù)等綜合性接入的要求。也正是由于這些數(shù)據(jù)的接入多樣性，數(shù)據(jù)接入平臺(tái)才真正意義上實(shí)現(xiàn)交通管理和服務(wù)業(yè)務(wù)上的綜合數(shù)據(jù)接入。2.交通技術(shù)監(jiān)控?cái)?shù)據(jù)處理平臺(tái)的提出公安、交警的交通技術(shù)監(jiān)控?cái)?shù)據(jù)的處理，是智慧交通的關(guān)鍵所在。2.1系統(tǒng)架構(gòu)本次設(shè)計(jì)的交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)，主要分為四個(gè)子平臺(tái)、五個(gè)子系統(tǒng)。具體來說，四個(gè)子平臺(tái)包括：六合一平臺(tái)、應(yīng)急指揮平臺(tái)、智能交通平臺(tái)、交通大數(shù)據(jù)平臺(tái)；五個(gè)子系統(tǒng)主要有：視頻監(jiān)控系統(tǒng)、高清卡口系統(tǒng)、電子警察系統(tǒng)、交通時(shí)間檢測系統(tǒng)、交通信息分析系統(tǒng)。交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)的結(jié)構(gòu)如下圖1：圖1結(jié)構(gòu)圖2.2系統(tǒng)組成本平臺(tái)遵循多層體系結(jié)構(gòu)模型，采用四層體系結(jié)構(gòu)，包括展現(xiàn)層（實(shí)現(xiàn)查詢、管理、統(tǒng)計(jì)功能）、服務(wù)層（進(jìn)行設(shè)備管理、通道管理、警報(bào)管理、區(qū)域管理、GIS管理、數(shù)據(jù)管理、場景管理、標(biāo)定管理、算法調(diào)度、角色管理、安全管理、日志管理）、數(shù)據(jù)層（包括DB、媒體數(shù)據(jù)、GIS數(shù)據(jù)）、接口層（主要是接入負(fù)載服務(wù)、數(shù)據(jù)調(diào)度與分發(fā)）。3.平臺(tái)的數(shù)據(jù)傳輸3.1內(nèi)部數(shù)據(jù)平臺(tái)內(nèi)部數(shù)據(jù)靈活采用關(guān)系型結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)模式，實(shí)現(xiàn)數(shù)據(jù)的高效傳輸、存儲(chǔ)，以及視頻、圖片的海量大規(guī)模存儲(chǔ)。本地?cái)?shù)據(jù)存儲(chǔ)進(jìn)行系統(tǒng)級加密，并在各級模塊和子系統(tǒng)之間進(jìn)行加密高效數(shù)據(jù)傳輸。平臺(tái)與基礎(chǔ)應(yīng)用系統(tǒng)間的數(shù)據(jù)傳輸符合國標(biāo)相關(guān)的要求（GA\T832—2014、GA\T497—2016等）。3.2外部數(shù)據(jù)本平臺(tái)作為公安交警指揮調(diào)度、日常應(yīng)用的數(shù)據(jù)匯集平臺(tái)，與公安其它各業(yè)務(wù)系統(tǒng)間均存在數(shù)據(jù)交互關(guān)系。涉及到與外部平臺(tái)系統(tǒng)的關(guān)系圖如下所示：圖2外部數(shù)據(jù)關(guān)系平臺(tái)兼容對接方案主要有以下幾種方式，其實(shí)現(xiàn)方法分別如下：（1）WebService接口平臺(tái)采用標(biāo)準(zhǔn)的WebService接口與六合一處罰平臺(tái)、機(jī)動(dòng)車/駕駛?cè)诵畔①Y源庫、被盜搶車信息庫、警用地理信息系統(tǒng)(PGIS)、人口信息庫、在逃人員/負(fù)案人員信息資源庫等進(jìn)行互聯(lián)，常用的接口類型包括：過車信息上傳接口（數(shù)據(jù)主要有：卡口\路口名稱、車道編號(hào)、車道名稱、車牌號(hào)碼、車牌類型、經(jīng)過時(shí)間、車速、車輛類型、車身顏色、車牌顏色。）；違章信息接口；圖片上傳接口；設(shè)備狀態(tài)上傳接口；設(shè)備控制系統(tǒng)接口；其它接口。（2）SDK接口除了標(biāo)準(zhǔn)的WebService接口之外，交通數(shù)據(jù)接入平臺(tái)還可以通過SDK的方式接入外部設(shè)備或子系統(tǒng)，完成系統(tǒng)的對接與數(shù)據(jù)交互傳輸。4.平臺(tái)的AI分析系統(tǒng)本方案是在系統(tǒng)結(jié)構(gòu)上采用前端采集+中心集中式處理服務(wù)器的方式，通過計(jì)算機(jī)視覺圖像技術(shù)、深度學(xué)習(xí)、大數(shù)據(jù)分析、云計(jì)算等相關(guān)先進(jìn)技術(shù)，對視頻監(jiān)控畫面中動(dòng)態(tài)信息（路口交通流量信息、速度、車輛通行信息、交通違法信息和事件信息等）行為進(jìn)行分析識(shí)別，從而實(shí)現(xiàn)事件的智能監(jiān)測與自動(dòng)報(bào)警，并以不同的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)要求存入到磁盤陣列中，并轉(zhuǎn)發(fā)（派發(fā)）給相應(yīng)的業(yè)務(wù)應(yīng)用平臺(tái)和指揮中心。平臺(tái)采用工業(yè)標(biāo)準(zhǔn)的J2EE系統(tǒng)框架和SOA面向服務(wù)的架構(gòu)，具備良好的伸縮性、業(yè)務(wù)擴(kuò)展能力。平臺(tái)支持大規(guī)模視頻信息數(shù)據(jù)接入，應(yīng)用功能豐富，可實(shí)現(xiàn)區(qū)域化管理與統(tǒng)一集中后臺(tái)分析。4.1系統(tǒng)架構(gòu)圖3系統(tǒng)架構(gòu)示意圖4.2技術(shù)路線從設(shè)計(jì)思路出發(fā)，本平臺(tái)主要采用以下核心技術(shù)路線：4.2.1前端圖像采集考慮到電子警察系統(tǒng)前端都部署在室外，環(huán)境比較惡劣，而且需要全天24小時(shí)不間斷工作，對設(shè)備的穩(wěn)定性和可靠性要求很高。為進(jìn)一步降低前端攝像機(jī)的設(shè)備壓力，要求攝像機(jī)只做視頻采集，不需要做進(jìn)一步的智能分析。前端部分由桿件、高清攝像機(jī)、LED智能補(bǔ)光燈、光纖收發(fā)器、電源、防雷、攝像機(jī)防護(hù)罩和戶外防護(hù)柜等設(shè)備組成，不添加外部觸發(fā)裝置，僅負(fù)責(zé)全天候的前端視頻采集，將采集的高清視頻通過光纖通信系統(tǒng)實(shí)時(shí)傳送到中心進(jìn)行視頻處理與存儲(chǔ)。前端攝像機(jī)作為前端設(shè)備中的核心設(shè)備，要求采用“圖像傳感器+ISP+DSP”技術(shù)方案，通過對ISP和DSP的精細(xì)化控制來確保高清圖像的成像質(zhì)量，使得高清攝像機(jī)在不同環(huán)境、不同光照條件下均可達(dá)到滿足業(yè)務(wù)應(yīng)用的成像效果。4.2.2中心分析應(yīng)用中心分析平臺(tái)涵蓋了視頻分析、業(yè)務(wù)應(yīng)用兩大模塊。電子警察管理平臺(tái)采用成熟、主流的技術(shù)構(gòu)建，充分兼顧交警業(yè)務(wù)需求和技術(shù)的發(fā)展，充分考慮與交警其他信息系統(tǒng)的連接，建設(shè)可擴(kuò)展的開放平臺(tái)。中心檢測處理存儲(chǔ)單元包括集中處理服務(wù)器和視頻處理軟件，系統(tǒng)對視頻進(jìn)行特征符號(hào)化處理后，把抓拍照片、高清視頻錄像、交通基礎(chǔ)數(shù)據(jù)等進(jìn)行分類，通過業(yè)務(wù)邏輯處理單元實(shí)現(xiàn)各類交通管理業(yè)務(wù)處理并提供各類外部數(shù)據(jù)接口。4.3平臺(tái)功能模塊組成智能視頻分析平臺(tái)主要由視頻分析服務(wù)模塊、視頻數(shù)據(jù)服務(wù)模塊、數(shù)據(jù)中心處理服務(wù)模塊以及客戶端應(yīng)用服務(wù)模塊四大部分構(gòu)成。圖4智能視頻分析平臺(tái)4.3.1視頻分析服務(wù)模塊包括場景管理服務(wù)、業(yè)務(wù)標(biāo)定服務(wù)、算力負(fù)載均衡服務(wù)、算力池管理服務(wù)、視頻流解碼服務(wù)、視頻分析服務(wù)。①場景管理服務(wù)用于管理視頻分析中的視頻流所對應(yīng)的業(yè)務(wù)類型，包括城市交通管理等不同類別的業(yè)務(wù)。②業(yè)務(wù)標(biāo)定服務(wù)用于視頻畫面的區(qū)域劃分、界限標(biāo)注、目標(biāo)物標(biāo)注、以及業(yè)務(wù)規(guī)則標(biāo)定。③算力負(fù)載均衡服務(wù)用于對分析服務(wù)器上的算力資源使用進(jìn)行跟蹤和負(fù)載均衡調(diào)度。④算力池管理服務(wù)用于對多臺(tái)分析服務(wù)器上的算力資源進(jìn)行綜合統(tǒng)一算力管理。⑤視頻流解碼服務(wù)用于視頻流進(jìn)行解碼，支持H.264、H.265視頻編碼格式。⑥視頻分析服務(wù)，提供各類業(yè)務(wù)的視頻分析功能。4.3.2視頻數(shù)據(jù)服務(wù)模塊提供視頻數(shù)據(jù)的預(yù)覽、回放、存儲(chǔ)、管理、云臺(tái)控制、上墻顯示、分析聯(lián)動(dòng)報(bào)警等視頻應(yīng)用服務(wù)。包括流媒體轉(zhuǎn)發(fā)服務(wù)、流媒體格式服務(wù)、存儲(chǔ)管理服務(wù)、網(wǎng)管服務(wù)、報(bào)警管理服務(wù)、設(shè)備接入服務(wù)、設(shè)備接入服務(wù)。4.3.3數(shù)據(jù)中心處理服務(wù)模塊管理配置信息和數(shù)據(jù)信息，實(shí)現(xiàn)用戶與資源管理、視頻和交通數(shù)據(jù)調(diào)閱，提供用戶權(quán)限控制、數(shù)據(jù)訪問等核心服務(wù)。包括中心管理服務(wù)、Web服務(wù)、數(shù)據(jù)庫服務(wù)、消息隊(duì)列服務(wù)、GIS電子地圖服務(wù)等。4.3.4客戶端應(yīng)用服務(wù)模塊包括B/S用戶端、APP用戶端、電視墻控制端、B/S管理端。①B/S用戶端通過WEB頁界面對系統(tǒng)進(jìn)行管理、維護(hù)、實(shí)時(shí)監(jiān)控和數(shù)據(jù)信息查閱，采用WEB2.0技術(shù)，操作更順暢、畫面刷新速度更快，可為監(jiān)控中心提供直觀的可視化管理界面。②APP用戶端提供基于移動(dòng)通信網(wǎng)絡(luò)的用戶系統(tǒng)業(yè)務(wù)處理功能?？梢赃h(yuǎn)程收取報(bào)警信息、登錄處理報(bào)警流程、實(shí)時(shí)查看系統(tǒng)數(shù)據(jù)和實(shí)時(shí)監(jiān)控畫面。③電視墻控制端業(yè)務(wù)實(shí)現(xiàn)對電視墻控制和管理。④B/S管理端提供系統(tǒng)級的運(yùn)維管理。4.4系統(tǒng)業(yè)務(wù)流程主要是：（1）系統(tǒng)通過獲取實(shí)時(shí)視頻流，也可以直連前端相機(jī)取視頻流，這樣避免了系統(tǒng)本身的帶寬壓力及系統(tǒng)計(jì)算壓力。（2）智能視頻分析算法部署在機(jī)房中心服務(wù)器端（支持云部署）實(shí)現(xiàn)對視頻的實(shí)時(shí)事件檢測，支持自動(dòng)定時(shí)輪詢，輪詢時(shí)間可配置。（3）系統(tǒng)將分析處理后得到的數(shù)據(jù)及時(shí)轉(zhuǎn)發(fā)給各業(yè)務(wù)平臺(tái)或指揮中心，并存儲(chǔ)至數(shù)據(jù)服務(wù)器。（4）系統(tǒng)自動(dòng)根據(jù)分析出來的各項(xiàng)數(shù)據(jù)進(jìn)行分類統(tǒng)計(jì)，并以多種報(bào)表方式進(jìn)行展示,以備查詢所需。（5）將各項(xiàng)數(shù)據(jù)統(tǒng)計(jì)分析后，通過平臺(tái)首頁直接展示各項(xiàng)數(shù)據(jù)或轉(zhuǎn)發(fā)給第三方業(yè)務(wù)平臺(tái)。5.系統(tǒng)應(yīng)用評價(jià)5.1設(shè)備兼容、功能一致本系統(tǒng)采用基于云計(jì)算模式的視頻分析模式，硬件組成相對簡潔。在系統(tǒng)的整體架構(gòu)上采用前端設(shè)備簡化（只負(fù)責(zé)高清視頻采集），在中心進(jìn)行集中視頻視覺識(shí)別、分析的處理存儲(chǔ)模式。前端不同時(shí)期、不同項(xiàng)目建設(shè)的不同廠家的攝像機(jī)，只要其滿足標(biāo)準(zhǔn)碼流的要求，都可以接入到統(tǒng)一的中心處理設(shè)備中。5.2降低運(yùn)營成本，升級方便本系統(tǒng)采用云建設(shè)模式，前端攝像機(jī)只負(fù)責(zé)圖像采集，中心處理設(shè)備才是系統(tǒng)功能實(shí)現(xiàn)的核心節(jié)點(diǎn)。在技術(shù)發(fā)展引領(lǐng)出新的功能時(shí)，只需要對中心處理設(shè)備進(jìn)行升級即可，不需要耗費(fèi)大量人力、物力對前端攝像機(jī)進(jìn)行一個(gè)一個(gè)的升級。5.3避開惡劣環(huán)境，運(yùn)行更穩(wěn)定以往的電子警察智能前置到攝像機(jī)中，攝像機(jī)的運(yùn)行壓力巨大，常常會(huì)出現(xiàn)攝像機(jī)性能不足、機(jī)身過熱，導(dǎo)致死機(jī)、頻繁重啟的問題。在云分析系統(tǒng)中大大減輕了前端攝像機(jī)的工作壓力，攝像機(jī)只需要負(fù)責(zé)成像控制、視頻采集等工作，出現(xiàn)故障的概率大大減少。而負(fù)責(zé)核心視頻分析的設(shè)備集中到了環(huán)境舒適的中心機(jī)房，可保障設(shè)備具有良好的外部環(huán)境，提高設(shè)備運(yùn)行穩(wěn)定性。5.4分析功能算法疊加在同一臺(tái)分析服務(wù)器上，不同的視頻可以運(yùn)行不同的算法功能，相同的一路視頻也可以同時(shí)疊加不同的算法功能。平臺(tái)數(shù)據(jù)處理采用當(dāng)前最先進(jìn)的深度學(xué)習(xí)算法對車輛的視頻和圖片進(jìn)行處理。深度學(xué)習(xí)就是利用一些方法去構(gòu)建一個(gè)含有多層隱藏層的人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的每一層都對應(yīng)著原始數(shù)據(jù)不同層次的數(shù)學(xué)抽象，從而達(dá)到用特征向量描述圖像的目的。和傳統(tǒng)模式識(shí)別算法相比較，深度學(xué)習(xí)算法的最大不同在于它所采用的特征是從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)得到，而非采用手工設(shè)計(jì)。好的特征可以提高模式識(shí)別系統(tǒng)的性能。以往多數(shù)分類、回歸等算法為淺層結(jié)構(gòu)算法，其局限性在于有限樣本和計(jì)算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定制約。深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力5.5算力池架構(gòu)在部署多臺(tái)分析服務(wù)器的時(shí)候，分析服務(wù)器可以建立分析算法集群資源池，算力資源可以通過算法資源池進(jìn)行合理分配和調(diào)度，提高硬件資源的使用率，提升系統(tǒng)總體的處理路數(shù)。同時(shí)，單臺(tái)服務(wù)器在使用的時(shí)候，都會(huì)預(yù)留一定的系統(tǒng)性能以保障系統(tǒng)正常運(yùn)行，如果不建立資源池的話，這部分算力資源就浪費(fèi)了。通過集群資源池，可以收集所有服務(wù)器上預(yù)留的算力資源，進(jìn)一步提升系統(tǒng)總體的處理運(yùn)算性能。5.6支持多種解碼方式平臺(tái)具備多種解碼方式，支持硬解、軟解，支持AI加速卡獨(dú)立解碼、支持AI加速卡和CPU混合解碼、支持CPU獨(dú)立解碼，適應(yīng)多種不同配置條件和不同應(yīng)用場景，提升整體運(yùn)行效率。支持多種品牌AI加速卡，支持NVIDIATesla加速卡、華為Atlas加速卡，支持混合使用不同品牌加速卡。5.7設(shè)備狀態(tài)自動(dòng)檢測平臺(tái)實(shí)時(shí)監(jiān)測視頻流、中心服務(wù)器、數(shù)據(jù)庫服務(wù)、WEB應(yīng)用等關(guān)鍵服務(wù)運(yùn)行狀況進(jìn)行故障診斷。當(dāng)各類設(shè)備、服務(wù)發(fā)生故障時(shí)系統(tǒng)通過聲音、短信等形式將信息告知維護(hù)人員，建立故障上報(bào)、進(jìn)度跟蹤、服務(wù)效果評價(jià)的閉環(huán)管理機(jī)制。6.小結(jié)以上本文提到的交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)，應(yīng)用優(yōu)勢突出，尤其是平臺(tái)的AI分析系統(tǒng)，對智慧交通的實(shí)現(xiàn)具有巨