交通管控大數(shù)據(jù)分析研判系統(tǒng)

交通管控大數(shù)據(jù)分析研判系統(tǒng)設計方案目錄TOC\o"1-5"\h\z\o"CurrentDocument"系統(tǒng)概述4\o"CurrentDocument"系統(tǒng)背景4\o"CurrentDocument"系統(tǒng)意義5系統(tǒng)容7TOC\o"1-5"\h\z\o"CurrentDocument"需求分析8\o"CurrentDocument"業(yè)務需求8\o"CurrentDocument"面向交通管理的大數(shù)據(jù)業(yè)務需求8\o"CurrentDocument"面向交通平安的大數(shù)據(jù)業(yè)務需求8\o"CurrentDocument"功能需求9\o"CurrentDocument"基于大數(shù)據(jù)的在線統(tǒng)計和離線分析需求9\o"CurrentDocument"基于大數(shù)據(jù)的車輛特征分析需求9\o"CurrentDocument"基于大數(shù)據(jù)的事故分析需求9\o"CurrentDocument"基于大數(shù)據(jù)的勤務快速處置需求9基于大數(shù)據(jù)平臺的車輛特征二次識別需求10基于大數(shù)據(jù)平臺的技戰(zhàn)法需求10性能需求10高并發(fā)實時數(shù)據(jù)采集需求10海量數(shù)據(jù)存儲需求10\o"CurrentDocument"分布式流處理需求11\o"CurrentDocument"車輛二次識別需求11\o"CurrentDocument"架構設計11\o"CurrentDocument"總體應用架構11\o"CurrentDocument"軟件框架構造12\o"CurrentDocument"網(wǎng)絡部署架構12數(shù)據(jù)流構造錯誤!未定義書簽。關鍵技術路線錯誤!未定義書簽。Hadoop技術錯誤!未定義書簽。SparK術錯誤床定義書簽。車輛特征二次識別技術錯誤!未定義書簽。功能設計錯誤!未定義書簽。功能構造圖錯誤!未定義書簽。功能模塊錯誤!未定義書簽。首頁錯誤!未定義書簽。實時預警錯誤!未定義書簽。信息查詢錯誤!未定義書簽。統(tǒng)計分析錯誤!未定義書簽。技戰(zhàn)法錯誤!未定義書簽。車輛布控錯誤!未定義書簽。系統(tǒng)設置錯誤!未定義書簽。運維管理錯誤!未定義書簽。數(shù)據(jù)庫設計錯誤!未定義書簽。數(shù)據(jù)庫ER模型錯誤!未定義書簽。數(shù)據(jù)庫表錯誤!未定義書簽。接口設計錯誤!未定義書簽。接口分布圖〔接口關聯(lián)圖〕錯誤!未定義書簽。接口詳細說明錯誤!未定義書簽。系統(tǒng)特色錯誤!未定義書簽。優(yōu)化交通大數(shù)據(jù)集中存儲能力錯誤!未定義書簽。提升交通大數(shù)據(jù)分析研判能力錯誤!未定義書簽。提升交通案件偵破能力錯誤!未定義書簽。提升交通監(jiān)管能力錯誤!未定義書簽。系統(tǒng)概述系統(tǒng)背景隨著經(jīng)濟迅猛開展，機動車輛不斷增加，道路交通擁堵、交通肇事現(xiàn)象也越來越嚴重。交通管理部門部署了大量交通監(jiān)控設備對道路交通情況進展監(jiān)控，這些設備24小時不連續(xù)捕獲過車數(shù)據(jù)和圖像數(shù)據(jù)，產(chǎn)生了海量的歷史記錄。在此情況下，如何利用先進的技術手段，對交通監(jiān)控設備采集的海量的、格式多樣的數(shù)據(jù)進展深度分析應用，對海量數(shù)據(jù)進展查找、關聯(lián)、比對等處理，實時發(fā)現(xiàn)其中潛在的問題并預警,成為當前迫切需要解決的問題。主要表達在以下兩個方面：一是交通管理部門的現(xiàn)有系統(tǒng)還處于構造化數(shù)據(jù)處理模式架構體系中，要實現(xiàn)對城市道路交通的整體運行狀況、車輛出行規(guī)律等方面以日、月甚至年為時間粒度進展數(shù)據(jù)分析還存在缺乏。二是交通管理部門的現(xiàn)有系統(tǒng)在對這些具有邏輯關聯(lián)的海量多源異構數(shù)據(jù)處理過程中，數(shù)據(jù)存儲構造、處理種類、處理效率等方面仍存在缺乏，不能滿足持續(xù)擴大的交通管理數(shù)據(jù)規(guī)模以及對數(shù)據(jù)深度快速挖掘和應用需求。交通管控大數(shù)據(jù)平臺構建了一個支持橫向擴展，具有分布、并行、高效特點的大數(shù)據(jù)處理平臺的體系架構。綜合運用云計算、云存儲、并行數(shù)據(jù)挖掘、圖像識別等技術，開展數(shù)據(jù)的存儲、挖掘、聯(lián)動、分析。通過將電子監(jiān)控設備的數(shù)據(jù)、圖像等異構的數(shù)據(jù)資源接入大數(shù)據(jù)處理平臺，通過分布式存儲和并行數(shù)據(jù)挖掘，提供在線實時分析模式和離線統(tǒng)計分析模式兩種應用模式，對交通管理的各類大數(shù)據(jù)全方位地進展實時和離線分析處理?？梢詫㈦[藏于海量數(shù)據(jù)中的信息挖掘出來，可全面掌握道路通行情況，為策略制定、分析研判、行動部署提供依據(jù)，大大提升綜合管理的集約化程度。系統(tǒng)意義〔1〕信息查詢和預警分析借助在線實時分析、離線統(tǒng)計分析和數(shù)據(jù)共享等手段，通過接口與集成指揮平臺等各個業(yè)務系統(tǒng)關聯(lián)，高效開展交通管理工作。例如通過分析一段時間的過車信息進展查詢分析比照，確定該時期造成交通擁堵的主要原因和開展趨勢，對交通擁堵的發(fā)生進展一定的預測和判斷，并采取相應的管控措施控制誘發(fā)交通擁堵的原因，科學預防交通擁堵?！?〕多維度布控打擊犯罪通過車輛特征二次識別比對，可對特定車輛的局部特征進展提取分析和建模，在車輛號牌信息缺失〔套牌、遮擋號牌或無牌〕情況下，按照車輛品牌、型號、顏色、類別以及局部特征等自定義組合布控報警，準確快速地實現(xiàn)特定車輛追蹤與鎖定，獲取車輛真實行蹤，將有價值的圖片數(shù)據(jù)提供應公安刑偵部門，為偵破交通肇事逃逸案、利用機動車作為犯罪工具的刑事案、以及搶劫出租車等惡性案件提供線索和證據(jù)，為刑偵部門確定線索偵查破案提供支持。3〕大粒度的數(shù)據(jù)分析為決策提供支持通過交通流大數(shù)據(jù)采集存儲、流量查詢分析，車輛特征研判、車輛軌跡分析等深度應用，系統(tǒng)不僅僅可以實現(xiàn)對車輛和人員的分析研判，通過大量數(shù)據(jù)的積累和變化規(guī)律進展深度的信息挖掘，幫助決策者和管理者提供有價值的線索信息，同時結合車駕管數(shù)據(jù)庫，開展交通信息綜合分析研判。研發(fā)原那么工程建立總體上堅持“構造上的整體性、技術上的先進性、使用上的穩(wěn)定性、經(jīng)濟上的合理性、實施上的平安性、操作上的友好性、升級上的可拓展性〞原那么，建立綜合信息的統(tǒng)一管理、展示、控制平臺，制定平安可靠的集成規(guī)，完成各業(yè)務系統(tǒng)的智能協(xié)調(diào)聯(lián)動功能，實現(xiàn)資源集成、數(shù)據(jù)集成、業(yè)務集成、控制集成和展現(xiàn)集成。1、實用性原那么工程采用技術和解決方案應該具有很強的實用性，系統(tǒng)建立應始終貫徹面向應用、注重實效的方針，堅持實用、經(jīng)濟的原那么。2、先進性原那么采用先進、成熟的方法和技術，各種先進方法和手段應該充分考慮市社會可行性、法律可行性、管理可行性、技術可行性。既注意概念、技術和方法的先進性，又要注意成熟性。使工程能反映當今的先進水平，并具有一定的開展?jié)摿Α?、資源共享信息資源共享是本工程的主要工程目標之一，需要注意本工程與業(yè)主方已建智能交通信息化成果之間的信息互聯(lián)與資源共享。4、可持續(xù)性系統(tǒng)設計采用合理的、有彈性的架構，并預留有一定的接口，保證系統(tǒng)能進展不斷的完美和擴展。5、開放性和標準性注意遵循相關的技術標準和行業(yè)標準，并采用合理的系統(tǒng)架構，不采用壟斷技術，保證系統(tǒng)的開放性和標準性。6、可靠性和穩(wěn)定性從系統(tǒng)構造、技術措施、設備性能、系統(tǒng)管理、廠商技術支持及維護能力等方面著手，確保系統(tǒng)運行的可靠性和穩(wěn)定性，到達設計的最大平均無故障時間。7、平安性和性在考慮信息資源的充分共享的同時，注意對信息的保護和隔離，采用系統(tǒng)平安機制、數(shù)據(jù)存取的權限控制等方案解決系統(tǒng)平安性問題。8、擴展性和易維護性采用先進的軟件工程理論、良好的系統(tǒng)設計，以及分層和代理的方法等方法，保證實現(xiàn)的系統(tǒng)層次清晰、模塊合理，接口協(xié)議開放，保證系統(tǒng)的擴展性和易維護性。系統(tǒng)容交通管控大數(shù)據(jù)平臺由5類效勞器組成，包括：數(shù)據(jù)接入效勞器、數(shù)據(jù)庫效勞器、流處理效勞器、二次識別效勞器、應用效勞器?！?〕數(shù)據(jù)接入效勞器：統(tǒng)一接入卡口、電警過車數(shù)據(jù)和過車圖片，并按大數(shù)據(jù)架構統(tǒng)一轉換管理?！?〕數(shù)據(jù)庫效勞器：管理節(jié)點作為主效勞器，管理Hadoop文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作?？蛇M展節(jié)點安裝、配置、效勞配置等，對Hadoop效勞器進展實時狀態(tài)檢測。數(shù)據(jù)節(jié)點管理存儲的數(shù)據(jù)，支持PB級數(shù)據(jù)和圖片存儲和數(shù)據(jù)索引管理。〔3〕流處理效勞器：基于Spark的大數(shù)據(jù)云計算技術，支持高速查詢和低延時的統(tǒng)計能力，實現(xiàn)億以上的過車記錄大數(shù)據(jù)量秒級檢索能力?！?〕二次識別效勞器：于大數(shù)據(jù)下深度學習的圖像識別技術，支持車輛號牌、品牌型號、車身顏色、車輛型號等信息關聯(lián)比對。〔5〕應用效勞器：部署交通管控大數(shù)據(jù)平臺系統(tǒng)軟件和數(shù)據(jù)發(fā)布軟件。需求分析業(yè)務需求面向交通管理的大數(shù)據(jù)業(yè)務需求隨著城市交通擁堵問題頑固化、復雜化和多樣化，交通管理工作面臨著從事后分析向事前研判預警拓展、從歷史統(tǒng)計向在線分析挖掘拓展、從簡單應用向綜合效勞評價拓展的在需求開展方向。并對管轄圍的車輛出行規(guī)律等方面以日、月年為時間粒度進展實時和歷史統(tǒng)計分析，并對現(xiàn)有信息開展任意圍的快速檢索和實時統(tǒng)計分析，并將結果可視化顯示。面向交通平安的大數(shù)據(jù)業(yè)務需求管理路面、假/套牌、肇事車輛、黑車等重點布控車輛、維護交通平安和事故處理是交管部門的另一項行政管理職能?；诖髷?shù)據(jù)系統(tǒng)，通過大量歷史數(shù)據(jù)對涉案車開展比對，形成對涉案車輛行為的分析及涉案車輛的匹配分析，為準確打擊行為提供證據(jù)，按照車輛特征進展布控，有效提升現(xiàn)有查處的精準打擊和查緝布控能力。功能需求基于大數(shù)據(jù)的在線統(tǒng)計和離線分析需求以總量統(tǒng)計、信息查詢等業(yè)務數(shù)據(jù)檢索的后臺軟件模塊為支持，通過大數(shù)據(jù)系統(tǒng)備份或抽取歷史數(shù)據(jù)資源，重構數(shù)據(jù)構造，并為每一種應用添加算法模塊，實現(xiàn)對大批量信息檢索及統(tǒng)計分析的實時處理。基于大數(shù)據(jù)的車輛特征分析需求以基于海量卡口數(shù)據(jù)獲取車輛出行OD，挖掘車輛通勤出行行為，分析車輛通勤行為特征與交通擁堵相關性分析，研究擁堵路段車流集散、車輛屬地屬性開展變化規(guī)律。準確統(tǒng)計道路交通、卡點進出車輛流動情況，為合理調(diào)配警力、提高車輛管理水平提供科學依據(jù)?；诖髷?shù)據(jù)的事故分析需求基于大數(shù)據(jù)系統(tǒng)進展和事故數(shù)據(jù)的關聯(lián)分析，從不同視角研究和事故成因，定期將交通、事故的相關駕駛人特征與車輛特征進展分析，按類掌握、事故中高發(fā)、易發(fā)的駕駛人與車輛，為重點管理的群體提供數(shù)據(jù)支撐。通過大數(shù)據(jù)平臺對交通、事故數(shù)據(jù)及屬性開展關聯(lián)分析，定期將、事故與駕駛人特征，包括培訓考試過程、工作單位、家庭背景等因素，與車輛特征，包括品牌、車型、營運性質(zhì)、號牌屬地、車身顏色、車輛保養(yǎng)等因素，與道路特征，包括道路類型、線性、天氣、時間、環(huán)境、設施等相關聯(lián)的，集中分析掌握、事故中高發(fā)、易發(fā)的駕駛人、車輛和道路，為管控提供最為真實的資料和依據(jù)。基于大數(shù)據(jù)的勤務快速處置需求在崗執(zhí)勤民警通常負責的是一個區(qū)域的交通管理工作，很難掌握管轄區(qū)域所有路口路段的實時交通狀況?；趯^車流量特性的大數(shù)據(jù)分析，可為交管人員分析管轄區(qū)域交通流量情況，為在崗執(zhí)勤民警提供更加準確的擁堵點，有助于交管人員日常勤務安排和以及上下游及時聯(lián)動和快速反響?；诖髷?shù)據(jù)平臺的車輛特征二次識別需求過車圖片里面包含了很多信息，這些信息是卡口設備本身無法有效識別出來的信息，例如車輛品牌、車輛型號等?；诖髷?shù)據(jù)系統(tǒng)的車輛特征二次識別技術從根本上克制了傳統(tǒng)車輛檢索只能按照號牌進展單一查詢的功能缺陷，實現(xiàn)了按照車輛品牌、型號、顏色、類別以及局部特征等自定義組合查詢和模糊查詢強大功能。在不改變現(xiàn)有卡口設備的情況下，就能夠挖掘出更多的車輛特征，便于實現(xiàn)更多應用，有效利用了現(xiàn)有卡口設備，降低不必要的卡口重建投入?；诖髷?shù)據(jù)平臺的技戰(zhàn)法需求通過過車圖片、行駛行為特征分析和人員、車輛檔案關聯(lián)分析，確定各類涉案人員/車輛的詳細信息。以全庫精細搜索和模糊查詢，實現(xiàn)一定時間經(jīng)過各采集點特定車輛行車軌跡分析，記錄軌跡路線信息并在GIS地圖中進展可視化展示和報警，形成行駛軌跡數(shù)據(jù)的高速檢索。對同一輛車在多個監(jiān)控點出現(xiàn)的軌跡進展時空分析，實現(xiàn)對任意時間和地區(qū)圍重點車輛行駛規(guī)律的分析研判，并預測一定時間高概率出現(xiàn)的區(qū)域。性能需求高并發(fā)實時數(shù)據(jù)采集需求采用Kafka消息隊列，良好兼容Hadoop系統(tǒng)，可通過SQL訪問，延遲在2秒。海量數(shù)據(jù)存儲需求采用Hadoop和HDFS文件系統(tǒng)，具備PB數(shù)據(jù)級別的在線存儲能力，數(shù)據(jù)

容量可動態(tài)擴展。分布式流處理需求采用SparkStreaming支持分布式數(shù)據(jù)集上的迭代作業(yè)，每一個批次的數(shù)據(jù)的時間間隔在100ms車輛二次識別需求可檢測200萬、300萬、500像素的圖片，單圖片處理速度平均為0.1S,單臺日處理最多為80萬，檢測正確率》85%。3架構設計總體應用架構

交通管控大數(shù)據(jù)分析研判平臺分為數(shù)據(jù)層、采集層、處理層、存儲層、應用所轄圍的設備上報的車輛通行文本信息、圖像信息、設備狀態(tài)信息。系統(tǒng)總體構造如下:信息安全保障地理信息平臺應用層處理層采集層一數(shù)據(jù)層存儲層系統(tǒng)總體構造如下:信息安全保障地理信息平臺應用層