道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理項(xiàng)目解決方案

道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理項(xiàng)目解

決方案

目錄

1系統(tǒng)總體設(shè)計(jì)................................................................1

1.1云計(jì)算系統(tǒng)設(shè)計(jì)方案概述.............................................1

1.1.1系統(tǒng)基本需求及功能..............................................1

1.1.2主要建設(shè)目標(biāo)和建設(shè)原則.........................................2

1.1.3系統(tǒng)的主要技術(shù)特點(diǎn).............................................2

1.1.4系統(tǒng)的主要性能指標(biāo).............................................3

1.2系統(tǒng)總體構(gòu)架.......................................................5

1.2.1系統(tǒng)基本組成與構(gòu)架.............................................5

1.2.2系統(tǒng)功能構(gòu)架....................................................5

1.2.3系統(tǒng)總體構(gòu)架與功能模塊........................................10

1.3系統(tǒng)基本功能與處理方案.............................................11

1.3.1交管數(shù)據(jù)入庫功能與處理方案....................................11

1.3.2數(shù)據(jù)存儲(chǔ)功能與處理方案........................................13

1.3.3查詢分析功能與處理方案........................................14

1.4系統(tǒng)可靠性與擴(kuò)展性................................................15

1.4.1系統(tǒng)可靠性.....................................................15

1.4.2系統(tǒng)擴(kuò)展性.....................................................17

1.5系統(tǒng)設(shè)計(jì)性能.......................................................18

1.5.1交管數(shù)據(jù)流量處理能力...........................................18

1.5.2數(shù)據(jù)存儲(chǔ)能力...................................................18

1.5.3查詢分析計(jì)算性能...............................................19

1.6定制開發(fā)方案.......................................................19

2硬件云平臺(tái)建設(shè)方案.........................................................22

2.1管理控制臺(tái)服務(wù)器詳細(xì)指標(biāo)..........................................22

3軟件系統(tǒng)設(shè)計(jì)與關(guān)鍵技術(shù)方法................................................24

3.1系統(tǒng)軟件平臺(tái).......................................................24

3.2歷史數(shù)據(jù)匯聚上報(bào)處理流程..........................................24

3.3實(shí)時(shí)數(shù)據(jù)入庫流程...................................................25

3.4數(shù)據(jù)存儲(chǔ)子系統(tǒng).....................................................26

3.4.1海量數(shù)據(jù)分布式數(shù)據(jù)存儲(chǔ)構(gòu)架....................................26

3.4.2適應(yīng)應(yīng)用需求的混合存儲(chǔ)策略....................................28

3.4.3分布式云存儲(chǔ)數(shù)據(jù)存儲(chǔ)..........................................28

3.4.4數(shù)據(jù)立方數(shù)據(jù)存儲(chǔ)...............................................32

3.4.5Database數(shù)據(jù)存儲(chǔ).............................................34

3.4.6數(shù)據(jù)存儲(chǔ)的可靠性...............................................36

3.4.7數(shù)據(jù)壓縮.......................................................37

3.5數(shù)據(jù)查詢與統(tǒng)計(jì)分析子系統(tǒng)..........................................39

3.5.1數(shù)據(jù)查詢與統(tǒng)計(jì)分析系統(tǒng)基本構(gòu)架................................39

3.5.2交管數(shù)據(jù)查詢功能與用戶界面....................................39

3.5.3實(shí)時(shí)報(bào)警功能與用戶界面........................................40

3.5.4車輛軌跡回放功能與用戶界面....................................41

3.6基于云方案的交管數(shù)據(jù)查詢索引與查詢優(yōu)化技術(shù).......................41

3.6,1基于分布式數(shù)據(jù)庫的交管數(shù)據(jù)查詢索引處理方案...................41

3.7交管數(shù)據(jù)處理集群的可靠性與負(fù)載均衡設(shè)計(jì)...........................42

3.7.1負(fù)載均衡處理機(jī)的單點(diǎn)失效容錯(cuò)處理.............................42

3.7.2查詢處理機(jī)的單點(diǎn)失效容錯(cuò)處理..................................46

3.8計(jì)算與存儲(chǔ)集群的可靠性與負(fù)載均衡設(shè)計(jì).............................47

3.8.1計(jì)算與存儲(chǔ)集群Master單點(diǎn)失效容錯(cuò)處理........................47

3.8.2計(jì)算與存儲(chǔ)集群的負(fù)載均衡處理..................................53

3.8.3分布式云存儲(chǔ)的可靠性設(shè)計(jì)......................................56

3.8.4數(shù)據(jù)立方可靠性設(shè)計(jì)............................................58

3.8.5分布式云處理計(jì)算可靠性設(shè)計(jì)....................................60

3.9查詢統(tǒng)計(jì)計(jì)算可靠性與負(fù)載均衡設(shè)計(jì).................................62

3.9.1基于Zookeeper的單點(diǎn)失效和負(fù)載均衡設(shè)計(jì).......................62

3.10系統(tǒng)安全性設(shè)計(jì)....................................................64

3.10.1安全保障體系框架...........................................64

3.10.2云計(jì)算平臺(tái)的多級(jí)信任保護(hù)..................................66

3.10.3基于多級(jí)信任保護(hù)的訪問控制................................70

3.10.4云平臺(tái)安全審計(jì)............................................72

3.10.5云計(jì)算綜合安全網(wǎng)關(guān)........................................76

4實(shí)施方案....................................................錯(cuò)誤!未定義書簽。

4.1時(shí)間進(jìn)度............................................錯(cuò)誤!未定義書簽。

4.2測(cè)試和驗(yàn)收..........................................錯(cuò)誤!未定義書簽。

4.3技術(shù)支持服務(wù)........................................錯(cuò)誤!未定義書簽。

4.4培訓(xùn)服務(wù)............................................錯(cuò)誤!未定義書簽。

圖表1"3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)的基本組成與構(gòu)架...............5

圖表2"3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)總體構(gòu)架與功能模塊圖..........10

圖表3"3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)架構(gòu)..........................12

圖表4數(shù)據(jù)存儲(chǔ)處理架構(gòu)....................................................13

圖表5交管數(shù)據(jù)接入........................................................14

圖表6分布式文件存儲(chǔ)系統(tǒng)吞吐量指標(biāo).......................................19

圖表7系統(tǒng)軟件結(jié)構(gòu)........................................................24

圖表8數(shù)據(jù)匯聚上報(bào)處理流程................................................25

圖表9實(shí)時(shí)數(shù)據(jù)入庫流程....................................................25

圖表10分布式計(jì)算流程.....................................................26

圖表11分布式云計(jì)算結(jié)構(gòu)...................................................27

圖表12分布式云存儲(chǔ)結(jié)構(gòu)...................................................30

圖表13分布式云存儲(chǔ)Namenode,DataNode和客戶端們之間的交互............32

圖表14分布式云存儲(chǔ)數(shù)據(jù)壓縮與組織........................................38

圖表15數(shù)據(jù)查詢子系統(tǒng)構(gòu)架.................................................39

圖表16用戶界面圖.........................................................40

圖表17實(shí)時(shí)報(bào)警功能.......................................................40

圖表18車輛軌跡回放.......................................................41

圖表19負(fù)載均衡機(jī)分布圖...................................................43

圖表20負(fù)載均衡機(jī)宕機(jī)預(yù)案.................................................44

圖表21Master節(jié)點(diǎn)宕機(jī)預(yù)案................................................45

圖表22查詢處理單點(diǎn)失效容錯(cuò)處理..........................................46

圖表23Master單點(diǎn)失效容錯(cuò)處理............................................47

圖表24AvatarNodeO以Pimary啟動(dòng)過程......................................49

圖表25AvatarNodel以Standby啟動(dòng)過程......................................50

圖表26DataNode啟動(dòng)過程..................................................50

圖表27AvatarNodeO宕機(jī)后的狀態(tài)............................................51

圖表28AvatarNodel切換為Primary過程......................................51

圖表29AvatarNodeO重啟過程................................................52

圖表30AvatarNode啟動(dòng)切換流程圖...........................................53

圖表31Avatar體系架構(gòu)圖...................................................56

圖表32數(shù)據(jù)立方系統(tǒng)架構(gòu)...................................................58

圖表33作業(yè)提交...........................................................61

圖表34JobTrackerO宕機(jī).....................................................61

圖表35作業(yè)注銷...........................................................62

圖表36Zookeeper基本工作結(jié)構(gòu)圖............................................62

圖表37基于Zookeeper的查詢分析計(jì)算單點(diǎn)失效和............................64

圖表38基于深度防護(hù)戰(zhàn)略的IATF模型........................................64

圖表39云部署模型的實(shí)現(xiàn)...................................................65

圖表40多級(jí)信任保護(hù).......................................................66

圖表41基于可信第三方的平臺(tái)認(rèn)證..........................................67

圖表42主要因素平臺(tái)證書...................................................67

圖表43云存儲(chǔ)安全子系統(tǒng)接口關(guān)系圖........................................70

圖表44基于多級(jí)信任保護(hù)的多級(jí)訪問控制流程................................71

圖表45數(shù)據(jù)安全交換平臺(tái)...................................................71

圖表46云存儲(chǔ)安全審計(jì)體系結(jié)構(gòu).............................................73

圖表47安全日志審計(jì)系統(tǒng)結(jié)構(gòu)圖............................................75

圖表48Cloud-USG三種部署模式77

1系統(tǒng)總體設(shè)計(jì)

1.1云計(jì)算系統(tǒng)設(shè)計(jì)方案概述

1.1.1系統(tǒng)基本需求及功能

按照全省公安機(jī)關(guān)XX工程建設(shè)的要求，需要對(duì)全市500多個(gè)車輛監(jiān)控點(diǎn)實(shí)

時(shí)抓拍的車輛軌跡數(shù)據(jù)進(jìn)行及時(shí)匯聚、管理和分析服務(wù)。目前，全市已經(jīng)建成江

寧、浦口、六合、高淳、漂水及市政府信息中心等六個(gè)數(shù)據(jù)分中心數(shù)據(jù)庫。經(jīng)初

步測(cè)算，僅集中存儲(chǔ)全市XX文字?jǐn)?shù)據(jù)、圖片的位置索引，以及車牌小圖片片段

數(shù)據(jù)（圖像數(shù)據(jù)在需要時(shí)可以按照索引自動(dòng)到相應(yīng)的分中心圖片系統(tǒng)進(jìn)行分布調(diào)

用），按照數(shù)據(jù)存儲(chǔ)3年要求，總記錄數(shù)近200億條，原始數(shù)據(jù)總存儲(chǔ)容量約

120TB,高峰時(shí)段每秒產(chǎn)生的數(shù)據(jù)將超過1萬條記錄（每條記錄5K數(shù)據(jù)量，包括

文字?jǐn)?shù)據(jù)、圖片索引和號(hào)牌特征圖片）。加上要為原始數(shù)據(jù)記錄創(chuàng)建查詢索引以

及保存從原始數(shù)據(jù)統(tǒng)計(jì)分析出的中間結(jié)果數(shù)據(jù)，需提供總量為150TB的原始數(shù)據(jù)

存儲(chǔ)量。

如此龐大的數(shù)據(jù)量使得現(xiàn)有的關(guān)系式數(shù)據(jù)庫已經(jīng)難以提供相應(yīng)的數(shù)據(jù)存儲(chǔ)

管理和處理能力。為此，需要考慮基于云平臺(tái)的分布式海量數(shù)據(jù)存儲(chǔ)和處理解決

方案。

本項(xiàng)目的基本建設(shè)要求是：在市局集中建設(shè)一套適應(yīng)海量數(shù)據(jù)處理的高性能

道路圖像監(jiān)控?cái)?shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，該平臺(tái)將從現(xiàn)有的六個(gè)數(shù)據(jù)分中心獲取和匯

聚道路監(jiān)控?cái)?shù)據(jù)，以便提供集中式的道路監(jiān)控?cái)?shù)據(jù)管理功能，為開展各種車輛監(jiān)

控?cái)?shù)據(jù)應(yīng)用提供海量數(shù)據(jù)存儲(chǔ)管理和計(jì)算服務(wù)能力。

系統(tǒng)的基本功能和性能如下：

海量歷史交通監(jiān)控?cái)?shù)據(jù)匯總

能夠?qū)Π賰|級(jí)的海量歷史交通監(jiān)控?cái)?shù)據(jù)進(jìn)行匯總處理。

海量原始交通監(jiān)控?cái)?shù)據(jù)上報(bào)

能夠?qū)Π賰|級(jí)的海量上報(bào)交通監(jiān)控?cái)?shù)據(jù)進(jìn)行上報(bào)處理。

海量原始數(shù)據(jù)實(shí)時(shí)入庫、生成索引

能夠?qū)α髁砍^10000條/m的全量原始交通監(jiān)控?cái)?shù)據(jù)流進(jìn)行實(shí)時(shí)處理。

海量數(shù)據(jù)存儲(chǔ)、計(jì)算

能夠存儲(chǔ)百億級(jí)別的數(shù)據(jù)，并完成各種復(fù)雜業(yè)務(wù)應(yīng)用計(jì)算。

百億級(jí)數(shù)據(jù)秒級(jí)查詢能力

高效索引算法，智能化調(diào)度任務(wù)系統(tǒng)，滿足秒級(jí)查詢速度。

秒級(jí)實(shí)時(shí)業(yè)務(wù)響應(yīng)

高效實(shí)時(shí)數(shù)據(jù)通道，對(duì)于像實(shí)時(shí)監(jiān)控、告警等實(shí)時(shí)業(yè)務(wù),提供秒級(jí)響應(yīng)時(shí)間。

1.1.2主要建設(shè)目標(biāo)和建設(shè)原則

建設(shè)目標(biāo)：利用大量普通的性價(jià)比高的商用服務(wù)器，構(gòu)建一個(gè)高性能的云計(jì)

算平臺(tái)，對(duì)峰值流量超過10000條/秒、5年高達(dá)400TB的總數(shù)據(jù)量進(jìn)行存儲(chǔ)處

理，以便為實(shí)時(shí)監(jiān)控、報(bào)警監(jiān)控、車輛軌跡回放、電子地圖、報(bào)警管理、布控管

理、設(shè)備管理、事件檢測(cè)報(bào)警、流量統(tǒng)計(jì)和分析等多種應(yīng)用業(yè)務(wù)提供海量數(shù)據(jù)存

儲(chǔ)管理支撐和計(jì)算服務(wù)能力。

建設(shè)原則：

（1）前瞻性技術(shù)與實(shí)際應(yīng)用環(huán)境相結(jié)合

在技術(shù)方案上，本系統(tǒng)必須充分利用目前先進(jìn)的云計(jì)算和海量數(shù)據(jù)處理相關(guān)

技術(shù)，保證系統(tǒng)技術(shù)的前瞻性和先進(jìn)性。

（2）高可靠性、高擴(kuò)展性、高可獲得性、實(shí)時(shí)性和高性價(jià)比的云平臺(tái)

與此同時(shí)，通過利用業(yè)界成熟的云計(jì)算和海量數(shù)據(jù)并行計(jì)算平臺(tái)和技術(shù)，提

供切實(shí)可行的海量數(shù)據(jù)存儲(chǔ)處理解決方案，并保證所設(shè)計(jì)實(shí)現(xiàn)的系統(tǒng)具有高可靠

性、高擴(kuò)展性和高可獲得性；同時(shí)，通過云平臺(tái)的海量數(shù)據(jù)并行處理，保證數(shù)據(jù)

查詢響應(yīng)的實(shí)時(shí)性；此外，系統(tǒng)將利用比傳統(tǒng)方案更為低廉的價(jià)格，提供更高的

處理能力，達(dá)到較之傳統(tǒng)方案至少一個(gè)數(shù)量級(jí)的性價(jià)比提升。

（3）遵循公安320工程相關(guān)標(biāo)準(zhǔn)規(guī)范

在項(xiàng)目設(shè)計(jì)和工程實(shí)施上，本項(xiàng)目所有的數(shù)據(jù)格式、接口等要遵循公安320

工程相關(guān)標(biāo)準(zhǔn)規(guī)范。

1.1.3系統(tǒng)的主要技術(shù)特點(diǎn)

實(shí)時(shí)性：系統(tǒng)在分布式海量數(shù)據(jù)存儲(chǔ)和并行處理能力的支撐下，需要實(shí)時(shí)完

成交管數(shù)據(jù)獲取、入庫、以及數(shù)據(jù)匯總、上報(bào)、查詢、分析計(jì)算和管理等工作,

保證海量數(shù)據(jù)的獲取和入庫不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類基本的數(shù)據(jù)查詢操作基

本都在秒級(jí)完成，大規(guī)?；驈?fù)雜的分析計(jì)算在分鐘級(jí)完成，實(shí)現(xiàn)傳統(tǒng)數(shù)據(jù)庫所難

以達(dá)到的處理能力和處理效率。

高可靠性：系統(tǒng)應(yīng)采用目前業(yè)界成熟可靠的海量數(shù)據(jù)處理平臺(tái)和技術(shù)，需要

考慮數(shù)據(jù)存儲(chǔ)和計(jì)算時(shí)的系統(tǒng)可靠性，避免系統(tǒng)主節(jié)點(diǎn)的單點(diǎn)失效，并具有存儲(chǔ)

和計(jì)算節(jié)點(diǎn)失效檢測(cè)和恢復(fù)的容錯(cuò)處理能力，保證不出現(xiàn)系統(tǒng)癱瘓和數(shù)據(jù)出錯(cuò)現(xiàn)

象。

高可擴(kuò)展性：系統(tǒng)構(gòu)架和方案必須具有高可擴(kuò)展性，保證在將來應(yīng)用系統(tǒng)規(guī)

模擴(kuò)大時(shí)能根據(jù)需要隨時(shí)增加節(jié)點(diǎn)以擴(kuò)大系統(tǒng)的數(shù)據(jù)存儲(chǔ)能力和計(jì)算能力；并能

在不停機(jī)的情況下增加節(jié)點(diǎn)，以保證應(yīng)用服務(wù)的連續(xù)性。

高可獲得性：項(xiàng)目使用市場(chǎng)上標(biāo)準(zhǔn)的普通商用服務(wù)器，采用標(biāo)準(zhǔn)的網(wǎng)絡(luò)構(gòu)建

云計(jì)算平臺(tái)，云計(jì)算平臺(tái)通用性強(qiáng)，且任何節(jié)點(diǎn)損壞都易于更換和維護(hù)；云計(jì)算

系統(tǒng)軟件盡可能采用業(yè)界廣為使用的開源系統(tǒng)，既節(jié)省軟件費(fèi)用，也易于獲得。

高性價(jià)比：替代使用價(jià)格昂貴的高端專用存儲(chǔ)和計(jì)算設(shè)備，采用價(jià)格不高的

普通服務(wù)器，大大節(jié)省系統(tǒng)的構(gòu)建和維護(hù)成本，同時(shí)通過云計(jì)算平臺(tái)的并行化計(jì)

算能力可提供比傳統(tǒng)方案更高的計(jì)算性能，獲得很高的性價(jià)比。

全業(yè)務(wù)支持：海量數(shù)據(jù)分布存儲(chǔ)，少量數(shù)據(jù)關(guān)系復(fù)雜或?qū)崟r(shí)性要求很高的數(shù)

據(jù)存放于關(guān)系數(shù)據(jù)庫，采用這種分布式海量數(shù)據(jù)存儲(chǔ)為主、關(guān)系數(shù)據(jù)庫為輔的混

合式數(shù)據(jù)存儲(chǔ)模式，可存儲(chǔ)各種不同規(guī)模和不同媒體和類型的數(shù)據(jù)，滿足各種不

同的數(shù)據(jù)處理和應(yīng)用業(yè)務(wù)需求。

1.1.4系統(tǒng)的主要性能指標(biāo)

數(shù)據(jù)存儲(chǔ)和處理指標(biāo)

3年的原始道路監(jiān)控?cái)?shù)據(jù)量為300TB,加上要為原始數(shù)據(jù)記錄創(chuàng)建查詢索引

以及保存從原始數(shù)據(jù)統(tǒng)計(jì)分析出的中間結(jié)果數(shù)據(jù)，需提供總量為250TB的數(shù)據(jù)存

儲(chǔ)量；為了保證數(shù)據(jù)存儲(chǔ)的可靠性防止數(shù)據(jù)丟失，系統(tǒng)要求采用3倍副本方式保

存數(shù)據(jù)，因此，云平臺(tái)需要提供250x3=750TB的總存儲(chǔ)量。同時(shí)，系統(tǒng)必須能

實(shí)時(shí)接收和處理峰值流量高達(dá)1萬條/秒的實(shí)時(shí)入庫數(shù)據(jù)，包括實(shí)時(shí)接收保存和

創(chuàng)建索引處理。

硬件系統(tǒng)指標(biāo)

為了保證計(jì)算集群的存儲(chǔ)和計(jì)算性能，每個(gè)服務(wù)器節(jié)點(diǎn)配置為不低于2顆

Intel至強(qiáng)5645六核處理器，內(nèi)存24G,6X2T(RAID0)SAS熱插拔硬盤；而集

群計(jì)算和存儲(chǔ)主控節(jié)點(diǎn)配置為不低于2顆Intel至強(qiáng)5660六核處理器，內(nèi)存

32G,5X2T(RAID1)SAS熱插拔硬盤；關(guān)系數(shù)據(jù)庫服務(wù)器配置為不低于2顆Intel

至強(qiáng)5660六核處理器，內(nèi)存24G,3X2T(RAID1)SAS熱插拔硬盤；應(yīng)用分析服

務(wù)器和數(shù)據(jù)采集服務(wù)器配置均為不低于2顆Intel至強(qiáng)5645六核處理器，內(nèi)存

16G,應(yīng)用服務(wù)器采用600GB15000轉(zhuǎn)SAS熱插拔硬盤，數(shù)據(jù)采集服務(wù)器采用

2T(RAID1)SAS熱插拔硬盤。詳細(xì)指標(biāo)要求參見本文建設(shè)內(nèi)容部分描述。

計(jì)算響應(yīng)時(shí)間

實(shí)時(shí)入庫時(shí)延:道路監(jiān)控?cái)?shù)據(jù)從分中心獲取后入庫處理(包括創(chuàng)建查詢索引)

時(shí)的時(shí)間延遲小于5秒，并保證不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象。

查詢響應(yīng)：查詢響應(yīng)依賴于上層應(yīng)用的具體查詢分析的復(fù)雜程度、查詢時(shí)所

涉及到的時(shí)間跨度和具體數(shù)據(jù)量、及上層應(yīng)用查詢具體的設(shè)計(jì)實(shí)現(xiàn)方法。由于本

項(xiàng)目并不包括上層應(yīng)用的開發(fā)，因此，本項(xiàng)目中難以確定和評(píng)估上層應(yīng)用的查詢

響應(yīng)時(shí)間。但為了保證本項(xiàng)目所設(shè)計(jì)實(shí)現(xiàn)的系統(tǒng)能滿足實(shí)時(shí)查詢響應(yīng)能力、并制

定項(xiàng)目驗(yàn)收時(shí)的有效評(píng)估標(biāo)準(zhǔn)，本項(xiàng)目要求對(duì)最常用的指定車輛牌號(hào)在不同時(shí)間

段的查詢能達(dá)到實(shí)時(shí)響應(yīng)。具體要求是，平均計(jì)算，對(duì)單個(gè)車輛牌號(hào)1個(gè)月內(nèi)的

軌跡查詢返回和結(jié)果讀出在1秒內(nèi)完成，6個(gè)月內(nèi)的軌跡查詢返回和結(jié)果讀出在

5秒內(nèi)完成，6T2個(gè)月內(nèi)的軌跡查詢返回和結(jié)果讀出在10秒內(nèi)完成(其中全部

查詢結(jié)束至第一個(gè)結(jié)果讀出應(yīng)在3秒內(nèi)完成)，而1-3年的軌跡查詢和結(jié)果返回

應(yīng)在30秒內(nèi)完成(其中全部查詢結(jié)束至第一個(gè)結(jié)果讀出應(yīng)在10秒內(nèi)完成)。

1.2系統(tǒng)總體構(gòu)架

1.2.1系統(tǒng)基本組成與構(gòu)架

“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理項(xiàng)目是一個(gè)處于交管數(shù)據(jù)采集與交管數(shù)

據(jù)監(jiān)測(cè)應(yīng)用之間的系統(tǒng)。從系統(tǒng)基本組成與構(gòu)架上來看，該共享平臺(tái)由7個(gè)主要

部分組成：歷史數(shù)據(jù)匯聚系統(tǒng)、實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)、數(shù)據(jù)存儲(chǔ)管理系統(tǒng)、數(shù)據(jù)上

報(bào)處理系統(tǒng)，數(shù)據(jù)應(yīng)用接口、數(shù)據(jù)查詢導(dǎo)出系統(tǒng)以及系統(tǒng)管理。

在基礎(chǔ)設(shè)施構(gòu)架上，在市局集中建設(shè)一套適應(yīng)海量數(shù)據(jù)處理的高性能道路圖

像監(jiān)控?cái)?shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，作為“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理項(xiàng)目的基

礎(chǔ)設(shè)施和支撐平臺(tái)。

圖表1“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)的基本組成與構(gòu)架

1.2.2系統(tǒng)功能構(gòu)架

“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)需要提供的7大數(shù)據(jù)處理和服務(wù)

功能描述如下。

(1)歷史數(shù)據(jù)匯聚

歷史數(shù)據(jù)匯總處理主要負(fù)責(zé)把XX市6個(gè)分散的數(shù)據(jù)中心的歷史數(shù)據(jù)，進(jìn)行

讀取解析處理，并將處理后的歷史數(shù)據(jù)匯入一個(gè)統(tǒng)一的數(shù)據(jù)中心。

在內(nèi)部處理模塊上，歷史數(shù)據(jù)匯總系統(tǒng)主要包括三個(gè)模塊：讀取模塊、解析

模塊和匯總模塊。讀取模塊主要負(fù)責(zé)各個(gè)數(shù)據(jù)中心歷史數(shù)據(jù)的讀取處理，解析模

塊主要負(fù)責(zé)把讀取到的歷史數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而匯總模塊主要負(fù)責(zé)把

解析好的歷史數(shù)據(jù)上傳到統(tǒng)一的數(shù)據(jù)中心。

在系統(tǒng)構(gòu)架上，為了滿足6個(gè)分散的數(shù)據(jù)中心處理需要，需要在每一個(gè)數(shù)據(jù)

中心處安裝一個(gè)數(shù)據(jù)匯總程序。

接口調(diào)用說明：

鑒于歷史數(shù)據(jù)是存儲(chǔ)在Oracle關(guān)系數(shù)據(jù)庫中，在這里數(shù)據(jù)匯總程序的讀取

模塊將通過結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)訪問接口（如JDBC）訪問和讀取其中的歷史數(shù)據(jù)。匯

總模塊則會(huì)利用“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)的云存儲(chǔ)系統(tǒng)提供的

數(shù)據(jù)添加接口把解析好的歷史數(shù)據(jù)添加到云存儲(chǔ)系統(tǒng)中。（這里的數(shù)據(jù)添加接口

以jar包的方式集成到數(shù)據(jù)匯總程序中。調(diào)用十分方便、簡(jiǎn)潔，調(diào)用方法類似于

一般的應(yīng)用程序利用JDBC向傳統(tǒng)的關(guān)系數(shù)據(jù)庫中添加數(shù)據(jù)。）

接口安全性說明：

數(shù)據(jù)添加接口把從Oracle數(shù)據(jù)庫中讀取到的歷史數(shù)據(jù)，利用網(wǎng)絡(luò)，傳輸給

云存儲(chǔ)系統(tǒng)，由云存儲(chǔ)系統(tǒng)完成歷史數(shù)據(jù)的入庫操作。當(dāng)整個(gè)流程都準(zhǔn)確無誤的

完成后，云存儲(chǔ)系統(tǒng)會(huì)返還一個(gè)“成功”標(biāo)記給數(shù)據(jù)匯總系統(tǒng)。當(dāng)數(shù)據(jù)匯總系統(tǒng)

明確的得到了“成功”標(biāo)記后，記錄下這條已經(jīng)完成匯總操作的數(shù)據(jù)，然后進(jìn)行

下一條歷史數(shù)據(jù)的匯總操作。否則會(huì)判斷本次匯總操作失敗，并進(jìn)行失敗處理（如:

判定本次匯總操作失敗的原因、記錄到日志中、進(jìn)行再次匯總操作等）。這樣可

以最大限度上，保證在各種異常情況下（如：網(wǎng)絡(luò)阻塞）數(shù)據(jù)匯總的安全性。

是否有必要使用消息中間件（如IBMMQ）：

MQ負(fù)責(zé)在兩個(gè)系統(tǒng)之間傳遞消息：這兩個(gè)系統(tǒng)可以是異構(gòu)的，處于不同硬

件、不同操作系統(tǒng)、用不同語言編寫，只需要簡(jiǎn)單的調(diào)用幾個(gè)MQ的API,就可以

互相通訊，你不必考慮底層系統(tǒng)和網(wǎng)絡(luò)的復(fù)雜性。

而“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)的數(shù)據(jù)匯總系統(tǒng)和云存儲(chǔ)系統(tǒng)

并不是一般的兩個(gè)相互孤立的系統(tǒng)，它們之間的關(guān)系很類似于應(yīng)用程序?qū)τ趥鹘y(tǒng)

數(shù)據(jù)庫的關(guān)系。消息中間件在這么并沒有相應(yīng)的應(yīng)用場(chǎng)景。

但MQ的功能僅限于消息隊(duì)列:至于應(yīng)用A發(fā)給應(yīng)用B的消息格式是怎樣的、

能不能被應(yīng)用B解析，MQ管不了，他只是盡力將消息發(fā)到目的地（MQ能夠應(yīng)付

多種異常情況，例如網(wǎng)絡(luò)阻塞、臨時(shí)中斷等等）。

“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)的數(shù)據(jù)匯總系統(tǒng)已經(jīng)能夠?qū)Χ喾N

異常情況進(jìn)行處理。

故從分析來看，數(shù)據(jù)匯總系統(tǒng)和云存儲(chǔ)系統(tǒng)之間不需要再加入一個(gè)中間件來

保證數(shù)據(jù)傳輸?shù)陌踩浴?/p>

（2）實(shí)時(shí)數(shù)據(jù)入庫

實(shí)時(shí)數(shù)據(jù)入庫主要負(fù)責(zé)從分中心所采集的全市每個(gè)卡口產(chǎn)生的實(shí)時(shí)數(shù)據(jù)同

步地傳送給本系統(tǒng)進(jìn)行實(shí)時(shí)入庫處理（需要通過網(wǎng)閘等安全隔離交換設(shè)備）。

在內(nèi)部處理模塊上，實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)主要包括三個(gè)模塊：接受模塊、解析

模塊和數(shù)據(jù)入庫模塊。接受模塊主要負(fù)責(zé)接收每個(gè)卡口產(chǎn)生的數(shù)據(jù)流，解析模塊

主要負(fù)責(zé)把接受到的數(shù)據(jù)流解析成合理的數(shù)據(jù)格式，而數(shù)據(jù)入庫模塊負(fù)責(zé)把解析

好的數(shù)據(jù)加入到市數(shù)據(jù)中心。

在系統(tǒng)架構(gòu)上，為了使每個(gè)卡口的數(shù)據(jù)能實(shí)時(shí)入庫市數(shù)據(jù)中心，需要在每一

個(gè)負(fù)責(zé)接受卡口數(shù)據(jù)的工控機(jī)上安裝一個(gè)實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)。

接口調(diào)用及安全性說明：

同數(shù)據(jù)匯總系統(tǒng)，區(qū)別在于：數(shù)據(jù)匯總的數(shù)據(jù)來源于關(guān)系數(shù)據(jù)庫，而實(shí)時(shí)數(shù)

據(jù)上報(bào)系統(tǒng)的數(shù)據(jù)來源于接受卡口數(shù)據(jù)的工控機(jī)。

（3）數(shù)據(jù)存儲(chǔ)管理

原始交管數(shù)據(jù)，將全部存儲(chǔ)在“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)的

云存儲(chǔ)資源中。資源池提供兩種存儲(chǔ)資源：一種是結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)資源，用于存

儲(chǔ)少量的接口中間數(shù)據(jù)；另一種是分布式文件系統(tǒng)，用于存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)

據(jù)。為了滿足和適應(yīng)數(shù)據(jù)量、數(shù)據(jù)特征和查詢處理的不同需求，將采用一種混搭

式的數(shù)據(jù)存儲(chǔ)方案。

對(duì)容量巨大、常規(guī)數(shù)據(jù)庫難以處理的數(shù)據(jù)，如交管數(shù)據(jù)，將主要存儲(chǔ)在基于

分布式云存儲(chǔ)的分布式文件系統(tǒng)中；這些數(shù)據(jù)將通過分布式云存儲(chǔ)接口進(jìn)行訪問

和計(jì)算處理。而對(duì)于部分?jǐn)?shù)據(jù)量不大、且查詢響應(yīng)性能要求很高的數(shù)據(jù)，如用于

報(bào)警比對(duì)的中間數(shù)據(jù)，將被存放在關(guān)系數(shù)據(jù)庫中。關(guān)系數(shù)據(jù)庫將采用Oracle10g

版本。這些數(shù)據(jù)將通過結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)訪問接口(如JDBC)進(jìn)行訪問。

在存儲(chǔ)構(gòu)架上，若以存儲(chǔ)3年的原始交管數(shù)據(jù)、報(bào)警信息數(shù)據(jù)和針對(duì)快速查

詢建立的索引數(shù)據(jù)，在10000條/s的交管數(shù)據(jù)流量下，將大約需要512TB的存

儲(chǔ)容量，按照每個(gè)存儲(chǔ)節(jié)點(diǎn)16TB的存儲(chǔ)容量，加上少量的冗余節(jié)點(diǎn)，將需要32

個(gè)存儲(chǔ)節(jié)點(diǎn)。

(4)數(shù)據(jù)上報(bào)處理

數(shù)據(jù)上報(bào)處理負(fù)責(zé)把市局?jǐn)?shù)據(jù)中心的數(shù)據(jù)，按照一定的匯總格式需求(按時(shí)

間段或一定的數(shù)據(jù)量)，上報(bào)給省廳數(shù)據(jù)中心。

在內(nèi)部處理模塊上，上報(bào)數(shù)據(jù)上報(bào)系統(tǒng)主要包括三個(gè)模塊：讀取模塊、解析

模塊和上報(bào)模塊。讀取模塊主要負(fù)責(zé)市數(shù)據(jù)中心需要上報(bào)數(shù)據(jù)的讀取處理，解析

模塊主要負(fù)責(zé)把讀取到的數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而上報(bào)模塊主要負(fù)責(zé)把解

析好的數(shù)據(jù)上傳到的省廳數(shù)據(jù)中心。

在系統(tǒng)構(gòu)架上，為了滿足市數(shù)據(jù)中心處理需要，需要在市數(shù)據(jù)中心處安裝一

個(gè)數(shù)據(jù)上報(bào)程序。而省廳數(shù)據(jù)中心需要提供數(shù)據(jù)上報(bào)的接口。

(5)數(shù)據(jù)應(yīng)用接口

數(shù)據(jù)應(yīng)用接口主要提供包括交管信息查詢、報(bào)警信息查詢、事件檢測(cè)報(bào)警、

流量統(tǒng)計(jì)和分析等功能。

車輛軌跡查詢處理時(shí)，由于交管數(shù)據(jù)量巨大，難以存儲(chǔ)在常規(guī)的關(guān)系數(shù)據(jù)庫

中，而如果直接存儲(chǔ)在分布式云存儲(chǔ)或數(shù)據(jù)立方中又難以保證查詢效率。為此,

需要考慮對(duì)交管數(shù)據(jù)進(jìn)行索引處理，并將索引數(shù)據(jù)存儲(chǔ)在分布式云存儲(chǔ)或數(shù)據(jù)立

方中。為了建立交管數(shù)據(jù)索引，需要在交管數(shù)據(jù)傳送到云存儲(chǔ)系統(tǒng)中時(shí)，進(jìn)行實(shí)

時(shí)的索引處理。但由于交管數(shù)據(jù)流量巨大，需要調(diào)度使用多臺(tái)服務(wù)器節(jié)點(diǎn)進(jìn)行并

行處理。止匕外，用戶從客戶端發(fā)起以上各種數(shù)據(jù)查詢分析任務(wù)時(shí)，也會(huì)產(chǎn)生大量

并發(fā)的查詢?nèi)蝿?wù)。以上各種查詢分析計(jì)算任務(wù)的處理將需要考慮在計(jì)算集群上進(jìn)

行并行化任務(wù)調(diào)度和負(fù)載均衡處理。這些并行計(jì)算任務(wù)及負(fù)載均衡處理將使用

Zookeeper基于計(jì)算集群完成統(tǒng)一的控制和實(shí)現(xiàn)。

在系統(tǒng)構(gòu)架上，以上查詢分析計(jì)算任務(wù)將需要使用一個(gè)大規(guī)模數(shù)據(jù)并行計(jì)算

集群。在編程實(shí)現(xiàn)上，存儲(chǔ)在數(shù)據(jù)庫中的數(shù)據(jù)將使用常規(guī)的數(shù)據(jù)庫查詢語言實(shí)現(xiàn);

對(duì)存儲(chǔ)在分布式文件系統(tǒng)中的交管數(shù)據(jù)，針對(duì)不同的處理要求，在數(shù)據(jù)量極大而

處理實(shí)時(shí)性要求不是特別高的情況下，為了方便對(duì)海量數(shù)據(jù)的并行處理，將采用

分布式云處理編程方式實(shí)現(xiàn)；而對(duì)于那些實(shí)時(shí)性要求很高的查詢分析計(jì)算，由于

分布式云處理啟動(dòng)作業(yè)需要較長(zhǎng)的時(shí)間開銷，將不適合采用分布式云處理編程實(shí)

現(xiàn)，而需要用非分布式云處理編程方式實(shí)現(xiàn)。

接口調(diào)用說明：

這里的各類查詢分析應(yīng)用的接口，都會(huì)以Java方法的形式封裝在jar包里，

提供給其他應(yīng)用系統(tǒng)。其他應(yīng)用系統(tǒng)通過調(diào)用jar包里的對(duì)應(yīng)的Java方法，便

可以獲取想要的數(shù)據(jù)(具體的使用類似于利用JDBC提供的Java方法從數(shù)據(jù)庫獲

取指定條件的數(shù)據(jù))。對(duì)于查詢結(jié)果數(shù)據(jù)數(shù)目過大的情況，我們采用分頁查詢的

方法，以保證能在很短的時(shí)間內(nèi)響應(yīng)用戶的請(qǐng)求。

(6)數(shù)據(jù)查詢導(dǎo)出

在實(shí)際使用中，可能用戶會(huì)對(duì)某一時(shí)間段或者類型的數(shù)據(jù)特別關(guān)心，就可以

通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。

包括數(shù)據(jù)查詢和數(shù)據(jù)導(dǎo)出兩大部分。數(shù)據(jù)查詢讓用戶以自定義的條件查詢出

數(shù)據(jù)，而數(shù)據(jù)導(dǎo)出就是將這些數(shù)據(jù)以合理的格式導(dǎo)出到數(shù)據(jù)中心以外。

(7)系統(tǒng)管理

系統(tǒng)管理主要包括“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)的配置管理、

系統(tǒng)安全管理、系統(tǒng)用戶管理，以及數(shù)據(jù)備份、系統(tǒng)故障監(jiān)測(cè)復(fù)等管理維護(hù)功能。

配置管理是其中最主要的部分，是系統(tǒng)各個(gè)模塊正常運(yùn)行的基礎(chǔ)。系統(tǒng)應(yīng)能

夠?qū)W(wǎng)絡(luò)地址、設(shè)備地址等進(jìn)行配置；能夠?qū)τ脩糇鰴?quán)限管理，以防止數(shù)據(jù)外泄；

并能及時(shí)有效的對(duì)數(shù)據(jù)進(jìn)行備份和故障檢測(cè)等工作，防止數(shù)據(jù)的意外丟失。系統(tǒng)

應(yīng)支持樹圖、數(shù)據(jù)表格、網(wǎng)絡(luò)拓?fù)鋱D形式展示配置數(shù)據(jù)。

1.2.3系統(tǒng)總體構(gòu)架與功能模塊

基于以上基本的系統(tǒng)組成和功能構(gòu)架，系統(tǒng)的詳細(xì)總體構(gòu)架和功能模塊設(shè)計(jì)

如圖所示。

客

戶盛

實(shí)時(shí)跟查詢網(wǎng)絡(luò)管

端

蹤界面界面理界面

實(shí)時(shí)報(bào)警交管數(shù)據(jù)煙攵電t

交

管Web服務(wù)程序拓?fù)涔芾?/p>

數(shù)并行查詢?nèi)蝿?wù)分發(fā)

告警預(yù)警

據(jù)

交管數(shù)據(jù)車輛軌跡軌跡查詢多?約v管理

處分析對(duì)比查詢［查詢］車輛

理網(wǎng)絡(luò)指標(biāo)

■用戶管理

基于zookeeper索引、計(jì)算,查詢并行

軟監(jiān)視

.計(jì)算任務(wù)負(fù)栽均衡調(diào)度與單點(diǎn)容錯(cuò)控制

件

■其他計(jì)算［流量統(tǒng)計(jì)I查器引］自系統(tǒng)其他系統(tǒng)

層網(wǎng)管管理

數(shù)

據(jù)

層

系

數(shù)據(jù)庫訪問接口HDFS訪問接口HBase接口Hadoop編程接口

統(tǒng)

軟修動(dòng)云存儲(chǔ)系統(tǒng)綜合分析云計(jì)尊軟件平臺(tái)

件

MapZooHApache.

層H8ase

ReduceKeeper

硬

件??

平

接n與骨理腰務(wù)器

臺(tái)

層

圖表2“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)總體構(gòu)架與功能模塊圖

上圖中，自底向上分為五個(gè)層面。最下層是硬件平臺(tái)層，將使用XX市公安

局云計(jì)算中心所提供的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。從系統(tǒng)處理系統(tǒng)的角度看，這一

層主要包括云存儲(chǔ)計(jì)算集群，此外還包括接口和管理服務(wù)器、包括用于實(shí)現(xiàn)客戶

端訪問的Web服務(wù)器。

第二層是系統(tǒng)軟件層，包括移動(dòng)的云存儲(chǔ)系統(tǒng)軟件，綜合分析云計(jì)算軟件平

臺(tái)，以及Web服務(wù)軟件等。云存儲(chǔ)系統(tǒng)將提供基于Oracle10g關(guān)系數(shù)據(jù)庫的結(jié)

構(gòu)化數(shù)據(jù)存儲(chǔ)訪問能力，以及基于分布式云存儲(chǔ)的分布式文件系統(tǒng)存儲(chǔ)訪問能力,

分別提供基于JDBC/SQL的數(shù)據(jù)庫訪問接口以及分布式云存儲(chǔ)訪問接口。綜合分

析云計(jì)算軟件平臺(tái)可提供對(duì)分布式云存儲(chǔ)、數(shù)據(jù)立方數(shù)據(jù)的訪問，并提供分布式

云處理編程模型和接口、以及非分布式云處理模型的編程接口，以及用于實(shí)現(xiàn)并

行計(jì)算任務(wù)負(fù)載均衡和服務(wù)器單點(diǎn)失效恢復(fù)的Zookeeper。

第三層是“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)中的數(shù)據(jù)層，包括原始

交管數(shù)據(jù)、索引數(shù)據(jù)、用于分析的中間數(shù)據(jù)、以及系統(tǒng)配置數(shù)據(jù)等。其中，原始

交管數(shù)據(jù)、索引數(shù)據(jù)等海量數(shù)據(jù)將存儲(chǔ)在XX公安局云存儲(chǔ)系統(tǒng)的分布式云存儲(chǔ)

分布式文件系統(tǒng)中，用分布式云存儲(chǔ)接口進(jìn)行存儲(chǔ)和訪問處理；而其它用于分析

的中間數(shù)據(jù)等數(shù)據(jù)量不大、但處理響應(yīng)性能要求較高的數(shù)據(jù)，將存儲(chǔ)在云存儲(chǔ)系

統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)中，用JDBC/SQL進(jìn)行存儲(chǔ)和訪問處理。

第四層是交管數(shù)據(jù)處理軟件層，主要完成“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處

理云平臺(tái)所需要提供的諸多功能，包括實(shí)時(shí)監(jiān)控、報(bào)警監(jiān)控、車輛軌跡查詢與回

放、電子地圖、報(bào)警管理、布控管理、設(shè)備管理、事件檢測(cè)報(bào)警、流量統(tǒng)計(jì)和分

析、系統(tǒng)管理等功能。

最上層是客戶端用戶界面軟件，主要供用戶查詢和監(jiān)視相關(guān)的數(shù)據(jù)信息，除

了事件檢測(cè)報(bào)警不需要用戶界面外，其它部分都需要實(shí)現(xiàn)對(duì)應(yīng)的用戶界面。

1.3系統(tǒng)基本功能與處理方案

1.3.1交管數(shù)據(jù)入庫功能與處理方案

交管數(shù)據(jù)入庫系統(tǒng)總架構(gòu)如圖：

應(yīng)用層

應(yīng)用層其他增值應(yīng)用

軟件架構(gòu)層z\

存儲(chǔ)與管理子系統(tǒng)

警數(shù)據(jù)查詢模塊

分布式存儲(chǔ)系統(tǒng)

報(bào)警信息存儲(chǔ)模塊

交管數(shù)據(jù)查詢模塊

拓?fù)涔芾硭饕鎯?chǔ)模塊

實(shí)時(shí)報(bào)警模塊

交管數(shù)據(jù)存儲(chǔ)模塊

實(shí)時(shí)監(jiān)控模塊

自實(shí)時(shí)報(bào)警分析

建立索引

數(shù)據(jù)推送數(shù)據(jù)推送數(shù)據(jù)推送

交管數(shù)據(jù)解析交管數(shù)據(jù)解析

負(fù)載均衡模塊

交管數(shù)據(jù)入庫

圖表3“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)架構(gòu)

“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)通過實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)接入

采集層的交管數(shù)據(jù)，數(shù)據(jù)分配進(jìn)入負(fù)載均衡機(jī)，負(fù)載均衡機(jī)根據(jù)集群各節(jié)點(diǎn)負(fù)載

情況，動(dòng)態(tài)分配交管數(shù)據(jù)到各存儲(chǔ)處理機(jī)，進(jìn)行報(bào)警檢測(cè)、建立索引等處理，

同時(shí)將交管數(shù)據(jù)存入分步式存儲(chǔ)系統(tǒng)。

負(fù)載均衡機(jī)功能

監(jiān)控所集群機(jī)器負(fù)載情況，動(dòng)態(tài)分配交管數(shù)據(jù)。監(jiān)控所有集群機(jī)器，如果發(fā)

現(xiàn)問題，那么就把分配給這臺(tái)機(jī)器的交管數(shù)據(jù)重新分配到其他機(jī)器，去除單點(diǎn)故

障，提高系統(tǒng)可靠性。

負(fù)載均衡機(jī)采用Paxos算法解決一致性問題，集群在某一時(shí)刻只有一個(gè)

Master負(fù)責(zé)均衡能力，當(dāng)Master宕機(jī)后，其他節(jié)點(diǎn)重新選舉Master。保證負(fù)載

均衡機(jī)不會(huì)存在單點(diǎn)問題，集群機(jī)器一致性。

實(shí)時(shí)業(yè)務(wù)

對(duì)于實(shí)時(shí)性要求高的業(yè)務(wù)應(yīng)用，如：實(shí)時(shí)監(jiān)控、實(shí)時(shí)報(bào)警，走實(shí)時(shí)專道。

1.3.2數(shù)據(jù)存儲(chǔ)功能與處理方案

數(shù)據(jù)存儲(chǔ)處理總架如圖:

應(yīng)用層

處理層

交管信息查詢接口系統(tǒng)管理接口

并行計(jì)算

交管信息查詢模塊實(shí)時(shí)報(bào)警分析

報(bào)警信息查詢模塊流量統(tǒng)計(jì)

建立索引模塊

主控

分類存帳效據(jù)索引數(shù)據(jù)系綾配置信息

鍍塊

交管數(shù)據(jù)交管數(shù)據(jù)索引黑名單管理

交管數(shù)據(jù)車主信息

報(bào)警數(shù)據(jù)報(bào)警數(shù)據(jù)索引

布控信息

基礎(chǔ)配置信息

平臺(tái)層

物理層

DataNodeNameNode

圖表4數(shù)據(jù)存儲(chǔ)處理架構(gòu)

數(shù)據(jù)存儲(chǔ)系統(tǒng)提供如下功能:

交管數(shù)據(jù)處理：接收來自數(shù)據(jù)匯總和數(shù)據(jù)入庫系統(tǒng)的交管數(shù)據(jù)，索引模塊

實(shí)時(shí)生成索引，以提高查詢速度。生成的索引存儲(chǔ)到分布式云存儲(chǔ)中，以供查詢

交管數(shù)據(jù)使用。

專題業(yè)務(wù)分析，通過分布式云處理并行計(jì)算，同期提取業(yè)務(wù)數(shù)據(jù)，將結(jié)果分

存兩路，一路存入數(shù)據(jù)立方或日志詳單存儲(chǔ)，一路存入關(guān)系型數(shù)據(jù)庫。

報(bào)警數(shù)據(jù)處理

“3.20”道路圖像監(jiān)控?cái)?shù)據(jù)匯聚處理云平臺(tái)對(duì)接收到的實(shí)時(shí)交管數(shù)據(jù)進(jìn)行計(jì)

算，以判斷這輛車有沒有符合報(bào)警條件。如果符合，會(huì)對(duì)報(bào)警信息入庫，并同時(shí)

通過對(duì)外實(shí)時(shí)報(bào)警的接口，將報(bào)警信息迅速展示到用戶界面上。

1.3.3查詢分析功能與處理方案

交管數(shù)據(jù)查詢構(gòu)架如圖:

圖表5交管數(shù)據(jù)接入

當(dāng)客戶發(fā)起請(qǐng)求后，客戶端把請(qǐng)求發(fā)向查詢接口服務(wù)器，查詢接口服務(wù)器

解析查詢請(qǐng)求，后向Master任務(wù)調(diào)度機(jī)發(fā)送查詢?nèi)蝿?wù)執(zhí)行命令；Master回應(yīng)執(zhí)

行命令節(jié)點(diǎn)信息，查詢服務(wù)器根據(jù)節(jié)點(diǎn)信息將查詢命令發(fā)向查詢計(jì)算模塊，進(jìn)行

具體查詢操作，將查詢結(jié)果返回給客戶端，呈現(xiàn)給用戶。

1.4系統(tǒng)可靠性與擴(kuò)展性

1.4.1系統(tǒng)可靠性

分布式云存儲(chǔ)可靠性概述：

分布式云存儲(chǔ)包括元數(shù)據(jù)節(jié)點(diǎn)(Namenode)和數(shù)據(jù)節(jié)點(diǎn)(Datanode),Namenode

是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的Namespace和客戶端對(duì)文件的訪問。，

Datanode在集群中一般是一個(gè)節(jié)點(diǎn)一個(gè)，Datanode是文件系統(tǒng)中真正存儲(chǔ)數(shù)據(jù)

的地方。

DataNode所在機(jī)器掛了怎么辦？

分布式云存儲(chǔ)(分布式云計(jì)算DistributedFileSystem)默認(rèn)的最基本的

存儲(chǔ)單位是64M的數(shù)據(jù)塊(block)o一個(gè)文件對(duì)應(yīng)的所有BLOCK全部按照一定

的部署策略存在于DataNode上，文件的所有block為了容錯(cuò)都會(huì)被復(fù)制(一般

為3份)，每個(gè)文件的block大小和replication因子都是可配置的。Datanode

每3分鐘向Namenode發(fā)送心跳，如果10分鐘datanode沒有向Namenode發(fā)送心

跳，則Namenode認(rèn)為該Datanode已經(jīng)dead,Namenode將取出該Datanode上對(duì)

應(yīng)的block,對(duì)其進(jìn)行復(fù)制。

Namenode掛了怎么辦？

Namenode主控服務(wù)器，為了避免主節(jié)點(diǎn)失效而影響整個(gè)系統(tǒng)正常工作，我

們采用基于分布式云存儲(chǔ)的改進(jìn)方案Avatar,同時(shí)可開啟兩個(gè)Namenode,主

Namenode和secondNamenode,實(shí)際工作的只有主Namenode0主Namenode將所

有關(guān)于文件和目錄的操作記錄都會(huì)寫入日志，并定時(shí)序列化到本地做鏡像，并且

保存到本地的NFS服務(wù)器，同時(shí)secondNamenode讀取主Namenode所在NFS服務(wù)

器的日志并對(duì)鏡像日志做Checkpoint。故障后，secondNamenode升級(jí)為Namenode,

通過鏡像數(shù)據(jù)和文件日志迅速恢復(fù)系統(tǒng)。數(shù)據(jù)服務(wù)器可通過分布式協(xié)同服務(wù)機(jī)制

得知關(guān)于主控服務(wù)器的更迭情況，然后向新的主控注冊(cè)并繼續(xù)發(fā)送心跳。

數(shù)據(jù)立方可靠性概述：

數(shù)據(jù)立方系統(tǒng)由數(shù)據(jù)立方集群和ZooKeeper集群組成。數(shù)據(jù)立方的可靠性由

其自身的ZooKeeper機(jī)制保證。數(shù)據(jù)立方包括Hregion服務(wù)器群和Master主服

務(wù)器構(gòu)成。Master負(fù)責(zé)管理Hregion。物理上，一張表是被拆成多個(gè)塊，一張完

整的表格是保存在多個(gè)Hregion上面的。

master掛掉怎么辦？

由于master只維護(hù)表和region的元數(shù)據(jù)，因此master下線短時(shí)間內(nèi)對(duì)整

個(gè)數(shù)據(jù)立方集群沒有影響，master保存的信息全是可以冗余信息（都可以從系

統(tǒng)其它地方收集到或者計(jì)算出來），因此，啟動(dòng)數(shù)據(jù)立方時(shí)可以再啟動(dòng)一個(gè)備用

的master,實(shí)際工作的只有主master,當(dāng)主master所在節(jié)點(diǎn)宕機(jī)，會(huì)自動(dòng)切換

到備用master所在節(jié)點(diǎn)。

Hregionserver掛掉怎么辦？

物理上，表格分為多個(gè)Region一張表是被拆成多個(gè)塊，一張完整的表格是

保存在多個(gè)Hregionserver上面的。并且分布在多臺(tái)Hregionserver中，物理上

所有數(shù)據(jù)存儲(chǔ)在分布式云計(jì)算的分布式云存儲(chǔ)上，由一些子表服務(wù)器來提供數(shù)據(jù)

服務(wù)，提供服務(wù)時(shí)，子表先查HMemcache,如果沒有，再查分布式云存儲(chǔ)上的

HStore,由分布式云存儲(chǔ)來保證數(shù)據(jù)的可靠性。如果丟失Region的數(shù)據(jù)所在節(jié)

點(diǎn)的datanode宕機(jī)，分布式云存儲(chǔ)會(huì)自動(dòng)映射到其他節(jié)點(diǎn)，從而保證Region數(shù)

據(jù)的可靠性。

ZooKeeper掛掉怎么辦？

Zookeeper分為2個(gè)部分：服務(wù)器端和客戶端。啟動(dòng)Zookeeper服務(wù)器集群

環(huán)境后，多個(gè)Zookeeper服務(wù)器在工作前會(huì)選舉出一個(gè)Leader,在接下來的工

作中這個(gè)被選舉出來的Leader死了,而剩下的Zookeeper服務(wù)器會(huì)知道這個(gè)

Leader死掉了，在活著的Zookeeper集群中會(huì)繼續(xù)選出一個(gè)Leader,選舉出

leader的目的是為了可以在分布式的環(huán)境中保證數(shù)據(jù)的一致性。

分布式云處理可靠性概述：

分布式云處理整體上可以分為這么幾條執(zhí)行的線索，JobTracker與

JobTracker是一個(gè)master服務(wù)，軟件啟動(dòng)之后JobTracker接收job,負(fù)責(zé)調(diào)度

job的每一個(gè)子任務(wù)task運(yùn)行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失

敗的task就重新運(yùn)行它。一般情況應(yīng)該把JobTracker部署在單獨(dú)的機(jī)器上。

TaskTracker是運(yùn)行于多個(gè)節(jié)點(diǎn)上的slaver服務(wù)。TaskTracker主動(dòng)與

JobTracker通信，接收作業(yè)，并負(fù)責(zé)直接執(zhí)行每一個(gè)任務(wù)。TaskTracker都需要

運(yùn)行在分布式云存儲(chǔ)的DataNode上，

JobTrackerO掛掉怎么辦？

在系統(tǒng)啟動(dòng)時(shí)同時(shí)啟動(dòng)備份JobTrackerl節(jié)點(diǎn)，當(dāng)JobTrackerO節(jié)點(diǎn)宕機(jī)

時(shí)，ZooKeeper會(huì)在其上啟動(dòng)JobTracker進(jìn)程替代JobTrackerO節(jié)點(diǎn)，虛擬IP

會(huì)指向此節(jié)點(diǎn)，TaskTracker會(huì)注冊(cè)到此節(jié)點(diǎn)上，未完成的分布式云處理作業(yè)會(huì)

被ZooKeeper調(diào)度到此節(jié)點(diǎn)上重新執(zhí)行。

TaskTracker掛掉怎么辦？

JobTracker是一個(gè)master服務(wù)，軟件啟動(dòng)之后JobTracker接收job,負(fù)責(zé)

調(diào)度job的每一個(gè)子任務(wù)task運(yùn)行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)

有失敗的task就重新運(yùn)行它。并且將其負(fù)責(zé)的task分配給其他TaskTracker

上。

1.4.2系統(tǒng)擴(kuò)展性

已有的分布式云計(jì)算集群規(guī)模

分布式云計(jì)算是一個(gè)相當(dāng)有彈性和擴(kuò)展性的平臺(tái)，它既可以在成千上萬的機(jī)

器上跑，也可以在很小規(guī)模上運(yùn)行。目前最大的分布式云計(jì)算集群有四千臺(tái)機(jī)器。

分布式云計(jì)算擴(kuò)展優(yōu)勢(shì)：

與其它分布式系統(tǒng)相比，使用分布式云計(jì)算的好處在于它的水平的可擴(kuò)展性,

在少量結(jié)點(diǎn)上，用分布式云計(jì)算處理有限的數(shù)據(jù)時(shí)，不能展示分布式云計(jì)算的性

能，因?yàn)殚_始分布式云計(jì)算程序相關(guān)的代價(jià)比較高，其它并行/分布程序方式，

比如MPI(MessageP