L省交通廳-大數(shù)據(jù)項目V1

CONFIDENTIALL省交通廳大數(shù)據(jù)平臺規(guī)劃議題2我們對交通大數(shù)據(jù)平臺的理解建設思路12應用規(guī)劃與部署4總體規(guī)劃3CONFIDENTIALCONFIDENTIAL智慧交通-大數(shù)據(jù)方案優(yōu)勢實時監(jiān)測、智能監(jiān)控交通信息，輕松處理海量數(shù)據(jù)應用負載適應性強，廣泛兼容，易于擴展交通信息智能處理，及時發(fā)布動態(tài)數(shù)據(jù)整合與共享高可用性、高穩(wěn)定性客戶價值海量數(shù)據(jù)處理和實時分析全網(wǎng)、全天候覆蓋動態(tài)監(jiān)控、智能導航交通擁堵偵測與預警跨地區(qū)信息共享、資源整合顯著降低軟硬件購置成本Hadoop家族大數(shù)據(jù)服務交通數(shù)據(jù)源浮動車計算分析CONFIDENTIAL出租汽車客流分析CONFIDENTIAL議題8我們對交通大數(shù)據(jù)平臺的理解建設思路12應用規(guī)劃與部署4總體規(guī)劃3文件存儲分析搜索挖掘數(shù)據(jù)高鐵交換實時數(shù)據(jù)庫監(jiān)控open-falcon以Hadoop為核心，融合其他技術平臺系統(tǒng)，實現(xiàn)超融合一棧式企業(yè)級數(shù)據(jù)分析解決方案。數(shù)據(jù)存儲，數(shù)據(jù)分析，可視化，運維監(jiān)控，機器學習，人工智能。全面的一棧式解決方案。實現(xiàn)平臺級融合，所有平臺一統(tǒng)底層數(shù)據(jù)交互格式，統(tǒng)一元數(shù)據(jù)管理，數(shù)據(jù)治理。全面擁抱開源技術棧。展現(xiàn)CONFIDENTIAL9大數(shù)據(jù)平臺具備的關鍵能力基礎的大數(shù)據(jù)平臺能力：具備管理大數(shù)據(jù)平臺主機集群的能力，能夠按照需要，動態(tài)分配資源，具備多租戶管理能力，數(shù)據(jù)安全管理能力；同時具備處理海量數(shù)據(jù)的能力，可以根據(jù)需要，對不同業(yè)務部門不同的應用，開放不同的數(shù)據(jù)。能力一大數(shù)據(jù)采集：大數(shù)據(jù)平臺容納百億級數(shù)據(jù)量，能夠從內(nèi)部和外部的各種數(shù)據(jù)源中獲取數(shù)據(jù)能力二大數(shù)據(jù)計算分析：海量數(shù)據(jù)實時和離線分析計算，秒級響應。能力三CONFIDENTIAL10關鍵能力一：基礎大數(shù)據(jù)平臺管理能力CONFIDENTIAL11大數(shù)據(jù)總體架構(數(shù)據(jù)銀行+數(shù)據(jù)高鐵)通過八大類接口實現(xiàn)大數(shù)據(jù)平臺存儲能力和計算能力的開放。訪問服務(DataBank

UI)JDBC/ODBC接口數(shù)據(jù)服務(DataBank

API)數(shù)據(jù)庫認證管理權限管理審計管理圖形化安裝部署工具商業(yè)支持報警數(shù)據(jù)庫API流日志網(wǎng)頁圖片二進制視頻管理API(安裝/監(jiān)控/配置)HBASE

HIVEHADOOP-HDFS/YARN/ZOOKEEPER

(POWER/EC)數(shù)據(jù)訪問REST-API接口數(shù)據(jù)挖掘查詢 開發(fā)框架 工作流 交互分析實時數(shù)據(jù)Spark-SQLkylinphoenixopentsdbSolrelasticsearchMLlibSpark-RRedisSPARKSTORMKAFKAcrate拼音提示

搜索統(tǒng)計數(shù)據(jù)倉庫ETL

工作流權限控制

增強函數(shù)搜索引擎

數(shù)據(jù)挖掘

安全/管理文檔解析

數(shù)據(jù)同步

深度學習

工作流實時接入

統(tǒng)計分析

可視化實時展現(xiàn)

實時預警

訪問工具開發(fā)框架管理工具交互工具

展現(xiàn)工具sqoopkettlewebserviceJAVA

kafkaNIFI結構化數(shù)據(jù)傳感器半結構化數(shù)據(jù)flume非結構化數(shù)據(jù)文檔

音頻13CONFIDENTIAL關鍵能力二：大數(shù)據(jù)采集數(shù)據(jù)來源數(shù)據(jù)存儲實時地理信息校驗數(shù)據(jù)拍照數(shù)據(jù)基礎數(shù)據(jù)定期更新緯表……分布式消息隊列Kafkasqoop/kettle/webservice/ftp/JAVA

API/nifi/restapi數(shù)據(jù)接入文本數(shù)據(jù)數(shù)據(jù)庫爬蟲數(shù)據(jù)網(wǎng)絡數(shù)據(jù)接口其它…flu

m

e大數(shù)據(jù)Cluster大數(shù)據(jù)集群大數(shù)據(jù)集群14CONFIDENTIAL關鍵能力三：大數(shù)據(jù)分析數(shù)據(jù)來源數(shù)據(jù)存儲實時地理信息校驗數(shù)據(jù)拍照數(shù)據(jù)基礎數(shù)據(jù)文件其他redis消息GPS用戶指標數(shù)據(jù)適配轉換分布式預處理消息解析消息過濾數(shù)據(jù)轉換數(shù)據(jù)落地消息中間件S

torm流處理集群消息解析策略匹配數(shù)

指據(jù)

標清

匯單

總定期更新緯表……分布式緩存定義數(shù)據(jù)關系數(shù)據(jù)規(guī)則數(shù)據(jù)實時數(shù)據(jù)外掛處理程序數(shù)據(jù)處理實時計算應用層統(tǒng)一接觸平臺/地理位置信息電子大屏汽車型號用戶特征F5代理tomcat1tomcat2tomcat3準時實時接口用戶位置用戶軌跡疲勞駕駛駕駛速度文本數(shù)據(jù)數(shù)據(jù)庫爬蟲數(shù)據(jù)網(wǎng)絡數(shù)據(jù)接口其它…sqoop/kettle/webservice/ftp/rdbms/JAVA

API數(shù)據(jù)接入大數(shù)據(jù)集群可視化Echarts議題我們對運營商大數(shù)據(jù)平臺的理解建設思路12應用規(guī)劃與部署4總體規(guī)劃315目錄12316架構規(guī)劃數(shù)據(jù)接入規(guī)劃硬件與網(wǎng)絡規(guī)劃技術架構路線的選型存在“開源”與“混搭”兩種策略策略一策略二開源模式（Hadoop）堅持開源技術，自主掌握核心技術混搭模式（Hadoop+MPP+傳統(tǒng)數(shù)據(jù)倉庫）按場景選型，混搭架構技術特征1技術特征2技術特征3技術特征XHadoopMysqlDB2/OracleMPP應用場景1應用場景2……應用場景N特點：，免費使用，擁有自主的知識產(chǎn)權，需要自建運維團隊，有一定風險；現(xiàn)有人員需要技術轉型，存在技術門檻，符合互聯(lián)網(wǎng)精神，匯集眾人智慧，正在逐步完善，Hadoop目前對于多維度數(shù)據(jù)自助分析、集市等應用場景下的表現(xiàn)遜于MPP，Hadoop適合大規(guī)模集群使用特點：1，需購買閉源的商業(yè)軟件/運維服務；2，需要根據(jù)不同應用場景搭配組合，形成優(yōu)勢互補；3，應用場景并不是一成不變且異構集群將造成額外的數(shù)據(jù)冗余和數(shù)據(jù)同步，可能成為系統(tǒng)瓶頸4，MPP在大規(guī)模集群（超過100個節(jié)點）下的可用性還有待驗證可結合各省情況進行選擇適用：自主掌握核心技術適用：對海量數(shù)據(jù)的特定分析較多CONFIDENTIAL17大數(shù)據(jù)平臺體系架構（Level

1）CONFIDENTIAL18借鑒互聯(lián)網(wǎng)架構，引入成熟開源框架，基于x86平臺構建分布式計算與存儲平臺，在保障系統(tǒng)可靠性（High-Availability）和可水平擴展(Scale-Out)基礎上，同時大幅降低系統(tǒng)總擁有成本（TCO）。技術選型及亮點采用Kafka消息隊列框架，實現(xiàn)地理位置數(shù)據(jù)采集與解析，30s；采用近似實時的flume框架對接Kafka、實現(xiàn)位置信息實時采集入庫Hadoop集群，周期性存儲數(shù)據(jù)。在1個集群上承載批處理和流處理，基于hadoop資源管理可最大效率利用資源，實現(xiàn)消峰填谷，實現(xiàn)異構集群架構。在Hadoop基礎上，引入Spark、Storm計算框架，通過Hive，mllib

，storm實現(xiàn)海量數(shù)據(jù)實時計算和歷史數(shù)據(jù)的統(tǒng)計分析；引入Redis內(nèi)存數(shù)據(jù)庫，結合Storm，實現(xiàn)基于LBS的實時動態(tài)感知用戶地理位置以及用戶統(tǒng)計行為數(shù)據(jù)，深度挖掘用戶價值。5.提供OpenAPI(JDBC/ODBC/RestAPI)，制定計算與存儲資源共享與開放標準，結合豐富架構和運維經(jīng)驗，基于Open

API構建OCI

API，為后續(xù)數(shù)據(jù)資產(chǎn)運營奠定基礎。6，基于echarts的開源框架展現(xiàn)。7，支持彈性擴展架構，可有效保護現(xiàn)有投資；同時，積極的引入nosql數(shù)據(jù)庫

hbase，利用分布式數(shù)據(jù)庫優(yōu)勢實現(xiàn)數(shù)據(jù)快速訪問，為未來技術替換縮減投資奠定基礎。技術架構設計(流計算場景，需求驅動)CONFIDENTIAL19技術架構關鍵問題解決方案數(shù)據(jù)整合關鍵技術說明1

、功能：通過大數(shù)據(jù)計算高效計算、數(shù)據(jù)挖掘、復雜事件處理、用戶行為識別4大功能模塊滿足各類業(yè)務場景批量數(shù)據(jù)運算以及實時計算的需求2、技術1）開源技術全面采用開源技術節(jié)省成本。依賴于開源社區(qū)保障系統(tǒng)安全，社區(qū)的高速發(fā)展針對現(xiàn)場應用可以快速更新補丁，并且可以根據(jù)業(yè)務場景的需要有針對性的選擇相應技術2）內(nèi)存計算引入SPARK實現(xiàn)基于內(nèi)存的計算，通過靈活的scala語言實現(xiàn)小數(shù)據(jù)集的秒級查詢，并于Hadoop完美結合3）統(tǒng)一框架以hadoop技術為核心，基于統(tǒng)一資源調(diào)度框架Yarn，集成批處理（

hadoop

）、內(nèi)存計算（spark）、實時計算（storm），機器學習（mllib），數(shù)據(jù)倉庫(SQL

on

Hadoop)，集群監(jiān)控運維，數(shù)據(jù)可視化為一體，簡化系統(tǒng)架構實現(xiàn)資源的統(tǒng)一管理。實現(xiàn)真正的一棧式大數(shù)據(jù)解決方案。數(shù)據(jù)多樣性、高效、高吞吐量、低延遲且支持高可靠性、水平擴展，彈性擴容CONFIDENTIAL20Hadoop如何做到數(shù)據(jù)容災21

hadoop把文件拆成不同的小塊，一個塊多個副本，分別部署在不同的機器上，而只使用其中的一個塊。

datanode定期向管理中心發(fā)心跳以確?？捎?，假如一臺機器壞了，或硬盤壞了，調(diào)度中心會直接調(diào)用其中的一個副本塊，同時快速隨機選一臺可用的機器復制副本。

因為走局域網(wǎng)帶寬，可以靈活設置恢復時間，性能幾乎不受任何影響22CONFIDENTIAL基于Hadoop框架的開放與共享共享和開放的目的是為了充分利用平臺的存儲與計算資源，通過開放的API接口調(diào)用，實現(xiàn)不同平臺的數(shù)據(jù)交互，滿足不同業(yè)務的需求。對共享于開放帶來的任務管理復雜、多租戶資源爭用以及安全問題，分別通過任務統(tǒng)一管理、調(diào)度，對象管理和用戶配合管理以及用戶認證和用戶權限管理來解決平臺（共享、開放）Zookeeper統(tǒng)一管理注銷接口統(tǒng)一封裝用戶（組）操作權限封裝LADP、Sentry封裝作業(yè)管理配額管理監(jiān)控管理對象管理用戶權限管理用戶認證接口類別關鍵技術要求技術架構應對作業(yè)管理對作業(yè)進行統(tǒng)一操作管理采用Zookeeper技術，實現(xiàn)批處理平臺作業(yè)的統(tǒng)一注冊和注銷，并通過Zookeeper實現(xiàn)作業(yè)的提交執(zhí)行和狀態(tài)監(jiān)控對象管理可針對HDFS文件、MR任務、

Hive數(shù)據(jù)表和Hbase數(shù)據(jù)表等對象進行操作通過對HDFS文件、MR任務、Hive數(shù)據(jù)表和Hbase數(shù)據(jù)表等對象原生態(tài)接口接口的統(tǒng)一封裝，實現(xiàn)相關對象的對外操作開放用戶權限管理支持用戶、用戶組創(chuàng)建，并能為用戶和用戶組分析針對操作對象的各類權限提供創(chuàng)建、注銷用戶/用戶組、加入、剔重、查詢用戶/用戶組；

HDFS文件、MR任務、Hive數(shù)據(jù)表、Hbase數(shù)據(jù)表授權和權限查

詢等對外服務接口，以此支撐大數(shù)據(jù)平臺的用戶統(tǒng)一權限管理。用戶認證支持通過用戶名和密碼進行用戶認證提供LADP對外用戶認證接口，平臺通信采用Kerberos認證，同時結合Hadoop開源組件Sentry，實現(xiàn)操作對象的細粒度基于角色的安全控制。配額支持對用戶/用戶組的存儲資源分析和計算資源分配引入Yarn技術框架，對存儲資源和計算資源的一調(diào)配，按用戶（組）實現(xiàn)資源隔離，實現(xiàn)多任務高效地運行在一個的集群上監(jiān)控支持針對設備、平臺、作業(yè)和對象的全面監(jiān)控通過Agent方式實時采集監(jiān)控指標信息，同時開放插件注冊API，支持自定義監(jiān)控指標目錄23123架構規(guī)劃數(shù)據(jù)接入規(guī)劃硬件與網(wǎng)絡規(guī)劃25CONFIDENTIAL外部數(shù)據(jù)接入思路互聯(lián)網(wǎng)資源涉及數(shù)據(jù)數(shù)據(jù)域互聯(lián)網(wǎng)數(shù)據(jù)合作平臺現(xiàn)狀了解建議近期工作重點第三方合作涉及數(shù)據(jù)階段一：運營商數(shù)據(jù)階段二：整合數(shù)據(jù)、客戶分析報告、渠道拓展、用戶特征，用戶移動軌跡等。數(shù)據(jù)未接入從價值和用途方面考慮數(shù)據(jù)采集，現(xiàn)階段最有價值的數(shù)據(jù)為用戶汽車資料庫數(shù)據(jù)，建議優(yōu)先接入能完善用戶標簽體庫。階段一：汽車資料庫數(shù)據(jù)；階段二：用戶資料庫數(shù)據(jù)未接入：汽車標簽庫數(shù)據(jù)；采集周期：定期采集；后期根據(jù)業(yè)務場景需要，逐步接入。目錄26123架構規(guī)劃數(shù)據(jù)接入規(guī)劃硬件與網(wǎng)絡規(guī)劃主機配置原則數(shù)據(jù)量計算：根據(jù)卡口數(shù)據(jù),GPS信息等、接入數(shù)據(jù)源及數(shù)據(jù)量，估算系統(tǒng)建設規(guī)模（各種數(shù)據(jù)的日吞吐量和峰值吞吐量）1.估算建設規(guī)模2.梳理各種輸入4.確定主機數(shù)據(jù)梳理接口數(shù)據(jù)源與產(chǎn)品模塊的對應關系：根據(jù)產(chǎn)品模塊功能劃分，梳理數(shù)據(jù)流轉過程，確定各產(chǎn)品模塊的輸入數(shù)據(jù)量大?。òㄈ胀掏铝亢头逯低掏铝浚?.推算處理能力CONFIDENTIAL27推算單主機處理能力：根據(jù)各卡口和實驗室實測和各監(jiān)控終端的處理能力，以及各監(jiān)控終端對相關硬件的側重點（內(nèi)存數(shù)據(jù)側重內(nèi)存空間；流處理平臺側重CPU和網(wǎng)絡帶寬、批處理平臺側重CPU、內(nèi)存、硬盤空間、磁盤IO讀寫速度和網(wǎng)絡帶寬等）推算出設備的處理能力；根據(jù)單設備處理能力計算：根據(jù)單設備處理能力和峰值數(shù)據(jù)量計算所需設備的數(shù)量；根據(jù)存儲空間需求計算：根據(jù)產(chǎn)品模塊存儲空間需求和存儲位置需求（內(nèi)存/硬盤）計算所需設備數(shù)量；集群共用：同一網(wǎng)絡內(nèi)且平臺類型相同，采用集群共用的方式（如批處理和內(nèi)容分類服務同屬于內(nèi)網(wǎng)且同基于Hadoop平臺實現(xiàn)），在滿足數(shù)據(jù)處理時效的前提下，通過YARN框架的RM進行管理；相同配置共用：不建議在同一集群中使用配置不同的機器，雖然集群可以工作但性能會出現(xiàn)“短板效應”，實施、維護及管理難度均會提升，如磁盤空間不一樣，會造成數(shù)據(jù)傾斜，嚴重影響性能。根據(jù)處理能力、存儲空間和是否共用集群確定硬件配置，同時考慮備用主機需求。網(wǎng)絡配置原則數(shù)據(jù)量計算：根據(jù)卡扣數(shù)據(jù),GPS信息等、接入數(shù)據(jù)源及數(shù)據(jù)量，估算系統(tǒng)建設規(guī)模（各接口的日吞吐量和峰值吞吐量）1.估算建設規(guī)模2.計算帶寬需求計算各產(chǎn)品模塊的輸入、輸出帶寬需求：根據(jù)各監(jiān)控終端模塊功能劃分，梳理數(shù)據(jù)流轉過程，確定輸入、輸出帶寬需求（主要考慮峰值情況）流計算與批處理共用集群需要重點保證低延遲和高吞吐：流計算平臺的特點是必須滿足數(shù)據(jù)處理的時效性，因此重點是保障低延遲；批處理平臺的特點是必須滿足對大容量、多樣性數(shù)據(jù)的處理和存儲，因此重點是保障高吞吐；3.結合平臺特點CONFIDENTIAL28基于HDFS彈性存儲系統(tǒng)1

0

G

萬兆以太網(wǎng)千兆以太網(wǎng)管理節(jié)點管理節(jié)點數(shù)據(jù)接入節(jié)點IO節(jié)點存儲5

計算節(jié)點HadoopDB

ServerF

CSAN

Switch已有系統(tǒng)新建大數(shù)據(jù)系統(tǒng)DBStorage外部用戶內(nèi)部用戶120TB

磁盤大數(shù)據(jù)集群總體方案構成大數(shù)據(jù)管理平臺CONFIDENTIAL29總體方案概述①

Hadoop計算集群基礎架構POWER8服務器，5個計算節(jié)點彈性存儲，總的存儲空間約120TB；基于萬兆的計算網(wǎng)絡；②

Hadoop計算集群管理平臺

基于大數(shù)據(jù)的高性能計算集群管理平臺，新建大數(shù)據(jù)集群環(huán)境進行高效率的統(tǒng)一管理；③

大容量數(shù)據(jù)存儲平臺新建的數(shù)據(jù)庫存儲平臺120TB331管理節(jié)點接口節(jié)點計算存儲節(jié)點1計算存儲節(jié)點2計算存儲節(jié)點3計算存儲節(jié)點4計算存儲節(jié)點5千兆業(yè)務網(wǎng)萬兆業(yè)務網(wǎng)管理備份節(jié)點Hadoop集群硬件系統(tǒng)拓撲32CONFIDENTIAL基于預期業(yè)務參數(shù)，計算數(shù)據(jù)量級存儲周期數(shù)據(jù)增量/年數(shù)據(jù)格式總存儲HDFS總存儲Total

linux

os主機數(shù)量N3年3Tgz33.75T27TN*2*500G3*Datanode+2*Naemnode=510年3Tgz140.625T112.5TN*2*500G5*Datanode+2*Namenode=720年3Tgz281.25T225TN*2*500G11*Datanode+2*Namenode=13舉例：計算公式，存儲10

年，每天1

T數(shù)據(jù)增量：HDFS總存儲=3T*

3

*

10+（3

T*3*10*25

%）；HDFS總存儲=112.5

TDatanode數(shù)n=112.5

T/12*2

T=5

臺;2臺Namenode,1臺客戶機,總共5+2+1=8

臺注意：為了保證集群的穩(wěn)定性，最低要求3臺datanode；這里僅僅針對GPS一種數(shù)據(jù)源評估。CONFIDENTIAL小規(guī)模硬件推薦：4

~

10個節(jié)點.中等規(guī)模硬件配置推薦：20+個節(jié)點.大規(guī)模硬件配置推薦:100節(jié)點以上.處理器CPU1顆8核心P

8處理器(3.8

GHz)(3.8

GHz)2顆8核心P

8處理器（3.8

GHz）2顆8核心P

8處理器（3.8

GHz）內(nèi)存64

G或者以上內(nèi)存，DDR

3

L，RRECC128

G或者以上內(nèi)存，DDR

3

L，RRECC256

G或者以上內(nèi)存，DDR

3

L，RRECC系統(tǒng)盤2

*500

G

SSD2

*500

G

SSD2

*500

G

SSD磁盤接口SAS

6

GB/sSAS

6

GB/sSAS

6

GB/s磁盤12個2

T或者6

T

7200

RPM

SATA硬硬盤12個4

T或者6

T

7200

RPM

SATA硬硬盤12個6

T

7200

RPM個SATA硬硬盤Raid卡卡1

G緩存支持RAID

0，1，51

G緩存支持RAID

0，1，51

G緩存支持RAID

0，1，5網(wǎng)絡10

Gb以太網(wǎng)和千兆以太網(wǎng)10

Gb以太網(wǎng)和千兆以太網(wǎng)10

Gb以太網(wǎng)和千兆以太網(wǎng)電源1+1冗余電源冗余電源1+1冗余電源冗余電源1+1冗余電源冗余電源大數(shù)據(jù)平臺硬件配置估算及建議34CONFIDENTIALXXX交通廳大數(shù)據(jù)平臺硬件配置建議硬件配置清單所屬模塊平臺類型單節(jié)點配置設備數(shù)量（臺）備注CPU內(nèi)存系統(tǒng)盤數(shù)據(jù)盤數(shù)據(jù)交換網(wǎng)卡數(shù)據(jù)采集與解析KafkaP8

1*8C256GB2*500G12*2TB1塊萬兆網(wǎng)卡1塊千兆網(wǎng)卡使用Hadoop平臺機器Hadoop平臺HadoopdatanodeP8

1*8C128GB2*500G12*2TB1塊萬兆網(wǎng)卡1塊千兆網(wǎng)卡3Hadoop平臺HadoopnamenodeP8

1*8C256GB2*500G6*2TB1塊萬兆網(wǎng)卡1塊千兆網(wǎng)卡2客戶機應用程序P8

1*8C64GB2*500G2*2TB1塊萬兆網(wǎng)卡1CONFIDENTIAL存儲規(guī)劃議題36我們對交通大數(shù)據(jù)平臺的理解建設思路12應用規(guī)劃與部署4總體規(guī)劃3大數(shù)據(jù)平臺應用場景①

實時判定車的位置是否在敏感區(qū),敏感區(qū)來自業(yè)務系統(tǒng)設置,是指定設施的GPS每日新增8G左右的空間，一個月250G左右，一年約3T左右。目前平均在線車輛目標3萬左右，總體車

輛數(shù)在約7萬。車輛每30秒回傳一個位置;場景1-敏感區(qū)系統(tǒng)判定大數(shù)據(jù)C

lu

ste

r敏感區(qū)域數(shù)據(jù)庫敏感區(qū)車輛信息報警系統(tǒng)根據(jù)告警等級通過短信，電話，app推送等渠道；信息送達到駕駛人員。實時刷新車輛位置通過衛(wèi)星定位，汽車終端等收集汽車行駛數(shù)據(jù)上傳服務器數(shù)據(jù)采集程序，實時獲取數(shù)據(jù)，流入

Hadoop生態(tài)系統(tǒng)嗨，你馬上進入敏感區(qū)域，請繞行，通過xxx路線行駛根據(jù)右邊擬物化的圖，來講解數(shù)據(jù)處理流程；1、汽車在地圖上移動，GPS衛(wèi)星定位信息實時推送到數(shù)據(jù)收集終端，數(shù)據(jù)終端實時上報數(shù)據(jù)到服務器生成文件。2、大數(shù)據(jù)集群，通過Kafka集群提供的API實時監(jiān)控是否有新的數(shù)據(jù)生成，如果有新數(shù)據(jù)生成就推送到

storm集群。3、通過storm提供的實時流計算特性編寫計算模型，每條數(shù)據(jù)過來實時解析生成地理位置，通過從數(shù)據(jù)庫(redis)獲取人為規(guī)定敏感區(qū)域位置信息，通過模型，計算敏感區(qū)域中心點到實時汽車位置信息之間的距離，判定汽車是否進入敏感區(qū)域。4、把實時計算的位置信息和進入敏感區(qū)域汽車數(shù)據(jù)存儲到hbsae數(shù)據(jù)庫5、通過敏感區(qū)車輛報警系統(tǒng)對即將進入敏感區(qū)域的汽車發(fā)送警告類短信。6、通過前端應用實時刷新展現(xiàn)汽車在地圖上的位置KafkaNOSQL/Hbasephoenix39CONFIDENTIAL大數(shù)據(jù)平臺應用場景實現(xiàn)方式：判斷車輛敏感位置實現(xiàn)平臺：大數(shù)據(jù)(Hadoop+Hbase+Storm＋Redis＋phoenix

)+JAVA預估數(shù)據(jù)量：3T／年(根據(jù)GPS一種數(shù)據(jù)源評估)存儲周期：3年(考