企業(yè)實時大數(shù)據(jù)系統(tǒng)介紹

1、企業(yè)實時大數(shù)據(jù)系統(tǒng)介紹技術(shù)創(chuàng)新，變革未來目錄我們的實時數(shù)據(jù)平臺-Prism從這里開始演進集群規(guī)劃監(jiān)控規(guī)模Prism是什么宗旨以數(shù)據(jù)可視化為出發(fā)點以降低數(shù)據(jù)和數(shù)據(jù)分析軟件獲取成本為己任的實時數(shù)據(jù)平臺提供哪些服務(wù)日志實時監(jiān)控 - ELK數(shù)據(jù)總線 - Kafka數(shù)據(jù)實時分析 - Spark Streaming/Storm/Flink數(shù)據(jù)存儲 - Elasticsearch as a ServiceOLAP/試驗平臺 - Zeppelin+Spark/FlinkPrism數(shù)據(jù)流圖這里開始Dev成為問題定位的瓶頸ELKELK大受歡迎部署方式和問題部署方式申請?zhí)摂M機/添加賬號使用salt部署面臨的問題無法

2、快速構(gòu)建業(yè)務(wù)流無法快速增減容量怎么辦？我們的方案解決了問題快速增減容量新工具快速支持提高硬件資源利用率降低數(shù)據(jù)軟件的使用成本角色Mesos管理的資源Marathon和Spark的位置在Mesos上運行無狀態(tài)服務(wù)宿主節(jié)點快照找到Kibana網(wǎng)絡(luò)方案-net=hostCalicoCNI (Mesos version = 1.0)請求路由/服務(wù)發(fā)現(xiàn)（HTTP）多機房日志流匯聚日志平臺接入Portal新需求新的需求實時推薦多數(shù)據(jù)源實時JOINLogstash能力不足以支撐新的需求引入Spark on MesosSoftware on Mesos一個真實的業(yè)務(wù)場景規(guī)模實時日志分析：300模塊，kafka

3、峰值帶寬6GSpark Streaming任務(wù)：50個Storm集群：5個Flink集群：2個集群規(guī)劃宗旨基礎(chǔ)設(shè)施這一層技術(shù)收斂Fail Over多租戶資源隔離QuotaBootstrap Version 3.0All in Docker監(jiān)控監(jiān)控數(shù)據(jù)處理模塊拓撲監(jiān)控業(yè)務(wù)統(tǒng)計監(jiān)控隊列堆積：Kafka Topic Lag流量：Search Count/Message Count錯誤：Reject/Exception基礎(chǔ)監(jiān)控/容量監(jiān)控IO使用率CPU使用率內(nèi)存使用率JVM/GC等集群資源使用量數(shù)據(jù)處理模塊拓撲監(jiān)控實時流監(jiān)控Esaas某ES集群監(jiān)控基礎(chǔ)監(jiān)控Mesos資源統(tǒng)計廣告 pyadvisor/QunarOPS/pyadvisor規(guī)模計算集群120+； 2600+ 容器ES中存儲的日志160T，4萬ShardsEsaas 50+;47 ES集群； 600+ 容器總結(jié)我們做的事兒實時數(shù)據(jù)治理解決數(shù)據(jù)軟件的部署的門檻解決Mesos環(huán)境