企業(yè)大數(shù)據(jù)離線平臺(tái)架構(gòu)

1、企業(yè)大數(shù)據(jù)離線平臺(tái)架構(gòu)技術(shù)創(chuàng)新，變革未來(lái)離線平臺(tái)規(guī)模增量（不考慮副本）100TB/day集群規(guī)拱 1000 -1500 nodes, x10 expanding 表 數(shù)據(jù)90 K表 400報(bào)表調(diào)度任務(wù) 20K+任務(wù)數(shù) lOW+mapreduce/spark計(jì)算數(shù)據(jù)吞吐 3PB/day應(yīng)用支撐BU ETL報(bào)表支抒數(shù)據(jù)接口用戶畫像歷史訂單數(shù)據(jù)接口數(shù)據(jù)來(lái)源交易數(shù)據(jù)應(yīng)用數(shù)據(jù) 流量數(shù)據(jù)人少活多積累不足歷史的技術(shù)債應(yīng)對(duì)不斷的業(yè)務(wù)需求架構(gòu)設(shè)計(jì)和技術(shù)選型3TTr oubl e : 解決什么問(wèn)題Tec h, 哪些合適的技術(shù)，牛態(tài)和社區(qū)狀態(tài)Team: 熟悉程度學(xué)習(xí)成本使用成本運(yùn)維成 本數(shù)據(jù)收集 FlumevsED

2、isk(storm)場(chǎng)景數(shù)據(jù) 從 kafka流到hdfs團(tuán)隊(duì)Storm 相對(duì)于 flume經(jīng)驗(yàn)多技術(shù)運(yùn)維成本 edisk使用成本 ediskEDSink(storm)自助抽取數(shù)據(jù)到 hi ve不同的 SLA等 級(jí)降級(jí)熔斷策略EDS i nk (s t orm)/Make everyLhing 30mi n數(shù)據(jù)計(jì)算 Spar kvsHive場(chǎng)景ETL計(jì)算團(tuán)隊(duì)hive略熟技術(shù)運(yùn)維成本 hive使用成本 Spark 穩(wěn)定性 hive速度 spark數(shù)據(jù)落地 Hbas evsCassandra場(chǎng)景海扭存儲(chǔ)批拯更新/ K-V(ob ject) 訪問(wèn)團(tuán)隊(duì)不熟悉學(xué)習(xí)成本經(jīng)不多技術(shù)社區(qū)方面國(guó)內(nèi)Hbase相對(duì)千

3、Cassandra 運(yùn)維成本Cassandra較低使用成本Cassandra使用方便解決間題 Cassandra天然支持多機(jī)房策略Adhoc 平臺(tái)Adhoc 平臺(tái)多引擎支持hive / presto/ spark統(tǒng)一權(quán)限驗(yàn)證即席/定時(shí)運(yùn)行狀態(tài)歷史記錄資源隔離數(shù)據(jù)開(kāi)發(fā)管理平臺(tái)- ETL數(shù)據(jù)開(kāi)發(fā)管理平臺(tái)- ETL數(shù)據(jù)開(kāi)發(fā)管理平臺(tái)- ETL底層 工具支持1. hql 并發(fā)支持和并發(fā)限制 2. Hive2redis / hive2Cassandra / hive2es 等等3. hive2db merge優(yōu)化4. sharding抽取5. spark list和map類型udf 兼容 6. 多引擎一鍵

4、切換入，夕一重，, .I h 1 四 表名之蟻露扈名 之一 級(jí)王愚 表迅褒 二表售量 (G) 生周Ill所有. .割建紂闔-心交鼻308心0143于，M 19三個(gè)月如 -12- 巧 19:23:41心嬴廷謊量244514汾 537.25一個(gè)月笠U-18 16:1芯 1心心大數(shù)篇，知41319.87半年206-10勺 13心 心心基兇滇量2159232230!初.72單年201 今 16一芯 公諤謨?nèi)?鄧 9 1, 2,1三個(gè)月20-.e 心 - 2& 16,52,31dm交易26211247論.36n. 28三個(gè)月2017-01-231821:06H沺 表管理心交暴149汜4S叩.28三個(gè)月2

5、0比 1 18 15: 30:蝎心昌過(guò)健量21的，閉卑年20S-12-24 12,2盡de邕過(guò)譴量邸 232摹俷20讓 10- 24 丸t55交易,.呻, 婦78心 1九u, 1J9078,92三個(gè)月扣 停 03 心 14心心如一臧大紋重2821213652 也 2半年2017-01-06 12,22,23四 IIOffl.O. w平臺(tái)研發(fā)中心205亟12 如 ？一年共一50 條頁(yè)圓 23456 279巫- ll - 24 16:38:20血1 頁(yè)元數(shù)據(jù)管理統(tǒng)一表管理表生命周期控制重要數(shù)據(jù)表一鍵備份表熱度營(yíng)理和監(jiān)控 表容惜管理用戶自助任務(wù)分析用戶自助任務(wù)分析任務(wù)嚴(yán)重等級(jí)任務(wù)分析指標(biāo)I. 等待啟動(dòng)時(shí)間 map 數(shù)據(jù)傾斜/GC時(shí)間速度內(nèi)存 3. reduce數(shù)據(jù)傾斜 / GC時(shí)間速度內(nèi)存 4. shuf fl e推薦優(yōu)化參數(shù)用戶自助任務(wù)分析Spa r k在線交互式數(shù)據(jù)分析平臺(tái)Spar k在線交互式數(shù)據(jù)分析 平臺(tái)統(tǒng)一的權(quán)限控制資源管控方便分析師試錯(cuò)Kylin多維分析Kylin多維分析預(yù)計(jì)算多維展示、秒級(jí)響應(yīng)spark/ hive 構(gòu)建 cube基礎(chǔ)設(shè)施管理平臺(tái)基礎(chǔ)設(shè)施管理平臺(tái)Cmdb平臺(tái)自動(dòng)化的基礎(chǔ)Ops 重復(fù)的操作固化到workflow中Alter 告密的管理和分析Capacity訪問(wèn)熱度，空間增量/速，計(jì)算增量Analysis 統(tǒng)一的任務(wù)/鏈路性能分析基礎(chǔ)設(shè)施管理平臺(tái)平