網(wǎng)易Hadoop大數(shù)據(jù)架構(gòu)

1、網(wǎng)易Hadoop大數(shù)據(jù)架構(gòu)技術(shù)創(chuàng)新，變革未來數(shù)據(jù)業(yè)務(wù)架構(gòu)數(shù)據(jù)采集數(shù)據(jù)平臺數(shù)據(jù)應(yīng)用網(wǎng)易新聞網(wǎng)易云音樂網(wǎng)易考拉網(wǎng)易云課埻網(wǎng)易有數(shù) / 網(wǎng)易猛犸數(shù)據(jù)存儲計算服務(wù)日志Database直接導(dǎo)入其他倉庫網(wǎng)易大數(shù)據(jù)體系Hadoop 開源組件自研組件猛犸數(shù)據(jù) 開發(fā)平臺有數(shù)敏捷數(shù)據(jù) 分析平臺01數(shù)據(jù)平臺網(wǎng)易大數(shù)據(jù)體系大數(shù)據(jù)開發(fā)套件（可視化IDE）數(shù)據(jù)集成數(shù)據(jù)開發(fā)任務(wù)運(yùn)維自劣分析數(shù)據(jù)管理統(tǒng)一資源管理與調(diào)度 Yarn離線計算Hive流式計算 Sloth內(nèi)存計算 Spark分布式文件系統(tǒng)HDFS和Kudu分布式數(shù)據(jù)庫 HBase全量/非實時接入Sqoop實時/增量接入NDC和DataStream結(jié)構(gòu)化數(shù)據(jù) 如RDBM

2、S備庫半結(jié)構(gòu)化數(shù)據(jù) 如JSON非結(jié)構(gòu)化數(shù)據(jù) 如音頻文件大數(shù)據(jù)應(yīng)用開發(fā)層數(shù)據(jù)加工數(shù)據(jù)計算資源管理數(shù)據(jù)集成數(shù)據(jù)存儲數(shù)據(jù)源作業(yè)流開發(fā)權(quán)限管理多租戶管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量校驗 DQC秘鑰管理Kerberos運(yùn)維監(jiān)控 Amber自研系統(tǒng)與開源組件的結(jié)合Sloth流計算服務(wù)化平臺通過增量計算的方式，來完成流計算任務(wù)使用SQL作為開發(fā)方式，完全與離線SQL兼 容，支持window/join/subquery/having/retracting等復(fù)雜SQL功能流計算服務(wù)統(tǒng)一元數(shù)據(jù)服 務(wù)流計算服務(wù)一站式數(shù)據(jù)安全與權(quán) 限一站式的數(shù)據(jù)平臺，數(shù)據(jù)地圖基于ambari開發(fā)的一站式的統(tǒng)一部署，監(jiān) 控，運(yùn)維體系一站式Hiv

3、e, spark, impala,hbase元數(shù)據(jù)打通數(shù)倉體系內(nèi)，用戶無需在不同的系統(tǒng)一之間 做元數(shù)據(jù)同步不同組件組件之前，數(shù)據(jù)全增量同步統(tǒng)一元數(shù)據(jù)服務(wù)HDFS/Hive/Impala/Spar等組件自勱 權(quán)限 同步支持到列級別的權(quán)限控制，支持?jǐn)?shù)據(jù)自勱加 密，即使被拖庫，也不用擔(dān)心敏感數(shù)據(jù)泄露數(shù)據(jù)安全與權(quán)限自研系統(tǒng)與開源組件結(jié)合kafla服務(wù) 化精細(xì)化的yarn調(diào)度器Spark高可 用多租戶擴(kuò)展 Ranger 統(tǒng)一授權(quán)Sloth流計算服務(wù)化平臺Sloth 特點DDL UDFHaving Join SubquerySQL開發(fā)與離線SQL兼容執(zhí)行引擎 擴(kuò)展Flink增量計算模型Whole Stag

4、e CodeGen與離線統(tǒng)一平臺SQL解析 擴(kuò)展CalciteSloth 增量計算考拉要對所有商家按銷售額做分類統(tǒng)計，銷售額在0,100區(qū)間內(nèi)的歸為一類，100,200區(qū)間的的歸為一類，以此類推，通過計算輸出每個區(qū)間內(nèi)的商家個數(shù)。這個任務(wù)可以用SQL定義為：- stage1：計算每個商家的銷售總額INSERT INTO tmpSELECT seller_id, sum(payment) as total FROM source GROUP BY seller_id;- stage2: 計算每個銷售額區(qū)間內(nèi)的商家個數(shù)SELECT count(seller_id) as num, total/10

5、0 as range FROM tmp GROUP BY (total/100);Sloth 增量計算輸入數(shù)據(jù)離線計算流式計算增量計算Sloth 增量計算輸入數(shù)據(jù)離線計算流式計算增量計算Sloth 增量計算輸入數(shù)據(jù)離線計算流式計算增量計算Sloth 增量計算輸入數(shù)據(jù)離線計算流式計算增量計算SlothPyhsicalPlan02數(shù)據(jù)開發(fā)平臺猛犸數(shù)據(jù)開發(fā)平臺可視化 數(shù)據(jù)集成元數(shù)據(jù) 和數(shù)據(jù)地圖數(shù)據(jù)權(quán)限與安全猛犸數(shù)據(jù)集成猛犸元數(shù)據(jù)和血緣猛犸細(xì)粒度的權(quán)限控制猛犸總結(jié)覆蓋全網(wǎng)易互聯(lián)網(wǎng)業(yè)務(wù)場景十萬級任務(wù)調(diào)度能力業(yè)務(wù)驗證可視化模型開發(fā)和 調(diào)度靈活數(shù)據(jù)管理行業(yè)標(biāo)準(zhǔn)經(jīng)過多個不同領(lǐng)域業(yè)務(wù)的考驗，行之有效完備的產(chǎn)品化

6、機(jī)制完善的服務(wù)與培訓(xùn)機(jī)制業(yè)務(wù)驗證靈活數(shù)據(jù)管理可視化數(shù)據(jù)集成元數(shù)據(jù)管理，數(shù)據(jù)地圖，血緣分析細(xì)粒度權(quán)限控制靈活數(shù)據(jù)管理可視化數(shù)據(jù)集成元數(shù)據(jù)管理，數(shù)據(jù)地圖，血緣分析細(xì)粒度權(quán)限控制支持常用的Hadoop組件，兼容行業(yè)標(biāo)準(zhǔn)降低學(xué)習(xí)門檻靈活部署，適合大、中、小各種規(guī)模業(yè)務(wù) 應(yīng)用行業(yè)標(biāo)準(zhǔn)03敏捷數(shù)據(jù)分析平臺敏捷可視化分析: 常見流程數(shù)據(jù)明確問題探索與分析知識可視化感知初步分析圖像新想法進(jìn)一步分析假定數(shù)據(jù)可視化用戶可視化循環(huán)模型（Wijk & D. Keim）敏捷可視化分析：解決方案需求易用性：簡單易懂的交互操作，縮短數(shù)據(jù)建模，查詢，可視 化的時間高性能：高速的數(shù)據(jù)提取能力連貫性：盡可能在一個場景下完成這些工作敏捷可視化分析工具網(wǎng)易有數(shù)目標(biāo)保證分析的時效性讓更多的人能夠完成可視化分析04未來技術(shù)規(guī)劃網(wǎng)易大數(shù)