離線大數(shù)據(jù)技術(shù)實踐

1、滴滴離線大數(shù)據(jù)技術(shù)實踐技術(shù)創(chuàng)新 變革未來議程背景數(shù)據(jù)治理 引擎技術(shù)演 進離線平臺框架總結(jié)與展望業(yè)務(wù)特點快車專車出租車豪華車共享單車000軌跡數(shù)據(jù)交易數(shù)據(jù)日志數(shù)據(jù)埋點數(shù)據(jù)實時離/采集實時離/計算離線應(yīng)用場景運營活動數(shù)據(jù)建模數(shù)據(jù)挖掘報表產(chǎn)出數(shù)據(jù)清洗業(yè)務(wù)日志行為日志軌跡日志數(shù)據(jù) 采集ETL業(yè)務(wù)數(shù)據(jù)報表分析應(yīng)用規(guī)模千臺級數(shù)千人百PB級十萬級用戶數(shù)暈集群規(guī)模任務(wù)數(shù)暈集群存儲行業(yè)問題問題安全穩(wěn)定性能成本議程背景數(shù)據(jù)治理引擎技術(shù)演進離線平臺框架總結(jié)與展望數(shù)據(jù)治理冷熱數(shù)據(jù)分析生命周期核心數(shù)據(jù)備份FSImageAuditLogHiveMetaImage TableAuditLog TableMeta Table

2、解析、上傳上傳上傳查詢分析歷史數(shù)據(jù)壓縮無用數(shù)據(jù)清理Hive建表默認ORC冷熱數(shù)據(jù)分析生命周期用戶數(shù)據(jù)平臺HDFS生命周 期服務(wù)Hive客戶端Hive生命周期 服務(wù)申請 修改建表 修改設(shè)置設(shè)置清理清理HDFS生命周期平臺申請生命周期服 務(wù)處理HIVE生命周期建表設(shè)置修改表信息核心數(shù)據(jù)備份維護核心數(shù)據(jù)元數(shù)據(jù)信息增量拷貝、壓縮、校驗議程背景數(shù)據(jù)治理 引擎技術(shù)演進離線平臺框架總結(jié)與展望引擎技術(shù)演進引擎HadoopSparkHive引擎技術(shù)演進HadoopHadoop安全穩(wěn)定、性能成本NNNN RBF RMBalancerNN DN引擎技術(shù)演進HadoopHDFS認證：密碼機制、白名單穩(wěn)定：Federa

3、tion(ViewFS,RBF)性能：NN啟動優(yōu)化、Balancer優(yōu)化成本：EC壓縮YARN性能：Container分配優(yōu)化穩(wěn)定：NodeLabel Feature引擎技術(shù)演進HadoopRBFHDFS-10467HDFS-12615HDFS-13891引擎技術(shù)演進HiveHive安全穩(wěn)定、性能MSMS HS2Hive Client引擎技術(shù)演進Hive權(quán)限管理元數(shù)據(jù)權(quán)限：MS數(shù)據(jù)權(quán)限：UGO、Ranger穩(wěn)定、性能MS Federation(waggle-dance)HS2共享UDFHive Client啟動優(yōu)化支持HDFS Federation引擎技術(shù)演進Hivewaggle-dance/

4、HotelsDotCom/waggle-dance引擎技術(shù)演進Spark性能Spark 1.6升級2.2Spark-SQL分區(qū)裁剪Spark-SQL AE穩(wěn)定支持HDFS Federation服務(wù)化Livy引擎技術(shù)演進演進方式緊跟社區(qū)主線，引入新功能、優(yōu)化修復(fù)社區(qū)Bug，增加新Feature根據(jù)業(yè)務(wù)需求少呈定制開發(fā)回饋社區(qū)提交40+ patches接收30 patches分享RBF、waggle-dance最佳實踐議程背景數(shù)據(jù)治理 引擎技術(shù)演進離線平臺框架總結(jié)與展望平臺構(gòu)成RBFRouter0Router1RouternNN 00DN0NS0NN 01DN1NS1NN 10DN2NN 11DN3DN4NSmNNNNm0m1DNzYARNMRHS2Hive Client調(diào)度系統(tǒng)開發(fā)平臺數(shù)據(jù)產(chǎn)品分布式存儲統(tǒng)一資源調(diào)度引擎業(yè)務(wù)平臺Livy Spark數(shù)倉建設(shè)BI報表特征工程權(quán)限管理 監(jiān)控診斷平臺監(jiān)控RPCHDFS路徑NN監(jiān)控平臺監(jiān)控操作數(shù)分區(qū)掃描MS監(jiān)控平臺監(jiān)控服務(wù)器監(jiān)控告警通用 監(jiān)控CPULOADMEMDISKNetWork議程背景數(shù)據(jù)治理引擎技術(shù)演進離線平臺框架總結(jié)與展望總結(jié)問題安全、穩(wěn)定、性能、成本數(shù)據(jù)治理冷熱數(shù)據(jù)分析、生命周期、備份引擎優(yōu)化Hadoop、Hive、Spark緊跟社區(qū)主線、引入新Feature、優(yōu)化