淘寶云梯分布式計算平臺架構(gòu)介紹

1、 Page * MERGEFORMAT 24淘寶云梯分布式計算平臺架構(gòu)介紹目 錄 TOC o 1-3 h z u HYPERLINK l _Toc45013167 一、系統(tǒng)架構(gòu) PAGEREF _Toc45013167 h 3 HYPERLINK l _Toc45013168 1、系統(tǒng)整體架構(gòu) PAGEREF _Toc45013168 h 3 HYPERLINK l _Toc45013169 2、淘寶云計算介紹 PAGEREF _Toc45013169 h 3 HYPERLINK l _Toc45013170 二、數(shù)據(jù)同步方案 PAGEREF _Toc45013170 h 4 HYPERLIN

2、K l _Toc45013171 1、數(shù)據(jù)同步方案概覽 PAGEREF _Toc45013171 h 4 HYPERLINK l _Toc45013172 2、數(shù)據(jù)同步方案 實時同步VS非實時同步 PAGEREF _Toc45013172 h 5 HYPERLINK l _Toc45013173 3、數(shù)據(jù)同步方案 TimeTunnel2 介紹 PAGEREF _Toc45013173 h 5 HYPERLINK l _Toc45013174 4、數(shù)據(jù)同步方案Dbsync介紹 PAGEREF _Toc45013174 h 7 HYPERLINK l _Toc45013175 5、數(shù)據(jù)同步方案Da

3、taX介紹 PAGEREF _Toc45013175 h 8 HYPERLINK l _Toc45013176 三、調(diào)度系統(tǒng) PAGEREF _Toc45013176 h 9 HYPERLINK l _Toc45013177 1、調(diào)度系統(tǒng)生產(chǎn)率銀彈 PAGEREF _Toc45013177 h 10 HYPERLINK l _Toc45013178 2、調(diào)度系統(tǒng)模塊/子系統(tǒng) PAGEREF _Toc45013178 h 10 HYPERLINK l _Toc45013179 3、調(diào)度系統(tǒng)任務(wù)觸發(fā)方式 PAGEREF _Toc45013179 h 11 HYPERLINK l _Toc45013

4、180 4、調(diào)度系統(tǒng)調(diào)度方式 PAGEREF _Toc45013180 h 12 HYPERLINK l _Toc45013181 5、調(diào)度系統(tǒng)什么是Gateway?參與天網(wǎng)調(diào)度的資源。 PAGEREF _Toc45013181 h 13 HYPERLINK l _Toc45013182 6、調(diào)度系統(tǒng) Gateway規(guī)模及規(guī)劃 PAGEREF _Toc45013182 h 13 HYPERLINK l _Toc45013183 7、調(diào)度系統(tǒng)gateway standardization PAGEREF _Toc45013183 h 14 HYPERLINK l _Toc45013184 8、調(diào)

5、度系統(tǒng)Dynamic LB實現(xiàn) PAGEREF _Toc45013184 h 15 HYPERLINK l _Toc45013185 9、調(diào)度系統(tǒng)優(yōu)先級策略(實現(xiàn)） PAGEREF _Toc45013185 h 15 HYPERLINK l _Toc45013186 10、調(diào)度系統(tǒng)優(yōu)先級策略(意義) PAGEREF _Toc45013186 h 16 HYPERLINK l _Toc45013187 11、調(diào)度系統(tǒng)監(jiān)控全景 PAGEREF _Toc45013187 h 17 HYPERLINK l _Toc45013188 四、元數(shù)據(jù)應(yīng)用 PAGEREF _Toc45013188 h 17 H

6、YPERLINK l _Toc45013189 1、挖掘元數(shù)據(jù)金礦 PAGEREF _Toc45013189 h 18 HYPERLINK l _Toc45013190 2、基于元數(shù)據(jù)的開發(fā)平臺 PAGEREF _Toc45013190 h 19 HYPERLINK l _Toc45013191 3、基于元數(shù)據(jù)的分析平臺運行分析系統(tǒng) PAGEREF _Toc45013191 h 20 HYPERLINK l _Toc45013192 4、基于元數(shù)據(jù)的分析平臺分析策略概覽 PAGEREF _Toc45013192 h 20 HYPERLINK l _Toc45013193 5、基于元數(shù)據(jù)的分析平

7、臺運行數(shù)據(jù)收集 PAGEREF _Toc45013193 h 21 HYPERLINK l _Toc45013194 6、基于元數(shù)據(jù)的分析平臺宏觀分析策略 PAGEREF _Toc45013194 h 21 HYPERLINK l _Toc45013195 7、基于元數(shù)據(jù)的分析平臺定位系統(tǒng)瓶頸 PAGEREF _Toc45013195 h 22 HYPERLINK l _Toc45013196 8、基于元數(shù)據(jù)的分析平臺最值得優(yōu)化的任務(wù) PAGEREF _Toc45013196 h 23 HYPERLINK /s?_biz=MzI2MTIzMzY3Mw=&mid=2247490359&idx=1

8、&sn=b53ce2b69c649b24c32f73cc83829b03&chksm=ea5cd651dd2b5f4791763c2998ff8862331e48c6a02ab4ab01b54604f47a988e59af7d910a8e&scene=21 l wechat_redirect t _blank 一、系統(tǒng)架構(gòu)1、系統(tǒng)整體架構(gòu)數(shù)據(jù)流向從上到下，從各數(shù)據(jù)源、Gateway、云梯、到各應(yīng)用場景。2、淘寶云計算介紹主要由數(shù)據(jù)源、數(shù)據(jù)平臺、數(shù)據(jù)集群三部分構(gòu)成。 HYPERLINK /s?_biz=MzI2MTIzMzY3Mw=&mid=2247490359&idx=2&sn=232d6d3

9、fa74e63b8367c43da716a9a32&chksm=ea5cd651dd2b5f47e613026bce9b7c0d0532a08f33bd57337a32a98be08c8278089e8fe7aa44&scene=21 l wechat_redirect t _blank 二、數(shù)據(jù)同步方案1、數(shù)據(jù)同步方案概覽2、數(shù)據(jù)同步方案 實時同步VS非實時同步3、數(shù)據(jù)同步方案 TimeTunnel2 介紹TimeTunnel是一個實時數(shù)據(jù)傳輸平臺，TimeTunnel的主要功能就是實時完成海量數(shù)據(jù)的交換，因此TimeTunnel的業(yè)務(wù)邏輯主 要也就有兩個：一個是發(fā)布數(shù)據(jù)，將數(shù)據(jù)發(fā)送到Tim

10、eTunnel；一個是訂閱數(shù)據(jù)，從TimeTunnel讀取自己關(guān)心的數(shù)據(jù)。TimeTunnel作為一個實時數(shù)據(jù)傳輸平臺具有以下特點：高效性：單點1k數(shù)據(jù)可以到4萬TPS高可靠性：M-S模式時保證數(shù)據(jù)不丟失高可用性：單點故障不影響整個集群服務(wù)順序性：當(dāng)沒有故障發(fā)生時，保證所有傳輸都是順序的，或者說一次連接內(nèi)的傳輸是順序的。4、數(shù)據(jù)同步方案Dbsync介紹dbsync是一個用于同步服務(wù)庫數(shù)據(jù)到HDFS的產(chǎn)品，通過分析數(shù)據(jù)庫服務(wù)器的log文件來提取相應(yīng)的數(shù)據(jù)庫動作，進(jìn)而達(dá)到數(shù)據(jù)庫到HADOOP的數(shù)據(jù)同步，供相關(guān)部門提取增量數(shù)據(jù)。Dbsync實時同步性能記錄大小 速度2K 4M/s9K 10M/s應(yīng)用

11、場景：數(shù)據(jù)量 800G，00:10分備庫打開：非實時同步完成時間0:55，實時同步完成時間0:25。5、數(shù)據(jù)同步方案DataX介紹DataX是一個在異構(gòu)的數(shù)據(jù)容器之間交換數(shù)據(jù)的工具。用于在任意的數(shù)據(jù)處理系統(tǒng)(RDBMS/NoSql/FS）之間交換數(shù)據(jù)。Framework+plugin，F(xiàn)ramework處理了高速數(shù)據(jù)交換的大部分問題，插件提供對數(shù)據(jù)處理系統(tǒng)的訪問。運行模式 ：stand-alone / on hadoopWebui + cui 基于元數(shù)據(jù)的高效配置。例子:表A sharding為32個庫，1024張表，配置時間1 minDataX部分性能數(shù)據(jù): HYPERLINK /s?_bi

12、z=MzI2MTIzMzY3Mw=&mid=2247490334&idx=2&sn=1a94c9a1690a822adaae70693567498b&chksm=ea5cd678dd2b5f6e0a74ea468085e68061b9c676ff0820a975f550610e2ae788beb0774246eb&scene=21 l wechat_redirect t _blank 三、調(diào)度系統(tǒng)1、調(diào)度系統(tǒng)生產(chǎn)率銀彈2、調(diào)度系統(tǒng)模塊/子系統(tǒng)3、調(diào)度系統(tǒng)任務(wù)觸發(fā)方式 HYPERLINK /s?_biz=MzI2MTIzMzY3Mw=&mid=2247490345&idx=1&sn=153891

13、2bb323c19e608377f101e8a49f&chksm=ea5cd64fdd2b5f59066c1bbd8f931abbf4107e06c934e315a756c3b94ba8fae756cd9de754e1&scene=21 l wechat_redirect t _blank Flow control/Data TriggerTime Trigger4、調(diào)度系統(tǒng)調(diào)度方式5、調(diào)度系統(tǒng)什么是Gateway?參與天網(wǎng)調(diào)度的資源。 數(shù)據(jù)同步(dataX, DBSync,TimeTunnel2) 數(shù)據(jù)上傳/下載(hadoop fs put/get/getmerge) 日志收集 Hive s

14、ql語句提交運行 MapReduce程序提交運行 集群間數(shù)據(jù)同步(hadoop distcp)6、調(diào)度系統(tǒng) Gateway規(guī)模及規(guī)劃用于生產(chǎn)的Gateway約30臺，由天網(wǎng)調(diào)度統(tǒng)一進(jìn)行任務(wù)分發(fā)，并行控制。數(shù)據(jù)同步(dataX, DBSync,TimeTunnel2)數(shù)據(jù)上傳/下載(hadoop fs put/get/getmerge)日志收集Hive sql語句提交運行MapReduce程序提交運行集群間數(shù)據(jù)同步(hadoop distcp)7、調(diào)度系統(tǒng)gateway standardization8、調(diào)度系統(tǒng)Dynamic LB實現(xiàn)9、調(diào)度系統(tǒng)優(yōu)先級策略(實現(xiàn)）10、調(diào)度系統(tǒng)優(yōu)先級策略(意義

15、)11、調(diào)度系統(tǒng)監(jiān)控全景 HYPERLINK /s?_biz=MzI2MTIzMzY3Mw=&mid=2247490126&idx=2&sn=8538241c9eb1a4c61bcb2341261561bd&chksm=ea5cd728dd2b5e3eaa0904e3107457cc12b4bfaedc86d35dc5378f0e273e2e6ecc5b6509cced&scene=21 l wechat_redirect t _blank 四、元數(shù)據(jù)應(yīng)用面對上面的問題，靠經(jīng)驗豐富的架構(gòu)師？還是靠智能的分析系統(tǒng)？1、挖掘元數(shù)據(jù)金礦2、基于元數(shù)據(jù)的開發(fā)平臺自動生成代碼/集成開發(fā)平臺自動定位輸入/自動代碼優(yōu)化/自動部署/自動調(diào)度配對分析/熱點分析/字段變更影響/轉(zhuǎn)換軌跡元數(shù)據(jù)3、基于元數(shù)據(jù)的分析平臺運行分析系統(tǒng)4、基于元數(shù)據(jù)的分析平臺分析策略概覽5、基于元數(shù)據(jù)的分析平臺運行數(shù)據(jù)收集6、基于元數(shù)據(jù)的分析平臺宏觀分析策略7、基于元數(shù)據(jù)的分析平臺定位系統(tǒng)瓶頸每個環(huán)節(jié)的吞吐能力都是動態(tài)變化的。在某個特定時間區(qū)間內(nèi)，整個系統(tǒng)的吞吐能力由吞吐能力最小的一個環(huán)節(jié)決定。如果需要發(fā)現(xiàn)系統(tǒng)的短板，需要對每個環(huán)節(jié)的吞吐曲線繪制出來。針對系統(tǒng)的短板進(jìn)行重