阿里第四代數(shù)據(jù)庫架構最佳實踐

1、阿里第四代數(shù)據(jù)庫架構最佳實踐技術創(chuàng)新 變革未來雙十一業(yè)務場景6195319136257191212071682？2009 2010 2011 2012 2013 2014 2015 2016 2017 2018歷年雙十一銷售額匯總42000400 1000 32001400080000120000175000325000？2009 2010 2011 2012 2013 2014 2015 2016 2017 2018歷年雙十一秒級峰值匯總阿里數(shù)據(jù)庫體系的演進A liS Q L2005 20102010 20132013 2017X -D B 2017 ? MyS Q LO racle阿里第四

2、代數(shù)據(jù)庫概述10倍的MySQL寫入性能，百萬 TPSMySQL 1/10存儲成 本兼容MySQL高可用高性能高擴展X-DB生態(tài)的組成X -D BX -E N G IN EX -P A X O SX -D river X -K VE tc . X-DB 高可用的核心：X- PAXOS阿里巴巴自研 PAXOS基礎庫工業(yè)級高吞吐賦能所有分布式系統(tǒng)X-PAXOS架構 Pu tL o g En try O n C o m m it G etIn fo A d m in C o m m an dX -P axo sX -P axo sL o gM o d u leM anagem ent M od ule

3、M eta M od uleLead er E lection M od uleX -P axo sA lg o rith m M o d u leS ynchronous Transp ortN etw o rk L ayerN et (lib easy)S ervice L ayerTim er S cheduling S erviceA sync Tim er S erviceW orker P oolX-PAXOS部署形態(tài)APP X -D R IV E RLead erFolow erlogerAPP X -D R IV E RFolow erlogerlearnerA Z 1A Z

4、2A Z 3A Z 7A Z 5A Z 6R eg io n 1R eg io n 2R eg io n 3Multi-Region 部署真正region級強一致單個region不可用不丟數(shù)據(jù)重新定義角色可自由調(diào)節(jié)AZ的節(jié)點角色多種角色提供強一性讀高性能跨Region強同步依然保持高性能靈活的切換策略優(yōu)先切換同Region定制跨Region切換順序高伸縮性可無限擴充Region/AZ的部署數(shù)量和節(jié)點數(shù)p1 p2 p3p1 p2 p3iii+1p1 p2 p35675576windowwindow亂序接收日志亂序確認順序，異步化提交67BatchingPipeliningLog ReorderX

5、-PAXOS性能優(yōu)化X-PAXOS性能表現(xiàn)9700030000040000240000050000100000150000200000250000300000350000INSERTOLTPQPS3.4322725051015202530INSERTOLTPRT（單位：ms）DB vs MySQL 5.7 GR三節(jié)點同IDC部署，sysbench標準化測試，1000線程Insert場景，X-DB是MySQL Group Replication 的2.4倍X-PAXOS性能表現(xiàn)DB vs MySQL 5.7 GR三節(jié)點三地部署，sysbench標準化測試，1000線程Insert場景，X-DB（

6、5.04萬）是MySQL GR（0.85萬）的5.94倍響應延時X-DB（58ms）是MySQL GR（150ms）的38%503662650008481105000050000100000150000200000250000300000INSERTOLTPQPS(Cross City：30 ms)1509858304050100150200250300350INSERTOLTPRT(單位：ms)X-DB高性能的保證：X- Engine高性能BatchGroup & Pipeline CommitLock Free & Latch FreeAdaptive Concurrency Contro

7、lCompaction offload FPGA低存儲成本Layered StorageAdaptive Data Lifecycle ManagementHybrid Row-Column StoreAdaptive Encoding & Compression為高性能低成本設計：自研X-Engine存儲引擎核心一：數(shù)據(jù)自動冷熱分層核心二：基于數(shù)據(jù)分層架構下的計算和存儲優(yōu)化10倍的MySQL寫入性能，百萬TPSMySQL 1/10存儲成本高性能：X-Engine架構高性能：FPGA加速高性能：性能比對RACKRACKRACK12817182433344091016252632411748數(shù)據(jù)

8、庫計算集群交換機交換機交換機交換機DB 25G專有域APP跨域交換機25G TCP/RDMA25G TCP/RDMAX-DB架構的演進數(shù)據(jù)庫存儲集群User SpaceKernel SpaceVFSX-DBext4syscallBlock layerVirtual blocksocket/shared memoryUser SpaceX-DBDistributed Storage用戶態(tài)文件系統(tǒng)Librbd/SDKKernel Pass-byRDMA/mTCP+DPDKDistributed StorageLibrbd/SDK用戶態(tài)文件系統(tǒng)性能無限擴展：一寫多讀性能無限擴展：Table Part

9、ition性能無限擴展：動態(tài)計算節(jié)點擴容D ATAFolow er X -D BP4 PN P4 PN P4 PN P4 PN P2 P3 P2 P3 X -S E R VE RP1 X -S E R VE RP1 X -S E R VE RP1 Lead erX -S E R VE RP1 P2 P3 P2 P3 APP X -D R IVE RAPP X -D R IVE RAPP X -D R IVE RAPP X -D R IVE R性能無限擴展：動態(tài)計算節(jié)點擴容D ATAFolow erP2 P4 X -D BPN P2 PN PN PN P4 P4 P4 P3 P2 P3 P3 P2 P3 X -S E R VE