阿里電商數(shù)據(jù)庫上云實(shí)踐

1、技術(shù)創(chuàng)新，變革未來阿里電商數(shù)據(jù)庫上云實(shí)踐目錄阿里巴巴電商數(shù)據(jù)庫應(yīng)用場景介紹數(shù)據(jù)庫管控演進(jìn)數(shù)據(jù)庫上云的選擇與思考 未來展望阿里業(yè)務(wù)特性介紹RDS高可用版Master部分業(yè)務(wù)使用RDS高可用版，采用一主多備模式實(shí)例無法做到RPO=0SlaveRORO阿里業(yè)務(wù)特性介紹RDS三節(jié)點(diǎn)企業(yè)版（一）目標(biāo)解決RPO=0理論依據(jù)CAP原則 or BASE理論一致性(C)、可用性(A)、分區(qū)容忍性(P)實(shí)現(xiàn)方式MySQL半同步MySQL Group ReplicationRDS自研實(shí)現(xiàn)協(xié)議Paxos協(xié)議 or Raft協(xié)議?阿里業(yè)務(wù)特性介紹RDS三節(jié)點(diǎn)企業(yè)版（二）Why Paxos，No Raft？Paxos角色

2、介紹ProposeAcceptLearnRDS三節(jié)點(diǎn)角色轉(zhuǎn)換Propose LeaderAccept Follower/LoggerLearn LearnerLeaderFollowerLoggerLearner阿里業(yè)務(wù)特性介紹業(yè)務(wù)異地多活異地多活具備Region級別逃逸能力用戶可以在任意單元進(jìn)行交易意義：水平擴(kuò)展能力異地容災(zāi)能力問：RDS如何應(yīng)對？中心單元1單元2中心DB單元DB1單元DB21.按照規(guī)則分流2.單元自封閉3.呈星裝復(fù)制阿里業(yè)務(wù)特性介紹一數(shù)據(jù)庫異地多寫阿里業(yè)務(wù)特性介紹數(shù)據(jù)庫異地只讀異地只讀Learner全量數(shù)據(jù)Learner不影響Pasox協(xié)議每個Learner都有災(zāi)備節(jié)點(diǎn)基于

3、數(shù)據(jù)庫原生復(fù)制一致性高展望MaxScale數(shù)據(jù)庫管控平臺定義系統(tǒng)性復(fù)雜性可用性阿里數(shù)據(jù)庫管控平臺架構(gòu)演進(jìn)(一)2003年從系統(tǒng)管理員(SA)中漸漸細(xì)分出數(shù)據(jù)庫管理(DBA)職業(yè)DBA手工運(yùn)維2006年開始使用Nagios、Cacti等開源工具2009年阿里開始自主研發(fā)第一代運(yùn)維系統(tǒng)“北斗”，替換Nagios、Cacti等開 源工具阿里數(shù)據(jù)庫管控平臺架構(gòu)演進(jìn)(二)2010年阿里巴巴開始進(jìn)行去IOE工作阿里第一代MySQL運(yùn)維系統(tǒng)誕生“天機(jī)”，主要面向監(jiān)控、可用性、 備份2013年隨著業(yè)務(wù)規(guī)模不斷擴(kuò)大阿里第二代MySQL運(yùn)維系統(tǒng)誕“DBFree”主要面向自動化MySQLMySQLMySQL控制臺M

4、ySQL阿里數(shù)據(jù)庫管控平臺架構(gòu)演進(jìn)(三)2016年阿里第三代數(shù)據(jù)庫運(yùn)維系統(tǒng)“DBPaaS”誕生，滿足異地多活、混合 云等業(yè)務(wù)需求2018年底層IaaS上云，使用云資源2020年阿里電商數(shù)據(jù)庫全面開始上云，使用云管控核心數(shù)據(jù)庫（交易、購物車、商品、優(yōu)惠等）及核心鏈路采用云數(shù) 據(jù)庫專屬集群（MyBase）模式，基于云原生數(shù)據(jù)庫構(gòu)建上萬個節(jié)點(diǎn) RPO=0上云方案選擇數(shù)據(jù)上云方案選擇數(shù)據(jù)上云方式對比最終選擇物理遷移方式上云邏輯遷移物理遷移方式Mysqldump/DTSXtraBackup效率低高數(shù)據(jù)對象平滑性中高數(shù)據(jù)一致性中高權(quán)限低高上云方案選擇網(wǎng)絡(luò)方案選擇網(wǎng)絡(luò)特性對比思考數(shù)據(jù)雙向流動、性能結(jié)論ENI

5、+MyBase勝出方案優(yōu)點(diǎn)缺點(diǎn)ALB成熟方案經(jīng)過ALB，不符合極致性能要求NGLB解決ALB痛點(diǎn)1、首包經(jīng)過XGW，在0點(diǎn)場景可能會有問題；2、暫時不支持ECSENI標(biāo)準(zhǔn)云產(chǎn)品，性能好不支持物理機(jī)ENI+RDS暫無產(chǎn)品ENI雙向聯(lián)通存在安全風(fēng)險ENI+MyBase1、應(yīng)用、數(shù)據(jù)庫在同一網(wǎng)絡(luò)平面2、中間沒有代理層效率高管控和用戶是兩個IP，管控需要實(shí)現(xiàn)上云方案選擇網(wǎng)絡(luò)拓?fù)鋱D上云方案選擇裸金屬服務(wù)器（一）上云方案選擇裸金屬服務(wù)器（二）分鐘級交付， 資源彈性兼容VPC/SLB/RDS等云盤啟動+掛 載云盤兼容虛擬機(jī) 鏡像物理機(jī)的性 能+隔離性虛擬機(jī)VNC/ 控制臺/OpenAPI體 驗(yàn)宕機(jī)遷移恢 復(fù)

6、免人肉自動 運(yùn)維上云方案選擇機(jī)器對比功能分類功能裸金屬物理機(jī)虛擬機(jī)KVM運(yùn)維自動化分鐘級交付YNN計算無性能損失/無資源爭搶/無特性損失YYN存儲完全兼容云盤使用云盤啟動/系統(tǒng)盤快速重置/免安裝OS/任 意OS 鏡像物理機(jī)和虛擬機(jī)之前相互冷遷移 免本地RAIDYNY網(wǎng)絡(luò)兼容ECS經(jīng)典網(wǎng)絡(luò)/兼容ECS VPC網(wǎng)絡(luò)YYY物理機(jī)集群和虛擬機(jī)集群VPC無通信瓶頸YNYECS管控完全兼容ECS現(xiàn)有管控 VNC等用戶體驗(yàn)保持一致 帶外網(wǎng)絡(luò)安全YNY上云方案選擇存儲選擇功能擴(kuò)展性云盤本地盤磁盤上限32T6T分鐘級備份YN分鐘級實(shí)例CloneYN分鐘級實(shí)例跨Region CloneYN數(shù)據(jù)在線擴(kuò)盤YN磁盤IO

7、PS可配置YNMySQL原子寫YN可靠性高中分布式存儲PODES S DPODES S DECS上云方案選擇異地只讀(GDN）現(xiàn)狀各Region獨(dú)立解決方案Global Database Network上云方案選擇充分利用MyBase特性分布式存儲FollowerLeaderLearnerLeaderFollowerLeaderFollowerLearner分布式存儲分布式存儲分布式存儲分布式存儲分布式存儲分布式存儲分布式存儲BinlogBinlog親和、交叉、超賣、彈性計算節(jié)點(diǎn)計算節(jié)點(diǎn)Binlog上云方案選擇最終形態(tài)特性描述自建數(shù)據(jù)庫RDSMyBase高可用數(shù)據(jù)庫主備架構(gòu)，高可用性保障，宕機(jī)

8、自動切換、修復(fù)有門檻支持支持高可靠數(shù)據(jù)庫多副本保障、數(shù)據(jù)同步可調(diào)一致性保障（RPO優(yōu)先）、三節(jié)點(diǎn)企業(yè)版RPO=0保障不支持支持支持高性能內(nèi)核性能提升：相比開源版本MySQL（1.5x)Redis(3x)不支持支持支持高安全SSL鏈路加密、TDE落盤加密、審計日志體系等，保障事前，事中，事后的數(shù)據(jù)庫安全有門檻支持支持運(yùn)維能力備份恢復(fù)、監(jiān)控報警、智能運(yùn)維診斷等全套數(shù)據(jù)庫運(yùn)維解決方案不支持支持支持自主可控開放OS、數(shù)據(jù)庫完整權(quán)限；開放數(shù)據(jù)庫管控平臺標(biāo)準(zhǔn)化底層接口；用戶可深度自定義數(shù)據(jù)庫管理邏輯支持不支持支持混部混合部署MySQL、Redis等，并提供云數(shù)據(jù)庫管理特性支持不支持支持（計劃）資源調(diào)度用戶專屬一片物理主機(jī)資源池，可自定義實(shí)例分配、分布策略，高度適配業(yè)務(wù)需求有門檻不支持支持超配能力用戶物理資源100%隔離，支持CPU、內(nèi)存(Redis)、空間等資源的超配不支持不支持支持總結(jié)業(yè)務(wù)雙十一期間交易額4982億，高峰訂單58