3-4 弓子介-從螞蟻集團數據庫演進之路看未來數據庫的選擇-24正式版

庫演進之路據庫的選擇弓子介(泓影)泛

聯網&海外架構師負責人每日免費獲取報告1、每日微信群內分享7+最新重磅報告；2、每日分享當日華爾街日報、金融時報；3、每周分享經濟學人4、行研報告均為公開版，權利歸原作者所有，起點財經僅分發(fā)做內部學習。掃一掃二維碼關注公號回復：研究報告加入“起點財經”微信群。。第一篇Ocean十年OceanBase發(fā)展歷程

構架演進1.0時代：堅定走向分布式架構2.0時代原生分布3.0時代：合引擎、混合部署4.0時代：分布式一體化架構20102013201420162020212022產品立項擴大使用范圍核心交易上線全業(yè)務覆蓋獨立商業(yè)化規(guī)?；茝V公有云走向海外第一個用戶多個業(yè)務系統支付寶交易金融級核心業(yè)務核心核心HTAP引擎TPC-C7.07億走向通用行業(yè)、更多頭部客戶核心系統TPC-H1526萬社區(qū)版發(fā)布試點海外客戶單機分布式一體化架構公有云上線公有云北美站點開服萬批量處理，企業(yè)級特性，HTAP支付寶早期技術架構（20

4年-2008年）2004年2008年支付寶誕生的第一筆擔保交易闖天下棧：webx系統1系統2系統3技術棧：IOEOracle主備切換Oracle支付寶早期技術架構（20

8年-2014年）雙11秒級支付峰值SOA化2014年)技術棧：SofaStack業(yè)務推進交支付賬務垂直拆分雙11秒級支付峰主備切換主備切換支付主庫支付備庫賬務主庫賬務備庫易備庫3交易備庫4200920102011技術棧：IOE規(guī)模化運維帶來的挑戰(zhàn)磁盤容量告警實例部署7*24oncallOracleDBA時間碎片化響應時間CPU使用率告警表太大了，不敢做DDL了抖了主備延遲了連接數不夠了數據庫升級SQLReview機器又down機了，快切SQL調優(yōu)幸福感我拆表支付寶技術架構重大轉折點2015年527大規(guī)模癱瘓事件第二篇Ocean心亮點100據庫OceanBase數據庫產品架構Paxos協議

+無共享架構

+三副本署為三/五個Zone，每個Zone由多個服務器組成,基于Paxos分布式協議的高效高可O<30秒，實現切換DBA無人值守數據庫內核級虛擬化，滿足數據安全隔離的于業(yè)務畫像的可伸縮計算資源，同時通過打散實現混部。大集群：將長尾應用的多實例MySQL/Oracle統一進行管理，有效提高資源密度，消除存儲碎片。運維：通過整合運維對象由實例轉變?yōu)榧海档瓦\維成本，提高單兵人效比。核心優(yōu)勢-極致水平可擴展在線擴容（應用無感知），ZONE內增加OB節(jié)點/加每個高可用域（ZONE）的的數量OBServerOBServerOBServer增加資源單元P1P1P1P2P4P2P4P2將表/表分區(qū)的各個副本重均衡新增加的ObServer節(jié)點P3P3P3P4OBServerOBServerOB?

物理拷貝，每節(jié)點>500MB/s?

無需重新hash每條記錄P5P5P6P8P6P8P7P7?

應用無感知，無需像分庫分表那樣對應用配合大量改造OBServer（新增）OBServer（主副本

?

同樣支持在線縮容PPP6P2從副本ZONE1ZONE2Z核心優(yōu)勢-平滑高可用/容災切換OceanBase內部自動切換、無需人工干預和復雜決策流OBServerZ3-1上的P1/P2/P4和Z3-2上的P5/P6/P7均是從副本，它們各自剩下的1主1從兩個副本依然構成多數派，不影響業(yè)務；?

寫事務到達超過半數庫OOBServerZ3-1?少數庫異常不影響業(yè)務P1P2?

兩地三中心多活?

灰度升級P3P4ZONE3機房整體故障，OBServerZ3-1和Z3-2全部Crash！rverZ2-2OBServerZ3-2基于Paxos協議的典型多副本(三副本或以上)部署P5P7P5P6P6?

數據強一致性?

持續(xù)可用P8P7P8P3?主備自動切換，對上層業(yè)務透明的兩個原從副本、P8的兩個原從副各自本paxos協商出1個新的主副本提供服務?

單機、機房、城市級故障：OB內部自動故換，不停服務（

RTO<30秒），不丟任何數（RPO=0）E1ZONE2ZONE3核心優(yōu)勢-計算資源整合和存儲成本下降計算密度提升5倍下降到1/5AZ

1AZ

2AZ

3e

Cluster

(5

tenants)

x

1OB

node1?MySQL

x

5tenant

1leaderfollowerfollowertenant

3tenant

4leaderfollowerfollowerfOceanBase1TBfollowerMySQLdatabase5TBPhysicalServerPhysicaSer?DBaSS能力，租戶隔離(cpu/mem機器資源充分利用按需分配資源(升配迅速)讀寫能力都可以放在從節(jié)點上???存儲成本至少省80%以上數據編碼機制以及l(fā)sm存儲架構無性能損耗???OceanBaseP2架構APPAPPAPP鍵設計OBProxyOBProxyOBProxy部，數據鏈路無LoadBalance設備。節(jié)點具備承擔所有角色的可能。架構優(yōu)雅，部署PC通訊。性協議更換：Raft->Paxos多租戶：實現數據庫內核級虛擬化，滿足數據安全隔離的同時提供基于業(yè)務畫像的可伸縮計算資源，同時通過Leader打散實現混部。OceanBase存儲引擎增量

MemTable(WOS)ROWCacheGetSmall-QueryUpdate鍵設計Row-LevelIn-MemoryRedo/MVCCLogs儲引擎，未采用RocksDBIn-MemoryHashIn-MemoryB+-TreesBlockCacheScanBig-Query塊是數據的組織單元，宏塊則由微塊組成。作時，可以在宏塊和微塊兩個級別判斷，是否可MemoryDiskReplicas轉儲

SSTable合并：用多副本來解耦

Compact操作和同時段的查詢操，避免磁盤

I/O上的競爭。多個轉儲版本WritePath??IO隔離：控制UserIO/SystemIO，減少對前臺請求影響MemoryMemtableMemoEncoding：按行存儲，按列編碼，類似GooglePAX行列混合存儲，一套存儲支持TP/AP。MDiskDiskTabletLogSSTable1TabletLogSSTable1SSTable2?CheckSum：三副本compaction的checksum，防止靜默錯誤。?1.Write2.FlushctOceanBaseSQ引擎描鍵設計SQLstatementApplicationSQLCompiler套Parser，兼容MySQL5.7;Oracle11g大的節(jié)省語句的執(zhí)行時間,幾ms->幾百us同的實現秒級的

SQL限流、綁定。ParserSQLExecutionParseTreeResolverStmtFastParser計劃灰度演進，確保永遠往好的計劃演進，不會出現代價模型選錯計劃。QueryTransfACS：典型的大小賬號場景：存在數據傾斜，不同的參數對應不同計劃的問題，

實現了自適應計劃匹配。misshit?大查詢隊列：查詢隊列優(yōu)先級區(qū)分隔離，防止大查詢將實例打爆PlanCacheC1

C2nAddtocachePhysicalPlanCodeGenOceanBase數據復

-Paxos鍵設計Client本質的區(qū)別，在于是否允許日志空洞。

Raft許空洞。

Multi-Paxos允許日志空洞存在，應境，更為魯棒。StateStateStaMaMachinePaxosModuleMachinePaxosModule一次Clog（Tidb：raftlog/rocksdblog）A=1B=2A=1

B=2LogA=1B=2A=1

B=例：順序投票策略對于主庫的負面影響比較嚴重：出于性能提升的原因，數據庫的多版本并發(fā)控制（MVCC）使得不存在相互關聯的事務得以并發(fā)處理，但上述順序投票策略使得事務#5-#9可能被毫不相干的事務#4阻塞，且必須hold在內存。12345#1-#3為已經持久化和應答的事務日志#5-#9為已經收到但卻不能持久化和應答的事務日志#4為未收到的事務日志。第三篇OceanOceanBase工具體系OceanBase工具體系為

OceanBase數據庫從替換前、遷移中和使用后的不同階段提力業(yè)務穩(wěn)定增長。01

評估改造02

實時遷移03

開發(fā)管理0406

安全管控07

診斷自治自動采集數據庫畫像兼容性評估對象遷移全量遷移數據校驗連接管理對象管理導入導出權限管理安全協同操作審計變更管控全鏈路監(jiān)控SQL診斷自動轉換回放壓測增量遷移增量回寫開發(fā)調試抽取容量管理自動優(yōu)化自動恢復分布式改造數據訂正數據可視化模擬數數據過濾數據脫敏安全治理智能運維遷具

OM開發(fā)者工具

ODC運維管理工具

OCP遷移評估工具

OMA產品優(yōu)勢產品架構全方位采集分析支持直連到指定數據庫或者通過

OMA

提供的數據庫采集器，來自動獲取和掃描源源端數據庫系統中全部數據庫對象以及自定義范圍的

SQL語句；提供兼容性評估分析、遷移可行性分析和風險分析。評估數據庫/應用畫像源碼評估修改適配PL

改造配置推薦智能改造方案對接數據庫遷移針對未完全兼容的場景，OMA

會基于

OceanBase

多年沉淀的核心業(yè)務遷移以及大規(guī)模驗證的轉換方案最佳實踐，提供遷移至

OceanBase數據庫的分布式改造方案。告遷移計劃改造優(yōu)化OceanBase業(yè)務壓測驗證負載評估性能報告多種數據庫和對象支持流量回放支持評估

Oracle、MySQL、PostgreSQL、TiDB

和

DB2

LUW

等流數據庫的常用版本與

OceanBase

數據庫的兼容性，包括

TabIndex、View、Sequence、Synonym、Function、ProcePackage、…SQL

優(yōu)化SQL/PL

改寫安全可靠通過連接源端數據庫進行深度采集分析，生成源庫的數據庫畫像，方便用戶了解目前數據庫的拓撲數據庫的整體負載，會話情況，熱點數據和特殊表分析，以便制定相應的遷移策略。無需修改體統配置，極大降低對源端業(yè)務系統開銷。針敏感信息提供自動過濾和脫敏處理策略，最大程度保障用產安全。：支持連接到指定數據庫，自動獲取和掃描源數據庫對象以及

SQL

語句，也支持從客戶端工具連接到指定DDL

語句進行評估。OMA

還支持解析代碼框架或負載捕獲等離線文件中的

SQL

語句，對其兼容性進行評估。估報告以及轉換建議：評估完成后，OMA

會自動生成詳細的評估報告，包括兼容性評估結果和性能評估結果、數據以及分布式遷移可行性分析和風險分析，方便用戶根據評估結果改造計劃制定遷移方案。數據遷移工具

OMS產品優(yōu)勢產品架構一站式服務數據轉換抽取過濾OracleKafka提供數據傳輸的全生命周期管理，支持語法轉換，數據轉換，任務管理等功能，提供遷移評估、數據遷移、數據訂閱、數據校驗等產品形態(tài)，從而方便客戶輕松上“OceanBase”,

并滿足企業(yè)客戶的多樣化需求。RocketMQDataHubMySQL/M數據同步消息訂閱AnalyticDBMySQL簡潔高效容災雙活灰度切流提供可視化，所見即所得

Web

管控平臺，輕松完成數據傳輸項目的創(chuàng)建、任務配置和傳輸組件的監(jiān)控運維，以及鏈路維護和故障診斷等便捷的操作，并提供多種保護級別支持定制化配置，提供實時的監(jiān)控報警。OracleDDL

同步DML過濾…靈活化基于實際業(yè)務場景，客戶可以靈活選擇合適的遷移、同步類型和功合成不同的解決方案。同時提供多樣性的部署模式及靈活的橫向收縮能力，保障滿足延遲敏感客戶的業(yè)務需求。將Oracle、DB2

LUW等多種異構數據庫在線遷移至

OceanBase

數據庫，完成切換后支持數據庫上所有的變更數據反向同步至源端數據庫。高性能步：支持

OceanBase

與自建

Kafka、RocketMQ

之間的實時數據同步，支持數據過濾，提供完備的能力，廣泛應用于實時數據倉庫搭建、報表分流等業(yè)務場景。OMS

使用多并發(fā)、并行復制和壓縮加密傳輸等技術能擁有優(yōu)異的傳輸性能。數據全量遷移可達

38萬

RPS（每秒增量同步至目標表的數據行數），增量數據同步可高達校驗可達

66萬RPS，從而提供穩(wěn)定的秒級傳輸服務。式交互：提供數據遷移過程的全生命周期管理，在管控界面上完成數據遷移和數據同步任務的創(chuàng)建、配置、監(jiān)控和管理，交互簡單方便。?

多重數據校檢：多種方式的數據校檢和保護，全面高效的保證數據正確性，展示差異數據，提供快速修復能力。開發(fā)者工具

ODC產品優(yōu)勢產品架構開發(fā)者管理員量身定制ODC

是為

OceanBase

量身定制的開發(fā)平臺，其提供的表、視圖、函數、存儲過程、程序包、觸發(fā)器、類型和同義詞等對象可視化管理的能力是完全根據OceanBase

的內核能力定制，適配性好，體驗更佳。云平臺管控協同用戶角色資源管理變更流程操作審計生產變更權限管理風險規(guī)則流水線輕松上手OceanBaseODC

整體風格簡潔明了，通過逐步引導，可快速進行表、視圖、函數、存儲過程、程序包、序列、觸發(fā)器、類型和同義詞等對象的開發(fā)與管理工作。數據脫敏開發(fā)集成豐富的工具集能力數據源適配任務框架對象管理

SDK連接管理配置框架ODC

內置了一系列工具來輔助開發(fā)，如代碼片段、執(zhí)行計劃分析、模審計框架會話管理、回收站管理、導入與導出等。多形態(tài)跨平臺ODC

支持客戶端版和

Web

版，其中客戶端版可在

W安裝。Web

版支持在

Linux

平臺上部署，支持

X86完整的數據對象和數據類型，引導式流程創(chuàng)建數據庫對象，可視化對象修改，支持回收站機制。：通過

WebSQL

幫助開發(fā)人員使用

OceanBase

的各種特性和功能，支持

MySQL

和

Oracle

語法

高亮、格式示、友好的

snippets

等特性，提供類似

Excel

的可視化數據編輯能力。出：為

OceanBase

量身打造的高效數據導入導出工具，具備動態(tài)負載均衡和斷點恢復等能力。全審計：支持

14

類審計事件，確保安全合規(guī)，重要事件可追蹤，審計報告可下載。流程管控：根據任務類型限制用戶發(fā)起的變更內容、定制不同的審批流程，達到數據庫變更安全的作用。運維管理工具

OCP產品優(yōu)勢產品架構“監(jiān)控

-

告警

-

診斷”一體化診斷第三開源高可用監(jiān)控客戶自研OCP

支持多集群、多可用區(qū)的部署模式。增強了對

OceanBase

主備、跨城集群的運維管理能力，即保障了災難發(fā)生時

OceanBase

集群穩(wěn)定，也實現運維管理的高可用性。性能報告

OBAR數據庫監(jiān)控診斷告警應急·整體概要總結系統活動情況SQL運行狀況緩存與隊列等待信息參數配置總計超過

400+項監(jiān)控指標·eb

管控臺化運維管理平臺·安全··OCP

提供了基于用戶角色的權限隔離機制，保障了資源的使用安全，OCP還提供了對所管理資源的企業(yè)級監(jiān)控、告警、巡檢、自治等功能，實時守護集群的運行安全?！み\維管控自治服務生態(tài)對接部署、升級、擴縮容、備份恢復、配置變更等全生命周期管理的全自動化運維。P2自感知

｜

自擴容

｜

自優(yōu)化

｜

自安全OCP

提供了開放

API，支持生態(tài)用戶通過標準的

API

接口使用

OC資源，同時

OCP

的監(jiān)控、告警等數據，支持無縫對接到用戶統一平臺，降低用戶的運維復雜度。ODP3簡單易用ase

集群，租戶，主機，軟件包等資源對象的全生命周期管理，包括管理，安裝、運維、性能監(jiān)控、控及告警設置，支持所有資源對象不同維度，實時準確的監(jiān)控告警需求，支持自定義告警，滿足定制化的告支持集群和租戶表級別全量備份、增量備份及日志備份，支持周期性備份任務、多地備份，支持在備份周期內任意OCP

基于

Web

的可視化管理能力，將復雜困難的作，通過產品能力實現標準化、自動化，用戶可通過簡