金融云分布式數(shù)據(jù)庫TDSQL技術(shù)架構(gòu)

1、金融云分布式數(shù)據(jù)庫TDSQL技術(shù)架構(gòu)技術(shù)創(chuàng)新 變革未來TDSQL簡介目錄CONTENTSTDSQL架構(gòu)與分布式方案TDSQL分布式事務(wù)處理分布式事務(wù)處理技術(shù)金融級(jí)云數(shù)據(jù)庫解決方案（CDB for TDSQL）面向金融類業(yè)務(wù)，十年積累，億級(jí)賬戶驗(yàn)證騰訊公司內(nèi)與計(jì)費(fèi)、充值、轉(zhuǎn)賬、財(cái)務(wù)等核心系統(tǒng)90%以上都使用TDSQL！2002騰訊SP業(yè)務(wù)原生MYSQL2004增值業(yè)務(wù)分庫分表手工伸縮2008業(yè)務(wù)爆炸一致性、7X24可用性2010騰訊計(jì)費(fèi)超高并發(fā)超短時(shí)延2012米大師，騰訊 充值更名TDSQL2015騰訊云金融云2014WeBank私有化部署5TDSQL 數(shù)據(jù)庫的特點(diǎn)基于OLTP場景永不停機(jī)、高一

2、致性數(shù)據(jù)庫集群基于MySQL生態(tài)MySQL100%兼容6TDSQL 數(shù)據(jù)庫的特點(diǎn)跨機(jī)房部署網(wǎng)絡(luò)故障不影響業(yè)務(wù)數(shù)據(jù)強(qiáng)同步主備數(shù)據(jù)完全一致三重保障集群內(nèi)保障3套節(jié)點(diǎn)，單 點(diǎn)故障整體穩(wěn)定金融級(jí)安全支持物理專享，支持?jǐn)?shù) 據(jù)庫審計(jì)，支持加密等可用性：99.999%數(shù)據(jù)可靠性：99.99999%7TDSQL 數(shù)據(jù)庫的特點(diǎn)性能卓越安全可靠高一致性高可用性彈性容量TDSQL簡介目錄CONTENTSTDSQL架構(gòu)與分布式方案TDSQL分布式事務(wù)處理分布式事務(wù)處理技術(shù)數(shù)據(jù)庫部署架構(gòu)數(shù)據(jù)庫節(jié)點(diǎn)組(SET)由MySQL數(shù)據(jù) 庫、監(jiān)控和信息采集模塊組成一主 二從數(shù)據(jù)庫節(jié)點(diǎn)。調(diào)度集群作為集群的管理調(diào)度中心， 主要管理數(shù)據(jù)

3、庫節(jié)點(diǎn)組、接入網(wǎng)關(guān) 集群的正常運(yùn)行接入網(wǎng)關(guān)集群賬號(hào)鑒權(quán)、管理連接、SQL解析、分配路由分布式文件系統(tǒng)(HDFS)提供數(shù)據(jù)災(zāi) 備服務(wù)，提供至少3份備份異地容災(zāi)數(shù)據(jù)庫節(jié)點(diǎn)組部署在主節(jié) 點(diǎn)以外的異地機(jī)房。910數(shù)據(jù)庫核心架構(gòu)11數(shù)據(jù)分布TDSQL分布式方案（自動(dòng)擴(kuò)容）網(wǎng)關(guān)set 00G G0G1G255擴(kuò)容網(wǎng)關(guān)G G0G1G255Set 00Set 01Set Set 25513實(shí)時(shí)在線自動(dòng)擴(kuò)容DCDB的整個(gè)遷移過程采用：移存量數(shù)據(jù)、遷移增量數(shù)據(jù)、數(shù)據(jù)檢驗(yàn)、再追增量、切換路由、清理六個(gè)步驟循環(huán)迭代進(jìn)行。該能力經(jīng)過騰訊內(nèi)部近千個(gè)業(yè)務(wù)驗(yàn)證，至今未發(fā)生過一次數(shù)據(jù)丟失或錯(cuò)誤。14TDSQL強(qiáng)一致原理備備SE

4、TIDC-1IDC-3IDC-2 主42233TDSQL強(qiáng)一致原理（確保沒有臟數(shù)據(jù)）1、主機(jī)可讀可寫，備機(jī)只讀，備機(jī)可以開放給業(yè)務(wù)查詢使用2、任何時(shí)刻同一個(gè)SET不能有兩個(gè)主機(jī)4、重建主備關(guān)系5、修改路由6、請(qǐng)求發(fā)給新的主機(jī)Proxy3,寧愿拒絕服務(wù)，不提供錯(cuò)誤的服務(wù)，追求CAP中的C，必要的時(shí)候犧牲部分ASchedulerSlave 1Slave 2SET1、主DB降級(jí)為備機(jī)2、參與選舉的備機(jī)上報(bào)最新的binlog點(diǎn)3、scheduler收到binlog點(diǎn)之后，選擇出binlog最大的節(jié)點(diǎn)AgentAgentAgentProxySchedulerMasterSlave 26SETAgentA

5、gentSlave 3 Master DB AgentTDSQL強(qiáng)一致原理（恢復(fù)階段不丟失數(shù)據(jù)）A( 主 ) T1,T2,T3C(備) T1,T2B(備) T1C( 主 ) T1,T2,X3,X4B( 備 ) T1,T2,X3,X4A宕機(jī)，C選舉成 新的主 機(jī)C( 主 ) T1,T2,X3,X4A( 備 ) T1,T2,T3,X3,X4B( 備 ) T1,T2,X3,X4C(主)T1,T2,X3,X4D( 備 ) T1，T2,X3,X4B( 備 ) T1，T2,X3,X4重新加入，可能需 要回退部分事務(wù)回退事務(wù)T3Xtrabackup自動(dòng)快速重做增加節(jié)點(diǎn)TDSQL高性能原理Binlog Dum

6、p半同步復(fù)制（同步降級(jí)為 異步）異步復(fù)制18TDSQL高性能原理主備復(fù)制方案（跨IDC）TPS時(shí)耗(ms)異步20,00010半同步2,2004600ms強(qiáng)同步2000010MariaDB Galera Cluster6,000410000msUserThreadDumpThreadIOThreadSQLThreadBinlogwritereadrelaylogSend Transaction(T1) with ACK requestACK(T1)writereadInform(T1)EnginecommitCommit(T1)OK(T1)masterslaveUser ACK ThreadD

7、ump ACK ThreadCommit(T2)Send T2返回應(yīng)答保存 THD回話19TDSQL高性能原理主備備更新索引 QPS：10萬，99%的10ms純select QPS：50萬，99%的 調(diào)度者任意數(shù)量，通常每個(gè)DB實(shí)例配一個(gè)group shard模式解析SQL語句set（1主2備）1個(gè)（noshard)或多個(gè)(group shard)set1:M1, S11, S12; set2: M2, S21, S22agent （每個(gè)DB實(shí)例1個(gè)）監(jiān)控DB實(shí)例，完成集群下發(fā)的任務(wù)網(wǎng)關(guān)支持用戶發(fā)送多條寫入SQL到多個(gè)set小表廣播（一個(gè)基本靜態(tài)的小表復(fù)制到所有set）多行插入語句多行更新刪除所有訪問多個(gè)set的事務(wù)都是分布式事務(wù)內(nèi)部自動(dòng)識(shí)別，對(duì)用戶透明兩