2023中興通訊GoldenDB分布式數(shù)據(jù)庫(kù)架構(gòu)及核心功能

GoldenDB分布式數(shù)據(jù)庫(kù)架構(gòu)及核心功能目錄1分布式數(shù)據(jù)庫(kù)概念3

GoldenDB產(chǎn)品架構(gòu)與核心功能2金融行業(yè)典型案例01分布式數(shù)據(jù)庫(kù)概念數(shù)據(jù)庫(kù)行業(yè)技術(shù)發(fā)展歷史和趨勢(shì)時(shí)間軸1960s1990s2000s2010s2020sIBM/ORACLE推動(dòng)OLTPscale

up擴(kuò)展Google分布式論文發(fā)布電子商務(wù)、互聯(lián)網(wǎng)金融大幅發(fā)展HTAP類數(shù)據(jù)出現(xiàn)融合事務(wù)處理和分析能力數(shù)據(jù)管理系統(tǒng)分析型數(shù)據(jù)系統(tǒng)事務(wù)型數(shù)據(jù)系統(tǒng)NoSQL數(shù)據(jù)庫(kù)出現(xiàn)解決分析性能問(wèn)題事務(wù)型數(shù)據(jù)庫(kù)仍以縱向擴(kuò)展為主分布式事務(wù)型數(shù)據(jù)庫(kù)興起系統(tǒng)架構(gòu)x86架構(gòu)的線性擴(kuò)展必須解決分布式事務(wù)強(qiáng)一致的難題高可靠高性能兩地三中心，滿足監(jiān)管 要求滿足互聯(lián)網(wǎng)金融業(yè)務(wù)的 高并發(fā)高性能要求智能運(yùn)維運(yùn)維復(fù)雜度增加自動(dòng)化運(yùn)維智能監(jiān)控來(lái)源：中國(guó)信通院《金融分布式事務(wù)數(shù)據(jù)庫(kù)白皮書(shū)》技術(shù)挑戰(zhàn)分布式數(shù)據(jù)庫(kù)概念及架構(gòu)演進(jìn)來(lái)源：中國(guó)信通院《金融分布式事務(wù)數(shù)據(jù)庫(kù)白皮書(shū)》概念：分布在一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)上的多個(gè)邏輯相關(guān)的數(shù)據(jù)庫(kù)集合。系統(tǒng)通常是地理上分散而邏輯上集中的數(shù)據(jù)庫(kù)系統(tǒng)，即通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)將地理上分散的各個(gè)局域節(jié)點(diǎn)連接起來(lái)共同組成一個(gè)邏輯上統(tǒng)一的數(shù)據(jù)庫(kù)系統(tǒng)。因此分布式數(shù)據(jù)庫(kù)相比傳統(tǒng)數(shù)據(jù)庫(kù)具有物理分布性以及邏輯整體性的特點(diǎn)優(yōu)勢(shì)：分布式數(shù)據(jù)處理架構(gòu)，有效提高系統(tǒng)性能低成本和靈活擴(kuò)展性好系統(tǒng)的可用性和可靠性強(qiáng)02GoldenDB產(chǎn)品架構(gòu)與核心功能GoldenDB發(fā)展歷程中信銀行核心下移并行仿真上線首個(gè)商用版本中信銀行冠字號(hào)文件數(shù)據(jù)庫(kù)EBASE-MEM分布式數(shù)據(jù)庫(kù)GoldenDB統(tǒng)一門(mén)戶同業(yè)平臺(tái)江蘇銀行后督系統(tǒng)中信銀行統(tǒng)一卡積分江蘇省農(nóng)信互金平臺(tái)2015201620172018200220112007EBASE內(nèi)存數(shù)據(jù)庫(kù)DHSS金融分布式數(shù)據(jù)庫(kù)201420192020中信銀行信用卡核心投產(chǎn)18年技術(shù)積累100%內(nèi)核掌控100+發(fā)明專利銀監(jiān)會(huì)一類成果獎(jiǎng)金融電子化優(yōu)秀自主創(chuàng)新獎(jiǎng)人行科技發(fā)展二等獎(jiǎng)南京市科技進(jìn)步獎(jiǎng)年度優(yōu)秀網(wǎng)信產(chǎn)品基礎(chǔ)軟硬件獎(jiǎng)獲Gartner報(bào)告推薦中信銀行總行核心正式投產(chǎn)(計(jì)劃)GoldenDB領(lǐng)跑國(guó)產(chǎn)數(shù)據(jù)庫(kù)測(cè)試工信部信通院“分布式事務(wù)數(shù)據(jù)庫(kù)”測(cè)試唯一滿分通過(guò)認(rèn)證GoldenDB設(shè)計(jì)目標(biāo)：滿足銀行核心業(yè)務(wù)的關(guān)鍵需求實(shí)時(shí)一致的分布式事務(wù)控制全局事務(wù)管理機(jī)制，確保高并發(fā)下的讀

寫(xiě)一致性和隔離性。已提交事務(wù)回滾機(jī)制，提高應(yīng)用開(kāi)發(fā)的透明性。滿足金融場(chǎng)景的容災(zāi)方案快同步和數(shù)據(jù)庫(kù)分組技術(shù)，確保高并發(fā)下同城RPO=0，RTO<30s，全局

一致的備份恢復(fù)技術(shù)，確保數(shù)據(jù)誤刪除時(shí)能恢復(fù)到任意時(shí)刻點(diǎn)。不停服務(wù)的聯(lián)機(jī)重分布日志回放和凍結(jié)方案，數(shù)據(jù)重分布對(duì)現(xiàn)有業(yè)務(wù)無(wú)影響。分布式隔離級(jí)別，確保鎖影響范圍降低，減少?zèng)_突，提升性能。豐富完善的監(jiān)控和運(yùn)維能力監(jiān)控、統(tǒng)計(jì)和告警設(shè)計(jì)聯(lián)動(dòng)，確保能夠快速感知系統(tǒng)狀態(tài)變化。自動(dòng)化的切換和故障恢復(fù)能力，確保數(shù)據(jù)庫(kù)服務(wù)的高可用。Share-nothing分布式架構(gòu)，各層可線性擴(kuò)展多樣化集群形態(tài)靈活匹配多種業(yè)務(wù)場(chǎng)景：一套GoldenDB集群適配多種業(yè)務(wù)場(chǎng)景，提升資源利用率同時(shí)實(shí)現(xiàn)統(tǒng)一運(yùn)維管理。GoldenDB采用Share-nothing架構(gòu)No-ShardingSharding集群計(jì)算節(jié)點(diǎn)集群GTMNode

1Node

2OMMNode

n…………APP1APP2客戶端接入層APPN…Distribute

Transaction集群…GoldenDB金融級(jí)數(shù)據(jù)強(qiáng)一致解決方案事務(wù)自動(dòng)補(bǔ)償機(jī)制，實(shí)現(xiàn)分布式事務(wù)原子性全局事務(wù)樂(lè)觀鎖，實(shí)現(xiàn)分布式事務(wù)隔離性全局活躍事務(wù)控制，保證數(shù)據(jù)備份恢復(fù)全局一致性事務(wù)理論的分布式延伸DDB1(主)DB2(主)DB3(主)DB1(從)DB2(從)DB3(從)table單機(jī)數(shù)據(jù)庫(kù):保證事務(wù)在事務(wù)內(nèi)(原子性-A)、事務(wù)間(隔離性-I)和故障時(shí)(持久性-D)的一致性(C)。分布式數(shù)據(jù)庫(kù)：將數(shù)據(jù)庫(kù)事務(wù)的ACID理論延伸到分布式架構(gòu)下。A

IC計(jì)算節(jié)點(diǎn)1計(jì)算節(jié)點(diǎn)2計(jì)算節(jié)點(diǎn)3DB日l(shuí)o志gtable單機(jī)數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)原子性：多條記錄的多次操作要么一起成功，要么一起失敗。原子性：多個(gè)數(shù)據(jù)分片上的多次操作要么一起成功，要么一起失敗。隔離性：不同連接(處理線程或進(jìn)程)不會(huì)相互訪問(wèn)到未提交事務(wù)的數(shù)據(jù)。隔離性：多個(gè)計(jì)算節(jié)點(diǎn)上的不同連接不會(huì)相互訪問(wèn)到在多個(gè)數(shù)據(jù)分片內(nèi)未提交事務(wù)的數(shù)據(jù)。持久性：事務(wù)提交前必須先將日志落盤(pán)，機(jī)器重啟后不丟失數(shù)據(jù)。持久性：事務(wù)提交前必須將日志在分片主、從節(jié)點(diǎn)都得到復(fù)制，主節(jié)點(diǎn)故障時(shí)從節(jié)點(diǎn)上仍能找回?cái)?shù)

據(jù)。APP1

APP1

APP2APP3分布式事務(wù)的難點(diǎn)要實(shí)現(xiàn)分布式事務(wù)的實(shí)時(shí)一致性（保證ACID

），難點(diǎn)在哪？部分DB提交失敗，如何保證全局事務(wù)的原子性(A)？并發(fā)訪問(wèn)時(shí)，每個(gè)事務(wù)都不知道其他事務(wù)的狀態(tài)，如何保證事務(wù)之間的隔離性(C)？更近一步地，部分DB提交成功，部分DB提交失敗時(shí)，如何保證回滾期間的隔離性(C&A)？以轉(zhuǎn)賬交易為例:交易前2個(gè)賬戶資金余額各100，事務(wù)T1從賬戶1轉(zhuǎn)賬50到賬戶2;在事務(wù)T1提交期間，由于DB1和DB2提交時(shí) 間有空隙，若此時(shí)事務(wù)T2讀取2個(gè)賬戶的余 額，會(huì)發(fā)現(xiàn)余額之和是50+100=150。因事務(wù)之間的隔離性問(wèn)題產(chǎn)生數(shù)據(jù)讀不一致。存在事務(wù)T1對(duì)賬戶1上扣錢(qián)成功，給賬戶2加錢(qián)失敗的情況。因事務(wù)內(nèi)部的原子性問(wèn)題產(chǎn)生數(shù)據(jù)寫(xiě)不一致性。賬戶1減50賬戶2加50賬戶1提交查詢賬戶1和賬戶2的余額DB1DB2APP1

APP2

計(jì)算節(jié)點(diǎn)從賬戶1轉(zhuǎn)賬50元到賬戶2事務(wù)T1事務(wù)T2賬戶2提交，但提交失敗查詢賬戶1余額查詢賬戶2余額余額50余額100A=100B=100B=100B=100實(shí)時(shí)強(qiáng)一致分布式事務(wù)控制commitA-50，

B+50A-50B+50Global

RollbackB->100A->100RollbackA=100A:100<-50A->50B->50A=50A:100->50APPJDBC/ODBC基于自動(dòng)補(bǔ)償機(jī)制實(shí)現(xiàn)分布式事務(wù)的原子性，對(duì)應(yīng)用透明。引入GTM徹底解決分布式數(shù)據(jù)庫(kù)臟讀問(wèn)題，保證全局事務(wù)的一致性。一階段提交方案，提升系統(tǒng)處理性能。APP2JDBC/ODBCAPP3JDBC/ODBC計(jì)算節(jié)點(diǎn)集群全局事務(wù)管理器

GTMFailureDB1DB2DB3實(shí)時(shí)可靠的強(qiáng)一致性分布式事務(wù)處理，正確率100%全局一致的備份恢復(fù)備份：元數(shù)據(jù)+表數(shù)據(jù)+日志+活躍事務(wù)列表；全量、增量備份，定時(shí)、實(shí)時(shí)備份；在線熱備份；與第三方工具集成。恢復(fù)：恢復(fù)到全局一致?tīng)顟B(tài)；可恢復(fù)到任意時(shí)間點(diǎn)。分布式數(shù)據(jù)庫(kù)恢復(fù)到全局一致的數(shù)據(jù)才是可用的。1月1日全量備份數(shù)據(jù)分片1數(shù)據(jù)分片n數(shù)據(jù)分片2...OMM管理臺(tái)

(備份策略設(shè)置)1月2日增量備份實(shí)時(shí)備份事務(wù)日志，數(shù)據(jù)可恢復(fù)到任意時(shí)間點(diǎn)。同步備份全局狀態(tài)信息，用該信息將數(shù)據(jù)恢復(fù)到全局一致?tīng)顟B(tài)。GoldenDB數(shù)據(jù)高可靠解決方案組件高可靠?jī)傻厝行南到y(tǒng)級(jí)高可靠容災(zāi)方案快同步機(jī)制、分組管理、高低水位數(shù)據(jù)高可靠-組件高可靠組件全冗余設(shè)計(jì)、故障自動(dòng)切換計(jì)算節(jié)點(diǎn)集群：無(wú)狀態(tài)設(shè)計(jì),故障自動(dòng)切換。數(shù)據(jù)節(jié)點(diǎn)集群：每個(gè)數(shù)據(jù)分片由多個(gè)副本組成，一主多備，快同步復(fù)制，節(jié)點(diǎn)故障自動(dòng)切換，

新主選擇交由管理節(jié)點(diǎn)處理。GTM：由多個(gè)副本組成，一主多備，實(shí)時(shí)消息同步復(fù)制，節(jié)點(diǎn)故障自動(dòng)切換，新主選擇交由管理節(jié)點(diǎn)處理。管理節(jié)點(diǎn)：高可用部署，快同步復(fù)制，節(jié)點(diǎn)故障自動(dòng)切換。管理節(jié)點(diǎn)APP1JDBC/ODBCAPP2JDBC/ODBCAPP

nJDBC/ODBC……主數(shù)據(jù)分片1備備主數(shù)據(jù)分片n備備計(jì)算節(jié)點(diǎn)集群GTMLoadBalance(F5)主

主備

備

備

備數(shù)據(jù)節(jié)點(diǎn)集群數(shù)據(jù)節(jié)點(diǎn)副本間采用多種日志復(fù)制技術(shù)，滿足不同場(chǎng)景需求，在保證數(shù)據(jù)的高可靠的同時(shí)實(shí)現(xiàn)高性能。MasterSlave1Slave2事務(wù)提交日志寫(xiě)入日志發(fā)送日志發(fā)送ACK確認(rèn)

ACK確認(rèn)校驗(yàn)判斷

ACK數(shù)目事務(wù)提交ACK確認(rèn)異步復(fù)制：方案：主庫(kù)寫(xiě)入日志后即可返回客戶端消息，無(wú)需等待日志傳送給從庫(kù)；效果：主備復(fù)制不影響主節(jié)點(diǎn)事務(wù)處理；最大性能模式，

RPO不為0?？焱綇?fù)制：方案：配置的副本同步策略滿足后，主庫(kù)返回操作結(jié)果給客戶端，策略不滿足時(shí)產(chǎn)生告警或切換為只讀；效果：可實(shí)現(xiàn)RPO為0，且保證復(fù)制性能。關(guān)鍵技術(shù)：線程池、非阻塞式同步并行復(fù)制日志持久化日志持久化高效可靠的數(shù)據(jù)同步技術(shù)數(shù)據(jù)高可靠-分組管理DB-SDB-SDB-MAPPDB-SDB-SDB-S問(wèn)題全節(jié)點(diǎn)的數(shù)據(jù)同步，代價(jià)高昂，用戶體驗(yàn)差目標(biāo)用更低的代價(jià)實(shí)現(xiàn)RPO=0方案數(shù)據(jù)節(jié)點(diǎn)按照區(qū)域分組主節(jié)點(diǎn)按照收到組響應(yīng)數(shù)，來(lái)給應(yīng)用回響應(yīng)只要分組內(nèi)有一份完整數(shù)據(jù)即可數(shù)據(jù)零丟失效果精簡(jiǎn)響應(yīng)，縮短響應(yīng)時(shí)間并保證RPO=0數(shù)據(jù)高可靠-高低水位安全策略水位：主機(jī)收到分組響應(yīng)的數(shù)目，數(shù)目越多水位越高，數(shù)目少則水位低用戶需求模式分組響應(yīng)>=3分組響應(yīng)=2分組響應(yīng)=1分組響應(yīng)=0數(shù)據(jù)很重要，一定不能丟數(shù)據(jù)高水位=3低水位=1數(shù)據(jù)庫(kù)運(yùn)行正常產(chǎn)生告警，數(shù)據(jù)庫(kù)提供讀寫(xiě)服務(wù)產(chǎn)生告警，數(shù)據(jù)庫(kù)提供讀寫(xiě)服務(wù)產(chǎn)生告警，數(shù)據(jù)庫(kù)僅提供只讀服務(wù)用戶體驗(yàn)很重要，一定不能停服務(wù)高水位=2低水位=0數(shù)據(jù)庫(kù)運(yùn)行正常數(shù)據(jù)庫(kù)運(yùn)行正常產(chǎn)生告警，數(shù)據(jù)庫(kù)提供讀寫(xiě)服務(wù)產(chǎn)生告警，數(shù)據(jù)庫(kù)提供讀寫(xiě)服務(wù)以3分組為例，不同用戶配置的影響：高水位:業(yè)務(wù)正常工作的系統(tǒng)環(huán)境安全存在隱患

低水位:業(yè)務(wù)維持工作能夠容忍的最低系統(tǒng)環(huán)境危險(xiǎn)！！系統(tǒng)正常運(yùn)行告警！系統(tǒng)正常運(yùn)行告警！僅提供讀服務(wù)系統(tǒng)策略數(shù)據(jù)高可靠-兩地三中心容災(zāi)本地機(jī)房(A)APP……主從主從計(jì)算節(jié)點(diǎn)…GTM從Group2Team1管理節(jié)點(diǎn)主

從Group1Team1主智能DNSLoadBalance異地機(jī)房(C)APP……從從從從計(jì)算節(jié)點(diǎn)…GTM從Group2Team3管理節(jié)點(diǎn)從

從Group1Team3從智能DNSLoadBalance…從

從Group1Team2從

從管理節(jié)點(diǎn)GTM從Group2Team2從

從從同城機(jī)房(B)APP…智能DNS

LoadBalance計(jì)算節(jié)點(diǎn)…異步復(fù)制，RPO<30秒同城災(zāi)備RPO=0按業(yè)務(wù)靈活配置容災(zāi)策略優(yōu)先本地機(jī)房切換，切換對(duì)應(yīng)用全透明數(shù)據(jù)復(fù)制按機(jī)房響應(yīng)，降低多副本時(shí)延容災(zāi)切換數(shù)據(jù)全局一致(同城、異地)支持兩地三中心可視化運(yùn)維管理支持孤島演練GoldenDB性能擴(kuò)展解決方案多級(jí)擴(kuò)展多級(jí)分片在線數(shù)據(jù)重分布讀寫(xiě)分離性能擴(kuò)展-多級(jí)SCALE-OUT計(jì)算節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)可橫向線性擴(kuò)展，滿足性能及容量的各種處理需求計(jì)算節(jié)點(diǎn)根據(jù)業(yè)務(wù)需要可靈活配置計(jì)算節(jié)點(diǎn)數(shù)量，實(shí)現(xiàn)處理性能線性擴(kuò)展計(jì)算節(jié)點(diǎn)集群內(nèi)置鏈接池鏈路共享，數(shù)據(jù)庫(kù)鏈接數(shù)線性可擴(kuò)展APPAPIDataBaseAPPJDBC/ODBC計(jì)算節(jié)點(diǎn)集群Node

1 Node

2Node

nAPP

…JDBC/ODBC架構(gòu)演進(jìn)Scale

out

…DB-SAPP

…JDBC/ODBC…No-ShardingDB-MSharding集群Shard1-M

Shard1-SShardn-MShardn-SSharding集群Shard1-M

Shard1-SShardn-MShardn-S性能測(cè)試數(shù)據(jù)-典型核心業(yè)務(wù)測(cè)試23500450004000035000300002500020000150001000050000核心業(yè)務(wù)TPS40000GoldenDB

16分片

GoldenDB

30節(jié)點(diǎn)GoldenDB

16分片達(dá)到20000TPS，

30分片40000TPS，滿足核心業(yè)務(wù)性能要求性能呈線性增長(zhǎng)60504030201003000TPS

10000TPS

20000TPS事務(wù)時(shí)延（ms）共16條SQLGoldenDB5%20%0%5%10%15%20%25%線性擴(kuò)展損

率GoldenDB

同類產(chǎn)品在橫向擴(kuò)展時(shí)，GoldenDB整體性能損控 制在5%，遠(yuǎn)低于同類產(chǎn)品性能損率，幾?近線性擴(kuò)展（中信銀行核心業(yè)務(wù)下移技術(shù)驗(yàn)證測(cè)試數(shù)據(jù)）3000TPS時(shí)，GoldenDB事務(wù)平均時(shí)延為15ms20000TPS時(shí)，GoldenDB事務(wù)平均時(shí)延為

52ms性能擴(kuò)展-分片策略一級(jí)按照法人字段國(guó)外的客戶到服務(wù)器1數(shù)據(jù)行法人客戶類型業(yè)務(wù)類型法人1法人2二級(jí)按照客戶類型字段國(guó)內(nèi)的非重點(diǎn)客戶到服務(wù)器2三級(jí)按照業(yè)務(wù)類型字段國(guó)內(nèi)的重點(diǎn)客戶對(duì)公業(yè)務(wù)到服務(wù)器3其他數(shù)據(jù)到服務(wù)器4一般客戶重點(diǎn)客戶對(duì)公業(yè)務(wù)對(duì)私業(yè)務(wù)精細(xì)化控制數(shù)據(jù)在集群中的分布形態(tài)尤其適用于多法人場(chǎng)景，將不同法人的數(shù)據(jù)劃分到不同數(shù)據(jù)Group支持多樣化的分片策略：支持按哈希拆分?jǐn)?shù)據(jù)集支持按范圍拆分?jǐn)?shù)據(jù)集支持按列表拆分?jǐn)?shù)據(jù)集支持單節(jié)點(diǎn)/多節(jié)點(diǎn)復(fù)制多級(jí)分片功能支持多達(dá)5層分區(qū)支持多個(gè)分區(qū)鍵使用不同分片策略性能擴(kuò)展-動(dòng)態(tài)數(shù)據(jù)重分布支持?jǐn)?shù)據(jù)節(jié)點(diǎn)的擴(kuò)容、縮容，能高效地將數(shù)據(jù)均勻分布到數(shù)據(jù)庫(kù)集群上，同時(shí)保證對(duì)在線業(yè)務(wù)影響小、且可操作性強(qiáng)：高性能：支持關(guān)聯(lián)表表并發(fā)重分布；可操作性好：全程可視化控制，包括執(zhí)行、暫停、繼續(xù)、取消、異常情況下的重試等；使用Map映射的方式保存元數(shù)據(jù)信息，重分布遷移時(shí)數(shù)據(jù)切片粒度更細(xì)，IO消 更少，重分布操作更加平滑。節(jié)點(diǎn)3節(jié)點(diǎn)1節(jié)點(diǎn)2一致性哈希0612節(jié)點(diǎn)6153節(jié)點(diǎn)49節(jié)點(diǎn)5節(jié)點(diǎn)3節(jié)點(diǎn)1節(jié)點(diǎn)2一致性哈希0612性能擴(kuò)展--讀寫(xiě)分離DB-MDB-S計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)RW/RRLoadbalanceDB-S快同步復(fù)制GoldenDB支持將DQL查詢負(fù)載均衡到從庫(kù)，提升系統(tǒng)資源利用和處理效率。對(duì)應(yīng)用透明：應(yīng)用無(wú)需改造，在數(shù)據(jù)庫(kù)運(yùn)維界面簡(jiǎn)單配置即可實(shí)現(xiàn)功能；可視化運(yùn)維管理：支持在線調(diào)整權(quán)重，支持在不同集群中使用不同的負(fù)載均衡模式；SQL

Hint提示：支持個(gè)別高實(shí)時(shí)性的SQL通過(guò)Hint指定至Master執(zhí)行。GoldenDB業(yè)務(wù)遷移解決方案數(shù)據(jù)庫(kù)語(yǔ)法兼容數(shù)據(jù)在線、離線遷移工具業(yè)務(wù)易遷移-全面的語(yǔ)法兼容性兼容標(biāo)準(zhǔn)SQL語(yǔ)法兼容SQL92、99、2003標(biāo)準(zhǔn)語(yǔ)法兼容復(fù)雜的SQL語(yǔ)法100%兼容MySQL語(yǔ)法基本兼容SQL標(biāo)準(zhǔn)語(yǔ)法，支持Mysql工具生態(tài)圈強(qiáng)大的分布式優(yōu)化器，復(fù)雜SQL語(yǔ)句兼容性和處理性能優(yōu)兼容常用ORACLE語(yǔ)法支持Oracle

OCI接口，支持常見(jiàn)的Oracle函數(shù)、關(guān)鍵字等，業(yè)務(wù)遷移更高效全局唯一序列值兼容Oracle

Sequence語(yǔ)法單調(diào)遞增性,多模式選擇GoldenDB分布式數(shù)據(jù)庫(kù)兼容SQL標(biāo)準(zhǔn)語(yǔ)法，支持MySQL協(xié)議，支持常用的Oracle語(yǔ)法，內(nèi)置強(qiáng)大的分布式SQL優(yōu)化器，業(yè)務(wù)遷移難度低。合并下壓分片剪枝AVG等聚合函數(shù)優(yōu)化多步驟執(zhí)行數(shù)據(jù)節(jié)點(diǎn)提示去重消除常數(shù)折疊死代碼消除內(nèi)置強(qiáng)大的SQL優(yōu)化器：條件繁殖group

by重寫(xiě)distinct下推order

by下推limit下推條件下推并行執(zhí)行……數(shù)據(jù)易遷移-導(dǎo)入導(dǎo)出與在線交易分離1、支持結(jié)構(gòu)化的文本文件導(dǎo)入導(dǎo)出2、支持導(dǎo)出庫(kù)表等數(shù)據(jù)字典信息3、支持部分字段導(dǎo)入導(dǎo)出4、支持對(duì)數(shù)據(jù)行進(jìn)行處理后導(dǎo)入導(dǎo)出5、支持?jǐn)帱c(diǎn)續(xù)傳6、支持導(dǎo)入出錯(cuò)數(shù)據(jù)轉(zhuǎn)SQL語(yǔ)句7、黑白名單權(quán)限控制功能1、數(shù)據(jù)批處理2、表結(jié)構(gòu)發(fā)生變化3、業(yè)務(wù)遷移場(chǎng)景1、工具靈活可視，易用性好2、數(shù)據(jù)遷移流與交易流分離，降低對(duì)聯(lián)機(jī)業(yè)務(wù)影響3、容錯(cuò)性高，最大程度完成數(shù)據(jù)導(dǎo)入導(dǎo)出特性計(jì)算節(jié)點(diǎn)集群LoadServerAPP文件數(shù)據(jù)遷移流交易流雙向數(shù)據(jù)傳輸服務(wù)DTS保證交易一致性：只同步已提交的數(shù)據(jù)拓?fù)潇`活，可擴(kuò)展性好支持?jǐn)?shù)據(jù)清洗和轉(zhuǎn)換可視化的數(shù)據(jù)流程管理異構(gòu)數(shù)據(jù)庫(kù)雙向?qū)崟r(shí)數(shù)據(jù)同步支撐應(yīng)用平滑的數(shù)據(jù)遷移，同時(shí)可用于數(shù)據(jù)實(shí)時(shí)分析、業(yè)務(wù)數(shù)據(jù)共享等解決方案。......GoldenDBOracle/MySQL等異構(gòu)數(shù)據(jù)庫(kù)雙向?qū)崟r(shí)同步服務(wù)LogGoldenDB統(tǒng)一運(yùn)維解決方案統(tǒng)一安裝統(tǒng)一運(yùn)維統(tǒng)一監(jiān)控GoldenDB運(yùn)維能力概覽GoldenDB

InSight運(yùn)維數(shù)據(jù)分析挖掘平臺(tái)運(yùn)維數(shù)據(jù)歸集、分析挖掘及展示，包括SQL診斷、會(huì)話診斷、空間診斷、日志分析等。GoldenDB

OMM統(tǒng)一運(yùn)維管理平臺(tái)可視化運(yùn)維操作平臺(tái)。GoldenDB日志集運(yùn)維日志慢查詢?nèi)罩緦徲?jì)日志可視化的日志挖掘全流程日志跟蹤GoldenDB

Tool

Suite工具集全鏈路問(wèn)題診斷工具

GoldenDB

PD操作管理命令行工具dbtool數(shù)據(jù)同步和導(dǎo)入導(dǎo)出工具GoldenDB巡檢、排障操作維護(hù)排障一鍵安裝，不停服務(wù)升級(jí)，保證升級(jí)期間的業(yè)務(wù)連續(xù)性，支持升級(jí)任務(wù)編排系統(tǒng)自動(dòng)巡檢，自動(dòng)檢測(cè)故障，系統(tǒng)主動(dòng)自愈修復(fù)提供集群用戶管理、元數(shù)據(jù)管理、配置下發(fā)和配置比對(duì)等功能數(shù)據(jù)重分布操作、備份恢復(fù)、主備一致性檢查等運(yùn)維操作可視化操作運(yùn)維能力開(kāi)放：接入第三方平臺(tái)，供其他系統(tǒng)調(diào)用和擴(kuò)展編排GoldenDB提供統(tǒng)一管理門(mén)戶和豐富的運(yùn)維工具，實(shí)現(xiàn)高效、智能、可視化運(yùn)維管理。工具集智能化、極簡(jiǎn)化、可視化自動(dòng)巡檢1集群管理 配置管理2

3安裝升級(jí)4統(tǒng)一監(jiān)控5主備一致性檢查6數(shù)據(jù)重分布7備份恢復(fù)10安全管理 監(jiān)控告警8

9統(tǒng)一運(yùn)維平臺(tái)GoldenDB

OMMGoldenDB提供統(tǒng)一管理門(mén)戶和豐富的運(yùn)維工具，實(shí)現(xiàn)高效、智能、可視化運(yùn)維管理。統(tǒng)一運(yùn)維平臺(tái)GoldenDBOMM監(jiān)控系統(tǒng)數(shù)據(jù)采集系統(tǒng)資源（內(nèi)存/磁盤(pán)....）

日志（慢查詢/審計(jì)...）

專業(yè)數(shù)據(jù)（鎖/連接....）第三方監(jiān)控平臺(tái)實(shí)時(shí)狀態(tài)日志分析空間診斷SQL診斷事務(wù)診斷配置診斷組件資源日志跟蹤增長(zhǎng)趨勢(shì)鎖沖突SQL長(zhǎng)事務(wù)配置比對(duì)監(jiān)控告警故障定位重分布建議查詢計(jì)劃建議狀態(tài)分析關(guān)聯(lián)分析系統(tǒng)資源日志搜索空間分析慢SQL事務(wù)回滾狀態(tài)變量運(yùn)維數(shù)據(jù)分析挖掘平臺(tái)GoldenDB

InsightGoldenDB

Insight平臺(tái)是可插拔式的，從GoldenDB系統(tǒng)中采集數(shù)據(jù)，進(jìn)行數(shù)據(jù)分析，展示分析結(jié)果。提供日志分析、空間、SQL、事務(wù)、配置等診斷功能，針對(duì)系統(tǒng)問(wèn)題和瓶頸進(jìn)行分析和預(yù)測(cè)，助力運(yùn)維自動(dòng)化和智能化。運(yùn)維數(shù)據(jù)分析挖掘平臺(tái)GoldenDB

Insight問(wèn)題診斷工具-GoldenDB

PDPD基礎(chǔ)功能全鏈路運(yùn)行狀態(tài)詳情當(dāng)前運(yùn)行SQL語(yǔ)句詳情統(tǒng)計(jì)信息（表RUID數(shù)，傾斜度分析等）數(shù)據(jù)庫(kù)進(jìn)程堆棧信息歷史SQL語(yǔ)句的執(zhí)行信息鎖等待、死鎖等鎖信息.......DDBB狀狀態(tài)態(tài)（（主主從復(fù)從制復(fù)、制恢、復(fù)恢進(jìn)復(fù)進(jìn)度度等）等）應(yīng)用報(bào)錯(cuò)數(shù)據(jù)庫(kù)告警GoldenDB

問(wèn)題診斷工具：提供從應(yīng)用經(jīng)計(jì)算節(jié)點(diǎn)到數(shù)據(jù)節(jié)點(diǎn)的全鏈路交易跟蹤及問(wèn)題診斷能力。應(yīng)用側(cè)報(bào)錯(cuò)：自頂而下，根據(jù)流水號(hào)定位相關(guān)SQL，下沉到DB，定位到數(shù)據(jù)節(jié)點(diǎn)上的相關(guān)鏈路DB側(cè)告警：自底而上，根據(jù)告警鏈路信息定位到流水號(hào)，上浮到計(jì)算節(jié)點(diǎn)，定位到對(duì)應(yīng)的交易鏈路應(yīng)應(yīng)用用交易流水號(hào)

交易流水號(hào)計(jì)算計(jì)節(jié)算點(diǎn)節(jié)點(diǎn)

數(shù)數(shù)據(jù)據(jù)節(jié)節(jié)點(diǎn)點(diǎn)03金融行業(yè)典型案例GoldenDB在中信銀行的實(shí)施路徑冠字號(hào)系統(tǒng)合作平臺(tái)投產(chǎn)金融同業(yè)平臺(tái)成功投產(chǎn)核心下移預(yù)研啟動(dòng)卡中心核心下移啟動(dòng)零售客戶綜合積分系統(tǒng)投產(chǎn)中信銀行門(mén)戶網(wǎng)站系統(tǒng)投產(chǎn)總行核心仿真投產(chǎn)卡中心核心生產(chǎn)投產(chǎn)總行核心生產(chǎn)投產(chǎn)歷程：現(xiàn)穩(wěn)中求進(jìn)，不斷深入總行電子渠道（對(duì)私）業(yè)務(wù)處理平臺(tái)2015年9月2016年11月2016年5月2017年6月2017年4月2018年3月2018年11月2019年10月2019年12月2020年上半年架構(gòu)變革：從封閉的IBM

AS/400集中式架構(gòu)遷移到X86服務(wù)器的開(kāi)放分布式架構(gòu)。代碼轉(zhuǎn)換：應(yīng)用核心處理邏輯保持不變，通過(guò)工具自動(dòng)轉(zhuǎn)換為JAVA，保護(hù)多年的應(yīng)用積累。分布式數(shù)據(jù)庫(kù)取代傳統(tǒng)數(shù)據(jù)庫(kù)：分庫(kù)分表架構(gòu)實(shí)現(xiàn)系統(tǒng)橫向平滑擴(kuò)展，滿足金融強(qiáng)一致性分布式事務(wù)要求。降低成本：從傳統(tǒng)架構(gòu)遷移到分布式架構(gòu)后，可顯著降低硬件成本和開(kāi)發(fā)成本。RPG/COBOLDB2IBM

i/UNIXIBM中間件小型機(jī)改造前架構(gòu) 改造后架構(gòu)分布式數(shù)據(jù)庫(kù)（GoldenDB）計(jì)算節(jié)點(diǎn)1計(jì)算節(jié)點(diǎn)2計(jì)算節(jié)點(diǎn)nPC

Server(X86)Linux

OS......新應(yīng)用核心JAVA節(jié)點(diǎn)1PC

Server(X86)Linux

OS技術(shù)平臺(tái)JAVA新應(yīng)用核心JAVA節(jié)點(diǎn)2PC

Server(X86)Linux

OS技術(shù)平臺(tái)JAVA新應(yīng)用核心JAVA節(jié)點(diǎn)kPC

Server(X86)Linux

OS技術(shù)平臺(tái)JAVA...中信銀行核心業(yè)務(wù)下移項(xiàng)目客戶收益及技術(shù)優(yōu)勢(shì)客戶收益60%硬件成本30%開(kāi)發(fā)成本GoldenDB投產(chǎn)運(yùn)營(yíng)總體情況投產(chǎn)后總體運(yùn)行情況：整體運(yùn)行平穩(wěn)當(dāng)前數(shù)據(jù)量18.1T，每日新增300G雙11期間：1個(gè)小時(shí)交易金額達(dá)到11億元TPS:1440

CPU

17%

mem

9%交易時(shí)延：41ms授權(quán)服務(wù)

賬戶服務(wù)數(shù)據(jù)服務(wù)DB112345678910DB2DB40DB39……中間層10臺(tái)計(jì)算節(jié)點(diǎn)服務(wù)器，授權(quán)3臺(tái)，賬戶5臺(tái)，數(shù)據(jù)服務(wù)2臺(tái)數(shù)據(jù)集群由40個(gè)分片構(gòu)成，單分片表都集中在DB1上。系統(tǒng)經(jīng)過(guò)雙11考驗(yàn)，實(shí)際壓力遠(yuǎn)低于網(wǎng)聯(lián)壓測(cè)，運(yùn)行平穩(wěn)。計(jì)算節(jié)點(diǎn)App1APP2統(tǒng)一檔案管理平臺(tái)APP3APP4GTMManager計(jì)算節(jié)點(diǎn)APP5F5DBGroup

1DBGroup

2PC

Server

1DBGroup

2DBGroup

3PC

Server

2DBGroup

3DBGroup

4PC

Server

3DBGroup

4DBGroup

5PC

Server

4DBGroup

5DBGroup

6PC

Server

5DBGroup

6DBGroup

1PC

Server

6廣東農(nóng)信檔案管理平臺(tái)分布式數(shù)據(jù)庫(kù)項(xiàng)目數(shù)據(jù)庫(kù)，設(shè)置2個(gè)計(jì)算節(jié)點(diǎn)+6個(gè)數(shù)據(jù)節(jié)點(diǎn)，云化部署彈性可擴(kuò)容?？蛻粜枨髽I(yè)務(wù)介紹：統(tǒng)一檔案管理平臺(tái)，為各類業(yè)務(wù)系統(tǒng)、管理系統(tǒng)產(chǎn)生的檔案提供全生命周期集中管理。數(shù)據(jù)規(guī)模：近百?gòu)埍恚渲写蟊砻磕戤a(chǎn)生7億記錄，每年新增數(shù)據(jù)量600G主要痛點(diǎn)：1、DB2性能達(dá)到瓶頸，3個(gè)月數(shù)據(jù)查詢耗時(shí)10分鐘；2、業(yè)務(wù)側(cè)進(jìn)行分庫(kù)分表，增加業(yè)務(wù)難度；3、無(wú)法橫向擴(kuò)容；4、維護(hù)成本高解決方案分布式業(yè)務(wù)改造：業(yè)務(wù)層面進(jìn)行分布式架構(gòu)改造，云化部署彈性可擴(kuò)展。分布式數(shù)據(jù)庫(kù)改造：按照未來(lái)三年規(guī)劃，從傳統(tǒng)的DB2數(shù)據(jù)庫(kù)改造為分布式客戶收益性能改進(jìn)：3個(gè)月的數(shù)據(jù)查詢耗時(shí)從10分鐘提升至秒級(jí)。業(yè)務(wù)簡(jiǎn)化：數(shù)據(jù)庫(kù)實(shí)現(xiàn)分庫(kù)分表，簡(jiǎn)化業(yè)務(wù)邏輯。降低成本：數(shù)據(jù)庫(kù)采購(gòu)成本，維護(hù)成本降低。DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

1DBGroup

2DBGroup

3DBGroup

4GTMGTMManagerManagerDBGroup

1DBGroup

2DBGroup

3DBGroup

4計(jì)算節(jié)點(diǎn)LoadServer計(jì)算節(jié)點(diǎn)LoadServerDBGroup

5DBGroup

6DBGroup

5DBGroup

6DBGroup

5DBGroup

6計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)全渠道應(yīng)用系全渠道分布統(tǒng)式數(shù)據(jù)庫(kù)DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5GTMGTMManagerManagerDBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5計(jì)算節(jié)點(diǎn)LoadServer計(jì)算節(jié)點(diǎn)LoadServer計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)新核心應(yīng)用系統(tǒng)新核心分布式數(shù)據(jù)庫(kù)3GTMDB

Group1PCServerLoadServerDB

Gro