全時(shí)態(tài)數(shù)據(jù)庫(kù)技術(shù)的數(shù)據(jù)閃回

1、技術(shù)創(chuàng)新，變革未來(lái)騰訊TDSQL基于全時(shí)態(tài)數(shù)據(jù)庫(kù)技術(shù)的全數(shù)據(jù)閃回騰訊金融級(jí)云數(shù)據(jù)庫(kù)解決案（CDB for TDSQL）面向金融類業(yè)務(wù)，十年積累，億級(jí)賬戶驗(yàn)證騰訊公司內(nèi)與計(jì)費(fèi)、充值、轉(zhuǎn)賬、財(cái)務(wù)等核系統(tǒng)90%以上都使TDSQL！2002騰訊SP業(yè)務(wù)原MYSQL2004增值業(yè)務(wù)分庫(kù)分表伸縮2008業(yè)務(wù)爆炸致性、7X24 可性2010騰訊計(jì)費(fèi)超并發(fā)超短 時(shí)延2012師騰訊 充值更名TDSQL2015騰訊云金融云2014WeBank私有化部署20172018全時(shí)態(tài)數(shù)分布式事 據(jù)庫(kù)務(wù)1技術(shù)和業(yè)務(wù)結(jié)合2 技術(shù)和數(shù)據(jù)結(jié)合TDSQL簡(jiǎn)介錄CONTENTSTDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)理念TDSQL分布式全時(shí)態(tài)數(shù)據(jù)庫(kù)原理

2、與架構(gòu)TDSQL基于HTAC的全閃回技術(shù)Application development is complex，應(yīng)開(kāi)發(fā)復(fù)雜：各種應(yīng)使業(yè)務(wù)日志產(chǎn)日志：不同應(yīng)創(chuàng)造了不同格式的日志存儲(chǔ)日志：量冗余信息（源庫(kù) + 日志）分析日志：讀、解析、分析The logic of the data is fragmented，邏輯割裂：業(yè)務(wù)按日分表，只能按日進(jìn)結(jié)算，不能靈活、便的計(jì)算。如計(jì)算任意時(shí)間段內(nèi)的數(shù)據(jù)，日表在物理上割 裂了數(shù)據(jù)按時(shí)間的邏輯連續(xù)特性，需要指定若個(gè)特定的日表才能進(jìn)計(jì)算。No real time characteristics，實(shí)時(shí)特性丟失：如上兩個(gè)問(wèn)題，隱含地，意味著 進(jìn)計(jì)算的數(shù)據(jù)需要導(dǎo)到個(gè)新的

3、分析系統(tǒng)進(jìn)計(jì)算，導(dǎo)出/導(dǎo)數(shù)據(jù)的過(guò)程 也帶來(lái)了資源和時(shí)間的消耗、使得分析系統(tǒng)難以具備實(shí)時(shí)計(jì)算特性。Complexity of data management，數(shù)據(jù)管理復(fù)雜：另外，日志等信息，是歷史 數(shù)據(jù)，需要期保存。對(duì)不同格式、海量的日志進(jìn)存儲(chǔ)與管理，這成為個(gè)巨的挑戰(zhàn)。TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)理念與解決的問(wèn)題TDSQL數(shù)據(jù)作者的核價(jià)值觀：歷史數(shù)據(jù)富有價(jià)值切過(guò)往（數(shù)據(jù)的歷史和狀態(tài)）兼可追溯TDSQL數(shù)據(jù)作者的核理念：為數(shù)據(jù)賦能TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)理念與解決的問(wèn)題TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)理念與解決的問(wèn)題TDSQL簡(jiǎn)介錄CONTENTSTDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)理念TDSQL分布式全時(shí)態(tài)數(shù)據(jù)庫(kù)原理與架構(gòu)TD

4、SQL基于HTAC的全閃回技術(shù)TDSQL全態(tài)數(shù)據(jù)模型數(shù)據(jù)的狀態(tài)屬性，標(biāo)識(shí)數(shù)據(jù)的命周期軌跡。數(shù)據(jù)的命周期分為三個(gè)階段，每個(gè)階段刻畫數(shù)據(jù)的不同狀態(tài)屬性，以標(biāo)識(shí)數(shù)據(jù)的命周期軌跡中所處的狀態(tài)。當(dāng)前態(tài)（Current State）：數(shù)據(jù)項(xiàng)的最新版本的數(shù)據(jù)，是處于當(dāng)前階 段的數(shù)據(jù)。處于當(dāng)前階段的數(shù)據(jù)的狀態(tài)，稱為當(dāng)前態(tài)。歷史態(tài)（Historical state）：數(shù)據(jù)項(xiàng)在歷史上的個(gè)狀態(tài)，其值是舊 值，不是當(dāng)前值。處于歷史階段的數(shù)據(jù)的狀態(tài)，稱為歷史態(tài)。個(gè)數(shù)據(jù)項(xiàng)的歷史態(tài)，可以有多個(gè)，反映了數(shù)據(jù)的狀態(tài)變遷的過(guò)程。處于歷史態(tài)的數(shù)據(jù)，只能被讀取不能再被修改或刪除。過(guò)渡態(tài)（Transitional State）：不是數(shù)

5、據(jù)項(xiàng)的最新的版本也不是歷史態(tài)版本，處于從當(dāng)前態(tài)向歷史態(tài)轉(zhuǎn)變的過(guò)程中。處于過(guò)渡態(tài)的數(shù)據(jù)，稱為半衰數(shù)據(jù)。TDSQL全態(tài)數(shù)據(jù)操作語(yǔ)義只有夠豐富的操作語(yǔ)義才能撐起個(gè)有價(jià)值的數(shù)據(jù)模型當(dāng)前態(tài)數(shù)據(jù)的戶操作語(yǔ)義（符合傳統(tǒng)數(shù)據(jù)庫(kù)在數(shù)據(jù)上的DML、DQL 操作語(yǔ)義）歷史態(tài)數(shù)據(jù)的戶操作語(yǔ)義（符合時(shí)態(tài)數(shù)據(jù)庫(kù)的雙時(shí)態(tài)概念）事務(wù)操作語(yǔ)義（全時(shí)態(tài)數(shù)據(jù)的致性管理）TDSQL全時(shí)態(tài)數(shù)據(jù)模型全時(shí)態(tài) = 全態(tài)數(shù)據(jù) + 雙時(shí)態(tài)數(shù)據(jù)TDSQL全時(shí)態(tài)數(shù)據(jù)模型 = 全時(shí)態(tài) + 數(shù)據(jù)操作語(yǔ)義TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)存儲(chǔ)層原理Multi-Version Concurrency Control數(shù)據(jù)庫(kù)對(duì)于個(gè)邏輯對(duì)象維護(hù)多個(gè)物理版本The DBMS

6、maintains multiple physical versions of a single logical object in the database對(duì)象的粒度-數(shù)據(jù)庫(kù)、表、屬性當(dāng)事務(wù)對(duì)個(gè)對(duì)象進(jìn)寫操作時(shí)，數(shù)據(jù)庫(kù)會(huì)創(chuàng)建個(gè)新的版本當(dāng)事務(wù)對(duì)個(gè)對(duì)象進(jìn)讀操作時(shí)，讀到可的最新版本TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)事務(wù)層原理TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)事務(wù)層原理Multi-Version Concurrency Control并發(fā)控制協(xié)議 (快照+可性判斷)多版本存儲(chǔ)垃圾清理索引管理Time-travel每次更新把當(dāng)前版本拷到歷史表，并標(biāo)記位置在主表中寫新版本TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)事務(wù)層原理start transaction; 修改user1的金額; 修改user2的金額; commit;TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)事務(wù)層原理核算法：TDSQL分布式全局讀致性算法騰訊全時(shí)態(tài)數(shù)據(jù)庫(kù)創(chuàng)新的系統(tǒng)架構(gòu)HTAC（Hybrid Transaction/ AnalyticalCluster）混合事務(wù)/分析集群3個(gè)融合：全態(tài)數(shù)據(jù)融合AP和TP處理融合架構(gòu)向數(shù)據(jù)模型融合TDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)性能驗(yàn)證UPDATE-TPSUPDATE-LatencyTDSQL簡(jiǎn)介錄CONTENTSTDSQL全時(shí)態(tài)數(shù)據(jù)庫(kù)理念TDSQL分布式全時(shí)態(tài)數(shù)據(jù)庫(kù)原理與架構(gòu)TDSQL基于HTAC的全閃回技術(shù)Oracle的閃回TDSQL全時(shí)