DTS數(shù)據(jù)服務(wù)解決方案打破數(shù)據(jù)孤島

1、騰訊云DTS數(shù)據(jù)服務(wù)解決方案打破數(shù)據(jù)孤島從同構(gòu)到異構(gòu) ， 打破數(shù)據(jù)孤島1騰訊云DTS產(chǎn)品介紹2騰訊云DTS的新使命3DBbridge產(chǎn)品介紹4DBbridge關(guān)鍵技術(shù)實現(xiàn)5DBbridge未來規(guī)劃目錄CONTENTS2騰訊云DTS產(chǎn)品介紹騰訊云數(shù)據(jù)傳輸服務(wù)（Database Transmission Service，DTS）支 持 MySQL、MariaDB、 PostgreSQL、Redis、MongoDB 等多種關(guān)系型數(shù)據(jù)庫及 NoSQL 數(shù)據(jù)庫遷移，可幫助用戶在業(yè)務(wù) 不停服的前提下輕松完成數(shù)據(jù)庫 遷移上云，利用實時同步通道輕松構(gòu)建高可用的數(shù)據(jù)庫容災架構(gòu)， 通過數(shù)據(jù)訂閱來滿足商業(yè)數(shù)據(jù)挖 掘

2、、業(yè)務(wù)異步解耦等場景需求。數(shù)據(jù)訂閱實時計算 消息隊列 離線分析數(shù)據(jù)同步異地多活跨地域數(shù)據(jù)同步 異地災備數(shù)據(jù)遷移云下到云上 同構(gòu)數(shù)據(jù)遷移 數(shù)據(jù)拆分3騰訊云DTS產(chǎn)品特性故障自動恢復每個傳輸節(jié)點具備高度的恢復和自愈能力設(shè)置簡單快速幾分鐘的時間就能設(shè)置一個遷移任務(wù)可視化操作可視化界面幾步簡單配置即可開啟數(shù)據(jù)傳輸豐富的告警監(jiān)控監(jiān)控指標，自定義告警數(shù)據(jù)同步零停機拷貝高傳輸性能高規(guī)格服務(wù)器來保證每條遷移同步鏈路都能 擁有良好的傳輸性能4DTS產(chǎn)品滿足這些功能就足夠了嗎？騰訊云自建機房其他云騰訊云從云上到云下的數(shù)據(jù)流動從其他云到騰訊云的數(shù)據(jù)流動從華北到華南的數(shù)據(jù)流動 從國內(nèi)到海外的數(shù)據(jù)流動華北華南51騰訊云

3、DTS產(chǎn)品介紹2騰訊云DTS的新使命3DBbridge產(chǎn)品介紹4DBbridge關(guān)鍵技術(shù)實現(xiàn)5DBbridge未來規(guī)劃目錄CONTENTS6如何加快數(shù)據(jù)庫國產(chǎn)化進程？數(shù)據(jù)庫國產(chǎn)化加速數(shù)據(jù)流動“數(shù)字中國”寫入2018年政府工作包括 信息安全的不可控性日益突出國家推進“國產(chǎn)、自主、安全、可控”的 戰(zhàn)略方針商業(yè)數(shù)據(jù)庫TencentDB7總部分部異構(gòu)數(shù)據(jù) 復制同步異構(gòu)數(shù)據(jù)復制同步異構(gòu)數(shù)據(jù) 復制同步異構(gòu)數(shù)據(jù)雙 向復制同步同構(gòu)數(shù)據(jù)雙 向復制同步同構(gòu)數(shù)據(jù)雙 向復制同步同構(gòu)數(shù)據(jù)雙 向復制同步過渡階段數(shù)據(jù)同步異構(gòu)數(shù)據(jù)雙 向復制同步騰訊云某私有云數(shù)據(jù)庫架構(gòu)規(guī)劃業(yè)務(wù)數(shù)據(jù)復雜度加速數(shù)據(jù)流動業(yè)務(wù)復雜數(shù)據(jù)同步通道 如何能

4、夠統(tǒng)一管理？統(tǒng)一部署統(tǒng)一監(jiān)控統(tǒng)一任務(wù)管理 同步進度可視化 統(tǒng)一高可用方案總部大數(shù)據(jù)平臺8業(yè)務(wù)分析庫總部其他 數(shù)據(jù)庫業(yè)務(wù)生產(chǎn)庫核心生產(chǎn)等數(shù)據(jù)庫全國電子 底賬庫分部電子 底賬庫如何打通企業(yè)內(nèi)部的數(shù)據(jù)孤島？構(gòu)建統(tǒng)一的數(shù)據(jù)中臺還需要數(shù)據(jù)孤島之間的數(shù)據(jù)流動數(shù)據(jù)中臺不僅需要中臺；更需要數(shù)據(jù)的互聯(lián)互通9數(shù)據(jù)孤島的存在需要數(shù)據(jù)流動DTS從工具產(chǎn)品到平臺產(chǎn)品從同構(gòu)到異構(gòu)加速數(shù)據(jù)庫國產(chǎn)化從公有云到私有云加速數(shù)據(jù)流動打破數(shù)據(jù)孤島數(shù)據(jù)的流動產(chǎn)生新的價值101騰訊云DTS產(chǎn)品介紹2騰訊云DTS的新使命3DBbridge產(chǎn)品介紹4DBbridge關(guān)鍵技術(shù)實現(xiàn)5DBbridge未來規(guī)劃目錄CONTENTS11DBbridg

5、e基礎(chǔ)版遷移評估應用改造結(jié)構(gòu)遷移數(shù)據(jù)遷移服務(wù)交割反向同步數(shù)據(jù)對比增量同步DBbridge企業(yè)版oracleDB2informixsybaseMySQLPostgreSQLxmljsoncsv商業(yè) 數(shù)據(jù)庫開源 數(shù)據(jù)庫半結(jié)構(gòu) 數(shù)據(jù)主要定位：Oracle數(shù)據(jù) 庫應用服務(wù)遷移平臺主要定位：同構(gòu)和異構(gòu) 數(shù)據(jù)庫數(shù)據(jù)復制平臺騰訊云DBbridge產(chǎn)品介紹DBbridge企業(yè)版TencentDB12目標數(shù)據(jù)庫遷移平臺+專家服務(wù)源數(shù)據(jù)庫騰訊云數(shù)據(jù)應用服務(wù)遷移解決方案Oracle騰訊云DBbridge數(shù)據(jù)庫應用服遷移解決方案DB2DTS-DBbridge遷移評估數(shù)據(jù)遷移數(shù)據(jù)同步遷移校驗遷移專家服務(wù)遷移評估方案設(shè)計

6、改造建議交割保障MySQLTencentDB13對象兼容評估報告遷移評估模塊源端數(shù)據(jù)庫騰訊云DBbridge遷移評估模塊對象兼容評估報告：數(shù)據(jù)庫靜態(tài)對象，例如：表、索引、視圖、函數(shù)、存 儲過程、物化視圖、觸發(fā)器、包、數(shù)據(jù)類型等信息應用兼容評估報告：應用端發(fā)送給源端執(zhí)行的SQL評估評估效果和運行時間、抓取得SQL有關(guān)數(shù)據(jù)采集數(shù)據(jù)脫敏規(guī)則應用生成報告應用兼容 評估報告14對象兼容評估報告應用兼容評估報告兼容對象：目標端數(shù)據(jù)庫可以直接遷移的對象可轉(zhuǎn)換對象：目標端數(shù)據(jù)庫可以通過語法規(guī)則 轉(zhuǎn)換后可以遷移的對象不兼容對象：目標端數(shù)據(jù)庫目前不能直接遷移 的對象，需要人工介入后處理騰訊云DBbridge遷移評

7、估報告15數(shù)據(jù)排序數(shù)據(jù)校驗模塊數(shù)據(jù)抽取數(shù)據(jù)對比源端數(shù)據(jù)文件騰訊云DBbridge數(shù)據(jù)校驗模塊源端 數(shù)據(jù)庫目標端 數(shù)據(jù)庫數(shù)據(jù)校驗報告源端數(shù)據(jù)文件數(shù)據(jù)校驗校驗基本庫表數(shù)量表數(shù)據(jù)量主鍵表行記錄hash值是否一致16騰訊云DBbridge數(shù)據(jù)校驗結(jié)果檢驗通過表：數(shù)據(jù)行數(shù)、每行數(shù)據(jù)字段均對比 通過檢驗不通過表：數(shù)據(jù)行數(shù)不同，或主鍵相同行 中具體字段值不同支持在數(shù)據(jù)校驗日志中查看具體差異情況17遷移需求溝通遷移評估遷移實施資源準備服務(wù)交割客戶/行業(yè)架構(gòu)師：服務(wù)人員：方案評審結(jié)果確認標準產(chǎn)出：具體內(nèi)容：騰訊云DBbridge數(shù)據(jù)庫應用服務(wù)遷移實施流程需求傳遞給產(chǎn)品 服務(wù)下單系統(tǒng)調(diào)研遷移評估，并生成遷 移方案

8、、改造方案和 可行性評估等和用戶溝通遷移方案用戶確認遷移計 劃準備測試環(huán)境 數(shù)據(jù)庫改造應用部分改造 業(yè)務(wù)功能測試 性能測試安全性測試數(shù)據(jù)遷移數(shù)據(jù)校驗 對比測試 服務(wù)交割遷移評估報告遷移測試報告數(shù)據(jù)校驗報告DBbridge遷移測試181騰訊云DTS產(chǎn)品介紹2騰訊云DTS的新使命3DBbridge產(chǎn)品介紹4DBbridge關(guān)鍵技術(shù)實現(xiàn)5DBbridge未來規(guī)劃目錄CONTENTS19強大的數(shù)據(jù)采集引擎 特有的數(shù)據(jù)壓縮技術(shù) 數(shù)據(jù)實時合并算法 采集速度可以達到 120G200G/小時騰訊云DBbridge優(yōu)勢特點數(shù)據(jù)同步集群支持橫向 擴展單通道支持多并發(fā)寫入單表支持并行復制高性能可擴展數(shù)據(jù)復制支持冪等

9、保證 數(shù)據(jù)最終一致性數(shù)據(jù)拆分算法保證數(shù)據(jù)復制時序性數(shù)據(jù)對比工具數(shù)據(jù)一致性數(shù)據(jù)復制同步通道 支持高可用支持數(shù)據(jù)斷點續(xù)傳高可用同時支持Oracle、DB2、Sybase多種數(shù)據(jù)庫類型支持多種數(shù)據(jù)庫圖形管理界面，經(jīng)過 現(xiàn)場培訓即可自主管理 DBbridge數(shù)據(jù)同步系統(tǒng)易管理、易維護20數(shù)據(jù)抽取模塊任務(wù)管理模塊遷移校驗模塊遷移評估模塊語法轉(zhuǎn)換 模塊WEB管理平臺對象兼容評估報告應用兼容評估報告數(shù)據(jù)對比校驗報告遷移狀態(tài)監(jiān) 控模塊騰訊云DBbridge整體架構(gòu)平臺展示實時數(shù)據(jù)導出數(shù)據(jù)裝載模塊實時數(shù)據(jù)寫入遷移通道任務(wù)管理源庫目標庫數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)加載 插件插件插件數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)加載 插件插件插件2

10、11、Xstream解析 redolog日志獲 取變更前后的記 錄節(jié)點節(jié)點節(jié)點共享存儲變更SQL執(zhí)行之后表A的記錄變?yōu)椋╝=1,b=2） 表B的記錄變?yōu)椋╟=2，d=3）表A增量同步通道表B增量同步通道2、獲取的更新為一個json字符串“before:a=1, b=1”,“after:a=1,b=2”3、獲取的更新為一個json字符串“before:c=2, d=2”,“after:c=2,d=3”7、最終達到A表和B表的數(shù)據(jù)源庫保持 一致，不依賴上游數(shù)據(jù)庫時序，目標端： 表A的記錄變?yōu)椋╝=1,b=2）表B的記錄變?yōu)椋╟=2，d=3）TencentDB5、在目標端表B的記錄變?yōu)椋╟=2，d=

11、3）騰訊云DBbridge數(shù)據(jù)最終一致性保障DBbridge增量同步采用多通道同步，基于行復制來進行數(shù)據(jù)同步的，保證數(shù)據(jù)最終一致性；從歸檔日志中的Redolog中記錄，通過Xstream獲取中那個表 哪一行發(fā)生變更前后的信息取出來，基于行信息進行發(fā)生變更字段的更新。同步的內(nèi)容是具體行結(jié)果的變更，和源庫變更是如何產(chǎn)生的沒有任何關(guān)系，不依賴于時序，單表不亂序不會出現(xiàn)數(shù)據(jù)一致性問題。最終一致性增量同步場景示例：源oracle數(shù)據(jù)庫，有兩個表A和B；表A有一個記錄（a=1，b=1），表B有一個記錄（c=2，d=2）；源數(shù)據(jù)庫有兩條變更SQL，其中一條是“update A，B set A.b=B.d w

12、here A.a=1；”這個時候A的記錄為（a=1，b=2）；另外一條變更SQL是“update B set B.d=3 where B.c=2；這個時候B的記錄為（c=2, d=3）”源Oracle RACDBbridge目標數(shù)據(jù)庫6、生產(chǎn)目標 端SQL并行 “update A set b=2 where a=1 and b=14、如果表B 通道中執(zhí)行較 快，生產(chǎn)目標 端SQL并執(zhí)行 “update B set d=3 where c=2 and c=2;22節(jié)點節(jié)點節(jié)點共享存儲變更SQL執(zhí)行之后表A的記錄變?yōu)椋╝=1,b=2） 表B的記錄變?yōu)椋╟=2，d=3）1、Xstream解析 red

13、olog日志獲 取變更前后的記 錄單通道增量同步獲取的更新為一個json字符串“before:a=1, b=1”,“after:a=1,b=2”獲取的更新為一個json字符串“before:c=2, d=2”,“after:c=2,d=3”生產(chǎn)目標端 TBase SQL并 在一個事務(wù)中 執(zhí) 行 “start transaction; update A set b=2 where a=1 and b=1; update B set d=3 where c=2 and c=2; commit;在目標端表A的記錄變?yōu)椋╝=1，b=2） 表B的記錄變?yōu)椋╟=2，d=3）TencentDB最終達到源端A

14、表和B表在同一時刻 內(nèi)的瞬時一致性騰訊云DBbridge數(shù)據(jù)瞬時一致性保障DBbridge增量同步采用單通道同步，基于事務(wù)時序性來進行數(shù)據(jù)同步的，保證數(shù)據(jù)瞬時一致性；從歸檔日志中的Redolog中記錄，通過Xstream按 照數(shù)據(jù)源事務(wù)產(chǎn)生的時序來獲取數(shù)據(jù)的變更，并把相同事務(wù)的數(shù)據(jù)變更放到一個事務(wù)中發(fā)給下游TBase執(zhí)行。在單個通道內(nèi)數(shù)據(jù)變更的同步是按照事務(wù)產(chǎn)生的順序來執(zhí)行的，上游同一個事務(wù)產(chǎn)生的數(shù)據(jù)變更，下游同樣會按照一個事務(wù)去執(zhí)行，這樣就保證了下游數(shù)據(jù)和上游數(shù)據(jù)的瞬時一致性。瞬時一致性增量同步場景示例：源oracle數(shù)據(jù)庫，有兩個表A和B；表A有一個記錄（a=1，b=1），表B有一個記錄（

15、c=2，d=2）；源數(shù)據(jù)庫有一個事務(wù)，這個事務(wù)中有兩條變更SQL，其中一條是“update A，B set A.b=B.d where A.a=1；”這個時候A的記錄為（a=1，b=2）； 另外一條變更SQL是“update B set B.d=3 where B.c=2；這個時候B的記錄為（c=2, d=3）”源Oracle RACDBbridge目標數(shù)據(jù)庫23如果單表單通道單并發(fā)數(shù)據(jù)同步，確實可以解決數(shù)據(jù)變更的時序性問題，但還是很影響數(shù)據(jù)同步速度。但如果開啟多并發(fā)并行復制，對于單表變更來說，又存在數(shù)據(jù)同步時序性問題，會導致數(shù)據(jù)不一致情況。數(shù)據(jù)裝載一致性hash算法：hash(table_p

16、k)數(shù)據(jù)抽取數(shù)據(jù)裝載騰訊云DBbridge并行復制技術(shù)數(shù)據(jù)抽取中間存儲數(shù)據(jù)抽取數(shù)據(jù)裝載中間存儲中間存儲源庫源庫源庫通過一致性hash算法，確保相同表相同主鍵的記錄 變更在相同的并發(fā)連接中執(zhí)行，這樣既確保了數(shù)據(jù) 變更的時序性，也實現(xiàn)了數(shù)據(jù)同步的橫向擴展。源庫241騰訊云DTS產(chǎn)品介紹2騰訊云DTS的新使命3DBbridge產(chǎn)品介紹4DBbridge關(guān)鍵技術(shù)實現(xiàn)5DBbridge未來規(guī)劃目錄CONTENTS25遷移評估兼容性改造整個過程 歷時3周騰訊云DBbridge數(shù)據(jù)庫應用服務(wù)遷移案例某保險公司OA系統(tǒng)Oracle實例信息：業(yè)務(wù)測試數(shù)據(jù)約200G數(shù)據(jù)量包含大量分區(qū)表，最大的單表數(shù)據(jù)量9千萬 包含大量存儲過程、觸發(fā)器、序列和視圖管理者建立數(shù)據(jù)配置遷移規(guī)則數(shù)據(jù)源管理遷移規(guī)則管理數(shù)據(jù)報告對象 應用SQL報告遷移報告校驗報告可移植性分析作業(yè)管理數(shù)據(jù)遷移遷移校驗源庫目標庫HTTP/HTTPS函數(shù)適配存儲過程適配SQL兼容性適配加號連接改寫，SQL改寫 序列用戶改寫數(shù)據(jù)庫功能性測試 數(shù)據(jù)庫備份恢復測試 應用功能性測試應用數(shù)據(jù)庫性能目標數(shù)據(jù)庫測試26騰訊云DBbridge數(shù)據(jù)實時復制案例27數(shù)據(jù)遷移數(shù)據(jù)復制數(shù)據(jù)容災數(shù)據(jù)熱活企業(yè)內(nèi)部(私有云)公有云私有云公有云 混合云政府能源電力醫(yī)療金融運營商2種方式