對比 MySQL 的 Binlog 日志處理工具

對比MySQL的Binlog日志處理工具CanalMaxwellDatabus阿里云的數(shù)據(jù)傳輸服務(wù)DTSCanal定位：基于數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)訂閱&消費，目前主要支持了mysql。原理：canal模擬mysqlslave的交互協(xié)議，偽裝自己為mysqlslave，向mysqlmaster發(fā)送dump協(xié)議mysqlmaster收到dump請求，開始推送binarylog給slave(也就是canal)canal解析binarylog對象(原始為byte流)整個parser過程大致可分為幾步：搜索公眾號后端架構(gòu)師后臺回復(fù)“架構(gòu)整潔”，獲取一份驚喜禮包。Connection獲取上一次解析成功的位置（如果第一次啟動，則獲取初始制定的位置或者是當(dāng)前數(shù)據(jù)庫的binlog位點）Connection建立連接，發(fā)生BINLOG_DUMP命令Mysql開始推送BinaryLog接收到的BinaryLog通過Binlogparser進行協(xié)議解析，補充一些特定信息傳遞給EventSink模塊進行數(shù)據(jù)存儲，是一個阻塞操作，直到存儲成功存儲成功后，定時記錄BinaryLog位置數(shù)據(jù)過濾：支持通配符的過濾模式，表名，字段內(nèi)容等數(shù)據(jù)路由/分發(fā)：解決1:n(1個parser對應(yīng)多個store的模式)數(shù)據(jù)歸并：解決n:1(多個parser對應(yīng)1個store)數(shù)據(jù)加工：在進入store之前進行額外的處理，比如joinMaxwellcanal由Java開發(fā)，分為服務(wù)端和客戶端，擁有眾多的衍生應(yīng)用，性能穩(wěn)定，功能強大；canal需要自己編寫客戶端來消費canal解析到的數(shù)據(jù)。maxwell相對于canal的優(yōu)勢是使用簡單，它直接將數(shù)據(jù)變更輸出為json字符串，不需要再編寫客戶端。DatabusDatabus是一種低延遲變化捕獲系統(tǒng)，已成為LinkedIn數(shù)據(jù)處理管道不可或缺的一部分。Databus解決了可靠捕獲，流動和處理主要數(shù)據(jù)更改的基本要求。Databus提供以下功能：源與消費者之間的隔離保證按順序和至少一次交付具有高可用性從更改流中的任意時間點開始消耗，包括整個數(shù)據(jù)的完全引導(dǎo)功能。分區(qū)消費源一致性保存阿里云的數(shù)據(jù)傳輸服務(wù)DTS數(shù)據(jù)傳輸服務(wù)（DataTransmissionService，簡稱DTS）是阿里云提供的一種支持RDBMS（關(guān)系型數(shù)據(jù)庫）、NoSQL、OLAP等多種數(shù)據(jù)源之間數(shù)據(jù)交互的數(shù)據(jù)流服務(wù)。DTS提供了數(shù)據(jù)遷移、實時數(shù)據(jù)訂閱及數(shù)據(jù)實時同步等多種數(shù)據(jù)傳輸能力，可實現(xiàn)不停服數(shù)據(jù)遷移、數(shù)據(jù)異地災(zāi)備、異地多活(單元化)、跨境數(shù)據(jù)同步、實時數(shù)據(jù)倉庫、查詢報表分流、緩存更新、異步消息通知等多種業(yè)務(wù)應(yīng)用場景，助您構(gòu)建高安全、可擴展、高可用的數(shù)據(jù)架構(gòu)。優(yōu)勢：數(shù)據(jù)傳輸（DataTransmission）服務(wù)DTS支持RDBMS、NoSQL、OLAP等多種數(shù)據(jù)源間的數(shù)據(jù)傳輸。它提供了數(shù)據(jù)遷移、實時數(shù)據(jù)訂閱及數(shù)據(jù)實時同步等多種數(shù)據(jù)傳輸方式。相對于第三方數(shù)據(jù)流工具，數(shù)據(jù)傳輸服務(wù)DTS提供更豐富多樣、高性能、高安全可靠的傳輸鏈路，同時它提供了諸多便利功能，極大得方便了傳輸鏈路的創(chuàng)建及管理。個人理解：就是一個消息隊列，會給你推送它包裝過的sql對象，可以自己做個服務(wù)去解析這些sql對象。免去部署維護的昂貴使用成本。DTS針對阿里云RDS（在線關(guān)系型數(shù)據(jù)庫）、DRDS等產(chǎn)品進行了適配，解決了B