TurboDX架構(gòu)、應(yīng)用場景、比較優(yōu)勢PPT課件

1、企業(yè)理念因?yàn)閷Ｗ?，所以專業(yè)，數(shù)據(jù)交換我們更專業(yè)！因?yàn)閷Ｗ?，所以專業(yè)，數(shù)據(jù)交換我們更專業(yè)！TurboDX架構(gòu)、應(yīng)用場景、比較優(yōu)勢北京數(shù)貝軟件科技有限公司2020-08TurboDX產(chǎn)品架構(gòu)源庫事務(wù)日志讀取TurboDX Server內(nèi)存流處理點(diǎn)擊式交換任務(wù)設(shè)計(jì)及管理CDC讀取分塊讀取分塊讀取分塊讀取流式加載分塊讀取分塊讀取分塊加載目標(biāo)庫數(shù)據(jù)/元數(shù)據(jù)數(shù)據(jù)/元數(shù)據(jù)元數(shù)據(jù)庫先進(jìn)的監(jiān)控和控制功能B/S點(diǎn)擊式設(shè)計(jì)方式、簡單易用快速全量加載和實(shí)時(shí)CDC增量廣泛異抅數(shù)據(jù)源支持非侵入式架構(gòu)、源湍無任何代理程序TurboDX功能架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)目錄及智能分析查看樣例數(shù)據(jù)交換數(shù)據(jù)結(jié)構(gòu)管理數(shù)據(jù)服務(wù)管理發(fā)布/訂閱服

2、務(wù)配置服務(wù)用戶管理主題服務(wù)監(jiān)控服務(wù)目錄監(jiān)控&統(tǒng)計(jì)運(yùn)行實(shí)時(shí)監(jiān)控告警通知成果展現(xiàn)系統(tǒng)管理授權(quán)管理參數(shù)配置操作日志用戶管理任務(wù)管理動(dòng)態(tài)復(fù)制(DDL+DML)實(shí)時(shí)復(fù)制同步(DML)API REST服務(wù)對(duì)接交換整合&自定義SQL數(shù)據(jù)源連接Hadoop&NoSQL連接數(shù)據(jù)庫(RDB)連接二進(jìn)制文件連接通道服務(wù)連接Kafka&MQ連接數(shù)據(jù)文件連接日志管理HA集群管理TurboDX集群部署（中心）TurboDX集群架構(gòu) 負(fù)載均衡和HA高可用性TurboDX數(shù)據(jù)庫服務(wù)器（雙機(jī)集群）應(yīng)用數(shù)據(jù)源應(yīng)用數(shù)據(jù)源數(shù)據(jù)倉庫TurboDX應(yīng)用服務(wù)器（主）TurboDX應(yīng)用服務(wù)器（備）備熱Turb

3、oDX任務(wù)服務(wù)器（ZK node1）TurboDX任務(wù)服務(wù)器（ZK node3）TurboDX任務(wù)服務(wù)器（ZK node2）Zookeeper集群（三機(jī)+）管理配置人員大數(shù)據(jù)平臺(tái)應(yīng)用數(shù)據(jù)庫應(yīng)用數(shù)據(jù)源應(yīng)用模式單向/雙向/雙寫復(fù)制同步數(shù)據(jù)庫/數(shù)倉/Hadoop/KafkaDatabase業(yè)務(wù)數(shù)據(jù)庫Database業(yè)務(wù)數(shù)據(jù)庫Database業(yè)務(wù)數(shù)據(jù)庫應(yīng)用模式域內(nèi)數(shù)據(jù)匯聚DB/數(shù)倉/Hadoop/Kafka中心匯聚庫Application業(yè)務(wù)系統(tǒng)Database業(yè)務(wù)數(shù)據(jù)庫Application業(yè)務(wù)系統(tǒng)Database業(yè)務(wù)數(shù)據(jù)庫Application業(yè)務(wù)系統(tǒng)Database業(yè)務(wù)數(shù)據(jù)庫應(yīng)用模式域內(nèi)數(shù)據(jù)分發(fā)

4、Database中心匯聚庫JDBC/MPP應(yīng)用模式跨部門/地域數(shù)據(jù)采集匯聚標(biāo)準(zhǔn)下發(fā)標(biāo)準(zhǔn)下發(fā)數(shù)據(jù)上傳數(shù)據(jù)上傳TurboDX部門端Application部門業(yè)務(wù)系統(tǒng)Application部門業(yè)務(wù)系統(tǒng)Database部門前置庫TurboDX部門端Application部門業(yè)務(wù)系統(tǒng)Application部門業(yè)務(wù)系統(tǒng)Database部門前置庫Application中心業(yè)務(wù)系統(tǒng)DB/Hadoop/Kafka中心匯聚庫TurboDX PLUS數(shù)據(jù)中心端BI中心BI系統(tǒng)應(yīng)用模式跨部門/地域數(shù)據(jù)分發(fā)數(shù)據(jù)分發(fā)數(shù)據(jù)分發(fā)TurboDX部門端Application部門業(yè)務(wù)系統(tǒng)Application部門業(yè)務(wù)系統(tǒng)Datab

5、ase部門前置庫部門中心庫TurboDX PLUS數(shù)據(jù)中心端Database中心服務(wù)數(shù)據(jù)庫Database中心業(yè)務(wù)數(shù)據(jù)庫Database中心匯聚數(shù)據(jù)庫目錄加載安全等級(jí)加載Catalog服務(wù)目錄XMLSafe level安全等級(jí)TurboDX部門端Application部門業(yè)務(wù)系統(tǒng)Application部門業(yè)務(wù)系統(tǒng)Database部門前置庫部門中心庫應(yīng)用模式云邊單向/雙向/雙寫同步說明：1、在局域網(wǎng)內(nèi)安裝一套TurboDX Premium，直接接入局域網(wǎng)內(nèi)的Oracle數(shù)據(jù)庫、云網(wǎng)絡(luò)內(nèi)7個(gè)主從數(shù)據(jù)庫、云網(wǎng)絡(luò)內(nèi)DDM集群數(shù)據(jù)庫；2、上行增量數(shù)據(jù)采集通過CDC方式Oracle數(shù)據(jù)庫中獲取，寫入到云網(wǎng)

6、絡(luò)DDM集群中，由集群自行負(fù)責(zé)分發(fā)到各個(gè)主從數(shù)據(jù)庫中；3、下行增量數(shù)據(jù)采集通過CDC方式從云網(wǎng)絡(luò)各主從數(shù)據(jù)庫中獲取，寫入到局域網(wǎng)絡(luò)的Oracle數(shù)據(jù)庫。分塊讀取分塊讀取日志CDC讀取數(shù)據(jù)/元數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)目標(biāo)加載處理模塊內(nèi)存流處理讀取處理模塊并行處理控制器TurboDX ServerTurboDX協(xié)同并行加載提升CDC寫入效率TurboDX for Kafka ConnectTurboDXKafka ConnectorsTurboDXKafka Connectors應(yīng)用程序 Kafka平臺(tái)OracleSQL ServerMySQLInformixPostgreSQLRDBMPPHBASEMon

7、goDBHadoopElasticsearch（通過Kafka進(jìn)行數(shù)據(jù)同步、匯聚與分發(fā))TurboDX for Bigdata（大數(shù)據(jù)匯聚與分發(fā))TurboDX Server內(nèi)存流處理點(diǎn)擊式交換任務(wù)設(shè)計(jì)及管理CDC讀取分塊讀取分塊讀取分塊讀取流式加載分塊讀取分塊讀取分塊加載元數(shù)據(jù)庫數(shù)據(jù)/元數(shù)據(jù)數(shù)據(jù)/元數(shù)據(jù)MPP數(shù)據(jù)倉庫ORACLEInformixMySQLSQL ServerPostgreSQL復(fù)制同步全量(多線程、大表分拆)實(shí)時(shí)增量(CDC)全量+增量 (不停服)動(dòng)態(tài)熱復(fù)制(DDL+DML)雙向雙寫雙活數(shù)據(jù)比對(duì)數(shù)據(jù)審核、清洗數(shù)據(jù)回補(bǔ)數(shù)據(jù)脫敏集群數(shù)據(jù)源支持(如Oracle RAC等)交換整合日

8、志CDC觸發(fā)器標(biāo)識(shí)位時(shí)間戳全量比對(duì)物理表、視圖、自定義SQL單表交換多表整合一對(duì)多分發(fā)廣泛數(shù)據(jù)源Oracle（RAC）(10Ig、11g。12C、18C、19C)SQL Server(2005以上)MySQL、PostgreSQL Informix、DB2、DM、SAP Hana、Gbase8a、GaussDB、Gauss200、TiDB、OB、PolarDBGreenplum、VerticaMongoDBHadoop(HDFS、Hive)HBase、Kudu、ESKafka、RabbitMQ二進(jìn)制文件格式化數(shù)據(jù)文件（csv,txt,excel,json、xml）過濾轉(zhuǎn)換數(shù)據(jù)過濾表級(jí)行級(jí)字段級(jí)

9、轉(zhuǎn)換處理格式類型轉(zhuǎn)換自動(dòng)匹配映射關(guān)系常用函數(shù)自定義函數(shù)自定義后處理程序沖突策略標(biāo)準(zhǔn)策略 以源為主 目標(biāo)為主 自定義智能策略 值大值小 時(shí)間新舊 自定義TurboDX功能特點(diǎn)交換性能多線程流處理部署單節(jié)點(diǎn)任務(wù)服務(wù)器情況下，數(shù)據(jù)庫傳輸可達(dá)：30000記錄/s或 20M/s;實(shí)時(shí)數(shù)據(jù)同步延時(shí)秒級(jí);文件傳輸可達(dá)：40M/s安全可靠Kerberos認(rèn)證加密傳輸壓縮存儲(chǔ)斷點(diǎn)續(xù)傳傳且傳一次保持事務(wù)完整實(shí)時(shí)監(jiān)控事件通知運(yùn)維管理擴(kuò)展功能文件實(shí)時(shí)同步數(shù)據(jù)文件入庫WS/REST服務(wù)對(duì)接Hadoop （Hdfs、Hive、HBase、Kudu)、MongoElasticSearch、Kafka 集成支持不同廠商的MP

10、P /大數(shù)據(jù)平臺(tái)(CDH、HDP、TDH、FI)提供HA高可用性/負(fù)載集群版提供多租戶服務(wù)平臺(tái)SaaS版TurboDX 優(yōu)勢和價(jià)值A(chǔ)集成復(fù)制同步(CDC)、ELT/ETL和數(shù)據(jù)交換功能于一體支持同構(gòu)/異構(gòu)關(guān)系型數(shù)據(jù)庫、Hadoop、Kafka 等大數(shù)據(jù)的接入支持二進(jìn)制文件傳輸、半結(jié)構(gòu)化數(shù)據(jù)文件入庫統(tǒng)一元數(shù)據(jù)目錄視圖、統(tǒng)一調(diào)度、統(tǒng)一監(jiān)控遠(yuǎn)維管理多功能集成一體化、元數(shù)據(jù)目錄視圖與數(shù)據(jù)同步、交換整合管理”一張皮”。C采用獨(dú)有的CDC技術(shù)，在源與目標(biāo)不需要部署任何代理程序和建任何表，對(duì)源端應(yīng)用系統(tǒng)的影響幾乎為零。釆用微服務(wù)容器架構(gòu)和內(nèi)存多線程流處理技術(shù)，系統(tǒng)高容錯(cuò)機(jī)制設(shè)計(jì)，穩(wěn)定可靠、數(shù)據(jù)實(shí)時(shí)性和交換性

11、能高。提供高可用性集群版、實(shí)現(xiàn)故障轉(zhuǎn)移和負(fù)載均衡。對(duì)源和目標(biāo)無侵入、干擾影響最小。容錯(cuò)機(jī)制、穩(wěn)定性可靠性強(qiáng)B完全B/S圖形化配置和監(jiān)控管理界面不用命令行、不用開發(fā)接口實(shí)施高效、快速上線、自助服務(wù)大大降低實(shí)施時(shí)間成本和運(yùn)維成本完全B/S界面簡單易用D租售結(jié)合，滿足不同招標(biāo)形式按源計(jì)費(fèi)，隨時(shí)擴(kuò)展，適應(yīng)項(xiàng)目發(fā)展趨勢原廠商技術(shù)支持、快速響應(yīng)、保駕護(hù)航讓用戶用得起，用得好，用得放心!具有靈活的商業(yè)許可、價(jià)格比較優(yōu)勢TurboDX 跨部門交換方案優(yōu)勢A與TurboDX Plus Service 中心數(shù)據(jù)通道組成跨域交換網(wǎng)絡(luò)多重訪問控制、加密傳輸、壓縮存儲(chǔ)，保證數(shù)據(jù)安全、可控?zé)o需落地前置庫，消除安全隱患無前

12、置庫跨部門節(jié)點(diǎn)(域)交換方案及SaaS服務(wù)平臺(tái)TurboDX vs Oracle OGG 功能比較列表（1）比較事項(xiàng)比較事項(xiàng)數(shù)貝數(shù)貝TurboDXTurboDXOracleOracle OGG OGG技術(shù)架構(gòu)內(nèi)存流處理，讀寫進(jìn)程同在一個(gè)JVM中 讀寫進(jìn)程分布部署在源和目標(biāo)中，中間通過TCP傳輸異構(gòu)數(shù)據(jù)源和目標(biāo)支持支持CDC功能對(duì)源和目標(biāo)數(shù)據(jù)庫的影響無任何駐留程序、無需建任何表，非入侵式設(shè)計(jì)、影響幾乎為零（第三方平臺(tái)的概念）需要在源端部署代理程序及庫中建表，對(duì)源庫有一定影響Hadoop、Kafka等大數(shù)據(jù)源和目標(biāo)支持Kafka支持，Hadoop不確定云端部署支持不支持圖形管理監(jiān)控界面完全B/S圖

13、形化配置管理和監(jiān)控，簡單易用本身是命令行界面，C/S圖形化界面需另購買產(chǎn)品元數(shù)據(jù)目錄及智能分析支持。具有字段識(shí)別、關(guān)系分析、主數(shù)據(jù)梳理等智能元數(shù)據(jù)分析功能，交換任務(wù)基于元數(shù)據(jù)目錄配置不支持。沒有元數(shù)據(jù)目錄和分析功能，DDL變化有時(shí)會(huì)卡死運(yùn)行中的任務(wù)自動(dòng)續(xù)傳/交易事務(wù)完整性支持，并支持高可用性HA集群部署支持，HA集群版與OracleDB高度綁定在線復(fù)制支持。FullLoad+CDC任務(wù)類型不支持高可用性HA集群支持。支持負(fù)載均衡和自動(dòng)故障轉(zhuǎn)移/恢復(fù)，任務(wù)切換時(shí)保證斷點(diǎn)續(xù)傳。支持，HA集群版與OracleDB高度綁定TurboDX vs Oracle OGG 功能比較列表（2）比較事項(xiàng)比較事項(xiàng)數(shù)

14、貝數(shù)貝TurboDXTurboDXOracleOracle OGG OGG多數(shù)據(jù)源DB、MPP數(shù)倉、二進(jìn)制文件交換、數(shù)據(jù)文件（txt、excel、json、xml）加載、NoSQL、Kafka 支持DB、Kafka。但不支持二進(jìn)制文件交換、數(shù)據(jù)文件（csv、excel、xml）等加載數(shù)據(jù)庫大數(shù)據(jù)源NoSQL和目標(biāo)支持Hadoop（HDFS、Hive、HBase、Kudu）、MongoDB、各廠商MPP數(shù)倉 ，如Greenplum、Vertica、Gauss DWS，以及大數(shù)據(jù)平臺(tái)CDH、TDH、FI等不確定ETL過程ELT/ETL不提供，需額外購買ODI ETL產(chǎn)品數(shù)據(jù)轉(zhuǎn)換函數(shù)豐富，且支持自定

15、義函數(shù)、脫敏函數(shù)無B/S配置界面支持不支持，提供命令行及C/S （需另購買管理工具）跨廣域網(wǎng)/防火墻的安全數(shù)據(jù)傳輸及分發(fā)支持支持對(duì)異常數(shù)據(jù)的處理 （沖突規(guī)則）支持，并支持自定義規(guī)則支持本地支持能力高低總體擁有成本低高ETL工具比較比較事項(xiàng)比較事項(xiàng)數(shù)貝數(shù)貝TurboDXInformatica PowerCenterIBM DataStage多數(shù)據(jù)源DB、MPP、二進(jìn)制文件、數(shù)據(jù)文件、Hadoop、Kafka DB、二進(jìn)制文件、Excel、XML、ERP、消息、封閉式主機(jī)DB、文本文件、Excel、ERP、Web Service、WebSphere MQ大數(shù)據(jù)源和目標(biāo)支持Hadoop、 Kafka 、CDH、TDH、FI等不支持不支持ETL過程E-L-TE-T-LE-T-L數(shù)據(jù)轉(zhuǎn)換函數(shù)可自定義豐富豐富配置界面支持，無需編碼支持，無需編碼支持，嵌入類Basic腳本跨廣域網(wǎng)/防火墻的安全數(shù)據(jù)傳輸支持支持不支持對(duì)異常數(shù)據(jù)的處理支持支持不支持本地支持能力高一般