TapData - 自主可控的實時數(shù)據(jù)平臺

TapData實時數(shù)據(jù)平臺為實時數(shù)據(jù)業(yè)務(wù)而生大型企業(yè)業(yè)務(wù)系統(tǒng)數(shù)量業(yè)務(wù)系統(tǒng)數(shù)量數(shù)據(jù)孤島，企業(yè)在數(shù)字化和AI歷程中的最大瓶頸點大型企業(yè)業(yè)務(wù)系統(tǒng)數(shù)量業(yè)務(wù)系統(tǒng)數(shù)量企業(yè)的痛點信息不完整，缺乏洞察，決策受阻業(yè)務(wù)流程優(yōu)化困難主流數(shù)據(jù)平臺解決方案：定時采集+批處理AIAI定時采集到中央平臺（數(shù)倉/數(shù)據(jù)湖/中臺）定時腳本，批量處理，加工為BI，報表等離線業(yè)務(wù)服務(wù)傳統(tǒng)數(shù)據(jù)平臺難以解決的實時業(yè)務(wù)場景實時駕駛艙金融反欺詐生產(chǎn)線預(yù)警及干預(yù)客戶畫像實時數(shù)據(jù)業(yè)務(wù)的技術(shù)難題企業(yè)實時數(shù)據(jù)集成的主流方案點到點數(shù)據(jù)同步ESB企業(yè)總線基于消息隊列優(yōu)點不足點TapDataLiveDataPlatform：取其長，去取短的新一代產(chǎn)品lTapData是一個開源的企業(yè)級實時數(shù)據(jù)平臺，具有多架構(gòu)，低代碼易開發(fā)，全鏈路實時等特點l在實時同步（點到點）模式下，可以作為一個實時數(shù)據(jù)同步工具，來進行任意數(shù)據(jù)庫或者Kafka之間的實時數(shù)據(jù)復(fù)制l在實時數(shù)據(jù)服務(wù)（中央化）模式下，可以把數(shù)據(jù)實時匯總到中央分布式存儲，并通過API直接發(fā)布實時數(shù)據(jù)給交互l在實時分析模式下，可以以實時數(shù)倉形式來對數(shù)據(jù)進行匯總，為實時BI和報表提供數(shù)據(jù)開發(fā)和支持能力TapDataLiveDataPlatform架構(gòu)及原理可以直接將數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)庫，或者發(fā)送到消息隊列做進一步分發(fā)ApplicationAPlEventApplicationAPlEventStreams或核心技術(shù)能力無代碼實時采集實時物化視圖數(shù)據(jù)一致性保障特定于數(shù)據(jù)庫的日志解析器監(jiān)視數(shù)據(jù)庫WAL日志中的更改。一旦檢測到更改，更改事件將被讀取并轉(zhuǎn)換為標(biāo)準(zhǔn)格式，并轉(zhuǎn)發(fā)到內(nèi)存中的管道事件記錄將通過處理器鏈進行任何所需的轉(zhuǎn)換，包括過濾器、富集字段、合并等。然后將事件記錄交給目標(biāo)編寫器，目標(biāo)編寫器將標(biāo)準(zhǔn)事件轉(zhuǎn)換為特定于目標(biāo)的數(shù)據(jù)庫寫入并應(yīng)用它。在沒有SQL的情況下構(gòu)建復(fù)雜的物化視圖◆將多個表合并為一個表◆連接/查找其他表◆直觀的DAGGUI◆可視化模型構(gòu)建◆物化視圖始終與源同步中央化存儲–基于國產(chǎn)信創(chuàng)分布式文檔數(shù)據(jù)實時數(shù)據(jù)服務(wù)/實時數(shù)據(jù)中臺,一種面向服務(wù)的數(shù)據(jù)架構(gòu)API無代碼發(fā)布反向推送權(quán)限血緣關(guān)系處理轉(zhuǎn)換API無代碼發(fā)布反向推送權(quán)限血緣關(guān)系處理轉(zhuǎn)換◆CRMERPCRMERPMESCDC保持源庫和中臺庫數(shù)據(jù)高度一致www.tapdata.io13自主研發(fā)信創(chuàng)認證全面兼容多場景應(yīng)用TAP=Transactional&AnalyticalProcessingwww.tapdata.io兼容MongoDB社區(qū)版能力略TapDB增強能力華為海思、飛騰、海光、龍芯、鯤鵬華為海思、飛騰、海光、龍芯、鯤鵬國產(chǎn)化芯片支持國產(chǎn)化芯片支持麒麟、統(tǒng)信、歐拉、深度麒麟、統(tǒng)信、歐拉、深度國產(chǎn)化OS國產(chǎn)化OS支持MongoDBMongoDBv3.6/v4.0/v4.2/v4.4/v5.0/v6.0MongoDB社區(qū)版MongoDB社區(qū)版兼容各主流語言相應(yīng)版本的驅(qū)動，包括C、C++、C#、兼容各主流語言相應(yīng)版本的驅(qū)動，包括C、C++、C#、Go、Java、Python、Ruby、Rust、Scala、Swift等驅(qū)動程序驅(qū)動程序兼容官方的客戶端，包括兼容官方的客戶端，包括MongoDBShell及MongoDBCompass客戶端客戶端兼容主流的數(shù)據(jù)庫工具，包括兼容主流的數(shù)據(jù)庫工具，包括mongodump、mongorestore、mongostat、mongotop、mongofiles等數(shù)據(jù)庫工具數(shù)據(jù)庫工具兼容主流的第三方工具及插件，如兼容主流的第三方工具及插件，如NoSQLBooster、Navicat、PrometheusExporter等第三方工具及插件第三方工具及插件www.tapdata.io成功案例：實時數(shù)據(jù)同步，作為KafkaETL的替代成功案例：頭部內(nèi)容平臺實時數(shù)據(jù)交換?頭部的內(nèi)容平臺互聯(lián)網(wǎng)公司，在快速發(fā)展過程中，不斷推出新客戶業(yè)務(wù)?微服務(wù)技術(shù)架構(gòu)意味著獨立的數(shù)據(jù)庫，需要從已有的CRM業(yè)務(wù)獲取實時數(shù)據(jù)?自己開發(fā)Kafka鏈路，研發(fā)成本高，周期長，維護較為復(fù)雜我們的解決方案我們的解決方案經(jīng)過驗證測試后，部署TapData實時數(shù)據(jù)平臺易用的操作讓開發(fā)團隊很快自主上手在適當(dāng)?shù)臋?quán)限安排后，開發(fā)團隊可以自主進行數(shù)據(jù)的對接和同步實現(xiàn)的業(yè)務(wù)價值實現(xiàn)的業(yè)務(wù)價值一年內(nèi)創(chuàng)建了接近200個實時數(shù)據(jù)管道更為高效支撐了業(yè)務(wù)發(fā)展為企業(yè)節(jié)省了預(yù)期的3個人力的投入成功案例：零售業(yè)統(tǒng)一客戶數(shù)據(jù)平臺價值全渠道產(chǎn)品和庫存九套價值全渠道產(chǎn)品和庫存九套oracleERP數(shù)據(jù)匯聚到Mongo物化視圖構(gòu)建易用的API模型API開發(fā)生產(chǎn)力拖拉拽開發(fā)API業(yè)務(wù)對接從數(shù)周耗時降為數(shù)日可共