多云多源數(shù)據(jù)管理最佳實(shí)踐-讓效能提升5倍

多云多源數(shù)據(jù)管理最佳實(shí)踐——讓效能提升5倍葉正盛o

NineData創(chuàng)始人&CEO葉正盛 Ni

n

e

D

at

a創(chuàng)始人&CEO?

資深數(shù)據(jù)庫與云計(jì)算領(lǐng)域?qū)＜?曾擔(dān)任阿里云數(shù)據(jù)庫產(chǎn)品管理與解決方案部總經(jīng)理，阿里云技術(shù)架構(gòu)與產(chǎn)品決策委員會(huì)核心成員?阿里巴巴去

IOE、異地多活、云計(jì)算多次技術(shù)變革核心成員?構(gòu)建阿里巴巴&螞蟻集團(tuán)數(shù)據(jù)庫DevOps體系?創(chuàng)立云計(jì)算數(shù)據(jù)傳輸DTS、數(shù)據(jù)管理DMS、數(shù)據(jù)庫備份DBS、數(shù)據(jù)庫自動(dòng)駕駛服務(wù)DAS等多款云計(jì)算數(shù)據(jù)庫產(chǎn)品GO

P

S全球運(yùn)維大會(huì)暨

研運(yùn)數(shù)智化技術(shù)峰會(huì)

2024·上海

站個(gè)人簡(jiǎn)介目錄客戶實(shí)踐

04多云多源架構(gòu)發(fā)展趨勢(shì)

01數(shù)據(jù)庫DevOps03數(shù)據(jù)復(fù)制多云多源架構(gòu)發(fā)展趨勢(shì)01【多云多源】數(shù)據(jù)基礎(chǔ)架構(gòu)發(fā)展趨勢(shì)

云計(jì)算（多云/混合云）

+數(shù)據(jù)庫組合解決方案（多源）字節(jié)跳動(dòng)、小紅書、米哈游、

B站、小米、理想、小鵬、格力、美的、海爾、

Minimax、Volvo中國移動(dòng)、中國聯(lián)通、中國電信、杭州銀行、建設(shè)銀行、光大銀行、國家電網(wǎng)、中國石化OpenAI、Airbnb、

Netflix、寶馬、沃爾瑪、Spotify、

Dropbox、X(Twitter)多模：文字、表格、文檔、日志架構(gòu)：OLTP、

HTAP、OLAPAI：

圖、向量、模型政策：

國產(chǎn)化（中國）合規(guī)：全球化、國企成本：采購策略技術(shù)選型：彈性、AI、分析避免鎖定：技術(shù)中立75%73%…現(xiàn)在單一主數(shù)據(jù)庫Oracle/MySQLIDC、云平臺(tái)多種數(shù)據(jù)庫組合多云/混合云調(diào)研企業(yè)：過去ll

clickHouseoinnuxob鄉(xiāng)red

is?elastic

search數(shù)據(jù)庫系統(tǒng)分類大圖

SQL弱數(shù)據(jù)量NoSQLOLTPOLAP大數(shù)據(jù)大強(qiáng)小分布式關(guān)系型數(shù)據(jù)庫云數(shù)據(jù)庫數(shù)據(jù)倉庫GoldenDBTDSQL星環(huán)大數(shù)據(jù)AntDBGaiaDBOushuDB(2024.10)墨天輪收錄：

225個(gè)，

2024年通過國家安全評(píng)測(cè)17個(gè)國產(chǎn)數(shù)據(jù)庫百花齊放神舟Milvus達(dá)夢(mèng)人大金倉巨杉數(shù)據(jù)庫TDengineNebulaGraph南大通用PolarDBOceanBaseGaussDBDoris/SelectDBTiDBStarRocks老牌關(guān)系型數(shù)據(jù)庫NoSQL數(shù)據(jù)庫DevOpsSQL

IDE、

CI/CD、性能優(yōu)化、安全NineData數(shù)據(jù)庫引擎OracleMySQLPolarDBMongoDBClickhouse…DBPaaS資源調(diào)度、安裝配置、備份恢復(fù)、監(jiān)控告警、

HARDSBI數(shù)據(jù)分析、挖掘、大屏PowerBI、帆軟數(shù)據(jù)流(復(fù)制/集成)數(shù)據(jù)遷移、同步、ETL、訂閱、分享NineData數(shù)據(jù)庫與生態(tài)產(chǎn)品

on

goo

e,

?elastic

search

Any

Data

.red

is

Green

plum

…

NineData安全高效的管理無處不在的數(shù)據(jù)AnyWhere跨云/IDC私網(wǎng)連接天翼云移動(dòng)云騰訊云本地IDCAWS…Azure阿里云華為云GCP》roa

roeclickHouse豐富的數(shù)據(jù)源、云平臺(tái)支持

:

RDBMS

、

No

SQL

、數(shù)據(jù)倉庫、大數(shù)據(jù)

產(chǎn)百度智能云IDC數(shù)據(jù)復(fù)制

數(shù)據(jù)庫DevOps安全管控NineData云原生智能數(shù)據(jù)管理平臺(tái)數(shù)據(jù)開發(fā)

BI

開發(fā)業(yè)務(wù)運(yùn)營應(yīng)用開發(fā)者DB

A系統(tǒng)管理云廠商

自建

IDC托管數(shù)據(jù)庫（開源/自研/國產(chǎn)）數(shù)據(jù)倉庫/大數(shù)據(jù)平臺(tái)數(shù)據(jù)實(shí)時(shí)同步ET

L數(shù)據(jù)遷移數(shù)據(jù)容災(zāi)應(yīng)用消息隊(duì)列自建數(shù)據(jù)庫托管數(shù)據(jù)庫生產(chǎn)發(fā)布A

I代碼審核數(shù)據(jù)開發(fā)搜索平臺(tái)自建

I

DCNine

Data數(shù)據(jù)復(fù)制02

實(shí)時(shí)數(shù)據(jù)遷移上云/國產(chǎn)化數(shù)據(jù)復(fù)制容災(zāi)ETL數(shù)據(jù)對(duì)比MySQL->RDS上海

<->北京Oracle->Doris結(jié)構(gòu)對(duì)比Oracle->PG阿里云

<->AWSMySQL->ClickHouse數(shù)據(jù)對(duì)比MongoDB->MongoDB云

<->IDCMySQL->TiDB差異數(shù)據(jù)訂正數(shù)據(jù)復(fù)制典型場(chǎng)景

NineData數(shù)據(jù)復(fù)制任務(wù)2

結(jié)構(gòu)復(fù)制（table/view/procedure…）全量數(shù)據(jù)復(fù)制(映射/過濾…)增量數(shù)據(jù)捕獲數(shù)據(jù)傳輸隊(duì)列

增量寫入結(jié)構(gòu)對(duì)比子任務(wù)協(xié)同GatewayCloud

Linkll

clickHouseGatewayCloud

Link用戶控制臺(tái)管理平臺(tái)任務(wù)資源調(diào)度（Kubernetes)NineData數(shù)據(jù)復(fù)制架構(gòu)圖任務(wù)配置全量數(shù)據(jù)對(duì)比OpenAPI日志存儲(chǔ)增量數(shù)據(jù)對(duì)比日志與監(jiān)控阿里云

IDC

…騰訊云

華為云

百度云

移動(dòng)云

AWS

GCP

數(shù)據(jù)源數(shù)據(jù)源neData數(shù)據(jù)復(fù)制任務(wù)1Ni豐富數(shù)據(jù)源強(qiáng)勁性能跨云內(nèi)網(wǎng)傳輸超遠(yuǎn)距離實(shí)時(shí)傳輸60+10萬

RPS業(yè)界領(lǐng)先業(yè)界首創(chuàng)>10000公里

業(yè)界領(lǐng)先北京遠(yuǎn)距離實(shí)時(shí)數(shù)據(jù)傳輸

(遷移/同步/備份)杭州NineData數(shù)據(jù)復(fù)制特點(diǎn)讓數(shù)據(jù)自由流動(dòng)，創(chuàng)造更多數(shù)據(jù)價(jià)值美國甘肅東數(shù)西算全球業(yè)務(wù)NineDataCanalFlinkCDC某云DTS核心定位多云多源實(shí)時(shí)數(shù)據(jù)復(fù)制MySQL增量復(fù)制大數(shù)據(jù)實(shí)時(shí)復(fù)制數(shù)據(jù)遷移上云不足商業(yè)產(chǎn)品僅支持MySQL需要二次開發(fā)易用性、穩(wěn)定性差

需要二次開發(fā)非云中立，優(yōu)先支持

自家云數(shù)據(jù)庫數(shù)據(jù)源60種MySQL9種18種全量數(shù)據(jù)遷移33MB/s32MB/s31MB/s27MB/s增量數(shù)據(jù)遷移2.7萬記錄/s0.83萬記錄/s不穩(wěn)定0.55萬記錄/s結(jié)構(gòu)遷移全量

+增量全量（僅表對(duì)象）全量（僅表對(duì)象）全量數(shù)據(jù)對(duì)比支持××-場(chǎng)景：MySQL

->

MySQL數(shù)據(jù)復(fù)制數(shù)據(jù)庫硬件：

2臺(tái)ECS8c16G

，

ESSDNineData數(shù)據(jù)復(fù)制對(duì)比03

Nine

Data

數(shù)據(jù)庫DevOps安全穩(wěn)定監(jiān)控告警

漏洞修復(fù)開發(fā)效率安全規(guī)范流程MySQL慢SQL治理備份恢復(fù)MongoDB

DBA

（

OPS）數(shù)據(jù)庫研發(fā)協(xié)同挑戰(zhàn)

應(yīng)用開發(fā)者需求緊急java流程慢mybatispython診斷優(yōu)化Oracle不了解規(guī)

范用戶體驗(yàn)差SQL開發(fā)沒權(quán)限變更發(fā)布N:1面向一家企業(yè)（阿里巴巴）?

阿里巴巴集團(tuán)數(shù)據(jù)庫服務(wù)平臺(tái)?專注解決數(shù)據(jù)庫研發(fā)效率、數(shù)據(jù)

安全問題?

阿里集團(tuán)高效數(shù)據(jù)庫服務(wù)平臺(tái)-

iDB

(鏈接)@2013VelocityChina

2013

by

葉正盛面向一個(gè)云平臺(tái)（阿里云）?

阿里云數(shù)據(jù)庫的數(shù)據(jù)管理產(chǎn)品?

十年磨一劍，阿里巴巴企業(yè)級(jí)

數(shù)據(jù)管理平臺(tái)

DMS（鏈接）@2017阿里云DMS商業(yè)化研發(fā)協(xié)同效能提升5倍以上iDB

DMS面向所有企業(yè)與云平臺(tái)?多云、多數(shù)據(jù)庫支持?支持60種數(shù)據(jù)庫?云中立，支持主流云平臺(tái)?支持本地一鍵安裝部署?更靈活的DevOps業(yè)務(wù)模型?AI大模型創(chuàng)新NineData數(shù)據(jù)庫

DevOps十四年經(jīng)驗(yàn)積累2010年2016年2021年~開發(fā)測(cè)試環(huán)境發(fā)布?產(chǎn)SQL變更發(fā)布SQL診斷優(yōu)化數(shù)據(jù)庫設(shè)計(jì)導(dǎo)入導(dǎo)出歷史數(shù)據(jù)歸檔數(shù)據(jù)追蹤慢

SQL

治理NineData數(shù)據(jù)庫

DevOps專業(yè)解決?案測(cè)試數(shù)據(jù)生成SQL

智能審核數(shù)據(jù)查詢數(shù)據(jù)變更A

I

大模型集成規(guī)范與流程版本管理CI

/

CD

集成細(xì)粒度權(quán)限管控安全規(guī)范約束敏感數(shù)據(jù)保護(hù)操作審計(jì)高效協(xié)作數(shù)據(jù)安全測(cè)試?代碼智能提示?

ChatDBA?Text2SQL?數(shù)據(jù)庫安全保護(hù)?敏感數(shù)據(jù)脫敏?支持60種數(shù)據(jù)庫1基于AI大模型的SQL開發(fā)

IDE（更安全、更高效）Smart

Edit，研發(fā)協(xié)同效率提升5倍基于位置的智能提示與補(bǔ)齊，少寫一半的SQL通用大模型接入拿

拿拿ChatDBAText2SQL智能SQL優(yōu)化數(shù)據(jù)庫Schema智能轉(zhuǎn)換數(shù)據(jù)庫輔助代碼生成SQL智能審核存儲(chǔ)過程轉(zhuǎn)換代碼錯(cuò)誤修復(fù)文檔生成代碼解讀ChatGPTQwenBaichuanMoonshootLlama文心一言NineData+AI大模型數(shù)據(jù)管理CopilotRAG數(shù)據(jù)庫知識(shí)庫數(shù)據(jù)管理Copilot更安全、更高效安全的執(zhí)行策略數(shù)據(jù)庫變更發(fā)布導(dǎo)致60%生產(chǎn)故障系統(tǒng)工單應(yīng)用開發(fā)者

DBA(OPS)?人工執(zhí)行?缺少規(guī)范?無風(fēng)險(xiǎn)識(shí)別

?

鎖表?

無備份更高效、更安全的SQL審核與發(fā)布NineData智能SQL審核與發(fā)布傳統(tǒng)發(fā)布定時(shí)執(zhí)行影響行數(shù)檢測(cè)自動(dòng)備份數(shù)據(jù)手工執(zhí)行Online

DMLOnline

DDL基于CBO技術(shù)的慢SQL診斷優(yōu)化方案基于研發(fā)規(guī)范及性能的診斷優(yōu)化能力單條SQL優(yōu)化流程SQL診斷建議局部SQL優(yōu)化流程SQL聚合分類SQL解析索引合成代價(jià)評(píng)估單條SQL優(yōu)化候選索引生成生成索引生成索引

支持歸檔、清理、歸檔

+清理多種策略靈活按需選擇首創(chuàng)的自動(dòng)數(shù)據(jù)歸檔與清理!

自動(dòng)調(diào)度當(dāng)前庫歷史庫

支持單次、周期調(diào)度

支持多種數(shù)據(jù)庫類型完整的

SQL

保護(hù)機(jī)制完善的SQL

保護(hù)(多重)子查詢發(fā)現(xiàn)

函數(shù)操作發(fā)現(xiàn)JOIN操作發(fā)現(xiàn)UNION、窗口函數(shù)按需開啟/關(guān)閉手動(dòng)開啟與關(guān)閉自動(dòng)掃描，人工確認(rèn)完整的SQL

審計(jì)完整的操作審計(jì)列粒度權(quán)限控制多種遮掩算法基礎(chǔ)全遮掩適用手機(jī)的中間遮掩

使用郵箱的前綴遮掩加密遮掩定制遮掩嚴(yán)謹(jǐn)?shù)拿舾袛?shù)據(jù)保護(hù)手機(jī)號(hào)碼電子郵箱

銀行卡密碼信息

車牌號(hào)SQL腳本編輯敏感數(shù)據(jù)源常見類型自動(dòng)發(fā)現(xiàn)主動(dòng)申請(qǐng)管理簡(jiǎn)單

到期釋放

賬號(hào)暫停角色/分組分配隨角色組管理“環(huán)境”（數(shù)據(jù)源分組）便于組織/企業(yè)管理個(gè)人、角色兩級(jí)權(quán)限角色實(shí)現(xiàn)批量權(quán)限管理

個(gè)人支持細(xì)粒度組合靈活控制用戶權(quán)限基于環(huán)境/數(shù)據(jù)源分組批量權(quán)限管理不同環(huán)境，不同權(quán)限多種分配方式多權(quán)限、細(xì)粒度查詢、

DML、

DDL、導(dǎo)入與導(dǎo)出任務(wù)提交、審批與執(zhí)行支持?jǐn)?shù)據(jù)源、庫、列權(quán)限

完整的基于角色/分組的權(quán)限管理

面向數(shù)據(jù)庫的RBAC權(quán)限體系NineDataNavicatYearning某堡壘機(jī)核心定位企業(yè)級(jí)數(shù)據(jù)庫DevOps

專業(yè)解決方案數(shù)據(jù)庫個(gè)人客戶端MySQL數(shù)據(jù)庫變更流程平臺(tái)跳板機(jī)不足商業(yè)產(chǎn)品沒有企業(yè)級(jí)數(shù)據(jù)安全、流

程、規(guī)范支持的數(shù)據(jù)庫少功能簡(jiǎn)單非數(shù)據(jù)庫專業(yè)解決方案數(shù)據(jù)源70種51種1種（MySQL）10種SQL窗口√√√依靠客戶端變更發(fā)布流程與規(guī)范√×√×SQL代碼審核√×××數(shù)據(jù)導(dǎo)入導(dǎo)出√√××數(shù)據(jù)追蹤√×××數(shù)據(jù)生成√√××數(shù)據(jù)歸檔√×××統(tǒng)一權(quán)限管理√×××敏感數(shù)據(jù)保護(hù)√×√（不可用）×AI集成√×××NineData數(shù)據(jù)庫DevOps功能對(duì)比客戶實(shí)踐04

主要問題與挑戰(zhàn) 客戶本身有很多數(shù)據(jù)需要同步，同時(shí)還要提供數(shù)據(jù)復(fù)制產(chǎn)品給他的客戶使用，比如該云的客戶從其他云廠商或自建系統(tǒng)中遷移上云。 應(yīng)用場(chǎng)景復(fù)雜：包括遷移上云、跨云遷移、跨區(qū)域遷移、數(shù)據(jù)容災(zāi)、異地多活等業(yè)務(wù)場(chǎng)景。

網(wǎng)絡(luò)環(huán)境復(fù)雜：

Region

內(nèi)部/

Region之間，和其他云廠商與客戶自有系統(tǒng)之間等各種鏈路。使用成效每天穩(wěn)定運(yùn)行的數(shù)據(jù)鏈路數(shù)百條。通過

NineData雙向復(fù)制構(gòu)建了超長距離（超過

1000公里）

的異地多活集群，支撐業(yè)務(wù)高穩(wěn)定運(yùn)行?？蛻舭咐?/p>

中國移動(dòng)云數(shù)據(jù)復(fù)制

…核心需求：去O、國產(chǎn)化數(shù)據(jù)庫選型、數(shù)據(jù)同步質(zhì)量與性能

…客戶實(shí)踐：某銀行數(shù)據(jù)庫國產(chǎn)化遷移同步多種功能支持

統(tǒng)一訪問與權(quán)限管理

SSO

數(shù)據(jù)變更與備份

規(guī)則規(guī)范數(shù)據(jù)庫變更管理On