企業(yè)級(jí)云數(shù)據(jù)庫(kù)管控架構(gòu)設(shè)計(jì)與實(shí)踐

企業(yè)級(jí)云數(shù)據(jù)庫(kù)管控架構(gòu)設(shè)計(jì)與實(shí)踐Who

am

I寧海元

（江楓，NinGoo）袋鼠云聯(lián)合創(chuàng)始人

CTO?

2007年加入淘寶DBA團(tuán)隊(duì)?

2009～2012

天貓雙十一技術(shù)指揮部核心成員?

2012年加入手機(jī)淘寶，組建無(wú)線(xiàn)數(shù)據(jù)團(tuán)隊(duì)?

2013年翻譯《高性能MySQL》第三版?

2014年阿里云數(shù)據(jù)事業(yè)部，負(fù)責(zé)數(shù)加技術(shù)團(tuán)隊(duì)?

2015年11月離職，聯(lián)合創(chuàng)辦袋鼠云一個(gè)老DBA的心聲壓力大、瑣事多1個(gè)DBA

vs

幾千個(gè)實(shí)例云時(shí)代，何去何從？工具是DBA的第一生產(chǎn)力天象EasyDB智能化：運(yùn)維大數(shù)據(jù)RDS北斗tbsqlDMSDTS現(xiàn)代化：云服務(wù)天機(jī)DBFreedbagent中世紀(jì)：界面orzdba遠(yuǎn)古時(shí)代：腳本企業(yè)級(jí)數(shù)據(jù)庫(kù)運(yùn)維場(chǎng)景IDC托管/自建機(jī)房公共云平臺(tái)云數(shù)據(jù)庫(kù)RDS服務(wù)器部署Oracle服務(wù)器部署MySQL服務(wù)器部署SQL

Server云服務(wù)器部署Oracle云服務(wù)器部署MySQL云服務(wù)器部署SQL

Server企業(yè)級(jí)數(shù)據(jù)庫(kù)運(yùn)維需求日常運(yùn)維備份恢復(fù)高可用數(shù)據(jù)安全創(chuàng)建/銷(xiāo)魂實(shí)例容量/資源管理故障處理邏輯/物理備份基于時(shí)間點(diǎn)恢復(fù)搭建備庫(kù)數(shù)據(jù)零丟失服務(wù)連續(xù)性主機(jī)可掌控?cái)?shù)據(jù)可掌控性能優(yōu)化EasyDB：企業(yè)級(jí)數(shù)據(jù)庫(kù)管理平臺(tái)獨(dú)立部署白盒系統(tǒng)可視化企業(yè)完全擁有數(shù)據(jù)權(quán)限企業(yè)完全控制數(shù)據(jù)庫(kù)服務(wù)器操作和數(shù)據(jù)通過(guò)Web呈現(xiàn)EasyDB：總體架構(gòu)展現(xiàn)層管控層接入層監(jiān)控告警高可用備份實(shí)時(shí)大屏性能分析元數(shù)據(jù)告警通道監(jiān)控規(guī)則租戶(hù)權(quán)限備庫(kù)搭建備份恢復(fù)實(shí)例創(chuàng)建健康檢查手動(dòng)切換自動(dòng)切換任務(wù)調(diào)度工作流引擎Token認(rèn)證Agent消息接收消息下發(fā)HA

EngineAgent

ProxyEasyDB：數(shù)據(jù)采集Token驗(yàn)證消息接收Agentproxy租戶(hù)B租戶(hù)AAgentAgentAgentAgentEasyDB：數(shù)據(jù)采集極速：4s實(shí)時(shí)性能EasyDB：數(shù)據(jù)采集專(zhuān)注：經(jīng)過(guò)實(shí)戰(zhàn)的關(guān)鍵指標(biāo)EasyDB：任務(wù)調(diào)度任務(wù)調(diào)度任務(wù)隊(duì)列TaskAge

nt?

提交任務(wù)任務(wù)執(zhí)行器?

查看任務(wù)進(jìn)度?

處理任務(wù)創(chuàng)建實(shí)例恢復(fù)數(shù)據(jù)搭建備庫(kù)EasyDB：備份歸檔備份任務(wù)調(diào)度本機(jī)備份任務(wù)隊(duì)列備份策略配置備份實(shí)時(shí)狀態(tài)對(duì)象存儲(chǔ)OSS備份線(xiàn)程池歸檔到云端查看備份情況處理異常本地存儲(chǔ)EasyDB：MySQL

HAApplication?

MySQL?5.6?GTID雙主復(fù)制，一主多從?

心跳&備庫(kù)進(jìn)度健康檢查DNS/DB

Proxy?

支持手動(dòng)切換和自動(dòng)切換HAEngine?

支持對(duì)接DRDS/OneProxy?

應(yīng)用層切換無(wú)感知ReadOnlyMaster

1只讀備庫(kù)Master

2只讀備庫(kù)EasyDB：云上Oracle

HAAplicationSLB?

云盤(pán)保證數(shù)據(jù)零丟失?

基于云服務(wù)器實(shí)現(xiàn)HA/ADGHAEngine?

基于SLB提供統(tǒng)一訪(fǎng)問(wèn)入口?

支持手動(dòng)切換和自動(dòng)切換?

應(yīng)用層切換無(wú)感知Active服務(wù)器Standby服務(wù)器SSD云盤(pán)EasyDB：HA

Engine業(yè)務(wù)數(shù)據(jù)庫(kù)健康檢查任務(wù)隊(duì)列健康檢查任務(wù)線(xiàn)程健康檢查線(xiàn)程池內(nèi)存元數(shù)據(jù)守護(hù)線(xiàn)程元數(shù)據(jù)加載線(xiàn)程切換任務(wù)隊(duì)列HA切換線(xiàn)程池元數(shù)據(jù)手動(dòng)切換EasyDB：HA

Engine自動(dòng)切換故障判斷?

數(shù)據(jù)庫(kù)連接?

檢測(cè)備庫(kù)心跳時(shí)間?

主庫(kù)寫(xiě)入心跳?

主庫(kù)讀取心跳?

備庫(kù)是否恢復(fù)最新日志?

設(shè)置備庫(kù)readonly=on?

應(yīng)用層切換?

時(shí)間窗口內(nèi)連接重試N次?

時(shí)間窗口內(nèi)寫(xiě)入失敗N次健康檢測(cè)自動(dòng)切換EasyDB：企業(yè)級(jí)數(shù)據(jù)庫(kù)管控平臺(tái)OracleMySQL/AliSQL高可用高性能阿里云Oracle獨(dú)家解決方案“去IOE”利器，對(duì)接DRDS一鍵切換&一鍵備份發(fā)現(xiàn)并優(yōu)化性能瓶頸SaaS

支持企業(yè)獨(dú)立部署版EasyDB：企業(yè)級(jí)數(shù)據(jù)庫(kù)管控平臺(tái)Oracle阿里云上Oracle獨(dú)家解決方案，幫助傳統(tǒng)企業(yè)客戶(hù)順利上云全面支持自建Oracle場(chǎng)景，支持RAC、雙機(jī)熱備、DataGuardMySQL/AliSQL全鏈路MySQL/AliSQL解決方案和阿里云DRDS對(duì)接，實(shí)現(xiàn)分庫(kù)分表，“去IOE”利器TopSQL數(shù)據(jù)庫(kù)的問(wèn)題90%以上都是SQL的問(wèn)題各種維度分析TopSQL，及時(shí)發(fā)現(xiàn)并優(yōu)化數(shù)據(jù)庫(kù)性能瓶頸淘寶DBA十年經(jīng)驗(yàn)沉淀，DBA的最佳助手EasyDB：企業(yè)級(jí)數(shù)據(jù)庫(kù)管控平臺(tái)一鍵切換一鍵切換主備庫(kù)，輕松實(shí)現(xiàn)高可用一鍵備份備份策略&手動(dòng)備份，確保數(shù)