如何省心、省力、省錢搭建MySQL數(shù)據(jù)庫-中小企業(yè)優(yōu)雅之選

叮咚買菜的上云歷程2023.08.10叮咚買菜的上云歷程2023.08.10千明杰千明杰致力于食品健康、美味與創(chuàng)新讓人們吃得好，讓生活更美好致力于食品健康、美味與創(chuàng)新讓人們吃得好，讓生活更美好選型過程中叮咚買菜主要考慮的因素如何將叮咚買菜現(xiàn)有的數(shù)據(jù)庫遷移至云MyS叮咚買菜的云MySQL數(shù)據(jù)庫架構(gòu)部署1選型過程1選型過程ü高并發(fā)ü數(shù)據(jù)一致性ü數(shù)據(jù)庫訪問時(shí)延ü穩(wěn)定性ü數(shù)據(jù)一致性ü數(shù)據(jù)庫安全ü易用性ü運(yùn)維工具完善自建成本高物理資源不足版本引發(fā)的性能問題周邊生態(tài)工具不完善為什么上云？為什么選擇業(yè)務(wù)層遷移過程業(yè)務(wù)層遷移過程業(yè)務(wù)層VIP訪問地址架構(gòu)部署本地備份鏈路A2區(qū)主實(shí)例強(qiáng)同步復(fù)制強(qiáng)同步復(fù)制只讀實(shí)例只讀實(shí)例只讀實(shí)例A2區(qū)A1區(qū)備實(shí)例備實(shí)例備實(shí)例客戶端/用戶備份中心VIP訪問地址架構(gòu)部署本地備份鏈路A2區(qū)主實(shí)例強(qiáng)同步復(fù)制強(qiáng)同步復(fù)制只讀實(shí)例只讀實(shí)例只讀實(shí)例A2區(qū)A1區(qū)備實(shí)例備實(shí)例備實(shí)例客戶端/用戶備份中心務(wù)高峰需停服擴(kuò)容，資源彈性擴(kuò)展能力高；解決方案實(shí)現(xiàn)彈性擴(kuò)展；）；最新功能最新功能只讀就可實(shí)現(xiàn)水平擴(kuò)展能力；新連接導(dǎo)致實(shí)例負(fù)載過高的問題；ThankThankyou潘怡飛只讀（在線）只讀（離線）(全局讀寫分離)proxyMastermasterSlave0#廣州異步、半同步、強(qiáng)同步replicationreplication只讀（在線）只讀（離線）(全局讀寫分離)proxyMastermasterSlave0#廣州異步、半同步、強(qiáng)同步replicationreplication云數(shù)據(jù)庫MySQL架構(gòu)災(zāi)備實(shí)例災(zāi)備實(shí)例slavereplication基礎(chǔ)能力：基礎(chǔ)能力：?跨可用區(qū)透明切換、兩地三中心災(zāi)增強(qiáng)能力：?proxy自動讀寫分離；?全鏈路審計(jì)日志；?內(nèi)核能力：instantDDL、異步刪除性能能力說明高性能參數(shù)模版高性能參數(shù)模版優(yōu)化提供了高性能/高穩(wěn)定性兩套模版，以滿足用戶不同業(yè)務(wù)的需求；提供公式設(shè)置參數(shù)，以使得變配后依然能夠提供良好的性能；開放innodb_buffer_pool_size相關(guān)參數(shù)，減少OOM概率且為降低內(nèi)存超用比提供了基礎(chǔ)高性能參數(shù)模版能力說明參數(shù)智能調(diào)優(yōu)云數(shù)據(jù)庫MySQL配置參數(shù)多達(dá)幾百個，同時(shí)每個參數(shù)的參數(shù)智能調(diào)優(yōu)范圍從幾十到幾萬，甚至幾十萬不等。對于DBA而言僅能夠通過經(jīng)驗(yàn)進(jìn)行配置。而通過高效的機(jī)器學(xué)習(xí)手段，對于不同負(fù)載進(jìn)行迭代學(xué)習(xí)，TPS提升有15%-55%安全回檔恢復(fù)能力回檔恢復(fù)能力數(shù)據(jù)庫實(shí)例數(shù)據(jù)庫實(shí)例部分庫表部分庫表SQLSQL誤操作droptablerecycletablerecyclerecycle部分庫表極速回檔回收站time2Flashback安全能力說明time2數(shù)據(jù)庫使用過程中的誤操作可能會給業(yè)務(wù)帶來嚴(yán)重的影響，常見的恢復(fù)手段如回檔、克隆等方式操作較為繁瑣且耗時(shí)較長，而通過備份集恢復(fù)則需要額外的系統(tǒng)資源，在數(shù)據(jù)量較大時(shí)恢復(fù)時(shí)間不可控。TXSQL在InnoDB引擎上設(shè)計(jì)和實(shí)現(xiàn)了閃回的功能，無需復(fù)雜的恢復(fù)操作，通過簡單的SQL語句即可查詢或恢復(fù)誤操作前的歷史數(shù)據(jù)，節(jié)省了大量寶貴的時(shí)間，保證業(yè)務(wù)平穩(wěn)運(yùn)行。92.設(shè)置遷移方式和對象3.數(shù)據(jù)一致性校驗(yàn)數(shù)據(jù)庫遷移工具-DTS2.設(shè)置遷移方式和對象3.數(shù)據(jù)一致性校驗(yàn)遷移能力：遷移能力：?源數(shù)據(jù)庫：支持9種（mysql、sqlserver、tdsql以及PG）持函數(shù)、觸發(fā)器、存儲過程等對象?相互關(guān)聯(lián)的數(shù)據(jù)對象需要同時(shí)遷?數(shù)據(jù)庫版本，例如mysql要求源5.5數(shù)據(jù)庫割接方案數(shù)據(jù)一致性業(yè)務(wù)情況低低中80%低低低20%2.業(yè)務(wù)停寫：當(dāng)DTS顯示源目標(biāo)端數(shù)據(jù)差距和延時(shí)均為0，業(yè)務(wù)4.源目標(biāo)端數(shù)據(jù)一致性檢查。5.業(yè)務(wù)切換：業(yè)務(wù)讀寫流量指向目標(biāo)數(shù)據(jù)全量割接割接方案割接前準(zhǔn)備：2.確認(rèn)目標(biāo)端應(yīng)用環(huán)境版本和源端一致4.割接演練停服時(shí)間符合預(yù)期割接步驟：應(yīng)用A業(yè)務(wù)流量以及數(shù)據(jù)庫讀寫業(yè)務(wù))MySQL智能化運(yùn)維平臺感謝觀看！Thankyou負(fù)責(zé)人負(fù)責(zé)人MYSQLMYSQL產(chǎn)品線程昌明前言用性，這些基礎(chǔ)架構(gòu)必須達(dá)到定義好的可量化的成果，而不僅滿足于"更好地運(yùn)行"。?根據(jù)業(yè)務(wù)特征識別可用性需求?如何構(gòu)建不同可用性架構(gòu)根據(jù)業(yè)務(wù)特征識別可用性需求單可用區(qū)故障?單可用區(qū)故障?主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)需要部署在不同?主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)使用同一?主、備用數(shù)據(jù)處理系統(tǒng)具備自動資源、網(wǎng)絡(luò)切02數(shù)據(jù)一致性04單機(jī)故障單機(jī)故障?需要存在主數(shù)據(jù)處理系統(tǒng)以及備用數(shù)據(jù)處?在必要的情況下備用數(shù)據(jù)處理系統(tǒng)可切換為主數(shù)據(jù)處?主、備用數(shù)據(jù)處理系統(tǒng)不可部署在同一個物理01地域級故障地域級故障03如何構(gòu)建不同可用性架構(gòu)1234512345單點(diǎn)故障：通過多節(jié)點(diǎn)架構(gòu)，防止數(shù)據(jù)庫出現(xiàn)淡點(diǎn)故障，異常時(shí)自動切換，保障服務(wù)可用性；在三節(jié)點(diǎn)架構(gòu)下，還提供RPO=0的強(qiáng)同步模式多AZ部署：依托于騰訊云內(nèi)部穩(wěn)定且高速網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)跨AZ的部署模型，當(dāng)單個AZ出現(xiàn)故障時(shí)能夠自動切換至可用AZ災(zāi)備實(shí)例：通過災(zāi)備實(shí)例構(gòu)建跨地域的數(shù)據(jù)同步鏈路，在必要時(shí)可以將災(zāi)備實(shí)例提升為主實(shí)例，通過外網(wǎng)、云聯(lián)網(wǎng)等方案進(jìn)行網(wǎng)絡(luò)打通連接數(shù)據(jù)庫代理：數(shù)據(jù)庫代理可以實(shí)現(xiàn)就近訪問以及計(jì)劃內(nèi)連接保持能力，防止切換后因垮可用區(qū)導(dǎo)致性能出現(xiàn)明顯下降異地備份：使用異地備份，可以最小成本實(shí)現(xiàn)跨地域容災(zāi)，實(shí)現(xiàn)跨地域?qū)嵗謴?fù)等能力9游戲汽車交通業(yè)務(wù)類型災(zāi)備提升為主功能模塊游戲汽車交通業(yè)務(wù)類型災(zāi)備提升為主功能模塊金牌網(wǎng)絡(luò)鏈路異地恢復(fù)跨地域RO組多AZ只讀組多節(jié)點(diǎn)架構(gòu)數(shù)據(jù)庫代理分布式組件多AZ部署SQL限流熱點(diǎn)更新參數(shù)調(diào)優(yōu)異地備份災(zāi)備實(shí)例內(nèi)核優(yōu)化并行查詢強(qiáng)同步故障影響大故障影響大客戶流失客戶流失經(jīng)濟(jì)損失經(jīng)濟(jì)損失產(chǎn)品口碑產(chǎn)品口碑穩(wěn)定性建設(shè)穩(wěn)定性建設(shè)演練模版新建演練演練全生命周期管理演練模版新建演練演練全生命周期管理混沌演練平臺混沌演練報(bào)告混沌演練報(bào)告??演練基本信息?動作執(zhí)行日志?資源分布圖?實(shí)時(shí)指標(biāo)監(jiān)控?演練數(shù)據(jù)統(tǒng)計(jì)混沌演練平臺1演練目標(biāo)：驗(yàn)證CLB、自建服務(wù)、CDB、Redis等服務(wù)對于過載、冗余場景故障時(shí)，是否能夠正常提供服務(wù)2穩(wěn)態(tài)指標(biāo)：云監(jiān)控配置基礎(chǔ)性能指標(biāo)和告警3實(shí)驗(yàn)假設(shè)：分別對業(yè)務(wù)不同層次應(yīng)用進(jìn)行故障注入，能夠?qū)崿F(xiàn)業(yè)務(wù)穩(wěn)態(tài)指標(biāo)觀測4實(shí)驗(yàn)方法：通過騰訊云混沌演練平臺選擇對應(yīng)云產(chǎn)品故障進(jìn)行操作5結(jié)果驗(yàn)證：通過調(diào)用云監(jiān)控/云壓測的結(jié)果，觀測業(yè)務(wù)影響客戶收益：