基于互聯(lián)網(wǎng)業(yè)務(wù)的MySQL內(nèi)核優(yōu)化之路

1、技術(shù)創(chuàng)新，變革未來基于互聯(lián)網(wǎng)業(yè)務(wù)的MySQL內(nèi)核優(yōu)化之路InnoSQL簡介01020304MGR在網(wǎng)易使用與優(yōu)化圍繞MGR的InnoSQL內(nèi)核改進(jìn)InnoSQL其他重要特性舉例目錄InnoSQL簡介MySQL fork for NetEase起于MySQL 5.5版本當(dāng)前線上以5.7.20為主InnoSQL 8.0.19已發(fā)布支撐網(wǎng)易互聯(lián)網(wǎng)95%+應(yīng)用InnoSQL vs MySQL以網(wǎng)易業(yè)務(wù)需求為中心Bugfix、性能和可用性更多創(chuàng)新特性和功能增強(qiáng)InnoSQL 5.5.20 - 5.5.30 - 5.6.19 - 5.7.12 - 5.7.20 - 8.0.19InnoSQL主要特性Inn

2、oSQL 5.5.30InnoDB Flash Cache （SSD Cache）TopSQL、Role Table、Profiler、TNT/NTSEReplication：半/全同步、并行、Crash-SafeToKuDB、Flashback、線程池其他增強(qiáng)：XA事務(wù)、組提交、慢日志等InnoSQL 5.7.20/8.0.19MGR優(yōu)化增強(qiáng)：性能、穩(wěn)定性、日志和投票節(jié)點MyRocks：支持XA事務(wù)、穩(wěn)定性增強(qiáng)DDL Flashback，線程池，審計隱式列、異步索引其他增強(qiáng)：賬號管理、事務(wù)管理、并行復(fù)制等InnoSQL未來發(fā)展InnoSQL on Curve/opencurve/curveI

3、nnoSQLCURVE打造開源通用的共享存儲數(shù)據(jù)庫方案InnoSQL簡介01020304MGR在網(wǎng)易使用與優(yōu)化圍繞MGR的InnoSQL內(nèi)核改進(jìn)InnoSQL其他重要特性舉例目錄MGR在網(wǎng)易使用和優(yōu)化MGR問題與優(yōu)化 性能波動/耗內(nèi)存遇到的問題:沖突檢測數(shù)據(jù)庫清理不及時占用內(nèi)存過多導(dǎo) 致OOM清理沖突檢測數(shù)據(jù)庫時性能周期性波動清理周期不可調(diào)MGR問題與優(yōu)化 性能波動/耗內(nèi)存優(yōu)化方案問題描述：有限內(nèi)存和網(wǎng)絡(luò)帶寬下，節(jié)點宕機(jī)或不可用嚴(yán)重性：影響服務(wù)可用性，數(shù)據(jù)庫停寫或只讀停服MGR在網(wǎng)易使用和優(yōu)化MGR問題與優(yōu)化 Paxos相關(guān)原因分析：MGR Paxos協(xié)議實現(xiàn)不夠靈活，消息發(fā)送和拉取過于激進(jìn)，

4、導(dǎo)致 網(wǎng)絡(luò)擁塞，引起mysqld oom等故障MGR問題與優(yōu)化 Paxos相關(guān)優(yōu)化方案代碼demo詳見知乎專欄“數(shù)據(jù)庫內(nèi)核”MySQL Group Replication Paxos層不足和優(yōu)化InnoSQL簡介01020304MGR在網(wǎng)易使用與優(yōu)化圍繞MGR的InnoSQL內(nèi)核改進(jìn)InnoSQL其他重要特性舉例目錄圍繞MGR的內(nèi)核改進(jìn)影響MGR規(guī)?；褂靡蛩夭渴鸪杀荆褐辽?節(jié)點，成本增加50%Schema限制：InnoDB，需要主鍵或唯一鍵性能因素：事務(wù)執(zhí)行鏈路長，MGR流控解決辦法（一寫多讀場景）部署成本：MGR arbiter/log memberSchema限制：MyRocks，MyS

5、QL隱式列性能因素：基于冪等復(fù)制的從庫性能優(yōu)化基于Blackhole的MGR日志節(jié)點實現(xiàn)圍繞MGR的內(nèi)核改進(jìn)日志節(jié)點支持MGR從庫使用blackhole存儲引擎改寫指定InnoDB引擎的DDL語句確保該節(jié)點不會切換為主庫（member_weight=0）不能成為其他節(jié)點的克隆節(jié)點通過mysqldump -no-data初始化節(jié)點圍繞MGR的內(nèi)核改進(jìn)MGR投票節(jié)點設(shè)計要點兼容MySQL/Percona社區(qū)版本確保該節(jié)點不會切換為主庫不能成為其他節(jié)點的Binlog數(shù)據(jù)源MGR投票節(jié)點設(shè)計要點遵從MGR節(jié)點間通信協(xié)議（每秒心跳、狀態(tài)廣播、gtid_executed廣播等）仍走節(jié)點正常上線邏輯（vie

6、w change log event）上線后applier_handler不再寫binlog到relay-log文件復(fù)用MGR日志節(jié)點實現(xiàn)方案圍繞MGR的內(nèi)核改進(jìn)解決方案部署成本：MGR arbiter/log memberSchema限制：MyRocks，MySQL隱式列性能因素：基于冪等復(fù)制的性能優(yōu)化支持MyRocks存儲引擎可行性：單主模式無ongoing事務(wù)與apply事務(wù)沖突發(fā)揮MyRocks高寫入性能MySQL隱式列參考MariaDB invisible column實現(xiàn)MySQL 5.7：DML和select處理，frm文件，mysqldumpMySQL 8.0：InnoDB數(shù)據(jù)

7、字典表處理基于冪等復(fù)制的性能優(yōu)化（內(nèi)核自動處理）可提升集群性能，至少可提升從庫apply性能不設(shè)雙一：sync_binlog, innodb_flush_log_at_trx_commit故障恢復(fù)時slave_exec_mode=IDEMPOTENT（冪等復(fù)制）選擇從最后一個Binlog文件開始恢復(fù)DDL無法冪等，通過rotate Binlog文件解決InnoSQL簡介01020304MGR在網(wǎng)易使用與優(yōu)化圍繞MGR的InnoSQL內(nèi)核改進(jìn)InnoSQL其他重要特性舉例目錄索引創(chuàng)建異步化改造Online DDL vs pt-osc/gh-ostOnline DDL性能優(yōu)勢明顯，且節(jié)省磁盤空間看

8、起來很美，為何沒怎么使用呢？復(fù)制問題！DDL在從庫排他性回放，導(dǎo)致從庫復(fù)制延遲，MGR會導(dǎo)致主庫流控MySQL 8.0解決了加列問題，InnoSQL嘗試提供加索引場景一種優(yōu)化方法索引創(chuàng)建異步化改造create index完成合法性檢查 后，加入異步任務(wù)隊列，馬 上寫binlog；獨(dú)立線程負(fù)責(zé)實際執(zhí)行索引 創(chuàng)建任務(wù)；通過MySQL 8.0持久化參數(shù)記 錄和更新任務(wù)狀態(tài)；實現(xiàn)主從同時進(jìn)行創(chuàng)建索引操作；實現(xiàn)從庫非阻塞式索引創(chuàng)建；實現(xiàn)方案InnoDB鎖對并行復(fù)制的影響唯一性約束檢查及沖突處理行為典型觸發(fā)場景（delete + insert）：電商業(yè)務(wù)：NDC增量同步+ MGR writeset復(fù)制；云音樂業(yè)務(wù)：MySQL外部XA事務(wù)（DDB）；修復(fù)方法：從庫關(guān)閉唯一性約束檢查（簡單粗暴）成果：保障MGR順利落地。逐步替換PerconaMyRocks on InnoSQLMyRocks增強(qiáng)及規(guī)模使用MyRocks在網(wǎng)易使用現(xiàn)狀網(wǎng)易云音樂推薦類業(yè)務(wù)：實時推薦、離線推薦等歷史聽歌記錄、營收廣告和用戶增長、數(shù) 據(jù)歸檔等絕大部分核心庫的延遲從庫網(wǎng)易傳媒新聞客戶端內(nèi)容審核庫新聞頭條推薦網(wǎng)易號網(wǎng)易視頻線上累計200+實例，節(jié)省大量內(nèi)存及S