MySQL Operator容器化方案解讀

MySQL容器化拓撲結構固定MySQLPodIP可以在K8S上使用Calico網(wǎng)絡插件實現(xiàn)。存儲方面使用高性能分布式存儲或者直接掛載本地盤都可達到要求，這些不在本文做重點介紹。MySQL容器化有同城災備需求。對于MySQL部分，我們使用MySQLMGR單主模式，將MGR節(jié)點分散在本地/同城運行，正常情況下主節(jié)點運行在本地，災備切換時將主節(jié)點切換至同城。對于K8S集群部分，我行K8S集群沒有進行跨本地/同城部署，所以MySQLMGR節(jié)點會分布在兩個K8S集群運行。對于MySQL服務暴露部分，在每個K8S集群上為每個MGR集群各建立Read、WriteService，通過K8SService機制對外暴露MySQL服務。整體拓撲結構如下所示：MySQLOperator功能邏輯MySQLOperator的功能包括MGR集群創(chuàng)建、集群維護、CPU內(nèi)存資源升級、MGR節(jié)點擴縮容、節(jié)點遷移等。由于MGR集群跨K8S部署，所以在Operator的邏輯上不能只管控本地資源，還需關注在同城運行的那一部分MGR節(jié)點的情況。MGR集群創(chuàng)建在MySQLMGR集群CR資源定義中包含以下三個字段：flag字段為primary標識MGR的主應該在本地ipList定義部署在本地K8S集群的MGRPod列表，以及具體的PodIP和所在K8S節(jié)點remoteList定義部署在同城K8S集群的MGRPod列表；本地Operator會通過該字段中的IP地址嘗試連接同城MGR節(jié)點，以判斷同城MGR節(jié)點是否連通以及角色是否正常spec:

flag:

"primary"

ipList:

-

ip:

""

nodeName:

"abc"

remoteList:

-

ip:

""

nodeName:

"abc"在MGR集群創(chuàng)建流程中，兩邊Operator均需確定ipList和remoteList中的PodIP地址均可連通，確定MGR集群所屬的Pod均已啟動后才能執(zhí)行MGR集群的創(chuàng)建工作。創(chuàng)建的時候，flag為primary側的Operator會在本K8S集群中選出一個MGRPod進行主節(jié)點的引導啟動，其余本地Pod和flag為standby側集群的Pod均啟動為從節(jié)點。MGR集群維護集群維護功能是為了保證MGR集群按照預期運行，集成了各種異常場景下處理邏輯，主要包括以下幾個部分：保證Service、PVC、Configmap等需要的K8S資源按照預期創(chuàng)建保證MySQLPod數(shù)量和運行狀態(tài)正常保證MySQLPod的角色標簽和實際的MGR角色一致維持Pod內(nèi)的MySQLMGR進程啟動判斷MGR主節(jié)點是否切換，并進行切主后操作等除了Operator的集群維護功能，另一個保證服務持續(xù)可用的是MySQL自身的MGR機制。在整體設計中，我們對Operator和MGR兩種機制管控范圍的做了清晰的邊界劃分：即Operator只保證MGR運行所需的環(huán)境正常，如節(jié)點數(shù)、進程啟動狀態(tài)、配置等正常，但涉及到主節(jié)點切換等MGR機制內(nèi)部的事情，Operator只做觀察并把最新狀態(tài)反映到CR的Status字段中而不去做干預。在Operator的設計中，只有三種情況會進行主節(jié)點干預：一是集群新建的情況；二是在確認所有集群節(jié)點都為從節(jié)點的情況，選出gtid最大的節(jié)點啟動為主；三是收到災備切換的請求，會將主切到flag=primary的一側。MGR集群運維操作Operator支持對MGR集群進行一些常規(guī)的運維操作，包括本地/同城節(jié)點的上線、下線，Pod內(nèi)存、CPU資源的擴縮容、Pod使用鏡像的更換以及MySQL的配置文件更新等。Operator最重要的任務是維持集群正常運行，對于這些運維操作在設計時采用了一個穩(wěn)妥的方案：所有的運維操作必須基于維護流程判斷集群狀態(tài)正常（有且僅有一個主節(jié)點，其余節(jié)點均運行正常且為從節(jié)點）的情況下才可進行在狀態(tài)轉換流程中設置操作的優(yōu)先級，先進行優(yōu)先級高的操作，如新加節(jié)點的優(yōu)先級高于刪除節(jié)點的優(yōu)先級如果涉及到類似于多個節(jié)點添加的批量操作，Operator會將批量操作拆分為單個操作的順序執(zhí)行，每步操作完成后確認集群狀態(tài)正常才能繼續(xù)下一步操作整體流程如下圖所示：MGR集群災備切換災備切換包含兩部分：第一部分是MGR集群的主節(jié)點切換到同城集群；第二部分是客戶端網(wǎng)絡流量打到同城集群。對于第二部分的實現(xiàn)有手動改客戶端訪問地址、更改DNS指向、使用代理轉發(fā)等多種方法，本文不做討論。對于第一部分，Operator做了一個便捷化的實現(xiàn)，在檢測到flag字段由standy變?yōu)閜rimary的時候會主動發(fā)起一次切主操作，試圖將主切換到現(xiàn)在的primary這邊。要注意的是，雖然flag