數(shù)據(jù)庫中間件設(shè)計與實現(xiàn)

數(shù)據(jù)庫中間件設(shè)計與實現(xiàn)1綱要MySQL存在的問題主流MySQLProxy方案中間件的設(shè)計與實現(xiàn)總結(jié)2MySQL存在的問題讀寫分離在客戶端中配置所有DB信息，并實現(xiàn)讀寫分離DB上下線業(yè)務(wù)受影響運維跟開發(fā)需同步調(diào)整配置3clientdb_masterdb_slave主從同步MySQL存在的問題4分庫分表客戶端改寫SQL語句客戶端將SQL路由不同的DB客戶端聚合結(jié)果db1db3db2sql1sql2sql3sqlmergeresult中間件的目標(biāo)5減輕開發(fā)工作量支持SQL讀寫分離支持?jǐn)?shù)據(jù)分庫分表減輕運維工作量無需與開發(fā)同步高可用減少運維工作主流MySQLProxy方案6主要解決方案DBProxyMysql官方產(chǎn)品，但只出到Beta0.8，基本不維護(hù)BUG多、擴(kuò)展功能較難C語言開發(fā)國內(nèi)衍生：360Atlas、MeituanDBProxy、SohuDBProxy...Cobar功能簡單基本不維護(hù)JAVA開發(fā)阿里內(nèi)部已發(fā)展為TDDL(非代理模式),并在阿里云DRDS中大量使用國內(nèi)衍生：MyCatVitessYoutube開源的數(shù)據(jù)庫擴(kuò)展及高可用方案，已經(jīng)用于生產(chǎn)環(huán)境功能強(qiáng)大，但是構(gòu)架復(fù)雜，部署及運維成本較高GOLANG開發(fā)國內(nèi)GO開發(fā)：Kingshard中間件核心功能7讀寫分離數(shù)據(jù)分庫分表平滑上下線DB中間件實現(xiàn)8SQLParser數(shù)據(jù)分片SQL路由結(jié)果歸并連接池設(shè)計后端DB的高可用方案高可用方案安全審計架構(gòu)設(shè)計9整體架構(gòu)圖SQLParser10SQL

Parser的設(shè)計與實現(xiàn)詞法分析器將SQL切分語法分析器根據(jù)詞法分析器結(jié)果和MySQL語法規(guī)則生成AST(abstractsyntaxtree)相關(guān)產(chǎn)品

目前常見的SQL解析器主要有fdb/jsqlparser和DruidSQL詞法分析語法分析AST根據(jù)分片規(guī)則生成新

SQL數(shù)據(jù)分片

11分片概念邏輯：將數(shù)據(jù)落在不同的DB實例中的不同子表中分片方式：Hash、Range、Time_Range等Shardkey類型：整型、MySQL標(biāo)準(zhǔn)時間類型等數(shù)據(jù)到實例采用兩級映射方案shard_keysub_tableDBdata數(shù)據(jù)分片12select*fromtabwhereid=10rangehashtimeconfigselect*fromtab_0001whereid=10calculatetableindexSQL路由

13路由概念SQL路由是根據(jù)分片規(guī)則配置，將SQL定位至真正的數(shù)據(jù)源結(jié)果歸并

14歸并概念結(jié)果歸并包括4類：普通遍歷類、排序類、聚合類和分組類。每種類型都會先根據(jù)分頁結(jié)果跳過不需要的數(shù)據(jù)。普通遍歷類最為簡單，只需按順序遍歷ResultSet的集合即可排序類結(jié)果將結(jié)果先排序再輸出，因為各分片結(jié)果均按照各自條件完成排序，所以采用歸并排序算法整合最終結(jié)果分組類最為復(fù)雜，需要將所有的ResultSet結(jié)果放入內(nèi)存，使用map-reduce算法分組，最后根據(jù)排序和聚合條件做相關(guān)處理。最消耗內(nèi)存，最損失性能的部分即是連接池設(shè)計15目標(biāo)復(fù)用連接，降低后端DB壓力方式一個DB實例對應(yīng)一個連接池連接池個數(shù)上限可配置，無空閑連接則阻塞效果前端高并發(fā)，MySQL負(fù)載不會抖動限制連接池個數(shù)，保護(hù)后端DB不至于宕機(jī)連接池設(shè)計16middlewareDB1ConnPoolConnPoolDB2connconnconn......poppush連接取出時：重置字符集重置Database后端DB的高可用方案17方式使用獨立線程檢測DB狀態(tài)定期檢測每臺DB是否正常，周期和重試次數(shù)均可配置效果自動摘除宕機(jī)或網(wǎng)絡(luò)中斷的DB自動掛載恢復(fù)正常的DBmiddlewareDB_MasterDB_Slave1DB_Slave2select1select1select1高可用方案18安全與審計19客戶端IP限制用戶自定義IP白名單列表SQL黑名單用戶定義黑名單SQL列表慢SQL記錄用戶自定義慢日志耗時大小