網(wǎng)易分布式數(shù)據(jù)庫平臺(tái)

1、網(wǎng)易分布式數(shù)據(jù)庫平臺(tái)王磊網(wǎng)易杭研院平臺(tái)簡(jiǎn)介網(wǎng)易分布式數(shù)據(jù)庫平臺(tái)（DDB）是一種面向結(jié)構(gòu)化數(shù)據(jù)的通用存儲(chǔ)解決方案，基于關(guān)系數(shù)據(jù)庫集群解決結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)和高效訪問。設(shè)計(jì)目標(biāo)：海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)（10TB以上）高并發(fā)、低延遲面向關(guān)系模型和OLTP方便應(yīng)用開發(fā)、通用性強(qiáng)可動(dòng)態(tài)擴(kuò)展數(shù)據(jù)安全可靠方便維護(hù)性低成本功能特點(diǎn)基于Sharding的Scale Out支持常用的RDB功能：DDL、DML、全局ID分配等事務(wù)支持：節(jié)點(diǎn)內(nèi)、跨節(jié)點(diǎn)、跨DDB。多平臺(tái)和多語言環(huán)境下的通用SQL訪問接口。支持MySQL和Oracle混合使用。支持讀寫分離和讀操作負(fù)載均衡支持用戶管理和權(quán)限控制支持在線擴(kuò)容命令行和圖形化管

2、理工具。系統(tǒng)架構(gòu)Sharding實(shí)現(xiàn)均衡字段：用來定位記錄所在DBN的表字段。均衡策略：均衡函數(shù)、桶、存儲(chǔ)映射表。表 - 均衡策略：多對(duì)一查詢處理流程查詢處理實(shí)現(xiàn)原則選擇合適的DBN執(zhí)行子查詢 基于表到DBN的映射關(guān)系 基于均衡字段值到DBN的映射關(guān)系排序操作盡量下推給DBN執(zhí)行，可以充分利用索引多表查詢盡量不拆分子查詢，充分利用DBN實(shí)現(xiàn)Join消除子查詢中的不必要條件，提高子查詢的執(zhí)行效率盡量采用流（游標(biāo)）的方式處理中間結(jié)果查詢處理Cache優(yōu)化DBI 中的Cache Meta Data Cache DBN Connection Pool DBN PreparedStatement Cac

3、he SQL Syntax Tree Cache基于MySQL的緩存 SQL Cache hint 可持久化的Memory Table分布式事務(wù)遵循XA Transaction標(biāo)準(zhǔn) 兩階段提交+事務(wù)日志，保證ACID懸掛事務(wù)處理提高事務(wù)處理效率 “延遲”啟動(dòng)分支事務(wù) 并發(fā)執(zhí)行分支事務(wù) 盡量避免兩階段提交，一階段提交不寫日志 盡量避免使用XA連接讀寫分離支持對(duì)Master和各Slave節(jié)點(diǎn)的讀操作設(shè)置權(quán)重限制從延遲過大的Slave上讀取數(shù)據(jù)通過hint指定select語句的讀取位置和延遲限制只在Master上執(zhí)行（默認(rèn)）只在Slave上執(zhí)行優(yōu)先在Slave上執(zhí)行根據(jù)權(quán)重選擇節(jié)點(diǎn)執(zhí)行/*LOADB

4、ALANCE(TYPE=slaveonly,delay=60)*/ select 管理工具Schema和配置管理 DBN, table, policy, trigger, view, routine用戶管理系統(tǒng)狀態(tài)監(jiān)控和報(bào)警管理SQL執(zhí)行統(tǒng)計(jì)分析數(shù)據(jù)備份系統(tǒng)擴(kuò)容計(jì)劃任務(wù)用戶和權(quán)限管理訪問認(rèn)證 用戶名、口令認(rèn)證和IP地址檢查 DDB認(rèn)證+DBN(RDBMS)認(rèn)證權(quán)限管理 區(qū)分普通用戶和管理員用戶 權(quán)限粒度控制到表的讀、寫和授權(quán) 用戶訪問配額控制 管理員權(quán)限細(xì)分：Schema配置、維護(hù)、監(jiān)控統(tǒng)計(jì)、用戶管理 管理員操作日志狀態(tài)監(jiān)控DBI狀態(tài)監(jiān)視DBN連接池狀態(tài)，占用連接的線程堆棧資源使用情況：Con

5、nection/Statement/PS內(nèi)部操作統(tǒng)計(jì)：內(nèi)部資源創(chuàng)建銷毀、Cache命中率、事務(wù)操作等DBN狀態(tài)監(jiān)控心跳監(jiān)視，故障時(shí)切換到Standby Node。Session自動(dòng)監(jiān)視、統(tǒng)計(jì)和報(bào)警Slow Log自動(dòng)監(jiān)視、統(tǒng)計(jì)和報(bào)警復(fù)制延遲和異常自動(dòng)監(jiān)視報(bào)警QueryServer狀態(tài)監(jiān)控心跳和負(fù)載監(jiān)控SQL執(zhí)行分析Explain SQLisqldbi explain select docid from FS_File order by id desc limit 10;+-+| PLAN |+-+| LIMIT/OFFSET | / | /| | | | PROJECT | Project r

6、ecord to: docid, | / | /| | | | MERGE-SELECT | SQL: SELECT docid, id FROM FS_File ORDER BY id DESC LIMIT 10 | Dest Node: | db-17-1jdbc:mysql:/172.17.2.48:4331/filestation | db-17-2jdbc:mysql:/172.17.2.48:4332/filestation | db-16-2jdbc:mysql:/172.17.2.47:4332/filestation | db-16-1jdbc:mysql:/172.17.2

7、.47:4331/filestation | Order by: id DESC, with merge sort. |+-+SQL執(zhí)行統(tǒng)計(jì)SQL執(zhí)行統(tǒng)計(jì) 計(jì)算SQL簽名select * from T where a=？ And b=# DDB SQL執(zhí)行情況收集tables, dbns, clients, count，time, avg_time, mysql_count, mysql_time, dbn_count, rows MySQL SQL執(zhí)行情況收集handler_read_first, handler_read_key, hander_read_next, handler_rea

8、d_rnd, hander_read_next, explain 執(zhí)行情況統(tǒng)計(jì)支持條件過濾、排序、分組等基本統(tǒng)計(jì)功能SQL執(zhí)行統(tǒng)計(jì)系統(tǒng)擴(kuò)容技術(shù)挑戰(zhàn) 降低對(duì)線上服務(wù)的影響 靈活地?cái)U(kuò)充資源 降低操作復(fù)雜度 保證執(zhí)行效率實(shí)現(xiàn)原理可選的擴(kuò)容方案方案一：DBN間數(shù)據(jù)導(dǎo)出導(dǎo)入 優(yōu)點(diǎn)：遷移效率較好，實(shí)現(xiàn)較簡(jiǎn)單，靈活性好 缺點(diǎn)：停服時(shí)間長(zhǎng)，容易導(dǎo)致數(shù)據(jù)不一致，刪除數(shù)據(jù)的負(fù)面影響方案二：基于事務(wù)的批量數(shù)據(jù)遷移 優(yōu)點(diǎn)：不用停服，應(yīng)用透明，靈活性好 缺點(diǎn)：實(shí)現(xiàn)復(fù)雜，遷移效率低，對(duì)線上訪問有一定影響。方案三：基于數(shù)據(jù)復(fù)制的擴(kuò)容 優(yōu)點(diǎn)：對(duì)應(yīng)用透明，不需停服，效率高，對(duì)線上訪問基本無影響。 缺點(diǎn)：操作較為復(fù)雜，只能實(shí)現(xiàn)成

9、倍擴(kuò)容，靈活性較差?；趶?fù)制的DDB擴(kuò)容基于數(shù)據(jù)復(fù)制的擴(kuò)容執(zhí)行無法解析的復(fù)雜語句？目前不支持的語句類型： Union，嵌套查詢，無關(guān)聯(lián)條件的多表查詢等某些情況下可以直接發(fā)送到DBN執(zhí)行 只涉及單個(gè)DBN的單表查詢 select * from T1 where a=1 order by b; 涉及多個(gè)DBN，但無排序和分組的單表查詢 select * from T1 where a1; 多表查詢?cè)诒ＷC有均衡字段等值連接條件的情況下也試用上述原則 select T1.c, T2.d from T1,T2 where T1.a=T2.a and T1.a=1 order by T2.b;select

10、 T1.c, T2.d from T1,T2 where T1.a=T2.a and T1.a1.;執(zhí)行無法解析的復(fù)雜語句？ 不做解析的情況下如何執(zhí)行語句？ 人工設(shè)計(jì)執(zhí)行計(jì)劃和保證邏輯正確性 通過hint告知執(zhí)行計(jì)劃給執(zhí)行器 執(zhí)行器根據(jù)hint中提供的表名和均衡字段值分發(fā)語句到合適的DBN 執(zhí)行器根據(jù)執(zhí)行計(jì)劃處理各DBN返回的結(jié)果（歸并/排序分組/Limit Offset）示例： /* FORWARDBY(TABLENAME=T1, T2; BFVALUE=1,2)*/ select * from T1, T2 where T1.id = T2.id and T1.id in (1,2) and T1.score 90;全局ID分配問題：依賴DBN分配的ID會(huì)產(chǎn)生沖突挑戰(zhàn)：依賴于中心節(jié)點(diǎn)分配ID容易造成單點(diǎn)故障和性能瓶頸方案一：中心節(jié)點(diǎn)批量分配ID 優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單，執(zhí)行效率高，可指定起始值。 缺點(diǎn)：分配的ID非全局遞增，依然存在單點(diǎn)故障。方案二：基于時(shí)間戳的分布式ID分配基于DBI的本地時(shí)間戳+DBI_ID+計(jì)數(shù)器，DBI與管理服務(wù)器保持時(shí)間同步。 優(yōu)點(diǎn)：ID全局遞增，ID中包含了時(shí)間信息，分配效率高，無單點(diǎn)故障。 缺點(diǎn)：無法指定從較小的值開始分配，ID不