數(shù)據(jù)庫性能展示平臺(tái)介紹

1、數(shù)據(jù)庫性能展示平臺(tái)介紹京東金融金融科技 CleverDB產(chǎn)品背景CleverDB功能介紹CleverDB設(shè)計(jì)實(shí)現(xiàn)CleverDB最佳實(shí)踐目 錄CleverDB需求背景保證數(shù)據(jù)庫架構(gòu)的高可性保證數(shù)快速響應(yīng)數(shù)據(jù)庫服務(wù)數(shù)據(jù)的高一致性快速感知并處理故障隱患彈性調(diào)配硬件資源全面、智能的性能診斷實(shí)現(xiàn)數(shù)據(jù)共享和治理大促期間數(shù)據(jù)庫性能容量必須撐日常510倍的峰值壓力服務(wù)器數(shù)量 4000個(gè)四個(gè)IDC5000次每年DB優(yōu)化次數(shù)需求服務(wù) 30000個(gè)每年變更需求數(shù)高可組 2500個(gè)集群個(gè)數(shù)6000個(gè)實(shí)例個(gè)數(shù) 300次每年切換次數(shù)數(shù)據(jù)庫數(shù)量 15000個(gè) 7PBDB個(gè)數(shù)數(shù)據(jù)量CleverDB需求背景應(yīng)層水平拆分讀寫分

2、離彈性擴(kuò)容資源管控備份恢復(fù)動(dòng)部署任務(wù)調(diào)度DB遷移 數(shù)據(jù)接口HA切換資源回收空間分析會(huì)話分析性能分析慢查詢分析數(shù)據(jù)抽取復(fù)制訂閱中間層數(shù)據(jù)庫層大數(shù)據(jù)層產(chǎn)品組件查詢機(jī)單助系統(tǒng)中間件Sharding-Sphere運(yùn)維管理系統(tǒng)Mega性能展示平臺(tái)CleverDB數(shù)據(jù)復(fù)制平臺(tái)業(yè)務(wù)層級(jí)產(chǎn)品需求SQL助查詢SQL助變更CleverDB需求背景消除DBA經(jīng)驗(yàn)運(yùn)維，消除運(yùn)維差異，提升整體數(shù)據(jù)庫運(yùn)維能力。資源利率審計(jì)，合理資源評(píng)估，全面的資源信息展示。DBA技術(shù)等級(jí)分布1221，依賴經(jīng)驗(yàn)運(yùn)維服務(wù)體驗(yàn)差，法一對(duì)一服務(wù)疲于應(yīng)急，需要學(xué)習(xí)空間掃除研發(fā)盲區(qū)，研發(fā)賦能，推崇主優(yōu)化。離不開DBA：大促、升級(jí)變更、跑批、壓測(cè)、排

3、障溝通成本高，主動(dòng)關(guān)注數(shù)據(jù)庫，驅(qū)優(yōu)化減少報(bào)警，加強(qiáng)預(yù)警DB服務(wù)器使率考核,成本分?jǐn)傎Y源申請(qǐng)?zhí)峁?zhǔn)確的評(píng)估參考資源信息真實(shí)透明CleverDB功能介紹采大數(shù)據(jù)計(jì)算和機(jī)器學(xué)習(xí)技術(shù)，對(duì)數(shù)據(jù)庫性能進(jìn)行全面診斷，以戶視角，進(jìn)行性能指標(biāo)的多維展 示，幫助戶快速了解數(shù)據(jù)庫運(yùn)行狀況、動(dòng)定位問題和故障解決 。多維度、細(xì)粒度診斷通過會(huì)話、空間、性能、慢SQL等維度分析實(shí)現(xiàn)對(duì)數(shù)據(jù)庫進(jìn)行全位診斷智能分析全面診斷推出智能優(yōu)化服務(wù)，多個(gè)功能利神經(jīng)絡(luò)、機(jī) 器學(xué)習(xí)和大數(shù)據(jù)計(jì)算等技術(shù) 實(shí)現(xiàn)智能化解決案戶視角化繁為簡，所有資源信息、性能狀態(tài)和問題隱患直觀展示， 定期推送巡檢報(bào)告SQL診斷會(huì)話分析鎖分析SQL優(yōu)化DB畫像性能曲線概

4、覽空間分析大盤統(tǒng)計(jì)概覽cleverdbCleverDB功能介紹實(shí)例熱力圖可以直觀展 現(xiàn)db實(shí)例評(píng)分高低，直 擊存在性能隱患的db實(shí) 例實(shí)例信息表格可以查看 機(jī)器ip、機(jī)房、業(yè)務(wù)線、高可角色等基礎(chǔ)信息點(diǎn)擊注冊(cè)可以查看主從 關(guān)系表，顯示主從連接 情況，例如延遲、是否 正常連接以及評(píng)分等概 覽信息CleverDB功能介紹 - 頁熱力圖實(shí)例列表資產(chǎn)列表實(shí)例詳情會(huì)展示不同維度評(píng)分狀態(tài)實(shí)例與機(jī)器信息可以讓戶知道數(shù)據(jù)庫基本信息評(píng)分圖展示了歷史評(píng)分和預(yù)測(cè)評(píng)分Qps/tps、會(huì)話信息曲線可以讓戶在就能看到實(shí)例運(yùn)行情況CleverDB功能介紹 詳情實(shí)例評(píng)分概述實(shí)例指標(biāo)詳情硬件及核心參數(shù)配置性能趨勢(shì)概覽Clever

5、DB設(shè)計(jì)實(shí)現(xiàn)統(tǒng)一認(rèn)證平臺(tái)性能概覽空間分析性能分析慢查詢優(yōu)化CleverDB Portal巡檢報(bào)告智能評(píng)分SQL分析性能預(yù)測(cè)智能優(yōu)化智能平臺(tái)神經(jīng)絡(luò) 深度學(xué)習(xí) 模型訓(xùn)練計(jì)算平臺(tái)Kafka Spark StormBinlog 慢查詢 Err log 系統(tǒng)志會(huì)話 鎖 參數(shù) 狀態(tài)CPU MEMDisk NET信息概覽戶信息 評(píng)分展 核指標(biāo) 故障診斷系統(tǒng)容量志件 DB容量 表件 索引件性能容量 性能趨勢(shì) 系統(tǒng)性能 實(shí)時(shí)狀態(tài)維度展 分析報(bào)表 優(yōu)化推薦動(dòng)優(yōu)化信息概述 性能報(bào)告 隱患分析 優(yōu)化建議會(huì)話分析訪問鏈路 會(huì)話狀態(tài) 事務(wù)狀態(tài) 鎖分析CleverDB設(shè)計(jì)實(shí)現(xiàn) 數(shù)據(jù)采集CMDB硬件信息軟件信息實(shí)例信息庫表信

6、息戶信息狀態(tài)信息系統(tǒng)負(fù)載VariablesStatus數(shù)據(jù)量 日志信息秒級(jí)監(jiān)控心跳檢測(cè)、uptime并發(fā)線程、連接數(shù)、lockCom_、innodb_rows_Load、帶寬復(fù)制狀態(tài)慢查詢采集執(zhí)行計(jì)劃 SQL解析抽象LVSClinet數(shù)據(jù)接收Tracker清洗計(jì)算合并入庫MegaParser評(píng)分系統(tǒng)秒級(jí)監(jiān)控系統(tǒng)巡檢性能展示MongowebmsgmailAPI上報(bào)中轉(zhuǎn)節(jié)點(diǎn)采集失敗影響采集數(shù)據(jù)存儲(chǔ)CleverDB設(shè)計(jì)實(shí)現(xiàn) 數(shù)據(jù)采集戶視全診斷多維展隱患量化智能分析用戶反饋 多次迭代 專屬DBACleverDB設(shè)計(jì)實(shí)現(xiàn) 智能評(píng)分Mega加權(quán)評(píng)分列表區(qū)間列表權(quán)重實(shí)例分級(jí)業(yè)務(wù)分級(jí)Mongo機(jī)器學(xué)習(xí)智能評(píng)分

7、評(píng)分 模型模型訓(xùn)練評(píng)分API綜合評(píng)分單項(xiàng)評(píng)分評(píng)分輸出熱力圖DB畫像 動(dòng)態(tài)圖 優(yōu)化建議Mega WEB11個(gè)系統(tǒng)指標(biāo)24個(gè)數(shù)據(jù)庫指標(biāo)CleverDB設(shè)計(jì)實(shí)現(xiàn) 智能評(píng)分1234CleverDB設(shè)計(jì)實(shí)現(xiàn) 慢查詢SQL采集執(zhí)行計(jì)劃SQL解析統(tǒng)計(jì)分析索引優(yōu)化優(yōu)化推薦CleverDB設(shè)計(jì)實(shí)現(xiàn) 慢查詢slowlogslowlogslowlogKafkaSpark StreamingpostAnalyzebackHbasestorageMax/min/avg 掃描行數(shù)Max/min/avg 執(zhí)行時(shí)間Max/min/avg 返回行數(shù)發(fā)生次數(shù)執(zhí)行計(jì)劃統(tǒng)計(jì)信息慢查詢細(xì)粒度時(shí)間分布慢查詢top tableTop SQ

8、L慢查詢分級(jí)（警告/嚴(yán)重）分析信息SQL分解SQL改寫SQL優(yōu)化優(yōu)化建議CleverDB設(shè)計(jì)實(shí)現(xiàn) 慢查詢?cè)雎暑愋驼籍惓｜c(diǎn)清除策略擴(kuò)容依據(jù)排障參考CleverDB設(shè)計(jì)實(shí)現(xiàn) 空間概覽1余量2Top 排序增分布索引分析碎回收聯(lián)動(dòng)CleverDB設(shè)計(jì)實(shí)現(xiàn) 空間概覽345庫級(jí)別表級(jí)別機(jī)器級(jí)別總?cè)萘慨?dāng)前實(shí)例占可天數(shù)機(jī)器級(jí) 實(shí)例級(jí)別實(shí)例級(jí)別日志件數(shù)據(jù)件備份件增率表級(jí)別Top表增曲線冗余/效索引空間碎分析庫級(jí)別Top庫增量增率CleverDB設(shè)計(jì)實(shí)現(xiàn) 空間概覽高并發(fā)uncommit大事務(wù)索引復(fù)雜SQL大分關(guān)聯(lián)字段類型不一致應(yīng)擴(kuò)容夯住CleverDB設(shè)計(jì)實(shí)現(xiàn) 會(huì)話分析大部分會(huì)話問題都和應(yīng)有關(guān)異步寫，緩存讀，結(jié)果

9、集，邏輯完整，索引合理CleverDB設(shè)計(jì)實(shí)現(xiàn) 會(huì)話分析活躍會(huì)話多維度分析歷史曲線實(shí)時(shí)會(huì)話告警指示連接總數(shù)歷史曲線多維度展示多時(shí)間區(qū)間展示可導(dǎo)出統(tǒng)計(jì)數(shù)據(jù)鎖分析未提交會(huì)話事務(wù)鎖MDL鎖CleverDB設(shè)計(jì)實(shí)現(xiàn) 會(huì)話分析CleverDB設(shè)計(jì)實(shí)現(xiàn) 性能趨勢(shì)數(shù)據(jù)容量庫數(shù)據(jù)量增 表數(shù)據(jù)量增日志大增 磁盤空間增性能容量服務(wù)器峰值壓力DB性能上限 實(shí)例評(píng)分是否需要擴(kuò)容增率連接數(shù)活躍并發(fā)數(shù)LOAD、帶寬 TPS、QPS故障診斷PID應(yīng)IP USER庫表SQLlock、事務(wù)CleverDB設(shè)計(jì)實(shí)現(xiàn) 性能趨勢(shì)數(shù)據(jù)說明CPU利情況以QPS查詢數(shù)據(jù)為考核指標(biāo)，同樣CPU資源下QPS越高說明SQL語句效率好，QPS低說

10、明SQL邏輯復(fù)雜IO利情況讀IO以QPS為考核指標(biāo)，同IO資源情況下，QPS低說明數(shù)據(jù)訪問不合理，過多的查詢冷數(shù) 據(jù)，或者SQL不夠優(yōu)化，掃描了過多的不必要數(shù)據(jù)行。寫IO以TPS為考慮指標(biāo)，同IO資源情況下，TPS低說明單個(gè)事務(wù)過大，操作數(shù)據(jù)行過多。計(jì)算式第一檔第二檔第三檔第四檔CPU利情況qps/cpu percent0150015005000150080008000讀IO利情況Qps/(write iops + read iops)/30000 percent030003000600060001000010000寫IO利情況Tps/(write iops + read iops)/30000 percent0100010003000300050005000CleverDB設(shè)計(jì)實(shí)現(xiàn) 容量評(píng)估CleverDB設(shè)計(jì)實(shí)現(xiàn) 實(shí)時(shí)服務(wù)CleverDB設(shè)計(jì)實(shí)現(xiàn) 戶賦能鎖等待未提交會(huì)話終確保binlog已經(jīng)備份確保binlog已經(jīng)被從庫拉取Binlog清理確保回收期間主從事務(wù)一致性可隨時(shí)終守護(hù)進(jìn)程確保不影響db服務(wù)碎回收流量鏡像