AIOps數(shù)據(jù)庫自動(dòng)化運(yùn)維實(shí)踐

1、AIOps數(shù)據(jù)庫自動(dòng)化運(yùn)維實(shí)踐技術(shù)創(chuàng)新，變革未來1傳統(tǒng)數(shù)據(jù)庫運(yùn)維在蘇寧面臨的問題2DBA團(tuán)隊(duì)和研發(fā)中心的痛點(diǎn)傳統(tǒng)數(shù)據(jù)庫運(yùn)維在蘇寧面臨的問題數(shù)據(jù)庫實(shí)例數(shù)高速增長(zhǎng)，部分核心項(xiàng)目需要持續(xù)鎖定DBA資源性能優(yōu)化工作無法有效推進(jìn)， 復(fù)雜故障很難快速恢復(fù)和回溯原因集團(tuán)對(duì)于系統(tǒng)可靠性的要求， 如何滿足4個(gè)9？DBA不可避免地在做一些重復(fù)勞動(dòng)，部分工單響應(yīng)時(shí)間和處理質(zhì)量開始下降0203040501人員穩(wěn)定性和持續(xù)發(fā)展問題研發(fā)中心的痛點(diǎn)完全與生產(chǎn)環(huán)境隔離，不了解數(shù)據(jù)庫健康狀況，對(duì)數(shù)據(jù)庫 的優(yōu)化無從下手痛傳統(tǒng)監(jiān)控手段只能看到告警信息，無法獲得有效的指標(biāo)預(yù)警 和專業(yè)建議 痛各種諸如數(shù)據(jù)導(dǎo)出、SQL發(fā)布、元數(shù)據(jù)/配置

2、查詢等數(shù)據(jù)庫操 作需求需要DBA人肉配合，溝通和等待成本高運(yùn)維事件對(duì)研發(fā)中心不透明，如備份時(shí)段變化、參數(shù)歷史版 本、遷移記錄、拓?fù)渥兓⒔阱e(cuò)誤信息等等 痛痛痛測(cè)試環(huán)境運(yùn)行良好的SQL在生產(chǎn)環(huán)境中可能會(huì)出現(xiàn)性能問題事件感知基于多場(chǎng)景分析，智能聚合報(bào)警及趨勢(shì)相關(guān)信息， 實(shí)時(shí)預(yù)警事件。大數(shù)據(jù)決策實(shí)時(shí)事件分析輔以歷史事件分析，即時(shí)定位問題，預(yù)測(cè)未來事件，生成止損方案。AIOps離線計(jì)算實(shí)時(shí)計(jì)算事件預(yù)警智能決策DevOps到AIOps的思考自動(dòng)化執(zhí)行不斷完善的事件處理引擎，提供全場(chǎng)景變更和 故障的自動(dòng)化執(zhí)行能力。DevOps到AIOps的思考AIOps離線計(jì)算實(shí)時(shí)計(jì)算事件預(yù)警智能決策離線計(jì)算 歷史歷史

3、數(shù)據(jù)分析，多維度數(shù)據(jù)挖掘故障分析，生成時(shí)間軸，知識(shí)庫生成報(bào)表展示，問題回溯，熱點(diǎn)分析數(shù)據(jù)庫健康風(fēng)險(xiǎn)模型訓(xùn)練機(jī)器學(xué)習(xí)，規(guī)則自我優(yōu)化實(shí)時(shí)計(jì)算 當(dāng)前秒級(jí)監(jiān)控，告警聚合，事件生成異常判斷，鄰近比對(duì)，決策發(fā)起事件預(yù)警 未來容量預(yù)測(cè)故障預(yù)測(cè)趨勢(shì)預(yù)測(cè)1平臺(tái)定位2開發(fā)資源3基礎(chǔ)環(huán)境標(biāo)準(zhǔn)化4平臺(tái)架構(gòu)平臺(tái)定位日常運(yùn)維管理元數(shù)據(jù)服務(wù)SQL解析和執(zhí)行引擎自動(dòng)告警處理Real-Time監(jiān)控分析只有DBA清楚自己的痛點(diǎn)，也只有DBA清楚研發(fā) 中心的痛點(diǎn)DBA知道雙方未來需要什么，更需要在數(shù)據(jù)庫自治趨勢(shì)下思考轉(zhuǎn)型!重要的是能絕對(duì)把控需求實(shí)現(xiàn)的細(xì)節(jié)和開發(fā)進(jìn)度，溝通 成本低、資源利用率高，并且前期快速實(shí)現(xiàn)必然帶來后期 重構(gòu)的問

4、題，對(duì)于這一點(diǎn)單個(gè)團(tuán)隊(duì)內(nèi)部看法容易統(tǒng)一。開發(fā)資源為什么要DBA自研發(fā)？基礎(chǔ)環(huán)境標(biāo)準(zhǔn)化存在的問題架構(gòu)不一，新老環(huán)境并存OS環(huán)境不統(tǒng)一數(shù)據(jù)庫規(guī)模龐大，且仍在快速增長(zhǎng)自身對(duì)于環(huán)境的適應(yīng)agent要求自動(dòng)部署，自動(dòng)升級(jí)，腳本實(shí)現(xiàn)自動(dòng)分發(fā)兼容現(xiàn)網(wǎng)各類數(shù)據(jù)庫的主流版本，OS環(huán)境自動(dòng)修復(fù)監(jiān)控?cái)?shù)據(jù)要求分級(jí)分頻、高準(zhǔn)確性，對(duì)系統(tǒng)無侵入要能和蘇寧現(xiàn)有平臺(tái)聯(lián)動(dòng)，且提供標(biāo)準(zhǔn)化接口服務(wù)平臺(tái)架構(gòu)1面向DBA2面向研發(fā)中心3對(duì)大促的支持支持多數(shù)據(jù)庫類型面向DBA面向DBA參數(shù)管理備份管理自動(dòng)切換 一鍵遷移 一鍵擴(kuò)縮容自動(dòng)告警處理智能調(diào)度&限速/斷點(diǎn)續(xù)傳面向DBA數(shù)據(jù)庫性能指標(biāo)秒級(jí)監(jiān)控趨勢(shì)分析TopSQL分析面向DBA大數(shù)據(jù)

5、輔助運(yùn)維決策變量監(jiān)控 故障預(yù)測(cè)自動(dòng)化資源調(diào)整面向DBASQL語句全量追蹤執(zhí)行效率變化捕獲 自動(dòng)優(yōu)化建議呈現(xiàn)自研解析工具SSE解決PT的效率問題面向研發(fā)中心面向研發(fā)中心系統(tǒng)級(jí)元數(shù)據(jù)API實(shí)時(shí)數(shù)據(jù)字典面向研發(fā)中心全面的數(shù)據(jù)庫性能分析報(bào)告智能優(yōu)化建議面向研發(fā)中心SQL執(zhí)行計(jì)劃實(shí)時(shí)解析異常SQL報(bào)表索引和規(guī)則優(yōu)化建議面向研發(fā)中心預(yù)發(fā)布SQL審計(jì)行級(jí)數(shù)據(jù)備份自動(dòng)發(fā)布/回滾秒級(jí)監(jiān)控海量數(shù)據(jù)分布存儲(chǔ)使用最新大數(shù)據(jù)分布式技術(shù)，自開發(fā)數(shù)據(jù)轉(zhuǎn)發(fā)層服務(wù)， 解決數(shù)據(jù)采集秒級(jí)頻度和海量存儲(chǔ)的問題實(shí)時(shí)智能分析性能問題第一時(shí)間精準(zhǔn)定位依托storm實(shí)時(shí)流式計(jì)算，實(shí)時(shí)性能問題告警；輔以離線性能分析，資源預(yù)警定時(shí)送達(dá)對(duì)大促的支持?jǐn)?shù)據(jù)采集架構(gòu)1智能大盤/事件感知2SQL全量追蹤3自動(dòng)優(yōu)化建議4故障預(yù)測(cè)/告警自動(dòng)處理5AIOps決策探索DBRTMP 突變捕獲DBRTMP 自動(dòng)告警處理平臺(tái)DBRTMP 自動(dòng)告警處理平臺(tái)DBRTMP 告警自動(dòng)處理平臺(tái)DBRTMP 告警自動(dòng)處理平臺(tái)SQL全量追蹤SQL全量追蹤SQL優(yōu)化器AIOps決策探索AIOps決策探索AIOps決策探索AIOps決策探索離線計(jì)算中，利用海量SQL 掃描行數(shù)和執(zhí)行時(shí)間的數(shù)據(jù) 不斷進(jìn)行訓(xùn)練，得到單個(gè) SQL ID的歷史效