雙背景下數(shù)據(jù)庫運維管理的新質(zhì)生產(chǎn)力

雙背景下數(shù)據(jù)庫運維管理的新質(zhì)生產(chǎn)力路新英｜上海愛可生信息技術股份有限公司01雙背景下數(shù)據(jù)庫運維管理面臨的挑戰(zhàn)02新質(zhì)生產(chǎn)力-多元異構數(shù)據(jù)庫運維管理平臺 03愛可生公司介紹Chapter01雙背景下數(shù)據(jù)庫運維管理面臨的挑戰(zhàn)當前數(shù)據(jù)庫運維管理面臨的挑戰(zhàn)l如何做好多技術棧復雜環(huán)境的數(shù)據(jù)庫管理本管理復雜l如何做好多技術棧的SQL治理與優(yōu)化Chapter02數(shù)據(jù)庫運維管理平臺多元異構數(shù)據(jù)庫一站式管理平臺業(yè)務人員/運營人員數(shù)據(jù)庫運維人員業(yè)務人員/運營人員數(shù)據(jù)庫運維人員云樹DMP（私有云平臺管理后臺）自服務RDS數(shù)據(jù)庫服務備份備份數(shù)據(jù)庫資源池數(shù)據(jù)庫資源池機計算資源池機計算資源池虛擬化云樹DMP讓多種數(shù)據(jù)庫在同一技術棧上標準化交付，統(tǒng)一運維、融合發(fā)展，降低多元數(shù)據(jù)庫使用場景帶來的運維難度和成本提升問題，提高企業(yè)運維效率多種業(yè)務架構按需選擇，滿足不同業(yè)務場景需求 云樹 多業(yè)務場景、多品類數(shù)據(jù)庫全生命周期管理規(guī)范部署、固化基線?操作系統(tǒng)參數(shù)?版本管理?架構選型?數(shù)據(jù)庫參數(shù)?磁盤分區(qū)?安裝方式?賬戶安全?變更規(guī)范多維度監(jiān)控，及時預知風險.監(jiān)控數(shù)據(jù)采集監(jiān)控管理Umon_mgr監(jiān)控管理Umon_mgr監(jiān)控集群監(jiān)控集群及時告警監(jiān)控監(jiān)控實時診斷，根因分析錯誤日志&DDL進度分析連接分析分析當前連接執(zhí)行的SQL情況,找出運行時間較長的連接,kill高負載的連接磁盤空間分析一鍵清理日志,騰出可用空間,避免DB無法寫入圖形化鎖分析快速定位事務的阻塞關系,kill阻塞事務.慢日志分析慢日志集中采集,篩選,快速分析需要優(yōu)化的慢SQL，高頻的、延時高的故障診斷CPU、內(nèi)存、磁盤使用分析診斷、會話分析、SQL分析診斷健康報告多維度掌握數(shù)據(jù)庫的健康情況，檢查出不合理的庫表設計,無主鍵表影響同步性能；冗余索引影響插入性能；主鍵uuid影響插入性能生產(chǎn)運維代碼測試代碼開發(fā)部署與發(fā)布SQL整改效率生產(chǎn)運維代碼測試代碼開發(fā)部署與發(fā)布SQL整改效率相似SQL在同一數(shù)據(jù)庫上性能差異明顯相同SQL在MySQL與Oracle上性能差異明顯數(shù)據(jù)庫服務相同相同SQL在集中式和分布式架構上性能差異明顯多庫場景下SQL質(zhì)量治理更為重要，強依賴數(shù)據(jù)庫專業(yè)經(jīng)驗SQL治理越早解決成本越低！SQL質(zhì)量“前控”全量、增量審核，提升審核效率?支持掃描配置路徑下的全量SQL與變?nèi)?、增量審核，提升審核效?支持掃描配置路徑下的全量SQL與變化SQL審核提早發(fā)現(xiàn)問題SQLSQL質(zhì)量“后督”SQL審核TOPSQL采集審核慢日志采集審核審計日志采集審核庫表元數(shù)據(jù)審核息數(shù)據(jù)庫管理員云數(shù)據(jù)庫審核變更SQL標準發(fā)布是否是否否變更SQL發(fā)布效率提升，發(fā)布留痕建立標準化發(fā)布流程問題SQL跟蹤治理?問題SQL統(tǒng)計?問題SQL處理與跟蹤?SQL治理效果匯報?SQL指紋去重?SQL規(guī)則建議做好多庫規(guī)范是SQL質(zhì)量審核的關鍵SQLE規(guī)則庫SQLE規(guī)則庫1000+規(guī)則靈活調(diào)整 規(guī)則庫覆蓋廣規(guī)則靈活調(diào)整 規(guī)則庫覆蓋廣云樹DMP為數(shù)據(jù)庫運維管理提質(zhì)增效?DMP平臺汲取100+資深數(shù)據(jù)庫工程師多年運維經(jīng)驗和300+大型項目需求，運維經(jīng)驗沉淀為標準化產(chǎn)品，滿足高性能、高可用和數(shù)據(jù)安全的需求?DMP平臺將運維規(guī)范體系融入平臺，提????????資源規(guī)范????資源規(guī)范??????資源變更基線??資源變更基線?????????資源使用資源創(chuàng)建?資源使用資源創(chuàng)建???資源審批資源資源審批資源交付某金融行業(yè)客戶一套平臺完成多種數(shù)據(jù)庫統(tǒng)一管理，滿足不同應用的使用需求，避免重復建設，降低運維復雜度隨著近幾年數(shù)字化轉型進程不斷推進，信托業(yè)務快速發(fā)展，公司積極推進IT架構轉型，引入并推廣開源數(shù)據(jù)庫。隨著開源數(shù)據(jù)庫種類和數(shù)量的增加給數(shù)據(jù)庫運維帶來不少挑戰(zhàn)：開源數(shù)據(jù)庫推廣使用需要更多DBA人員投入，數(shù)據(jù)庫運維成本直線上升；開源數(shù)據(jù)庫多種架構的混合管理增大運維難度；數(shù)據(jù)庫的高可用能力建設如何滿足不同業(yè)務場景的個性化要求；容災架構如何搭建以滿足不同業(yè)務災備體系建設要求；IT資源如何通過資源隔離和容量管理進行資源高效利用；應對數(shù)量較多的數(shù)據(jù)庫如何做到精細化監(jiān)控，及時發(fā)現(xiàn)數(shù)據(jù)庫問題愛可生云樹DMP數(shù)據(jù)庫統(tǒng)一管理平臺，數(shù)據(jù)庫高可用及容災方案?針對MySQL、Redis、MongoDB數(shù)據(jù)庫進行統(tǒng)一的運維管理。提供智能化、標準化數(shù)據(jù)庫運維能力，數(shù)據(jù)庫從被動式運維走向主動式運營。建立的數(shù)據(jù)庫管理平臺，為新數(shù)據(jù)庫選型、擴展奠定基礎。?數(shù)據(jù)庫運維降本增效，提高運維效率，實現(xiàn)了多元數(shù)據(jù)庫統(tǒng)一管理，減少運維成本。?DMP已支撐中小企業(yè)業(yè)務系統(tǒng)、消費金融業(yè)務系統(tǒng)、證券投資業(yè)務系統(tǒng)、家族信托業(yè)務系統(tǒng)、財富管理業(yè)務系統(tǒng)、運管管理系統(tǒng)等20多個業(yè)務系統(tǒng)的穩(wěn)定運行。某金融行業(yè)客戶?IDEA審核，為開發(fā)人員提供便捷的“自檢?IDEA審核，為開發(fā)人員提供便捷的“自檢”手段，提高開發(fā)側SQL編寫和SQL優(yōu)化質(zhì)量，提升開發(fā)效率。?對接DevOps和項目管理系統(tǒng)，完成SQL質(zhì)量的管理和跟蹤，實現(xiàn)SQL自動化審核和上線。?補充完善行內(nèi)運維變更標準流程，形成了SQL全流程質(zhì)量管理工具。?接入一年SQL審核次數(shù)已累計達到了78579次，有效地發(fā)現(xiàn)并解決了大量潛在的數(shù)據(jù)庫SQL風險，平均降低了66.84%的生產(chǎn)風險SQL同時形成行內(nèi)SQL優(yōu)化知識庫。全流程SQL采集和審核治理?從開發(fā)設計到生產(chǎn)上線的一體化管理，并將整個SQL審核過程集成到DevOps流水線。項目管理?開發(fā)人員對SQL開發(fā)能力層次不齊，沒有太多SQL優(yōu)化經(jīng)驗；研發(fā)到測試過程由研發(fā)人員進行自檢，無法及時獲取SQL優(yōu)化建議，過程沒有SQL質(zhì)量卡點；在實際運行情況中出現(xiàn)慢SQL，系統(tǒng)卡頓等問題。?人工審核，SQL數(shù)量大，DBA團隊壓力大，行內(nèi)使用的數(shù)據(jù)庫種類較多，人工運維效率低下，技術棧復雜，缺乏專家經(jīng)驗進行優(yōu)化。?SQL質(zhì)量管理效率低，SQL治理需要人工拉平信息，缺少統(tǒng)一平臺自動化交互，信息不透明，數(shù)據(jù)的運維變更缺乏標準流程。接入層全流程管理平臺系統(tǒng)對接DevOpsDevOps對接項目管理系統(tǒng)對接項目管理系統(tǒng)對接需求管理對接需求管理對接SQL審核項目管理權限控制流程管理質(zhì)量報表核心服務數(shù)據(jù)庫層?SQL審核項目管理權限控制流程管理質(zhì)量報表核心服務數(shù)據(jù)庫層角色權限控制?支持開發(fā)、項目經(jīng)理、DBA等多種角色，滿足各角色參與數(shù)據(jù)全流程質(zhì)量