博睿數(shù)據(jù)2024IT運(yùn)維最佳實(shí)踐白皮書

BACKGROUND改變傳統(tǒng)的運(yùn)維模式，化被動為主動業(yè)務(wù)日志分析能力欠缺,風(fēng)險(xiǎn)防范意識不足,且缺少治理動作監(jiān)控覆蓋度不全,出現(xiàn)故業(yè)務(wù)日志分析能力欠缺,風(fēng)險(xiǎn)防范意識不足,且缺少治理動作報(bào)警平臺、信息過多,有價(jià)值的報(bào)警信息容易被淹沒且分散機(jī)器資源一直在申請,從未被回收,浪費(fèi)嚴(yán)重根因定位不準(zhǔn)確,業(yè)務(wù)調(diào)用鏈不清晰,機(jī)器資源一直在申請,從未被回收,浪費(fèi)嚴(yán)重SOLUTION系統(tǒng)運(yùn)作過程中，風(fēng)險(xiǎn)雖然不影響用戶體驗(yàn)，但多個風(fēng)險(xiǎn)累積容易發(fā)生平臺打不開、數(shù)據(jù)丟失等故障問題。為了提前發(fā)現(xiàn)風(fēng)險(xiǎn)將故障扼殺在搖籃中，運(yùn)維團(tuán)隊(duì)不斷完善BonreeONE的指標(biāo)體系建設(shè)，AI風(fēng)險(xiǎn)檢測更加準(zhǔn)確。在日常運(yùn)行中，當(dāng)系統(tǒng)檢測到有一個多活程序掛了，運(yùn)維人員便能立刻發(fā)現(xiàn)去解決；CPU過高時，系統(tǒng)發(fā)出告警，負(fù)責(zé)人員便能及時打堆棧，并聯(lián)系研發(fā)部門分析原因，在風(fēng)險(xiǎn)累積衍生成故障之前解決問題，降低故障發(fā)生率。BonreePilot的自動巡檢和即時巡檢功能利用自動巡檢與即時巡檢功能，對BonreeONE全套組件以及核心指標(biāo)實(shí)施全面健康監(jiān)測，涵蓋主機(jī)監(jiān)控、服務(wù)監(jiān)控、運(yùn)營分析、告警管理、業(yè)務(wù)監(jiān)控等多個關(guān)鍵模塊。當(dāng)巡檢報(bào)告中出現(xiàn)了告警和問題，例如磁盤容量告急：過去的被動運(yùn)維：磁盤容量告急，立馬縮減/擴(kuò)容現(xiàn)在的主動運(yùn)維：磁盤容量告急，先看表詳情，觀察這些表的增長趨勢是否合理，表結(jié)構(gòu)設(shè)計(jì)是否合理，是否存在優(yōu)化空間，將空間釋放、不合理設(shè)計(jì)優(yōu)化后再采取對應(yīng)的解決措施進(jìn)行縮減/擴(kuò)容，對運(yùn)維成本進(jìn)行主動管控。集成能力將Zabbix、Prometheus等監(jiān)控方式通過集成功能，實(shí)現(xiàn)一體化存儲，用全棧根因分析，統(tǒng)一告警，運(yùn)維人員無需監(jiān)控每一運(yùn)維團(tuán)隊(duì)搶先體驗(yàn)了BonreeONE3.0的新功能：可用性監(jiān)測?？捎眯员O(jiān)測支持HTTP多地址訪問，釋放了運(yùn)維人員寫腳本的工作量。同時能夠自定義內(nèi)外網(wǎng)監(jiān)測點(diǎn)，以前對公網(wǎng)域名監(jiān)控時需要給Zabbix機(jī)器增加外網(wǎng)訪問的能力，因Zabbix機(jī)器有訪問所有機(jī)器的權(quán)限，具備外網(wǎng)能力后，這顯然不符合安全規(guī)定?？捎眯员O(jiān)測功能夠同時使用內(nèi)網(wǎng)和外網(wǎng)的監(jiān)測點(diǎn)，很好地解決了這個問題。新功能彌補(bǔ)了開源工具對HTTP監(jiān)控的缺失，也降低運(yùn)維人員對shell腳本開發(fā)能力的依賴。3.AI智能觀測，快速定位根因問題與影響范圍全域分析將數(shù)據(jù)統(tǒng)一集成到BonreeONE后，運(yùn)維團(tuán)隊(duì)以實(shí)體關(guān)系為核心構(gòu)建數(shù)據(jù)指標(biāo)體系，平臺統(tǒng)一對數(shù)據(jù)進(jìn)行分析、關(guān)聯(lián)、查看過去查看日志需要上機(jī)器，且日志需符合等保3級對日志審計(jì)系統(tǒng)的要求，系統(tǒng)日志、安全日志、關(guān)鍵配置等均要能夠保存和分析，現(xiàn)在在平臺上便能立即查看相關(guān)日志信息，打破運(yùn)維傳統(tǒng)的流程慣例。接入Zabbix、Prometheus等第三方數(shù)據(jù)后，運(yùn)維人員能夠通過查看依賴分析影響范圍，很直觀地看出當(dāng)前程序訪問了哪些服務(wù)，以及哪些服務(wù)訪問了當(dāng)前程序。調(diào)用鏈分析能夠在問題出現(xiàn)時幫助運(yùn)維團(tuán)隊(duì)定位到Server領(lǐng)域或者慢方法，定位更準(zhǔn)確，節(jié)約時間。發(fā)現(xiàn)風(fēng)險(xiǎn)報(bào)警問題后，打開問題詳情，通過詳情清單查看本次故障所涉及到的實(shí)體信息。根據(jù)系統(tǒng)提供的初步判斷查看具體的方法、SQL等通過使用BonreeONE，運(yùn)維團(tuán)隊(duì)的工作模式實(shí)現(xiàn)了從被動應(yīng)對問題向主動治理風(fēng)險(xiǎn)的根本性轉(zhuǎn)變。主動運(yùn)維策略將風(fēng)險(xiǎn)與問題前置，團(tuán)隊(duì)能夠提前識別并解決風(fēng)險(xiǎn)，顯著提升系統(tǒng)穩(wěn)定性的同時極大地減輕了運(yùn)維人員的工作負(fù)擔(dān)。同時，風(fēng)險(xiǎn)與問題前置也為運(yùn)維人員爭取了充裕的時間，能夠在問題出現(xiàn)前對系統(tǒng)進(jìn)行深入的觀察和分析，及時進(jìn)行必要的調(diào)整優(yōu)化，這不僅提升了運(yùn)維效率，還實(shí)現(xiàn)