企業(yè)IT高效運(yùn)維實(shí)踐

1、企業(yè)IT高效運(yùn)維實(shí)踐技術(shù)創(chuàng)新，變革未來/監(jiān)控阪務(wù)排陲胺務(wù)配詈阪務(wù)分析阪務(wù)其他阪務(wù)$-;,le Da 勹監(jiān)控服務(wù)，GD基礎(chǔ)監(jiān)控硬件系統(tǒng)監(jiān)控業(yè)務(wù)監(jiān)控訂單、支付、用戶監(jiān)控日志監(jiān)控各類日志信息大屏監(jiān)控霆要業(yè)務(wù)指標(biāo)監(jiān)控排障服務(wù)分析服務(wù)事件管理故障信息告警管理語音 短信、郵件、RTXQA鄧故記錄分析、解決，容是分析資源現(xiàn)狀統(tǒng)計與需求評估配置服務(wù)?；A(chǔ)信息pool&聯(lián)系人 組織架構(gòu)等小工具文件查看、ip庫域名查詢等IDC設(shè)備虛擬化、裝機(jī)管理。音肚署王機(jī)、服務(wù)管理0發(fā)布代碼、靜態(tài)、配芭管理COSTIT基礎(chǔ)設(shè)笆費(fèi)用管理DNS域名管理系統(tǒng)其他服務(wù)，PMS日報、周報安全安全監(jiān)控、防cc等KPIKP氓入、考核監(jiān)控系統(tǒng)

2、2IDC管理&部署系統(tǒng)3發(fā)布中心4CMDB1CMDB、心、多變更&異常信息操作記錄異常報表歷史軌跡組織&業(yè)務(wù)信息部門應(yīng)用人員系統(tǒng)&配置信息模板服務(wù)配置基礎(chǔ)設(shè)施信息機(jī)房設(shè)備網(wǎng)絡(luò)CMDB監(jiān)控系統(tǒng)服務(wù)器交換機(jī)路由器防火墻負(fù)載均衡TomcatRedisMemcacheDBapp 1app 2app n性能數(shù)據(jù)報警數(shù)據(jù)日志業(yè)務(wù)數(shù)據(jù)配置數(shù)據(jù)zabbix網(wǎng)絡(luò)拓?fù)鋤abbixHClogAgentAPI數(shù)據(jù)展示層監(jiān)控管理監(jiān)控部署監(jiān)控設(shè)置監(jiān)控管理監(jiān)控報表報警管理報警設(shè)置報警過濾報警分析事件管理其他用戶&權(quán)限管理日志平臺事故管理容量分析遇到的問題監(jiān)控多容易出錯變更多經(jīng)常會出現(xiàn)大量誤報報警多一旦出現(xiàn)故障難以準(zhǔn)確定位到

3、問題根源部署系統(tǒng)監(jiān)控系統(tǒng)API工單系統(tǒng)監(jiān)控系統(tǒng)事件分析排障子服務(wù)宕機(jī)檢測進(jìn)程檢測配置查詢變更查詢服務(wù)器位 置查詢查看線上文件延時檢測版本查詢網(wǎng)絡(luò)拓?fù)?查詢應(yīng)用健康 檢測域名查詢硬件信息 查詢監(jiān)控信息 查詢調(diào)用鏈路 查詢其他服務(wù)宕機(jī)故障策略發(fā)布故障策略Tomcat掛掉策略。報警場景化運(yùn)維工具服務(wù)器重啟進(jìn)程重啟應(yīng)用擴(kuò)容代碼回滾配置回滾其他工具報警報警故障報警 屏蔽分類定位收斂類型處理后/處理前(% )全部報警9.5%agent無響應(yīng)報警1.9%進(jìn)程存活報警1.8%IDC管理&部署系統(tǒng)SN/MAC導(dǎo)入管理IP自動分配ONEIS遠(yuǎn)程管理卡初始化硬件初始化系統(tǒng)/應(yīng)用模板App InstallAPPVMO

4、SAgent Install PUPPETMonitorLog資源池ReadyCMDB服務(wù)監(jiān)控日志發(fā)布清理啟用監(jiān)控空閑期(資源池)服務(wù)期 (online)維護(hù)期 (offline)報廢禁用監(jiān)控刪除監(jiān)控 實(shí)例銷毀 釋放ip空閑期(資源池)服務(wù)期(online)安裝配置PUPPET狀態(tài)定義狀態(tài)維持狀態(tài)報告安裝包用戶目錄權(quán)限創(chuàng)建安裝更改銷毀通知干預(yù)發(fā)布中心老的發(fā)布快速發(fā)布Staging發(fā)布白天發(fā)布無人發(fā)布灰度發(fā)布EMAIL程序猿JenkinsBUILD發(fā)布系統(tǒng)APIStaging服務(wù)器DEPLOYSVNCHECKOUTArtifact倉庫（FTP）PUTGET自動回滾Bug郵件通知OK自動測試發(fā)布內(nèi)容發(fā)布時間發(fā)布方式發(fā)布應(yīng)用Test程序猿SVNJekinsStagingCommitBuildDebugPostRelease發(fā)車周期（上線窗口）9:00 23:00，逢整點(diǎn)開1個發(fā)布批次2:00 5:00，在2:00開啟1次檢票（上線審核）發(fā)布前15分鐘，停止“自動檢票”，轉(zhuǎn)入“人工檢票”;發(fā)布前5分鐘，停止“人工檢票”，徹底錯過當(dāng)前批次;若錯過當(dāng)前批次，須“改簽”至下一批次發(fā)布開始時，通過Email預(yù)告申請人專車（緊急上線）保留人工緊急發(fā)布通道，應(yīng)對特殊情況全部由人工完成上線申請?zhí)峤弧徟桶l(fā)布。發(fā)布次數(shù)：40次/天回滾率：2%事故同比下降：39.2%總結(jié)CMDB：配置