高可靠運維策略和流程

1、Turning your vision into resultsCONFIDENTIALCopyright 2011高可靠運維策略/流程Turning your vision into resultsCONFIDENTIALCopyright 2011穩(wěn)定系統(tǒng)的幾個進程運維原則垃圾清理穩(wěn)定管理架構重組技術重組通過流程(使用手段處理)通過技術（從源頭改變）Turning your vision into resultsCONFIDENTIALCopyright 2011驅動力（安全穩(wěn)定運行）運維原則“垃圾“清理（硬，軟，流程）穩(wěn)定管理流程管理任務自動化日志管理主動/被動監(jiān)控警報管理ISO2000

2、0最佳實踐戰(zhàn)略目標Turning your vision into resultsCONFIDENTIALCopyright 20112011 2013年運維四大目標可量化S.L.A問題可預防全面自動化全面規(guī)范化戰(zhàn)略目標業(yè)務部門使用角度評估交易相應時間不高于10秒核心系統(tǒng)年可用度大于99.97%外圍業(yè)務系統(tǒng)可用度大于99.9%報表在早上八點前提供.全面實施系統(tǒng)任務自動化全面實施跨系統(tǒng)任務自動化全面實施監(jiān)控自動化全面實施報警自動化全系統(tǒng)時鐘同步自動化上線前評估變更前評估加強日志管理預警流程建立問題累加處理機制ISO20000ISO27001變更流程規(guī)范上線流程規(guī)范日志使用規(guī)范故障排查流程規(guī)范問題

3、處理流程規(guī)范Turning your vision into resultsCONFIDENTIALCopyright 2011生產(chǎn)系統(tǒng)管理原則生產(chǎn)無小事（變更差異）生產(chǎn)系統(tǒng)上不允許做DEBUG(回退方案）不能將慣性錯誤變成正?；▎栴}掛起）生產(chǎn)問題不能過夜并必須找到原因（關聯(lián)分析）災難發(fā)生時不要把災難轉化為另一災難（應急演練）Turning your vision into resultsCONFIDENTIALCopyright 2011引發(fā)問題的成因及預防方法通過建立對應處理流程加強系統(tǒng)穩(wěn)定性p各系統(tǒng)定期清理p通過資源使用走勢分析p實時資源監(jiān)控p實時交易影響監(jiān)控p操作自動化p應用通用技術

4、p變更控制 (必要性審核)p變更驗證流程p變更審核流程p變更部署控制p變更周期監(jiān)控p變更方式回顧防范方法p應用程序p系統(tǒng)配置p硬件配置p網(wǎng)絡配置p操作流程p數(shù)據(jù)變化p場景變化p應用程序p數(shù)據(jù)庫系統(tǒng)p操作系統(tǒng)p操作流程p網(wǎng)絡p誤操作p技術使用范圍變更問題累加人為硬件Turning your vision into resultsCONFIDENTIALCopyright 2011問題預防及處理架構人流程資源監(jiān)控p上線控制p全功能全場景測試p回退方案(T, T+1,T+n)p應急處理p實時資源使用情況p歷史資源使用管理p系統(tǒng)實時響應情況p系統(tǒng)歷史響應情況p處理行動p決策方式p決策流程Turning

5、 your vision into resultsCONFIDENTIALCopyright 2011系統(tǒng)“垃圾”清理清理流程預裝程序測試程序臨時程序臨時目錄臨時用戶臨時數(shù)據(jù)臨時配置臨時腳本臨時文件硬軟預裝數(shù)據(jù)測試數(shù)據(jù)臨時進程流程模擬數(shù)據(jù)診斷進程模擬進程臨時處理技術流程非正常處理Turning your vision into resultsCONFIDENTIALCopyright 2011建立主動及被動監(jiān)控系統(tǒng)提高問題預防的可能性主動及被動監(jiān)控系統(tǒng)（S.L.A. 監(jiān)控 / 系統(tǒng)資源監(jiān)控）Turning your vision into resultsCONFIDENTIALCopyrigh

6、t 2011建立流程自動化系統(tǒng)絕大部分的任務或工作是可以通過自動化進行，如應用批處理（小部分任務需要應用程序配合），系統(tǒng)清理，數(shù)據(jù)收集.，自動化除了可以大幅降低人力資源外，更能有效防止人為錯誤（特別是數(shù)個關聯(lián)系統(tǒng)的順序操作）及增加系統(tǒng)安全程度應用管理系統(tǒng)管理批量流程操作流程Turning your vision into resultsCONFIDENTIALCopyright 2011任務自動化Turning your vision into resultsCONFIDENTIALCopyright 2011問題處理要追到源頭難度增加, 效果明顯, 取得平衡運行維護部署運行系統(tǒng)設計需求分析獲

7、取操作系統(tǒng)日志獲取應用日志獲取維護程序/制度/腳本獲取監(jiān)控紀錄分析系統(tǒng)資源耗損，包括內(nèi)存，存儲，CPU,IO.分析關鍵應用錯誤的來源分析管理制度/措施的不足優(yōu)化系統(tǒng)維護策略，優(yōu)化系統(tǒng)資源的消耗建立預警機制獲取系統(tǒng)部署配置，包括應用服務器、數(shù)據(jù)庫服務器相關的資源參數(shù)執(zhí)行壓力測試深層分析系統(tǒng)資源分配情況，發(fā)現(xiàn)資源使用的瓶頸深入分析應用級/代碼級的缺陷優(yōu)化系統(tǒng)配置，使得系統(tǒng)各種資源的損耗達到相對平衡。避免出現(xiàn)瓶頸制定應用/程序優(yōu)化建議獲取設計文檔及關鍵設計參數(shù)分析總體架構可能導致的系統(tǒng)缺陷給出架構改進建議獲取需求文檔中關于復雜功能的描述分析功能設置不當或單一交易過于復雜所導致的系統(tǒng)缺陷功能調整建議追

8、根溯源信息采集分析診斷改進建議系統(tǒng)診斷分析過程Turning your vision into resultsCONFIDENTIALCopyright 2011預生產(chǎn)運行維護容量計劃OAT配置管理預定義環(huán)境運行步驟回退步驟應急步驟系統(tǒng)整理(Housekeeping)歷史場景收集警報/報警流程自動化流程主動監(jiān)控系統(tǒng)備份管理(核對)變更管理軟件/參數(shù)分發(fā)數(shù)據(jù)分析優(yōu)化分析初始容量評估灰色灰字 = 未實施灰色蘭字 = 部分實施其他顏色 = 已實施被動監(jiān)控系統(tǒng)系統(tǒng)問題累加管理Turning your vision into resultsCONFIDENTIALCopyright 2011實施計劃Turning your vision into resultsCONFIDENTIALCopyright 2011問題可控考核量化全局可視年度目標2011201220131. 系統(tǒng)/交易全圖 2. 中央日志管理系統(tǒng)3. 中央監(jiān)控預警系統(tǒng)4. 全局自動化系統(tǒng)5. 全系統(tǒng)及設備時鐘同步6. 上線流程規(guī)范制定7. SLA主動監(jiān)控系統(tǒng)定義8. 日志規(guī)范定義1. 系統(tǒng)/交易全圖