運(yùn)維體系建設(shè)方案

運(yùn)維體系建設(shè)方案運(yùn)維體系建設(shè)方案一、 體系建設(shè)目標(biāo)查閱了大量資料，也沒有找到對“運(yùn)維體系”的明確定義，大多數(shù)資料對運(yùn)維體系的解讀及建設(shè)方案都是基于ITIL認(rèn)證體系與GoogleSRE，通過一系列的制度、標(biāo)準(zhǔn)、規(guī)范及流程，輔以高效的IT管理系統(tǒng)，向用戶提供高質(zhì)量的運(yùn)維服務(wù)，保證系統(tǒng)的可靠運(yùn)行?；趯TIL及GoogleSRE的理解，部門的運(yùn)維體系建設(shè)目標(biāo)可以確定為：以積極、負(fù)責(zé)、嚴(yán)謹(jǐn)?shù)墓ぷ鲬B(tài)度，正確、高效、規(guī)范的工作方法，保證系統(tǒng)7*24小時(shí)正常服務(wù)，全心全意為客戶服務(wù)，讓客戶滿意。二、 運(yùn)維現(xiàn)狀分析隨著部門研發(fā)的產(chǎn)品日趨成熟，系統(tǒng)的復(fù)雜度日益提升，主要體現(xiàn)在業(yè)務(wù)功能增多、業(yè)務(wù)流程復(fù)雜、業(yè)務(wù)組件多且依賴關(guān)系復(fù)雜、系統(tǒng)硬件數(shù)量多等，導(dǎo)致整個(gè)系統(tǒng)運(yùn)維的工作量及難度均大幅度增加。運(yùn)維做了很多的工作，卻依然保證不了系統(tǒng)的可靠服務(wù)能力，并不能完全滿足來自公司內(nèi)夕卜部〃客戶〃的運(yùn)維服務(wù)要求。通過運(yùn)維團(tuán)隊(duì)內(nèi)部的討論與分析，發(fā)現(xiàn)運(yùn)維工作提升困難的主要原因與其所處現(xiàn)狀息息相關(guān)，主要存在如下亟待解決的痛點(diǎn)：1） 運(yùn)維人員的技能參差不齊，深度不夠，專業(yè)化不足；2） 運(yùn)維人員分工及職責(zé)不明確，要求全棧運(yùn)維，工作上出現(xiàn)相互推諉、拖延；3） 運(yùn)維操作隨意性強(qiáng)，容易出現(xiàn)疏忽與失誤，導(dǎo)致系統(tǒng)事故；4） 運(yùn)維服務(wù)接入點(diǎn)不單一，任何運(yùn)維人員都可以接入服務(wù)；5） 運(yùn)維工作范圍繁雜瑣碎，出了問題就有責(zé)任，有失公平，影響團(tuán)隊(duì)成員的積極性；6） 運(yùn)維對問題的復(fù)盤分析不夠深入，運(yùn)維質(zhì)量改進(jìn)緩慢；7） 大量的硬件資產(chǎn)缺乏全面細(xì)致的管理，不能做到全生命周期管理；8） 大量的業(yè)務(wù)系統(tǒng)，全手工運(yùn)維與巡檢，耗時(shí)耗力；9） 缺乏全面的系統(tǒng)監(jiān)控手段/系統(tǒng)，不能及時(shí)發(fā)現(xiàn)系統(tǒng)中的問題；10） 業(yè)務(wù)系統(tǒng)復(fù)雜度高，運(yùn)維還沒有完全了解業(yè)務(wù)系統(tǒng)的功能及依賴關(guān)系；11） 業(yè)務(wù)系統(tǒng)質(zhì)量低、可靠性差，導(dǎo)致升級變更的工作量超大。以上并不是全部的問題，這些問題均不是一天兩天形成的，有很多歷史原因，在此就不再詳述了。但是如果不解決這些問題，運(yùn)維團(tuán)隊(duì)將會繼續(xù)維持低下的工作效率，運(yùn)維工作質(zhì)量也得不到改善。為此，我們需要對癥下藥，借鑒他人的優(yōu)秀實(shí)踐，結(jié)合我們自己的實(shí)際情況，建立科學(xué)、高效地運(yùn)維體系，以解決所有上述的運(yùn)維工作中的痛點(diǎn)，提升運(yùn)維工作效率及服務(wù)質(zhì)量。三、體系建設(shè)規(guī)劃通過調(diào)研大量的資料，并根據(jù)運(yùn)維現(xiàn)狀、資源投入等實(shí)際情況，提出了“五化一庫”的體系建設(shè)規(guī)劃，即“分工專業(yè)化、工作精細(xì)化、服務(wù)流程化、操作規(guī)范化、運(yùn)維自動化、運(yùn)維知識庫”，逐步提升運(yùn)維工作的效率與質(zhì)量。3.1分工專業(yè)化目前，運(yùn)維人員就像是“全能騎士”，即要懂業(yè)務(wù)，也要懂硬件、網(wǎng)絡(luò)、安全、架構(gòu)等多方面的知識與技能，人人都需要是全棧運(yùn)維工程師。的確存在這樣的能人，但是畢竟是少數(shù)，大多數(shù)的結(jié)果是〃廣而不精”，各方面都知道皮毛，遇到問題了找不到根本原因，對運(yùn)維工作的質(zhì)量及效率均有影響。因此，在本運(yùn)維體系中，計(jì)劃將運(yùn)維人員按運(yùn)維工作內(nèi)容進(jìn)行專業(yè)分組，分為基礎(chǔ)設(shè)施組、網(wǎng)絡(luò)組、平臺組、業(yè)務(wù)組及安全組，如圖1所示。

理忤來購、上線、變更、忍線、標(biāo)釜、資1配黃菅理（線上成M子怕）T劇眼施組I-政.._操作嘉航盅蓊、性能監(jiān)姓、容量監(jiān)控網(wǎng)絡(luò)流里苗控、帝竟咨量監(jiān)控T_f絡(luò)吭J網(wǎng)絡(luò)憂化（性旎、可伺性）. 業(yè)，平甘的安逑時(shí)蜃，捋營戶（含仇化）■:'：'臺淚一2.業(yè)務(wù)甲白的性觥監(jiān)控、山能監(jiān)惶、容量監(jiān)控業(yè)務(wù)組業(yè)務(wù)軟件的宕裝一升級一配置&審護(hù)業(yè)務(wù)組業(yè)務(wù)軟件的宕裝一升級一配置&審護(hù)業(yè)客軟件*監(jiān)控、事件處理，?可題赴理等―八心 負(fù)M方全莒控，宕全匚1叵、漏同掃措，哀全盲計(jì)等女矣出.二J圖1運(yùn)維團(tuán)隊(duì)分工及職責(zé)通過專業(yè)化分組，可以讓運(yùn)維人員在其所負(fù)責(zé)的專業(yè)上做全、做深、做強(qiáng)，各個(gè)專業(yè)小組有相對獨(dú)立的、明確的工作內(nèi)容、職責(zé)及標(biāo)準(zhǔn)，計(jì)劃編制《崗位職責(zé)說明書》進(jìn)行詳細(xì)地定義與描述。各個(gè)專業(yè)小組的負(fù)責(zé)人要想盡一切辦法保證自己所負(fù)責(zé)內(nèi)容的質(zhì)量。在實(shí)際操作上，考慮到運(yùn)維人員數(shù)量少的情況，可以一個(gè)人參加兩個(gè)小組，形成主備關(guān)系，但是在同一時(shí)刻只存在一位負(fù)責(zé)人，只有當(dāng)主負(fù)責(zé)人由于請假等原因不在崗的時(shí)候才由另一人臨時(shí)頂替其工作。同時(shí)，為了擴(kuò)大大家的技能廣度，制定〃輪崗計(jì)劃”，計(jì)劃每兩個(gè)月進(jìn)行一次專業(yè)小組（安全組除外）輪換，讓所有運(yùn)維人員都有機(jī)會負(fù)責(zé)所有專業(yè)小組。在日常工作期間，各個(gè)專業(yè)的負(fù)責(zé)人要進(jìn)行培訓(xùn)分享，為其他團(tuán)隊(duì)伙伴進(jìn)行輪崗提前做知識儲備，也利于大家逐漸具備值班處理問題的能力。在專業(yè)化的分組模式下，可以有效地讓運(yùn)維人員提升專注，減少瑣事的消耗，提高工作效率及質(zhì)量。各專業(yè)小組的工作內(nèi)容相對獨(dú)立，但是也需要相互協(xié)作，共同完成整個(gè)系統(tǒng)的運(yùn)維，因此，將梳理各項(xiàng)工作的執(zhí)行流程，將各專業(yè)的工作有效地組織起來，做到統(tǒng)籌高效。3.2工作精細(xì)化當(dāng)前的運(yùn)維大多時(shí)候可以說是“面向整體”的運(yùn)維，關(guān)注最終結(jié)果是否正確，比如系統(tǒng)各項(xiàng)功能正常、各項(xiàng)指標(biāo)正常即可，只有在出現(xiàn)異常的時(shí)候，才會去分析細(xì)節(jié)，找具體的原因。平時(shí)對系統(tǒng)的各個(gè)局部與細(xì)節(jié)的關(guān)注度不夠，導(dǎo)致很多的問題不能及時(shí)發(fā)現(xiàn)，造成不必要的損失。因此，運(yùn)維計(jì)劃通過體系建設(shè)細(xì)化各專業(yè)的具體工作內(nèi)容，將每一項(xiàng)工作內(nèi)容都寫到《崗位職責(zé)說明書》中，做到全面、無死角的運(yùn)維。運(yùn)維的工作將不再僅是面向整體，還將面向局部、面向細(xì)節(jié)。通過專業(yè)化的分組，將整個(gè)系統(tǒng)運(yùn)維拆分成不同的部分，各個(gè)專業(yè)小組還將就各自負(fù)責(zé)的部分進(jìn)行更加細(xì)致的梳理，明確所有的配置項(xiàng)（需要關(guān)注并維護(hù)的對象），做好配置管理與變更管理，做好日常監(jiān)控與維護(hù)，做好容量規(guī)劃管理等各種精細(xì)化工作。3.3服務(wù)流程化目前，運(yùn)維的工作范圍有生產(chǎn)系統(tǒng)運(yùn)維、開發(fā)測試協(xié)助、售前支持、售后支持、信息安全管理等方面的工作，除了生產(chǎn)系統(tǒng)運(yùn)維外的工作，各類繁雜瑣碎很多，公司夕卜部客戶、公司內(nèi)部的同事均有可能提出運(yùn)維服務(wù)需求，提出需求的渠道也很多（如QQ、微信、郵件、電話、當(dāng)面溝通等），而且直接到運(yùn)維人員，沒有統(tǒng)一接入各類服務(wù)需求的〃點(diǎn)”，因此，各類需求分散，沒有根據(jù)工作安排及人力情況進(jìn)行綜合安排與調(diào)度，導(dǎo)致運(yùn)維工作〃雜亂”，運(yùn)維人員成天“忙碌”，但是工作效率卻非常低下，亟待進(jìn)行改進(jìn)。經(jīng)過分析，計(jì)劃通過“建立運(yùn)維服務(wù)臺及運(yùn)維服務(wù)流程”的方式對運(yùn)維服務(wù)進(jìn)行流程化。1）建立運(yùn)維服務(wù)臺制定《運(yùn)維服務(wù)管理規(guī)定》對運(yùn)維服務(wù)進(jìn)行規(guī)范化管理，統(tǒng)一運(yùn)維服務(wù)入口，引進(jìn)工單系統(tǒng)。所有的運(yùn)維服務(wù)（如：問題處理、事務(wù)性工作等）均通過服務(wù)臺統(tǒng)一接入，由服務(wù)臺值班人員創(chuàng)建工單，如果是問題則派發(fā)給相應(yīng)專業(yè)小組負(fù)責(zé)人員進(jìn)行處理，如果是事務(wù)性工作，則轉(zhuǎn)發(fā)給運(yùn)維組長進(jìn)行統(tǒng)一安排調(diào)度，如圖2所示。做到“不見工單不處理問題”，以便對運(yùn)維服務(wù)工作進(jìn)行全面的跟蹤及有序地組織實(shí)施。注意：運(yùn)維服務(wù)不區(qū)分公司內(nèi)外、部門內(nèi)外，對于運(yùn)維團(tuán)隊(duì)外的所有對運(yùn)維的需求均視為運(yùn)維服務(wù)，均需要通過運(yùn)維服務(wù)臺統(tǒng)一接入管理。圖2運(yùn)維服務(wù)臺主要服務(wù)流程2）建立事件/問題處理流程前面提到了運(yùn)維服務(wù)臺的大致工作模式及流程，但是具體要把服務(wù)做完還需要更多的人參與，更多的流程與分工協(xié)作。為了保證整個(gè)過程有序開展、資源合理配置，需要協(xié)同開發(fā)組建服務(wù)團(tuán)隊(duì)，分層級逐步處理，一層一層上升，直至問題最終解決。大致的流程是：需求方提出需求-服務(wù)臺創(chuàng)建工單-分派給一線人員（值班人員）處理-轉(zhuǎn)交給二線人員（各專業(yè)負(fù)責(zé)人）-轉(zhuǎn)交給三線人員（相關(guān)開發(fā)人員）-管理者。任何一個(gè)環(huán)節(jié)將事件/問題處理掉就可關(guān)閉此工單，否則逐級流轉(zhuǎn)與上報(bào)直至工單最終關(guān)閉，問題得到解決。3）建立事務(wù)性工作處理流程除了事件（或問題）處理，還有各種事務(wù)性服務(wù)需求，這類需求將轉(zhuǎn)交給運(yùn)維團(tuán)隊(duì)的小組長統(tǒng)一安排調(diào)度。在專業(yè)分組過后，一件事務(wù)性工作，可能需要各個(gè)專業(yè)組相互協(xié)作才能最終完成，其協(xié)作流程并不能統(tǒng)一，運(yùn)維團(tuán)隊(duì)將周期對各類事務(wù)性工作進(jìn)行總結(jié)與分析，找出主要的（頻次高且需要多專業(yè)協(xié)作）的事務(wù)，制定標(biāo)準(zhǔn)化的處理流程，以保證這些工作有序開展并保證質(zhì)量及效率。3.4操作規(guī)范化長期以來，運(yùn)維的操作事故沒有得到有效的控制，缺乏嚴(yán)格的審批流程，沒有明確的管理制度，各種變更操作隨意性強(qiáng)，運(yùn)維工作無章可依，無規(guī)可循。因此需要制定運(yùn)維操作的相關(guān)制度、標(biāo)準(zhǔn)、規(guī)范及流程，做到變更管理與配置管理等運(yùn)維操作的制度化、標(biāo)準(zhǔn)化、規(guī)范化與流程化，讓運(yùn)維的工作有章可依，有規(guī)可循。1） 制定變更管理的制度與流程各個(gè)專業(yè)均會遇到變更需求，對這些變更必須進(jìn)行管理及控制。首先所有變更必須進(jìn)行記錄，可以通過〃工單系統(tǒng)”或“任務(wù)管理”進(jìn)行追蹤，做到全生命周期管理。對所有的變更進(jìn)行分析，根據(jù)復(fù)雜度、影響范圍及程度、風(fēng)險(xiǎn)大小進(jìn)行分類，設(shè)置不同的審批級別，如：對系統(tǒng)有嚴(yán)重影響且風(fēng)險(xiǎn)較高的必須由主管領(lǐng)導(dǎo)進(jìn)行審批，簡單且風(fēng)險(xiǎn)小的可直接授權(quán)執(zhí)行人員進(jìn)行實(shí)施。對于事件或問題導(dǎo)致的變更，必須同時(shí)符合《事件/問題管理規(guī)定》與《變更管理規(guī)定》的要求。運(yùn)維對事件或問題要進(jìn)行復(fù)盤與分析，找出主要的變更點(diǎn)及關(guān)聯(lián)問題，制定《應(yīng)急預(yù)案》并在其中明確其變更的審批要求及授權(quán)說明。2） 制定配置管理的制度與流程配置管理即配置項(xiàng)管理，配置項(xiàng)即為〃需要關(guān)注并維護(hù)的對象”，硬件如服務(wù)器、CPU、硬盤，軟件如業(yè)務(wù)軟件實(shí)例、軟件配置參數(shù)等。凡是需要進(jìn)行關(guān)注并維護(hù)的對象，均可以是配置項(xiàng)，均可以納入配置管理的范圍。配置管理將通過CMDB進(jìn)行管理。不同的配置項(xiàng)，有不同的屬性，通過數(shù)據(jù)庫建模將其納入到系統(tǒng)中進(jìn)行管理。配置項(xiàng)也常由于各種原因的變更導(dǎo)致變化，我們也需要跟隨這些變更同步更新配置項(xiàng)，同時(shí)記錄變更的細(xì)節(jié)，做到變更的全生命周期可追溯。配置管理需要符合《配置管理規(guī)定》的要求，所有配置項(xiàng)的變更不獨(dú)立進(jìn)行，而是與〃工單”或〃任務(wù)”關(guān)聯(lián)起來，必須有變更依據(jù)（或變更來源），符合變更管理的各項(xiàng)管理規(guī)定及審批流程，避免或降低操作失誤。3） 制定運(yùn)維操作的通過標(biāo)準(zhǔn)制度及流程保證了運(yùn)維操作的有序執(zhí)行及有效控制，但是沒有解決運(yùn)維工作質(zhì)量保證的問題，因此，需要對每一項(xiàng)的運(yùn)維操作或每一個(gè)操作組合確定其通過的標(biāo)準(zhǔn)。運(yùn)維將對于各類運(yùn)維操作進(jìn)行分析，找出關(guān)鍵控制點(diǎn)（如重要的功能點(diǎn)、配置項(xiàng)或容易疏忽的點(diǎn)），制作出《檢查清單》，由操作人員或指定專人執(zhí)行檢查，確保結(jié)果準(zhǔn)確無誤。運(yùn)維團(tuán)隊(duì)還將設(shè)置審計(jì)人員對各類制度、流程及清單的執(zhí)行結(jié)果進(jìn)行不定期的審計(jì)并進(jìn)行記錄，明確各崗位人員的職責(zé)，對于違反規(guī)定，導(dǎo)致的后果，依規(guī)進(jìn)行追責(zé)處理。3.5運(yùn)維自動化現(xiàn)在的系統(tǒng)越來越復(fù)雜，系統(tǒng)的配置項(xiàng)也越來越多，對運(yùn)維團(tuán)隊(duì)的服務(wù)需求及工作量均與日俱增，但是運(yùn)維團(tuán)隊(duì)的工作方式仍然處理“原始的人肉運(yùn)維"模式，運(yùn)維的效率及質(zhì)量均受到了嚴(yán)重的挑戰(zhàn)，需要我們直面問題，改變現(xiàn)狀。1） 引進(jìn)開源的監(jiān)控系統(tǒng)引入各類成熟的監(jiān)控系統(tǒng)（如Zabbix，Prometheus，Grafana等）加強(qiáng)對系統(tǒng)各個(gè)層面的實(shí)時(shí)監(jiān)控與預(yù)警，及時(shí)發(fā)現(xiàn)系統(tǒng)中的問題。2） 引入開源CMDB系統(tǒng)目前也有一些達(dá)人或公司開發(fā)的CMDB系統(tǒng)，并開源免費(fèi)下載使用，如CODO、openspug等，可以研究一下對于配置項(xiàng)的管理是否可以借用這些系統(tǒng)進(jìn)行，盡量避免重復(fù)造輪子。3） 研發(fā)運(yùn)維支撐系統(tǒng)（OSS）除了通用的監(jiān)控及CMDB夕卜，涉及到一些公司具體業(yè)務(wù)的監(jiān)控就需要自己開發(fā)專門的運(yùn)維支撐系統(tǒng)（OSS）來進(jìn)行了。運(yùn)維團(tuán)隊(duì)的各個(gè)專業(yè)小組將深入研究自己的專業(yè)，根據(jù)實(shí)際工作需要向OSS系統(tǒng)提需求，逐步完善OSS系統(tǒng)的功能。同時(shí)，運(yùn)維使用的開源工具或系統(tǒng)多起來之后，數(shù)據(jù)分散，不利于管理，OSS可以接入這些信息并進(jìn)行整合，進(jìn)一步挖掘數(shù)據(jù)的價(jià)值，提供更實(shí)用的功能，提升運(yùn)維工作的效率。4） 開發(fā)小的自動化工具或腳本運(yùn)維團(tuán)隊(duì)可以就批量的、重復(fù)性高的人工操作場景進(jìn)行分析，與OSS團(tuán)隊(duì)、開發(fā)團(tuán)隊(duì)一起協(xié)作，開發(fā)自動化的工具或腳本，盡量做到〃一鍵執(zhí)行”或〃自動執(zhí)行”，分階段逐步實(shí)現(xiàn)系統(tǒng)自治以及運(yùn)維的自動化，降低“人肉”運(yùn)維的比重，減少瑣事，提升工作效率。3.6運(yùn)維知識庫在運(yùn)維工作的過程中，會總結(jié)出各種經(jīng)驗(yàn)與知識，對這些通過實(shí)踐獲得的寶貴經(jīng)驗(yàn)與知識進(jìn)行科學(xué)的管理與利用，將有效地提升運(yùn)維團(tuán)隊(duì)的技能水平、知識儲備，從而間接提升運(yùn)維工作的質(zhì)量。而建立運(yùn)維知識庫將會是一種有效的手段，運(yùn)維知識庫將主要由產(chǎn)品資料庫、系統(tǒng)問題庫、檢查清單庫、制度規(guī)范庫與培訓(xùn)資料庫組成，可根據(jù)實(shí)際的資料積累情況進(jìn)行調(diào)整。1） 產(chǎn)品資料庫產(chǎn)品資料庫主要存放與產(chǎn)品相關(guān)的資料，如《系統(tǒng)安裝手冊》、《用戶使用手冊》、《系統(tǒng)運(yùn)行視圖》、《系統(tǒng)物理視圖》、《系統(tǒng)升級方案》等，其版本迭代隨著系統(tǒng)的變更進(jìn)行，因此需要做好版本管理。一些資料是事務(wù)性工作的產(chǎn)物，可與具體的，，工單，，或，，任務(wù)，，關(guān)聯(lián)起來，以便進(jìn)行全過程跟蹤與追溯。2） 系統(tǒng)問題庫對各類運(yùn)維過程中遇到的事件或問題進(jìn)行深入的復(fù)盤分析，形成文檔并歸檔到運(yùn)維系統(tǒng)問題庫，利用開源系統(tǒng)或自制的系統(tǒng)進(jìn)行管理，方便查詢與分享，促進(jìn)知識共享與交流。當(dāng)遇到同類問題的時(shí)候可以提供快速的處理方案，同時(shí)也有利于對問題進(jìn)行統(tǒng)計(jì)分析，找出系統(tǒng)中的弱點(diǎn)并進(jìn)行完善，從而有效提升系統(tǒng)的可用率與可靠度。3） 檢查清單庫清單是保證運(yùn)維工作質(zhì)量的有效手段，對于不同的工作有不同的清單模板，需要進(jìn)行有效地組織與管理，方便歸檔與查詢。隨著系統(tǒng)的變化，清單也會進(jìn)行不停地迭代更新，因此需要進(jìn)行及時(shí)的維護(hù)，并做好版本管理。清單的執(zhí)行結(jié)果也需要進(jìn)行歸檔管理，方便查詢與審計(jì)，清單執(zhí)行結(jié)果需要與具體的“工單”或“任務(wù)”關(guān)聯(lián)，以便進(jìn)行全過程跟蹤與追溯。4） 制度規(guī)范庫運(yùn)維工作管理的各