運維系統(tǒng)及中心機房應(yīng)急處理預(yù)案

1、.wd.wd.wd.運維小組應(yīng)急預(yù)案隨著網(wǎng)絡(luò)信息化建設(shè)的不斷深入，加強機房各類設(shè)備、系統(tǒng)以及信息與網(wǎng)絡(luò)安全等方面應(yīng)對突發(fā)事件的處理能力將是我們目前面臨的一項重要任務(wù)。為確保系統(tǒng)及機房安全與穩(wěn)定，以保證正常運行為宗旨，按照“預(yù)防為主，積極處置的原那么，本著建設(shè)一個有效處置突發(fā)事件，建設(shè)統(tǒng)一指揮、職責明確運轉(zhuǎn)有序、反響迅速處置有力的機房安全體系的目標，將正在發(fā)生或已發(fā)生事故的損害程度減輕到最低，確保員工安全，特制定本應(yīng)急處置預(yù)案。本預(yù)案共分為應(yīng)用系統(tǒng)故障應(yīng)急流程和機房突發(fā)事件應(yīng)急流程系統(tǒng)故障應(yīng)急流程一、系統(tǒng)故障應(yīng)急流程說明1、故障發(fā)生系統(tǒng)運維服務(wù)小組可從以下途徑得知故障的發(fā)生：1.1、運維服務(wù)中心

2、通過網(wǎng)管告警發(fā)現(xiàn)故障1.2、維護站點通過維護巡檢發(fā)現(xiàn)故障1.3、用戶發(fā)現(xiàn)故障，報給呼叫中心1.4、駐場工程師發(fā)現(xiàn)故障2、報障受理監(jiān)控系統(tǒng)運維服務(wù)小組得知系統(tǒng)故障發(fā)生后，立即響應(yīng)，并向報障人或單位詳細了解系統(tǒng)故障情況。3、信息研判運維服務(wù)小組根據(jù)了解到的系統(tǒng)故障情況進展分析判斷，以確定采用一般故障處理流程還是立即啟動系統(tǒng)突發(fā)故障應(yīng)急處理預(yù)案。4、預(yù)案啟動如需啟動應(yīng)急預(yù)案，那么立刻通知系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組，由領(lǐng)導(dǎo)小組啟動應(yīng)急預(yù)案，對系統(tǒng)突發(fā)故障應(yīng)急事件進展全面管控處理。5、資源確認系統(tǒng)突發(fā)故障應(yīng)急預(yù)案啟動后，首先是根據(jù)現(xiàn)場突發(fā)故障實際狀況、緊急程度、技術(shù)難度、備品備件等情況對相關(guān)資源主要是參與

3、人員依據(jù)經(jīng)歷進展調(diào)度和確認，主要有以下資源：我公司技術(shù)支持人員；相關(guān)廠家技術(shù)支持人員；我公司聘請的技術(shù)專家6、預(yù)案執(zhí)行按照既定的預(yù)案進展突發(fā)故障搶修，如遇到問題及時向系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組匯報。7、預(yù)案終止預(yù)案的終止時間由故障現(xiàn)場技術(shù)人員根據(jù)現(xiàn)場的實際進展情況，在與用戶單位有關(guān)部門協(xié)調(diào)后報系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組決定。8、結(jié)果上報預(yù)案中止后，相關(guān)預(yù)案參與人員將整個事件過程中的經(jīng)歷和教訓(xùn)，修改、完善事件應(yīng)急預(yù)案。然后集中上報至系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。二、 系統(tǒng)故障應(yīng)急處理流程圖機房突發(fā)事件應(yīng)急流程一、機房突發(fā)事件分類1、自然災(zāi)害：指地震、火災(zāi)等因自然因素引起的網(wǎng)絡(luò)與信息系統(tǒng)的損壞。2、事故災(zāi)

4、難：指電力中斷、網(wǎng)絡(luò)損壞、軟件、硬件設(shè)備故障等引起的網(wǎng)絡(luò)與信息系統(tǒng)的損壞。3、人為破壞：指人為破壞網(wǎng)絡(luò)線路、通信設(shè)施，黑客攻擊、病毒攻擊、恐懼襲擊等引起的網(wǎng)絡(luò)與信息系統(tǒng)的損壞。二、 應(yīng)急處理人員組織機構(gòu)三、 應(yīng)急機構(gòu)人員崗位職責1、應(yīng)急總指揮職責1.1、保證在任何時間，及時協(xié)調(diào)應(yīng)急行動所有涉及的崗位人員；1.2、提供必須的緊急響應(yīng)設(shè)備；1.3、在緊急情況下全面負責緊急行動；1.4、在必要時向外界求救，例如：119、110、120等。2、應(yīng)急副總指揮職責2.1、在總指揮領(lǐng)導(dǎo)下具體開展工作，當總指揮不在時履行總指揮職責；2.2、根據(jù)獲得的應(yīng)急信息下達命令。3、各相關(guān)設(shè)備負責人職責3.1、負責盡快收

5、集信息向應(yīng)急總指揮匯報事故情況；3.2、負責現(xiàn)場臨時設(shè)備搶救和對事態(tài)的控制；3.3、聽從上級指揮人員的指揮。四、突發(fā)事件處理原那么1.預(yù)防為主。立足安全防護，加強預(yù)警，重點保護根基信息網(wǎng)絡(luò)和關(guān)系信息安全、穩(wěn)定的重要信息系統(tǒng)，從預(yù)防、監(jiān)控、應(yīng)急處理、應(yīng)急保障等環(huán)節(jié)，在管理、技術(shù)、人員等方面采取多種措施充分發(fā)揮各方面的作用，共同構(gòu)筑安全保障體系。2.快速反響。突發(fā)事件發(fā)生時，按照快速反響機制，及時獲取充分而準確的信息，跟蹤研判，果斷決策，迅速處置，最大程度地減少危害和影響。3.分級負責。按照“誰主管，誰負責的原那么，建設(shè)和完善安全責任制及聯(lián)開工作機制。根據(jù)各負責人的職能，各司其職，加強各負責人的協(xié)

6、調(diào)與配合，共同履行應(yīng)急處置工作的管理職責。4.以人為本。把保障人員以及公共利益的安全作為首要任務(wù)。5.常備不懈。加強技術(shù)儲藏，標準應(yīng)急處置措施與操作流程，定期進展預(yù)案演練，確保應(yīng)急預(yù)案切實有效，實現(xiàn)網(wǎng)絡(luò)與信息安全突發(fā)公共事件應(yīng)急處置的科學(xué)化、程序化與標準化。五、機房應(yīng)急開關(guān)機具體措施機房各設(shè)備關(guān)閉順序如下：六、機房日常維護1、建設(shè)健全機房管理制度1.1在正常工作日內(nèi)，信息技術(shù)部人員負責對機房進展監(jiān)控，主要職責是：巡視網(wǎng)絡(luò)設(shè)備及系統(tǒng)的運行情況，發(fā)生異常情況及時處理，消除網(wǎng)絡(luò)故障隱患。1.2節(jié)假日期間技術(shù)人員輪流值班，負責處理有關(guān)異常情況。1.3機房采取來人來訪登記制度，未經(jīng)允許，無關(guān)人員不得進入

7、公司機房區(qū)域。2、機房內(nèi)嚴格采取防雷、防火、防塵、防靜電等措施以及機房24小時監(jiān)控等措施。3、認真做好數(shù)據(jù)備份工作，定期做一次數(shù)據(jù)庫完全備份，每月檢查服務(wù)器運行和備份情況。4、對機房的主要網(wǎng)絡(luò)設(shè)備路由器、主干交換機等進展工作時間內(nèi)全程監(jiān)控，發(fā)現(xiàn)異常情況應(yīng)及時進展處理，確保整個網(wǎng)絡(luò)的正常運行。七、服務(wù)器及存儲設(shè)備故障處理1、排錯流程2、應(yīng)急處置具體措施2.1 機房漏水應(yīng)急預(yù)案 1發(fā)生機房漏水時，第一目擊者應(yīng)立即通知運維服務(wù)小組，并及時報告監(jiān)控系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2假設(shè)空調(diào)系統(tǒng)出現(xiàn)滲漏水，運維服務(wù)小組負責人應(yīng)立即安排停用故障空調(diào)，去除機房積水，并及時聯(lián)系設(shè)備供應(yīng)方處理，同時啟動備用空調(diào)，必要

8、情況下可臨時用備用空調(diào)對服務(wù)器進展降溫。3假設(shè)為墻體或機房門滲漏水，運維服務(wù)小組負責人應(yīng)立即采取有效措施確保機房安全，及時去除積水，維修墻體或門窗，消除滲漏水隱患。2.2 設(shè)備發(fā)生被盜或人為損害事件應(yīng)急預(yù)案 1發(fā)生設(shè)備被盜或人為損害設(shè)備情況時，使用者或管理者應(yīng)立即報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組，同時保護好現(xiàn)場。2系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組接報后，通知用戶保衛(wèi)部門、相關(guān)領(lǐng)導(dǎo)，一同核實審定現(xiàn)場情況，清點被盜物資或盤查人為損害情況，做好必要的影像記錄和文字記錄。3事發(fā)單位和當事人應(yīng)當積極配合公安部門進展調(diào)查， 并將有關(guān)情況向系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組匯報。4系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組安排運維服務(wù)小組、事發(fā)單

9、位及時恢復(fù)系統(tǒng)正常運行，并對事件進展調(diào)查。運維服務(wù)小組和事發(fā)單位應(yīng)在調(diào)查完畢后一日內(nèi)書面報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。事態(tài)或后果嚴重的，應(yīng)向相關(guān)領(lǐng)導(dǎo)匯報。2.3 機房長時間停電應(yīng)急預(yù)案 1定期檢查機房供電設(shè)備的運行狀況和電路線纜器材情況，當發(fā)生以下突發(fā)事件時，按照以下方案進展處置：2當機房發(fā)生市電供電突然停電或是電源異常時。首先應(yīng)和后勤部門聯(lián)系確認正常停電以及預(yù)計停電時間。檢查不連續(xù)電源的電池可供電時間，確保設(shè)備正常運行，如遇到突然斷電，應(yīng)及時將空調(diào)等不在UPS電源供電范圍內(nèi)的設(shè)備及時斷電，預(yù)防突然來電時瞬間電流過大導(dǎo)致設(shè)備損壞等現(xiàn)象。3當確定停電時間超出機房UPS承載范圍后，首先確定停電的范

10、圍以及受影響的設(shè)備范圍。并及時通知各部門做好停電應(yīng)急準備。然后通知機房電源維護人和設(shè)備的負責人到達現(xiàn)場，做好各設(shè)備的電源停電準備。在UPS供電電量僅剩10%之后，嚴格按操作手冊停掉各服務(wù)器的電源，最后停核心交換機和路由器，等待電力恢復(fù)。4當確定停電原因是在本身供電系統(tǒng)范圍內(nèi)，立即匯報給負責領(lǐng)導(dǎo)，并及時聯(lián)系相關(guān)維護人員到達現(xiàn)場檢修。對于恢復(fù)時間無法預(yù)計的，要通知后勤部門做好柴油機發(fā)電及移動電源車供電準備5恢復(fù)供電后，嚴格按照操作程序逐步恢復(fù)機房設(shè)備和UPS的供電，以防瞬間電流過大造成設(shè)備損壞。2.4 通信網(wǎng)絡(luò)故障應(yīng)急預(yù)案 1發(fā)生通信線路中斷、路由故障、流量異常、域名系統(tǒng)故障后，操作員應(yīng)及時通知本

11、單位信息系統(tǒng)管理員，經(jīng)初步判斷后及時上報運維服務(wù)小組和系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2 運維服務(wù)小組接報告后，應(yīng)及時查清通信網(wǎng)絡(luò)故障位置，隔離故障區(qū)域，并將事態(tài)及時報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組，通知相關(guān)通信網(wǎng)絡(luò)運營商查清原因；同時及時組織相關(guān)技術(shù)人員檢測故障區(qū)域，逐步恢復(fù)故障區(qū)與服務(wù)器的網(wǎng)絡(luò)聯(lián)接，恢復(fù)通信網(wǎng)絡(luò)，保證正常運轉(zhuǎn)。3 事態(tài)或后果嚴重的，應(yīng)向應(yīng)急指揮辦公室和相關(guān)領(lǐng)導(dǎo)匯報。4應(yīng)急處置完畢后，運維服務(wù)小組應(yīng)將故障分析報告，在調(diào)查完畢后一日內(nèi)書面報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2.5 不良信息和網(wǎng)絡(luò)病毒事件應(yīng)急預(yù)案 1發(fā)現(xiàn)不良信息或網(wǎng)絡(luò)病毒時，信息系統(tǒng)管理員應(yīng)立即斷開網(wǎng)線，終止不良信息或網(wǎng)絡(luò)病毒傳

12、播，并報告指揮調(diào)度中心運維服務(wù)小組和系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2運維服務(wù)小組應(yīng)根據(jù)系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組指令，采取隔離網(wǎng)絡(luò)等措施，及時殺毒或去除不良信息，并追查不良信息來源。3事態(tài)或后果嚴重的，應(yīng)向監(jiān)控中心辦公室和相關(guān)領(lǐng)導(dǎo)匯報。4處置完畢后 ,運維服務(wù)小組應(yīng)將事發(fā)經(jīng)過、造成影響、處置結(jié)果在調(diào)查工作完畢后一日內(nèi)書面報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2.6 服務(wù)器軟件系統(tǒng)故障應(yīng)急預(yù)案 1發(fā)生服務(wù)器軟件系統(tǒng)故障后，運維服務(wù)小組負責人應(yīng)立即組織啟動備份服務(wù)器系統(tǒng)，由備份服務(wù)器接收業(yè)務(wù)應(yīng)用，并及時報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組；同時安排相關(guān)責任人將故障服務(wù)器脫離網(wǎng)絡(luò)，保存系統(tǒng)狀態(tài)不變，取出系統(tǒng)鏡像備份磁盤，

13、保持原始數(shù)據(jù)。2運維服務(wù)小組應(yīng)根據(jù)系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組的指令，在確認安全的情況下，重新啟動故障服務(wù)器系統(tǒng)；重啟系統(tǒng)成功，那么檢查數(shù)據(jù)喪失情況，利用備份數(shù)據(jù)恢復(fù)；假設(shè)重啟失敗，立即聯(lián)系相關(guān)廠商和上級單位，請求技術(shù)支援，作好技術(shù)處理。3事態(tài)或后果嚴重的，應(yīng)向監(jiān)控中心應(yīng)急指揮辦公室和相關(guān)領(lǐng)導(dǎo)匯報。4處置完畢后,運維服務(wù)小組應(yīng)將事發(fā)經(jīng)過、處置結(jié)果等在調(diào)查工作完畢后一日內(nèi)報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2.7 黑客攻擊事件應(yīng)急預(yù)案 1當發(fā)現(xiàn)網(wǎng)絡(luò)被非法入侵、網(wǎng)頁內(nèi)容被篡改，應(yīng)用服務(wù)器上的數(shù)據(jù)被非法拷貝、修改、刪除，或通過入侵檢測系統(tǒng)發(fā)現(xiàn)有黑客正在進展攻擊時，使用者或管理者應(yīng)斷開網(wǎng)絡(luò)，并立即報告系統(tǒng)突發(fā)故

14、障應(yīng)急領(lǐng)導(dǎo)小組。2接報告后，系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組應(yīng)立即指令運維服務(wù)小組核實情況，關(guān)閉服務(wù)器或系統(tǒng)，修改防火墻和路由器的過濾規(guī)那么，封鎖或刪除被攻破的登陸帳號，阻斷可疑用戶進入網(wǎng)絡(luò)的通道。3運維服務(wù)小組應(yīng)及時清理系統(tǒng)，恢復(fù)數(shù)據(jù)、程序，恢復(fù)系統(tǒng)和網(wǎng)絡(luò)正常；情況嚴重的，應(yīng)向監(jiān)控中心應(yīng)急指揮辦公室和相關(guān)領(lǐng)導(dǎo)匯報，并請求支援。4處置完畢后 ,運維服務(wù)小組應(yīng)將事發(fā)經(jīng)過、處置結(jié)果等在調(diào)查工作完畢后一日內(nèi)報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2.8 核心設(shè)備硬件故障應(yīng)急預(yù)案 1發(fā)生核心設(shè)備硬件故障后，運維服務(wù)小組應(yīng)及時報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組，并組織查找、確定故障設(shè)備及故障原因，進展先期處置。2假設(shè)故障設(shè)備在

15、短時間內(nèi)無法修復(fù)運維服務(wù)小組應(yīng)啟動備份設(shè)備，保持系統(tǒng)正常運行；將故障設(shè)備脫離網(wǎng)絡(luò)，進展故障排除工作。3運維服務(wù)小組故障排除后，在網(wǎng)絡(luò)空閑時期，替換備用設(shè)備；假設(shè)故障仍然存在，立即聯(lián)系相關(guān)廠商，認真填寫設(shè)備故障報告單備查。4事態(tài)或后果嚴重的，應(yīng)向監(jiān)控中心應(yīng)急指揮辦公室和相關(guān)領(lǐng)導(dǎo)匯報。2.9 業(yè)務(wù)數(shù)據(jù)損壞應(yīng)急預(yù)案 1 發(fā)生業(yè)務(wù)數(shù)據(jù)損壞 時，運維服務(wù)小組應(yīng)及時報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組，檢查、備份業(yè)務(wù)系統(tǒng)當前數(shù)據(jù)。2運維服務(wù)小組負責調(diào)用備份服務(wù)器備份數(shù)據(jù)，假設(shè)備份數(shù)據(jù)損壞，那么調(diào)用磁帶機中歷史備份數(shù)據(jù)，假設(shè)磁帶機數(shù)據(jù)仍不可用，那么調(diào)用異地備份數(shù)據(jù)。3業(yè)務(wù)數(shù)據(jù)損壞事件超過 2小時后，運維服務(wù)小組應(yīng)及

16、時報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組，及時通知業(yè)務(wù)部門以手工方式開展業(yè)務(wù)。4運維服務(wù)小組應(yīng)待業(yè)務(wù)數(shù)據(jù)系統(tǒng)恢復(fù)后，檢查歷史數(shù)據(jù)和當前數(shù)據(jù)的差異，由相關(guān)系統(tǒng)業(yè)務(wù)員補錄數(shù)據(jù)；重新備份數(shù)據(jù)，并在工作完畢后一日內(nèi)報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。2.10 雷擊事故應(yīng)急預(yù)案 1 遇雷暴天氣或接上級部門雷暴氣象預(yù)警，運維服務(wù)小組應(yīng)及時報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組，經(jīng)請示同意后關(guān)閉局部服務(wù)器，切斷電源，暫停內(nèi)部計算機局部網(wǎng)絡(luò)工作。2 雷暴天氣完畢后，運維服務(wù)小組報經(jīng)系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組同意，及時開通服務(wù)器，恢復(fù)內(nèi)部計算機網(wǎng)絡(luò)工作，對設(shè)備和數(shù)據(jù)進展檢查。3 因雷擊造成損失的，運維服務(wù)小組應(yīng)會同相關(guān)部門進展核實、報損，

17、并在調(diào)查工作完畢后一日內(nèi)書面報告系統(tǒng)突發(fā)故障應(yīng)急領(lǐng)導(dǎo)小組。必要時，應(yīng)向監(jiān)控中心應(yīng)急指揮辦公室和相關(guān)領(lǐng)導(dǎo)匯報。2.11 空調(diào)設(shè)備故障應(yīng)急預(yù)案 假設(shè)機房專用空調(diào)損壞，應(yīng)第一時間啟用機房備用空調(diào)，并通知廠家上門進展維修，并及時報告信息部相關(guān)領(lǐng)導(dǎo)請示，獲得授權(quán)后按機房設(shè)備關(guān)閉順序關(guān)閉各類設(shè)備。2.12 火災(zāi)事故應(yīng)急預(yù)案1一旦機房發(fā)生火災(zāi)，應(yīng)遵照以下原那么：首先確保人員安全；其次保護關(guān)鍵設(shè)備、數(shù)據(jù)安全；三是保護一般設(shè)備安全；2人員疏散的程序是：機房工作人員立即按響火警警報，并通過119 向公安消防請求支援，所有人員戴上防毒面具，所有不參與滅火的人員按照預(yù)先確定的線路，迅速從機房中撤出；3人員滅火的程序是：首先切斷所有電源，啟動自動噴淋系統(tǒng)或使用滅火器，滅火值班人員戴好防毒面具，從指定位置取出泡沫滅火器進展滅火。2.13 電源設(shè)備故障應(yīng)急預(yù)案機房目前使用UPS系統(tǒng)，在緊急情況發(fā)生時，應(yīng)按如下步驟進展關(guān)機：1確認所有負載均已安全關(guān)機。2關(guān)閉UPS負載電源。3將UPS的系統(tǒng)啟用開關(guān)