機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案

實(shí)用文檔總則適用范圍本方案適用于公司信息中心機(jī)房動(dòng)力系統(tǒng)電力供應(yīng)中斷應(yīng)急響應(yīng)工作。所涉及公司信息中心安全監(jiān)管人員、調(diào)度組人員、平臺組人員、網(wǎng)絡(luò)組人員，以及其他相關(guān)人員在處理此類安全事件時(shí)，均可遵循或借鑒本方案制定的流程、方法或技術(shù)措施。與其他預(yù)案的關(guān)系本方案為《公司網(wǎng)絡(luò)與信息安全應(yīng)急預(yù)案》（簡稱“應(yīng)急預(yù)案”）的現(xiàn)場應(yīng)急處置方案，是在遵循《應(yīng)急預(yù)案》的基礎(chǔ)上制定的，既可以單獨(dú)使用，也可與其它方案配合使用。公司信息中心機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案體系結(jié)構(gòu)圖公司信息中心機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案體系結(jié)構(gòu)圖見附件1。信息中心機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案總體流程機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案總體流程圖見附件2。預(yù)防與預(yù)警公司信息機(jī)房出現(xiàn)電源故障，導(dǎo)致機(jī)房內(nèi)所有精密空調(diào)停運(yùn)，機(jī)房溫度升高，使機(jī)房內(nèi)設(shè)備受影響。預(yù)防與預(yù)警是處置方案的第一個(gè)階段。預(yù)防與預(yù)警主要目的為貫徹落實(shí)網(wǎng)絡(luò)與信息安全保障工作的目標(biāo)和任務(wù)，提高公司機(jī)房動(dòng)力系統(tǒng)應(yīng)急響應(yīng)與處理能力，切實(shí)做好信息安全工作，特編制本應(yīng)急預(yù)案，使應(yīng)急工作安全、有序、科學(xué)、高效地實(shí)施，最大限度地預(yù)防和控制機(jī)房動(dòng)力系統(tǒng)故障事件及其造成的損害和影響，確保公司機(jī)房動(dòng)力系統(tǒng)的安全運(yùn)行。預(yù)防與預(yù)警方式運(yùn)維人員對機(jī)房狀況進(jìn)行監(jiān)測；電力人員對機(jī)房電力運(yùn)行狀態(tài)監(jiān)控預(yù)警；機(jī)房監(jiān)控系統(tǒng)短信報(bào)警或監(jiān)控值班人員電話報(bào)警預(yù)防與預(yù)警階段流程預(yù)防與預(yù)警階段流程圖見附件2。應(yīng)急響應(yīng)與處置信息報(bào)告經(jīng)過預(yù)警階段之后，現(xiàn)場監(jiān)測人員按照事件安全等級標(biāo)準(zhǔn)對突發(fā)事件進(jìn)行初步判斷后，由網(wǎng)絡(luò)組向調(diào)度組、安全監(jiān)管、部門領(lǐng)導(dǎo)、中心領(lǐng)導(dǎo)以口頭和突發(fā)事件應(yīng)急報(bào)告表形式進(jìn)行匯報(bào)。突發(fā)事件應(yīng)急報(bào)告表格式見附件3：機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案啟動(dòng)條件根據(jù)《公司網(wǎng)絡(luò)與信息安全應(yīng)急預(yù)案》的要求，啟動(dòng)本處置方案，有關(guān)網(wǎng)絡(luò)架構(gòu)拓?fù)湟姼郊??，F(xiàn)場應(yīng)急處置程序突發(fā)事件發(fā)生后的組織措施：針對現(xiàn)場可能發(fā)生的具體突發(fā)事件及現(xiàn)場情況，組織人員進(jìn)行事故報(bào)警，開展現(xiàn)場搶險(xiǎn)和救護(hù)，引導(dǎo)維護(hù)現(xiàn)場秩序和安全，與外界或上級單位的呼救聯(lián)系等各項(xiàng)應(yīng)對措施、步驟和程序等。針對機(jī)房基礎(chǔ)設(shè)施故障這一場景，現(xiàn)場應(yīng)急處置程序可分為兩個(gè)階段：識別與恢復(fù)階段?？偨Y(jié)與改進(jìn)階段。識別與恢復(fù)階段發(fā)現(xiàn)由于xxx公司信息機(jī)房出現(xiàn)電源故障，導(dǎo)致機(jī)房內(nèi)所有精密空調(diào)停運(yùn)，機(jī)房溫度升高，使機(jī)房內(nèi)設(shè)備受影響，應(yīng)需馬上啟動(dòng)UPS供電，優(yōu)先恢復(fù)業(yè)務(wù)，再?zèng)Q定下一步需要采取的行動(dòng)，進(jìn)入應(yīng)急流程的第二階段：恢復(fù)階段。識別與恢復(fù)的技術(shù)手段供電停止后，應(yīng)可自動(dòng)切換至后備電。如外部供電異常導(dǎo)致的停電，立即作為本應(yīng)急預(yù)案的啟動(dòng)條件1；如外部供電正常，且經(jīng)過常用解決辦法不能恢復(fù)供電，判定為電源接入、自動(dòng)開關(guān)切換器或其他暫時(shí)無法解決的故障，作為本應(yīng)急預(yù)案的啟動(dòng)條件2?？焖倥挪楣┡潆姽收宵c(diǎn)并進(jìn)行修復(fù)，減少機(jī)房動(dòng)力環(huán)境影響設(shè)備乃至應(yīng)用的情況。在UPS可支持時(shí)間內(nèi)，按照設(shè)備重要性分級制，緊急進(jìn)行機(jī)房內(nèi)各設(shè)備的關(guān)機(jī)，可最大限度保證設(shè)備的正常運(yùn)行，避免設(shè)備的突發(fā)停機(jī)或因溫度過高造成硬件損壞，同時(shí)盡可能保障重點(diǎn)設(shè)備的運(yùn)行。在恢復(fù)供電，通過測試后，能使設(shè)備正常運(yùn)行。啟動(dòng)條件一：通過機(jī)房監(jiān)控系統(tǒng)短信報(bào)警或監(jiān)控值班人員電話報(bào)警，從發(fā)現(xiàn)供電異常到判定符合預(yù)案啟動(dòng)條件為5分鐘；//通過什么途徑獲知通過與大樓工程部值班人員溝通以及自檢機(jī)房內(nèi)供配電情況，判斷為機(jī)房外部供電故障，要求外部供電負(fù)責(zé)人盡快進(jìn)行排查處理故障，用時(shí)約10分鐘；//報(bào)送調(diào)度，內(nèi)容包括影響范圍、預(yù)估恢復(fù)時(shí)間、故障情況。如確定無法20分鐘內(nèi)恢復(fù)供電，則需通知調(diào)度、平臺、網(wǎng)絡(luò)等進(jìn)行關(guān)閉服務(wù)器、網(wǎng)絡(luò)設(shè)備等在運(yùn)行設(shè)備的緊急工作，避免因供電突斷導(dǎo)致的設(shè)備故障。機(jī)房管理員評估停電影響范圍，向調(diào)度值班人員報(bào)告故障影響范圍、預(yù)估恢復(fù)時(shí)間、需協(xié)調(diào)工作等，由調(diào)度向相關(guān)領(lǐng)導(dǎo)、安全監(jiān)管、客服進(jìn)行報(bào)告后，得到關(guān)機(jī)指令后設(shè)備管理員按照設(shè)備重要性分級對設(shè)備進(jìn)行緊急關(guān)機(jī)操作，減少機(jī)房負(fù)載和發(fā)熱量，同時(shí)通過風(fēng)扇吹風(fēng)、移動(dòng)空調(diào)制冷等一系列應(yīng)急措施，增強(qiáng)通風(fēng)，使關(guān)鍵設(shè)備可以得到更長的運(yùn)行時(shí)間，用時(shí)60分鐘；等待外部供電恢復(fù)；恢復(fù)正常后由各設(shè)備/系統(tǒng)管理員負(fù)責(zé)開啟應(yīng)用系統(tǒng)、服務(wù)器、網(wǎng)絡(luò)設(shè)備、機(jī)房監(jiān)控設(shè)備等，開啟重要設(shè)備時(shí)間約為60分鐘，完全開啟設(shè)備時(shí)間約為300分鐘；總處理時(shí)間為375分鐘。由于故障涉及外部供電，不含供配電修復(fù)時(shí)間。啟動(dòng)條件二：通過機(jī)房監(jiān)控系統(tǒng)短信報(bào)警或監(jiān)控值班人員電話報(bào)警，從發(fā)現(xiàn)供電異常到判定符合預(yù)案啟動(dòng)條件為5分鐘；通過與大樓工程部值班人員溝通以及自檢機(jī)房內(nèi)供配電情況，發(fā)現(xiàn)外部供電正常，機(jī)房內(nèi)供電異常，判斷為機(jī)房內(nèi)部供配電故障。對機(jī)房的配電系統(tǒng)進(jìn)行詳細(xì)檢查，視情況要求供電、UPS方面的廠家工程師通過電話遠(yuǎn)程技術(shù)支持排障或現(xiàn)場技術(shù)支持；機(jī)房供配電修復(fù)時(shí)間約為10分鐘-60分鐘如確定無法20分鐘內(nèi)恢復(fù)供電，則需通知調(diào)度、平臺、網(wǎng)絡(luò)等進(jìn)行關(guān)閉服務(wù)器、網(wǎng)絡(luò)設(shè)備等在運(yùn)行設(shè)備的緊急工作，避免因供電突斷導(dǎo)致的設(shè)備故障。機(jī)房管理員評估停電影響范圍，向調(diào)度值班人員報(bào)告故障影響范圍、預(yù)估恢復(fù)時(shí)間、需協(xié)調(diào)工作等，由調(diào)度向相關(guān)領(lǐng)導(dǎo)、安全監(jiān)管、客服進(jìn)行報(bào)告后，得到關(guān)機(jī)指令后設(shè)備管理員按照設(shè)備重要性分級對設(shè)備進(jìn)行緊急關(guān)機(jī)操作，減少機(jī)房負(fù)載和發(fā)熱量，同時(shí)通過風(fēng)扇吹風(fēng)、移動(dòng)空調(diào)制冷等一系列應(yīng)急措施，增強(qiáng)通風(fēng)，使關(guān)鍵設(shè)備可以得到更長的運(yùn)行時(shí)間，用時(shí)60分鐘；等待外部供電恢復(fù)；恢復(fù)正常后由各設(shè)備/系統(tǒng)管理員負(fù)責(zé)開啟應(yīng)用系統(tǒng)、服務(wù)器、網(wǎng)絡(luò)設(shè)備、機(jī)房監(jiān)控設(shè)備等，開啟重要設(shè)備時(shí)間約為60分鐘，完全開啟設(shè)備時(shí)間約為300分鐘；總處理時(shí)間約為425分鐘。識別與恢復(fù)流程識別與恢復(fù)階段流程圖見附件2?？偨Y(jié)與改進(jìn)階段總結(jié)與改進(jìn)階段流程總結(jié)與改進(jìn)階段流程圖見附件2。文檔記錄應(yīng)形成正式的故障處理文檔報(bào)告，詳細(xì)描述應(yīng)急響應(yīng)的整個(gè)操作。一方面為下一階段的應(yīng)急處理工作提供依據(jù)；另一方面，為以后的審查、統(tǒng)計(jì)與總結(jié)、改進(jìn)提供必要的支撐。本階段應(yīng)完成《信息安全事件應(yīng)急響應(yīng)結(jié)果報(bào)告表》具體格式見附件5。應(yīng)急人員組成與責(zé)任劃分3.4.1應(yīng)急人員組成根據(jù)《xxxx公司網(wǎng)絡(luò)與信息安全應(yīng)急預(yù)案》的要求，應(yīng)急組織機(jī)構(gòu)人員由以下人員組成：中心領(lǐng)導(dǎo)、安運(yùn)部領(lǐng)導(dǎo)、安全監(jiān)管人員、呼叫中心人員、調(diào)度組人員、平臺組人員、網(wǎng)絡(luò)組人員。具體聯(lián)系方式見附件6。3.4.2應(yīng)急人員職責(zé)呼叫中心主要職責(zé)：接收客戶報(bào)障，電話和郵件通告調(diào)度組人員；通知客戶業(yè)務(wù)恢復(fù)及應(yīng)用測試等。調(diào)度組主要職責(zé)：接收客戶報(bào)障與呼叫中心報(bào)障信息，電話及郵件通知網(wǎng)絡(luò)組；通知客戶與呼叫中心業(yè)務(wù)恢復(fù)及應(yīng)用測試等；跟進(jìn)故障處理及協(xié)調(diào)和指揮相關(guān)運(yùn)維作業(yè)單位處理故障；負(fù)責(zé)向安全監(jiān)管、部門領(lǐng)導(dǎo)、中心領(lǐng)導(dǎo)匯報(bào)。安全監(jiān)管主要職責(zé)：負(fù)責(zé)向中心領(lǐng)導(dǎo)匯報(bào)，負(fù)責(zé)故障處置報(bào)告的整理與審核。平臺組主要職責(zé)：負(fù)責(zé)應(yīng)急人員與設(shè)備出入機(jī)房管理，配合設(shè)備上架與跳線等相關(guān)工作。網(wǎng)絡(luò)組主要職責(zé)：接收呼叫中心、調(diào)度組報(bào)障信息，負(fù)責(zé)機(jī)房基礎(chǔ)設(shè)施故障事件調(diào)查、應(yīng)急響應(yīng)和應(yīng)急處置的工作，向呼叫中心、調(diào)度組反饋進(jìn)度信息，負(fù)責(zé)向部門領(lǐng)導(dǎo)匯報(bào)，負(fù)責(zé)故障處置報(bào)告的整理與編寫。注意事項(xiàng)按照預(yù)先做好的設(shè)備重要性分級情況，對設(shè)備進(jìn)行逐一關(guān)機(jī)。如果停電時(shí)間超過UPS的后備時(shí)間，在完全斷電前需確保機(jī)房設(shè)備停止運(yùn)行，并且關(guān)閉電源開關(guān)，避免通電時(shí)瞬間電流過大導(dǎo)致的設(shè)備損壞。報(bào)告領(lǐng)導(dǎo)及通知相關(guān)人員到崗，供電恢復(fù)后及早恢復(fù)原有設(shè)備的正常運(yùn)行。如出現(xiàn)設(shè)備故障，由設(shè)備管理員或廠家到場處理。保留現(xiàn)場，做好停電期間所處理的工作及情況變化的記錄。附則本方案由XXX公司信息中心管理和保存，并進(jìn)行定期或不定期的審查與更新。在下面的幾種情況下，將啟動(dòng)本方案的審查過程：距離上一次方案審查時(shí)間超過1年；在日常工作過程中及方案演練時(shí)發(fā)現(xiàn)本方案存在的問題，并提出相關(guān)的解決建議；XXX公司信息中心總體安全方針進(jìn)行調(diào)整時(shí)；安全業(yè)界中發(fā)現(xiàn)新的、可能造成嚴(yán)重影響的安全事件；其他由XXXX公司信息中心規(guī)定的情況。同時(shí)，本方案的更新將在及時(shí)響應(yīng)、適當(dāng)防護(hù)的原則下進(jìn)行，在成本允許的情況下，及時(shí)的對方案中存在的問題進(jìn)行調(diào)整，適應(yīng)實(shí)際工作的需求；附件現(xiàn)場處置方案包含的主要附件如下：附件1XXX有限責(zé)任公司信息中心機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案體系結(jié)構(gòu)圖XXXX有限責(zé)任公司管理信息系統(tǒng)網(wǎng)絡(luò)與信息安全專項(xiàng)應(yīng)急預(yù)案XXXX有限責(zé)任公司管理信息系統(tǒng)網(wǎng)絡(luò)與信息安全專項(xiàng)應(yīng)急預(yù)案XXX公司網(wǎng)絡(luò)與信息安全應(yīng)急預(yù)案XXX有限責(zé)任公司信息中心機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急現(xiàn)場處置方案附件2處置流程圖附件3突發(fā)事件應(yīng)急報(bào)告表報(bào)告時(shí)間：______年____月____日單位名稱：報(bào)告人：聯(lián)系電話：通訊地址：傳真：電子郵件：發(fā)生事件的系統(tǒng)名稱及用途：負(fù)責(zé)部門：負(fù)責(zé)人：事件簡要描述：初步判定事故的原因：當(dāng)前采取的措施：本次事件的初步影響狀況：事件后果：影響范圍：嚴(yán)重程度：值班電話：傳真：附件4拓?fù)鋱D附件5機(jī)房動(dòng)力系統(tǒng)運(yùn)行環(huán)境附件6信息安全事件應(yīng)急響應(yīng)結(jié)果報(bào)告表信息安全事件應(yīng)急響應(yīng)結(jié)果報(bào)告表原事件報(bào)告時(shí)間：年月日時(shí)分信息系統(tǒng)名稱及用途：已采用的安全措施：信息安全事件的補(bǔ)充描述及最后判定的事故原因：本次信息安全事件的初步影響狀況：事件結(jié)果：影響范圍：嚴(yán)重程度：本次信息安全事件的主要處理過程及結(jié)果：針對此類信息安全事件應(yīng)采取的保障信息系統(tǒng)安全的措施和建議：記錄人：審核人：時(shí)間：

附件7應(yīng)急響應(yīng)聯(lián)絡(luò)表角色歸屬姓名電話職責(zé)信息中心主任負(fù)責(zé)領(lǐng)導(dǎo)機(jī)房基礎(chǔ)設(shè)施故障事件調(diào)查、應(yīng)急響應(yīng)、應(yīng)急處置、總結(jié)應(yīng)急處理經(jīng)驗(yàn)和教訓(xùn)等應(yīng)急過程中的各項(xiàng)工作。部長負(fù)責(zé)機(jī)房基礎(chǔ)設(shè)施故障事件的故障調(diào)查、應(yīng)急響應(yīng)、應(yīng)急處置中有關(guān)應(yīng)用系統(tǒng)的工作。主管負(fù)責(zé)落實(shí)機(jī)房基礎(chǔ)設(shè)施故障事件的調(diào)查、應(yīng)急響應(yīng)和處置工作，負(fù)責(zé)向上級部門和下屬單位和聯(lián)系溝通工作。網(wǎng)絡(luò)運(yùn)行維護(hù)專責(zé)負(fù)責(zé)協(xié)助主管進(jìn)行機(jī)房基礎(chǔ)設(shè)施故障事件調(diào)查、應(yīng)急響應(yīng)和應(yīng)急處置的工作。系統(tǒng)運(yùn)行維護(hù)專責(zé)負(fù)責(zé)協(xié)助網(wǎng)絡(luò)運(yùn)行維護(hù)專責(zé)進(jìn)行機(jī)房基礎(chǔ)設(shè)施故障事件調(diào)查、應(yīng)急響應(yīng)和應(yīng)急處置的工作。安全監(jiān)管呼叫中心負(fù)責(zé)通告系統(tǒng)故障及用戶反饋調(diào)度組負(fù)責(zé)協(xié)調(diào)各部門人員進(jìn)行應(yīng)急處理平臺組負(fù)責(zé)協(xié)助機(jī)房基礎(chǔ)設(shè)施故障應(yīng)急處置的工作。其它部門聯(lián)系人呼叫中心調(diào)度組外委聯(lián)系人安全維護(hù)商負(fù)責(zé)協(xié)助信息部進(jìn)行機(jī)房基礎(chǔ)設(shè)施故障事件調(diào)查、應(yīng)急響應(yīng)和應(yīng)急處置的工作。安全應(yīng)急服務(wù)商負(fù)責(zé)協(xié)助信息部進(jìn)行機(jī)房基礎(chǔ)設(shè)施故障事件應(yīng)急處置的工作，提供必要安全技術(shù)手段支持。設(shè)備服務(wù)商負(fù)責(zé)提供設(shè)備故障原因分析、故障設(shè)備維護(hù)和更換等工作。附件8技術(shù)措施方案（一事一案）事件機(jī)房動(dòng)力系統(tǒng)電力供應(yīng)中斷負(fù)責(zé)人時(shí)間事件監(jiān)測通過系統(tǒng)監(jiān)測或用戶報(bào)障信息，發(fā)現(xiàn)以下3種現(xiàn)象報(bào)障給網(wǎng)絡(luò)安全組1)機(jī)房內(nèi)所有精密空調(diào)停運(yùn)；調(diào)度組、呼叫中心、運(yùn)維組10分鐘2)機(jī)房溫度升高；3)機(jī)房內(nèi)設(shè)備受影響；識別控制過程描述負(fù)責(zé)人預(yù)計(jì)時(shí)長1、快速識別通過與大樓工程部值班人員溝通以及自檢機(jī)房內(nèi)供配電情況，判斷為機(jī)房外部供電故障還是內(nèi)部供電故障運(yùn)