服務(wù)器故障應(yīng)急響應(yīng)方案

深圳市百米生活電子商務(wù)有限公司服務(wù)器故障應(yīng)急措施方案部門版本編號(hào)Ver_1.0日期密級(jí)公司內(nèi)部使用文檔信息文檔名稱服務(wù)器故障應(yīng)急措施方案日期版本號(hào)更新說(shuō)明2014-03-14Ver_1.0建立文檔、初始化

方案概述導(dǎo)致服務(wù)器出現(xiàn)故障的問(wèn)題是一個(gè)龐大的集合，可以分成很多種導(dǎo)致服務(wù)器出現(xiàn)故障的原因，根據(jù)服務(wù)器故障出現(xiàn)的狀況進(jìn)行分類，確定故障屬于哪一個(gè)級(jí)別，根據(jù)相應(yīng)的故障級(jí)別對(duì)故障做對(duì)應(yīng)的處理，確保故障的處理流程是標(biāo)準(zhǔn)化的。如果沒(méi)有一套故障處理的標(biāo)準(zhǔn)，工程師只能靠經(jīng)驗(yàn)去判斷，但是依靠經(jīng)驗(yàn)判斷并不是不可以，有時(shí)候這種處理方式會(huì)很高效，但是大多數(shù)這種處理方式都是不太合理的，如果更換了運(yùn)維工程師，顯然每一個(gè)工程師通過(guò)經(jīng)驗(yàn)去判斷故障原因的方式都不盡相同，這樣的差異將會(huì)使故障處理事后不能夠得到很好的記錄與存檔，以供其他工程師以后借鑒故障處理案例。故障處理標(biāo)準(zhǔn)化的優(yōu)點(diǎn)：根據(jù)流程可以確定哪些故障應(yīng)該立即匯報(bào)上級(jí)，哪些可以自行解決后，再寫故障處理報(bào)告匯報(bào)上級(jí)，這樣做有助于提高故障處理效率。對(duì)于工程師經(jīng)驗(yàn)判斷，可能出現(xiàn)判斷失誤的情況，根據(jù)故障判斷流程，可以不遺漏任何可能的情況對(duì)服務(wù)器故障進(jìn)行排除。有時(shí)候工程師處理了故障之后只是簡(jiǎn)單的做了一下匯報(bào)，并沒(méi)有一些故障處理過(guò)程的記錄，以及故障處理的詳細(xì)時(shí)間記錄，這樣對(duì)需要追溯以前的具體情況的時(shí)候就束手無(wú)策了。劃分故障等級(jí)故障級(jí)別故障說(shuō)明故障處理第一步Ⅰ級(jí)（緊急）當(dāng)系統(tǒng)出現(xiàn)下列相當(dāng)嚴(yán)重的現(xiàn)象時(shí)，屬一級(jí)故障：系統(tǒng)整體癱瘓，全部操作失去響應(yīng)；系統(tǒng)崩潰，關(guān)鍵硬件或文件系統(tǒng)損壞無(wú)法自動(dòng)修復(fù)；發(fā)生間歇性、隨機(jī)性、重復(fù)性的啟動(dòng)或應(yīng)用退出，無(wú)法保障公司業(yè)務(wù)的正常處理。立即匯報(bào)上級(jí)十一服務(wù)器受到攻擊1、服務(wù)拒絕攻擊導(dǎo)致系統(tǒng)崩潰，如常見(jiàn)的UDP洪水攻擊等；

2、利用型攻擊導(dǎo)致黑客入侵系統(tǒng)，如特洛伊木馬、口令猜測(cè)等；

3、信息收集型攻擊，如體系結(jié)構(gòu)探測(cè)、DNS域轉(zhuǎn)換等

4、假消息攻擊，如DNS高速緩存污染、偽造電子郵件等十二不可預(yù)知因素1、機(jī)房遭遇火災(zāi)事故；

2、機(jī)房遭遇地震事故；服務(wù)器出現(xiàn)故障故障應(yīng)急處理流程服務(wù)器出現(xiàn)故障判斷故障級(jí)別判斷故障級(jí)別匯報(bào)上級(jí)匯報(bào)上級(jí)匯報(bào)上級(jí)Ⅰ級(jí)（緊急）Ⅱ級(jí)（重要）匯報(bào)上級(jí)匯報(bào)上級(jí)匯報(bào)上級(jí)Ⅰ級(jí)（緊急）Ⅱ級(jí)（重要）Ⅲ級(jí)（關(guān)鍵）Ⅳ級(jí)（警告）記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間故障排錯(cuò)流程故障排錯(cuò)流程記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間故障排錯(cuò)流程故障排錯(cuò)流程記錄發(fā)生時(shí)間故障排錯(cuò)流程故障排錯(cuò)流程故障排錯(cuò)流程故障排錯(cuò)流程問(wèn)題處理完成問(wèn)題處理完成故障處理報(bào)告故障處理報(bào)告發(fā)送郵件給相關(guān)人員發(fā)送郵件給相關(guān)人員服務(wù)器故障處理完畢服務(wù)器故障處理完畢故障排錯(cuò)流程故障排錯(cuò)開(kāi)始故障排錯(cuò)開(kāi)始是否有備用服務(wù)器判斷故障等級(jí)是否屬于Ⅰ級(jí)或Ⅱ級(jí)是否有備用服務(wù)器判斷故障等級(jí)是否屬于Ⅰ級(jí)或Ⅱ級(jí)啟用備用服務(wù)器啟用備用服務(wù)器是是否否檢查當(dāng)前故障服務(wù)器檢查當(dāng)前故障服務(wù)器執(zhí)行數(shù)據(jù)備份與日志備份的腳本執(zhí)行數(shù)據(jù)備份與日志備份的腳本查看報(bào)錯(cuò)日志，根據(jù)故障分類確定故障范圍，逐條排除查看報(bào)錯(cuò)日志，根據(jù)故障分類確定故障范圍，逐條排除嘗試修復(fù)故障，并且驗(yàn)證是否解決問(wèn)題 嘗試修復(fù)故障，并且驗(yàn)證是否解決問(wèn)題否是故障處理完成故障處理完成數(shù)據(jù)與日志備份在進(jìn)行故障修復(fù)的時(shí)候，需要對(duì)服務(wù)器系統(tǒng)以及軟件的配置文件進(jìn)行修改，這些修改可能造成的風(fēng)險(xiǎn)是很大的，這時(shí)保存?zhèn)浞菖渲梦募畔?、?yīng)用數(shù)據(jù)、系統(tǒng)日志信息會(huì)很重要，可以直接通過(guò)shell腳本對(duì)服務(wù)器重要的數(shù)據(jù)進(jìn)行備份。故障處理報(bào)告故障處理報(bào)告文件命名規(guī)則文件名前綴故障級(jí)別服務(wù)器名稱故障類型故障處理報(bào)告Ⅰ級(jí)—緊急Linux服務(wù)器名稱（終端#前面的字符）故障分類—詳細(xì)內(nèi)容Ⅱ級(jí)—重要Ⅲ級(jí)—關(guān)鍵Ⅳ級(jí)—告警例如：故障處理報(bào)告_Ⅰ級(jí)—緊急_squid-chendu_系統(tǒng)崩潰故障處理報(bào)告內(nèi)容故障發(fā)現(xiàn)時(shí)間Xxxx年xx月xx日xx：xx（24小時(shí)制）處理完成時(shí)間如果處理一次就解決的直接寫：Xxxx年xx月xx日xx：xx（24小時(shí)制）如果多次處理后才解決，按下面格式寫：Xxxx年xx月xx日xx：xx（24小時(shí)制）Xxxx年xx月xx日xx：xx（24小時(shí)制）Xxxx年xx月xx日