服務器故障應急響應方案說明

完美.格式.編輯專業(yè).資料.整理服務器故障應急措施方案部門版本編號Ver_1.0日期密級公司內(nèi)部使用文檔信息文檔名稱服務器故障應急措施方案日期版本號更新說明2014-03-14Ver_1.0建立文檔、初始化

方案概述導致服務器出現(xiàn)故障的問題是一個龐大的集合，可以分成很多種導致服務器出現(xiàn)故障的原因，根據(jù)服務器故障出現(xiàn)的狀況進行分類，確定故障屬于哪一個級別，根據(jù)相應的故障級別對故障做對應的處理，確保故障的處理流程是標準化的。如果沒有一套故障處理的標準，工程師只能靠經(jīng)驗去判斷，但是依靠經(jīng)驗判斷并不是不可以，有時候這種處理方式會很高效，但是大多數(shù)這種處理方式都是不太合理的，如果更換了運維工程師，顯然每一個工程師通過經(jīng)驗去判斷故障原因的方式都不盡相同，這樣的差異將會使故障處理事后不能夠得到很好的記錄與存檔，以供其他工程師以后借鑒故障處理案例。故障處理標準化的優(yōu)點：根據(jù)流程可以確定哪些故障應該立即匯報上級，哪些可以自行解決后，再寫故障處理報告匯報上級，這樣做有助于提高故障處理效率。對于工程師經(jīng)驗判斷，可能出現(xiàn)判斷失誤的情況，根據(jù)故障判斷流程，可以不遺漏任何可能的情況對服務器故障進行排除。有時候工程師處理了故障之后只是簡單的做了一下匯報，并沒有一些故障處理過程的記錄，以及故障處理的詳細時間記錄，這樣對需要追溯以前的具體情況的時候就束手無策了。劃分故障等級故障級別故障說明故障處理第一步Ⅰ級（緊急）當系統(tǒng)出現(xiàn)下列相當嚴重的現(xiàn)象時，屬一級故障：系統(tǒng)整體癱瘓，全部操作失去響應；系統(tǒng)崩潰，關鍵硬件或文件系統(tǒng)損壞無法自動修復；發(fā)生間歇性、隨機性、重復性的啟動或應用退出，無法保障公司業(yè)務的正常處理。立即匯報上級Ⅱ級（重要）當系統(tǒng)出現(xiàn)下列比較嚴重的現(xiàn)象時，屬二級故障：關鍵部件（含軟、硬件）停止工作，導致系統(tǒng)降低運行狀態(tài)，客戶業(yè)務受到嚴重影響；系統(tǒng)整體性能嚴重下降，無法自動恢復正常運行狀態(tài)；重要數(shù)據(jù)、參數(shù)和配置信息損壞，無恢復，導致客戶數(shù)據(jù)及業(yè)務記錄嚴重損失；立即匯報上級Ⅲ級（關鍵）當系統(tǒng)出現(xiàn)下列現(xiàn)象時，屬三級故障：部分設備或軟件異常，局部功能受限，系統(tǒng)整體仍可正常工作，對客戶業(yè)務影響不大或存在隱患；關鍵備用設施因故障離線，主用設施仍能正常工作；系統(tǒng)運行指標（例如：I/O效率、CPU效率）受到直接或間接影響，客戶業(yè)務處理緩慢；立即匯報上級Ⅳ級（告警）當系統(tǒng)出現(xiàn)下列情況而不影響客戶業(yè)務時，屬四級故障：不在運行狀態(tài)的線路、端口損壞；出于安全考慮并且是受保護的軟件降級或應用重啟；因存儲空間不足導致的性能下降；系統(tǒng)硬件、軟件產(chǎn)品功能、安裝、或配置方面的支援；業(yè)務仍然可以正常運作，但是服務器報出故障信息的；故障排錯判斷故障分類序列問題種類詳細內(nèi)容一機房網(wǎng)絡故障1、骨干網(wǎng)光纖切割；

2、機房網(wǎng)絡升級；

3、機房網(wǎng)絡設備調(diào)試；

4、機房網(wǎng)絡設備損壞；二政府部門封網(wǎng)1、服務器沒有備案；

2、域名備案存在問題；

3、黑客入侵導致服務器違法行為；

4、違規(guī)代理服務器；

5、服務器轉(zhuǎn)發(fā)違禁網(wǎng)站；

6、服務器放置的網(wǎng)站內(nèi)容不符合當?shù)氐恼ɡㄒ?guī)；三機房鋪助設備故障1、機房空調(diào)故障問題；

2、機房灰塵過多問題；

3、機房電力供應問題；十二不可預知因素1、機房遭遇火災事故；

2、機房遭遇地震事故；服務器出現(xiàn)故障故障應急處理流程服務器出現(xiàn)故障判斷故障級別判斷故障級別匯報上級匯報上級匯報上級Ⅰ級（緊急）Ⅱ級（重要）Ⅲ級（關鍵）Ⅳ級（警告）匯報上級匯報上級匯報上級Ⅰ級（緊急）Ⅱ級（重要）Ⅲ級（關鍵）Ⅳ級（警告）記錄發(fā)生時間記錄發(fā)生時間記錄發(fā)生時間故障排錯流程故障排錯流程記錄發(fā)生時間記錄發(fā)生時間記錄發(fā)生時間記錄發(fā)生時間故障排錯流程故障排錯流程記錄發(fā)生時間故障排錯流程故障排錯流程故障排錯流程故障排錯流程問題處理完成問題處理完成故障處理報告故障處理報告發(fā)送郵件給相關人員發(fā)送郵件給相關人員服務器故障處理完畢服務器故障處理完畢故障排錯流程故障排錯開始故障排錯開始是否有備用服務器判斷故障等級是否屬于Ⅰ級或Ⅱ級是否有備用服務器判斷故障等級是否屬于Ⅰ級或Ⅱ級啟用備用服務器啟用備用服務器是是否否檢查當前故障服務器檢查當前故障服務器執(zhí)行數(shù)據(jù)備份與日志備份的腳本執(zhí)行數(shù)據(jù)備份與日志備份的腳本查看報錯日志，根據(jù)故障分類確定故障范圍，逐條排除查看報錯日志，根據(jù)故障分類確定故障范圍，逐條排除嘗試修復故障，并且驗證是否解決問題 嘗試修復故障，并且驗證是否解決問題否是故障處理完成故障處理完成數(shù)據(jù)與日志備份在進行故障修復的時候，需要對服務器系統(tǒng)以及軟件的配置文件進行修改，這些修改可能造成的風險是很大的，這時保存?zhèn)浞菖渲梦募畔?、應用?shù)據(jù)、系統(tǒng)日志信息會很重要，可以直接通過shell腳本對服務器重要的數(shù)據(jù)進行備份。故障處理報告故障處理報告文件命名規(guī)則文件名前綴故障級別服務器名稱故障類型故障處理報告Ⅰ級—緊急Linux服務器名稱（終端#前面的字符）故障分類—詳細內(nèi)容Ⅱ級—重要Ⅲ級—關鍵Ⅳ級—告警例如：故障處理報告_Ⅰ級—緊急_squid-chendu_系統(tǒng)崩潰故障處理報告內(nèi)容故障發(fā)現(xiàn)時間Xxxx年xx月xx日xx：xx（24小時制）處理完成時間如果處理一次就解決的直接寫：Xxxx年xx月xx日xx：xx（24小時制）如果多次處理后才解決，按下面格式寫：Xxxx年xx月xx日xx：xx（24小時制）Xxxx年xx月xx日