云平臺服務器存儲應急專項預案

云平臺服務器存放應急預案目錄1 目標 32 適用范圍 33 規(guī)范內容 33.1 故障分類 33.2 應急準備 33.3 具體方法 34 故障處理規(guī)范 44.1 機房停電 44.2 主機故障 44.3 存放系統(tǒng)故障 44.4 云平臺軟件系統(tǒng)故障 44.5 云平臺管理服務器故障預防 54.6 云平臺日常告警故障排除 55 硬件故障預防和排除 55.1 故障預防 55.2 故障排除 55.3 故障處理 6目標為提升云平臺服務器、存放故障處理能力，形成科學、有效、反應快速日常管理步驟和應急處理機制，確保平臺安全和穩(wěn)定運行，最大程度地減小故障對生產影響，降低業(yè)務中止風險，特制訂本規(guī)范。適用范圍本規(guī)范適適用于提供云計算虛擬化平臺服務服務器、存放管理，應對發(fā)生和可能發(fā)生故障。規(guī)范內容服務器運維和應急處理應包含風險評定，檢測體系和應急處理三個步驟，合理有效實施控制將預防故障影響擴大。故障分類平臺故障包含服務器硬件和存放系統(tǒng)故障；自然災難（水、火、電等）造成物理破壞；人為誤操作造成損害等。應急準備部門責任人員明確職責和管理范圍，依據實際情況，安排應急值班，確保到崗到人，聯(lián)絡通暢，處理立即正確。具體方法（1）建立安全、可靠、穩(wěn)定運行機房環(huán)境，防火、防雷電、防水、防靜電、防塵；建立備份電源系統(tǒng)。（2）虛擬化平臺服務器應采取可靠、穩(wěn)定、兼容性硬件，落實責任管理機制，遵守安全操作規(guī)范；對虛擬機和管理服務器進行定時備份；采取有效虛擬化監(jiān)控工具，立即發(fā)覺問題和日匯報。故障處理規(guī)范機房停電接到停電通知后，相關人員應立即布署應對具體方法，開啟備用電源,確保服務器正常運行。主機故障（1）平臺服務器出現硬件告警需要停機維護，服務器責任人應立即通知相關人員，將業(yè)務虛機遷移到集群中其它服務器主機上，再將故障服務器切換至維護模式并從HA集群中移除，負責陪同硬件廠家現場更換至成功恢復。（2）若服務器硬件二十四小時內無法恢復，服務器責任人需書面匯報原因并立即通知業(yè)務管理人員進行數據應急備份,預防災難擴大。（3）若虛擬化存放硬件出現告警，第一目擊人應立即通知存放管理員，并上報主管領導，存放管理員應在匯報1小時內聯(lián)絡廠家到場處理，處理完成后因匯報原因，找四處理方法；并立即對數據做完整性檢驗，消除反復發(fā)生隱患。存放系統(tǒng)故障（1）做好存放系統(tǒng)定時備份，一旦出現數據損壞、丟失，能夠立即恢復系統(tǒng)。（2）發(fā)生存放系統(tǒng)故障后，相關人員應檢驗出現故障原因并立即排除。（3）如遇系統(tǒng)瓦解，數據丟失，應啟用備份文件進行數據恢復。云平臺軟件系統(tǒng)故障（1）日常做好虛擬機定時備份和快照，系統(tǒng)瓦解后，能夠立即恢復虛擬機。（2）發(fā)生虛擬機系統(tǒng)故障后，相關人員應立即通知業(yè)務人員檢驗出現故障原因并立即排除。（3）如遇虛擬機系統(tǒng)需要啟用備份系統(tǒng)進行恢復時，應在恢復后和業(yè)務管理員仔細檢驗業(yè)務是否恢復并做好恢復統(tǒng)計。云平臺管理服務器故障預防虛擬化服務器采取群集配置。配套管理軟件對虛擬數據中心管理單元進行集中管理，系統(tǒng)平臺常年二十四小時運行，天天將產生大量任務日志和統(tǒng)計信息。同時管理服務器擔任了整個平臺主機管理和集中配置角色，使用率極高。為了安全，應定時備份配置數據庫，定時檢驗告警日志。云平臺日常告警故障排除當虛擬化平臺出現告警信息，經過以下步驟排除：確定故障原因。查看已觸發(fā)警報內容，確定故障前操作是否是引發(fā)該故障原因，對合規(guī)操作引發(fā)告警，進行消除。對提醒硬件產生告警，應查看硬件狀態(tài)信息，對確定是硬件問題按硬件維護預案處理。對提醒因資源不足或性能引發(fā)告警，因查看近期性能圖表，找出原因，消除故障提醒。對于無法判定故障，可導出系統(tǒng)日志發(fā)給廠家分析處理。硬件故障預防和排除故障預防保持雙機運行狀態(tài)正常，單機出現故障后，立即對故障單機進行修復。故障排除當服務器出現硬件故障，經過以下步驟排除：（1）確定故障原因。依次查看電源、硬盤、內存、主板、處理器等，如條件許可，可使用替換法檢測各硬件。（2）恢復固件缺省配置。比如去除第三方廠商備件和非標配置件。故障處理（1）硬盤故障處理：當硬盤出現黃燈提醒預警時，應先查看硬盤數據是否丟失，如數據存在應先做好數據備份，將此服務器各應用快速轉移，然后排查報警具體原因，如因為錯誤操作或硬盤連接不好引發(fā)報警，可嘗試重啟服務器，重新插拔硬盤等操作即可處理問題。如硬盤損壞，應立即將備用硬盤替換下故障硬盤，使服務器恢復正常工作。排查過程中，如不能正確判定問題原因，不能隨便操作，可向售后服務咨詢處理。（2）內存故障：因為我們服務器有多組內存，單條內存故障時，會對服務器性能稍有影響，當不會影響整體使用，所以如發(fā)覺內存條損壞時，安排時間將損壞內存條替換掉即可。（3）RAID卡故障：服務器RAID卡出現故障時，系統(tǒng)會無法識別出硬盤，服務器不能正常使用，所以應第一時間開啟備用服務器。將故障服務器移出生產網絡后更換RAID卡，RAID卡經過硬盤重新讀取RAID配置信息后即可恢復使用。（4）電源故障：現階段我們服務器全部是雙電，假如單路電源故障不影響運行，假如長久單路停電運