云平臺(tái)服務(wù)器存儲(chǔ)應(yīng)急預(yù)案

云平臺(tái)服務(wù)器存儲(chǔ)應(yīng)急預(yù)案目錄TOC\o"1-5"\h\z目的 3\o"CurrentDocument"適用范圍 3\o"CurrentDocument"規(guī)范內(nèi)容 3\o"CurrentDocument"故障分類 3\o"CurrentDocument"應(yīng)急準(zhǔn)備 3\o"CurrentDocument"具體措施 3\o"CurrentDocument"故障處理規(guī)范 4\o"CurrentDocument"機(jī)房停電 4\o"CurrentDocument"主機(jī)故障 4\o"CurrentDocument"存儲(chǔ)系統(tǒng)故障 4\o"CurrentDocument"云平臺(tái)軟件系統(tǒng)故障 4\o"CurrentDocument"云平臺(tái)管理服務(wù)器故障預(yù)防 5\o"CurrentDocument"云平臺(tái)日常告警故障排除 5\o"CurrentDocument"硬件故障預(yù)防與排除 5\o"CurrentDocument"故障預(yù)防 5\o"CurrentDocument"故障排除 5\o"CurrentDocument"故障處理 6目的為提高云平臺(tái)服務(wù)器、存儲(chǔ)故障處理能力，形成科學(xué)、有效、反應(yīng)迅速的日常管理流程和應(yīng)急處理機(jī)制，確保平臺(tái)的安全和穩(wěn)定運(yùn)行，最大限度地減小故障對(duì)生產(chǎn)的影響，降低業(yè)務(wù)中斷風(fēng)險(xiǎn)，特制定本規(guī)范。適用范圍本規(guī)范適用于提供云計(jì)算虛擬化平臺(tái)服務(wù)的服務(wù)器、存儲(chǔ)管理，應(yīng)對(duì)發(fā)生和可能發(fā)生的故障。規(guī)范內(nèi)容服務(wù)器運(yùn)維和應(yīng)急處理應(yīng)包括風(fēng)險(xiǎn)評(píng)估，檢測(cè)體系和應(yīng)急處理三個(gè)環(huán)節(jié)，合理有效的執(zhí)行控制將防止故障影響擴(kuò)大。故障分類平臺(tái)故障包括服務(wù)器硬件和存儲(chǔ)系統(tǒng)故障；自然災(zāi)害（水、火、電等）造成的物理破壞；人為誤操作造成的損害等。應(yīng)急準(zhǔn)備部門責(zé)任人員明確職責(zé)和管理范圍，根據(jù)實(shí)際情況，安排應(yīng)急值班，確保到崗到人，聯(lián)絡(luò)暢通，處理及時(shí)準(zhǔn)確。具體措施建立安全、可靠、穩(wěn)定運(yùn)行的機(jī)房環(huán)境，防火、防雷電、防水、防靜電、防塵；建立備份電源系統(tǒng)。虛擬化平臺(tái)服務(wù)器應(yīng)采用可靠、穩(wěn)定、兼容性硬件，落實(shí)責(zé)任管理機(jī)制，遵守安全操作規(guī)范；對(duì)虛擬機(jī)和管理服務(wù)器進(jìn)行定時(shí)備份；采用有效的虛擬化監(jiān)控工具，及時(shí)發(fā)現(xiàn)問(wèn)題和日?qǐng)?bào)告。故障處理規(guī)范機(jī)房停電接到停電通知后，相關(guān)人員應(yīng)及時(shí)部署應(yīng)對(duì)具體措施，啟動(dòng)備用電源,保證服務(wù)器正常運(yùn)行。主機(jī)故障平臺(tái)服務(wù)器出現(xiàn)硬件告警需要停機(jī)維護(hù)，服務(wù)器責(zé)任人應(yīng)立即通知相關(guān)人員，將業(yè)務(wù)虛機(jī)遷移到集群中其他服務(wù)器主機(jī)上，再將故障服務(wù)器切換至維護(hù)模式并從HA集群中移除，負(fù)責(zé)陪同硬件廠家現(xiàn)場(chǎng)更換至成功恢復(fù)。若服務(wù)器硬件24小時(shí)內(nèi)無(wú)法恢復(fù)，服務(wù)器責(zé)任人需書(shū)面報(bào)告原因并立即通知業(yè)務(wù)管理人員進(jìn)行數(shù)據(jù)應(yīng)急備份,防止災(zāi)難擴(kuò)大。（3）若虛擬化存儲(chǔ)硬件出現(xiàn)告警，第一目擊人應(yīng)立即通知存儲(chǔ)管理員，并上報(bào)主管領(lǐng)導(dǎo)，存儲(chǔ)管理員應(yīng)在報(bào)告1小時(shí)內(nèi)聯(lián)系廠家到場(chǎng)處理，處理完成后因報(bào)告原因，找到解決方法；并立即對(duì)數(shù)據(jù)做完整性檢查，消除重復(fù)發(fā)生隱患。存儲(chǔ)系統(tǒng)故障（1）做好存儲(chǔ)系統(tǒng)的定時(shí)備份，一旦出現(xiàn)數(shù)據(jù)損壞、丟失，能夠及時(shí)恢復(fù)系統(tǒng)。（2）發(fā)生存儲(chǔ)系統(tǒng)故障后，相關(guān)人員應(yīng)檢查出現(xiàn)故障的原因并盡快排除。（3）如遇系統(tǒng)崩潰，數(shù)據(jù)丟失，應(yīng)啟用備份文件進(jìn)行數(shù)據(jù)恢復(fù)。云平臺(tái)軟件系統(tǒng)故障（1）日常做好虛擬機(jī)的定時(shí)備份和快照，系統(tǒng)崩潰后，能夠及時(shí)恢復(fù)虛擬機(jī)。（2）發(fā)生虛擬機(jī)系統(tǒng)故障后，相關(guān)人員應(yīng)及時(shí)通知業(yè)務(wù)人員檢查出現(xiàn)故障的原因并盡快排除。（3）如遇虛擬機(jī)系統(tǒng)需要啟用備份系統(tǒng)進(jìn)行恢復(fù)時(shí)，應(yīng)在恢復(fù)后和業(yè)務(wù)管理員仔細(xì)檢查業(yè)務(wù)是否恢復(fù)并做好恢復(fù)記錄。云平臺(tái)管理服務(wù)器故障預(yù)防虛擬化服務(wù)器采用群集配置。配套管理軟件對(duì)虛擬數(shù)據(jù)中心管理單元進(jìn)行集中管理，系統(tǒng)平臺(tái)常年24小時(shí)運(yùn)行，每天將產(chǎn)生大量的任務(wù)日志和記錄信息。同時(shí)管理服務(wù)器擔(dān)任了整個(gè)平臺(tái)主機(jī)管理和集中配置的角色，使用率極高。為了安全，應(yīng)定期備份配置數(shù)據(jù)庫(kù)，定期檢查告警日志。云平臺(tái)日常告警故障排除當(dāng)虛擬化平臺(tái)出現(xiàn)告警信息，通過(guò)以下步驟排除：確定故障原因。查看已觸發(fā)的警報(bào)內(nèi)容，確定故障前操作是否是引發(fā)該故障的原因，對(duì)合規(guī)操作引起的告警，進(jìn)行消除。對(duì)提示硬件產(chǎn)生的告警，應(yīng)查看硬件狀態(tài)信息，對(duì)確認(rèn)是硬件的問(wèn)題按硬件維護(hù)預(yù)案處理。對(duì)提示因資源不足或性能引發(fā)的告警，因查看近期性能圖表，找出原因，消除故障提示。對(duì)于無(wú)法判斷的故障，可導(dǎo)出系統(tǒng)日志發(fā)給廠家分析處理。5 硬件故障預(yù)防與排除故障預(yù)防保持雙機(jī)運(yùn)行狀態(tài)正常，單機(jī)出現(xiàn)故障后，及時(shí)對(duì)故障單機(jī)進(jìn)行修復(fù)。故障排除當(dāng)服務(wù)器出現(xiàn)硬件故障，通過(guò)以下步驟排除：（1）確定故障原因。依次查看電源、硬盤、內(nèi)存、主板、處理器等，如條件許可，可使用替換法檢測(cè)各硬件。（2）恢復(fù)固件缺省配置。比如去除第三方廠商備件和非標(biāo)配備件。故障處理（1）硬盤故障處理：當(dāng)硬盤出現(xiàn)黃燈提示預(yù)警時(shí)，應(yīng)先查看硬盤數(shù)據(jù)是否丟失，如數(shù)據(jù)存在應(yīng)先做好數(shù)據(jù)備份，將此服務(wù)器各應(yīng)用迅速轉(zhuǎn)移，然后排查報(bào)警具體原因，如由于錯(cuò)誤操作或硬盤連接不好引起的報(bào)警，可嘗試重啟服務(wù)器，重新插拔硬盤等操作即可解決問(wèn)題。如硬盤損壞，應(yīng)及時(shí)將備用硬盤替換下故障硬盤，使服務(wù)器恢復(fù)正常工作。排查過(guò)程中，如不能正確判斷問(wèn)題原因，不能隨便操作，可向售后服務(wù)咨詢處理。內(nèi)存故障：由于我們的服務(wù)器有多組內(nèi)存，單條內(nèi)存故障時(shí)，會(huì)對(duì)服務(wù)器性能稍有影響，當(dāng)不會(huì)影響整體使用，所以如發(fā)現(xiàn)內(nèi)存條損壞時(shí)，安排時(shí)間將損壞的內(nèi)存條替換掉即可。RAID卡故障：服務(wù)器的RAID卡出現(xiàn)故障時(shí)，系統(tǒng)會(huì)無(wú)法識(shí)別出硬盤，服務(wù)器不能正常使用，所以應(yīng)第一時(shí)間啟動(dòng)備用服務(wù)器。將故障服務(wù)器移出生產(chǎn)網(wǎng)絡(luò)后更換RAID卡，RAID卡通過(guò)硬盤重新讀取RAID配置信息后即可恢復(fù)使用。（4）電源故障：現(xiàn)階段我