機(jī)房服務(wù)器管理應(yīng)急預(yù)案

機(jī)房服務(wù)器管理應(yīng)急預(yù)案目錄695973547一.故障處理流程 22031462867二.應(yīng)急預(yù)案方案 42101385663三.預(yù)防保障措施 8472779479四.應(yīng)急資源配備 8315209653五.廠家聯(lián)系人 8故障處理流程系統(tǒng)故障通報(bào)與應(yīng)急恢復(fù)當(dāng)值班人員發(fā)現(xiàn)系統(tǒng)故障時(shí)，應(yīng)立即采取應(yīng)急措施設(shè)法恢復(fù)故障，并在故障解決后以郵件方式通知技術(shù)中心領(lǐng)導(dǎo)。當(dāng)故障處理需要技術(shù)部門協(xié)作時(shí)，由值班人員及時(shí)通知開(kāi)發(fā)人員。不明確具體協(xié)作人員時(shí)，可直接聯(lián)系技術(shù)開(kāi)發(fā)部經(jīng)理。如果故障30分鐘內(nèi)無(wú)法解決，值班人員應(yīng)以手機(jī)方式通知公司主要領(lǐng)導(dǎo)，并通知系統(tǒng)維護(hù)人員與相關(guān)開(kāi)發(fā)人員到場(chǎng)，一并協(xié)調(diào)盡快解決問(wèn)題。故障恢復(fù)后30分鐘內(nèi)，由值班人員發(fā)出《故障信息單》。通知單內(nèi)容包括故障信息、故障恢復(fù)信息。（恢復(fù)故障指：故障現(xiàn)象得到緩解，系統(tǒng)得到正常運(yùn)行，但不代表引起故障的原因已明確定位，并徹底解決系統(tǒng)故障隱患。故障恢復(fù)后要求進(jìn)行故障分析與故障糾正預(yù)防、徹底解決或減少故障重復(fù)發(fā)生次數(shù)。）系統(tǒng)管理人員在收到《故障信息單》后，及時(shí)將故障情況添加到“故障案例”中，以備日后學(xué)習(xí)總結(jié)。故障分析、糾正、預(yù)防故障恢復(fù)后，不代表故障已徹底解決，不會(huì)再發(fā)生。值班人員、系統(tǒng)管理人員及相關(guān)開(kāi)發(fā)人員,需要對(duì)故障產(chǎn)生的原因進(jìn)行定位，分析，制定徹底糾正、預(yù)防故障的解決方案。在故障恢復(fù)后的3個(gè)工作日內(nèi)，由系統(tǒng)管理人員負(fù)責(zé)編寫(xiě)《系統(tǒng)故障分析報(bào)告》?！断到y(tǒng)故障分析報(bào)告》內(nèi)容要求含蓋故障發(fā)生的時(shí)間、地點(diǎn)、項(xiàng)目名稱、故障描述、處理全過(guò)程、影響面大小、故障級(jí)別、故障審核等各方面信息，編寫(xiě)人員必須認(rèn)真填寫(xiě)，以確保數(shù)據(jù)的準(zhǔn)確性和完整性。若在技術(shù)上有疑問(wèn)，可向技術(shù)處理協(xié)作人員咨詢?！断到y(tǒng)故障分析報(bào)告》要求在故障恢復(fù)后的3個(gè)工作日內(nèi)完成，再發(fā)給技術(shù)中心各領(lǐng)導(dǎo)知曉，并由專門人員將故障及處理過(guò)程錄入知識(shí)庫(kù)，以便于共享工作經(jīng)驗(yàn)，提高故障處理能力與效率。故障若無(wú)法制定或?qū)嵤┘m正預(yù)防措施，技術(shù)部門應(yīng)做詳細(xì)的原因說(shuō)明，同時(shí)跟蹤該故障是否重復(fù)發(fā)生。當(dāng)故障需要進(jìn)行系統(tǒng)升級(jí)方可解決時(shí)，按《程序上線流程》進(jìn)行升級(jí)更新。

故障處理流程應(yīng)急預(yù)案方案應(yīng)急預(yù)案的目的為提高系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性，切實(shí)保障實(shí)網(wǎng)系統(tǒng)的通信質(zhì)量，尤其是在緊急情況下使運(yùn)行維護(hù)人員及時(shí)、準(zhǔn)確地查找、分析和解決出現(xiàn)的問(wèn)題，將用戶損失和影響范圍減至最小，特制定本應(yīng)急處理預(yù)案。緊急情況的定義緊急情況是指系統(tǒng)軟件和硬件發(fā)生重大故障，導(dǎo)致系統(tǒng)業(yè)務(wù)全阻。緊急情況包括：(1)因違章操作、突發(fā)事故造成系統(tǒng)全面中斷，或出現(xiàn)異常，引起大量用戶集中投訴，造成重大經(jīng)濟(jì)損失和不良社會(huì)影響的故障。(2)因發(fā)生社會(huì)安全突發(fā)事件時(shí)的通信保障：大規(guī)模集會(huì)、游行以及恐怖暴力事件等。(3)因舉行重大活動(dòng)時(shí)的通信保障：國(guó)事會(huì)議、大型體育運(yùn)動(dòng)會(huì)、大型展覽、軍事演習(xí)等。(4)重大節(jié)日期間的通信保障，如五一、十一、中秋節(jié)、春節(jié)等。(5)因電信運(yùn)營(yíng)企業(yè)自身運(yùn)營(yíng)事故導(dǎo)致系統(tǒng)發(fā)生重大異?；蛑袛嗲闆r時(shí)的通信保障。(6)上級(jí)領(lǐng)導(dǎo)下達(dá)的重要運(yùn)營(yíng)業(yè)務(wù)保障運(yùn)行正常任務(wù)。故障處理預(yù)案WEB故障故障現(xiàn)象：HYPERLINKweb網(wǎng)頁(yè)提示：無(wú)法打開(kāi)或者轉(zhuǎn)向錯(cuò)誤頁(yè)面HYPERLINKweb網(wǎng)頁(yè)提示：java錯(cuò)誤或tomcat的調(diào)試信息HYPERLINK頁(yè)面打開(kāi)緩慢或無(wú)響應(yīng)處理方法：web網(wǎng)頁(yè)提示：無(wú)法打開(kāi)或者轉(zhuǎn)向錯(cuò)誤頁(yè)面故障的原因檢查方法處理方法1、web服務(wù)器宕機(jī)采用ping命令檢測(cè)服務(wù)器，返回都是“timeout”，且現(xiàn)場(chǎng)確認(rèn)web服務(wù)器宕機(jī)。重起服務(wù)器操作系統(tǒng)。2、局方防火墻問(wèn)題多個(gè)地點(diǎn)均確認(rèn)無(wú)法ping通主機(jī)，但是現(xiàn)場(chǎng)檢查web服務(wù)器操作系統(tǒng)正常聯(lián)系局方人員開(kāi)放端口3、我們系統(tǒng)防火墻問(wèn)題暫時(shí)關(guān)閉防火墻，確認(rèn)無(wú)問(wèn)題后再開(kāi)啟。4、網(wǎng)絡(luò)不暢聯(lián)系機(jī)房維護(hù)人員，要求配合檢查網(wǎng)絡(luò)問(wèn)題。5、tomcat軟件異?？梢哉５顷憌eb服務(wù)器，tomcat進(jìn)程消失或者停止不動(dòng)。進(jìn)入$/tomcat/bin./目錄，重新啟動(dòng)tomcat程序web網(wǎng)頁(yè)提示：java錯(cuò)誤或tomcat的調(diào)試信息故障的原因檢查方法處理方法1、web程序文件錯(cuò)誤通常是程序有錯(cuò)，缺少文件或有未捕捉的異常，需要修改程序聯(lián)系開(kāi)發(fā)人員處理2、tomcat目錄設(shè)置錯(cuò)誤頁(yè)面打開(kāi)很慢故障的原因檢查方法處理方法網(wǎng)絡(luò)不暢Ping服務(wù)器公網(wǎng)地址，看返回的time和ttl值是否比平時(shí)大很多聯(lián)系MDC機(jī)房人員配合檢查網(wǎng)絡(luò)web應(yīng)用的某個(gè)程序文件有錯(cuò)誤，檢查文件的源代碼聯(lián)系開(kāi)發(fā)人員檢查其他故障故障現(xiàn)象：HYPERLINK數(shù)據(jù)庫(kù)無(wú)法連接HYPERLINK服務(wù)器無(wú)法登陸HYPERLINK網(wǎng)絡(luò)故障處理方法：數(shù)據(jù)庫(kù)無(wú)法連接故障的原因檢查方法處理方法1、網(wǎng)絡(luò)不暢登陸系統(tǒng)內(nèi)網(wǎng)一臺(tái)服務(wù)器，用ping命令發(fā)現(xiàn)無(wú)法ping通數(shù)據(jù)庫(kù)服務(wù)器參見(jiàn)本文檔“網(wǎng)絡(luò)故障處理”2、監(jiān)聽(tīng)程序未啟動(dòng)登陸數(shù)據(jù)庫(kù)服務(wù)器，oracle用戶用lsnrctlstatus檢查監(jiān)聽(tīng)程序是否運(yùn)登陸數(shù)據(jù)庫(kù)服務(wù)器#Su-oracle#lsnrtlstop#lsnrtlstart3、數(shù)據(jù)庫(kù)連接數(shù)滿登陸數(shù)據(jù)庫(kù)服務(wù)器，sqlplus時(shí)提示：TNS-12540:TNS:internallimitrestrictionexceededOracle用戶登陸，#ps–ux|greporacle用kill命令殺掉一些oracle10g進(jìn)程（注意不要把oracle后臺(tái)進(jìn)程殺掉）4、個(gè)別進(jìn)程占用資源過(guò)多，導(dǎo)致數(shù)據(jù)庫(kù)失去響應(yīng)Oracle用戶登陸，用ps–ux|greporacle，發(fā)現(xiàn)個(gè)別進(jìn)程占用80%以上cpu和內(nèi)存資源。Oracle用戶登陸，#ps–ux|greporacle查找該進(jìn)程號(hào)根據(jù)系統(tǒng)進(jìn)程號(hào)，查找數(shù)據(jù)庫(kù)的session信息，進(jìn)而確認(rèn)導(dǎo)致資源耗盡的原因，并解決。。5、數(shù)據(jù)庫(kù)RAC集群服務(wù)offline使用crs_stat–t如果服務(wù)有offline的情況，需要重啟故障節(jié)點(diǎn)的集群服務(wù)。Root用戶登錄，停止crs服務(wù)：crsctlstopcrs啟動(dòng)crs服務(wù)：crsctlstartcrs服務(wù)器無(wú)法登陸：故障的原因檢查方法處理方法1、遭到黑客攻擊，運(yùn)行病毒或者木馬程序，占用大量cpu資源，使系統(tǒng)失去響應(yīng)之前日常檢查發(fā)現(xiàn)有可疑ip登陸，檢查事件查看器，有大量試探用戶名、密碼操作拔掉公網(wǎng)網(wǎng)線；重起服務(wù)器；修改用戶密碼進(jìn)行全盤掃描殺毒并安裝補(bǔ)丁。2、硬盤故障，無(wú)法讀寫(xiě)文件重新啟動(dòng)操作系統(tǒng)，出現(xiàn)信息“TRACK0BAD,DISKUNUSABLE“,或“Harddiskdrivefailure”或“Harddrivecontrollerfailure”切換備用服務(wù)器，盡快更換硬盤內(nèi)網(wǎng)網(wǎng)絡(luò)無(wú)法訪問(wèn)：故障的原因檢查方法處理方法1、服務(wù)器宕機(jī)用ping命令檢測(cè)主機(jī)，返回“timeout”，現(xiàn)場(chǎng)觀察服務(wù)器確認(rèn)宕機(jī)重新啟動(dòng)操作系統(tǒng)，啟動(dòng)時(shí)注意啟動(dòng)界面網(wǎng)卡啟動(dòng)是否成功，啟動(dòng)完畢后，觀察網(wǎng)卡狀態(tài)是否綠色。預(yù)防保障措施3.1組建應(yīng)急技術(shù)支持小組建應(yīng)急技術(shù)支持小組，以便在緊急情況發(fā)生時(shí)能迅速到位，及時(shí)指導(dǎo)現(xiàn)場(chǎng)處理各種情況。應(yīng)急小組成員手機(jī)7×24小時(shí)開(kāi)機(jī)。由維護(hù)、研發(fā)、項(xiàng)目管理、工程、測(cè)試等相關(guān)模塊人員成立應(yīng)急小組，進(jìn)行應(yīng)急預(yù)案實(shí)施。3.2建立系統(tǒng)巡檢制度建立每日系統(tǒng)遠(yuǎn)程巡檢制度，每半月現(xiàn)場(chǎng)對(duì)運(yùn)行設(shè)備和備用設(shè)備巡檢；遠(yuǎn)程巡檢的同時(shí)對(duì)服務(wù)器進(jìn)行病毒處理。3.3落實(shí)系統(tǒng)備份工作每日巡檢檢查數(shù)據(jù)庫(kù)備份文件是否正常；定期對(duì)系統(tǒng)的話單數(shù)據(jù)、接口處理數(shù)據(jù)進(jìn)行備份，并將備份數(shù)據(jù)永久保存。3.4檢查系統(tǒng)容量