銀聯(lián)商務(wù)某公司生產(chǎn)網(wǎng)絡(luò)故障應(yīng)急預(yù)案

1、銀聯(lián)商務(wù)分公司生產(chǎn)網(wǎng)絡(luò)切換演練實(shí)施方案PAGE 銀聯(lián)商務(wù)XX公司生產(chǎn)網(wǎng)絡(luò)故障應(yīng)急預(yù)案第1.1版銀聯(lián)商務(wù)網(wǎng)絡(luò)室2012年8月30日 版本控制信息版本日期擬稿和修改說明0.002012-5-23王濤初稿0.012012-5-28戴小飛增加部分細(xì)節(jié)0.022012-6-8王鋒增加網(wǎng)控器故障演練0.032012-6-15王鋒將內(nèi)外網(wǎng)交換機(jī)故障合并為同類故障1.02012/8/7王鋒加入故障現(xiàn)象和故障研判1.12012/8/30孫毅補(bǔ)充部分演練的故障現(xiàn)象和故障研判本文檔中的所有內(nèi)容為銀聯(lián)商務(wù)有限公司的機(jī)密和專屬所有。未經(jīng)銀聯(lián)商務(wù)有限公司的明確書面許可，任何組織或個(gè)人不得以任何目的、任何形式及任何手段復(fù)制

2、或傳播本文檔部分或全部?jī)?nèi)容。目錄 TOC o 1-5 h z HYPERLINK l _Toc332897527 1目的范圍 PAGEREF _Toc332897527 h 5 HYPERLINK l _Toc332897544 2演練目標(biāo) PAGEREF _Toc332897544 h 5 HYPERLINK l _Toc332897545 3風(fēng)險(xiǎn)評(píng)估 PAGEREF _Toc332897545 h 5 HYPERLINK l _Toc332897546 3.1分公司網(wǎng)絡(luò)設(shè)備現(xiàn)狀 PAGEREF _Toc332897546 h 5 HYPERLINK l _Toc332897547 3.2風(fēng)

3、險(xiǎn)可控 PAGEREF _Toc332897547 h 6 HYPERLINK l _Toc332897548 4演練實(shí)施步驟 PAGEREF _Toc332897548 h 8 HYPERLINK l _Toc332897549 4.1演練時(shí)間及參加人員 PAGEREF _Toc332897549 h 8 HYPERLINK l _Toc332897550 演練前期準(zhǔn)備工作 PAGEREF _Toc332897550 h 8 HYPERLINK l _Toc332897551 實(shí)施時(shí)間 PAGEREF _Toc332897551 h 8 HYPERLINK l _Toc332897552 參

4、與人員名單 PAGEREF _Toc332897552 h 8 HYPERLINK l _Toc332897553 演練完成后續(xù)工作 PAGEREF _Toc332897553 h 9 HYPERLINK l _Toc332897560 4.2演練場(chǎng)景一：生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器故障 PAGEREF _Toc332897560 h 9 HYPERLINK l _Toc332897561 上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的線路出現(xiàn)故障 PAGEREF _Toc332897561 h 9 HYPERLINK l _Toc332897562 故障現(xiàn)象 PAGEREF _Toc332897562 h 10 HYP

5、ERLINK l _Toc332897563 故障研判 PAGEREF _Toc332897563 h 10 HYPERLINK l _Toc332897564 演練步驟 PAGEREF _Toc332897564 h 11 HYPERLINK l _Toc332897565 預(yù)期分析 PAGEREF _Toc332897565 h 12 HYPERLINK l _Toc332897566 結(jié)果分析 PAGEREF _Toc332897566 h 12 HYPERLINK l _Toc332897567 應(yīng)急處理 PAGEREF _Toc332897567 h 13 HYPERLINK l _

6、Toc332897568 上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備接口模塊出現(xiàn)故障 PAGEREF _Toc332897568 h 13 HYPERLINK l _Toc332897569 上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備出現(xiàn)故障 PAGEREF _Toc332897569 h 13 HYPERLINK l _Toc332897570 故障現(xiàn)象 PAGEREF _Toc332897570 h 13 HYPERLINK l _Toc332897571 故障研判 PAGEREF _Toc332897571 h 14 HYPERLINK l _Toc332897572 演練步驟 PAGEREF _Toc33

7、2897572 h 14 HYPERLINK l _Toc332897573 預(yù)期分析 PAGEREF _Toc332897573 h 14 HYPERLINK l _Toc332897574 結(jié)果分析 PAGEREF _Toc332897574 h 15 HYPERLINK l _Toc332897575 應(yīng)急處理 PAGEREF _Toc332897575 h 15 HYPERLINK l _Toc332897576 4.3演練場(chǎng)景二：交換機(jī)故障 PAGEREF _Toc332897576 h 15 HYPERLINK l _Toc332897577 主交換機(jī)設(shè)備故障 PAGEREF _T

8、oc332897577 h 16 HYPERLINK l _Toc332897578 故障現(xiàn)象 PAGEREF _Toc332897578 h 16 HYPERLINK l _Toc332897579 故障研判 PAGEREF _Toc332897579 h 17 HYPERLINK l _Toc332897580 演練步驟 PAGEREF _Toc332897580 h 17 HYPERLINK l _Toc332897581 預(yù)期分析 PAGEREF _Toc332897581 h 18 HYPERLINK l _Toc332897582 結(jié)果分析 PAGEREF _Toc33289758

9、2 h 18 HYPERLINK l _Toc332897583 應(yīng)急處理 PAGEREF _Toc332897583 h 19 HYPERLINK l _Toc332897584 4.4演練場(chǎng)景三：隔離區(qū)防火墻故障 PAGEREF _Toc332897584 h 20 HYPERLINK l _Toc332897585 防火墻設(shè)備故障 PAGEREF _Toc332897585 h 20 HYPERLINK l _Toc332897586 故障現(xiàn)象 PAGEREF _Toc332897586 h 20 HYPERLINK l _Toc332897587 故障研判 PAGEREF _Toc33

10、2897587 h 21 HYPERLINK l _Toc332897588 演練步驟 PAGEREF _Toc332897588 h 22 HYPERLINK l _Toc332897589 預(yù)期分析 PAGEREF _Toc332897589 h 22 HYPERLINK l _Toc332897590 結(jié)果分析 PAGEREF _Toc332897590 h 22 HYPERLINK l _Toc332897591 應(yīng)急處理 PAGEREF _Toc332897591 h 23 HYPERLINK l _Toc332897592 防火墻與內(nèi)、外網(wǎng)交換機(jī)連接線路（端口）故障 PAGEREF

11、 _Toc332897592 h 23 HYPERLINK l _Toc332897593 4.5演練場(chǎng)景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障 PAGEREF _Toc332897593 h 23 HYPERLINK l _Toc332897594 外網(wǎng)路由器和商戶間線路故障 PAGEREF _Toc332897594 h 23 HYPERLINK l _Toc332897595 故障現(xiàn)象 PAGEREF _Toc332897595 h 23 HYPERLINK l _Toc332897596 故障研判 PAGEREF _Toc332897596 h 23 HYPERLINK l _Toc3328975

12、97 演練步驟 PAGEREF _Toc332897597 h 24 HYPERLINK l _Toc332897598 預(yù)期分析 PAGEREF _Toc332897598 h 24 HYPERLINK l _Toc332897599 結(jié)果分析 PAGEREF _Toc332897599 h 24 HYPERLINK l _Toc332897600 應(yīng)急處理 PAGEREF _Toc332897600 h 25 HYPERLINK l _Toc332897601 外網(wǎng)路由器設(shè)備故障 PAGEREF _Toc332897601 h 25 HYPERLINK l _Toc332897602 4.

13、6演練場(chǎng)景五：網(wǎng)控器切換 PAGEREF _Toc332897602 h 25 HYPERLINK l _Toc332897603 主上聯(lián)卡故障 PAGEREF _Toc332897603 h 25 HYPERLINK l _Toc332897604 演練步驟 PAGEREF _Toc332897604 h 25 HYPERLINK l _Toc332897605 預(yù)期分析 PAGEREF _Toc332897605 h 27 HYPERLINK l _Toc332897606 結(jié)果分析 PAGEREF _Toc332897606 h 27 HYPERLINK l _Toc332897607

14、應(yīng)急處理 PAGEREF _Toc332897607 h 27 HYPERLINK l _Toc332897608 主電源故障 PAGEREF _Toc332897608 h 27 HYPERLINK l _Toc332897609 演練步驟 PAGEREF _Toc332897609 h 27 HYPERLINK l _Toc332897610 預(yù)期分析 PAGEREF _Toc332897610 h 29 HYPERLINK l _Toc332897611 結(jié)果分析 PAGEREF _Toc332897611 h 29 HYPERLINK l _Toc332897612 應(yīng)急處理 PAGE

15、REF _Toc332897612 h 29 HYPERLINK l _Toc332897613 5附件 PAGEREF _Toc332897613 h 29總則本預(yù)案旨在針對(duì)分子公司生產(chǎn)網(wǎng)絡(luò)出現(xiàn)故障時(shí)，能準(zhǔn)確定位故障原因，針對(duì)故障原因采取有效措施，短時(shí)間內(nèi)排除故障、恢復(fù)交易，最大限度地降低故障對(duì)生產(chǎn)造成的影響。適用范圍本預(yù)案包括分子公司標(biāo)準(zhǔn)架構(gòu)生產(chǎn)網(wǎng)的所有設(shè)備，主要包括： 生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器故障；生產(chǎn)內(nèi)、外網(wǎng)交換機(jī)故障；隔離區(qū)防火墻故障；生產(chǎn)外網(wǎng)下聯(lián)路由器故障；網(wǎng)控器上聯(lián)卡及電源故障。風(fēng)險(xiǎn)評(píng)估分子公司標(biāo)準(zhǔn)架構(gòu)網(wǎng)絡(luò)拓?fù)浞肿庸揪W(wǎng)絡(luò)設(shè)備連接如下圖：影響性評(píng)估如上圖所示，分子公司標(biāo)準(zhǔn)架構(gòu)的內(nèi)網(wǎng)路由

16、器、內(nèi)網(wǎng)交換機(jī)、隔離區(qū)防火墻、外網(wǎng)交換機(jī)、網(wǎng)控器等均采用熱備組成設(shè)級(jí)高可用，單臺(tái)設(shè)備發(fā)生故障時(shí)，業(yè)務(wù)數(shù)據(jù)流將自動(dòng)切換到備用設(shè)備，生產(chǎn)交易不會(huì)出現(xiàn)長(zhǎng)時(shí)間中斷。分子公司外網(wǎng)路由器用于與合作商戶接入，當(dāng)設(shè)備出現(xiàn)故障時(shí)，需要手動(dòng)將商戶接入線路切換至備用路由器，存在一定時(shí)間的生產(chǎn)交易中斷。綜上所述，銀聯(lián)商務(wù)分子公司標(biāo)準(zhǔn)腳骨生產(chǎn)網(wǎng)絡(luò)發(fā)生單臺(tái)設(shè)備故障時(shí)，可能會(huì)對(duì)生產(chǎn)系統(tǒng)交易造成影響，但風(fēng)險(xiǎn)總體是可控的。故障場(chǎng)景應(yīng)急人員本預(yù)案所涉及的應(yīng)急人員包括：崗位名稱人員姓名運(yùn)行監(jiān)控崗系統(tǒng)支持崗網(wǎng)絡(luò)支持崗應(yīng)用支持崗場(chǎng)景一：生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器線路或設(shè)備故障上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的線路出現(xiàn)故障故障現(xiàn)象監(jiān)控崗位故障詳細(xì)內(nèi)容

17、運(yùn)行監(jiān)控崗?fù)ㄟ^NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗?fù)ㄟ^遠(yuǎn)程telnet 登陸分公司主路由器，telnet登錄成功。通過ping，ping成功。通過在總公司下聯(lián)路由器上ping直連接口，ping不成功。通過在總公司下聯(lián)路由器上sh ip int brie 顯示該分公司接口為down down。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示線路類型：電信線路：總公司-XX分公司 無法ping通 線路編號(hào)：NA 報(bào)障電話：80082810000,則可能該路由器或線路已經(jīng)出現(xiàn)故障。網(wǎng)絡(luò)運(yùn)行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄

18、滅。故障研判監(jiān)控崗位故障研判預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī)netcool告警界面（00:16316/ibm/console） 發(fā)現(xiàn)紅色告警，顯示線路類型：電信線路：總公司-XX分公司 無法ping通 線路編號(hào)：NA 報(bào)障電話：80082810000網(wǎng)絡(luò)支持崗?fù)ㄟ^遠(yuǎn)程telnet登陸故障路由器命令：telnet 11.XX.255.1通過ping路由器命令：ping 11.XX.255.1通過在總公司下聯(lián)路由器上ping直連接口命令：ping 。通過在總公司下聯(lián)路由器上查看接口狀態(tài) 命令：sh ip int Serial1/2/0:1 telnet登錄成功。ping成功。ping失敗。顯示S

19、erial1/2/0:1 is down, line protocol is down。判斷為：分公司生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器_CNXXRT01001的通訊線路中斷。故障處理步驟故障處理步驟詳見銀聯(lián)商務(wù)XX公司生產(chǎn)網(wǎng)絡(luò)切換演練實(shí)施方案中對(duì)應(yīng)章節(jié)。預(yù)期分析正常情況下，去銀聯(lián)/總公司的路由會(huì)通過主線路傳輸數(shù)據(jù)，同時(shí)通過cdp能看到與總公司/銀聯(lián)的網(wǎng)絡(luò)設(shè)備鄰接關(guān)系，當(dāng)主線路出現(xiàn)故障后，去總公司/銀聯(lián)的路由會(huì)切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不會(huì)影響交易。 上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備接口模塊出現(xiàn)故障故障現(xiàn)象類似4.2.1線路故障，故障的研判、故障處理步驟等與4.2.1一致，在此不做贅述。上聯(lián)到總公

20、司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備出現(xiàn)故障首先排除線路的故障，如果確定為上聯(lián)路由器設(shè)備整機(jī)出現(xiàn)故障故障，需要關(guān)閉故障路由器上的端口，對(duì)設(shè)備進(jìn)行維修或更換。故障現(xiàn)象監(jiān)控崗位故障詳細(xì)內(nèi)容運(yùn)行監(jiān)控崗?fù)ㄟ^NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗?fù)ㄟ^遠(yuǎn)程telnet登陸故障路由器，telnet登錄失敗。通過ping路由器，ping不通。使用console口登陸，登陸失敗。檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示節(jié)點(diǎn)11.XX.255.1無法獲取分公司生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器信息則可能該路由器已經(jīng)出現(xiàn)故障。網(wǎng)

21、絡(luò)運(yùn)行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。故障研判監(jiān)控崗位故障研判預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī)netcool告警界面（00:16316/ibm/console） 發(fā)現(xiàn)紅色告警，顯示節(jié)點(diǎn)無法獲取XX分公司生產(chǎn)內(nèi)網(wǎng)主路由器信息網(wǎng)絡(luò)支持崗?fù)ㄟ^遠(yuǎn)程telnet登陸故障路由器命令：telnet 11.XX.255.1通過ping路由器命令：ping 11.XX.255.1使用控制線連接到路由器標(biāo)識(shí)有“console”的端口登陸。檢查路由器狀態(tài)燈，顯示紅色告警或熄滅。SYS/SYS PWR 正常為綠色， ACT 正常為綠色閃動(dòng)；當(dāng)狀態(tài)燈為黃色或紅色時(shí)故障telnet登錄失敗。ping不通

22、。console口登陸失敗，無法顯示信息。路由器狀態(tài)燈顯示紅色告警或熄滅。判斷為：分公司生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器_CNXXRT01001宕機(jī)。故障處理步驟故障處理步驟詳見銀聯(lián)商務(wù)XX公司生產(chǎn)網(wǎng)絡(luò)切換演練實(shí)施方案中對(duì)應(yīng)章節(jié)。預(yù)期分析正常情況下，去銀聯(lián)/總公司的路由會(huì)通過主線路傳輸數(shù)據(jù)，同時(shí)通過cdp能看到與總公司/銀聯(lián)的網(wǎng)絡(luò)設(shè)備鄰接關(guān)系，當(dāng)設(shè)備出現(xiàn)故障后，去總公司/銀聯(lián)的路由會(huì)切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不會(huì)影響交易。 場(chǎng)景二：交換機(jī)故障下圖為生產(chǎn)內(nèi)網(wǎng)核心交換機(jī)連接圖：下圖為生產(chǎn)外網(wǎng)核心交換機(jī)連接圖：主交換機(jī)設(shè)備故障首先排除線路的故障，如果確定為備用交換機(jī)設(shè)備整機(jī)出現(xiàn)故障故障，需要將備交換機(jī)

23、上連接的主機(jī)切換到主交換機(jī)相應(yīng)的端口。若確定為主交換機(jī)設(shè)備整機(jī)出現(xiàn)故障，需要將與主交換機(jī)互連的上聯(lián)主路由器以及其他主機(jī)設(shè)備切換到備交換機(jī)相應(yīng)的端口上，并觀察備用交換機(jī)的工作是否正常。故障現(xiàn)象監(jiān)控崗位故障詳細(xì)內(nèi)容運(yùn)行監(jiān)控崗?fù)ㄟ^NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗?fù)ㄟ^遠(yuǎn)程telnet登陸故障交換機(jī)，telnet登錄失敗。通過ping 11.XX.255.3，ping不通。使用console口登陸，登陸失敗。檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示節(jié)點(diǎn)11.XX.255.3無法獲取

24、分公司核心接入交換機(jī)信息則可能該交換機(jī)已經(jīng)出現(xiàn)故障。網(wǎng)絡(luò)運(yùn)行崗：檢查交換機(jī)所有狀態(tài)燈，顯示有紅色告警或熄滅。故障研判監(jiān)控崗位故障研判預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī)netcool告警界面（00:16316/ibm/console） 發(fā)現(xiàn)紅色告警，顯示節(jié)點(diǎn)無法獲取XX分公司生產(chǎn)內(nèi)網(wǎng)交換機(jī)SW1的信息網(wǎng)絡(luò)支持崗?fù)ㄟ^遠(yuǎn)程telnet登陸故障交換機(jī)命令：telnet 11.XX.255.3通過ping交換機(jī)命令：ping 11.XX.255.3使用控制線連接到路由器標(biāo)識(shí)有“console”的端口登陸。檢查交換機(jī)狀態(tài)燈，顯示紅色告警或熄滅。SYS/SYS PWR 正常為綠色， ACT 正常為綠色閃動(dòng)；

25、當(dāng)狀態(tài)燈為黃色或紅色時(shí)故障telnet登錄失敗。ping不通。console口登陸失敗，無法顯示信息。交換機(jī)狀態(tài)燈顯示紅色告警或熄滅。判斷為：分公司生產(chǎn)核心接入交換機(jī)_CNXXSW01001宕機(jī)。故障處理步驟故障處理步驟詳見銀聯(lián)商務(wù)XX公司生產(chǎn)網(wǎng)絡(luò)切換演練實(shí)施方案中對(duì)應(yīng)章節(jié)。預(yù)期分析對(duì)于內(nèi)網(wǎng)核心交換機(jī)，正常情況下，交易在主交換機(jī)上傳輸數(shù)據(jù)，當(dāng)內(nèi)網(wǎng)備交換機(jī)設(shè)備故障時(shí)，不會(huì)影響交易；當(dāng)內(nèi)網(wǎng)主交換機(jī)設(shè)備出現(xiàn)故障后，HSRP切換到備交換機(jī)為ACTIVE，也會(huì)引起防火墻的failover主、備切換，交易也將切換到備交換設(shè)備工作，通過備防火墻、備交換機(jī)的線路傳輸交易數(shù)據(jù)，影響交易時(shí)間40秒左右。 對(duì)于外網(wǎng)

26、核心交換機(jī)，正常情況下，商戶通過外網(wǎng)路由設(shè)備接入進(jìn)行交易，當(dāng)外網(wǎng)交換機(jī)出現(xiàn)故障后，根據(jù)實(shí)際外網(wǎng)連接情況分為兩種：未進(jìn)行外網(wǎng)改造過的，外網(wǎng)設(shè)備沒有全互聯(lián)的分公司，所有由該路由器接入的單專線商戶交易中斷；有進(jìn)行過外網(wǎng)改造，外網(wǎng)設(shè)備有全互聯(lián)的分公司，商戶交易可以切換到備交換機(jī)上，切換時(shí)間約在3040秒。故障場(chǎng)景三：隔離區(qū)防火墻故障防火墻設(shè)備故障兩臺(tái)防火墻以Failover方式工作，與內(nèi)、外網(wǎng)交換機(jī)互連。在工作過程中，與主防火墻互連的內(nèi)外網(wǎng)主交換機(jī)的線路（端口）或防火墻的線路（端口）發(fā)生故障時(shí)，會(huì)引起防火墻主備切換。故障現(xiàn)象故障現(xiàn)象監(jiān)控崗位故障詳細(xì)內(nèi)容運(yùn)行監(jiān)控崗?fù)ㄟ^NETCOOL短信或者監(jiān)控界面中的紅

27、色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗?fù)ㄟ^遠(yuǎn)程telnet登陸故障防火墻，telnet登錄失敗 通知分公司同事使用console口登陸，登陸失敗。登陸當(dāng)前active防火墻，使用show failover命令查看failover狀態(tài)是否發(fā)生切換。如發(fā)現(xiàn)This host：Secondary Active，則failover已經(jīng)發(fā)生切換。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示無法獲取XX分公司防火墻信息則可能該防火墻已經(jīng)出現(xiàn)故障。網(wǎng)絡(luò)運(yùn)行崗：show failover狀態(tài)圖如下故障研判監(jiān)控崗位故障研判預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī)netcool告警界面

28、（00:16316/ibm/console） 發(fā)現(xiàn)紅色告警，顯示無法獲取XX分公司防火墻信息網(wǎng)絡(luò)支持崗登陸至故障分公司內(nèi)網(wǎng)交換機(jī)SW1，telnet 10.XX.33.5,登陸成功后使用命令show failover查看已經(jīng)發(fā)生切換，備機(jī)已經(jīng)接管成為Active狀態(tài)telnet 10.XX.33.6至當(dāng)前備份防火墻，登陸失敗通知分公司同事使用console線登陸故障防火墻（該防火墻failover的active燈滅），登陸失敗Failover已經(jīng)切換至備份防火墻，telnet/console登陸方式都無法登陸判斷為：分公司核心主防火墻_CNXXFW01001設(shè)備故障。故障處理步驟故障處理步驟詳

29、見銀聯(lián)商務(wù)XX公司生產(chǎn)網(wǎng)絡(luò)切換演練實(shí)施方案中對(duì)應(yīng)章節(jié)。防火墻與內(nèi)、外網(wǎng)交換機(jī)連接線路（端口）故障故障現(xiàn)象與4.4.1防火墻設(shè)備故障類似。故障的研判、故障處理步驟等與4.4.1一致，在此不做贅述。故障場(chǎng)景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障外網(wǎng)路由器和商戶間線路故障對(duì)于商戶有主備雙線接入情況下，雙線中單獨(dú)一條線路發(fā)生故障的場(chǎng)景。故障現(xiàn)象監(jiān)控崗位故障詳細(xì)內(nèi)容運(yùn)行監(jiān)控崗網(wǎng)管平臺(tái)顯示分XXX分公司生產(chǎn)外網(wǎng)XXX商戶無法PING通系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗1、通過遠(yuǎn)程telnet登陸商戶接入路由器，PING商戶互聯(lián)線路對(duì)端IP地址，PING失敗。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示無法PING通XXXX分公司XXXX商戶地址。故障研判監(jiān)控崗位故障研判預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī)