商務(wù)分公司生產(chǎn)網(wǎng)絡(luò)切換演練實(shí)施計(jì)劃方案

1、 . . . 商務(wù)公司生產(chǎn)網(wǎng)絡(luò)切換演練商務(wù)公司生產(chǎn)網(wǎng)絡(luò)切換演練實(shí)施方案實(shí)施方案目錄目錄1 1 目的圍目的圍 .5 52 2 演練目標(biāo)目標(biāo) .5 53 3 風(fēng)險(xiǎn)評估風(fēng)險(xiǎn)評估 .5 5 . . . ii / 333.1 分公司網(wǎng)絡(luò)設(shè)備現(xiàn)狀 .53.2 風(fēng)險(xiǎn)可控 .64 4 演練實(shí)施步驟演練實(shí)施步驟 .8 84.1 演練時間與參加人員 .84.1.1 演練前期準(zhǔn)備工作 .84.1.2 實(shí)施時間 .84.1.3 參與人員 .84.1.4 演練完成后續(xù)工作 .94.2 演練場景一：生產(chǎn)網(wǎng)上聯(lián)路由器故障 .94.2.1 上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的線路出現(xiàn)故障 .94.2.1.1 故障現(xiàn)象 .104.2.

2、1.2 故障研判 .104.2.1.3 演練步驟 .114.2.1.4 預(yù)期分析 .124.2.1.5 結(jié)果分析 .124.2.1.6 應(yīng)急處理 .134.2.2 上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備接口模塊出現(xiàn)故障 .134.2.3 上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備出現(xiàn)故障 .134.2.3.1 故障現(xiàn)象 .134.2.3.2 故障研判 .144.2.3.3 演練步驟 .144.2.3.4 預(yù)期分析 .144.2.3.5 結(jié)果分析 .154.2.3.6 應(yīng)急處理 .154.3 演練場景二：交換機(jī)故障 .154.3.1 主交換機(jī)設(shè)備故障 .164.3.1.1 故障現(xiàn)象 .164.3.1.2 故障研

3、判 .174.3.1.3 演練步驟 .174.3.1.4 預(yù)期分析 .184.3.1.5 結(jié)果分析 .184.3.1.6 應(yīng)急處理 .194.4 演練場景三：隔離區(qū)防火墻故障 .204.4.1 防火墻設(shè)備故障 .204.4.1.1 故障現(xiàn)象 .204.4.1.2 故障研判 .214.4.1.3 演練步驟 .224.4.1.4 預(yù)期分析 .224.4.1.5 結(jié)果分析 .224.4.1.6 應(yīng)急處理 .234.4.2 防火墻與、外網(wǎng)交換機(jī)連接線路（端口）故障 .234.5 演練場景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障 .234.5.1 外網(wǎng)路由器和商戶間線路故障 .234.5.1.1 故障現(xiàn)象 .234.

4、5.1.2 故障研判 .234.5.1.3 演練步驟 .244.5.1.4 預(yù)期分析 .244.5.1.5 結(jié)果分析 .244.5.1.6 應(yīng)急處理 .254.5.2 外網(wǎng)路由器設(shè)備故障 .25 . . . iii / 334.6 演練場景五：網(wǎng)控器切換 .254.6.1 主上聯(lián)卡故障 .254.6.1.1 演練步驟 .254.6.1.2 預(yù)期分析 .274.6.1.3 結(jié)果分析 .274.6.1.4 應(yīng)急處理 .274.6.2 主電源故障 .274.6.2.1 演練步驟 .274.6.2.2 預(yù)期分析 .294.6.2.3 結(jié)果分析 .294.6.2.4 應(yīng)急處理 .295 5 附件附件 .

5、2929 . . . 4 / 331目的目的本演練方案旨在驗(yàn)證某分支機(jī)構(gòu)生產(chǎn)系統(tǒng)備份機(jī)制的有效性，提高網(wǎng)絡(luò)維護(hù)和管理水平，提高操作人員的應(yīng)急處理能力。熟悉緊急恢復(fù)的流程和操作方法，最大限度地降低故障對生產(chǎn)造成的影響。2演練演練圍圍本切換演練方案包括分支機(jī)構(gòu)標(biāo)準(zhǔn)架構(gòu)生產(chǎn)網(wǎng)的所有設(shè)備，在網(wǎng)絡(luò)中可能遇到如下的故障：1. 生產(chǎn)網(wǎng)上聯(lián)路由器故障；2. 交換機(jī)故障；3. 隔離區(qū)防火墻故障；4. 生產(chǎn)外網(wǎng)下聯(lián)路由器故障；5. 網(wǎng)控器上聯(lián)卡與電源故障。此次演練將分別對以上故障現(xiàn)象進(jìn)行模擬，目的在于驗(yàn)證發(fā)生該故障對生產(chǎn)系統(tǒng)的影響以、某分公司核心生產(chǎn)系統(tǒng)備份機(jī)制的效果與考驗(yàn)值班人員對此類故障的反應(yīng)和處理能力。3風(fēng)

6、險(xiǎn)評估風(fēng)險(xiǎn)評估3.1 分公司網(wǎng)絡(luò)設(shè)備現(xiàn)狀分公司網(wǎng)絡(luò)設(shè)備現(xiàn)狀分公司網(wǎng)絡(luò)設(shè)備連接如下圖： . . . 5 / 333.2 影響性評估影響性評估如上圖所示，分子公司標(biāo)準(zhǔn)架構(gòu)的網(wǎng)路由器、網(wǎng)交換機(jī)、隔離區(qū)防火墻、外網(wǎng)交換機(jī)、網(wǎng)控器等均采用熱備組成設(shè)級高可用，單臺設(shè)備發(fā)生故障時，業(yè)務(wù)數(shù)據(jù)流將自動切換到備用設(shè)備，生產(chǎn)交易不會出現(xiàn)長時間中斷。分子公司外網(wǎng)路由器用于與合作商戶接入，當(dāng)設(shè)備出現(xiàn)故障時，需要手動將商戶接入線路切換至備用路由器，存在一定時間的生產(chǎn)交易中斷。綜上所述，某分支機(jī)構(gòu)生產(chǎn)系統(tǒng)切換演練將可能會對生產(chǎn)系統(tǒng)交易造成影響，如果以上相關(guān)準(zhǔn)備做好后，風(fēng)險(xiǎn)是可控的。 . . . 6 / 334演練實(shí)施步驟演

7、練實(shí)施步驟4.1 演練時間與參加人員演練時間與參加人員4.1.1 演練前期準(zhǔn)備工作演練前期準(zhǔn)備工作1) 根據(jù)本方案選定應(yīng)急場景，選定演練時間、制定演練細(xì)則；2) 將演練方案上報(bào)總公司技術(shù)管理部評審；3) 方案評審?fù)ㄟ^后，報(bào)備銀聯(lián)當(dāng)?shù)胤止?，并發(fā)函通知商戶；4) 通知維保廠商（強(qiáng)電、網(wǎng)絡(luò)）進(jìn)行推演，并準(zhǔn)備好備件，做好現(xiàn)場支持工作；5) 檢查生產(chǎn)系統(tǒng)的運(yùn)行狀態(tài)，確認(rèn)交易正常，保存網(wǎng)絡(luò)設(shè)備配置。4.1.2 實(shí)施時間實(shí)施時間現(xiàn)設(shè)定實(shí)施日期 2012 年 X 月 X 日為切換演練日，本次實(shí)施從 X 日 0:00 開始，以事先通知的方式進(jìn)行。擬定 X 日 5:00 結(jié)束。4.1.3 參與人員參與人員演練角

8、色工作現(xiàn)場實(shí)施人員復(fù)核人員演練總指揮分支機(jī)構(gòu)現(xiàn)場網(wǎng)絡(luò)崗一總公司網(wǎng)絡(luò)崗二分支機(jī)構(gòu)現(xiàn)場系統(tǒng)崗總公司應(yīng)用崗總公司環(huán)境崗分支機(jī)構(gòu)現(xiàn)場測試崗一分支機(jī)構(gòu)現(xiàn)場測試崗二總公司演練步驟記錄崗分支機(jī)構(gòu)現(xiàn)場支持廠商如宏天分支機(jī)構(gòu)現(xiàn)場 . . . 7 / 334.1.4 演練完成后續(xù)工作演練完成后續(xù)工作1) 記錄演練實(shí)施過程與結(jié)果；2) 系統(tǒng)狀態(tài)檢查與交易測試驗(yàn)證；3) 通知當(dāng)?shù)劂y聯(lián)分公司、總公司與商戶；4) 演練總指揮宣布演練結(jié)束。4.2 演練場景一：演練場景一：生產(chǎn)網(wǎng)上聯(lián)路由器線路或設(shè)備故障生產(chǎn)網(wǎng)上聯(lián)路由器線路或設(shè)備故障4.2.1 上聯(lián)到總公司上聯(lián)到總公司/ /當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的線路出現(xiàn)故障當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的線路出現(xiàn)故障

9、上聯(lián)到當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的路由器有兩臺，為熱備方式。線路目前有兩種方式：專線、Ethernet。當(dāng)上聯(lián)到總公司/銀聯(lián)網(wǎng)絡(luò)是通過主備兩條專線互連時，若主線路發(fā)生故障時，會導(dǎo)致路由切換到備份線路工作. 當(dāng)上聯(lián)到銀聯(lián)網(wǎng)絡(luò)是通過雙絞線（以太網(wǎng)）互連時(一般只有一 . . . 8 / 33條雙絞線與銀聯(lián)設(shè)備互連，沒有備份線路)，若雙絞線發(fā)生故障時，會中斷與銀聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)傳輸，須與時更換新的雙絞線。4.2.1.1 故障現(xiàn)象故障現(xiàn)象監(jiān)控崗位監(jiān)控崗位故障詳細(xì)容故障詳細(xì)容運(yùn)行監(jiān)控崗?fù)ㄟ^ NETCOOL 短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗1） 通過遠(yuǎn)程 telnet 11.172.255

10、.1登陸分公司主路由器，telnet 登錄成功。2） 通過 ping11.172.255.1，ping 成功。3） 通過在總公司下聯(lián)路由器上 ping 直連接口11.131.172.2，ping 不成功。4） 通過在總公司下聯(lián)路由器上 sh ip int brie 顯示該分公司接口為 down down。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL 告警信息如下如果出現(xiàn)紅色告警，并顯示線路類型：電信線路：總公司-XX 分公司 無法 ping 通 線路編號：NA 報(bào)障：,則可能該路由器或線路已經(jīng)出現(xiàn)故障。網(wǎng)絡(luò)運(yùn)行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。4.2.1.2 故障研判故障研判監(jiān)控崗位監(jiān)控

11、崗位故障研判故障研判預(yù)期結(jié)果預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī) netcool 告警界面發(fā)現(xiàn)紅色告警，顯示線路類型：電信線路：總公司-XX分公司 無法 ping通 線路編號：NA 報(bào)障： 網(wǎng)絡(luò)監(jiān)控崗1） 通過遠(yuǎn)程 telnet 登陸故障路由器命令：telnet 11.XX.255.12） 通過 ping 路由器命令：ping 11.XX.255.11） telnet 登錄成功。2） ping 成功。3） ping 失敗。 . . . 9 / 333）通過在總公司下聯(lián)路由器上 ping 直連接口命令：ping 11.131.172.2。4） 通過在總公司下聯(lián)路由器上查看接口狀態(tài) 命令：sh ip

12、 int Serial1/2/0:1 4） 顯示Serial1/2/0:1 is down, line protocol is down。判斷為：分公司生產(chǎn)網(wǎng)上聯(lián)路由器_CNXXRT01001 的通訊線路中斷。4.2.1.3 演練步驟演練步驟首先進(jìn)行到總公司線路的切換演練：其次進(jìn)行到當(dāng)?shù)劂y聯(lián)線路的切換演練：步驟步驟操作容操作容操作崗位操作崗位預(yù)估用時預(yù)估用時第一步在分公司網(wǎng)控器上聯(lián)卡上 ping 銀聯(lián)二代收單平臺應(yīng)用崗第二步登錄分公司網(wǎng)主路由器，在_CNXXRT01001 上，確認(rèn)至當(dāng)?shù)劂y聯(lián)的主線路，并Interface XX shutdown網(wǎng)絡(luò)崗步驟步驟操作容操作容操作崗位操作崗位預(yù)估用時

13、預(yù)估用時第一步登錄分公司新一代，長 ping 分公司網(wǎng)控器上聯(lián)卡應(yīng)用崗第二步登錄分公司網(wǎng)主路由器，在_CNXXRT01001 上，確認(rèn)至總公司的主線路，并_CNXXRT01001#Interface XX shutdown網(wǎng)絡(luò)崗第三步_CNXXRT01001#sh ip interface brief /查看端口情況sh cdp nei /查看是否還有與總公司互連的設(shè)備信息sh ip route /查看是否還有到總公司的相關(guān)路由sh run /查看當(dāng)前路由器配置情況網(wǎng)絡(luò)崗第四步查看中斷切換時間，記錄長 ping 結(jié)果。應(yīng)用崗第五步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是

14、否已經(jīng)切換至備線網(wǎng)絡(luò)崗第六步交易測試應(yīng)用崗第七步登錄分公司網(wǎng)主路由器，在_CNXXRT01001 上，確認(rèn)至總公司的主線路，并_CNXXRT01001#Interface XXNo shutdown網(wǎng)絡(luò)崗第八步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡(luò)崗第九步交易測試應(yīng)用崗 . . . 10 / 33第三步sh ip interface brief /查看端口情況sh cdp nei /查看是否還有與銀聯(lián)互連的設(shè)備信息sh ip route /查看是否還有銀聯(lián)的相關(guān)路由sh run /查看當(dāng)前路由器配置情況網(wǎng)絡(luò)崗第四步查看中斷切換時間，記錄長 ping

15、 結(jié)果。第五步在網(wǎng)交換機(jī)上 traceroute 銀聯(lián)二代收單平臺地址，檢查路由是否已經(jīng)切換至備線網(wǎng)絡(luò)崗第六步交易測試應(yīng)用崗第七步登錄分公司網(wǎng)主路由器，在_CNXXRT01001 上，確認(rèn)至當(dāng)?shù)劂y聯(lián)的主線路，并Interface XXNo shutdown網(wǎng)絡(luò)崗第八步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡(luò)崗第九步交易測試應(yīng)用崗4.2.1.4 預(yù)期分析預(yù)期分析正常情況下，去銀聯(lián)/總公司的路由會通過主線路傳輸數(shù)據(jù)，同時通過 cdp 能看到與總公司/銀聯(lián)的網(wǎng)絡(luò)設(shè)備鄰接關(guān)系，當(dāng)主線路出現(xiàn)故障后，去總公司/銀聯(lián)的路由會切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不

16、會影響交易。 4.2.1.5 結(jié)果分析結(jié)果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟步驟切換延時切換延時丟包數(shù)丟包數(shù)切換后路徑狀態(tài)切換后路徑狀態(tài)路由狀態(tài)路由狀態(tài)備注備注A路由正常切換到總公司主線切至備線B路由正常切換到總公司備線切至主線C路由正常切換到當(dāng)?shù)劂y聯(lián)主線切至備線D路由正常切換到當(dāng)?shù)劂y聯(lián)備線切至主線4.2.1.6 應(yīng)急處理應(yīng)急處理當(dāng)演練過程中出現(xiàn)不符合預(yù)期結(jié)果并造成交易長時間無法恢復(fù) . . . 11 / 33時，啟動回退步驟：步驟步驟操作容操作容操作崗位操作崗位預(yù)估用時預(yù)估用時第一步登錄分公司網(wǎng)主路由器，在_CNXXRT01001 上，確認(rèn)至當(dāng)?shù)劂y聯(lián)的主線路，并Interface

17、 XXNo shutdown網(wǎng)絡(luò)崗第二步在分公司網(wǎng)控器上聯(lián)卡上 ping 銀聯(lián)二代收單平臺應(yīng)用崗第三步sh ip interface brief /查看端口情況sh cdp nei /查看是否還有與銀聯(lián)互連的設(shè)備信息sh ip route /查看是否還有銀聯(lián)的相關(guān)路由sh run /查看當(dāng)前路由器配置情況網(wǎng)絡(luò)崗第四步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗演練的結(jié)果如不符合預(yù)期，填寫下表問題現(xiàn)象問題現(xiàn)象原因分析原因分析解決方法解決方法步驟步驟操作容操作容操作崗位操作崗位預(yù)估用時預(yù)估用時第一步登錄分公司網(wǎng)主路由器，在_CNXXRT

18、01001 上，確認(rèn)至總公司的主線路，并_CNXXRT01001#Interface XXNo shutdown網(wǎng)絡(luò)崗第二步登錄分公司新一代，長 ping 分公司網(wǎng)控器上聯(lián)卡應(yīng)用崗第三步_CNXXRT01001#sh ip interface brief /查看端口情況sh cdp nei /查看是否還有與總公司互連的設(shè)備信息sh ip route /查看是否還有到總公司的相關(guān)路由sh run /查看當(dāng)前路由器配置情況網(wǎng)絡(luò)崗第四步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗 . . . 12 / 334.2.2 上聯(lián)到總公司上聯(lián)到總

19、公司/ /當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備接口模塊出現(xiàn)故障當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備接口模塊出現(xiàn)故障故障現(xiàn)象類似 4.2.1 線路故障，在此不多做描述，演練時可以跳過。4.2.3 上聯(lián)到總公司上聯(lián)到總公司/ /當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備出現(xiàn)故障當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備出現(xiàn)故障如果上聯(lián)主路由器整機(jī)發(fā)生故障，應(yīng)與時聯(lián)系廠商提供備件到現(xiàn)場，設(shè)備到位后，更換新設(shè)備并加電，觀察路由器工作是否正常。4.2.3.1 故障現(xiàn)象故障現(xiàn)象監(jiān)控崗位監(jiān)控崗位故障詳細(xì)容故障詳細(xì)容運(yùn)行監(jiān)控崗?fù)ㄟ^ NETCOOL 短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗1） 通過遠(yuǎn)程 telnet 登陸故障路由器，telnet 登錄失敗。2） 通過

20、 ping 路由器，ping 不通。3） 使用 console 口登陸，登陸失敗。4） 檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL 告警信息如下如果出現(xiàn)紅色告警，并顯示節(jié)點(diǎn)11.XX.255.1無法獲取分公司生產(chǎn)網(wǎng)上聯(lián)路由器信息則可能該路由器已經(jīng)出現(xiàn)故障。網(wǎng)絡(luò)運(yùn)行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。4.2.3.2 故障研判故障研判監(jiān)控崗位監(jiān)控崗位故障研判故障研判預(yù)期結(jié)果預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī) netcool 告警界面（ s:/11.131.249.100:16316/ibm/console） 發(fā)現(xiàn)紅色告警，顯示節(jié)點(diǎn)11.131.25

21、5.1 . . . 13 / 33無法獲取 XX 分公司生產(chǎn)網(wǎng)主路由器信息網(wǎng)絡(luò)監(jiān)控崗1） 通過遠(yuǎn)程 telnet 登陸故障路由器命令：telnet 11.XX.255.12） 通過 ping 路由器命令：ping 11.XX.255.13） 使用控制線連接到路由器標(biāo)識有“console”的端口登陸。4） 檢查路由器狀態(tài)燈，顯示紅色告警或熄滅。SYS/SYS PWR 正常為綠色， ACT 正常為綠色閃動；當(dāng)狀態(tài)燈為黃色或紅色時故障1） telnet 登錄失敗。2） ping 不通。3） console 口登陸失敗，無法顯示信息。4） 路由器狀態(tài)燈顯示紅色告警或熄滅。判斷為：分公司生產(chǎn)網(wǎng)上聯(lián)路由器

22、_CNXXRT01001 宕機(jī)。4.2.3.3 演練步驟演練步驟步驟步驟操作容操作容操作崗位操作崗位預(yù)估用時預(yù)估用時第一步在分公司新一代上 ping 分公司網(wǎng)控器上聯(lián)卡應(yīng)用崗第二步關(guān)閉分公司網(wǎng)主路由器_CNXXRT01001 電源網(wǎng)絡(luò)崗第三步sh ip interface brief /查看端口情況sh cdp nei /查看是否還有與銀聯(lián)互連的設(shè)備信息sh ip route /查看是否還有銀聯(lián)的相關(guān)路由sh run /查看當(dāng)前路由器配置情況網(wǎng)絡(luò)崗第四步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至備線網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗第六步開啟分公司網(wǎng)主路由器_CNXX

23、RT01001 電源網(wǎng)絡(luò)崗第七步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡(luò)崗第八步交易測試應(yīng)用崗4.2.3.4 預(yù)期分析預(yù)期分析正常情況下，去銀聯(lián)/總公司的路由會通過主線路傳輸數(shù)據(jù)，同時通過 cdp 能看到與總公司/銀聯(lián)的網(wǎng)絡(luò)設(shè)備鄰接關(guān)系，當(dāng)設(shè)備出現(xiàn)故障后，去總公司/銀聯(lián)的路由會切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不會影響交易。 4.2.3.5 結(jié)果分析結(jié)果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟步驟切換延時切換延時丟包數(shù)丟包數(shù)切換后路徑狀態(tài)切換后路徑狀態(tài)路由狀態(tài)路由狀態(tài)備注備注 . . . 14 / 33A路由正常切換主路由器切到備路由器B路

24、由正常切換備路由器回切到主路由器4.2.3.6 應(yīng)急處理應(yīng)急處理當(dāng)演練過程中出現(xiàn)不符合預(yù)期結(jié)果并造成交易長時間無法恢復(fù)時，啟動回退步驟：步驟步驟操作容操作容操作崗位操作崗位預(yù)估用時預(yù)估用時第一步開啟分公司網(wǎng)主路由器_CNXXRT01001 電源網(wǎng)絡(luò)崗第二步在分公司新一代上 ping 分公司網(wǎng)控器上聯(lián)卡應(yīng)用崗第三步sh ip interface brief /查看端口情況sh cdp nei /查看是否還有與銀聯(lián)互連的設(shè)備信息sh ip route /查看是否還有銀聯(lián)的相關(guān)路由sh run /查看當(dāng)前路由器配置情況網(wǎng)絡(luò)崗第四步在新一代上 traceroute 分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)

25、切換至主線網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗演練的結(jié)果如不符合預(yù)期，填寫下表問題現(xiàn)象問題現(xiàn)象原因分析原因分析解決方法解決方法4.3 演練場景二：交換機(jī)故障演練場景二：交換機(jī)故障交換機(jī)包括網(wǎng)交換機(jī)和外網(wǎng)交換機(jī)，因?yàn)闊o論是網(wǎng)交換機(jī)故障還是外網(wǎng)交換機(jī)故障都會造成防火墻的 HA 切換，故在此合并為同一類切換演練。下圖為生產(chǎn)網(wǎng)核心交換機(jī)連接圖： . . . 15 / 33下圖為生產(chǎn)外網(wǎng)核心交換機(jī)連接圖：4.3.1 主交換機(jī)設(shè)備故障主交換機(jī)設(shè)備故障首先排除線路的故障，如果確定為備用交換機(jī)設(shè)備整機(jī)出現(xiàn)故障故障，需要將備交換機(jī)上連接的主機(jī)切換到主交換機(jī)相應(yīng)的端口。若確定為主交換機(jī)設(shè)備整機(jī)出現(xiàn)故障，需要將與主交換機(jī)互連

26、的上聯(lián)主路由器以與其他主機(jī)設(shè)備切換到備交換機(jī)相應(yīng)的端口上，并觀察備用交換機(jī)的工作是否正常。4.3.1.1 故障現(xiàn)象故障現(xiàn)象監(jiān)控崗位監(jiān)控崗位故障詳細(xì)容故障詳細(xì)容運(yùn)行監(jiān)控崗?fù)ㄟ^ NETCOOL 短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗1） 通過遠(yuǎn)程 telnet 登陸故障交換機(jī)，telnet 登錄失敗。 . . . 16 / 332） 通過 ping 11.XX.255.3，ping 不通。3） 使用 console 口登陸，登陸失敗。4） 檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL 告警信息如下如果出現(xiàn)紅色告警，并顯示節(jié)點(diǎn)11.XX

27、.255.3無法獲取分公司核心接入交換機(jī)信息則可能該交換機(jī)已經(jīng)出現(xiàn)故障。網(wǎng)絡(luò)運(yùn)行崗：檢查交換機(jī)所有狀態(tài)燈，顯示有紅色告警或熄滅。4.3.1.2 故障研判故障研判監(jiān)控崗位監(jiān)控崗位故障研判故障研判預(yù)期結(jié)果預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī) netcool 告警界面（ s:/11.131.249.100:16316/ibm/console） 發(fā)現(xiàn)紅色告警，顯示節(jié)點(diǎn)11.131.255.3無法獲取 XX 分公司生產(chǎn)網(wǎng)交換機(jī)SW1 的信息網(wǎng)絡(luò)監(jiān)控崗1） 通過遠(yuǎn)程 telnet 登陸故障交換機(jī)命令：telnet 11.XX.255.32） 通過 ping 交換機(jī)命令：ping 11.XX.255.33）

28、使用控制線連接到路由器標(biāo)識有“console”的端口登陸。4） 檢查交換機(jī)狀態(tài)燈，顯示紅色告警或熄滅。SYS/SYS PWR 正常為綠色， ACT 正常為綠色閃動；當(dāng)狀態(tài)燈為黃色或紅色時故障1） telnet 登錄失敗。2） ping 不通。3） console 口登陸失敗，無法顯示信息。4） 交換機(jī)狀態(tài)燈顯示紅色告警或熄滅。判斷為：分公司生產(chǎn)核心接入交換機(jī)_CNXXSW01001 宕機(jī)。4.3.1.3 演練步驟演練步驟步驟步驟操作容操作容操作崗位操作崗位預(yù)估用預(yù)估用時時第一步在分公司新一代上 ping 外網(wǎng)商戶地址和網(wǎng)控器上連卡地址應(yīng)用崗 . . . 17 / 33第二步關(guān)閉分公司網(wǎng)主交換機(jī)

29、_CNXXSW01001 電源：網(wǎng)絡(luò)崗第三步sh ip interface brief 查看端口情況sh vlan 查看是否還有與銀聯(lián)互連的設(shè)備信息sh run 查看當(dāng)前交換機(jī)配置情況sh ip route 查看相關(guān)路由網(wǎng)絡(luò)崗第四步在新一代上 ping 商戶和網(wǎng)控器上聯(lián)卡地址網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗第六步開啟分公司網(wǎng)主交換機(jī)_CNXXSW01001 電源：網(wǎng)絡(luò)崗第七步sh ip interface brief 查看端口情況sh vlan 查看是否還有與銀聯(lián)互連的設(shè)備信息sh run 查看當(dāng)前交換機(jī)配置情況sh ip route 查看相關(guān)路由網(wǎng)絡(luò)崗第八步在新一代上 ping 商戶和網(wǎng)控器上聯(lián)卡

30、地址網(wǎng)絡(luò)崗第九步交易測試應(yīng)用崗4.3.1.4 預(yù)期分析預(yù)期分析對于網(wǎng)核心交換機(jī)，正常情況下，交易在主交換機(jī)上傳輸數(shù)據(jù)，當(dāng)網(wǎng)備交換機(jī)設(shè)備故障時，不會影響交易；當(dāng)網(wǎng)主交換機(jī)設(shè)備出現(xiàn)故障后，HSRP 切換到備交換機(jī)為ACTIVE，也會引起防火墻的 failover 主、備切換，交易也將切換到備交換設(shè)備工作，通過備防火墻、備交換機(jī)的線路傳輸交易數(shù)據(jù)，影響交易時間 40 秒左右。 對于外網(wǎng)核心交換機(jī)，正常情況下，商戶通過外網(wǎng)路由設(shè)備接入進(jìn)行交易，當(dāng)外網(wǎng)交換機(jī)出現(xiàn)故障后，根據(jù)實(shí)際外網(wǎng)連接情況分為兩種： 未進(jìn)行外網(wǎng)改造過的，外網(wǎng)設(shè)備沒有全互聯(lián)的分公司，所有由該路由器接入的單專線商戶交易中斷； 有進(jìn)行過外網(wǎng)改

31、造，外網(wǎng)設(shè)備有全互聯(lián)的分公司，商戶交易 . . . 18 / 33可以切換到備交換機(jī)上，切換時間約在 1040 秒。外網(wǎng)未做全互聯(lián)改造的無需做此切換！外網(wǎng)未做全互聯(lián)改造的無需做此切換！4.3.1.5 結(jié)果分析結(jié)果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟步驟切換延時切換延時丟包數(shù)丟包數(shù)切換后路徑狀態(tài)切換后路徑狀態(tài)路由狀態(tài)路由狀態(tài)備注備注A路由正常切換網(wǎng)主交換機(jī)切到備交換機(jī)B路由正常切換網(wǎng)備交換機(jī)回切到主交換機(jī)C路由正常切換外網(wǎng)主交換機(jī)切到備交換機(jī)D路由正常切換外網(wǎng)備交換機(jī)回切到主交換機(jī)4.3.1.6 應(yīng)急處理應(yīng)急處理當(dāng)演練過程中出現(xiàn)不符合預(yù)期結(jié)果并造成交易長時間無法恢復(fù)時，啟動回退步驟：步

32、驟步驟操作容操作容操作崗位操作崗位預(yù)估用預(yù)估用時時第一步開啟分公司網(wǎng)主交換機(jī)_CNXXSW01001 電源：網(wǎng)絡(luò)崗第二步在分公司新一代上 ping 外網(wǎng)商戶地址和網(wǎng)控器上連卡地址應(yīng)用崗第三步sh ip interface brief 查看端口情況sh vlan 查看是否還有與銀聯(lián)互連的設(shè)備信息sh run 查看當(dāng)前交換機(jī)配置情況sh ip route 查看相關(guān)路由網(wǎng)絡(luò)崗第四步在新一代上 ping 商戶和網(wǎng)控器上聯(lián)卡地址網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗演練的結(jié)果如不符合預(yù)期，填寫下表問題現(xiàn)象問題現(xiàn)象原因分析原因分析 . . . 19 / 33解決方法解決方法4.4 演練場景三：隔離區(qū)防火墻故障演練場景

33、三：隔離區(qū)防火墻故障隔離區(qū)防火墻故障與其應(yīng)急措施：4.4.1 防火墻設(shè)備故障防火墻設(shè)備故障兩臺防火墻以 Failover 方式工作，與、外網(wǎng)交換機(jī)互連。在工作過程中，與主防火墻互連的外網(wǎng)主交換機(jī)的線路（端口）或防火墻的線路（端口）發(fā)生故障時，會引起防火墻主備切換。4.4.1.1 故障現(xiàn)象故障現(xiàn)象監(jiān)控崗位監(jiān)控崗位故障詳細(xì)容故障詳細(xì)容運(yùn)行監(jiān)控崗?fù)ㄟ^ NETCOOL 短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗1） 通過遠(yuǎn)程 telnet 登陸故障防火墻，telnet 登錄失敗 2） 通知分公司同事使用 console 口登陸，登陸失敗。3） 登陸當(dāng)前 active 防火墻，使

34、用 show failover 命令查看 failover 狀態(tài)是否 . . . 20 / 33發(fā)生切換。如發(fā)現(xiàn) This host：Secondary Active，則 failover 已經(jīng)發(fā)生切換。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL 告警信息如下如果出現(xiàn)紅色告警，并顯示無法獲取 XX 分公司防火墻信息則可能該防火墻已經(jīng)出現(xiàn)故障。網(wǎng)絡(luò)運(yùn)行崗：show failover 狀態(tài)圖如下4.4.1.2 故障研判故障研判監(jiān)控崗位監(jiān)控崗位故障研判故障研判預(yù)期結(jié)果預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī) netcool 告警界面（ s:/11.131.249.100:16316/ibm/console） 發(fā)

35、現(xiàn)紅色告警，顯示無法獲取 XX分公司防火墻信 . . . 21 / 33息網(wǎng)絡(luò)監(jiān)控崗1)登陸至故障分公司網(wǎng)交換機(jī) SW1，telnet 10.XX.33.5,登陸成功后使用命令 show failover 查看已經(jīng)發(fā)生切換，備機(jī)已經(jīng)接管成為 Active 狀態(tài)2)telnet 10.XX.33.6 至當(dāng)前備份防火墻，登陸失敗3)通知分公司同事使用 console 線登陸故障防火墻（該防火墻 failover 的 active 燈滅），登陸失敗Failover 已經(jīng)切換至備份防火墻，telnet/console登陸方式都無法登陸判斷為：分公司核心主防火墻_CNXXFW01001 設(shè)備故障。4.4

36、.1.3 演練步驟演練步驟步驟步驟操作容操作容操作崗位操作崗位預(yù)估用預(yù)估用時時第一步在分公司新一代上 ping 外網(wǎng)商戶地址應(yīng)用崗第二步關(guān)閉分公司防火墻_CNXXFWW01001 電源：網(wǎng)絡(luò)崗第三步sh ip 查看接口 IP 地址信息sh int 查看接口狀態(tài)情況sh run 查看 FW 當(dāng)前配置情況sh failover 查看 FW 的 FO 狀況sh conn 查看 FW 的連接數(shù)網(wǎng)絡(luò)崗第四步在新一代上 ping 商戶地址網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗第六步開啟分公司防火墻_CNXXFWW01001 電源：網(wǎng)絡(luò)崗第七步sh ip 查看接口 IP 地址信息sh int 查看接口狀態(tài)情況sh ru

37、n 查看 FW 當(dāng)前配置情況sh failover 查看 FW 的 FO 狀況sh conn 查看 FW 的連接數(shù)網(wǎng)絡(luò)崗第八步在新一代上 ping 商戶地址網(wǎng)絡(luò)崗4.4.1.4 預(yù)期分析預(yù)期分析正常情況下，穿越防火墻進(jìn)行交易的流量會通過主墻傳輸數(shù)據(jù)，同時通過 sh conn acount 能看到主、備防火墻設(shè)備連接數(shù)的差異（主墻連接數(shù)多于備墻），當(dāng)與主墻互聯(lián)的、外網(wǎng)交換機(jī)線路出現(xiàn)故障后，防火墻的 failover 會切換到備墻上工作，穿越防火墻的交易流量會切換到備防火墻進(jìn)行工作，通過備墻的線路傳輸交易數(shù)據(jù)， . . . 22 / 33交易中斷時間在約在 3045 秒。 4.4.1.5 結(jié)果分析

38、結(jié)果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟步驟切換延時切換延時丟包數(shù)丟包數(shù)切換后路徑狀態(tài)切換后路徑狀態(tài)路由狀態(tài)路由狀態(tài)備注備注A路由正常切換主防火墻切到備防火墻B路由正常切換備防火墻回切到防火墻4.4.1.6 應(yīng)急處理應(yīng)急處理當(dāng)演練過程中出現(xiàn)不符合預(yù)期結(jié)果并造成交易長時間無法恢復(fù)時，啟動回退步驟：步驟步驟操作容操作容操作崗位操作崗位預(yù)估用預(yù)估用時時第一步開啟分公司防火墻_CNXXFWW01001 電源：網(wǎng)絡(luò)崗第二步在分公司新一代上 ping 外網(wǎng)商戶地址應(yīng)用崗第三步sh ip 查看接口 IP 地址信息sh int 查看接口狀態(tài)情況sh run 查看 FW 當(dāng)前配置情況sh failov

39、er 查看 FW 的 FO 狀況sh conn 查看 FW 的連接數(shù)網(wǎng)絡(luò)崗第四步交易測試應(yīng)用崗演練的結(jié)果如不符合預(yù)期，填寫下表問題現(xiàn)象問題現(xiàn)象原因分析原因分析解決方法解決方法4.4.2 防火墻與、外網(wǎng)交換機(jī)連接線路（端口）故障防火墻與、外網(wǎng)交換機(jī)連接線路（端口）故障此情景和 4.4.1 防火墻設(shè)備故障類似。 . . . 23 / 334.5 演練場景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障演練場景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障4.5.1 外網(wǎng)路由器和商戶間線路故障外網(wǎng)路由器和商戶間線路故障對于有商戶雙線接入的分公司（如沃爾瑪、寧易購等）進(jìn)行如下對于有商戶雙線接入的分公司（如沃爾瑪、寧易購等）進(jìn)行如下切換，對于沒

40、有任何雙線路接入商戶的分公司此步驟跳過切換，對于沒有任何雙線路接入商戶的分公司此步驟跳過!4.5.1.1 故障現(xiàn)象故障現(xiàn)象監(jiān)控崗位監(jiān)控崗位故障詳細(xì)容故障詳細(xì)容運(yùn)行監(jiān)控崗網(wǎng)管平臺顯示分 XXX 分公司生產(chǎn)外網(wǎng) XXX 商戶無法 PING 通系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗1、通過遠(yuǎn)程 telnet 登陸商戶接入路由器，PING 商戶互聯(lián)線路對端 IP 地址，PING 失敗。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL 告警信息如下如果出現(xiàn)紅色告警，并顯示無法 PING 通 XXXX 分公司 XXXX 商戶地址。4.5.1.2 故障研判故障研判監(jiān)控崗位監(jiān)控崗位故障研判故障研判預(yù)期結(jié)果預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī)

41、 netcool 告警界面（ s:/11.131.249.100:16316/ibm/console）顯示分 XXX 分公司生產(chǎn)外網(wǎng) XXX 商戶無法 PING 通 不同網(wǎng)絡(luò)監(jiān)控崗1） 通過 ping 路由器命令：ping 11.XX.255.2） 通過 ping 路由器直連商戶對端命令：ping 11.XX.255.71） 正常2） 不通判斷為：分公司網(wǎng)絡(luò)區(qū)下聯(lián)路由器_CNXXRT01003 連接商戶通訊線路中斷。4.5.1.3 演練步驟演練步驟步驟步驟操作容操作容操作崗位操作崗位預(yù)估用時預(yù)估用時第一步在分公司新一代上 ping 商戶地址應(yīng)用崗 . . . 24 / 33第二步Shut 外網(wǎng)

42、主路由器連商戶的接口。網(wǎng)絡(luò)崗第三步sh ip interface brief /查看端口情況sh ip route /查看相關(guān)路由網(wǎng)絡(luò)崗第四步在分公司新一代上 ping 商戶地址網(wǎng)絡(luò)崗第五步交易測試應(yīng)用崗第六步No Shut 外網(wǎng)主路由器連商戶的接口。網(wǎng)絡(luò)崗第七步sh ip interface brief /查看端口情況sh ip route /查看相關(guān)路由網(wǎng)絡(luò)崗第八步在分公司新一代上 ping 商戶地址網(wǎng)絡(luò)崗第九步交易測試應(yīng)用崗4.5.1.4 預(yù)期分析預(yù)期分析正常情況下，商戶由外網(wǎng)路由器接入銀商網(wǎng)絡(luò)進(jìn)行交易路由，當(dāng)外網(wǎng)路由器設(shè)備故障時，所有與該路由器設(shè)備連接的單線路商戶，交易中斷。 4.5.

43、1.5 結(jié)果分析結(jié)果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟步驟切換延時切換延時丟包數(shù)丟包數(shù)切換后路徑狀態(tài)切換后路徑狀態(tài)路由狀態(tài)路由狀態(tài)備注備注A路由正常切換B路由正常切換4.5.1.6 應(yīng)急處理應(yīng)急處理4.5.2 外網(wǎng)路由器設(shè)備故障外網(wǎng)路由器設(shè)備故障 該故障的演練方式類似 4.5.1 外網(wǎng)路由器和商戶間線路故障，在此不作累述。只演練上面接口級的線路故障即可。4.6 演練場景五：網(wǎng)控器切換演練場景五：網(wǎng)控器切換4.6.1 主上聯(lián)卡故障主上聯(lián)卡故障對于網(wǎng)控器有雙上聯(lián)的分公司進(jìn)行如下切換，只有單上聯(lián)卡的網(wǎng)對于網(wǎng)控器有雙上聯(lián)的分公司進(jìn)行如下切換，只有單上聯(lián)卡的網(wǎng)控器跳過此步驟控器跳過此步驟!

44、! . . . 25 / 334.6.1.1 故障現(xiàn)象故障現(xiàn)象監(jiān)控崗位監(jiān)控崗位故障詳細(xì)容故障詳細(xì)容運(yùn)行監(jiān)控崗網(wǎng)管 PING 臺顯示 XXX 分公司網(wǎng)控上聯(lián)卡無法 PING 通系統(tǒng)監(jiān)控崗網(wǎng)絡(luò)監(jiān)控崗登陸分公司網(wǎng)交換機(jī)，無法 PING 通分公司網(wǎng)控上聯(lián)卡 IP 地址。應(yīng)用支持崗運(yùn)行監(jiān)控崗：NETCOOL 告警信息如下如果出現(xiàn)紅色告警，并顯示無法 PING 通 XXXX 分公司網(wǎng)控上聯(lián)卡 IP 地址。4.6.1.2 故障研判故障研判監(jiān)控崗位監(jiān)控崗位故障研判故障研判預(yù)期結(jié)果預(yù)期結(jié)果運(yùn)行監(jiān)控崗查看總公司監(jiān)控機(jī) netcool 告警界面（ s:/11.131.249.100:16316/ibm/console）顯示分 XXX 分公司上聯(lián)卡無法 PING 通不通網(wǎng)絡(luò)監(jiān)控崗?fù)ㄟ^ ping 分公司 NAC 上聯(lián)卡命令：ping 11.XX.4.X不通判斷為：分公司網(wǎng)絡(luò)區(qū)下聯(lián)路由器_CNXXRT01003 連接商戶通訊