商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案商務公司生產(chǎn)網(wǎng)絡切換演練實施方案商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案目錄TOC\o"1-5"\h\z目的范圍 5演練目標 5風險評估 5\o"CurrentDocument"分公司網(wǎng)絡設備現(xiàn)狀 532 風險可控 64演練實施步驟 841 演練時間及參加人員 8411 演練前期準備工作 8412 實施時間 8413 參與人員名單 84.1.4 演練完成后續(xù)工作 9\o"CurrentDocument"4.2 演練場景一：生產(chǎn)內網(wǎng)上聯(lián)路由器故障 9421 上聯(lián)到總公司/當?shù)劂y聯(lián)網(wǎng)絡的線路出現(xiàn)故障 9故障現(xiàn)象 10故障研判 10演練步驟 11預期分析 12結果分析 12應急處理 13422 上聯(lián)到總公司/當?shù)劂y聯(lián)網(wǎng)絡的設備接口模塊出現(xiàn)故障 13423 上聯(lián)到總公司/當?shù)劂y聯(lián)網(wǎng)絡的設備出現(xiàn)故障 13故障現(xiàn)象 134232 故障研判 14演練步驟 14預期分析 14結果分析 15應急處理 15\o"CurrentDocument"43 演練場景二：交換機故障 15431 主交換機設備故障 16故障現(xiàn)象 16故障研判 17演練步驟 17預期分析 18結果分析 18應急處理 19\o"CurrentDocument"44 演練場景三：隔離區(qū)防火墻故障 20441 防火墻設備故障 20故障現(xiàn)，象 20故障研判 21演練步驟 22預期分析 22結果分析 22應急處理 23商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案TOC\o"1-5"\h\z4A2 防火墻與內、外網(wǎng)交換機連接線路（端口）故障 23\o"CurrentDocument"演練場景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障 23451 外網(wǎng)路由器和商戶間線路故障 23故障現(xiàn)象 23故障研判 23演練步驟 24預期分析 24結果分析 24應急處理 25452 外網(wǎng)路由器設備故障 25\o"CurrentDocument"演練場景五：網(wǎng)捽器切換 25461 主上聯(lián)卡故障 25演練步驟 25預期分析 27結果分析 27應急處理 27462 主電源故障 27演練步驟 274622 預期分析 29結果分析 29應急處理 295附件 29商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案1目的本演練方案旨在驗證某分支機構生產(chǎn)系統(tǒng)備份機制的有效性提高網(wǎng)絡維護和管理水平，提高操作人員的應急處理能力。熟悉緊急恢復的流程和操作方法，最大限度地降低故障對生產(chǎn)造成的影響。演練范本切換演練方案包括分支機構標準架構生產(chǎn)網(wǎng)的所有設備在網(wǎng)絡中可能遇到如下的故障：.生產(chǎn)內網(wǎng)上聯(lián)路由器故障；.交換機故障；.隔離區(qū)防火墻故障；.生產(chǎn)外網(wǎng)下聯(lián)路由器故障；.網(wǎng)控器上聯(lián)卡及電源故障。此次演練將分別對以上故障現(xiàn)象進行模擬目的在于驗證發(fā)生該故障對生產(chǎn)系統(tǒng)的影響以、某分公司核心生產(chǎn)系統(tǒng)備份機制的效果及考驗值班人員對此類故障的反應和處理能力。3風險評估分公司網(wǎng)絡設備現(xiàn)狀分公司網(wǎng)絡設備連接如下圖：

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案川II“I總部生產(chǎn)外網(wǎng)：;(^KXhllHllll2CNXXS^tlCWlCNVXRmiNIIUIq.14III.toc..13VIed.&IlJjxc.hJVjjnHJIDj^.10.1忱所町LflJKLiVJ-HSHLP.Ivhn4心fmiTVhnli]0.xxkj&.4商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案川II“I總部生產(chǎn)外網(wǎng)：;(^KXhllHllll2CNXXS^tlCWlCNVXRmiNIIUIq.14III.toc..13VIed.&IlJjxc.hJVjjnHJIDj^.10.1忱所町LflJKLiVJ-HSHLP.Ivhn4心fmiTVhnli]0.xxkj&.4YimLDinJUGK.1012VIWajJ0.NX.Sj14IF:IQsu5K51;CWXXFWBIHI-Pk.IHU工IF:I0lw*EJJIMI.tclWHElHQC\KXFWIHil)ll-$HbJlP.I-CKMiWWIHI.lCNXXRT4)a(M3CSXXRTTOIOIMChxxswijniiM分公司網(wǎng)給平臺物理連接圖影響性評估如上圖所示，分子公司標準架構的內網(wǎng)路由器、內網(wǎng)交換機、隔離區(qū)防火墻、外網(wǎng)交換機、網(wǎng)控器等均采用熱備組成設級高可用，單臺設備發(fā)生故障時，業(yè)務數(shù)據(jù)流將自動切換到備用設備，生產(chǎn)交易不會出現(xiàn)長時間中斷。分子公司外網(wǎng)路由器用于與合作商戶接入，當設備出現(xiàn)故障時，需要手動將商戶接入線路切換至備用路由器，存在一定時間的生產(chǎn)交易中斷。綜上所述，某分支機構生產(chǎn)系統(tǒng)切換演練將可能會對生產(chǎn)系統(tǒng)交易造成影響如果以上相關準備做好后，風險是可控的。商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案4演練實施步驟演練時間及參加人員演練前期準備工作1）根據(jù)本方案選定應急場景，選定演練時間、制定演練細則；2）將演練方案上報總公司技術管理部評審；3）方案評審通過后，報備銀聯(lián)當?shù)胤止?，并發(fā)函通知商戶；4）通知維保廠商（強電、網(wǎng)絡）進行推演，并準備好備件，做好現(xiàn)場支持工作；5）檢查生產(chǎn)系統(tǒng)的運行狀態(tài)，確認交易正常，保存網(wǎng)絡設備配置。實施時間現(xiàn)設定實施日期2012年X月X日為切換演練日，本次實施從X日0:00開始，以事先通知的方式進行。擬定X日5:00結束。4.1.3參與人員名單演練角色工作現(xiàn)場實施人員復核人員演練總指揮分支機構現(xiàn)場網(wǎng)絡局一總公司網(wǎng)絡崗二分支機構現(xiàn)場系統(tǒng)崗總公司應用崗總公司環(huán)境崗分支機構現(xiàn)場測試匕分支機構現(xiàn)場測試崗二總公司演練步驟記錄崗分支機構現(xiàn)場支持廠商如宏天分支機構現(xiàn)場4.1.4演練完成后續(xù)工作商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案1）記錄演練實施過程及結果；2）系統(tǒng)狀態(tài)檢查及交易測試驗證；3）通知當?shù)劂y聯(lián)分公司、總公司及商戶；4）演練總指揮宣布演練結束。演練場景一：生產(chǎn)內網(wǎng)上聯(lián)路由器線路或設備故障CNXXRTU1IH)]CNXXSWO]fl?2CNXXRTU1IH)]CNXXSWO]fl?2生產(chǎn)內網(wǎng)上聯(lián)踣由黑故障應急圖示上聯(lián)到總公司/當?shù)劂y聯(lián)網(wǎng)絡的線路出現(xiàn)故障上聯(lián)到當?shù)劂y聯(lián)網(wǎng)絡的路由器有兩臺，為熱備方式。線路目前有兩種方式：專線、Etherneto當上聯(lián)到總公司/銀聯(lián)網(wǎng)絡是通過主備兩條專線互連時，若主線路發(fā)生故障時，會導致路由切換到備份線路工作.當上聯(lián)到銀聯(lián)網(wǎng)絡是通過雙絞線（以太網(wǎng)）互連時（一般只有一條雙絞線與銀聯(lián)設備互連，沒有備份線路），若雙絞線發(fā)生故障時，

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案會中斷與銀聯(lián)網(wǎng)絡的數(shù)據(jù)傳輸，須及時更換新的雙絞線。故障現(xiàn)象監(jiān)控崗位故障詳細內容運行監(jiān)控崗通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡監(jiān)控崗1）通過遠程telnet登陸分公司主路由器，telnet登錄成功。2）通過ping，ping成功。3）通過在總公司下聯(lián)路由器上ping直連接口,ping不成功。4）通過在總公司下聯(lián)路由器上shipintbrie顯示該分公司接口為downdown。應用支持崗運行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示線路類型：電信線路：總公司-XX分公司無法ping通線路編號：NA報障電話：80082810000,則可能該路由器或線路已經(jīng)出現(xiàn)故障。ActiveEventListFileEdit強中“AlertsTookHelp:“11.13L.M鉤.IQQilBlG/ibm/eojuiQlE/.iibtQp/ALLEvenis/,1五節(jié)點最迫發(fā)生福要" 石,［打2Klit；；4-舞之：上也.A.M ?打1力11「1 Eti恪.辛?蜀卜,存學5等^室擊濠h@!、」S+|11用園|?必上宣.不然皂￡患卜,小」由幣11,131255.02 12J29/103:29:12AM1/2&112:...JGRFMPv4m)13*Neighbor11131462(Serially)21)isriesyncroute1172255.62 12J23/1U1J:14O2AM1.加劃口…OSPFNeighborDowri(Neighbor:0)2 12J23/1013:42:23AM1王劃口.03PFNeighborDo>wn(Neighbor:)11SO255.111/26J11232:06AM1/26/11LinkDciwri：down(FasiEiherneO3/3)網(wǎng)絡運行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。故障研判監(jiān)控崗位故障研判預期結果運行監(jiān)控崗查看總公司監(jiān)控機netcool告警界面發(fā)現(xiàn)紅色告警，顯示線路類型：電信線路：總公司-XX分公司無法ping通線路編號：NA報障電話：網(wǎng)絡監(jiān)控崗1）通過遠程telnet登陸故障路由器命令：telnet11.XX.255.12）通過ping路由器命令：ping11.XX.255.13）通過在總公司下聯(lián)路由器上ping直連接口命令：ping。4）通過在總公司下聯(lián)路由器上查看接口狀態(tài)命令：shipintSerial1/2/0:11)telnet登錄成功。ping成功。ping失敗。4)顯示Serial1/2/0:1isdown,lineprotocolis

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案判斷為：分公司生產(chǎn)內網(wǎng)上聯(lián)路由器_CNXXRT01001的通訊線路中斷。演練步驟首先進行到總公司線路的切換演練:步驟操作內容操作崗位預估用時第一步登錄分公司新一代，長ping分公司網(wǎng)控器上聯(lián)卡應用崗第二步登錄分公司內網(wǎng)主路由器，在_CNXXRT01001上，確認至總公司的主線路，并_CNXXRT01001#InterfaceXXshutdown網(wǎng)絡崗第三步_CNXXRT01001#shipinterfacebrief 〃查看端口情況shcdpnei〃查看是否還有與總公司互連的設備信息shiproute〃查看是否還有到總公司的相關路由shrun 〃查看當前路由器配置情況網(wǎng)絡崗第四步查看中斷切換時間，記錄長ping結果。應用崗第五步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至備線網(wǎng)絡崗第八步交易測試應用崗第七步登錄分公司內網(wǎng)主路由器，在_CNXXRT01001上，確認至總公司的主線路，并_CNXXRT01001#InterfaceXXNoshutdown網(wǎng)絡崗第八步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡崗第九步交易測試應用崗其次進行到當?shù)劂y聯(lián)線路的切換演練:步驟操作內容操作崗位預估用時第一步在分公司網(wǎng)控器上聯(lián)卡上ping銀聯(lián)二代收單平臺應用崗第二步登錄分公司內網(wǎng)主路由器，在_CNXXRT01001上，確認至當?shù)劂y聯(lián)的主線路，并InterfaceXXshutdown網(wǎng)絡崗第三步shipinterfacebrief 〃查看端口情況shcdpnei〃查看是否還有與銀聯(lián)互連的設備信息shiproute〃查看是否還有銀聯(lián)的相關路由shrun 〃查看當前路由器配置情況網(wǎng)絡崗

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案第四步查看中斷切換時間，記錄長ping結果。第五步在內網(wǎng)交換機上traceroute銀聯(lián)二代收單平臺地址，檢查路由是否已經(jīng)切換至備線網(wǎng)絡崗田一止第八步交易測試應用崗第七步登錄分公司內網(wǎng)主路由器，在_CNXXRT01001上，確認至當?shù)劂y聯(lián)的主線路，并InterfaceXXNoshutdown網(wǎng)絡崗第八步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡崗第九步交易測試應用崗預期分析正常情況下，去銀聯(lián)/總公司的路由會通過主線路傳輸數(shù)據(jù)，同時通過cdp能看到與總公司/銀聯(lián)的網(wǎng)絡設備鄰接關系，當主線路出現(xiàn)故障后，去總公司/銀聯(lián)的路由會切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不會影響交易。結果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟切換延時丟包數(shù)切換后路^狀態(tài)路由狀態(tài)備注A路由正常切換到總公司主線切至備線B路由正常切換到總公司備線切至主線C路由正常切換到當?shù)劂y聯(lián)主線切至備線D路由正常切換到當?shù)劂y聯(lián)備線切至主線應急處理當演練過程中出現(xiàn)不符合預期結果并造成交易長時間無法恢復時，啟動回退步驟：

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案步驟操作內容操作崗位預估用時第一步登錄分公司內網(wǎng)主路由器，在_CNXXRT01001上，確認至總公司的主線路，并_CNXXRT01001#InterfaceXXNoshutdown網(wǎng)絡崗第二步登錄分公司新一代，長ping分公司網(wǎng)控器上聯(lián)卡應用崗第三步_CNXXRT01001#shipinterfacebrief 〃查看端口情況shcdpnei〃查看是否還有與總公司互連的設備信息shiproute〃查看是否還有到總公司的相關路由shrun 〃查看當前路由器配置情況網(wǎng)絡崗第四步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡崗第五步交易測試應用崗步驟操作內容操作崗位預估用時第一步登錄分公司內網(wǎng)主路由器，在_CNXXRT01001上，確認至當?shù)劂y聯(lián)的主線路，并InterfaceXXNoshutdown網(wǎng)絡崗第二步在分公司網(wǎng)控器上聯(lián)卡上ping銀聯(lián)二代收單平臺應用崗第三步shipinterfacebrief 〃查看端口情況shcdpnei〃查看是否還有與銀聯(lián)互連的設備信息shiproute〃查看是否還有銀聯(lián)的相關路由shrun 〃查看當前路由器配置情況網(wǎng)絡崗第四步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡崗第五步交易測試應用崗演練的結果如不符合預期，填寫下表問題現(xiàn)象原因分析解決方法上聯(lián)到總公司/當?shù)劂y聯(lián)網(wǎng)絡的設備接口模塊出現(xiàn)故障故障現(xiàn)象類似4.2.1線路故障，在此不多做描述，演練時可以跳

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案過。上聯(lián)到總公司/當?shù)劂y聯(lián)網(wǎng)絡的設備出現(xiàn)故障如果上聯(lián)主路由器整機發(fā)生故障，應及時聯(lián)系廠商提供備件到現(xiàn)場，設備到位后，更換新設備并加電，觀察路由器工作是否正常。故障現(xiàn)象監(jiān)控崗位故障詳細內容運行監(jiān)控崗通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡監(jiān)控崗1）通過遠程telnet登陸故障路由器，telnet登錄失敗。2）通過ping路由器，ping不通。3）使用console口登陸，登陸失敗。4）檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。應用支持崗運行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示節(jié)點11.XX.255.1無法獲取分公司生產(chǎn)內網(wǎng)上聯(lián)路由器信息則可能該路由器已經(jīng)出現(xiàn)故障。ActiveEventList7/11.13L.2^.]00：16J]6/ibm/cfliitsolc/Mi￡btoT!/ALLEveiLts/FileEditViewAlertsTookHelp癥隆母▼1弱節(jié)點目器生虢道爆生需要■i1「q用& E『：悲 1M京tji 孑3M,&M 1411 雄悌j錦壽上能『密盤擊母阱』軍用！得階11號2：司主嚶第電擊卜小馬葩1113125582 12^28/103:29:12AM1/2B112:...EiGRP-lPva?13'Neighbor11i3i-J62(SensllM'：i,21)isnesynr.route11.7^.255.6.2 12J23/1012:14:02AM121123n口.OSPFNeighborDoyjri(Neighbor:0)3 12J23/1012:42:23AM12f23/10..OSPFNeighborDo>wn(Neighbor:)11SO255111^36)112.32:06AM1/26/111.LinkDown:down(FasiEihErneO3/3)網(wǎng)絡運行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。4.2.3,2故障研判監(jiān)控崗位故障研判預期結果運行監(jiān)控崗查看總公司監(jiān)控機netcool告警界面(00:16316/ibm/console)發(fā)現(xiàn)紅色告警，顯示節(jié)點無法獲取XX分公司生產(chǎn)內網(wǎng)主路由器信息網(wǎng)絡監(jiān)控崗1）通過遠程telnet登陸故障路由器命令：telnet11.XX.255.12）通過ping路由器1）telnet登錄失敗。ping不通。console口登陸失

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案敗，無法顯示信息。4）路由器狀態(tài)燈顯示紅色告警或熄滅。命令：敗，無法顯示信息。4）路由器狀態(tài)燈顯示紅色告警或熄滅。3）使用控制線連接到路由器標識有“console”的端口登陸。4）檢查路由器狀態(tài)燈，顯示紅色告警或熄滅。SYS/SYSPWR正常為綠色，ACT正常為綠色閃動；當狀態(tài)燈為黃色或紅色時故障判斷為：分公司生產(chǎn)內網(wǎng)上聯(lián)路由器_CNXXRT01001宕機。演練步驟步驟操作內容操作崗位預估用時第一步在分公司新一代上ping分公司網(wǎng)控器上聯(lián)卡應用崗第二步關閉分公司內網(wǎng)主路由器_CNXXRT01001電源網(wǎng)絡崗第三步shipinterfacebrief //查看端口情況shcdpnei//查看是否還有與銀聯(lián)互連的設備信息shiproute〃查看是否還有銀聯(lián)的相關路由shrun 〃查看當前路由器配置情況網(wǎng)絡崗第四步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至備線網(wǎng)絡崗第五步交易測試應用崗第八步開啟分公司內網(wǎng)主路由器_CNXXRT01001電源網(wǎng)絡崗第七步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡崗第八步交易測試應用崗4?2.3,4預期分析正常情況下，去銀聯(lián)/總公司的路由會通過主線路傳輸數(shù)據(jù)，同時通過cdp能看到與總公司/銀聯(lián)的網(wǎng)絡設備鄰接關系，當設備出現(xiàn)故障后，去總公司/銀聯(lián)的路由會切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不會影響交易。結果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟切換延時丟包數(shù)切換后路^狀態(tài)路由狀態(tài)備注A路由正常切換主路由器切到備路由器B路由正常切換備路由器回切到主路由器

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案應急處理當演練過程中出現(xiàn)不符合預期結果并造成交易長時間無法恢復時，啟動回退步驟：步驟操作內容操作崗位預估用時第一步開啟分公司內網(wǎng)主路由器_CNXXRT01001電源網(wǎng)絡崗第二步在分公司新一代上ping分公司網(wǎng)控器上聯(lián)卡應用崗第三步shipinterfacebrief 〃查看端口情況shcdpnei〃查看是否還有與銀聯(lián)互連的設備信息shiproute〃查看是否還有銀聯(lián)的相關路由shrun 〃查看當前路由器配置情況網(wǎng)絡崗第四步在新一代上traceroute分公司網(wǎng)控器上聯(lián)卡，檢查路由是否已經(jīng)切換至主線網(wǎng)絡崗第五步交易測試應用崗演練的結果如不符合預期，填寫下表問題現(xiàn)象原因分析解決方法4?3演練場景二：交換機故障交換機包括內網(wǎng)交換機和外網(wǎng)交換機，因為無論是內網(wǎng)交換機故障還是外網(wǎng)交換機故障都會造成防火墻的HA切換，故在此合并為同一類切換演練。下圖為生產(chǎn)內網(wǎng)核心交換機連接圖：商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案生產(chǎn)的同核心交會肛曲處應急圉示下圖為生產(chǎn)外網(wǎng)核心交換機連接圖：FI'USFl電腐FI'USFl電腐1c5AJ\swgim生產(chǎn)外網(wǎng)故障應急I組示4.3.1主交換機設備故障首先排除線路的故障，如果確定為備用交換機設備整機出現(xiàn)故障故障，需要將備交換機上連接的主機切換到主交換機相應的端口。若確定為主交換機設備整機出現(xiàn)故障，需要將與主交換機互連的上聯(lián)主路由器以及其他主機設備切換到備交換機相應的端口上，并觀察備用交換機的工作是否正常。故障現(xiàn)象監(jiān)控崗位故障詳細內容運行監(jiān)控崗通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡監(jiān)控崗1）通過遠程telnet登陸故障交換機，telnet登錄失敗。

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案2）通過ping11.XX.255.3,ping不通。3）使用console口登陸，登陸失敗。 4）檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。應用支持崗運行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示節(jié)點11.XX.255.3無法獲取分公司核心接入交換機信息則可能該交換機已經(jīng)出現(xiàn)故障。ActiveEventListhttps：//IL.131. 10D：L631'a/i，bini,,c&riBoleH^E：btPE/AlLE.vErii5/flleEditViewAlertsTodIeHelp電力?a穿1國T節(jié)點苜次發(fā)生最近發(fā)生持委il13i255.0 2W8/103-29-12^1f26ii12-EIGRP-iF>4?71Neighbor131;8.2圖日應*f優(yōu)2廿isresj^ii-roule.11.73.255.G 2-12^23/1012112/23dfl..OSPFNeightorDcwn(Neighbor,11.72.3330)11.72.255^ 212f?ario1242-23AM121173H0.0BPFNaighhDrDown{Neighbor11.72.336)11.BO.255.1f1月印1113?flEiAM打詢竹2..Link□皿mdown(FasiElhEmetQGJ3)網(wǎng)絡運行崗：檢查交換機所有狀態(tài)燈，顯示有紅色告警或熄滅。故障研判監(jiān)控崗位故障研判預期結果|運行監(jiān)控崗查看總公司監(jiān)控機netcool告警界面(00:16316/ibm/console)發(fā)現(xiàn)紅色告警，顯示節(jié)點無法獲取XX分公司生產(chǎn)內網(wǎng)交換機SW1的信息網(wǎng)絡監(jiān)控崗1）通過遠程telnet登陸故障交換機命令：telnet11.XX.255.32）通過ping交換機命令：ping11.XX.255.33）使用控制線連接到路由器標識有“console”的端口登陸。4）檢查交換機狀態(tài)燈，顯示紅色告警或熄滅。SYS/SYSPWR正常為綠色，ACT正常為綠色閃動；當狀態(tài)燈為黃色或紅色時故障telnet登錄失敗。ping不通。console口登陸失敗，無法顯示信息。4）交換機狀態(tài)燈顯示紅色告警或熄滅。判斷為：分公司生產(chǎn)核心接入交換機_CNXXSW01001宕機。演練步驟步驟操作內容操作崗位預估用時第一步在分公司新一代上ping外網(wǎng)商戶地址和網(wǎng)控器上連卡地址應用崗商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案第二步關閉分公司內網(wǎng)主交換機_CNXXSW01001電源：網(wǎng)絡崗第三步shipinterfacebrief查看端口情況shvlan 查看是否還有與銀聯(lián)互連的設備信息shrun 查看當前交換機配置情況shiproute 查看相關路由網(wǎng)絡崗第四步在新一代上ping商戶和網(wǎng)控器上聯(lián)卡地址網(wǎng)絡崗第五步交易測試應用崗田一止第八步開啟分公司內網(wǎng)主交換機_CNXXSW01001電源：網(wǎng)絡崗第七步shipinterfacebrief查看端口情況shvlan 查看是否還有與銀聯(lián)互連的設備信息shrun 查看當前交換機配置情況shiproute 查看相關路由網(wǎng)絡崗第八步在新一代上ping商戶和網(wǎng)控器上聯(lián)卡地址網(wǎng)絡崗第九步交易測試應用崗預期分析對于內網(wǎng)核心交換機，正常情況下，交易在主交換機上傳輸數(shù)據(jù)，當內網(wǎng)備交換機設備故障時，不會影響交易；當內網(wǎng)主交換機設備出現(xiàn)故障后，HSRP切換到備交換機為ACTIVE，也會引起防火墻的failover主、備切換，交易也將切換至I」備交換設備工作，通過備防火墻、備交換機的線路傳輸交易數(shù)據(jù)，影響交易時間40秒左右。對于外網(wǎng)核心交換機，正常情況下，商戶通過外網(wǎng)路由設備接入進行交易，當外網(wǎng)交換機出現(xiàn)故障后，根據(jù)實際外網(wǎng)連接情況分為兩種：?未進行外網(wǎng)改造過的，外網(wǎng)設備沒有全互聯(lián)的分公司，所有由該路由器接入的單專線商戶交易中斷；?有進行過外網(wǎng)改造，外網(wǎng)設備有全互聯(lián)的分公司，商戶交易可

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案以切換到備交換機上，切換時間約在10~40秒。外網(wǎng)未做全互聯(lián)改造的無需做此切換！結果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟切換延時丟包數(shù)切換后路^狀態(tài)路由狀態(tài)備注A路由正常切換內網(wǎng)主交換機切到備交換機B路由正常切換內網(wǎng)備交換機回切到主交換機C路由正常切換外網(wǎng)主交換機切到備交換機D路由正常切換外網(wǎng)備交換機回切到主交換機應急處理當演練過程中出現(xiàn)不符合預期結果并造成交易長時間無法恢復時，啟動回退步驟:步驟操作內容操作崗位預估用時第一步開啟分公司內網(wǎng)主交換機_CNXXSW01001電源：網(wǎng)絡崗第二步在分公司新一代上ping外網(wǎng)商戶地址和網(wǎng)控器上連卡地址應用崗第三步shipinterfacebrief查看端口情況shvlan 查看是否還有與銀聯(lián)互連的設備信息shrun 查看當前交換機配置情況shiproute 查看相關路由網(wǎng)絡崗第四步在新一代上ping商戶和網(wǎng)控器上聯(lián)卡地址網(wǎng)絡崗第五步交易測試應用崗演練的結果如不符合預期，填寫下表問題現(xiàn)象

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案原因分析解決方法4?4演練場景三：隔離區(qū)防火墻故障CNXxsvvnioniFl郵!Fl.SUFL-imftCNXxsvvnioniFl郵!Fl.SUFL-imftn.'ik-u線路成明1<Axxn^moiLTHU訓換CNXXFW(H6(I21.1EllIPrLIJJKI111IP-1I1-2<Axxn^moiLTHU訓換CNXXFW(H6(I21.1EllIPrLIJJKI111IP-1I1-2EEHit線路故障設備故障14Fl?4dFhCi/7H/O/lFIANFl?4dFhCi/7隔離區(qū)防火墻故障應急圖示隔離區(qū)防火墻故障及其應急措施：4.4.1防火墻設備故障兩臺防火墻以Failover方式工作，與內、外網(wǎng)交換機互連。在工作過程中，與主防火墻互連的內外網(wǎng)主交換機的線路（端口）或防火墻的線路（端口）發(fā)生故障時，會引起防火墻主備切換。故障現(xiàn)象監(jiān)控崗位故障詳細內容運行監(jiān)控崗通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設備故障。系統(tǒng)監(jiān)控崗網(wǎng)絡監(jiān)控崗1）通過遠程telnet登陸故障防火墻，telnet登錄失敗

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案2)3)通知分公司同事使用console口登陸，登陸失敗。2)3)登陸當前active防火墻，使用showfailover命令查看failover狀態(tài)是否發(fā)生切換。如發(fā)現(xiàn)Thishost：Secondary-Active,則failover已經(jīng)發(fā)生切換。應用支持崗運行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示無法獲取XX分公司防火墻信息則可能該防火墻已經(jīng)出現(xiàn)故障。ActiveEventListCNMNFWOlClOL^fhHaiFailoverOnCablestatus:Norma1ReconnecttimeoutPo1Ifrequency15LastFailovyr-at:Thiskio^t:0:00:00seconds08:56:21UTCFr-'Jan11993Primary-Active11ms二interface￡nter干CNMNFWOlClOL^fhHaiFailoverOnCablestatus:Norma1ReconnecttimeoutPo1Ifrequency15LastFailovyr-at:Thiskio^t:0:00:00seconds08:56:21UTCFr-'Jan11993Primary-Active11ms二interface￡nter干aucInterFaceInterfaceInter'FaceInter^aceActive9D307j(sec；utherhost:secondary-standbyActtve11me:507B40Csecjouts1ceCH.SO.8.5):LinkDownCwaifiirsideC^-C):Norma1statefuCl.1.1.10;NormadmzlCll.80.4.52):LinkDownting-)dmz2(172.16.135.S):Normalintf5(0^0.0.0^;LirikDownCshutdown)ngjinterfaceinter-FaceInter干aucinterfacefnterfareInter'Faceouts1deCll.@0.8.6)；LinkDownfwaitiins1de(5：rJormri1statefu1 .1.1.2^):Ndrma1dmzl(1，80.4.5]:LinkDownfwa1tif：g)dmz2Q72.16,135.6):Norma1intf5CO□0.0.03：LinkDownCShutcJo^n')StatefuIFailoverLogica1UpdateStatisr1C5Lirik:statefu1statefu1objxmitGensra1330563sysemd124640upfime4x-late25466tepconn1^0453udpconn0ARPtb10RIPTb;0QueueCur1UpdateLogicaPFeXOO0OOOOOrev138R471246422264411559000OII=U01I:'...1.-.IIIIURecvQ:XhiitQ:一：I1:(:|InformationMax Total1 1327471 26231.BhttvEi7/L1.131.24S,]m：16316/jbn/fiddecLLd*dstap/ALIZverii上Fil日EditViewAlertsTooIeHelp代01嗓電土第」“反■R+數(shù)竺:記gl豉運發(fā)主11131..255.B21:^28(103:29:12ir26H12:.tiGRP-iF^4(U)-'I-Jeignbor-：1131(SenallJ2/0:21')isresyncmutie11.72J55.B212UD2AM12/231110..OSPFNeighborDown(Neighbor,1172.33.38)11.72.255E212f23Mfl12-4.2:23AM口OSPFNeighborDawn(Neighbor)11.3D.355111門即11:3-200AMir2Ef112:.LinkDawjndown(Fa5EthErrielfl/3f3)網(wǎng)絡運行崗：showfailover狀態(tài)圖如下故障研判監(jiān)控崗位故障研判預期結果|運行監(jiān)控崗查看總公司監(jiān)控機netcool告警界面發(fā)現(xiàn)紅色告警，顯

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案(00:16316/ibm/console)示無法獲取XX分公司防火墻信息網(wǎng)絡監(jiān)控崗1）登陸至故障分公司內網(wǎng)交換機SW1，telnet10.XX.33.5,登陸成功后使用命令showfailover查看已經(jīng)發(fā)生切換，備機已經(jīng)接管成為Active狀態(tài)2）telnet10.XX.33.6至當前備份防火墻，登陸失敗3）通知分公司同事使用console線登陸故障防火墻（該防火墻failover的active燈滅），登陸失敗Failover已經(jīng)切換至備份防火墻，telnet/console登陸方式都無法登陸判斷為：分公司核心主防火墻_CNXXFW01001設備故障。演練步驟步驟操作內容操作崗位預估用時第一步在分公司新一代上ping外網(wǎng)商戶地址應用崗第二步關閉分公司防火墻_CNXXFWW01001電源：網(wǎng)絡崗第三步ship 查看接口IP地址信息shint 查看接口狀態(tài)情況shrun 查看FW當前配置情況shfailover 查看FW的FO狀況shconn 查看FW的連接數(shù)網(wǎng)絡崗第四步在新一代上ping商戶地址網(wǎng)絡崗第五步交易測試應用崗第八步開啟分公司防火墻_CNXXFWW01001電源：網(wǎng)絡崗第七步ship 查看接口IP地址信息shint 查看接口狀態(tài)情況shrun 查看FW當前配置情況shfailover 查看FW的FO狀況shconn 查看FW的連接數(shù)網(wǎng)絡崗第八步在新一代上ping商戶地址網(wǎng)絡崗預期分析正常情況下，穿越防火墻進行交易的流量會通過主墻傳輸數(shù)據(jù)，同時通過$卜connacount能看到主、備防火墻設備連接數(shù)的差異（主墻連接數(shù)多于備墻），當與主墻互聯(lián)的內、外網(wǎng)交換機線路出現(xiàn)故障后，防火墻的failover會切換到備墻上工作，穿越防火墻的交易流量

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案會切換到備防火墻進行工作，通過備墻的線路傳輸交易數(shù)據(jù)，交易中斷時間在約在30~45秒。結果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟切換延時丟包數(shù)切換后路^狀態(tài)路由狀態(tài)備注A路由正常切換主防火墻切到備防火墻B路由正常切換備防火墻回切到防火墻應急處理當演練過程中出現(xiàn)不符合預期結果并造成交易長時間無法恢復時，啟動回退步驟：步驟操作內容操作崗位預估用時第一步開啟分公司防火墻_CNXXFWW01001電源：網(wǎng)絡崗第二步在分公司新一代上ping外網(wǎng)商戶地址應用崗第三步ship 查看接口IP地址信息shint 查看接口狀態(tài)情況shrun 查看FW當前配置情況shfailover 查看FW的FO狀況shconn 查看FW的連接數(shù)網(wǎng)絡崗第四步交易測試應用崗演練的結果如不符合預期，填寫下表問題現(xiàn)象原因分析解決方法4.4.2防火墻與內、外網(wǎng)交換機連接線路（端口）故障此情景和4.4.1防火墻設備故障類似。

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案4?5演練場景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障外網(wǎng)路由器和商戶間線路故障對于有商戶雙線接入的分公司（如沃爾瑪■蘇寧易購等）進行如下切換，對于沒有任何雙線路接入商戶的分公司此步驟跳過!!故障現(xiàn)象監(jiān)控崗位故障詳細內容運行監(jiān)控崗網(wǎng)管平臺顯示分XXX分公司生產(chǎn)外網(wǎng)XXX商戶無法PING通系統(tǒng)監(jiān)控崗網(wǎng)絡監(jiān)控崗1、通過遠程telnet登陸商戶接入路由器，PING商戶互聯(lián)線路對端IP地址，PING失敗。應用支持崗運行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示無法PING通XXXX分公司XXXX商戶地址。ActiveEventListhttpE.：,^Ll.131.24^.]00：16316/3bnADnEcleywebtqp/'miveni5/rileEditViewAlertsTooicHelp1I茅」節(jié)點)+趣善次發(fā)生最近發(fā)生|,仆勺羽/山章 ■理謨WW虬睛軸11 .方廿好門_ 銀商工消均甯編輯推網(wǎng)2韶H《黃陽？笠?guī)韷疟娴净ㄗ桃驖O徐11131.255621觀印1口及W1EFMIf26f112:.EIGRP-iFME”H:籟搟)orii131i,c-1(Sensl1?2<0"^1)isresyncroute.11.72J55.62.1.圖23HLM像1&里AM12(23(]0..OSPFNeighborDawti(Neighbor,5)11.72J5S.E212f23f1012:42:23AM12g.i0...OSPFNeighborDawn(Neighbar:)11.anJ55.1I1門即11第00AM1f26f112:.LinkDawndown(Fa5EthErnelfl/3f3)故障研判監(jiān)控崗位故障研判預期結果運行監(jiān)控崗查看總公司監(jiān)控機netcool告警界面（00:16316/ibm/console）顯示分XXX分公司生產(chǎn)外網(wǎng)XXX商戶無法PING通不同網(wǎng)絡監(jiān)控崗1）通過ping路由器命令：ping11.XX.255.72）通過ping路由器直連商戶對端命令：ping11.XX.255.71）正常2）不通判斷為：分公司網(wǎng)絡區(qū)下聯(lián)路由器_CNXXRT01003連接商戶通訊線路中斷。演練步驟步驟操作內容操作崗位預估用時第一步在分公司新一代上ping商戶地址應用崗

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案第二步Shut外網(wǎng)主路由器連商戶的接口。網(wǎng)絡崗第三步shipinterfacebrief〃查看端口情況shiproute〃查看相關路由網(wǎng)絡崗第四步在分公司新一代上ping商戶地址網(wǎng)絡崗第五步交易測試應用崗田一止第八步NoShut外網(wǎng)主路由器連商戶的接口。網(wǎng)絡崗第七步shipinterfacebrief〃查看端口情況shiproute〃查看相關路由網(wǎng)絡崗第八步在分公司新一代上ping商戶地址網(wǎng)絡崗第九步交易測試應用崗預期分析正常情況下，商戶由外網(wǎng)路由器接入銀商網(wǎng)絡進行交易路由，當外網(wǎng)路由器設備故障時，所有與該路由器設備連接的單線路商戶，交易中斷。結果分析切換后請記錄切換延時、丟包數(shù)、路徑狀態(tài)步驟切換延時丟包數(shù)切換后路^狀態(tài)路由狀態(tài)備注A路由正常切換B路由正常切換應急處理外網(wǎng)路由器設備故障該故障的演練方式類似4.5.1外網(wǎng)路由器和商戶間線路故障，在此不作累述。只演練上面接口級的線路故障即可。4.6演練場景五：網(wǎng)控器切換主上聯(lián)卡故障對于網(wǎng)控器有雙上聯(lián)的分公司進行如下切換，只有單上聯(lián)卡的網(wǎng)控器跳過此步驟!

商務分公司生產(chǎn)網(wǎng)絡切換演練實施方案監(jiān)控崗位故障詳細內容運行監(jiān)控崗網(wǎng)管PING臺顯示XXX分公司網(wǎng)控上聯(lián)卡無法PING通系統(tǒng)監(jiān)控崗網(wǎng)絡監(jiān)控崗登陸分公司內網(wǎng)交換機，無法PING通分公司網(wǎng)控上聯(lián)卡IP地址。應用支持崗運行監(jiān)控崗：NETCOOL告警信息如下如果出現(xiàn)紅色告警，并顯示無法PING通XXXX分公司網(wǎng)控上聯(lián)卡IP地址。ActiveEve：ntLi?thttpe 131.1蜘】00:16316/^3bnftddeoJ sbtap/Alilvtrii寫/?ileEditViewAlartEToolsHelp卷。1tsq|鄂 眄