2009年城域網(wǎng)應(yīng)急預(yù)案

鄂爾多斯 電信 2009年城域網(wǎng)應(yīng)急預(yù)案 2009年 8月 目錄 一、總則 . 3 1、編制目的 .3 2、編制依據(jù) .3 3、分類分級(jí) .3 4、適用范圍 .3 5、工作原則 .4 二、組織體系 . 5 1、領(lǐng)導(dǎo)機(jī)構(gòu)與職責(zé) .5 2、工作機(jī)構(gòu)與職責(zé) .5 3、技術(shù)支撐隊(duì)伍 與職責(zé) .5 4、廠商售后服務(wù)隊(duì)伍與職責(zé) .6 三、運(yùn)行機(jī)制 . 6 1、預(yù)警機(jī)制 .6 2、應(yīng)急處置 .12 3、應(yīng)急處置后評(píng)估 .29 4、信息發(fā)布 .30 四、應(yīng)急保障 . 30 1、人力保障 .30 2、備件保障 .33 五、監(jiān)督管理 . 33 1、預(yù)案演練 .33 2、宣傳和培訓(xùn) .33 六、附則 . 34 1、預(yù)案管理 .34 七、附件 . 34 1、事件分級(jí)標(biāo)準(zhǔn) .34 2、應(yīng)急管理工作流程 .36 一、總則 1、編制目的 為了保障數(shù)據(jù)網(wǎng)絡(luò)的正常運(yùn)行，在出現(xiàn)突發(fā)性 故障或系統(tǒng)癱瘓時(shí)，能有效及時(shí)的組織相關(guān)維護(hù)人員，采取緊急措施，在最短的時(shí)間內(nèi)恢復(fù)網(wǎng)絡(luò)的正常通信，將意外事故的損失減少到最低程度， 保障網(wǎng)絡(luò)提供服務(wù)的可 持續(xù)性，確保在服務(wù)品質(zhì)協(xié)議（ SLA） 定義的時(shí)限內(nèi)恢復(fù)所 承諾的服務(wù) 。 2、編制依據(jù) 依據(jù)運(yùn)維 200627 號(hào) -關(guān)于組織開展網(wǎng)絡(luò)安全評(píng)估和完善應(yīng)急保障預(yù)案工作的通知 (1)，根據(jù)內(nèi)蒙電信網(wǎng)絡(luò)發(fā)展現(xiàn)狀制定本預(yù)案。 3、分類分級(jí) 本預(yù)案按照網(wǎng)絡(luò)層次分級(jí)， 鄂爾多斯 電信數(shù)據(jù) IP 網(wǎng)分為：城域網(wǎng)核心 層 、業(yè)務(wù)控制層、匯聚接入層。 4、適用范圍 本預(yù)案適用于 鄂爾多斯 電信 IP 城 域網(wǎng)。 5、工作原則 本預(yù)案工作原則：優(yōu)先恢復(fù)業(yè)務(wù)原則；城域網(wǎng)核心優(yōu)先于業(yè)務(wù)控制層，業(yè)務(wù)控制層優(yōu)先于匯聚接入層原則；按照業(yè)務(wù)重要等級(jí)優(yōu)先恢復(fù)原則；按照用戶服務(wù)等級(jí)優(yōu)先恢復(fù)原則。 （ 1）業(yè)務(wù)恢復(fù)原則 故障發(fā)生時(shí)，不同等級(jí)業(yè)務(wù)、業(yè)務(wù)網(wǎng)絡(luò)按照不同的優(yōu)先順序進(jìn)行恢復(fù)的原則。 （ 2）應(yīng)急預(yù)案體系 城域網(wǎng)數(shù)據(jù)網(wǎng)整體應(yīng)急預(yù)案 城域網(wǎng)核心 業(yè)務(wù)控制層 匯聚接入層 電路中斷 設(shè)備故障 路由異常 電路中斷 設(shè)備故障 路由異常 電路中斷 設(shè)備故障 路由異常 二、組織體系 1、領(lǐng)導(dǎo)機(jī)構(gòu)與職責(zé) 領(lǐng)導(dǎo)機(jī)構(gòu)： 網(wǎng)運(yùn)部主任： 燕龍 區(qū)公司數(shù)據(jù)專業(yè)主管：狄光 職責(zé)： 1、組織應(yīng)急預(yù)案的定期更新； 2、協(xié)調(diào)處理預(yù)案實(shí)施、演練等工作。 2、工作機(jī)構(gòu)與職責(zé) 工作機(jī)構(gòu)： 維護(hù)中心數(shù)據(jù)專業(yè)維護(hù)人員：王斯日古楞、郝如意、 王劍 職責(zé)： 1、負(fù)責(zé)應(yīng)急預(yù)案定期更新工作的具體實(shí)施； 2、具體進(jìn)行預(yù)案實(shí)施、演練等工作。 3、技術(shù)支撐隊(duì)伍與職責(zé) 技術(shù)支撐隊(duì)伍： 區(qū)公司網(wǎng)運(yùn)部、 鄂爾多斯 網(wǎng)運(yùn)部 職責(zé)： 1、 負(fù)責(zé)應(yīng)急預(yù)案中涉及城域網(wǎng)設(shè)備的預(yù)案實(shí)施； 2、解決 鄂爾多斯 分公司申請(qǐng)支撐的技術(shù)問題。 4、廠商售后服務(wù)隊(duì)伍與職責(zé) 廠家售后服務(wù)隊(duì)伍： 華為公司技術(shù)支撐隊(duì)伍 中興公司技術(shù)支撐隊(duì)伍 職責(zé)： 1、配合應(yīng)急預(yù)案定期更新工作的具體實(shí)施； 2、配合具體進(jìn)行預(yù)案實(shí)施、演練等工作。 三、運(yùn)行機(jī)制 1、預(yù)警機(jī)制 （ 1）網(wǎng)絡(luò)分析評(píng)估 鄂爾多斯 針對(duì)網(wǎng)絡(luò)安全進(jìn)行分析的工作機(jī)制和相關(guān)管理制度如下： 規(guī)定由網(wǎng)絡(luò)監(jiān)控人員通過數(shù)據(jù)網(wǎng)管 7*24小時(shí)對(duì)全省數(shù)據(jù)網(wǎng)（城域網(wǎng) BAS設(shè)備到省出口間的各級(jí)電路流量、設(shè)備性能）進(jìn)行監(jiān)控；每周 /月對(duì)全市 總出 入流量、盟市出入流量、 155M電路出入流量、 2.5G電路出入流量進(jìn)行分析 ,針對(duì)帶寬能力進(jìn)行分析、平均流速和峰值流速進(jìn)行分析，確定是否設(shè)備資源使用情況，帶寬利用率、是否需要擴(kuò)容、流量異常增長下降原因等。 監(jiān)測(cè)人員每班進(jìn)行三次據(jù)鏈路連通性測(cè)試并將測(cè)試結(jié)果保存以及隨時(shí)觀察網(wǎng)管告警情況結(jié)果。 數(shù)據(jù)鏈路連通性測(cè)試 A、連通性及時(shí)延、丟包測(cè)試 ping t 測(cè)試 （目前我省訪問 網(wǎng)站的 IP 地址： 8，用于檢測(cè) 鄂爾 多斯 NE80E 與省干設(shè)備鏈路狀況 ） ping 32 t 天津 DNS 測(cè)試 1 （用于檢測(cè) 鄂爾多斯 NE80E 與省干設(shè)備鏈路狀況，以及測(cè)試天津 DNS 是否可達(dá)，我省主用 DNS 是天津 DNS） ping 30 t 山東 DNS (測(cè)試山東 DNS 是否可達(dá) , 我省備用 DNS 是山東 DNS) 路由測(cè)試 A、 tracert 網(wǎng)站： B、 tracert 天津 DNS: 網(wǎng)管監(jiān)控情況 鄂爾多斯 IP 城域網(wǎng)后期可以利用的監(jiān)控 終端有 N2000 網(wǎng)管做實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)情況， N2000 網(wǎng)管可以監(jiān)控到 IP 網(wǎng)的城域網(wǎng)核心層、業(yè)務(wù)控制層以及匯聚接入層所有華為設(shè)備，并可通過 N2000 網(wǎng)管直接管理這些設(shè)備；通過 Netcool 告警平臺(tái)可以實(shí)時(shí)監(jiān)控省骨干層所有設(shè)備的運(yùn)行情況，通過 IP 三期網(wǎng)管系統(tǒng)可以實(shí)時(shí)監(jiān)控 鄂爾多斯出城域網(wǎng)流量、 鄂爾多斯 互聯(lián)中繼流量、以及城域網(wǎng)各匯聚設(shè)備的流量的出入平均和峰值流量。 A、正常情況下流量分布情況： 鄂爾多斯中心局 NE80E 至呼市 M320 2.5G POS 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E至通遼 Cisco 12416 2.5G POS 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至呼市 M320 2.5G POS 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E至 通遼 Cisco 12416 2.5G POS 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E至鄂爾多斯火車站 NE80E 2.5G POS 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至中心局 NE40E GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至火車站 NE40E GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至準(zhǔn)旗 NE40E GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至達(dá)旗局 NE40 GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至中心局 NE40E GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至火車站 NE40E GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至準(zhǔn)旗 NE40E GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至達(dá)旗局 NE40-8 GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至中心局 ME60-16 GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至火車站 ME60-16 GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至準(zhǔn)旗 ME60-8 GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至達(dá)旗 ME60-8 GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E至伊旗 MA5200G-4 GE鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至棋盤井 MA5200G-2 GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至中心局 ME60-16 GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至火車站 ME60-16 GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至準(zhǔn)旗 ME60-8 GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至達(dá)旗 ME60-8 GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E至伊旗 MA5200G-4 GE鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至棋盤井 MA5200G-2 GE 鏈路正常情況下流量圖： 鄂爾多斯中心局 NE80E 至中心局 E1000 GE 鏈路正常情況下流量圖： 鄂爾多斯火車站 NE80E 至中心局 E1000 GE 鏈路正常情況下流量圖： B、鄂爾多斯 出城域網(wǎng) 2.5G 電路中斷時(shí)流量圖： 以下為相應(yīng)的 A 設(shè)備 D 設(shè)備之間的流量圖。 當(dāng)中心機(jī)房 NE80E至呼市 M320出現(xiàn)中斷時(shí)，中心機(jī)房 NE80E至通遼 Cisco 12416 流量圖： 2、應(yīng)急處置 （ 1）應(yīng)急管理調(diào)動(dòng)處理流程 數(shù)據(jù)網(wǎng)絡(luò)主要包括 IP 網(wǎng)絡(luò)、基礎(chǔ)網(wǎng)絡(luò)以及相關(guān)的后臺(tái)支撐系統(tǒng)，在以上網(wǎng)絡(luò)或系統(tǒng)發(fā)生緊急網(wǎng)絡(luò)故障時(shí)，網(wǎng)絡(luò)維護(hù)部負(fù)責(zé)牽頭啟動(dòng)應(yīng)急調(diào)動(dòng)預(yù)案進(jìn)行故障處理的調(diào)度，現(xiàn)場(chǎng)維護(hù)部分按照相應(yīng)的緊急故障處理預(yù)案處理故障 。 應(yīng)急調(diào)動(dòng) 流程如下圖： 處理流程圖如下： 設(shè)備整臺(tái)故障 板卡故障 電路中斷 路由問題 其他原 因 （ 2）應(yīng)急響應(yīng) 鄂爾多斯 電信 IP 城域網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)如下： 城域網(wǎng)出口電路中斷 1、 中心機(jī)房 NE80E 至呼市 M320 2.5G POS 電路故障 立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維 部，如果 2.5G POS 鏈路中斷后，所有出城域網(wǎng) 流量都會(huì)通過 火車站 NE80E 至通遼 Cisco 12416 的 2.5G POS 鏈路轉(zhuǎn)發(fā)所以此時(shí)需密切注意 火車站 NE80E 至通遼 Cisco 12416 的 2.5G POS 鏈路流量情況；查看傳輸網(wǎng)管，如果是傳輸電路中斷引起的，則協(xié)調(diào)傳輸專業(yè)盡快處理；如果是 NE80E 路由器設(shè)備或單板故障，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作，盡快解決問題。 2、 火車站 NE80E 至通遼 Cisco 12416 2.5G POS 電路故障 立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部， 如果 2.5G POS 鏈路中斷后，所有出城域網(wǎng)流量都會(huì)通過中心機(jī)房 NE80E至 呼市 M320的 2.5G POS鏈路 轉(zhuǎn)發(fā)所以此時(shí)需密切注意 中心機(jī)房 NE80E 至 呼市 M320 的 2.5G POS 鏈路流量情況；查看傳輸網(wǎng)管，如果是傳輸電路中斷引起的，則協(xié)調(diào)傳輸專業(yè)盡快處理；如果是NE80E 路由器設(shè)備或單板故障，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作，盡快解決問題。 城域網(wǎng)內(nèi)部中繼電路中斷 1、 當(dāng) SR 或者 BRAS 設(shè)備與城域網(wǎng)核心路由器 NE80E 間鏈路單條鏈路出現(xiàn)中斷時(shí)，由于城域網(wǎng)內(nèi)部運(yùn)行動(dòng)態(tài)路由協(xié)議 OSPF，此 時(shí)業(yè)務(wù)會(huì)瞬斷幾 秒 ， 待城域網(wǎng)路由收斂完成后， 所有業(yè)務(wù)均從另外一條正常鏈路上轉(zhuǎn)發(fā)數(shù)據(jù)； 此時(shí)，應(yīng)進(jìn)行以下操作： a.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作； b.檢查互聯(lián)端口 link 燈是否處于常亮狀態(tài)，若處于 down 狀態(tài)，此時(shí)應(yīng)該第一時(shí)間重新布放尾纖恢復(fù)鏈路，再進(jìn)行測(cè)試； c.若更換尾纖后，物理端口 link 燈仍不處于常亮狀態(tài)，則應(yīng)更換相應(yīng)的光模塊，以免光?？跓龎幕蛘咂渌闆r造成光口不能正常轉(zhuǎn)發(fā)數(shù)據(jù)； 2、 當(dāng)其中一臺(tái) SR 設(shè)備的兩條上行鏈路均出現(xiàn)問題時(shí)，若短時(shí)間內(nèi)不能恢復(fù)鏈路，應(yīng)將 該臺(tái) SR 設(shè)備上的所有業(yè)務(wù)暫時(shí)割接至另一臺(tái)正常的 BRAS 設(shè)備上，再進(jìn)行故障排除； 此時(shí)，應(yīng)進(jìn)行以下操作： a.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作； b.在大匯聚交換機(jī)上，將三層業(yè)務(wù) vlan 透傳至正常 運(yùn)行 的 BRAS 設(shè)備上； c.在 BRAS 設(shè)備上，配置三層業(yè)務(wù)的網(wǎng)關(guān)，同時(shí)發(fā)布該業(yè)務(wù)路由段； 3、 當(dāng)其中一臺(tái) BRAS 設(shè)備的兩條上行鏈路均出現(xiàn)問題時(shí)； 此時(shí)，應(yīng)進(jìn)行以下操作： a.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作； b.若是 單板故障引起，及時(shí)將備件單板換上，把原上行 2 路光纖更換到備板上，配置數(shù)據(jù)恢復(fù)上行 c.若是整機(jī)故障， 第一時(shí)間 將 大匯聚交換機(jī) 8905 跳纖到 ODF，通過局間光纜連接至另一局點(diǎn)的 BRAS 上 ，將 PPPOE 業(yè)務(wù)或者 Wlan 業(yè)務(wù)全部強(qiáng)制倒換至另一臺(tái)正常的 BRAS 進(jìn)行認(rèn)證； 為快速切換業(yè)務(wù)要提前布放 8905 至 ODF 和 BRAS至 ODF 的光纖。 （此條適用于大匯聚通過裸光纖上行至 BRAS） d若是整機(jī)故障，第一時(shí)間將另一局點(diǎn)正常運(yùn)行的 BRAS 通過光纖連至傳輸7500/3500，協(xié)調(diào)傳輸人員將 8905 上行業(yè)務(wù)通道做到此正常的 BRAS 上，將PPPOE 業(yè)務(wù)或者 Wlan 業(yè)務(wù)全部強(qiáng)制倒換至這臺(tái)正常的 BRAS 進(jìn)行認(rèn)證；為快速切換業(yè)務(wù)要提前布放 BRAS 至傳輸設(shè)備的光纖。（此條適用于大匯聚通過傳輸上行至 BRAS） e.在正常的 BRAS 設(shè)備上，查看用戶上線數(shù)量，確保業(yè)務(wù)已經(jīng)正常； Display access-user domain dslam_pppoe Display access-user domain lan_pppoe Display access-user domain wlan_web 4、 當(dāng) 大匯聚交換機(jī) 8905 至 BRAS 設(shè)備互聯(lián)鏈路 出現(xiàn)中斷時(shí)； 此時(shí)，應(yīng)進(jìn)行以下操作： a. 立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作； b. 查看傳輸網(wǎng)管，如果是傳輸電路中斷引起，則協(xié)調(diào)傳輸專業(yè)盡快處理； c. 若是光模塊燒壞或者其它情況造成光模塊不能正常轉(zhuǎn)發(fā)數(shù)據(jù)，則更換光模塊，則進(jìn)行測(cè)試； d. 若是尾纖出現(xiàn)問題，則應(yīng)將提前布放的備用尾纖直接接入傳輸設(shè)備的端口，再進(jìn)行測(cè)試； e. 若是 8905 或 ME60 單板故障，立即調(diào)用備件，并調(diào)整 相關(guān) 數(shù)據(jù)到備板上 5、 當(dāng)大匯聚交換機(jī)與兩臺(tái) BRAS 或者兩臺(tái) SR 設(shè)備互聯(lián)鏈路出現(xiàn)中斷時(shí) ； 此時(shí)，應(yīng)進(jìn)行以下操作： a. 立 即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作 ； b. 第一時(shí)間聯(lián)系傳輸人員及數(shù)據(jù)維護(hù)人員進(jìn)行鏈路恢復(fù)； 鄂爾多斯 城域網(wǎng)設(shè)備故障 1、 NE40E/NE80E 出現(xiàn)異常 a.按照上面鏈路故障的方法先將業(yè)務(wù)恢復(fù)至正常的設(shè)備上 ； b.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作； c.硬件障礙： 1)嘗試用 telnet、遠(yuǎn)程撥號(hào)方式登陸，查看告警路由器告警信息，并根據(jù)在現(xiàn)場(chǎng)看到的設(shè)備面板告警信息，判斷障礙點(diǎn)。 2)若判斷為板卡電源模塊等硬件故障，需要確 認(rèn)是否有冗余板位，如果有可以將業(yè)務(wù)調(diào)整到冗余板位；如果有可用端口，將故障端口割接到可用端口。 3)若為關(guān)鍵板件（如路由引擎、電源等）故障，且啟用冗余板位后業(yè)務(wù)仍不能恢復(fù)，立即調(diào)撥備件，備件上架后，及時(shí)與區(qū)公司網(wǎng)運(yùn)部聯(lián)系，配置軟件信息，恢復(fù)業(yè)務(wù)。 4)若由于設(shè)備板卡吊死等不明原因引起的故障，則將搜集至的設(shè)備告警和板卡狀態(tài)等信息上報(bào)給區(qū)公司網(wǎng)運(yùn)部和網(wǎng)管中心，并將業(yè)務(wù)割接至備用板卡上。在廠商確認(rèn)、區(qū)公司網(wǎng)運(yùn)部及區(qū)公司網(wǎng)管中心認(rèn)可后，在確定不會(huì)對(duì)現(xiàn)有業(yè)務(wù)有更嚴(yán)重影響的前提下 ，重啟部件或設(shè)備。 2、 ME60出現(xiàn)異常 a.按照上面鏈路故障的方法先將業(yè)務(wù)恢復(fù)至正常的設(shè)備上， b.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作； c.硬件障礙： 1)嘗試用 telnet、遠(yuǎn)程撥號(hào)方式登陸，查看告警路由器告警信息，并根據(jù)在現(xiàn)場(chǎng)看到的設(shè)備面板告警信息，判斷障礙點(diǎn)。 2)若判斷為板卡電源模塊等硬件故障，需要確認(rèn)是否有冗余板位，如果有可以將業(yè)務(wù)調(diào)整到冗余板位；如果有可用端口，將故障端口割接到可用端口。 3)若為關(guān)鍵板件（如 路由引擎、電源等）故障，且啟用冗余板位后業(yè)務(wù)仍不能恢復(fù)，立即調(diào)撥備件，備件上架后，及時(shí)與區(qū)公司網(wǎng)運(yùn)部聯(lián)系，配置軟件信息，恢復(fù)業(yè)務(wù)。 4)若由于設(shè)備板卡吊死等不明原因引起的故障，則將搜集至的設(shè)備告警和板卡狀態(tài)等信息上報(bào)給區(qū)公司網(wǎng)運(yùn)部和網(wǎng)管中心，并將業(yè)務(wù)割接至備用板卡上。在廠商確認(rèn)、區(qū)公司網(wǎng)運(yùn)部及區(qū)公司網(wǎng)管中心認(rèn)可后，在確定不會(huì)對(duì)現(xiàn)有業(yè)務(wù)有更嚴(yán)重影響的前提下，重啟部件或設(shè)備。 3、 8905出現(xiàn)異常 a.按照上面鏈路故障的方法先將業(yè)務(wù)恢復(fù)至正常的設(shè)備上， b.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部 ，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作； c.硬件障礙： 1)嘗試用 telnet、遠(yuǎn)程撥號(hào)方式登陸，查看告警路由器告警信息，并根據(jù)在現(xiàn)場(chǎng)看到的設(shè)備面板告警信息，判斷障礙點(diǎn)。 2)若判斷為板卡電源模塊等硬件故障，需要確認(rèn)是否有冗余板位，如果有可以將業(yè)務(wù)調(diào)整到冗余板位；如果有可用端口，將故障端口割接到可用端口。 3)若為關(guān)鍵板件（如路由引擎、電源等）故障，且啟用冗余板位后業(yè)務(wù)仍不能恢復(fù)，立即調(diào)撥備件，備件上架后，及時(shí)與區(qū)公司網(wǎng)運(yùn)部聯(lián)系，配置軟件信息，恢復(fù)業(yè)務(wù)。 4)若由于設(shè)備板卡吊死等不明原因引起的故障，則將搜集至的設(shè)備告警和板卡狀態(tài)等信息上報(bào)給區(qū)公司網(wǎng)運(yùn)部和網(wǎng)管中心，并將業(yè)務(wù)割接至備用板卡上。在廠商確認(rèn)、區(qū)公司網(wǎng)運(yùn)部及區(qū)公司網(wǎng)管中心認(rèn)可后，在確定不會(huì)對(duì)現(xiàn)有業(yè)務(wù)有更嚴(yán)重影響的前提下，重啟部件或設(shè)備。 4、 DDOS攻擊情況 DDOS 攻擊概念： DoS 的攻擊方式有很多種，最基本的 DoS 攻擊就是利用合理的服務(wù)請(qǐng)求來占用過多的服務(wù)資源，從而使合法用戶無法得到服務(wù)的響應(yīng)。DDoS 攻擊手段是在傳統(tǒng)的 DoS 攻擊基礎(chǔ)之上產(chǎn)生的一類攻擊方式。其原理如下圖一所示。單一的 DoS 攻擊一 般是采用一對(duì)一方式的，當(dāng)攻擊目標(biāo) CPU 速度低、內(nèi)存小或者網(wǎng)絡(luò)帶寬小等等各項(xiàng)性能指標(biāo)不高它的效果是明顯的。隨著計(jì)算機(jī)與網(wǎng)絡(luò)技術(shù)的發(fā)展，計(jì)算機(jī)的處理能力迅速增長，內(nèi)存大大增加，同時(shí)也出現(xiàn)了千兆級(jí)別的網(wǎng)絡(luò)，這使得 DoS攻擊的困難程度加大了 -目標(biāo)對(duì)惡意攻擊包的 消化能力 加強(qiáng)了不少，于是分布式的拒絕服務(wù)攻擊手段（ DDoS）就應(yīng)運(yùn)而生了。 DDoS 利用了更多的傀儡機(jī)來發(fā)起 DOS 攻擊，以比從前更大的規(guī)模來攻擊受害者。 DDOS 攻擊現(xiàn)象： 出現(xiàn) DDOS 網(wǎng)絡(luò)攻擊時(shí)，被攻擊端網(wǎng)絡(luò)及主機(jī)會(huì)出現(xiàn)一下的現(xiàn)象： 1、被攻擊主機(jī)上有大量 等待的 TCP 連接 2、網(wǎng)絡(luò)中充斥著大量的無用的數(shù)據(jù)包，源地址為假 3、制造高流量無用數(shù)據(jù)，造成網(wǎng)絡(luò)擁塞，使受害主機(jī)無法正常和外界通訊 4、利用受害主機(jī)提供的服務(wù)或傳輸協(xié)議上的缺陷，反復(fù)高速的發(fā)出特定的服務(wù)請(qǐng)求，使受害主機(jī)無法及時(shí)處理所有正常請(qǐng)求 5、嚴(yán)重時(shí)會(huì)造成系統(tǒng)死機(jī)，網(wǎng)絡(luò)嚴(yán)重?fù)砣?SYN-Flood 是目前最流行的 DDoS 攻擊手段，利用了 TCP/IP 協(xié)議的固有漏洞。據(jù)現(xiàn)網(wǎng)監(jiān)測(cè)上的統(tǒng)計(jì)，目前網(wǎng)絡(luò)中存在大量的 DDOS 攻擊，在 ChinaNet 網(wǎng)絡(luò)中，平均每天監(jiān)測(cè)到的攻擊有 500 個(gè)左右。所有的攻擊中， TCP SYN 攻擊占全部 DDOS 攻擊的 90%左右，而其中攻擊流量較大的類型是 TCP SYN、 ICMP、 TCP RST。面向連接的 TCP 三次握手是 Syn Flood 存在的基礎(chǔ)。 TCP/IP 建立連接需要經(jīng)過三次握手，而攻擊者在發(fā)送了第一次 Syn 后，不再發(fā)送第二次 Syn 信息，導(dǎo)致被攻擊者一直等待發(fā)送方的 Syn 信息直到超時(shí)，而攻擊方通過發(fā)送大量的 Syn 信息，導(dǎo)致被攻擊方 cpu 資源耗盡而無法提供正常服務(wù)。 DDOS 檢測(cè)措施： 在省骨干網(wǎng)和城域網(wǎng)匯聚層以上網(wǎng)絡(luò)，可以利用北方 IP 三期數(shù)據(jù)網(wǎng)管97:2003/nms/login.jsp 以及北方 DDOS 攻檢測(cè)工具 Arbor Networks Peakflow 50/ 進(jìn)行日常監(jiān)控、當(dāng)然還可以通過在設(shè)備上查看 Access-List 匹配方式來檢測(cè)網(wǎng)絡(luò)攻擊。在城域網(wǎng)匯聚層以下的網(wǎng)絡(luò)中，由于 IP 三期數(shù)據(jù)網(wǎng)管不能檢測(cè)到該層面的電路流量情況，因此，可以使用北方 DDOS 攻檢測(cè)工具Arbor Networks Peakflow 50/ 和Access-List 的檢測(cè)等方法，還 可以采用一些二層網(wǎng)絡(luò)的檢測(cè)及使用協(xié)議分析技術(shù)進(jìn)行攻擊檢測(cè)。 利用北方 IP 三期數(shù)據(jù)網(wǎng)管進(jìn)行日常監(jiān)控 各盟市以及區(qū)維護(hù)中心網(wǎng)絡(luò)監(jiān)控以及維護(hù)人員可登錄該系統(tǒng)，然后查看網(wǎng)絡(luò)所監(jiān)控范圍內(nèi)的電路波動(dòng)圖，如發(fā)現(xiàn)流量異常突然增加，則可初步考慮是否受到了 DDOS 攻擊，然后查找被攻擊主機(jī)以及攻擊源，即時(shí)上報(bào)并實(shí)施封堵或者清洗工作。 下面是包頭一用戶遭受來至通遼方向省外 DDOS 攻擊時(shí)，包頭 IP 城域網(wǎng)上行呼和以及通遼出口 2.5G 電路流量檢測(cè)情況。分析流量圖可以發(fā)現(xiàn)在區(qū)呼和出口方向流量正常的情況下，去通遼出口方向入流量突然增加 ，可以初步判斷是包頭 IP 城域網(wǎng)內(nèi) IP 地址遭到了來自通遼方向省外 DDOS 攻擊。 InPCore 包頭 R3-呼和浩特 R1 2.5G流量觀察基準(zhǔn)端 :A 端 啟動(dòng)即時(shí)流量監(jiān)控 A 端 |NM-BT-AE-A-3.163:Pos3/0/0(10) B 端|NM-HH-HCZ-A-1.163 :so-7/0/0.0(09) InPCore 包頭 ML.A1-通遼 A1 2.5G流量觀察基準(zhǔn)端 :A 端 啟動(dòng)即時(shí)流量監(jiān)控 A 端 |NM-BT-ML-A-1.163:Pos1/0/0(4) B 端|NM-TL-HP-A-1.163:POS9/0/0(3) InPCore 包頭 R3-呼和浩特 R1 2.5G流量觀察基準(zhǔn)端 :A 端 啟動(dòng)即時(shí)流量監(jiān)控 利用北方 DDOS 攻檢測(cè)工具 Arbor Networks Peakflow 進(jìn)行檢測(cè) 各盟市以及區(qū)維護(hù)中心網(wǎng)絡(luò)監(jiān)控以及維護(hù)人員可登錄該系統(tǒng)，查看Alerts 菜單下的 Summary 子菜單，在 All Alerts 列表中可以監(jiān)控到已經(jīng)匹配了 Networks 設(shè)置的過濾特征值的 DDOS 攻擊，其中包括攻擊源在北方九省以及被攻擊地址在北方九省的所有匹配特征 DDOS 攻擊。 下面是 10 月 8 日內(nèi)蒙電信一用戶 遭受 IP NULL 類型 DDOS 攻擊時(shí)檢測(cè)到的結(jié)果，我們可以很快速的發(fā)現(xiàn)被攻擊的 IP地址為 06，以及攻擊源、 PPS 檢測(cè)情況、攻擊流量 BPS 情況、攻擊開始時(shí)間、結(jié)束時(shí)間、攻擊類型等相關(guān)信息，這樣我們就可以快速的部署針對(duì)性的流量封堵以及申請(qǐng)集團(tuán) NOC 進(jìn)行流量清洗。 通過 Access-List 匹配方式進(jìn)行檢測(cè) 由于 Arbor Networks Peakflow 是基于特征值來進(jìn)行 DDOS 攻擊檢測(cè)的，所有可能有些攻擊不能被檢測(cè)出來，所以我們可以在擁塞發(fā)生的端口上綁定 ACL，利用 ACL 匹 配來進(jìn)行檢測(cè)。 利用抓包工具進(jìn)行協(xié)議分析來進(jìn)行檢測(cè)定位 由于攻擊可能會(huì)發(fā)生在省網(wǎng)或者某個(gè)城域網(wǎng)內(nèi)部，這時(shí)我們無法借助北方系統(tǒng)進(jìn)行檢測(cè)，這樣通過 PING、 TRACERT 等日常工具以及分析設(shè)備當(dāng)時(shí)端口流量，將故障定位在小范圍內(nèi)，然后通過使用協(xié)議分析工具進(jìn)行檢測(cè)定位具體被攻擊者或者攻擊源。 如下圖所示，可以看到，在局域網(wǎng)中存在一個(gè) IP 地址向隨機(jī)的目的IP 地址發(fā)送 ICMP 的 ECHO 信息，因此可以判斷該 IP 地址的主機(jī)正在攻擊別的主機(jī)，需要檢查該主機(jī)并阻斷攻擊源。 DDOS 防范措施： 目前集團(tuán)公司已經(jīng)組織各省建立了互聯(lián)網(wǎng)網(wǎng)絡(luò)安全事件防范與處理虛擬團(tuán)隊(duì)，旨在加強(qiáng)電信公司內(nèi)部及與外部安全組織間的信息溝通，加強(qiáng)對(duì)異常流量的監(jiān)測(cè)和分析，積極防范 DDOS 攻擊。并于 9 月 30 日前在京滬穗的出入口部署完成三套總共 6G 容量的異常流量清洗設(shè)備，為關(guān)鍵站點(diǎn)（黨政軍、重要新聞媒體網(wǎng)站和基礎(chǔ)域名服務(wù)器）提供網(wǎng)絡(luò)攻擊流量清洗手段。內(nèi)蒙電信已在網(wǎng)絡(luò)邊緣部署策略進(jìn)行虛假源地址流量和常見病毒流量的過濾，以充分遏止采用虛假源地址和蠕蟲病毒的攻擊行為，并完善了網(wǎng)絡(luò)安全事件上報(bào)流程以 及應(yīng)急處置預(yù)案。 DDOS 攻擊應(yīng)急處理流程： 當(dāng)中國電信網(wǎng)內(nèi)北京區(qū)域的重要網(wǎng)站遭受 DDOS 攻擊時(shí)，如果攻擊源在內(nèi)蒙電信網(wǎng)內(nèi)，則區(qū)維護(hù)中心應(yīng)全力配合集團(tuán) NOC 判斷攻擊特征和溯源，進(jìn)行流量清洗或者流量限速的方式對(duì)攻擊流量進(jìn)行處理。 當(dāng)內(nèi)蒙電信網(wǎng)內(nèi)的重要網(wǎng)站和域名服務(wù)器遭受 DDOS 攻擊時(shí)，受攻擊所在盟市公司維護(hù)部以及區(qū)維護(hù)中心應(yīng)盡快確定被攻擊地址、判定攻擊特征，確定攻擊來源，同時(shí)應(yīng)向集團(tuán)北京 NOC 申請(qǐng)調(diào)用京滬穗出入口的流量清洗設(shè)備對(duì)攻擊流量進(jìn)行清洗。如無法對(duì)攻擊進(jìn)行有效處理時(shí)，在用戶同意時(shí)可使用“黑洞路由 ”或流量限速方式對(duì)攻擊流量進(jìn)行處理。 當(dāng)內(nèi)蒙電信網(wǎng)內(nèi)普通站點(diǎn)遭受 DDOS 攻擊，造成省網(wǎng)、城域網(wǎng)、 IDC 擁塞時(shí)，可使用“黑洞路由”或流量限速方式對(duì)攻擊流量進(jìn)行處理。內(nèi)蒙電信區(qū)維護(hù)中心負(fù)責(zé)提供 7x24 小時(shí)的 DDoS 攻擊應(yīng)急響應(yīng)和技術(shù)支撐。 當(dāng) DDOS 攻擊造成大量用戶投訴時(shí)，各盟市公司應(yīng)在處理攻擊的同時(shí)，做好用戶解釋工作，和政府相關(guān)部門保持密切聯(lián)系，防止事態(tài)的惡化。 應(yīng)急處理流程圖如下： （ 3）網(wǎng)絡(luò)復(fù)原后的處理 故障恢復(fù)后首先查看故障點(diǎn)是否完全恢復(fù)、確認(rèn)網(wǎng)絡(luò)性能正常；其次進(jìn)行業(yè)務(wù)測(cè)試；在確認(rèn) 業(yè)務(wù)已恢復(fù)后進(jìn)入觀察期并完成故障分析及報(bào)告。 網(wǎng)絡(luò)正常狀態(tài)的判別標(biāo)準(zhǔn)（全區(qū) NE80E 路由條目 18347） 根據(jù)網(wǎng)絡(luò)故障發(fā)生的層面可通過測(cè)試網(wǎng)絡(luò)連通性測(cè)試、網(wǎng)絡(luò)路由測(cè)試來確定網(wǎng)絡(luò)性能是否恢復(fù)正常， 下面是正常情況下從 鄂爾多斯中心局NE40E 到北京以及天津的網(wǎng)絡(luò)性能及路由。 鄂爾多斯中心局 NE40E 到北京：（ 2009 年 8 月 4 日測(cè)試 baidu 網(wǎng)站為例） 鄂爾多斯中心局 NE40E 到 天津 ： 1、 臨時(shí)搶通的業(yè)務(wù)電路復(fù)原流程 如果是通過傳輸層倒波后恢復(fù)的業(yè)務(wù)，那么在傳輸故障恢復(fù)后，在將電路倒回前需要做 以下工作：用儀表確認(rèn)故障電路性能已經(jīng)完全恢復(fù) 確定電路倒回時(shí)可能造成的影響并制定相應(yīng)處理流程 根據(jù)業(yè)務(wù)狀況網(wǎng)絡(luò)層面確定操作時(shí)間、人員并通知相關(guān)部門 做好倒波前的準(zhǔn)備工作 ,包括端口的確認(rèn)、尾纖的測(cè)試、纖纜的布放等 按照倒波流程配合傳輸專業(yè)完成割接 在傳輸確認(rèn)倒波完成后檢測(cè) IP 網(wǎng)絡(luò)連通性、網(wǎng)絡(luò)路由、網(wǎng)絡(luò)性能。 2、 如果是通過路由調(diào)整恢復(fù)的業(yè)務(wù)，那么在將路由復(fù)原前需要做以下工作：如果是由于網(wǎng)絡(luò)病毒或異常流量導(dǎo)致的路由調(diào)整，那么確認(rèn)病毒被查殺或隔離后在進(jìn)行復(fù) 原 、或是異常流量被抑制或過濾后在進(jìn)行 復(fù)員。 3、 如果是一個(gè)方向傳輸故障后通過路由調(diào)整將流量引到其他方向恢復(fù)的業(yè)務(wù)，那么需確認(rèn)故障方向傳輸恢復(fù)后在將流量調(diào)整回來。 4、 如果是雙節(jié)點(diǎn)設(shè)備其中一臺(tái)設(shè)備故障，那么在將業(yè)務(wù)從另一臺(tái)倒回來前需確認(rèn)故障設(shè)備性能沒有問題 在將故障設(shè)備接入網(wǎng)絡(luò)前先將流量全部調(diào)整到那臺(tái)正常設(shè)備上 將故障設(shè)備接入網(wǎng)絡(luò)并確認(rèn)端口設(shè)備沒有問題可以正常轉(zhuǎn)發(fā)數(shù)據(jù)包 將路由調(diào)整復(fù)原并觀察網(wǎng)絡(luò)流量、網(wǎng)絡(luò)路由、網(wǎng)絡(luò)性能是否恢復(fù)。 3、應(yīng)急處置后評(píng)估 分析故障處理是否啟用了相應(yīng)的預(yù)案、為什么沒有啟用或?yàn)槭裁礇]有相應(yīng)的應(yīng)急預(yù)案；分 析起用應(yīng)急預(yù)案的效果，是否在規(guī)定時(shí)間內(nèi)成功啟動(dòng)了相應(yīng)的應(yīng)急預(yù)案，重點(diǎn)分析沒有成功起用的原因，或者成功了但那些方面還需要改進(jìn)；分析故障是否在現(xiàn)有應(yīng)急預(yù)案的考慮范圍，能否對(duì)類似故障制定出相應(yīng)的應(yīng)急預(yù)案；總結(jié)應(yīng)急預(yù)案中不完善的地方并針對(duì)故障完善相應(yīng)應(yīng)急預(yù)案。 4、信息發(fā)布 在啟動(dòng)應(yīng)急預(yù)案前按照流程進(jìn)行對(duì)各相關(guān)層面部門發(fā)送傳真的同時(shí)通過電子郵件、 OSS 進(jìn)行預(yù)案的發(fā)布。信息內(nèi)容應(yīng)包括：應(yīng)急預(yù)案啟動(dòng)的原因、時(shí)間、地點(diǎn)、具體實(shí)施人員；針對(duì)的網(wǎng)絡(luò)層面；詳細(xì)的應(yīng)急預(yù)案；可能影響的范圍等。在啟動(dòng)應(yīng)急預(yù)案完成后向相關(guān)部門、人員 發(fā)送本次應(yīng)急的實(shí)施過程及分析。 四、應(yīng)急保障 1、人力保障 下面是北方網(wǎng)管中心、省網(wǎng)監(jiān)中心、各地市網(wǎng)監(jiān)中心、各設(shè)備廠家相應(yīng)的負(fù)責(zé)人及通信方式。根據(jù)不同的流程聯(lián)系不同層面的人員進(jìn)行故障處理。 1、北方網(wǎng)管中心數(shù)據(jù)網(wǎng)管中心電話 序號(hào) 北方網(wǎng)管 聯(lián)系電話 1 殷宇晶15320180280 2 楊斌15320180818 3 系統(tǒng)代維4 值班電話 022 58810291， 58810292, 58810295 2、內(nèi)蒙 電信省網(wǎng)管中心電話 序號(hào) 內(nèi)蒙網(wǎng)管 聯(lián)系電話 1 狄光13327102217 2 王斯15335580159 3 郝如意15335580156 4 值班電話3、內(nèi)蒙古電信 IP 網(wǎng)各地市電信分公司 24 小時(shí)值班熱線電話： 序號(hào) 單位 24 小時(shí)機(jī)房維護(hù)值班電話 1 區(qū)維護(hù)中心2 呼和浩特 0471 3386592 3 通遼 0475 6389000 4 包頭 0472 6980000 5 赤峰 0476 5880000 6 鄂爾多斯 0477 3980001 7 呼盟 0470 3990014 8 巴盟 0478 7990003 9 烏海 0473 6990002 10 烏盟 0474 4880001 11 錫盟 0479 6995511 12 阿盟 0483 3990000 13 興安盟 0482 3980000 4、內(nèi)蒙古電信 IP 網(wǎng)各地市電信分公司數(shù)據(jù)專業(yè)聯(lián)系人電話： 序號(hào) 單位 姓 名 聯(lián)系電話 1 呼和浩特市 王學(xué)峰瑪西巴雅爾2 呼倫貝爾市 崔永軍3 包頭市 姚程亮4 烏海市 李剛5 烏蘭察布市 史涼冰6 通遼市 王輝 15