網絡應急預案.doc

黑龍江移動-鐵通網絡應急預案雞西應急日常準備1.1 網絡基本信息準備：1.2 工具和儀表準備：工具名稱用途光功率計用于測量光功率。光纖跳線用于替換故障尾纖。光纖綁扎帶用于捆扎替換后的故障尾纖。網線用于連接網元或局域網的網線。光譜分析儀用于查看光線路的光譜。萬用表用于測量各種電氣參數。防靜電腕帶防止人體靜電損壞敏感元器件。防靜電包裝袋保護需要防靜電的部件。防靜電服防止人體靜電損壞敏感元器件。十字螺絲刀用于拆裝設備螺絲。標簽紙用于標示設備或者線纜。SDH、ETH業(yè)務分析儀用于測量業(yè)務信號。2 應急恢復總體原則：以業(yè)務快速恢復為目標，優(yōu)先搶通業(yè)務，做好分工和解決方案的溝通，爭取搶通和搶修并行。當故障業(yè)務條數小于等于2條時,如初步判斷不能短期解決,優(yōu)先將重要業(yè)務倒換到保護波道。2.1 事故信息收集（10分鐘） 第一時間關鍵信息收集操作人員操作步驟具體動作備注網管人員故障基本信息收集1、 故障發(fā)生時間：年/月/日 時:分:秒2、 影響業(yè)務信息：波數，業(yè)務級別（2.5G，10G，40G，100G)和承載的業(yè)務類型(大客戶專線，移動回傳)及對接設備類型（可選）。3、 故障前外部操作或環(huán)境變化：如掉電，機房溫度變化，光纜割接，網絡拓撲調整（增刪節(jié)點，網絡改造），客戶側業(yè)務割接調整等；4、 故障后已做操作及結果：網管側操作：業(yè)務配置，人工保護倒換，復位單板，環(huán)回等；現場操作：拔插光纖/電纜，物理環(huán)回，拔插單板，更換單板，網元上下電；處理結果：中斷業(yè)務部分恢復，中斷業(yè)務更多，網元返回失敗，單板不開工；等等網管人員網絡基本信息收集5、 網絡拓撲：節(jié)點數、保護類型(ODUk SNCP，OLP光線路1+1，客戶側1+1，ODUk Spring，ERPS，板內1+1，無保護)、網絡層次(骨干，匯聚，接入)、拓撲類型(鏈，環(huán)，環(huán)相切，環(huán)相交，環(huán)帶鏈)6、 設備信息及運行情況: 設備類型，網元版本、網元狀態(tài)網管人員查詢告警和性能信息根據承載業(yè)務中斷的具體時間，查詢對應時間段是否存在關鍵告警或異常狀態(tài) (如:光纖中斷RLOS、單板復位、網元脫管、保護倒換告警、環(huán)回告警、安裝態(tài)告警)7、 在網管上先同步告警，然后查詢當前和歷史告警以及當前及歷史15m性能。8、 把設備、單板、線路的告警與業(yè)務中斷的時間進行一致性確認。9、 建議檢查告警屏蔽狀態(tài)和通道非介入監(jiān)視狀態(tài)，確保告警正常上報。10、 故障前后主通道光功率值(光放大板/OSC板)；（通過24H歷史性能查詢歷史值）網管人員查詢操作日志11、 根據承載業(yè)務中斷的具體時間,查詢該時間段的關鍵操作日志。（關鍵步驟為：配置業(yè)務、復位、環(huán)回、優(yōu)化、倒換等操作）網管人員初步判斷12、 根據告警和操作日志是否能初步準確定位到關鍵設備和保護子網。采取相應預案。網管人員求助烽火工程師13、 請第一時間電話烽火工程師。有條件的可以取得客戶授權的情況下遠程接入；網管人員查詢業(yè)務中斷共同路由14、 如果是多波中斷，查詢所有中斷波長所經過的路徑，確認波長經過的共同網元節(jié)點。網管人員通過環(huán)回功能定位到單站15、 選取一條中斷的路徑，點擊維護-環(huán)回，進入環(huán)回界面。采用二分法，從源端到宿端逐步環(huán)回。確認影響業(yè)務中斷具體設備，再根據該設備的具體異常，采取預案。避免在情況不明的情況下盲目操作, 導致問題擴大化。處理過程中一定要作好故障記錄，保存好故障的原始數據。2.2 分析定界：（5分鐘）根據上述采集的信息，判斷是否波分網絡的問題：信息分析定界步驟操作人員判斷和定位時間花費1網管人員中斷的業(yè)務只在波分系統(tǒng)上有共同的故障路由，則需要先排除波分側故障；5分鐘2網管人員波分設備OTU單板的波分側存在OTN_LOF/OTN_LOS/OTUk_SM_BIP8_SD/OTUk_SM_BDI/OTUk_SM_BEIODUk_PM_AIS /ODUk_PM_BDI等告警，確認為波分側問題；3網管人員中斷業(yè)務經過的共同路由有明確的設備、單板等硬件故障告警（如：COMMUN_FAIL /TEMP_OVER等），判斷為波分設備問題，并馬上啟動硬件備件響應；4網管人員波分設備OTU單板客戶側端口存在R_LOS、R_LOF等告警，則需要先排查客戶側光口和對接設備之間的故障。2.3 定位恢復：（50分鐘）場景一：單波業(yè)務中斷此處指無保護場景定位恢復步驟場景介紹A/B/C/D/E五個站點組成一個96波波分環(huán)（左上圖），各站信號流圖見右圖。每個波道在中間站點均OMU48-ODU48尾纖直接穿通?，F發(fā)現AD之間的192.1THZ單波道中斷。有相關告警（OTN_LOS/OTN_LOF/ODUk_SM_BIP8_SD/ ODUk_PM_AIS等）上報。假設告警上報在D站點，A站有對應的BDI回告。步驟操作人員排除故障原因操作動作時間花費1網管&現場人員快速恢復動作在資源允許的情況下：將客戶業(yè)務調至其它可用的波道或者備用波道；或者客戶對接設備存在保護則可以通過關閉OTU單板激光器觸發(fā)倒換，或者聯系對接設備維護人員手動倒換。30分鐘故障綜述：單波故障絕大部份可以歸為兩類，一類為由于光功率異常導致（以下統(tǒng)一描述為光功率子場景），另一類為由于板件、尾纖等異常導致（以下統(tǒng)一描述為非光功率子場景），關鍵在于定位到具體的故障點，采取相應措施解決。光功率問題子場景（D站點波分側直接報R_LOS的情況）處理步驟1網管&現場人員排除收端先掃描收端站點192.1THZ波長是否丟失，如果沒有丟失且光功率正常，則進一步排查站點下波尾纖、光衰，嘗試遠程硬復位單板，同時安排人現場使用光纖環(huán)回OTU單板的波分側，確定是否單板故障，如故障，則更換單板；10分鐘2網管&現場人員排除發(fā)端然后再掃描發(fā)端站點192.1THZ波長是否丟失，如果丟失，則排查上波尾纖和光衰、嘗試遠程硬復位單板，同時安排人現場使用光纖環(huán)回確定是否單板故障，如故障，則更換單板；5分鐘3網管&現場人員定位中間站點如果發(fā)端192.1THZ波長沒有丟失，從發(fā)端A站點開始，按信號流方向逐站掃描192.1THZ波長是否丟失，確認波長丟失站點，（通過光功率計測試方法：發(fā)端站點：OTU-OMU48，收端站點：ODU48-OTU，中間穿通站點： ODU48-OMU48）查找故障點，并通過清潔光口、更換尾纖、更換單板的方式解決。15分鐘備注：如果現場沒有配置OPM單板，又無法調波，業(yè)務恢復時長很難控制，同時網管中心通過總光功率變化來粗略判斷故障點（波數很少的情況比較有效，波數多則無法判斷），需要維護人員帶上光功率計、光譜分析儀、備件、尾纖等物料逐站排查。光功率問題子場景（非報R_LOS）處理步驟1網管人員檢查光功率是否下降、是否有誤碼分別查詢A、D兩站OTU單板的收發(fā)光功率，并對比歷史24H性能值，確認是否是光功率問題導致的故障（可通過與故障前的光功率數據（如歷史光功率性能數據或定期刷新過的文檔）進行比較，以確定當前光功率值是否異常。）此場景通常會伴隨存在誤碼、FEC糾錯等異常性能事件。3分鐘2網管&現場人員排除硬件故障分別對A、D站OTU單板使用光纖進行環(huán)回，確認是否單板故障，若單板故障直接更換；（單光口板可以直接嘗試硬復位單板）10分鐘3網管人員排除波長漂移問題對發(fā)端OTU單板（本例中為A站點）掃描波長，確認是否波長漂移，若漂移則硬復位單板臨時恢復；5分鐘4網管人員快速恢復動作嘗試提高該單波的收光功率（不能超過過載點）并觀察性能變化。方法：從發(fā)端開始減少各站OMU48對應通道的衰減值。3分鐘5網管人員快速恢復動作嘗試調整發(fā)端線路總光功率：注意觀察其他波長性能變化，在不影響其他波長性能的前提下小量多次，調整幅度不超過3dB。5分鐘6網管人員從發(fā)端A站點開始，按信號流方向逐站掃描192.1THZ波長，確認波長突變量較大的點，（通過光功率計測試方法：發(fā)端站點：OTU-OMU48，收端站點：ODU48-OTU，中間穿通站點：ODU48-OMU48）查找故障點，并通過清潔光口、更換尾纖、減小M40V衰減、更換單板的方式解決。15分鐘非光功率問題子場景處理步驟1網管人員確認為非光功率問題分別查詢A、D兩站OTU單板的收發(fā)光功率，并對比歷史24H性能值，確認是非光功率問題導致的故障（可通過與故障前的光功率數據（如歷史光功率性能數據或定期刷新過的文檔）進行比較，以確定當前光功率值是否異常。）3分鐘2網管人員排除硬件故障1、 先硬復位發(fā)端單板，再硬復位收端單板；2、 如果硬復位完成后，業(yè)務未恢復，分別對A、D站OTU單板進行軟件內環(huán)回、外環(huán)回，確認是否單板故障；5分鐘3現場人員排除硬件故障1、對收發(fā)端單板進行硬環(huán)回，確認故障單板。2、對故障單板進行更換。10分鐘場景二：多波業(yè)務中斷 此處指無保護場景定位恢復步驟場景介紹A/B/C/D/E五個站點組成一個80波波分環(huán)（左上圖），每個站點均為背靠背的OTM站，各站信號流圖見左下圖。每個波道在中間站點均為M40-D40尾纖直接穿通?，F發(fā)現環(huán)上大量波道出現異常告警。多波中斷。步驟操作人員操作動作排除故障原因時間花費故障綜述：環(huán)路多波故障絕大部份都是由于主光路異常或者合分波板、光放板故障導致，在沒有光纖中斷的情況下，關鍵在于定位出故障出現的站點。1網管人員排除光纜故障查詢環(huán)路上所有站點OSC單板的輸入、輸出光功率（對比單板當前和歷史性能值），對比歷史記錄值，確認主光路是否存在光功率跌落，如果有跌落：1、 減少鏈路上可調衰減器件的衰減值（比如VOA等）；2、 適當增大光放板增益；通知客戶修復主光路；5分鐘2網管&現場人員排除光放板故障查詢環(huán)路上所有段落光放板的輸入、輸出光功率，對比歷史記錄值（對比單板當前和歷史性能值），確認是否存在異常的光放板，如果異常：1、 首先確認增益設置是否正確，不正確則修復并確認故障是否恢復；2、 通過光功率確認光放板（如果是OA系列單板）內部口衰耗是否正常，不正常則更換尾纖（DCM模塊不動）；3、 嘗試修改光放增益，無效則硬復位光放，4、 上述三步無法解決則更換光放大板；5分鐘3網管&現場人員排除OMU48/OD U48故障查詢環(huán)路上所有站點OMU48/ODU48的輸入、輸出光功率，對比歷史記錄值（對比單板當前和歷史性能值），如果有異常，則通過清潔光口、更換相關尾纖，調整光衰的方法排除故障，如無法排除，則更換單板。20分鐘4網管&現場人員排除操作異常上述主光功率問題均排除的情況下，應重點了解現場人員故障前的操作情況，是否存在DCM和光纜變化的情況，同時核查各站DCM配置，分析路由，嘗試性增減、替換DCM來解決。25分鐘場景三：常見保護業(yè)務中斷此處常見保護包括：光線路保護、客戶側1+1保護、板內1+1保護、ODUk SNCP保護、SW SNCP保護定位恢復步驟步驟操作人員操作動作快速恢復步驟時間花費1網管人員檢查保護組狀態(tài)，確認是否存在保護組被強制/鎖定在非NORMAL的通道上。如果是，解除強制/鎖定倒換查看業(yè)務是否恢復，如業(yè)務未恢復，將保護組強制倒換到另一通道上，查看業(yè)務是否恢復。強制倒換恢復32網管人員針對SNCP保護，可以嘗試去激活、激活保護組，業(yè)務無法恢復則再嘗試進行強制倒換，看業(yè)務是否恢復。去激活/激活恢復33網管人員刪除保護組重新配置，查看業(yè)務是否恢復；如果不恢復，再進行強制倒換，看業(yè)務是否恢復。重新配置保護組恢復54網管人員如果采取以上操作后都不恢復，將保護組兩端強制到主通道，參照波分側單波故障、多波故障的方式恢