華為PTNETH業(yè)務(wù)故障處理

2020 4 18 PTNLMT PTNETH業(yè)務(wù)故障處理 Page2 目錄 原因篇故障定位流程篇典型案例分析篇總結(jié)篇附錄 Page3 原因篇 ETH業(yè)務(wù)不通 中斷原因主要包括以下幾種 我們的定位工作也就主要圍繞這幾個方面展開 配置錯誤硬件故障 設(shè)備異常鏈路問題 報文丟失對接設(shè)備異常 配合問題軟件缺陷 Page4 原因篇 業(yè)務(wù)配置錯誤 配置錯誤可能原因 1 對接端口的工作模式配置不一致 2 對接端口Tag屬性配置不一致 3 網(wǎng)絡(luò)側(cè)PW Tunnel參數(shù)配置錯誤 4 業(yè)務(wù)被誤刪除 網(wǎng)管與設(shè)備上配置不一致 5 對ELan業(yè)務(wù)來說 水平分割組 靜態(tài)Mac地址表的配置也比較關(guān)鍵 以下故障場景優(yōu)先排查配置錯誤 1 創(chuàng)建后業(yè)務(wù)不通 2 修改配置后業(yè)務(wù)中斷 3 新增業(yè)務(wù)后其他業(yè)務(wù)受到影響 Page5 原因篇 硬件故障 設(shè)備異常 硬件連接錯誤 原因可能是單板未插緊 物理板和邏輯板不匹配 光纖 網(wǎng)線損壞或連接錯誤等等 硬件故障 原因可能是單板元器件 芯片損壞 單板元器件壽命到期等等 關(guān)鍵器件會有相應(yīng)告警上報 詳細(xì)說明如下 Page6 原因篇 硬件故障 設(shè)備異常 續(xù) 以下故障場景優(yōu)先排查硬件 設(shè)備異常 1 業(yè)務(wù)不通或出現(xiàn)丟包時 查詢告警存在硬件設(shè)備級別告警 2 業(yè)務(wù)更改物理線路后 業(yè)務(wù)出現(xiàn)誤碼或不通 Page7 原因篇 鏈路問題 報文丟失 接入側(cè)鏈路故障 原因可能是接入設(shè)備的物理鏈路中斷或質(zhì)量有問題 導(dǎo)致報文被修改或無法傳入PTN設(shè)備 對于RJ45接口 可以查詢是否存在ETH LOS ETH LINK DOWN告警來進(jìn)行排查 對于光口可以查ETH LOS ETH LINK DOWN IN PWR ABN告警來進(jìn)行排查 PW Tunnel故障 原因可能是PW Tunneldown 業(yè)務(wù)流經(jīng)的物理鏈路中斷等等 報文擁塞 原因可能是帶寬配置過小 同優(yōu)先級的報文流量過大導(dǎo)致丟包 或網(wǎng)絡(luò)上流經(jīng)此端口的流量超過端口實際的物理流量的范圍而丟包等等 存在物理或邏輯上環(huán)路故障 僅針對Elan 原因可能是網(wǎng)絡(luò)組網(wǎng)就存在物理環(huán)路 或水平分組配置不合理引起邏輯鏈路上的環(huán)路或報文被環(huán)回的情況等等 Page8 原因篇 對接設(shè)備異常 配合問題 對接設(shè)備異常 原因可能是對接設(shè)備將報文修改了 我們接到錯誤報文就直接丟棄 或者對接設(shè)備異常導(dǎo)致無法發(fā)送數(shù)據(jù)到對端等 配合問題 原因可能是業(yè)務(wù)流經(jīng)的設(shè)備過多 網(wǎng)絡(luò)流量擁塞 帶寬分配過小 中間網(wǎng)絡(luò)設(shè)備調(diào)度算法有缺陷等等導(dǎo)致網(wǎng)絡(luò)時延 抖動過大 從而影響業(yè)務(wù)的傳輸性能 以下故障場景優(yōu)先排查對端設(shè)備異常 1 我們設(shè)備上沒有異常告警且配置正確 查詢端口性計數(shù)無收情況 2 業(yè)務(wù)傳輸不穩(wěn)定 會出現(xiàn)中斷后又恢復(fù)的情況 3 業(yè)務(wù)原來是正常 我們設(shè)備配置沒有更改過 出現(xiàn)的業(yè)務(wù)不通問題 Page9 原因篇 軟件缺陷 軟件缺陷主要有以下幾種情況 1 配置丟失 2 單板或網(wǎng)元異常復(fù)位 3 軟件不同模塊的配置參數(shù)不一致 4 軟件內(nèi)部處理流程錯誤 5 告警誤報 需要研發(fā)人員提供相關(guān)命令才能確定 Page10 故障定位流程篇 通用方法介紹通用流程介紹 1 硬件故障定位流程 2 Tunnel pw故障定位流程 3 接入側(cè)故障定位流程 4 ELAN業(yè)務(wù)層面定位流程 5 其它故障定位流程 Page11 故障定位流程篇 通用方法 先分離外部故障 再定位內(nèi)部故障 先定位宿端和源端 然后定位中間站點 先定位NNI側(cè) 然后定位UNI側(cè) 如果較多業(yè)務(wù)故障 注意歸納分析這些故障現(xiàn)象有無共同的規(guī)律 例如 這些業(yè)務(wù)是否都是流經(jīng)特定的網(wǎng)元 單板 端口 故障業(yè)務(wù)是否由某些特定的Tunnel承載 故障業(yè)務(wù)是否都是同一種類型 Page12 故障定位流程篇 通用流程 Page13 通用流程 硬件故障處理流程 Page14 通用流程 TNL PW異常處理流程 Page15 通用流程 uni側(cè)故障處理流程 Page16 通用流程 ELAN業(yè)務(wù)層面故障處理流程 Page17 通用流程 其它故障處理流程 Page18 典型案例分析篇 ELine業(yè)務(wù)典型案例分析 現(xiàn)象描述關(guān)鍵過程分析懷疑點排除問題根因經(jīng)驗總結(jié) 預(yù)防措施ELan業(yè)務(wù)典型案例分析 現(xiàn)象描述關(guān)鍵過程分析懷疑點排除問題根因經(jīng)驗總結(jié) 預(yù)防措施本章節(jié)要求讀者了解PTN產(chǎn)品架構(gòu)和業(yè)務(wù)模型 熟悉基本的業(yè)務(wù)配置 Page19 ELine業(yè)務(wù)典型案例分析篇 現(xiàn)象描述 某運營商網(wǎng)絡(luò)通過在PTN設(shè)備上配置專線業(yè)務(wù)用以傳其時鐘數(shù)據(jù) 也就是將RNC的時鐘數(shù)據(jù)傳輸?shù)絅odeB 但有些站點會出現(xiàn)業(yè)務(wù)中斷后又自動恢復(fù)的問題 組網(wǎng)如下圖 Page20 ELine業(yè)務(wù)典型案例分析篇 關(guān)鍵過程分析 根據(jù)現(xiàn)象某些站點業(yè)務(wù)間歇性的中斷又恢復(fù) 可能存在以下幾種情況 1 問題站點的PTN網(wǎng)元可能存在異常 比如 業(yè)務(wù)所在單板存在間歇性的復(fù)位 2 傳輸物理鏈路不穩(wěn)定 3 中間網(wǎng)絡(luò)存在異常 4 PTN設(shè)備與RNC或NodeB之間配合存在問題 Page21 ELine業(yè)務(wù)典型案例分析篇 懷疑點排除 第一步 獲取了問題站點的網(wǎng)元上的所有當(dāng)前及歷史告警 業(yè)務(wù)配置 端口配置 errlog信息 及操作記錄 沒有發(fā)現(xiàn)網(wǎng)元及業(yè)務(wù)單板存在異常的情況 因此 網(wǎng)元或業(yè)務(wù)單板存在異常的懷疑點被排除 第二步 由于獲取RNC NodeB及中間網(wǎng)絡(luò)上的相關(guān)告警信息 客戶需要一定的時間才能提供 因此 從客戶提供的問題站點的信息分析 這些問題站點都有一個共同點 與NodeB相連的PTN設(shè)備都是912設(shè)備 且都是用網(wǎng)線相連接 檢查了一個問題站點網(wǎng)線的物理連接 沒有問題 因此 可能存在傳輸鏈路的疑點基本上也可以被排除 Page22 ELine業(yè)務(wù)典型案例分析篇 懷疑點排除 續(xù) 第三步 從客戶提供的部分信息可以看出 問題站點的NodeB上有SynLos告警開始和結(jié)束記錄 與業(yè)務(wù)中斷和業(yè)務(wù)恢復(fù)的時間比較 基本上吻合 而SynLos告警是NodeB的時鐘跟蹤不上才會上報的 那么 究竟是業(yè)務(wù)中斷引起eNodeB的時鐘跟蹤不上而上報SynLos告警 還是時鐘跟蹤不上后 而引起業(yè)務(wù)中斷呢 由于排除前者非常困難 因為還涉及到中間網(wǎng)絡(luò)的分析 那相比前者 確認(rèn)后者是否NodeB時鐘跟蹤不上就會中止發(fā)送數(shù)據(jù) 及NodeB時鐘跟蹤有那些性能要求的問題就更容易些 與客戶確認(rèn)結(jié)論 NodeB如果一段時間時鐘跟蹤不上 NodeB端口就會停止向外發(fā)送數(shù)據(jù) 且NodeB對網(wǎng)絡(luò)性能要求是1 clockpacket的jitter小于等于20微秒 Page23 ELine業(yè)務(wù)典型案例分析篇 懷疑點排除 續(xù) 第四步 根據(jù)確認(rèn)的結(jié)論 我們嘗試了以下測試方案 用測試儀從PTN91218端口打報文 在PTN3900網(wǎng)元的uni端口作環(huán)回 將業(yè)務(wù)環(huán)回到PTN91218端口 測試以太專線業(yè)務(wù)傳輸?shù)臄?shù)據(jù)包PacketDelay PacketJitter的指標(biāo) 再將PTN912設(shè)備換成PTN1900設(shè)備 經(jīng)過相同的物理路徑測試相應(yīng)地指標(biāo) 測試結(jié)論如下 單位 微秒 Page24 ELine業(yè)務(wù)典型案例分析篇 問題根因 由第四步的測試數(shù)據(jù) 基本可以確定是網(wǎng)絡(luò)上數(shù)據(jù)傳輸?shù)臅r延抖動不能很好地滿足NodeB對網(wǎng)絡(luò)性能的要求 當(dāng)網(wǎng)絡(luò)上性能變差時 業(yè)務(wù)就會中斷 而PTN912相比PTN1900來說是相對低端的產(chǎn)品 在硬件轉(zhuǎn)發(fā)能力上比PTN1900要弱 且內(nèi)部轉(zhuǎn)發(fā)原理也不一樣 PTN912是通過軟轉(zhuǎn)發(fā)來實現(xiàn)的 因此 在PTN912所在的某些站點會出現(xiàn)業(yè)務(wù)間歇性中斷概率較大 Page25 ELine業(yè)務(wù)典型案例分析篇 經(jīng)驗總結(jié) 1 導(dǎo)致ELine業(yè)務(wù)中斷原因比較多 但沒有異常的告警或事件記錄的情況下業(yè)務(wù)中斷的情況比較少見 在此種情況下 一定要對與之對接設(shè)備的異常情況進(jìn)行監(jiān)測 這些異常情況能幫助我們更快速準(zhǔn)確地定位出問題的根本原因 2 用以太業(yè)務(wù)傳時鐘數(shù)據(jù)應(yīng)用比較少 使用前需要先評估我們設(shè)備所在的整個網(wǎng)絡(luò)性能是否能很好地滿足應(yīng)用需求 Page26 典型案例分析篇 ELine業(yè)務(wù)典型案例分析 現(xiàn)象描述關(guān)鍵過程分析懷疑點排除問題根因經(jīng)驗總結(jié) 預(yù)防措施ELan業(yè)務(wù)典型案例分析 現(xiàn)象描述關(guān)鍵過程分析懷疑點排除問題根因經(jīng)驗總結(jié) 預(yù)防措施本章節(jié)要求讀者了解PTN產(chǎn)品架構(gòu)和業(yè)務(wù)模型 熟悉基本的業(yè)務(wù)配置 Page27 ELan業(yè)務(wù)典型案例分析篇 現(xiàn)象描述 某運營商網(wǎng)絡(luò)通過在PTN設(shè)備上配置專網(wǎng)與另外一個設(shè)備供應(yīng)商的DSLAM對接 在實際業(yè)務(wù)割接時 通過DSLAM上網(wǎng) 業(yè)務(wù)不通 出現(xiàn)問題的網(wǎng)絡(luò)的邏輯組網(wǎng)如下圖 Page28 ELan業(yè)務(wù)典型案例分析篇 關(guān)鍵過程分析 業(yè)務(wù)不通 可能存在以下幾種情況 1 PTN設(shè)備與DSLAM之間配合存在問題 2 PTN設(shè)備上業(yè)務(wù)配置有問題 3 DSLAM設(shè)備異常 Page29 ELan業(yè)務(wù)典型案例分析篇 懷疑點排除 第一步 對PTN設(shè)備上專網(wǎng)配置進(jìn)行了檢查 基本業(yè)務(wù)配置沒有問題 只是網(wǎng)元PTN60012上的網(wǎng)絡(luò)側(cè)配置有水平分割組 而另外兩個網(wǎng)元上沒有配置水平分割組 因此 基本配置應(yīng)該不存在問題 第二步 通過查詢網(wǎng)元上的mac地址學(xué)習(xí)信息 發(fā)現(xiàn)廣播流量會從DSLAM PTN60012 PTN60014 PTN60013 PTN60012最后回到DSLAM的上行口 即PPPOE業(yè)務(wù)客戶端的請求連接報文被專網(wǎng)環(huán)回 從而導(dǎo)致DSLAM的MAC地址表錯誤被刷新 因此 問題的基本原因是在對專網(wǎng)的應(yīng)用的設(shè)計上 Page30 ELan業(yè)務(wù)典型案例分析篇 解決方案 解決方案 在PTN60013或PTN60014上配置水平分割組阻斷其專網(wǎng)中的兩個網(wǎng)絡(luò)側(cè)間報文的轉(zhuǎn)發(fā)功能即可 Page31 ELan業(yè)務(wù)典型案例分析篇 經(jīng)驗總結(jié) 導(dǎo)致Elan業(yè)務(wù)不通的原因比較多 但在遇到問題后 分析透徹現(xiàn)網(wǎng)組網(wǎng) 清晰業(yè)務(wù)構(gòu)架和轉(zhuǎn)發(fā)機制是至關(guān)重要的 Page32 總結(jié)篇 本文檔只是對ELine Elan業(yè)務(wù)故障的可能的原因進(jìn)行說明 針對兩類業(yè)務(wù)形態(tài) 僅各選擇了一個典型案例進(jìn)行分析 前面提到的其它的影響ELine Elan業(yè)務(wù)原因案例就不一一例舉 附錄篇中 文檔有詳細(xì)總結(jié) 請參考 本文描述的案例都是比較典型的 定位過程僅供參考 不必完全按照以上描述的步驟進(jìn)行定位 可以根據(jù)經(jīng)驗靈活選擇 如果現(xiàn)場無法定位清楚或業(yè)務(wù)已被恢復(fù) 請采集完整故障信息返回研發(fā)分析 所需信息如下 Page33 總結(jié)篇 續(xù) 1 T2000當(dāng)前告警和歷史告警 2