xPON廣播風(fēng)暴的排查和網(wǎng)絡(luò)優(yōu)化方法

1、PON 廣播風(fēng)暴的排查和網(wǎng)絡(luò)優(yōu)化方法編號：版本：V1.0編 制： 審 核： 批 準(zhǔn)： All rights reserved版權(quán)所有 侵權(quán)必究( for internal use only)（ 僅供內(nèi)部使用）PON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 2 頁 共 11 頁2文檔修訂記錄文檔修訂記錄日期日期DateDate修訂版本修訂版本RevisionRevision VersionVersion修改修改章節(jié)章節(jié)SecSec No.No. 修改描述修改描述ChangeChange DescriptionDescription作者作者AuthorAuthorPON 廣播域過大的

2、排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 3 頁 共 11 頁3目目 錄錄1概述.42廣播風(fēng)暴的產(chǎn)生和危害.52.1廣播域的概念 .52.2廣播風(fēng)暴的產(chǎn)生 .52.3二層環(huán)路的危害 .52.4ONU 的幾種環(huán)路以及檢測機(jī)制.62.4.1端口自環(huán) .72.4.2端口內(nèi)環(huán) .72.4.3ONU 外環(huán).73廣播風(fēng)暴的定位.83.1識別網(wǎng)絡(luò)中的廣播風(fēng)暴 .83.2了解業(yè)務(wù) VLAN 規(guī)劃.83.3流量統(tǒng)計(jì)排查 .83.4環(huán)路排查 .83.5抓包排查 .94廣播風(fēng)暴的優(yōu)化措施.115附件.11PON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 4 頁 共 11 頁41概述概述本文檔主要針對 P

3、ON 接入網(wǎng)的特點(diǎn)，用于指導(dǎo)廣電運(yùn)營商客戶因廣播風(fēng)暴問題進(jìn)行網(wǎng)絡(luò)優(yōu)化；或我司在例行廣電行業(yè)客戶巡檢過程中，通過此文檔幫助巡檢同事盡快發(fā)現(xiàn)客戶網(wǎng)絡(luò)規(guī)劃問題，進(jìn)一步幫助客戶優(yōu)化整改網(wǎng)絡(luò)。近年來我司 PON 產(chǎn)品在廣電市場應(yīng)用過程中，發(fā)現(xiàn)其 PON 網(wǎng)絡(luò)以及上層匯聚層因早期規(guī)劃不合理，導(dǎo)致廣播域過大，一旦網(wǎng)絡(luò)中產(chǎn)生環(huán)路或者存在異常攻擊源等情況導(dǎo)致業(yè)務(wù)大面積中斷或嚴(yán)重丟包；如果廣播域過大的問題得不到及時(shí)優(yōu)化改善，隨著 PON 接入網(wǎng)規(guī)模逐漸擴(kuò)大，問題會越來越突出；PON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 5 頁 共 11 頁52廣播風(fēng)暴的產(chǎn)生和危害廣播風(fēng)暴的產(chǎn)生和危害2.1廣播域的

4、概念廣播是一種信息的傳播方式，指網(wǎng)絡(luò)中的某一設(shè)備同時(shí)向網(wǎng)絡(luò)中所有的其它設(shè)備發(fā)送數(shù)據(jù)，這個(gè)數(shù)據(jù)所能廣播到的范圍即為廣播域(Broadcast Domain)；通常在二層網(wǎng)絡(luò)中每個(gè)VLAN 都是一個(gè)廣播域；2.2廣播風(fēng)暴的產(chǎn)生廣播風(fēng)暴（broadcast storm）簡單的講是指當(dāng)廣播數(shù)據(jù)充斥網(wǎng)絡(luò)無法處理，并占用大量網(wǎng)絡(luò)帶寬，導(dǎo)致網(wǎng)絡(luò)性能下降，正常業(yè)務(wù)不能運(yùn)行，甚至徹底癱瘓，這就發(fā)生了“廣播風(fēng)暴”。廣播風(fēng)暴的表現(xiàn)特征：如果廣電用戶的寬帶和互動點(diǎn)播業(yè)務(wù)突然出現(xiàn)大面積的短時(shí)間中斷、寬帶測速帶寬嚴(yán)重不達(dá)標(biāo)、ping 寬帶撥號獲取到的網(wǎng)關(guān)或 ping 機(jī)頂盒的網(wǎng)關(guān)時(shí)延過大（達(dá)到幾十、幾百毫秒）甚至 pin

5、g 的過程中嚴(yán)重丟包；可能產(chǎn)生的原因主要包含兩大類：一是由于網(wǎng)絡(luò)拓?fù)涞囊?guī)劃和設(shè)計(jì)不合理導(dǎo)致廣播域過大，二是物理連接錯(cuò)誤或者配置錯(cuò)誤導(dǎo)致執(zhí)行二層環(huán)路；2.3二層環(huán)路的危害1、 MAC 地址表不穩(wěn)定（MAC 地址漂移） ；還是主機(jī) X 發(fā)送數(shù)據(jù)幀給路由器 Y，路由器的 MAC 地址表還沒有被交換機(jī)學(xué)習(xí)到，數(shù)據(jù)幀沿鏈路發(fā)送到交換 A 和交換機(jī) B 的端口 0,那么交換機(jī) A 和交換機(jī) B 都將主機(jī) X 的 MAC地址記錄在 port0。因?yàn)槭峭ㄟ^ port0 收到的數(shù)據(jù)幀，所以會通過兩個(gè)交換機(jī)的 port1 向外泛洪，交叉來到相互交換機(jī)的 port1 口，又認(rèn)為主機(jī) X 的 MAC 地址所對應(yīng)的端口

6、是port1,即從交換機(jī) A 發(fā)出來的數(shù)據(jù)幀來到了交換機(jī) B 的 port1 端口。然后交換機(jī) B 收到后又通過 Port0 口再次泛洪，依次類推，數(shù)據(jù)幀在環(huán)路里重復(fù)執(zhí)行上述過程，交換機(jī) A 和交換機(jī) B 重復(fù)的在 port1 以及 port0 上不斷的學(xué)習(xí)主機(jī) X 的 MAC 地址，造成 MAC 地址表的不穩(wěn)定。2、 數(shù)據(jù)幀被多重復(fù)制；主機(jī) X 準(zhǔn)備發(fā)一個(gè)單播幀給路由器 Y，數(shù)據(jù)報(bào)發(fā)出后，發(fā)現(xiàn)有兩條路可以到達(dá)路由器Y，一個(gè)是直接發(fā)過去，還有一條就是通過交換機(jī) A 轉(zhuǎn)給交換機(jī) B，然后再交給路由器 Y，此時(shí)路由器 Y 就收到了兩位一模一樣的數(shù)據(jù)幀。PON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0

7、 內(nèi)部公開 第 6 頁 共 11 頁63、 廣播風(fēng)暴；二層數(shù)據(jù)幀的格式中，沒有類似于三層 IP 報(bào)頭中 TTL 機(jī)制，所以數(shù)據(jù)幀在網(wǎng)絡(luò)中將被無限次數(shù)的傳遞，從面造成了廣播風(fēng)暴，如果是單播的數(shù)據(jù)還要好一些，如果是廣播或者組播數(shù)據(jù)在這樣一個(gè)環(huán)路網(wǎng)絡(luò)中傳遞則廣播風(fēng)暴更加明顯綜上所述，由于 PON 接入網(wǎng)的設(shè)備都是二層設(shè)備，數(shù)據(jù)幀的轉(zhuǎn)發(fā)原理和特點(diǎn)和交換機(jī)是相同的。2.4ONU 的幾種環(huán)路以及檢測機(jī)制ONU 使用私有協(xié)議 0 x0898 以廣播方式發(fā)送環(huán)路檢測報(bào)文，檢測報(bào)文中攜帶以下幾種信息，并作為幾種環(huán)路的判斷依據(jù)：源 MAC 為 CPU 的 MAC、交換端口 ID 等； PON 廣播域過大的排查和網(wǎng)

8、絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 7 頁 共 11 頁72.4.1端口自環(huán)端口自環(huán)當(dāng) ONU 的某個(gè) UNI 口收到的環(huán)路檢測報(bào)文中，源源 MAC 是自己的是自己的 CPU MAC 且報(bào)文且報(bào)文中的端口中的端口 ID 等于自己的端口等于自己的端口 ID，那么就判斷為端口自環(huán)并 down 掉此端口；OLT三三層層交交換換機(jī)機(jī)InternetPOSONU接入交換機(jī)2.4.2端口內(nèi)環(huán)端口內(nèi)環(huán)當(dāng) ONU 的某個(gè) UNI 口收到的環(huán)路檢測報(bào)文中，源源 MAC 是自己的是自己的 CPU MAC 但報(bào)文但報(bào)文中的端口中的端口 ID 不等于自己的端口不等于自己的端口 ID，那么就判斷為端口內(nèi)環(huán)，并 down

9、掉端口 ID 最小的端口；OLT三三層層交交換換機(jī)機(jī)InternetPOSONU2.4.3ONU 外環(huán)外環(huán)當(dāng) ONU 的某個(gè) UNI 口收到的環(huán)路檢測報(bào)文中，源源 MAC 不是自己的不是自己的 CPU MAC 那么PON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 8 頁 共 11 頁8就判斷為端口外環(huán)，并 down 掉兩臺 ONU 中那個(gè)端口 ID 最小的端口；OLTOLT三三層層交交換換機(jī)機(jī)InternetPOSPOSONUONUONUor3 3廣播風(fēng)暴的定位廣播風(fēng)暴的定位3.1了解全網(wǎng)拓?fù)洹LAN 規(guī)劃以及用戶規(guī)模根據(jù)目前我司對各地廣電客戶的了解，很少有廣電客戶能基于用戶細(xì)分

10、業(yè)務(wù) VLAN，更多的是基于 PON、基于整臺 OLT 劃分 VLAN，甚至還存在基于機(jī)房劃分 VLAN；如安徽蚌埠廣電同一機(jī)房的不同 OLT 劃分在同一 VLAN 域內(nèi)，其廣播域的范圍可想而知；通?？蛻魳I(yè)務(wù) VLAN 劃分的范圍大小與故障影響程度成正比關(guān)系；在巡檢過程中或遇到實(shí)際故障時(shí)，首先要獲取客戶的全網(wǎng)拓?fù)洌私馕宜?OLT 的上層網(wǎng)絡(luò)如何規(guī)劃的；還要了解每種業(yè)務(wù)的用戶數(shù)量，單臺 OLT 用戶數(shù)量最多能達(dá)到多少，根據(jù)用戶數(shù)量已經(jīng)上層拓?fù)湮覀兛梢怨浪愠鰪V播域有多大，廣播流量有多大，那種一旦出故障的影響范圍也可相應(yīng)推斷得出；如果在巡檢時(shí)客戶反饋網(wǎng)絡(luò)處于建設(shè)初期，用戶數(shù)量較少，但是經(jīng)了解發(fā)現(xiàn)其

11、 VLAN規(guī)劃不合理，廣播域過大；我們要計(jì)算推斷當(dāng)用戶數(shù)量發(fā)展到何種規(guī)模時(shí)是會觸發(fā)廣播域的問題，提早告知用戶，警示其潛在的風(fēng)險(xiǎn)；同樣在巡檢或處理故障時(shí)，可通過巡檢工具以及網(wǎng)管告警，將客戶網(wǎng)絡(luò)存在的其他問題一網(wǎng)掃盡，全部展示給客戶，今早發(fā)現(xiàn)問題盡早解決問題；3.2流量統(tǒng)計(jì)排查自下而上的分別排查 ONU 的上聯(lián)口、OLT 的 PON 口、OLT 上聯(lián)口的流量統(tǒng)計(jì)，我司PON 產(chǎn)品支持流量統(tǒng)計(jì)分類，分為單播、組播、廣播三類流量單獨(dú)統(tǒng)計(jì)；通過命令查看上述幾個(gè)節(jié)點(diǎn)的廣播流量如果增長非?？?，如每秒幾百個(gè)或者上千個(gè)數(shù)據(jù)包，那么可以進(jìn)一步的印證產(chǎn)生了廣播風(fēng)暴；3.3排查環(huán)路環(huán)路導(dǎo)致的廣播風(fēng)暴，在環(huán)路解除之前網(wǎng)

12、絡(luò)中的廣播風(fēng)暴會一直持續(xù)下去；如果環(huán)路發(fā)生在 OLT 的上聯(lián)網(wǎng)絡(luò)（包括因上聯(lián)交換機(jī)未做端口隔離來自其他 OLT 的環(huán)路） ，此時(shí)可以根據(jù)某個(gè)特定業(yè)務(wù)中斷的 PC 或機(jī)頂盒 MAC 在 OLT 上反復(fù) trace 或 search；會發(fā)現(xiàn)特定的 MAC 會不固定的漂移到上聯(lián)口或者 PON 側(cè)端口；RAISECOM(fttx)#trace mac-address 006B.8E1E.E413PON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 9 頁 共 11 頁91.Tracing OLT :Find specified MAC from PON 1/1,dynamic2.Tracing

13、 PON 1/1 :Find specified MAC from ONU 17,dynamic3.Tracing ONU 1/1/17 :Find specified MAC from UNI 3,dynamicRAISECOM #search mac-address 006B.8E1E.E413Mac Address Port vp Vlan Flags -006B.8E1E.E413 1 0 807 Hit如果環(huán)路發(fā)生在 ONU 側(cè)，由于 ONU 默認(rèn)檢測到環(huán)路會立即 down 掉發(fā)生環(huán)路端口，那么廣播風(fēng)暴能夠很快的消失；但是人為關(guān)閉 ONU 的環(huán)路檢測功能，一旦 ONU 側(cè)發(fā)生了環(huán)路那

14、么廣播風(fēng)暴就會洪范到上層網(wǎng)絡(luò)；所以排查環(huán)路時(shí)還要確認(rèn)下所有 ONU 的環(huán)路配置以及是否有環(huán)路記錄；1.x 命令：RAISECOM#show interface onu loopback-port PORT ID State/Time Source Port-1/3/14/4 down/infinite 12.x 命令RAISECOM#show epon-onu loopback-port PORT ID State/Time Source Port-2/2/1/1 down/infinite 13.4抓包排查在巡檢或處理故障時(shí)，最直接有效的定位廣播風(fēng)暴問題就是抓包，通過抓包不僅能發(fā)現(xiàn)廣播風(fēng)暴問

15、題還能直中要害找到故障根源；當(dāng)處理故障時(shí)如網(wǎng)絡(luò)中有異常的主機(jī)發(fā)送大量的廣播報(bào)文可能會表現(xiàn)為偶爾網(wǎng)絡(luò)中斷偶爾恢復(fù)正常的狀態(tài)；此時(shí)抓包必須在出現(xiàn)故障時(shí)刻抓包才能抓到最有價(jià)值的信息。如在出差巡檢期間，為了發(fā)現(xiàn)廣播風(fēng)暴問題，需要挑選業(yè)務(wù)容量最多的 OLT 在業(yè)務(wù)高峰期如晚上的 18 點(diǎn)至 21 點(diǎn)之間進(jìn)行抓包；如果條件允許請同時(shí)鏡像抓取 ONU 上聯(lián)口的數(shù)據(jù)包和 OLT 上聯(lián)口的數(shù)據(jù)包；如下圖：OLT三三層層交交換換機(jī)機(jī)InternetPOSONUGEPC 1PC 2UplinkSet Top BoxSet Top BoxPON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 10 頁 共 11

16、 頁10以江蘇大豐廣電寬帶業(yè)務(wù)頻繁中斷的故障為例進(jìn)行抓包分析：1、在等待故障復(fù)現(xiàn)時(shí)，同步 ONU 下掛 PC 寬帶撥號上網(wǎng)后一直進(jìn)行 ping 上聯(lián)網(wǎng)關(guān)；出現(xiàn)故障時(shí) PC 也出現(xiàn) ping 不通網(wǎng)關(guān)，在抓包中過濾出 ARP 和 ICMP 報(bào)文，找到 PC ping網(wǎng)關(guān)不通的時(shí)間節(jié)點(diǎn)，可以在報(bào)文中明顯看到在抓包開始后的 145.43 秒這個(gè)時(shí)間點(diǎn)業(yè)務(wù)就完全不通的，剩下的全是 ARP 報(bào)文。在抓包中顯示大量的 ARP 報(bào)文的主要來自兩個(gè)主機(jī)，其中一個(gè) MAC 地址為：00:0E:C6:C0:5F:FF，在 OLT 上追蹤 MAC 確認(rèn)來自上聯(lián)網(wǎng)絡(luò)，進(jìn)一步在匯聚交換機(jī)找到目的主機(jī)為 EOC 廠家的兩

17、臺網(wǎng)管服務(wù)器。隨后從路通 EOC 廠家方面得到印證他們的網(wǎng)管服務(wù)器為了探測 EOC 局端會周期性做對整個(gè)子網(wǎng)做 ARP 掃描，在故障瞬時(shí)突發(fā) ARP 報(bào)文達(dá)到每秒近 2k 個(gè) arp；在 5508A 上不升級版本，不改變其他配置，只是把發(fā) arp 掃描的兩個(gè)網(wǎng)管服務(wù)器 MAC 過濾掉后觀察數(shù)個(gè)小時(shí)一直未再出故障； 如下圖：紅色曲線是 ARP 流量，黑色是總流量，在抓包開始的 120s 左右突然出現(xiàn)瞬時(shí) ARP 流量峰值，近 2000 個(gè)包/SPON 廣播域過大的排查和網(wǎng)絡(luò)優(yōu)化方法V1.0 內(nèi)部公開 第 11 頁 共 11 頁11 4廣播風(fēng)暴的優(yōu)化措施廣播風(fēng)暴的優(yōu)化措施1、 首先細(xì)分業(yè)務(wù) VLAN，在 OLT 上至少保證每 PON 口每業(yè)務(wù) VLAN,最理想的情況下采用靈活 QINQ 的方式達(dá)到 PSPUPV(每業(yè)務(wù)每用戶每 VLAN)的效果；2、 打開匯聚交換機(jī)的端口隔離、不隨意關(guān)閉 PON 口隔離、不隨意關(guān)閉 ONU 之間的 P2P隔離；3、 OLT 全局不創(chuàng)建無用業(yè)務(wù) VLAN，OLT 的每個(gè) PON 只讓實(shí)際存在業(yè)務(wù)的 VLAN 通過；ONU上聯(lián)口修改為 trunk 模式并只讓 ONU 下面實(shí)際存在的業(yè)務(wù) VL