承載集團(tuán)客戶的MPLSVPN網(wǎng)絡(luò)

1、中國(guó)挪動(dòng)MPLS VPN網(wǎng)絡(luò)-IP公用承載網(wǎng)中國(guó)挪動(dòng)集團(tuán) 網(wǎng)絡(luò)部 黃昭銳- 2 - 目 錄中國(guó)挪動(dòng)IP公用承載網(wǎng)引見(jiàn)IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量2MPLS VPN業(yè)務(wù)開(kāi)展的背景 客戶業(yè)務(wù)需求-從省內(nèi)業(yè)務(wù)擴(kuò)展到省際業(yè)務(wù). IP承載網(wǎng)特性-覆蓋廣、質(zhì)量高、平安性高的網(wǎng)絡(luò)。PEPEPEPEPECEA 用戶CEA 用戶CEB 用戶CEB 用戶CEB 用戶 MPLS VPN可以為用戶提供不同邏輯拓?fù)溷暯拥目缡I(yè)務(wù)。 MPLS VPN經(jīng)過(guò)不同的“虛通道，傳送不同用戶VPN的數(shù)據(jù)。 各條“虛通道互不干擾，保證用戶數(shù)據(jù)的隔離。 Internet 互聯(lián)網(wǎng)與VPN承載網(wǎng)分別，

2、降低公眾網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)。MPLS VPN網(wǎng)絡(luò)特點(diǎn)3中國(guó)挪動(dòng)IP公用承載網(wǎng)引見(jiàn) 中國(guó)挪動(dòng)IP公用承載網(wǎng)是中國(guó)挪動(dòng)面向多種業(yè)務(wù)、可以同時(shí)支持語(yǔ)音、視頻、數(shù)據(jù)等多業(yè)務(wù)的中心承載網(wǎng)絡(luò)，是全國(guó)性的IP網(wǎng)絡(luò)。 主要面向承載中國(guó)挪動(dòng)自有高效力質(zhì)量和高平安可靠性要求的電信業(yè)務(wù)包括軟交換網(wǎng)、TD中心網(wǎng)電路域/分組域、中國(guó)挪動(dòng)企業(yè)內(nèi)部支撐系統(tǒng)和大客戶業(yè)務(wù)。 網(wǎng)絡(luò)經(jīng)過(guò)MPLS VPN來(lái)承載和隔離業(yè)務(wù)，保證業(yè)務(wù)信息高速、平安傳送。中國(guó)挪動(dòng)IP公用承載網(wǎng)始建于2004年，經(jīng)過(guò)多次工程擴(kuò)容建立，到2021年，網(wǎng)絡(luò)曾經(jīng)覆蓋全國(guó)31個(gè)省市自治區(qū)約340多個(gè)地市節(jié)點(diǎn)以及網(wǎng)管中心節(jié)點(diǎn)。4- 5 - 目 錄中國(guó)挪動(dòng)IP公用承載網(wǎng)引

3、見(jiàn)IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量5IP專網(wǎng)網(wǎng)絡(luò)組網(wǎng)中國(guó)挪動(dòng)IP承載網(wǎng)整體網(wǎng)絡(luò)規(guī)劃定位于中心、會(huì)聚和接入3層構(gòu)造，其中接入節(jié)點(diǎn)曾經(jīng)覆蓋全國(guó)一切340余個(gè)地市，方案建立廣州國(guó)際出口節(jié)點(diǎn)，可以保證滿足用戶VPN業(yè)務(wù)的全國(guó)/海外接入需求；后續(xù)方案建立北京、上海國(guó)際出口節(jié)點(diǎn)。網(wǎng)絡(luò)組網(wǎng)省會(huì)和重要城市各個(gè)地市中心城市6IP專網(wǎng)網(wǎng)絡(luò)組網(wǎng)中心層：北京、上海、廣州、沈陽(yáng)、南京、武漢、成都、西安、杭州9個(gè)城市分別配置2臺(tái)中心路由器CR或中心兼作會(huì)聚路由器CR/BR構(gòu)成9對(duì)中心層節(jié)點(diǎn)。會(huì)聚層其他省省會(huì)城市及廈門、廣州、深圳、大連、無(wú)錫、青島成對(duì)配置會(huì)聚路由器BR，構(gòu)成27對(duì)會(huì)聚層節(jié)

4、點(diǎn)。接入層全國(guó)300多地市成對(duì)配置接入路由器AR，也稱為PE，構(gòu)成接入層節(jié)點(diǎn)。7IP專網(wǎng)路由設(shè)置網(wǎng)絡(luò)整體路由組織采用扁平化原那么，全網(wǎng)為單一自治域AS域IGP采用IS-IS路由協(xié)議，一切路由器置于Level 2層中啟動(dòng)IGP ISIS的快速收斂運(yùn)用LDP協(xié)議分發(fā)標(biāo)簽經(jīng)過(guò)MP-iBGP傳播VPN路由信息，實(shí)現(xiàn)VPN內(nèi)的互通中心層TE FRR鏈路維護(hù)891、全網(wǎng)開(kāi)啟ISIS，經(jīng)過(guò)metric值設(shè)置途徑選擇；全網(wǎng)為同一個(gè)AS域，AS號(hào)為24059。2、全網(wǎng)開(kāi)啟MPLS，經(jīng)過(guò)LDP標(biāo)簽分發(fā)協(xié)議建立LSP;經(jīng)過(guò)MPLS VPN封裝業(yè)務(wù)系統(tǒng)IP專網(wǎng)路由設(shè)置103、CR之間部署流量工程TE:流量工程是控制流

5、量如何經(jīng)過(guò)本網(wǎng)絡(luò)以實(shí)現(xiàn)資源利用的最大化和提升網(wǎng)絡(luò)的表現(xiàn)力的一種手段。TE FRR收斂時(shí)間在50ms以內(nèi)。 目前僅在中心層CR之間的一切鏈路部署TE； 一切中心節(jié)點(diǎn)之間實(shí)現(xiàn)“一跳式的維護(hù)，備用LSP僅在中心層之間實(shí)現(xiàn)；IP專網(wǎng)路由設(shè)置- 11 - IP承載網(wǎng)、CMNET專線架構(gòu)對(duì)比整個(gè)IP專網(wǎng)為一個(gè)自治域每個(gè)省網(wǎng)為一個(gè)自治域每個(gè)省網(wǎng)為 一個(gè)自治域骨干層骨干網(wǎng)為 一個(gè)自治域省網(wǎng)層IP專網(wǎng)CMNET硬件設(shè)備與鏈路設(shè)置路由設(shè)備全網(wǎng)采用業(yè)界上最先進(jìn)的設(shè)備構(gòu)建，具備良好的業(yè)務(wù)支持才干，具備MPLS等業(yè)務(wù)的開(kāi)展才干，設(shè)備處置才干及可靠性高。中繼設(shè)置網(wǎng)絡(luò)一切中繼鏈路帶寬設(shè)置滿足全網(wǎng)任何1臺(tái)路由器宕機(jī)及任何1條

6、中繼鏈路失效時(shí)的流量引導(dǎo)需求。全網(wǎng)根本采用N*10G鏈路組網(wǎng)，全網(wǎng)中繼鏈路平均鏈路利用率不超越30%。全網(wǎng)為輕載網(wǎng)絡(luò)，對(duì)于效力質(zhì)量有力保證。2021年2季度，現(xiàn)網(wǎng)省際總帶寬到達(dá)1413G，省內(nèi)總帶寬12000G。華為 NE5000ENE80E思科 CRS ASRJuniper T1600阿爾卡特 7750SR12IP專網(wǎng)的維護(hù)機(jī)制設(shè)備級(jí)鏈路級(jí)網(wǎng)絡(luò)級(jí) 設(shè)備關(guān)鍵部件冗余 集中控制&分布式轉(zhuǎn)發(fā)體系構(gòu)架 MPLS OAM 端口Trunk 鏈路雙歸 環(huán)網(wǎng)維護(hù) IGP快速收斂 TE FRR設(shè)備級(jí)：路由器設(shè)備雙電源、雙引擎，設(shè)備缺點(diǎn)率下降明顯；鏈路級(jí)：鏈路缺點(diǎn)路由器快速檢測(cè)到達(dá)傳輸級(jí)別；網(wǎng)絡(luò)級(jí)：節(jié)點(diǎn)、鏈路缺

7、點(diǎn)快速切換維護(hù)，業(yè)務(wù)中斷時(shí)間到達(dá)電信級(jí)。13- 14 - 目 錄中國(guó)挪動(dòng)IP公用承載網(wǎng)引見(jiàn)IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量14IP承載網(wǎng)業(yè)務(wù)情況省帶寬Gpbs省帶寬Gpbs省帶寬Gpbs省帶寬Gpbs北京340 浙江200重慶40貴州20 湖北370 河南50天津20云南20 廣東300 河北40山西40西藏20 上海210 福建40內(nèi)蒙20甘肅33 江蘇270 安徽40吉林20青海23 四川170 山東40黑龍江20寧夏20 遼寧110 湖南40江西30新疆30 陜西190 廣西40海南20總部20 出省帶寬 出省帶寬利用率在16%以下，節(jié)假日突發(fā)量約在30

8、%左右。可以滿足業(yè)務(wù)需求。 集團(tuán)客戶接入的業(yè)務(wù)帶寬門限在接入帶寬大小，而不是大網(wǎng)容量。出省流量Gbps15IP專網(wǎng) 網(wǎng)絡(luò)性能與技術(shù)目的網(wǎng)絡(luò)時(shí)延PE位置平均時(shí)延城市范圍同一省內(nèi)一級(jí)城市間60ms鄭州，長(zhǎng)沙，武漢，南昌，合肥，南京，石家莊，西安，杭州，廣州，上海，北京，天津，濟(jì)南，太原，成都二級(jí)城市間或二級(jí)至一級(jí)城市間90ms蘭州、呼和浩特、福州、南寧、西寧、重慶、海口、沈陽(yáng)、貴陽(yáng)、哈爾濱、昆明、銀川、長(zhǎng)春、烏魯木齊、拉薩、大連、無(wú)錫、深圳、無(wú)錫、廈門三級(jí)城市間或與一二級(jí)城市間125ms其他城市國(guó)際段（HK-LA-LD）16IP專網(wǎng) 網(wǎng)絡(luò)性能與技術(shù)目的丟包率與抖動(dòng)性能目的可用率設(shè)備可用率：雙節(jié)點(diǎn)設(shè)

9、備99.99%、單節(jié)點(diǎn)設(shè)備99.8%。鏈路可用率：雙鏈路可用率99.9%，單鏈路可用率99.7%。端到端路由器收斂時(shí)間 =3s中心區(qū)域快速重路由收斂時(shí)間 =50ms指標(biāo)（7月統(tǒng)計(jì)）丟包率抖動(dòng)平均值0.0002%0.93ms最大值0.04%5.47ms17網(wǎng)絡(luò)存在丟包率的緣由網(wǎng)絡(luò)特性的緣由：業(yè)務(wù)流量具備隨機(jī)性、突發(fā)性的緣由，某些節(jié)點(diǎn)在業(yè)務(wù)突發(fā)的情況下，轉(zhuǎn)發(fā)性能下降，存在隨機(jī)丟棄的能夠性。甚至在骨干網(wǎng)中的路由切換，也會(huì)有小幾率的丟包。尤其是數(shù)據(jù)業(yè)務(wù)主要為UDP報(bào)文，本身是面對(duì)無(wú)銜接的業(yè)務(wù)，一旦網(wǎng)絡(luò)略有抖動(dòng)就會(huì)產(chǎn)生丟包。傳輸性質(zhì)的緣由：傳輸面對(duì)的環(huán)境和地理位置情況多種多樣，傳輸?shù)母蓴_、光功率的抖動(dòng)，

10、傳輸路由倒換時(shí)，有能夠會(huì)有小概率的丟包。網(wǎng)絡(luò)流量大的緣由：在流量大的情況下，設(shè)備或板卡會(huì)根據(jù)業(yè)務(wù)的等級(jí)，丟棄一些低優(yōu)先級(jí)的數(shù)據(jù)包。例如ping包的優(yōu)先級(jí)別很低，運(yùn)用ping測(cè)試網(wǎng)絡(luò)時(shí)，會(huì)能夠有丟包產(chǎn)生 。路由器設(shè)備平安維護(hù)機(jī)制的緣由：路由器的CPU本身有維護(hù)機(jī)制，CPU任務(wù)忙、或遭到攻擊、或收到大量快速大包ping時(shí)，基于對(duì)CPU的維護(hù)，有能夠會(huì)丟棄一些包/ping包,到達(dá)路由器大腦的自我維護(hù)。行業(yè)內(nèi)的高端路由器都運(yùn)用了這種維護(hù)機(jī)制，如思科、Juniper、華為等。Ping測(cè)試丟包不等于業(yè)務(wù)丟包。網(wǎng)管測(cè)試機(jī)制的緣由：網(wǎng)管統(tǒng)計(jì)是一次發(fā)送60個(gè)測(cè)試ping包，所以偶有丟棄一個(gè)包時(shí)，丟包率就是1.6

11、7%。由于網(wǎng)絡(luò)及設(shè)備處置機(jī)制的緣故，存在偶發(fā)丟包景象，的緣由如下：18IP專網(wǎng)QOS情況骨干：中心/會(huì)聚設(shè)備進(jìn)展轉(zhuǎn)發(fā)控制邊緣：在接入業(yè)務(wù)的端口進(jìn)展流分類在網(wǎng)絡(luò)入口對(duì)分組進(jìn)展分類、流量控制，設(shè)置DSCP在網(wǎng)絡(luò)中根據(jù)分組的DSCP值，進(jìn)展隊(duì)列調(diào)度、分組丟棄業(yè)務(wù)設(shè)備DiffServ域用戶設(shè)備PHBPHBPHBPHBQoS的實(shí)施分為兩個(gè)部分：骨干和邊緣。在骨干采用的技術(shù)包括：帶寬分配與擁塞防止WRED帶寬分配與擁塞控制WFQ在邊緣采用的技術(shù)包括：業(yè)務(wù)分類Classification：IPP/DSCP, MPLS EXP速率限制CAR19IP專網(wǎng)QOS情況業(yè)務(wù)類型 類別 DSCPIPPEXP CS 信令

12、、 Iu-Ps 信令、 Gn 信令 CS7 567 7 路由協(xié)議 CS6 486 6 CS 語(yǔ)音、 PS 語(yǔ)音 EF 465 5 PS 流媒體 AF41 344 4 預(yù)留 AF31 263 3 Ps Interactive AF21 182 2 預(yù)留 AF1 101 1 Background BE 00 0 QOS設(shè)置闡明：上圖為骨干網(wǎng)內(nèi)目前設(shè)置的QOS，客戶業(yè)務(wù)接入側(cè)的QOS根據(jù)客戶需求定制。20- 21 - 目 錄中國(guó)挪動(dòng)IP公用承載網(wǎng)引見(jiàn)IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量21IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)人員網(wǎng)管系統(tǒng)17*24小時(shí)監(jiān)控2維護(hù)團(tuán)隊(duì)含省1一致管理-數(shù)據(jù)

13、網(wǎng)管2VPN業(yè)務(wù)網(wǎng)管系統(tǒng)告警監(jiān)控贊揚(yáng)處置缺點(diǎn)派單、督辦缺點(diǎn)處置業(yè)務(wù)分析、預(yù)警分析月度報(bào)告網(wǎng)元監(jiān)控一致告警監(jiān)控缺點(diǎn)派單質(zhì)量監(jiān)控性能統(tǒng)計(jì)SLA報(bào)告業(yè)務(wù)開(kāi)通3技術(shù)支持方案制定網(wǎng)絡(luò)規(guī)劃22中國(guó)挪動(dòng)IP公用承載網(wǎng)引見(jiàn)網(wǎng)絡(luò)管理對(duì)一切VPN設(shè)備和業(yè)務(wù)資源、業(yè)務(wù)告警、業(yè)務(wù)報(bào)表和業(yè)務(wù)懇求流程、業(yè)務(wù)統(tǒng)計(jì)、業(yè)務(wù)數(shù)據(jù)配置、業(yè)務(wù)質(zhì)量監(jiān)控進(jìn)展管理，為網(wǎng)絡(luò)和業(yè)務(wù)一致管理提供有效的根底管理支撐手段。功能 資源管理 拓?fù)涔芾?告警管理 性能管理 質(zhì)量管理 SLA管理 業(yè)務(wù)開(kāi)通 月報(bào)管理 CE管理 客戶自維23網(wǎng)絡(luò)概略監(jiān)控圖24業(yè)務(wù)接入信息管理25業(yè)務(wù)資源管理26業(yè)務(wù)資源拓?fù)涑尸F(xiàn)27業(yè)務(wù)告警管理28業(yè)務(wù)性能管理29業(yè)務(wù)流量流向管理30業(yè)務(wù)質(zhì)量監(jiān)控31業(yè)務(wù)開(kāi)通管理32總結(jié)33附錄：集團(tuán)客戶VPN業(yè)務(wù)情況VPN業(yè)務(wù)量：7月新奧入網(wǎng)流量為21.2TB，博世入網(wǎng)流量為46.6TB，流量每月比較平穩(wěn)。博世租用總帶寬為1767Mbps，峰值帶寬運(yùn)用1045Mbps。新奧租用總帶寬為490Mbps，峰值帶寬運(yùn)用238Mbps。用戶贊揚(yáng)分析：7月用戶贊揚(yáng)共22起新奧6起，博世16起。客戶緣由引起的贊揚(yáng)