CMNET網(wǎng)絡結構和路由策略

CMNET網(wǎng)絡結構和路由策略

2012年8月目錄骨干網(wǎng)絡架構與路由策略Webcache、DNS、流控系統(tǒng)介紹省網(wǎng)組織結構與路由交換方式高價值業(yè)務的區(qū)分、標識原則及保障方法骨干網(wǎng)絡架構與路由策略網(wǎng)絡概述網(wǎng)絡現(xiàn)狀路由組織策略網(wǎng)絡演進骨干網(wǎng)絡架構與路由策略網(wǎng)絡：中國移動的互聯(lián)網(wǎng)網(wǎng)絡發(fā)展情況04年鏈路：2.5G、155M為主節(jié)點：核心匯聚增設第二節(jié)點（一般骨干）其他節(jié)點：雙節(jié)點、雙設備、雙上聯(lián)節(jié)點：核心、匯聚——單節(jié)點、雙設備一般骨干——單節(jié)點、單設備、雙上聯(lián)鏈路：少量2.5G、部分155M建設3大核心5大匯聚及一般骨干節(jié)點雙節(jié)點改造及設備替換網(wǎng)內網(wǎng)間鏈路擴容全網(wǎng)優(yōu)化涉及31個省份，設備替換、版卡擴容、網(wǎng)內、省網(wǎng)、出口鏈路擴容、全網(wǎng)優(yōu)化鏈路：10G、2.5G為主，少量155M節(jié)點：核心、匯聚：單節(jié)點、雙設備、建設第二節(jié)點其他節(jié)點：雙節(jié)點、雙設備、雙上聯(lián)技術及網(wǎng)絡結構發(fā)展時間CMNET一期CMNET二期CMNET三期至四期二階段CMNET5期全面建設移動骨干網(wǎng)10年00年07年奧運WLAN網(wǎng)間互聯(lián)新奧VPN一期CMNET5期網(wǎng)絡結構調整：1、北京、上海、廣州分別設置2個節(jié)點，每節(jié)點1臺集群路由器2、五大匯聚設置第二匯聚節(jié)點3、北京、西安、武漢、廣州、上海設置獨立的IPRR4、除8大核心匯聚節(jié)點外其他25個一般骨干節(jié)點設置雙節(jié)點5、北京、上海、廣州國內互聯(lián)設置雙節(jié)點6、北京、廣州國際互聯(lián)設置雙節(jié)點、上海設置單節(jié)點奧運WLAN:涉及北京、上海、沈陽、青島、天津、秦皇島6個奧運城市，設置WLAN專用國內、國際出口，承載奧運WLAN業(yè)務新奧VPN一期:涉及13個省份31個地市，新增52臺PE設備路由器，上聯(lián)至CMNET骨干網(wǎng)設備CMNET網(wǎng)間互聯(lián)：上海廣州新增第二國內出口T1600廣州新增第二國際出口CRS-1擴容國內、國際網(wǎng)間鏈路全網(wǎng)大力建設IDC中心，主要包括7個一級IDC和5個二級IDC。網(wǎng)絡雛形雙節(jié)點改造引入10G鏈路建設VPN專用網(wǎng)引入集群，大力發(fā)展IDC內容：中國移動的互聯(lián)網(wǎng)內容發(fā)展情況07年音樂隨身聽全曲下載飛信音樂搜索短信轉移/過濾/倉庫基本語音，短信前傳等補充業(yè)務以品牌為基礎解決基本通信需求增值業(yè)務提升用戶體驗數(shù)據(jù)業(yè)務大爆炸手機動漫可視電話MMSP截至2009年9月共有合作SP7258家,其中全網(wǎng)SP共879家，開展合作業(yè)務8.3萬個移動智能網(wǎng)業(yè)務種類時間

基本業(yè)務：9種補充業(yè)務：7種

話音增值業(yè)務：

18余種數(shù)據(jù)增值業(yè)務：70余種條碼識別條碼憑證全業(yè)務運營公共安全綠色農業(yè)工業(yè)監(jiān)控智能交通環(huán)境監(jiān)測電子廣告遠程醫(yī)療智能家居多媒體化、定制化11年02年基地業(yè)務，互聯(lián)網(wǎng)業(yè)務互聯(lián)網(wǎng)化用戶：中國移動的互聯(lián)網(wǎng)用戶發(fā)展情況WAPCSDGPRSWAPCSDGPRSWLAN專線CSDGPRSWLAN專線家庭寬帶集團客戶TDVIP客戶200020122003WAP手機用戶發(fā)展：手機用戶數(shù)從不足2000萬增長到4.5億。寬帶用戶發(fā)展：寬帶用戶數(shù)從100萬左右發(fā)展到目前的近1000萬，網(wǎng)絡承載的流量增加超過12倍。WLAN大發(fā)展：WLAN網(wǎng)絡經歷了巨大發(fā)展，AP數(shù)量20萬到200萬。Wlan用戶從不足10萬增長到3000萬。用戶種類CMNET骨干網(wǎng)的結構總體分層CMNET骨干網(wǎng)網(wǎng)絡層次目前分為核心骨干層、匯接骨干層、一般骨干層三層結構。另外與核心層還連接有國際出入口層、互聯(lián)互通層。一般接入層及以上即為省際骨干部分。（流量小情況下，分層匯聚能夠節(jié)省端口。）骨干網(wǎng)按照地域分為3大片區(qū)，3大片區(qū)又細分為8個大區(qū)：北京片區(qū)：北京大區(qū)、沈陽大區(qū)、西安大區(qū)上海片區(qū)：上海大區(qū)、南京大區(qū)、武漢大區(qū)廣州片區(qū)：廣州大區(qū)、成都大區(qū)當前各片區(qū)向外發(fā)布路由優(yōu)選情況如下（條數(shù)）：電信互聯(lián)，北京：上海：廣州=300:287:359聯(lián)通互聯(lián)，北京：上海：廣州=374:223:3939CMNET骨干網(wǎng)國內拓撲結構核心層北京、上海、廣州3個節(jié)點及其相連鏈路構成骨干核心層。其中，北京、上海、廣州為核心節(jié)點，核心層北上廣提供大區(qū)內省份流量的交換，并負責全網(wǎng)與國際Internet、國內其他運營商的互聯(lián)。CMNET六期之后，部分省增加了到核心的連接。比如，青島上海；福州上海。匯聚層匯接層負責匯接各省到骨干網(wǎng)的連接。南京、武漢、成都、西安、沈陽節(jié)點為匯聚節(jié)點（相當于中國電信的普通核心），負責本大區(qū)內省份流量之間的交換原則上同省的兩個接入節(jié)點同時連至三個核心節(jié)點中的一個、按區(qū)域連至五個匯聚節(jié)點的一個或多個。只有杭州連接至三個核心，并連接到南京。CMNET六期后將增加到核心以及匯聚的多個方向連接，比如濟南武漢、廈門武漢等。接入層接入層按照一個省份兩個骨干接入節(jié)點設置，只負責匯聚本省省際流量和出網(wǎng)流量。10CMNET骨干網(wǎng)絡節(jié)點－概述網(wǎng)絡節(jié)點：2011年底后，覆蓋全國31個?。▍^(qū)市）36節(jié)點城市劃分片區(qū)負責網(wǎng)間入流量調整：即按照片區(qū)廣播網(wǎng)間路由，吸引入流量；劃分大區(qū)負責網(wǎng)內流量調整，中國移動大區(qū)內流量優(yōu)先通過匯聚節(jié)點轉發(fā)。11CMNET骨干國際網(wǎng)絡結構國際出口層北京、上海、廣州的路由器組成，是國際網(wǎng)絡的核心部分，面向國內連接骨干核心層，面向國外連接海外POP點，用來匯聚CMNET出入國內的國際流量，建立出國流量的緩沖區(qū)，設立這個層面的一個重要目的是方便國際出口配套工程實施。目前北京出口配套工程原因暫停使用。國際接入層國際接入層主要是指海外POP，主要用來接入海外網(wǎng)絡，及與其他海外ISP間的互聯(lián)鏈路（包括部分PEER電路和購買的TRANSIT電路）。它的主要作用是降低PEER互聯(lián)成本和購買Transit的成本。每個節(jié)點規(guī)劃兩臺路由器。美國POP點：洛杉磯、舊金山的國際互聯(lián)網(wǎng)接入。香港POP點：負責香港本地和部分東南亞、歐洲的互聯(lián)網(wǎng)接入。倫敦POP點：英國倫敦，負責歐洲國際互聯(lián)網(wǎng)接入。（目前1臺，未啟用）12CMNET骨干網(wǎng)網(wǎng)絡現(xiàn)狀－網(wǎng)間互聯(lián)節(jié)點設置國內互聯(lián)節(jié)點：北京、上海、廣州，均為雙節(jié)點設置。國際互聯(lián)路由器：北京、上海、廣州，均為雙節(jié)點設置，由于安全配套尚未到位，故北京國際出口、上海國際出口2、廣州國際出口1暫未上線。NAP互聯(lián)路由器：北京、上海、廣州；均為單節(jié)點設置。海外POP點由中國移動國際公司運營的CMNET國際網(wǎng)（CMI）提供，擁有獨立的自制系統(tǒng)，為CMNET提供國際互聯(lián)業(yè)務?，F(xiàn)有北美POP點（單局址雙設備）、香港POP點（單局址雙設備）及歐洲POP點（尚未承載業(yè)務）網(wǎng)間互聯(lián)電信、聯(lián)通等國內運營商北京1上海1廣州1北京2北美香港Sprint、AT&T、DT等國際運營商核心節(jié)點CMICMNET六期工程建成后的結構骨干節(jié)點網(wǎng)絡結構調整原核心骨干層和匯聚骨干層調整為骨干核心層，匯聚和疏通出網(wǎng)的業(yè)務量，實現(xiàn)跨省業(yè)務的有效疏通；北京、上海、廣州、武漢、南京、四川、西安、沈陽；除西安、沈陽外，骨干核心節(jié)點之間全網(wǎng)狀互聯(lián)。原一般骨干層調整為骨干接入層，用于匯接本省的出省的業(yè)務量，全網(wǎng)目前23個骨干接入節(jié)點，六期工程內容：新增1個天津私有云節(jié)點作為骨干接入節(jié)點；增加部分接入節(jié)點接入方向；蘇州城域網(wǎng)流量直連骨干網(wǎng)南京、上海節(jié)點，進行扁平化試點疏通方式；國內出口節(jié)點結構調整方案目前全網(wǎng)流量過于集中于北京、上海、廣州三個核心，故障時影響面大且難以疏通，北京、上海、廣州三個核心節(jié)點設備及機房的壓力大。本次工程新增武漢、南京、成都3個節(jié)點作為國內互聯(lián)節(jié)點，分散北京、上海、廣州三個核心節(jié)點的壓力，降低故障時的影響面。六期原設計于2012年8月完工，滿足網(wǎng)絡需求到2012年底，擴容后總帶寬為5.9T；14155M155M/2.5G2.5G2.5G/10G接口技術10GCMNET骨干業(yè)務量和端口技術發(fā)展情況業(yè)務量增長：2003年到11年，網(wǎng)絡承載流量增長175倍，年均增長90.7%08年到11年：業(yè)務量增長8倍，年均增長100%，其中IDC流量貢獻從5G發(fā)展到240G；用戶數(shù)方面，寬帶從100萬戶發(fā)展到1000萬戶；WLAN從不到20萬發(fā)展到超過800萬。建設容量：2003年到11年，網(wǎng)絡建設容量增長約45倍，年均增長62.7%骨干網(wǎng)總鏈路帶寬：移動1.8T，電信21T，聯(lián)通16T（互聯(lián)網(wǎng)發(fā)展報告數(shù)據(jù)）技術發(fā)展方面：從08年到11年，主流端口技術一直停留在10G/PortCMNET承載流量增長情況G網(wǎng)絡容量建設速度遠低于業(yè)務量增長，且10G端口技術未升級，導致原有網(wǎng)絡結構日趨不適應新的流量模型。CMNET網(wǎng)絡量總容量建設情況G15年均增長超過90%年均增長超過100%在業(yè)務高速增長情況下，CMNET工程期末擁塞狀態(tài)--五期工程原計劃于2011年11月份完工，推遲到今年9月份（預計），目前仍有270條骨干鏈路未到位（五期建設規(guī)劃共911條）---六期原設計于2012年8月完工，目前未完成設備集采，預計工程將延后；---2012年3月全網(wǎng)省際鏈路共205條，均值流量超過40%且峰值流量超過80%的鏈路共有37條（占18%），峰值利用率達到100%的共31條鏈路（占15%）。帶寬：Gbps16骨干承載總流量情況骨干網(wǎng)承載總流量之和為824Gbps。骨干網(wǎng)承載省際總流量為555Gbps，占全部流量的67%。骨干網(wǎng)承載網(wǎng)間總流量為269Gbps，占全部流量的33%。各省業(yè)務量發(fā)展不平衡。骨干網(wǎng)承載總流量=骨干網(wǎng)承載的省際流量+骨干網(wǎng)承載的網(wǎng)間流量17骨干網(wǎng)承載的省際流量情況骨干網(wǎng)承載的省際流量之和為555Gbps。其中，排名前10省份的省際互訪總流量之和為421Gbps，占出省際流量的76%。Gbps18骨干網(wǎng)承載的網(wǎng)間流量情況各省從骨干網(wǎng)疏通網(wǎng)間流量情況Gbps各省通過骨干網(wǎng)疏通網(wǎng)間流量之和為269Gbps。其中，排名前10的省份流量之和為175Gbps，占出全部流量的65%。19骨干網(wǎng)承載的網(wǎng)間流量情況各省從骨干網(wǎng)到電信方向流量情況Gbps各省從骨干網(wǎng)到中國電信流量為91.9Gbps，排名前十省份流量總和為59.5Gbps，占64.8%。各省從骨干網(wǎng)到聯(lián)通方向流量情況Gbps各省從骨干網(wǎng)到中國聯(lián)通流量為75Gbps，排名前十省份流量總和為48.7Gbps，占65%。20附錄：省網(wǎng)第三方出口流量情況第三方出口疏通流量峰值為176Gbps，平均流量為88Gbps，占全網(wǎng)出網(wǎng)流量的24%。21骨干網(wǎng)承載的省際流量top10省份的流量流向GbpsGbpsGbpsGbps浙江省際流量為93.5Gbps江蘇省際流量為78.3Gbps上海省際流量為61.8Gbps山東省際流量為40Gbps22骨干網(wǎng)承載的省際流量top10省份的流量流向GbpsGbpsGbpsGbps江西省際流量為34.2Gbps廣東省際流量為25.6Gbps河南省際流量為24.8Gbps山西省際流量為29Gbps23骨干網(wǎng)承載的省際流量top10省份的流量流向GbpsGbps福建省際流量為18.5Gbps四川省際流量為15.1Gbps全國31省通過骨干網(wǎng)承載的省際流量詳細情況參見：24CMNET骨干網(wǎng)絡－流量中轉的路由CMNET網(wǎng)絡流量疏通遵照最短路徑優(yōu)先原則。(中國電信是按照角色轉發(fā)，區(qū)分片區(qū)和大區(qū)，主要原因中國電信為多平面組網(wǎng)，路由更復雜。）中國移動優(yōu)先考慮距離，metric設置和距離成正比，在距離相等的情況下，才考慮角色，按照跳數(shù)最小原則設計。中國移動路由舉例每增加一跳Metric增加300：北京到?？冢罕本?廣州-?？?，而不是北京-武漢-廣州-?？?，增加一跳增加metric為300。距離不同跳數(shù)相同走最短路徑：長春到哈爾濱：長春-沈陽-哈爾濱（metric=11139）；長春-北京-哈爾濱（metric=13661），25CMNET骨干網(wǎng)網(wǎng)絡現(xiàn)狀－設備配置情況CMNET骨干網(wǎng)設備配置情況骨干網(wǎng)全網(wǎng)共設置182臺路由器、26臺三層交換機設備配置JUNIPERCISCO華為TXP集群T1600M320CRS1-16GSR12008三層交換機NE5000ENE40E核心骨干6

匯接骨干

10

一般骨干

1250

26

國內互聯(lián)

6

國際互聯(lián)

412

2NAP互聯(lián)

3

IP/VPNRR10（IP）4（VPN）VPNPE72合計642512326276208CMNET骨干網(wǎng)網(wǎng)絡現(xiàn)狀—國內網(wǎng)間互聯(lián)電路互聯(lián)鏈路對方運營商CMNET現(xiàn)狀設計到達端口能力(五期后)實際開通（2012年4月）北京

電信8×10G3×10G聯(lián)通8×10G2×10G中國教育網(wǎng)1×2.5G1×2.5G中國鐵通2×10G2×2.5G+1×10G世紀互聯(lián)1×2.5G1×2.5G合計185G70G上海

電信8×10G3x10G聯(lián)通8×10G3×10G中國教育網(wǎng)1×10G1×10G中國鐵通2×10G3x10G合計182.5G70G廣州

電信8×10G3x10G聯(lián)通8×10G+1G2x0G中國鐵通2×10G2x10G中國教育網(wǎng)1×GE

合計181G70G

總計548.5G210GCMNET骨干網(wǎng)網(wǎng)絡現(xiàn)狀—國際網(wǎng)間互聯(lián)電路國際出口節(jié)點

CMNET骨干網(wǎng)國際互聯(lián)至內側核心路由器（五期后）

至外側互聯(lián)

已具備端口開通情況上海5x10G/臺，共兩臺至國際運營商直聯(lián)1×155M1×155M至北美POP點2x10G/臺2x10G至香港POP點3x10G/臺2x10G（尚未開通）至歐洲POP點1x10G/臺1x10G（尚未開通）廣州7x10G/臺，共兩臺至北美POP點2x10G/臺2x10G（尚未開通）至香港POP點5x10G/臺5X10G合計

130G+155M

120G+155M骨干網(wǎng)絡架構與路由策略網(wǎng)絡演進網(wǎng)絡現(xiàn)狀路由組織網(wǎng)絡演進骨干網(wǎng)絡架構與路由策略總體網(wǎng)絡規(guī)劃：IGP協(xié)議全網(wǎng)IGP采用ISIS全網(wǎng)所有核心、匯聚、一般骨干、出口路由器、業(yè)務交換機全網(wǎng)屬于ISISLevel2ISIS鄰居間運行MD5認證總體網(wǎng)絡規(guī)劃：IGP協(xié)議流量路徑規(guī)劃CMnet骨干網(wǎng)節(jié)點間流量疏通基本原則是逐級向上疏通。在滿足該原則的同時，優(yōu)選傳輸距離較短的路徑：核心節(jié)點間流量任何情況下都通核心節(jié)點間鏈路疏通匯接節(jié)點間流量優(yōu)選通過匯聚節(jié)點間鏈路疏通次選通過核心節(jié)點間鏈路疏通接入節(jié)點間流量優(yōu)選通過接入節(jié)點間鏈路疏通次選通過匯聚節(jié)點間鏈路疏通再選通過核心節(jié)點間鏈路疏通總體網(wǎng)絡規(guī)劃：IGP協(xié)議Metric規(guī)劃IGPMetric規(guī)劃方式一般包括兩種：鏈路參考帶寬＋鏈路角色即選擇帶寬最大的路徑疏通流量，該方式比較適合對帶寬敏感的業(yè)務，如互聯(lián)網(wǎng)業(yè)務。傳輸距離＋鏈路角色即選擇傳輸距離最短路徑疏通流量，該方式比較適合時延敏感的業(yè)務，如語音業(yè)務。CMnet骨干網(wǎng)采用模式2“傳輸距離＋鏈路角色”規(guī)劃IGPMetric。即兩點間流量優(yōu)選傳輸距離最短的路徑。總體網(wǎng)絡規(guī)劃：IGP協(xié)議Metric規(guī)劃Metric規(guī)劃Metric=鏈路角色+傳輸距離類型參考值核心、匯聚路由器CR間鏈路300＋傳輸距離1.出口路由器至核心路由器CR間鏈路2.一般骨干至核心匯聚CR間鏈路3.業(yè)務交換機至核心匯聚CR間鏈路4.VPNPE至核心匯聚CR間鏈路5000＋傳輸距離域名管控至國際出口國際出口至POP點300＋傳輸距離同省一般骨干路由器BR間300＋傳輸距離同大區(qū)核心匯聚CR間鏈路300+[1,n]RR到核心匯聚CR間鏈路20000同城RR間鏈路20000VPNPE路由器至一般骨干路由器間鏈路300＋傳輸距離同城VPNPE路由器間鏈路200+[1,n]總體網(wǎng)絡規(guī)劃：BGP規(guī)劃省網(wǎng)與骨干網(wǎng)間運行EBGP協(xié)議骨干網(wǎng)在北京、上海、廣州、武漢、西安設置5對10臺IP路由反射器10臺RR是fullmesh的BGP關系，骨干網(wǎng)節(jié)點根據(jù)歸屬關系作為RR的客戶端國際出口、國內出口及NAP點路由器是北上廣的RR的ClientPOP點、國內互聯(lián)運營商及NAP點互聯(lián)與骨干網(wǎng)出口建立EBGP關系總體網(wǎng)絡規(guī)劃：VRR設置VRR設置：北京、廣州分別設置兩臺VRR、全網(wǎng)共設置4臺VRR；4臺VRR之間構成FullMeshMP-iBGP連接；北京、廣東所轄地市的PE路由器和本省所在核心節(jié)點兩臺VRR建立BGP關系；其它省的所轄地址的PE路由器，根據(jù)規(guī)劃與相應的VRR建立BGP關系?？傮w網(wǎng)絡規(guī)劃：LDP規(guī)劃LDP協(xié)議規(guī)劃全網(wǎng)所有骨干、核心、一般骨干間運行LDP協(xié)議僅針對PE的loopback地址分配標簽LDP鄰居間運行MD5認證端口啟用IGP、LDP同步總體網(wǎng)絡規(guī)劃：策略規(guī)劃至其他運營商：CMNET骨干網(wǎng)通告給出口路由器的路由包括CMNET省網(wǎng)路由及CMNET匯聚路由；出口路由器向對端運營商及POP點通告路由時需要過濾掉私有AS號；總體網(wǎng)絡規(guī)劃：策略規(guī)劃至省網(wǎng)：骨干網(wǎng)向省網(wǎng)發(fā)送CMNET網(wǎng)內路由，缺省路由；根據(jù)情況發(fā)送國內路由及國際Internet路由；接受省網(wǎng)匯聚及細化路由，掩碼長度不大于24位；骨干網(wǎng)對接收的省網(wǎng)路由設置相應的Community總體網(wǎng)絡規(guī)劃：策略規(guī)劃國內出口策略：通過MED值控制其他運營商進入CMNET的流量；本大區(qū)的流量優(yōu)先從本大區(qū)的國內出口流回CMNET；例如北京大區(qū)的國內出口通告路由時將攜帶北京大區(qū)Community的路由的MED宣告為100，上海、廣州大區(qū)的路由MED宣告為300，則訪問北京大區(qū)的流量優(yōu)先從北京國內出口流回CMNET；由于其他運營商發(fā)給CMNET的路由在各個出口是有差異的，故出網(wǎng)流量由對端運營商控制。排除故障或調整流量時可以通過通告較低的MED控制某個省的流量從指定的出口流入CMNET。總體網(wǎng)絡規(guī)劃：策略規(guī)劃國際出口策略：通過附加MED的方式控制國際運營商進入CMNET的流量；本大區(qū)的流量優(yōu)先從本大區(qū)的國際出口流回CMNET；與國內互聯(lián)策略類似，北京大區(qū)的國內出口通告路由時將攜帶北京大區(qū)Community的路由的MED宣告為100，上海、廣州大區(qū)的路由MED宣告為300，則訪問北京大區(qū)的流量優(yōu)先從北京國內出口流回CMNET；由于CMNET國際網(wǎng)是由國際公司運營的有獨立自制系統(tǒng)號的網(wǎng)絡，故通過協(xié)商，國際公司在POP點接收對端運營商路由時根據(jù)ASPath等屬性，對接收的路由標記相應的本地優(yōu)先級。由于CMNET和CMI間運行的是EBGP協(xié)議，本地優(yōu)先級屬性不會傳遞給EBGP鄰居，故POP點在向CMNET發(fā)送路由時應根據(jù)路由的本地優(yōu)先級值打上相應的Community，CMNET國際出口接收路由后，根據(jù)Community還原本地優(yōu)先級，以便出網(wǎng)國際業(yè)務可以選擇最優(yōu)路徑。骨干網(wǎng)絡架構與路由策略網(wǎng)絡演進網(wǎng)絡現(xiàn)狀路由組織網(wǎng)絡演進骨干網(wǎng)絡架構與路由策略我省CMNET省網(wǎng)與城域網(wǎng)、IDC、第三方、省網(wǎng)核心交換機路由協(xié)議采用OSPF，cost值均為1000。我省CMNET城域網(wǎng)節(jié)點通過OSPF發(fā)布業(yè)務路由，并接收省網(wǎng)核心節(jié)點通過OSPF下發(fā)的缺省路由。CMNET網(wǎng)絡演進總原則：貼近內容分布規(guī)劃聚焦于互聯(lián)網(wǎng)內容，規(guī)劃中國移動的CMNET網(wǎng)絡架構以內容為核心（IDC/出口互聯(lián)/CDN），驅動IP網(wǎng)絡架構的扁平化調整先期以帶寬彌補內容缺乏短板，逐步積累內容傳送技術，最終形成光+IP+CDN協(xié)同的內容傳輸平臺，支撐超寬帶業(yè)務發(fā)展在網(wǎng)絡確定的前提下，高密度內容，尤其是視頻內容努力下沉到省網(wǎng)甚至城域網(wǎng)，提升視頻感知的同時，節(jié)省網(wǎng)絡傳輸投資。低密度內容確保全網(wǎng)共享。核心核心西安北京杭州廣東武漢天津成都重慶安徽福建廣西湖南江西云南南京。。。省網(wǎng)1省網(wǎng)2出網(wǎng)內容為主，內容集中在北上廣出口和互聯(lián)路由器上核心核心西安北京杭州廣東武漢天津成都重慶安徽福建廣西湖南江西云南南京。。。城域網(wǎng)1省網(wǎng)2以內容為核心扁平化;省網(wǎng)分裂為大城域網(wǎng);大內容城域網(wǎng)上聯(lián)核心平面城域網(wǎng)2核心核心西安北京杭州廣東武漢天津成都重慶安徽福建廣西湖南江西云南南京。。。城域網(wǎng)1省網(wǎng)2為高清視頻和大帶寬應用建設CDN城域網(wǎng)2互聯(lián)出口大型IDCCP互聯(lián)互聯(lián)出口大型IDCCP互聯(lián)扁平化簡單化拓撲穩(wěn)定易于擴展高轉發(fā)效率高清視頻內容本地化45網(wǎng)絡結構問題1：骨干匯聚節(jié)點未設置國內出口，造成核心流量過集中----迂回和繞轉造成端口和帶寬浪費

隨著業(yè)務的增長，由于匯聚節(jié)點未設置互聯(lián)出口，流量過于集中于現(xiàn)有三個骨干核心節(jié)點，匯聚節(jié)點未充分發(fā)揮效率。問題后果：導致核心節(jié)點的升級調整和故障影響大。

功能大區(qū)承載流量占比核心節(jié)點北京17523%上海22130%廣州16021%匯聚節(jié)點成都203%沈陽111%南京659%武漢415%西安142%武漢415%合計

748100%核心、匯聚節(jié)點承擔的流量網(wǎng)內74.3%骨干網(wǎng)流量需要通過核心節(jié)點承載，核心和匯聚節(jié)點之間流量疏通不均衡。根本原因是因為互聯(lián)互通的節(jié)點只設置在北上廣，且CMNET對外網(wǎng)互訪依賴較為嚴重。（中國電信：10%以內，中國移動50%）數(shù)據(jù)來源：數(shù)據(jù)網(wǎng)管北京1西安1太原132G/40G太原24.2G/40G電信14.5G其他省西北大區(qū)省份40G10GCMNET骨干網(wǎng)7.5G4G3G現(xiàn)狀北京1西安1太原118G/40G太原218G/40G電信聯(lián)通7G其他省西北大區(qū)省份5GCMNET4.5G2G3G電信聯(lián)通鐵通西安升級為核心后7G5G2G20G鐵通聯(lián)通鐵通網(wǎng)絡結構現(xiàn)狀：西安無國內出口，山西省36.2G的流量90%通過北京疏通。為保障安全，西安1到北京1之間需預留40G備份帶寬資源。目標方案：西安增加國內出口20G后，西安1到北京1之間只需預留20G備份帶寬。解決方案：將西安等5個匯聚節(jié)點和浙江節(jié)點逐步按需增加網(wǎng)間出口方案效果：如果在西安增加疏通20G國內出口，就可節(jié)省北京到西安之間的傳輸鏈路2條10G，4個10G端口，同時也能提升北京到太原之間的質量。網(wǎng)間互聯(lián)出口并非越多越好，要有適當?shù)亩龋吭黾右粋€互聯(lián)出口：1、跨運營商業(yè)務的路徑增加，排障時間成倍增加。2、多出口流量調控的難度增加，利用率和平衡效果變差。同一個出口的鏈路負荷分擔的效果非常好，不同出口之間負荷分擔需依靠維護員手工不斷嘗試調整，由于40萬條路由的復雜性，過多核心將導致同樣的質量保障情況下，互聯(lián)出口平均利用效率下降。3、IP技術采用統(tǒng)計復用原理，適當匯聚后的抗突發(fā)能力、冗余備份能力更強。網(wǎng)絡結構問題1：骨干匯聚節(jié)點未設置國內出口，造成核心流量過集中----迂回和繞轉造成端口和帶寬浪費核心節(jié)點逐步增至9個網(wǎng)絡結構問題1解決方案：適當增加核心節(jié)點數(shù)量將匯聚節(jié)點增加網(wǎng)間出口，升級為核心節(jié)點，同樣也推動了骨干核心和匯聚節(jié)點扁平化，使得CMNET骨干從三層變?yōu)閮蓪樱瑴p少了網(wǎng)內訪問跳數(shù)3個核心5個匯聚節(jié)點23個接入節(jié)點北京、上海、廣州武漢、沈陽、西安、南京、成都核心節(jié)點具備疏通網(wǎng)間流量的能力匯聚節(jié)點會轉發(fā)接入節(jié)點的流量僅疏通本省流量現(xiàn)狀核心扁平化演進前：核心、匯聚、接入節(jié)點9個核心節(jié)點23個接入節(jié)點北京、上海、廣州、武漢、沈陽、西安、南京、成都、杭州核心節(jié)點具備疏通網(wǎng)間流量的能力僅疏通本省流量演進后：核心、接入節(jié)點方案效果：每個核心節(jié)點承擔的流量將降低到10%以內，有效減少網(wǎng)絡升級和故障發(fā)生時的業(yè)務影響。備注：定義核心節(jié)點的兩個要素1、有匯聚轉發(fā)周邊省份流量的需求。(核心節(jié)點自身處于傳輸網(wǎng)匯聚點，且周邊省份流量相對較小，有經過自身中轉提升效率的需求）。2、由負責疏通網(wǎng)間流量的需求。48目標網(wǎng)絡結構問題問題2：部分大流量省際節(jié)點之間未設直達

---當前結構造成大流量經過核心中轉，效率低

調整直連的本質：隨著網(wǎng)內流量增大，接口技術未升級，使得部分大流量省之間經過核心轉發(fā)不再合理，需要根據(jù)流量增長和端口技術不斷優(yōu)化直連鏈路。解決方案：增加大流量省份之間的跨省直連鏈路。本質是骨干網(wǎng)層面扁平化，“該直連，就直連”。網(wǎng)絡結構現(xiàn)狀：南昌-南京流量需中轉，在2012年中轉流量超過16G后，上海需要為南昌多設置4個10G端口。目標方案：增加南京-南昌直連鏈路，能夠節(jié)省4個10G端口，在保障冗余能力的情況下，提高了中轉效率。南京-南昌流量疏通情況上海1武漢1南昌1南昌2CMNET16G/20G20G南京1上海1武漢1南昌1南昌2CMNET南京116G/30G16G/20G30G30G30G方案效果：增加跨省直連后，能夠節(jié)省端口，提高中轉效率。大流量時設置直連：省端口、增加了骨干路由，減少了冗余程度。小流量時設置直連：費端口、增路由。大流量和小流量的標準隨技術在不斷變化，結構也要隨之變化，通常設計一個超過3年的網(wǎng)絡結構是沒有意義的。增加直連要保證一定程度的冗余：要保證直連中斷時，所歸屬的核心節(jié)點能夠作一定的備份。適度增加直連的原因：網(wǎng)絡結構問題3：出省流量大的城域網(wǎng)未直連骨干網(wǎng)----造成經過省網(wǎng)核心中轉效率低解決方案：增加出省流量大的城域網(wǎng)雙跨省網(wǎng)和骨干的力度。本質是大流量的城域網(wǎng)扁平化，“該雙跨，就雙跨”。方案效果：出省流量大的城域網(wǎng)雙跨，能夠節(jié)省端口，提高中轉效率。網(wǎng)絡結構現(xiàn)狀：太原城域網(wǎng)出省流量超過20G后，山西省網(wǎng)核心需要為之多設置8個10G端口。目標方案：城域網(wǎng)雙跨，能夠節(jié)省8個10G端口，在保障冗余能力的情況下，提高了中轉效率。

CMNET骨干網(wǎng)太原城域網(wǎng)

其他城域網(wǎng)B山西省網(wǎng)核心CMNET省網(wǎng)15G/20G15G/20G

CMNET骨干網(wǎng)太原城域網(wǎng)

其他城域網(wǎng)B山西省網(wǎng)核心CMNET省網(wǎng)15G/20G15G/20G解決方案：增加出省流量大的IDC雙跨省網(wǎng)和骨干的力度。本質是大流量的IDC扁平化，“該雙跨，就雙跨”。方案效果：出省流量大的IDC雙跨，能夠節(jié)省端口，提高中轉效率。網(wǎng)絡結構現(xiàn)狀：北京IDC出省流量超過20G后，北京省網(wǎng)核心需要為之多設置8個10G端口。目標方案：城域網(wǎng)雙跨，能夠節(jié)省8個10G端口，在保障冗余能力的情況下，提高了中轉效率。

CMNET骨干網(wǎng)北京IDC其他接入節(jié)點北京省網(wǎng)核心CMNET省網(wǎng)15G/20G15G/20G

CMNET骨干網(wǎng)北京IDC其他接入節(jié)點北京省網(wǎng)核心CMNET省網(wǎng)15G/20G15G/20G網(wǎng)絡結構問題4：出省流量大IDC未直連骨干網(wǎng)----造成經過省網(wǎng)核心中轉效率低天津省網(wǎng)南京C1天津A1北京C1北京C2南京C2天津A2武漢C1上海C1上海C2北京E1三角型口字型2to2：A、Z節(jié)點分別設置2臺設備三角形：A端1臺設備連接Z端2臺設備口字型：A端2臺設備連接Z端2臺設備江西省網(wǎng)南昌A1南昌A2三角型口字型CMnet省網(wǎng)其它運營商國內、國際運營商國內、國際運營商南京E1武漢E1上海E1天津P1天津P2南昌P1南昌P2骨干網(wǎng)組網(wǎng)結構分析-三角形OR口字型武漢C2-53-網(wǎng)絡結構演進：三角形vs口字型對比分析對比項目三角型口字型1網(wǎng)內流量疏通基于IGP選路，較均衡基于IGP選路，較均衡1網(wǎng)間流量疏通初期和后期，調控簡單初期，調控較復雜；后期調控簡單3鏈路數(shù)相同相同4端口占用相同相同5連接維度相同相同6網(wǎng)絡可靠性相當相當網(wǎng)絡發(fā)展初期，出口設置在北上廣，較為集中，三角型較口字型疏通效果略好，適用于較小規(guī)模網(wǎng)絡。隨著網(wǎng)絡扁平化，出口設置在更多核心節(jié)點，口字型、三角型疏通效果相當，而口字型更利于網(wǎng)絡演進。CMNET演進原則總結互聯(lián)網(wǎng)組網(wǎng)結構是動態(tài)，伴隨流量和端口技術等需要針對性優(yōu)化。針對CMNET演進優(yōu)化建議如下：增加骨干核心節(jié)點的數(shù)量：將南京、武漢、成都、沈陽、西安5個匯聚節(jié)點和杭州節(jié)點升級為核心節(jié)點，推動扁平化，提高疏通效率。增加骨干網(wǎng)網(wǎng)間出口：在出網(wǎng)流量大于30G的匯聚節(jié)點增加網(wǎng)間出口，節(jié)省核心節(jié)點間的傳輸鏈路和端口資源。出口地點：南京、武漢、成都、沈陽、西安、杭州。大流量省份骨干節(jié)點之間增設直連：業(yè)務量大于14G的可設直連（閥值隨技術變化，如40G應用后，閥值可相應提升；14G=10*2*70%）。省間直連僅疏通兩省直達流量。同時考慮適度增加直連的原則，所在省的歸屬核心要能夠實現(xiàn)業(yè)務備份（建議備份比例超過50%）。大流量城域網(wǎng)節(jié)點增設和骨干網(wǎng)的直連，同時連接骨干網(wǎng)和省網(wǎng)：大流量的城域和IDC節(jié)點（例如下期規(guī)劃的南京、深圳），可以雙連省網(wǎng)和骨干。大流量IDC節(jié)點雙跨骨干網(wǎng)和省網(wǎng)：IDC節(jié)點雙跨骨干和省網(wǎng)，即省外流量直接骨干轉發(fā)，省內流量由省網(wǎng)核心轉發(fā)。推進三角型組網(wǎng)向口字型組網(wǎng)轉變，增強后期網(wǎng)絡結構優(yōu)化擴展性。滿足業(yè)務發(fā)展需求。目錄骨干網(wǎng)絡架構與路由策略Webcache、DNS、流控系統(tǒng)介紹省網(wǎng)組織結構與路由交換方式高價值業(yè)務的區(qū)分、標識原則及保障方法Webcache、DNS、流控系統(tǒng)介紹WebcacheDNS流控系統(tǒng)骨干網(wǎng)絡架構與路由策略InternetIP承載網(wǎng)絡WebCacheP2PCache特點：一次外網(wǎng)訪問，多次內網(wǎng)服務核心思想：以存儲換時間、以存儲換帶寬流量擁塞點:省網(wǎng)出口互聯(lián)出口通過截獲DNS請求實現(xiàn)解決HTTP流量問題通過破解P2P協(xié)議或與SP深度合作實現(xiàn)解決P2P流量問題什么是CACHE？小帶寬大帶寬WEBCacheP2PCacheDPI截獲DNS請求P2P協(xié)議破解存儲內容HTTP頁面大文件返回內容WEBCache存儲器IP地址P2P文件存儲器地址及用戶地址列表WebcacheCache系統(tǒng)全國部署情況：集團Cache節(jié)點：北京、上海、廣州省級WebCache節(jié)點：15個省級P2PCache節(jié)點：18個

規(guī)劃中的Cache節(jié)點58廠家WebCacheP2PCache華為√√寬廣√√Bluecoat√思華√網(wǎng)宿√√東方網(wǎng)信√Cache系統(tǒng)在全國得到了較廣泛的部署：WEBCache已在集團和15個省部署，P2PCache已在18個省部署，共涉及6個廠家Webcache59系統(tǒng)組成DPI+調度器：檢測出DNS域名解析請求，向用戶或LocalDNS發(fā)起DNS重定向包負載均衡設備：將用戶請求和網(wǎng)絡流量按照相應算法分發(fā)到WebCache服務器組進行處理WebCache服務器：分析請求是否在本地命中，是則直接響應；否則向源服務器發(fā)送請求，下載、緩存相應內容，并返回給用戶應用場景和限制WebCache系統(tǒng)部署在互聯(lián)互通出口，通過DPI設備攔截出口的DNS請求并重定位到WebCache服務器，由WebCache服務器統(tǒng)一出網(wǎng)取內容并做本地緩存，以此減少用戶的出網(wǎng)流量WebCache技術流程網(wǎng)站本地DNS調度器出口路由器DPI其他運營商網(wǎng)絡授權DNS1.用戶發(fā)起網(wǎng)站域名的DNS請求2.本地DNS向外網(wǎng)發(fā)起域名的DNS請求4.調度器搶先響應DNS請求，回復Cache系統(tǒng)地址3.網(wǎng)間DPI將DNS請求復制給WebCache調度器5.用戶獲得域名解析結果，地址為Cache系統(tǒng)地址6.用戶訪問Cache4(1).外網(wǎng)DNS響應較晚，被丟棄WebCache服務器

負載均衡設備用于緩存靜態(tài)的Web頁面，對于實時更新的網(wǎng)站或動態(tài)網(wǎng)頁均無法緩存，對Web用戶訪問體驗的改善有限7(1).對于不命中內容，Cache服務器從外網(wǎng)取回數(shù)據(jù)7.Cache命中則直接向回應用戶；不命中則從外網(wǎng)取回數(shù)據(jù)后回應客戶P2Pcache原理60系統(tǒng)組成DPI+調度器：通過DPI檢測P2P請求，將請求重定向、控制在指定范圍內負載均衡設備：負載均衡、緩存記錄搜索、熱點內容管理調度P2PCache服務器：緩存熱點內容應用場景和限制P2PCache系統(tǒng)部署在互聯(lián)互通出口，由P2PCache服務器統(tǒng)一出網(wǎng)取內容并做本地緩存，通過DPI設備攔截出口的P2P請求并重定位到我公司的P2PCache服務器，使得用戶可以直接在緩存服務器上獲取相應內容，以此加速用戶的下載速度，并減少用戶的出網(wǎng)流量P2PCache技術流程出口路由器DPI其他運營商網(wǎng)絡P2PCache服務器

負載均衡設備P2P均為私有協(xié)議，支持情況不太好調度器P2P服務商的Tracker服務器1.用戶發(fā)起P2P請求2.網(wǎng)間DPI將P2P請求復制給P2PCache調度器3.調度器搶先響應P2P請求，回復網(wǎng)內Peerlist（包含P2PCache服務器地址）3(1).外網(wǎng)Peerlist響應較晚，被丟棄外網(wǎng)P2P資源PEER1PEER24.用戶向Peerlist中的地址發(fā)起下載4(1).對于不命中內容，Cache服務器從外網(wǎng)下載內容后緩存Webcache61WEBCache系統(tǒng)是應對出口結算和用戶體驗問題的有效手段，應用效果較明顯分擔出口帶寬提升用戶體驗緩存加速前：146.598秒緩存加速后：12.768秒門戶網(wǎng)站:網(wǎng)易視頻網(wǎng)站:酷6緩存加速前：365.677秒緩存加速后：5.450秒網(wǎng)頁瀏覽提速視頻播放提速提速11

倍流量貢獻比：緩存貢獻流量占該省總流量比例提速66

倍

WebCache流量均值（Gbps）WebCache流量貢獻比廣東2

8.34%湖北0.02651.3%浙江

1.1

1.65%Webcache62

P2PCache系統(tǒng)是應對出口結算和用戶體驗問題的有效手段，應用效果較明顯分擔出口帶寬提升用戶體驗BT迅雷HTTP/P2SPeMuleLAN25倍14倍26倍4倍WLAN44倍58倍9倍20倍TD5倍5倍2倍3倍各類應用使用緩存后下載速度提升倍數(shù)

P2PCache流量均值（Gbps）P2PCache流量貢獻比廣東

1.8

7.50%湖北0.66330%浙江

20

30.03%Webcache存在的問題：63緩存系統(tǒng)雖然是比較有效的緩解出口結算壓力和提高用戶體驗的一種方式，但是緩存系統(tǒng)也存在一些問題，主要體現(xiàn)在：緩存是一種補充手段，效果約為70%，潛在會影響用戶感受緩存命中率約為70%，動態(tài)內容一般不能緩存緩存有一定的更新期，在更新期內部分內容不能得到實時更新，潛在影響用戶感受隨著HTTP+80端口被廣泛應用，潛在存在用戶不能訪問的各種隱患緩存需要精細化運營，緩存系統(tǒng)需要不斷的“去除隱患”和“調試優(yōu)化”“去除隱患”：如WebCache若采用HTTP重定向方式，對于采用了HTTP協(xié)議的非網(wǎng)頁類應用（QQ離線文件下載）無法正確處理，影響用戶使用“調試優(yōu)化”：如WebCache的白名單要根據(jù)熱點網(wǎng)站進行更新，P2PCache系統(tǒng)需要適應大量不同P2P應用協(xié)議變化進行調整，以獲得最好的緩存效果（類似病毒庫）全國管理手段并不具備沒有手段查看全國各省的熱點列表沒有手段查看各省真實的使用效果（如緩存的使用率，訪問時延等）協(xié)同問題突出Cache與其他系統(tǒng)未能很好協(xié)同（見后面分析）CMNet骨干網(wǎng)其他運營商網(wǎng)絡第三方

網(wǎng)絡第三方鏈路DPI+調度器DPI+調度器鐵通互聯(lián)互通×IDC引入的網(wǎng)站W(wǎng)EBCache服務器IDC引入的P2P資源P2PCache服務器集團WebCache服務器WebCache系統(tǒng)WebCache系統(tǒng)問題二：WEBCache和IDC內容源重復，導致IDC無法使用DPI+調度器234省網(wǎng)B省網(wǎng)A問題三：P2PCache無法利用IDC引入的P2P內容問題四：兩級WEBCache是否沖突？省網(wǎng)C省網(wǎng)DDPI+調度器多次出網(wǎng)下載5問題五：省Cache之間沒協(xié)同，造成同一內容各省分別出網(wǎng)獲取問題七：未共享鐵通資源NDC×問題六：網(wǎng)內IDC/Cache已有資源，可能仍走第三方出口67Cache系統(tǒng)存在七類協(xié)同問題DPI+調度器問題一：多種疏導方式的定位有待進一步明確1骨干網(wǎng)互聯(lián)互通Webcache、DNS、流控系統(tǒng)介紹WebcacheDNS流控系統(tǒng)骨干網(wǎng)絡架構與路由策略DNSDNS是互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務的神經系統(tǒng)：InternetDNS系統(tǒng)①②②域名解析（DNS系統(tǒng)實現(xiàn)的功能）的功能是將一個域名（如：）解析成一個IP地址（告訴網(wǎng)絡資源的位置），從而實現(xiàn)路由器之間的路由轉發(fā)。域名解析是互聯(lián)網(wǎng)業(yè)務流程的第一步，運行好壞直接關系數(shù)據(jù)業(yè)務端到端質量。DNS的作用相當于傳統(tǒng)話音網(wǎng)的HLR。72①DNSDNS正常解析流程：請告訴我的IP地址緩存里沒有的IP地址，去根服務器查這個域名由COM域管，給你一個COM域服務器的地址163.com主區(qū)域服務器知道的IP地址，給你163.com主區(qū)域服務器的地址的地址我這兒有，給你163服務器，地址a.a.a.a163.Com的地址：a.a.a.a163.Com的地址：a.a.a.a12345678獲得地址a.a.a.a，訪問服務器移動用戶本地DNS根服務器COM域主服務器163.com域主服務器9DNS中國移動DNS設置情況：CMNET北京DNS山東DNS天津DNS吉林DNS四川DNS上海DNSCMNET-DNS北京節(jié)點CMNET-DNS廣州節(jié)點……吉林省用戶全球根DNS31省部署省網(wǎng)DNS，骨干網(wǎng)DNS設置北京、廣州兩節(jié)點。骨干DNS負責/等自有域名解析，省網(wǎng)負責各自子域解析，例如等。路由原則：骨干網(wǎng)用戶/系統(tǒng)使用骨干網(wǎng)DNS，省網(wǎng)用戶/系統(tǒng)使用本省系統(tǒng)。骨干網(wǎng)/省網(wǎng)DNS為平等/扁平化而非上下級關系，省網(wǎng)直接訪問全球根DNS。骨干用戶DNS引入資源訪問時的標準DNS流程：用戶根據(jù)移動骨干/省DNS反饋的結果，選擇第一個解析地址進行訪問。將會隨機的被引導至電信/聯(lián)通/移動網(wǎng)內的資源。移動節(jié)點域名=IP地址=用戶終端移動骨干/省DNS網(wǎng)站歸屬DNS服務器1、發(fā)起解析請求3、隨機順序返回2、轉發(fā)解析請求聯(lián)通節(jié)點域名=IP地址=電信節(jié)點域名=IP地址=4、返回5、挑選第一個解析結果進行訪問DNS引入資源訪問時的DNS流程-智能網(wǎng)站DNS：移動節(jié)點域名=IP地址=用戶終端移動骨干/省DNS網(wǎng)站歸屬DNS服務器1、發(fā)起解析請求2、轉發(fā)解析請求3、ICPDNS是智能DNS，發(fā)現(xiàn)用戶來自移動，則反饋移動網(wǎng)內資源；聯(lián)通節(jié)點域名=IP地址=電信節(jié)點域名=IP地址=4、反饋移動網(wǎng)內資源地址；智能網(wǎng)站DNS能夠根據(jù)用戶來源，相應的給出不同運營商網(wǎng)內的服務器地址。5、訪問移動網(wǎng)內資源DNS引入資源訪問時的DNS流程-智能運營商DNS：移動節(jié)點域名=IP地址=用戶終端移動骨干/省DNS網(wǎng)站歸屬DNS服務器1、發(fā)起解析請求3、隨機順序返回2、轉發(fā)解析請求4、運營商DNS智能化后，反饋移動網(wǎng)內資源；聯(lián)通節(jié)點域名=IP地址=電信節(jié)點域名=IP地址=智能DNS可以實施智能DNS改造，將網(wǎng)站返回的多IP地址進行優(yōu)選排序，優(yōu)先將移動網(wǎng)內IP反饋給用戶。如果網(wǎng)站歸屬DNS只反饋給骨干/省網(wǎng)DNS單一電信/聯(lián)通資源地址，則該方法無效（控制權主要在ICP）。5、反饋移動網(wǎng)內資源地址；6、訪問移動網(wǎng)內資源我省DNS現(xiàn)狀（改造前）我省DNS現(xiàn)狀（改造后）Webcache、DNS、流控系統(tǒng)介紹WebcacheDNS流控系統(tǒng)骨干網(wǎng)絡架構與路由策略流控系統(tǒng)介紹DPI是什么：-75-DPI－DeepPacketInspection深度包檢測：深度包檢測技術是一種基于應用層的流量檢測和控制技術，當IP數(shù)據(jù)包、TCP或UDP數(shù)據(jù)流通過基于DPI技術的帶寬管理系統(tǒng)時，該系統(tǒng)通過深入讀取IP包載荷的內容來對OSI七層協(xié)議中的應用層信息進行重組，通過深度分析報文凈荷中的特征指紋Signature進行業(yè)務識別，是協(xié)議和應用識別最重要的技術手段。流控系統(tǒng)介紹DPI的作用和應用：DPI的作用：區(qū)分流向，分省、分運營商對流量進行分析識別區(qū)分鏈路中的不同業(yè)務流量區(qū)分IP、用戶的優(yōu)先保障等級DPI的應用國內外很多運營商已大規(guī)模應用DPI技術，實現(xiàn)差異化服務和智能管道互聯(lián)網(wǎng)出口流控IDC流量流向分析P2Pcache和webcache上網(wǎng)日志留存系統(tǒng)流量清洗系統(tǒng)域名管控流控系統(tǒng)介紹基于DPI進行分析控制的典型流程：采集檢測控制對鏈路進行物理分光，并輸入DPI分析系統(tǒng)對鏈路中的包進行深度分析檢測，獲取所需的關鍵業(yè)務報文，將這些報文輸入至控制系統(tǒng)對關鍵業(yè)務報文進行分析、丟棄、劫持等操作，達到對鏈路中的業(yè)務進行分析控制的作用流控系統(tǒng)介紹DPI部署方式：1、串接方式2、旁路方式串接方式：無需分光，集采集、檢測、控制能力于一體?？刂朴行Ф_，故障時切換至直通模式。并接方式：實現(xiàn)簡單，部署風險小，需部署分光器，DPI設備提供檢測能力，控制效果較差，側重分析能力。控制系統(tǒng)采用串接方式較多，如流控系統(tǒng)。分析系統(tǒng)采用并接方式較多，如用戶上網(wǎng)行為分析系統(tǒng)。DPI設備DPI設備端到端流量分析及控制系統(tǒng)6、第三方出口流控4、IDC流量監(jiān)測PCRF骨干網(wǎng)DPI1、Gn數(shù)據(jù)業(yè)務監(jiān)測5、省網(wǎng)流控IDC出口省網(wǎng)出口SGSNGGSNInternet及業(yè)務平臺省網(wǎng)骨干網(wǎng)出口ACWLAN出口3、WLAN流控2、PCC7、骨干網(wǎng)出口流控第三方出口系統(tǒng)Gn數(shù)據(jù)業(yè)務監(jiān)測PCCWLAN流控IDC流量管控CMnet省網(wǎng)流控CMnet第三方出口流控CMnet骨干網(wǎng)出口流控定位2/3G數(shù)據(jù)業(yè)務流量流向分析2/3G無線網(wǎng)絡優(yōu)化與管控WLAN網(wǎng)絡流量流向分析與控制IDC資源流量流向分析互聯(lián)網(wǎng)省內流量流向分析及流控互聯(lián)網(wǎng)第三方出口流量流向分析及流控互聯(lián)網(wǎng)網(wǎng)間及國際出口流量流向分析及流控能力2/3G數(shù)據(jù)業(yè)務排障2/3G網(wǎng)絡流量分析為PCC管控提供依據(jù)緩解2G網(wǎng)絡壓力的手段之一2/3G網(wǎng)絡數(shù)據(jù)業(yè)務在無線和核心網(wǎng)側的精細化管控WLAN流量特征分析。WLAN分流分析。WLAN認證質量和所承載的業(yè)務質量分析IDC流量流向分析與管控為互聯(lián)網(wǎng)網(wǎng)間/省間結算提供基礎數(shù)據(jù)省內數(shù)據(jù)業(yè)務流量流向分析低價值業(yè)務流控互聯(lián)網(wǎng)至第三方出口流量流向分析及管控網(wǎng)間流量流向分析及管控國際流量流向分析及管控配合安全管理要求進行特定數(shù)據(jù)流管控流控系統(tǒng)現(xiàn)狀及問題系統(tǒng)現(xiàn)網(wǎng)部署情況

問題

Gn信令監(jiān)測系統(tǒng)

15省已完成合同簽署，擬于2012年5月完成省設備安裝及系統(tǒng)上線運行。（廣東，福建，遼寧，上海，山東，四川，湖北，江蘇，浙江，安徽，北京，陜西，天津，河南，河北）

2012年僅能完成15省部署，其余16省尚未規(guī)劃部署PCC

初期部署規(guī)模為：31省148個地市，無線網(wǎng)5.1%載頻，核心網(wǎng)51%GGSN。預計6月份可完成初期部署1、增強PCC功能尚有35.3萬載頻缺口，標準PCC功能尚有211臺GGSN缺口

2、Gx接口尚未異廠家及全互通，影響用戶感知WLAN信令監(jiān)測系統(tǒng)

安徽、內蒙、江蘇三省試點

尚未完成試點，現(xiàn)網(wǎng)還不具備能力IDC流控系統(tǒng)

北京、上海、廣東、浙江、江蘇、重慶、四川、山西、江西、安徽、海南、湖南12省已經完成部署

尚有12省未建設IDC流控系統(tǒng)省網(wǎng)流控系統(tǒng)

安徽、海南、湖南、浙江、北京、重慶、福建、甘肅、廣東、江蘇、江西、吉林、遼寧、內蒙、山西、陜西、貴州、上海18省已經部署

尚有13省未部署省網(wǎng)流控系統(tǒng)第三方流控系統(tǒng)

25省均已部署

全網(wǎng)均已部署骨干網(wǎng)流控系統(tǒng)

骨干網(wǎng)所有至國內運營商出口及國際出口均已部署問題：各省流控系統(tǒng)部署進度不一，缺乏統(tǒng)一的建設指導原則?，F(xiàn)網(wǎng)多DPI部署存在的問題及部署原則：DPI建議部署原則：采集統(tǒng)一：相同位置的DPI，優(yōu)先考慮復用分光器。DPI統(tǒng)一：爭取做到同一套DPI能夠復用，為不同分析控制系統(tǒng)提供不同數(shù)據(jù)流。要求對DPI能力形成統(tǒng)一規(guī)范標準硬件處理能力強、鏡像端口個數(shù)多。要求軟件策略庫豐富、數(shù)據(jù)輸出格式多。骨干網(wǎng)出口建設webcache系統(tǒng)時已復用流控系統(tǒng)的DPI模塊。統(tǒng)籌部署：分析整理全網(wǎng)DPI需求，統(tǒng)籌安排，形成關鍵DPI部署點。SGSNGGSNGn信令監(jiān)測系統(tǒng)公安相關系統(tǒng)上網(wǎng)日志留存系統(tǒng)典型問題一：同一鏈路重復分光后連接不同系統(tǒng)DPI缺點：鏈路質量及可靠性下降：多分光器串入鏈路造成光路衰減、鏈路質量下降；光放（有源）串入鏈路，提高中斷風險鏈路擴容和割接時，需協(xié)調考慮多個系統(tǒng)，維護難度增大光放重復建設。不同DPI對業(yè)務特征理解不一致導致無法統(tǒng)一調控全網(wǎng)。數(shù)據(jù)業(yè)務分析系統(tǒng)（省內）信令檢測及投訴處理系統(tǒng)（省內）數(shù)據(jù)業(yè)務分析和信令檢測系統(tǒng)（集團建設中）SGSNGGSNGn典型問題二：同一鏈路分光連接不同系統(tǒng)的DPI缺點：重復建設DPI增加投資。DPI部署要求PCRF骨干網(wǎng)DPIIDC出口省網(wǎng)出口SGSNGGSNInternet及業(yè)務平臺省網(wǎng)骨干網(wǎng)出口WLAN出口第三方出口12345城域網(wǎng)地市出口789101113某省共部署了13套流量相關系統(tǒng)，具體如下612編號系統(tǒng)組網(wǎng)情況1Gb數(shù)據(jù)業(yè)務監(jiān)測2Gn數(shù)據(jù)業(yè)務監(jiān)測在Gn接口上部署1*4分光器，Gn數(shù)據(jù)業(yè)務監(jiān)測及上網(wǎng)日志留存系統(tǒng)分別部署了DPI3上網(wǎng)日志留存4PCC5Gi接口流控在Gi接口上部署1*4分光器，Gi接口流量及不良信息監(jiān)測系統(tǒng)分別部署了DPI功能6不良信息監(jiān)測7城域網(wǎng)流控8Cmnet省網(wǎng)出口流控9Cmnet第三方出口流控10Cmnet骨干網(wǎng)出口流控Cmnet骨干網(wǎng)出口鏈路上部署1*N分光器，骨干網(wǎng)出口流控及惡意代碼檢測系統(tǒng)分別部署了DPI；骨干網(wǎng)出口流控與流量清洗系統(tǒng)共享DPI11惡意代碼檢測12異常流量清洗13IDC出口流控總部：明確組網(wǎng)及能力共享要求同一個接口只能夠進行一次分光，主路功率應在80%以上同一個接口多個系統(tǒng)并存情況下，應盡量實現(xiàn)系統(tǒng)間DPI能力共享研究院：制定DPI設備規(guī)范省公司：根據(jù)組網(wǎng)要求進行系統(tǒng)整合建議目錄骨干網(wǎng)絡架構與路由策略Webcache、DNS、流控系統(tǒng)介紹省網(wǎng)組織結構與路由交換方式高價值業(yè)務的區(qū)分、標識原則及保障方法省網(wǎng)組織結構與路由交換方式一、網(wǎng)絡定位

CMNET省網(wǎng)采用核心、接入兩個層次，CMNet城域網(wǎng)分為核心層和業(yè)務接入控制層兩個層次；業(yè)務發(fā)展初期，CMNET省網(wǎng)接入層兼做本地市CMNET城域網(wǎng)的核心層，CMNet省網(wǎng)與CMNet城域網(wǎng)共自治域。CMNET省網(wǎng)與骨干網(wǎng)采用不同的自治域進行網(wǎng)絡組織。如下圖：省網(wǎng)組織結構與路由交換方式二、網(wǎng)絡規(guī)劃原則在網(wǎng)絡層次上，CMNet省網(wǎng)分為核心層、接入層兩個層次。核心層主要由核心路由器組成，現(xiàn)階段核心路由器兼做省網(wǎng)出口路由器，主要作用是匯接出省業(yè)務量，轉發(fā)省網(wǎng)內各接入節(jié)點之間業(yè)務量，并提供CMNet省網(wǎng)到CMNet骨干網(wǎng)的出口。接入層主要由接入路由器組成，實現(xiàn)城域內的業(yè)務匯聚，提供城市的高速IP數(shù)據(jù)出口。省網(wǎng)組織結構與路由交換方式三、網(wǎng)絡節(jié)點設置原則CMNET省網(wǎng)節(jié)點地址的選擇應考慮傳輸、機房、電源等各種條件，同時也應考慮省內的維護、支持力量來綜合考慮，應保證故障發(fā)生時快速響應、及時排障處理。省網(wǎng)核心節(jié)點的設置：省網(wǎng)核心節(jié)點應采取大容量、少節(jié)點的方式進行建設，原則上省網(wǎng)內設置２個核心節(jié)點；省網(wǎng)接入節(jié)點的設置：省網(wǎng)接入節(jié)點應設置在業(yè)務相對比較大且集中的地市級城市的通信樞紐樓，為保障節(jié)點的可靠性，一般異局址成對設置接入路由器；省網(wǎng)組織結構與路由交換方式五、網(wǎng)絡拓撲結構設計原則CMNET省網(wǎng)網(wǎng)絡拓撲結構設計時應統(tǒng)籌考慮節(jié)點地域分布、光纜傳輸路由、被承載業(yè)務的業(yè)務量情況、業(yè)務相關性等因素；CMNET省網(wǎng)核心層宜以口字型結構接入本省的CMNET骨干網(wǎng)節(jié)點；CMNET省網(wǎng)接入層以雙星型結構接入省網(wǎng)核心層，成對的接入路由器之間直連并構成口字型組網(wǎng)；原則上，不同地市節(jié)點路由器之間暫不設置直連鏈路；省網(wǎng)組織結構與路由交換方式六、路由組織原則CMnet省網(wǎng)Cmnet骨干網(wǎng)AS:

CMNET省網(wǎng)與骨干網(wǎng)采用不同的自治域進行網(wǎng)絡組織；目前CMnet省網(wǎng)采用公有或私有AS號。IGP:省網(wǎng)內采用IGP路由協(xié)議（ISIS或OSPF），并設置與城域網(wǎng)獨立的IGP區(qū)域（level或者area），區(qū)域間:

CMNET骨干網(wǎng)與國際、國內互聯(lián)網(wǎng)以及與中國移動互聯(lián)網(wǎng)CMNET省網(wǎng)之間運行BGP-4路由協(xié)議。接入網(wǎng)接入網(wǎng)接入網(wǎng)網(wǎng)內路由:省網(wǎng)內部互聯(lián)網(wǎng)業(yè)務的路由（公網(wǎng)路由）可通過IBGP或IGP承載。若通過IBGP承載，則在省網(wǎng)接入層對互聯(lián)網(wǎng)業(yè)務路由進行匯聚；通過IBGP宣告給省網(wǎng)核心層，最后在省網(wǎng)核心層對省內路由進行匯聚后宣告給CMnet骨干網(wǎng)。若通過IGP承載，則在CMnet省網(wǎng)核心層對業(yè)務路由進行匯聚，并通過EBGP宣告給CMnet骨干網(wǎng)；省網(wǎng)核心路由器接入路由器網(wǎng)