湖南聯(lián)通DCN網(wǎng)絡(luò)方案v1

湖南聯(lián)通DCN網(wǎng)絡(luò)規(guī)劃方案大綱EDC網(wǎng)絡(luò)規(guī)劃IT承載網(wǎng)網(wǎng)絡(luò)規(guī)劃EDC網(wǎng)絡(luò)規(guī)劃規(guī)劃思路規(guī)劃方案云計算、大數(shù)據(jù)等帶來業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)大數(shù)據(jù)智能決策業(yè)務(wù)應(yīng)用產(chǎn)品創(chuàng)新跨界多元競爭業(yè)務(wù)量爆發(fā)增長網(wǎng)絡(luò)架構(gòu)資源彈性和高效性多元應(yīng)用適應(yīng)性部署的敏捷性云計算大數(shù)據(jù)Dev-Ops業(yè)務(wù)挑戰(zhàn)，網(wǎng)絡(luò)先行傳統(tǒng)設(shè)計的問題資源彈性和高效性多元應(yīng)用適應(yīng)性部署的敏捷性CloudComputingBigDataDev-Ops傳統(tǒng)以硬件為中心的設(shè)計只重視個體性能而忽視網(wǎng)絡(luò)架構(gòu)造成資源豎井，個體性能浪費傳統(tǒng)虛機廠商的SDN只重視軟件虛擬化而忽視硬件性能造成應(yīng)用適用性和體驗下降傳統(tǒng)網(wǎng)絡(luò)廠商的SDN只重視網(wǎng)絡(luò)管理而忽視應(yīng)用策略造成應(yīng)用部署困難、周期長新一代數(shù)據(jù)中心技術(shù)總結(jié)：

揚長避短，兼容并蓄資源彈性和高效性多元應(yīng)用適應(yīng)性部署的敏捷性CloudComputingBigDataDev-Ops軟硬結(jié)合的Overlay技術(shù)應(yīng)用策略控制器技術(shù)下一代Fabric技術(shù)繼承硬件性能新增彈性延展和高效繼承軟件虛擬化的靈活性新增應(yīng)用性能、適應(yīng)性和可視化繼承網(wǎng)絡(luò)的管理新增應(yīng)用策略的敏捷業(yè)務(wù)部署ACI是什么：三個核心技術(shù)，三個核心組件以應(yīng)用為中心的網(wǎng)絡(luò)基礎(chǔ)設(shè)施(ACI)是適用于下一代數(shù)據(jù)中心的創(chuàng)新架構(gòu)采用了以下三個技術(shù)，解決了傳統(tǒng)設(shè)計思路的頑疾下一代Fabric技術(shù)軟硬結(jié)合的Overlay技術(shù)應(yīng)用策略控制技術(shù)在結(jié)構(gòu)上ACI由以下三部分組成：下一代交換矩陣（NG

Fabric）高可用：規(guī)避廣播風(fēng)暴和單播泛洪開放：兼容多廠家Hypervisor，OpFlex支持多網(wǎng)絡(luò)廠商應(yīng)用策略控制器（APIC）可擴展：策略集中管理，分布執(zhí)行，規(guī)避控制器瓶頸問題高可用：控制器不參與數(shù)據(jù)轉(zhuǎn)發(fā)應(yīng)用網(wǎng)絡(luò)配置文件（AppNetworkProfile）易管理：組策略抽象出的應(yīng)用網(wǎng)絡(luò)配置文件，便于網(wǎng)絡(luò)部門和應(yīng)用部門使用共同語言溝通靈活：組策略解耦低層網(wǎng)絡(luò)資源（IP、VLAN），便于上線、遷移和擴容123123EDC演進路線網(wǎng)絡(luò)策略網(wǎng)絡(luò)策略網(wǎng)絡(luò)策略應(yīng)用策略產(chǎn)品：高性能N9k控制器：VTS/NSONGFabric：EnhancedVxLAN產(chǎn)品：高性能N9k控制器：APICNGFabric：ACI(EnhancedVxLAN)產(chǎn)品：高性能N9k控制器：APICNGFabric：ACI(EnhancedVxLAN)傳統(tǒng)網(wǎng)絡(luò)高性能SDNACISDNACISDN硬件升級軟件升級應(yīng)用梳理*CY2016Q2EDC網(wǎng)絡(luò)規(guī)劃規(guī)劃思路規(guī)劃方案湖南聯(lián)通EDC建設(shè)目標(biāo)靈活拓撲橫向擴展高可用性動態(tài)接入AutomationCloudFabricScale-Out計算整合虛擬化存儲整合虛擬化網(wǎng)絡(luò)整合虛擬化網(wǎng)絡(luò)自動化業(yè)務(wù)自動化NGFabric按照面向云計算、大數(shù)據(jù)和應(yīng)用自動化的目標(biāo)，分步實施，在現(xiàn)階段需要重點考慮的是建設(shè)能滿足后期演進的NGFabric邊界網(wǎng)絡(luò)接入域網(wǎng)絡(luò)防護AntiDDOS核心交換域L2安全跨域訪問控制業(yè)務(wù)數(shù)據(jù)域L2安全負載均衡應(yīng)用層保護虛擬機安全數(shù)據(jù)加密和保護網(wǎng)絡(luò)資源管理維護域帶外管理系統(tǒng)安全運維中心安全服務(wù)域防火墻/IPS遠程VPN準入控制堡壘主機/VDI威脅防御流量可視化………FWLBIPS/IDSVPN用戶接入域安全管控網(wǎng)絡(luò)準入IT承載網(wǎng)462513存儲設(shè)備VVVVVVVV有虛擬化需求的服務(wù)器實體服務(wù)器湖南聯(lián)通EDC網(wǎng)絡(luò)規(guī)劃目標(biāo)拓撲圖核心交換域L2安全；負載均衡；流量可視化；虛擬IDS/IPS；虛機主機防火墻/虛機數(shù)據(jù)交換區(qū)；應(yīng)用層保護；漏洞掃描；防病毒；安全審計和加固；數(shù)據(jù)保護和加密業(yè)務(wù)數(shù)據(jù)域

安全服務(wù)域用戶安全隔離及防護服務(wù)；虛擬共享防火墻；虛機數(shù)據(jù)交換區(qū)；VPN接入；IDS/IPS；堡壘主機/VDI；防病毒；安全審計系統(tǒng)；流量可視化帶外管理系統(tǒng)；安全運維中心

網(wǎng)絡(luò)接入域VRF/VLAN映射；負載均衡；L2安全管理維護域邊界屏蔽；VRF/VLAN映射；Anti-DDoS根據(jù)不同的需要劃分為互聯(lián)網(wǎng)接入域、核心交換域、業(yè)務(wù)數(shù)據(jù)域、用戶接入域、安全服務(wù)域和維護域6個不同的區(qū)域，不同的EDC機房根據(jù)需要可能存在不同的功能區(qū)域用戶接入域安全管控網(wǎng)絡(luò)準入Wifi接入控制EDC網(wǎng)絡(luò)規(guī)劃VLAN組1傳統(tǒng)核心與匯聚層形成資源豎井L3L2VLAN組2VLAN組3OracleRAC、HACMP等的集群化并行處理要求二層延展VMware、Hyper-V等虛擬環(huán)境需要自由靈活的虛機調(diào)度范圍同部門服務(wù)器跨區(qū)延展（跨區(qū)的VLAN延展）FCoE等存儲融合以及大數(shù)據(jù)應(yīng)用需要低延遲、高吞吐、純二層交換環(huán)境技術(shù)關(guān)鍵點一：如何解決大二層結(jié)構(gòu)的擴展性問題

兩種大二層擴展性設(shè)計傳統(tǒng)的多合一虛擬化（跨機箱端口捆綁）二層多路徑（Layer2Multi-Path）擴展性核心橫向擴展數(shù)量、距離有限（典型2～4，距離越遠、數(shù)量越多“腦裂”風(fēng)險越大，特別是環(huán)形級連的多機箱）橫向擴展能力強，可跨DC部署（核心多達16個設(shè)備，256路并發(fā)）可靠性主干橫向擴容時需斷網(wǎng)集群化、緊耦合，需要多機箱高度協(xié)調(diào)、嚴格同步，穩(wěn)定性降低平滑擴容，不影響現(xiàn)網(wǎng)各節(jié)點獨立智能、松耦合機制，一個機箱故障不影響其他成員性能負載均衡不考慮最短路徑，可能存在高延遲和錯序路徑，不適合存儲數(shù)據(jù)端到端的最短路徑優(yōu)先算法，保證最低延遲和最佳路徑，適合包括存儲數(shù)據(jù)在內(nèi)的各種業(yè)務(wù)管理性嚴格的對稱拓撲，嚴格的鏡像配置要求，管理復(fù)雜任意拓撲，配置簡單，即插即用，特別適于核心層的橫向擴展（Scale-out）存儲融合能力無法產(chǎn)生SAN所需雙獨立Fabric平面，在骨干做LAN/SAN融合困難大天生各節(jié)點具備獨立控制平面，適合構(gòu)建雙網(wǎng)平面，易于LAN/SAN融合當(dāng)前實現(xiàn)Cisco

VSS，H3CIRF，HWCSS…IETFTRILL(FabricPath),CiscoNGFabricScale-Out技術(shù)關(guān)鍵點一：WAN/Core邊緣終結(jié)所有的主機二層協(xié)議：包括MAC學(xué)習(xí),ARP,IGMP,LLDP,DHCP……內(nèi)部嚴格的故障隔離：Fabric內(nèi)沒有生成樹、ARP廣播、未知單播洪泛等等，象傳統(tǒng)的路由網(wǎng)絡(luò)一樣可擴展VLANAnywhere：任何服務(wù)器可在任意VLAN，VLAN可延展到全網(wǎng)GatewayAnywhere：任意位置都可做任意VLAN路由，同一VLAN網(wǎng)關(guān)一致RoutingAnywhere：無論VLAN內(nèi)還是VLAN之間都以類似三層路由的方式通信NGFabric：

象三層路由網(wǎng)絡(luò)一樣的擴展和隔離性，實現(xiàn)統(tǒng)一的二層/三層轉(zhuǎn)發(fā)GWIP:GWMAC:0011:2222:3333IS-IS：維護拓撲iBGP：通告主機路由FabricPath：數(shù)據(jù)平面轉(zhuǎn)發(fā)新協(xié)議來自成熟技術(shù)靈活拓撲橫向擴展高可用性動態(tài)接入帶來優(yōu)勢技術(shù)關(guān)鍵點一：動態(tài)、可橫向擴展的拓撲NGFabric提供靈活的拓撲推薦的拓撲形態(tài)——節(jié)點小型化、分布扁平化（“胖POD”）動態(tài)平滑橫向擴展：PayasYouGrow節(jié)點分布式、小型化：更細顆粒度的擴展高可用、高性能、低延遲簡化管理技術(shù)關(guān)鍵點一：適于各類數(shù)據(jù)中心規(guī)模，按需增長2,3043:1Ports48ToRs16uplinksperToR50Switches2Spines4,6083:1Ports96ToRs16uplinksperToR100Switches4Spines9,2164:1Ports192ToRs12uplinksperToR198Switches6Spines9,2163:1Ports192ToRs16uplinksperToR198Switches8Spines18,4324:1Ports384ToRs12uplinksperToR396Switches12Spines18,4323:1Ports384ToRs16uplinksperToR4400Switches16Spines當(dāng)前可擴展規(guī)模32Spine768Leaf1,000,000Server技術(shù)關(guān)鍵點一：核心與匯聚推薦采用40G互連

為10GE接入提供更佳的過載比，為存儲、計算融合提供保障，可利舊傳統(tǒng)的雙芯多模光纖傳統(tǒng)40G新型40G50%端口成本76%布線成本技術(shù)關(guān)鍵點二：MPO接口，需改造機房線路采用LC接口，可直接將現(xiàn)有10GE端口升級為40GE端口用戶根據(jù)業(yè)務(wù)要求形成不同的VLAN（VLAN

ID只需本地有效）Fabric內(nèi)通過Segment／VXLANID和VRF等技術(shù)實現(xiàn)云計算租戶化（打破VLANID限制）防火墻、負載均衡、IDS等網(wǎng)絡(luò)智能設(shè)備實現(xiàn)整合和虛擬化多租戶隔離NGFabric

Segment容器24bitSegmentID技術(shù)關(guān)鍵點三：ManagementNetwork

LANASANAIBM:AIXSANB

LANBManagementNetworkHP:UNIXSANASANB

LANA

LANBManagementNetworkSUN:SOLARISSANASANB

LANA

LANB服務(wù)器接入方式處在變革時代統(tǒng)一的X86平臺：資源整合，消除豎井Scale-Up向Scale-Out轉(zhuǎn)變高性能、高可靠、平滑擴展、低價格有利于未來虛擬化和大數(shù)據(jù)要求資源池方式的分布式x86服務(wù)器架構(gòu)豎井方式的傳統(tǒng)小機架構(gòu)SANBSANALANBLANAMgmtManagementNetwork

LANASANAIBM:AIXSANB

LANBManagementNetworkHP:UNIXSANASANB

LANA

LANBManagementNetworkSUN:SOLARISSANASANB

LANA

LANB技術(shù)關(guān)鍵點四：AdministrationFCSANBFCSANAVMNet1VMNet2VMNet3VMotionVMNet1BackupVMNet2BackupVMNet3BackupVMotionBackup接入層優(yōu)化：統(tǒng)一交換（UnifiedFabric）

統(tǒng)一交換實現(xiàn)資源整合TwoServerLOMEthernetPortsTwo1GQuad-PortNICsTwo4GSinglePortHBAs虛擬化要求下的傳統(tǒng)服務(wù)器EthernetLinkFCoETrafficOtherNetworkingTraffic低延遲、無丟包，具備各類業(yè)務(wù)的絕對服務(wù)質(zhì)量保證ServerNICVMNet1BackupVMNet2BackupVMNet3BackupVMotionBackup新一代DC的UnifiedFabricFCSANBFCSANAVMNet1VMNet2VMNet3VMotionTwo10GSinglePortConvergedNetworkAdapters(CNA)ManagementIntegrated（UCSonly）技術(shù)關(guān)鍵點四：接入層優(yōu)化，提高業(yè)務(wù)效率

傳統(tǒng)商用外掛式緩存顧此失彼市場其他設(shè)備（使用Broadcom）CiscoNexus6000CiscoNexus7000大數(shù)據(jù)：多打一業(yè)務(wù)經(jīng)常發(fā)生，需較大的Buffer其他業(yè)務(wù)（如虛機、集群、FCoE等）：則對延遲極為敏感過度強調(diào)Buffer容量，比如外掛大Buffer，會極大的惡化延遲技術(shù)關(guān)鍵點四：BufferbeingusedduringshufflephaseBufferbeingusedduringoutputreplication在HadoopTeraSort測試下CiscoNexus使用高速的片內(nèi)Buffer應(yīng)對大數(shù)據(jù)綽綽有余Bufferbeingusedinaggregationswitch(Nexusinthistest)此時上連交換機則幾乎無Buffer開銷（浪涌完全被接入層吸收）低延遲，提高業(yè)務(wù)效率

要在不同位置精細的設(shè)計Buffer容量Cisco接入層使用片內(nèi)Buffer，具有業(yè)界最大的片內(nèi)容量和響應(yīng)速度，容量和延遲兼顧匯聚或核心交換機則無大量Buffer開銷，實現(xiàn)更低延遲交換技術(shù)關(guān)鍵點四：接入層優(yōu)化，提高業(yè)務(wù)效率

提供精細的QoS調(diào)整，進一步改善總體延遲Read/UpdateLatencyComparisonofNon-QoSvs.QoSPolicy~45%forReadImprovement未使用QoS策略使用QoS策略技術(shù)關(guān)鍵點四：接入層優(yōu)化，提高業(yè)務(wù)效率

提升為10GE接入，降低Buffer占用，大幅改善延遲響應(yīng)Hadoop的MapReduce測試中交換機Buffer開銷（Buffer低說明避免擁塞的同時保證低延遲性）技術(shù)關(guān)鍵點四：Scale-OutCloud接入層的實現(xiàn)：設(shè)備物理布局

柜頂接入（ToR）方式：提高I/O密度，降低布線距離，模塊化，易管理、易擴容Nexus2000Nexus5/6/7/9000去往核心和SAN網(wǎng)絡(luò)或傳統(tǒng)存儲Nexus2000Nexus5/6/7/9000技術(shù)關(guān)鍵點五：接入層的實現(xiàn)：設(shè)備物理布局

管理上的效果：Nexus2000作為Nexus5/6/7/9000的“遠程虛擬板卡”，看起來象一個大機箱設(shè)備去往核心和SAN網(wǎng)絡(luò)或傳統(tǒng)存儲Nexus5000#showinterfacebrief<省略>--------------------------------------------------------------------------------EthernetVLANTypeModeStatusReason SpeedPortInterfaceCh#--------------------------------------------------------------------------------Eth100/1/11ethaccessupnone1000(D)--Eth100/1/21ethaccessdownLinknotconnected1000(D)--Eth100/1/31ethaccessupnone1000(D)--<省略>Nexus5000#showenvironmentfex100<省略>TemperatureFex100:-------------------------------------------------------------------------Module Sensor MajorThresh MinorThres CurTemp Status (Celsius) (Celsius) (Celsius)-------------------------------------------------------------------------1 Outlet-1 57 45 33 ok1 Die-1 95 85 45 ok<省略>技術(shù)關(guān)鍵點五：接入層的實現(xiàn)：設(shè)備物理布局

性能上是否會因為分為兩層