數(shù)據(jù)中心項目解決方案

數(shù)據(jù)中心解決方案2023/6/16數(shù)據(jù)中心項目解決方案全文共37頁，當前為第1頁。Page2Contents總體網(wǎng)絡概述數(shù)據(jù)中心業(yè)務實現(xiàn)高可靠性安全保護數(shù)據(jù)中心項目解決方案全文共37頁，當前為第2頁。數(shù)據(jù)中心網(wǎng)絡概覽Page3互聯(lián)網(wǎng)

防火墻匯聚交換機核心路由器IDS/IPS備份數(shù)據(jù)中心服務器群網(wǎng)絡運維中心SAN交換機磁盤陣列…DWDM負載均衡器IDC業(yè)務區(qū)企業(yè)應用區(qū)

電信業(yè)務區(qū)

NMSKVMSW管理網(wǎng)絡

接入層交換機業(yè)務網(wǎng)絡

備份和存儲網(wǎng)絡

數(shù)據(jù)中心網(wǎng)絡模塊SAN存儲備份服務器MPLS骨干網(wǎng)

數(shù)據(jù)中心項目解決方案全文共37頁，當前為第3頁。三網(wǎng)分離的數(shù)據(jù)中心網(wǎng)絡業(yè)務網(wǎng)絡、管理網(wǎng)絡和備份網(wǎng)絡流量分離，服務器通過不同的網(wǎng)卡分別接入不同的網(wǎng)絡，通過數(shù)據(jù)中心骨干網(wǎng)絡進行互聯(lián)分離的網(wǎng)絡可以保證數(shù)據(jù)中心網(wǎng)絡的高性能及高安全性，同時方便管理Page4業(yè)務網(wǎng)絡NAS/備份網(wǎng)絡SAN存儲網(wǎng)絡網(wǎng)管網(wǎng)絡HBA帶內網(wǎng)管帶外網(wǎng)管網(wǎng)管網(wǎng)絡業(yè)務網(wǎng)絡備份存儲網(wǎng)絡DC骨干網(wǎng)數(shù)據(jù)中心項目解決方案全文共37頁，當前為第4頁。數(shù)據(jù)中心管理網(wǎng)絡管理網(wǎng)絡全部采用單鏈路實現(xiàn)服務器支持帶內管理（網(wǎng)卡）和帶外管理（KVM網(wǎng)絡）運維中心可以通過KVM直接管理數(shù)據(jù)中心里的服務器，也可以通過KVM操作網(wǎng)管系統(tǒng)，通過帶內網(wǎng)管間接管理數(shù)據(jù)中心里的服務器Page5IDC業(yè)務區(qū)企業(yè)應用區(qū)

電信業(yè)務區(qū)

網(wǎng)管系統(tǒng)防病毒服務器KVM認證中心KVM交換機匯聚數(shù)據(jù)交換機網(wǎng)絡運維中心Internet

KVM交換機數(shù)據(jù)中心項目解決方案全文共37頁，當前為第5頁。數(shù)據(jù)中心存儲備份網(wǎng)絡存儲支持SAN和NAS存儲，滿足不同的業(yè)務需要（數(shù)據(jù)庫和文件級）備份時，服務器使用一個網(wǎng)卡連接備份網(wǎng)絡，使用NAS存儲時，可復用此網(wǎng)卡備份網(wǎng)絡一般通過GE/10GE/DWDM光纖網(wǎng)絡連接二級數(shù)據(jù)中心進行異地數(shù)據(jù)備份，當然也可以直接進行本地備份Page6SAN交換機磁盤陣列備份服務器磁帶庫磁盤陣列備份數(shù)據(jù)中心DWDMZone1Zone2Zone3存儲網(wǎng)絡NAS/備份網(wǎng)絡數(shù)據(jù)中心項目解決方案全文共37頁，當前為第6頁。數(shù)據(jù)中心業(yè)務網(wǎng)絡典型組網(wǎng)模式網(wǎng)絡架構采用業(yè)界成熟的三層架構：接入、匯聚、核心防火墻和負載均衡器采用外掛匯聚層交換機的方式進行部署，網(wǎng)絡層次簡單，高靠性Page7AggregationAccessCoreInternet

MPLSbackbone

Tbit路由交換平臺10G接口連接外網(wǎng):9300/NE40EFW、負載均衡器IPS/IDS在此部署，保證網(wǎng)絡安全，提高網(wǎng)絡效率:5300/9300Gbit數(shù)據(jù)接入，大容量考慮引入堆疊及上行端口聚合：5300系列數(shù)據(jù)中心項目解決方案全文共37頁，當前為第7頁。彈性的網(wǎng)絡架構接入層和匯聚層可以根據(jù)需要進行擴展大型網(wǎng)絡采用分區(qū)設計，共享一個核心層；整個網(wǎng)絡分步建設、方面數(shù)據(jù)中心擴容及管理交換機堆疊、鏈路聚合技術使網(wǎng)絡擴容更加方便Page8Internet

MPLSbackbone

AggregationModule1AggregationModule2AggregationModulenScalingScalingServerFarmAccessLayer數(shù)據(jù)中心項目解決方案全文共37頁，當前為第8頁。交換與路由層次劃分匯聚層交換機二層和三層網(wǎng)絡的分界點，上面為三層路由，下面為二層交換使用負載均衡的服務器，網(wǎng)關在負載均衡器，不使用負載均衡的服務器，網(wǎng)關在防火墻Page9Internet

MPLSbackbone

L3路由L2交換數(shù)據(jù)中心項目解決方案全文共37頁，當前為第9頁。服務器的分區(qū)設計服務器群根據(jù)業(yè)務的不同分為不同的業(yè)務區(qū)域，邏輯進行業(yè)務隔離保障安全，防止跨區(qū)的越權訪問和入侵、病毒感染根據(jù)業(yè)務重要性的不同進行分區(qū)，可以提供不同的網(wǎng)絡服務水平，提供QOS保障多個業(yè)務區(qū)可共享一個匯聚層模塊，也可能一個業(yè)務區(qū)應用多個匯聚層模塊Page10Internet

MPLSbackbone

防火墻聚合交換機核心路由器IDS/IPSIDC業(yè)務區(qū)

企業(yè)應用業(yè)務區(qū)

電信業(yè)務區(qū)

網(wǎng)絡模塊服務器群接入交換機接入交換機負載均衡器接入交換機數(shù)據(jù)中心項目解決方案全文共37頁，當前為第10頁。不同類型服務器的接入位置中低端機架服務器，數(shù)量眾多，通過接入層交換機接入；高端服務器/大型機，數(shù)量較少且重要性高，直接接在匯聚層交換機上，保證帶寬；沒有內置交換機的刀片服務器，通過接入層交換機接入；內置交換機的刀片服務器，直接接在匯聚層交換機上，減少交換網(wǎng)絡的層級，提升網(wǎng)絡性能；Page11Internet

MPLSbackbone

沒有內置交換機的刀片服務器內置交換機的刀片服務器中低端機架服務器高端服務器/大型機數(shù)據(jù)中心項目解決方案全文共37頁，當前為第11頁。服務器的三層架構基于Web的應用程序一般采用Web、application、database三層架構，各層之間通過防火墻進行安全隔離；處于性能考慮，web->app->db之間可以采取ACL實現(xiàn)三種不同類型的服務器網(wǎng)絡連接采用不同的VLAN來識別三個VLAN的流量都經(jīng)過負載均衡和防火墻，所以負載均衡和防火墻可以為三個層次所共用三個層次也可以直接用物理網(wǎng)絡進行劃分，服務器之間部署交換機，同時附帶防火墻和均衡器，網(wǎng)絡層次過多，成本高，不推薦使用Page12WEBVLANAPPVLANDBVLANWEBAPPDB數(shù)據(jù)中心核心

Internet數(shù)據(jù)流WEBAPPDB物理防火墻ACL實現(xiàn)ACL實現(xiàn)數(shù)據(jù)中心項目解決方案全文共37頁，當前為第12頁。Page13Contents總體網(wǎng)絡概述數(shù)據(jù)中心業(yè)務實現(xiàn)高可靠性安全保護數(shù)據(jù)中心項目解決方案全文共37頁，當前為第13頁。統(tǒng)一的數(shù)據(jù)業(yè)務承載在同一組網(wǎng)模型下滿足3種不同用戶對防火墻和負載均衡器的需要Page14邏輯圖物理連接圖L3linkTrunkTrunkTrunk匯聚交換機心跳線心跳線心跳線（1）不需要（3）只需要FW（2）需要FW和LB①②③④⑤⑥⑦⑧⑨接入交換機①①①④②⑤③⑥⑤⑦⑧⑨黃線：Trunk鏈路黑線：L3鏈路（1）不需要（3）只需要FW（2）需要FW和LB數(shù)據(jù)中心項目解決方案全文共37頁，當前為第14頁。防火墻和負載均衡部署防火墻對內隔離不同的VLAN，提供三個VLAN接口（子接口），分別對應WEB、APP和DB,對外隔離不同的分區(qū)，通常有一個或多個接口（子接口），對應所屬的分區(qū)VPN，如IDC分區(qū)的IDCVPN或Internet負載均衡對內對外都只有3接口（或子接口），分別對應WEB、APP、DB三個VLAN負載均衡根據(jù)需要進行部署，單臺服務器時或者APP與DB之間可能APP本身就進行了均衡操作，此時數(shù)據(jù)流不需要通過物理負載均衡器Page15WEBAPP對應各VLAN的接口對應各VLAN的接口DBWEBAPPDB對應各VLAN的接口對應各VPNInstance的接口VPN1Internet………虛擬化設備數(shù)據(jù)中心項目解決方案全文共37頁，當前為第15頁。業(yè)務流流程邏輯設計Internet→Web，經(jīng)過物理防火墻和負載均衡器 9→7→6→2Web→App，ACL作安全，經(jīng)過負載均衡器 1→8→3App→DB，ACL作安全，不經(jīng)過負載均衡 4→5Page16匯聚交換機接入交換機心跳線心跳線WebserverDatabaseserverApplicationserver①②③④⑤⑥⑦⑧互連Trunk⑩9邏輯連接圖黃線：Trunk鏈路1112數(shù)據(jù)中心項目解決方案全文共37頁，當前為第16頁。業(yè)務流流程物理設計Page17物理連接圖①④②⑤③⑥⑦⑧⑨WebserverDatabaseserverApplicationserver⑩黃線：Trunk鏈路互連Trunk12116’8’6’’匯聚交換機接入交換機Internet→Web，經(jīng)過物理防火墻和負載均衡器 9→7→6→6’→6’’→2Web→App，ACL作安全，經(jīng)過負載均衡器 1→8→8’→3App→DB，ACL作安全，不經(jīng)過負載均衡 4→5數(shù)據(jù)中心項目解決方案全文共37頁，當前為第17頁。MPLSVPN實現(xiàn)區(qū)域隔離和多站點互訪不同站點的同一分區(qū)間可以可以實現(xiàn)安全的互連互通，與在同一局域網(wǎng)無差別。這樣可以連通位于不同城市的機房，消除信息孤島。同一類型的業(yè)務可以分布式部署在不同的站點，增加業(yè)務部署的靈活性不同的分區(qū)間通過MPLSVPN實現(xiàn)路由的隔離，比只采用防火墻做隔離大大增加了安全性Page18Internet/MPLSbackbone

IDCVPNDataCenterADataCenterBIDCVPNEnterpriseVPNTelecomVPNManagementVPNEnterpriseVPNTelecomVPNManagementVPN數(shù)據(jù)中心項目解決方案全文共37頁，當前為第18頁。同一站點和不同站點間的跨區(qū)域訪問同一站點及不同站點的不同分區(qū)間的相互訪問必須繞行Internet（物理上繞行核心路器）和經(jīng)過防火墻的安全過濾將來自其它區(qū)域訪問當作來自Internet的訪問，由防火墻過濾，確保安全Page19Internet/MPLSbackbone

IDCVPNDataCenterAEnterpriseVPNTelecomVPNManagementVPNInternet/MPLSbackbone

IDCVPNDataCenterADataCenterBIDCVPNEnterpriseVPNTelecomVPNManagementVPNEnterpriseVPNTelecomVPNManagementVPN數(shù)據(jù)中心項目解決方案全文共37頁，當前為第19頁。數(shù)據(jù)中心虛擬化實現(xiàn)分區(qū)的服務器屬于不同的MPLSVPN，匯聚層的防火墻、負載均衡器通過虛擬化分別對應不同的MPLSVPN，實現(xiàn)同一設備為多個分區(qū)所共享虛擬化實現(xiàn)資源合理分配，加強了可靠性，在某一分區(qū)遭受攻擊，資源緊張的情況下，其它分區(qū)仍可以正常工作Page20MPLSBackboneAggregationModule1BlueVRFRedVRFGreenVRFPEPEDCCoreInternetAggregationModulen數(shù)據(jù)中心項目解決方案全文共37頁，當前為第20頁。交換機虛擬化multi-VRF（MCE）匯聚交換機通過部署multi－VRF，把路由表分成多個邏輯路由，實現(xiàn)不同分區(qū)的三層業(yè)務隔離轉發(fā)引擎通過VPNID索引不同的路由表，根據(jù)目的IP轉發(fā)到上行口配合防火墻和負載均衡的虛擬化實現(xiàn)匯聚層不同業(yè)務分區(qū)的業(yè)務隔離Page21分區(qū)2分區(qū)3分區(qū)1MPLSCOREVRF1VRF2VRF3MPLSVPN起始點數(shù)據(jù)中心項目解決方案全文共37頁，當前為第21頁。QOS設計總體上分6個優(yōu)先級。管理流量最高標記為5（EF）其他按照業(yè)務重要程度和與客戶簽訂的SLA來確定優(yōu)先級等級自有業(yè)務標記4（AF4）、3（AF3）大客戶金牌2（AF2）

、銀牌1（AF1）

其他為0（BE）Page22增值業(yè)務自有業(yè)務大客戶其他接入設備端口根據(jù)所接業(yè)務標記Internet/MPLSbackbone

入口根據(jù)源和目的IP標記數(shù)據(jù)中心項目解決方案全文共37頁，當前為第22頁。Page23Contents總體網(wǎng)絡概述數(shù)據(jù)中心業(yè)務實現(xiàn)高可靠性安全保護數(shù)據(jù)中心項目解決方案全文共37頁，當前為第23頁。接入層可靠性設計接入交換機到匯聚采用三角型的組網(wǎng)匯聚層的防火墻、負載均衡器等設備可以為多個接入層交換機對所共用冗余鏈路，倒換時間短VLAN可以跨接入交換機，靈活性高，方便部署可靠性：STP/RSTP/MSTPSmartLink/MonitorLinkLoopbackdetection服務器多網(wǎng)卡接入Page24AggregationLayer3Layer2三角環(huán)路.1QTrunkVlan2Vlan3Vlan2MSTPSmartlinkSmartlinkLoopbackdetectionLoopbackdetection數(shù)據(jù)中心項目解決方案全文共37頁，當前為第24頁。STP二層可靠性保護VLANtrunk實現(xiàn)接入交換機之間的二層互通MSTP破環(huán)防止轉發(fā)風暴，同時應用多生成樹實例，實現(xiàn)負載均衡秒級的故障恢復BPDU保護，防止邊緣端口惡意攻擊導致重新計算生成樹環(huán)路保護，防止由于網(wǎng)絡擁塞導致BPDU沒有及時傳送引起端口狀態(tài)切換產(chǎn)生環(huán)路根橋保護，保護根橋的指定端口免受虛假BPDU攻擊導致狀態(tài)切換TC（topology

change）保護，防止頻繁的TC_BPDU報文導致ARP和MAC反復刪除，引起CPU過載Page25802.1QTrunkSTProotprimaryActiveActiveDCCoreSTProot-protectionSTPloop-protectionSTPBPDU-protection數(shù)據(jù)中心項目解決方案全文共37頁，當前為第25頁。Smartlink雙歸可靠性保護Page26接入交換機雙鏈路上行到匯聚交換機，實現(xiàn)雙歸保護50ms的鏈路切換，雙歸應用場景可取代MSTP實現(xiàn)高可靠鏈路保護獨有的monitorlink特性，可檢測到匯聚交換機上行鏈路的端口狀態(tài)（port3故障）多Smartlink實例實現(xiàn)業(yè)務的負載均衡Port1Port2Port3Port4Port5Smartlinkgroup:port1,2Monitorlink

group:port3,4,5Layer3Layer2數(shù)據(jù)中心項目解決方案全文共37頁，當前為第26頁。DLDP和環(huán)路檢測二層網(wǎng)絡交換機各端口之間部署DLDP（devicelinkdetectionprotocol），用于檢測單向鏈路是否存在在部署STP的情況下，推薦部署，用于確保生成樹正確，不發(fā)生環(huán)路端口環(huán)路檢測（Loopbackdetection），部署在接入交換機與服務器相連端口，防止用戶組網(wǎng)或配置出現(xiàn)錯誤Page27DCCoreLoopbackdectionDLDP數(shù)據(jù)中心項目解決方案全文共37頁，當前為第27頁。NICTeaming實現(xiàn)服務器多網(wǎng)卡捆綁服務器雙鏈路上行，實現(xiàn)雙歸保護網(wǎng)絡驅動程序將多個網(wǎng)卡捆綁成一個網(wǎng)卡一個網(wǎng)卡失效，另一個接管它的MAC地址服務器使用同一個IP進行訪問Page28ActiveStandbyActiveDisableIP=192.168.1.1MAC=00e0.fc00.1111IP=192.168.1.1MAC=00e0.fc00.1111NormalFailure數(shù)據(jù)中心項目解決方案全文共37頁，當前為第28頁。匯聚層可靠性VRRP匯聚交換機之間配置多個VRRP組實現(xiàn)備份和負載分擔負載均衡設備和防火墻之間分別建立VRRP組實現(xiàn)備份上述VRRP組的心跳通過匯聚交換機之間的Trunk鏈路進行交互BFD實現(xiàn)加快VRRP組心跳檢測，實現(xiàn)50ms快速倒換Page29DCCoreVRRP1VRRP1VRRP2VRRP3VRRP3VRRP4VRID2masterVRID4backupVRID2backupVRID4master數(shù)據(jù)中心項目解決方案全文共37頁，當前為第29頁。VRRP條件下的故障切換二層雙歸保護可以是MSTP或者Smartlink防火墻故障處理同負載均衡器防火墻和負載均衡器同匯聚交換機之間的保護通過鏈路聚合完成Page30（A）（C）（B）（D）數(shù)據(jù)中心項目解決方案全文共37頁，當前為第30頁。鏈路聚合聚合分為兩種：靜態(tài)聚合，動態(tài)聚合（LACP）提供更高的帶寬，同時進行負載分擔鏈路備份，提高可靠性Page31FE/GELACPWhenbandwidthisnotenough?Whenlinkfault?DCCore數(shù)據(jù)中心項目解決方案全文共37頁，當前為第31頁。核心層網(wǎng)絡拓撲對于中小型網(wǎng)絡，推薦雙核心備份對于大型或可靠性要求較高的網(wǎng)絡推薦環(huán)形組網(wǎng)（RRPP）50ms的快速倒換根據(jù)VLAN進行負載分擔三層網(wǎng)絡可靠性通過IGPFC（路由快速收斂）