公司數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計方案

1、公司數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計方案1.1總體網(wǎng)絡(luò)結(jié)構(gòu)本次XXX公司數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)將采用新一代的DCE技術(shù)，并使用DCE技術(shù)的代表廠商 Cisco公司的Nexus 系列產(chǎn)品。網(wǎng)絡(luò)結(jié)構(gòu)將采用大型數(shù)據(jù)中心典型的層次化、模 塊化組網(wǎng)結(jié)構(gòu)。層次化結(jié)構(gòu)的優(yōu)勢采用層次化結(jié)構(gòu)有如下好處：節(jié)約成本：園區(qū)網(wǎng)絡(luò)意味著巨大的業(yè)務(wù)投資正確設(shè)計 的園區(qū)網(wǎng)絡(luò)可以提高業(yè)務(wù)效率和降低運營成本。便于擴展：一個模塊化的或者層次化的網(wǎng)絡(luò)由很多更加便于復(fù)制、改造和擴展的模塊所構(gòu)成，在添加或者移除一個模塊時，并不需要重新設(shè)計整個網(wǎng)絡(luò)。每個模塊可以在不影響其他模塊或者網(wǎng)絡(luò)核心的情況下投 入使用或者停止使用 加強故障隔離能力：通過將網(wǎng)絡(luò)分為多個可

2、管理的小 型組件，企業(yè)可以大幅度簡化故障定位和排障處理時 效。標(biāo)準(zhǔn)的網(wǎng)絡(luò)分層結(jié)構(gòu)層次化結(jié)構(gòu)包括三個功能部分，即接入層、分布層和核心層，各層次定位分別如下：核心層：是企業(yè)數(shù)據(jù)交換網(wǎng)絡(luò)的骨干，本層的設(shè)計目 的是實現(xiàn)快速的數(shù)據(jù)交換，并且提供高可靠性和快速 的路由收斂 分布層：也稱為匯聚層。主要匯聚來自接入層的流量和執(zhí)行策略，當(dāng)?shù)谌龑訁f(xié)議被用于這一層時可以獲得 路由負(fù)載均衡，快速收斂和可擴展性等好處。分布層 還是網(wǎng)絡(luò)智能服務(wù)的實施點，包括安全控制、應(yīng)用優(yōu) 化等智能功能都在此實施。接入層：負(fù)責(zé)提供服務(wù)器、用戶終端、存儲設(shè)施等等的網(wǎng)絡(luò)第一級接入功能，另外網(wǎng)絡(luò)智能服務(wù)的初始分類，比如安全標(biāo)識、QoS分類將也

3、是這一層的基本功 能。1.1.3 XXX公司的網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)業(yè)界企業(yè)網(wǎng)絡(luò)最佳設(shè)計實踐參考，在邊緣節(jié)點端口較少的小型網(wǎng)絡(luò)中，可以考慮將核心層與分布層合并，小型 網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模主要由接入層交換機決定。但對于XXX公司而言，結(jié)合XXX公司的業(yè)務(wù)現(xiàn)狀及發(fā)展趨勢，我們可以 看到未來幾年內(nèi)業(yè)務(wù)處于一個高速成長期，必須在本期網(wǎng)絡(luò)架構(gòu)中充分考慮未來的可擴展性。所以XXX公司企業(yè)內(nèi)部 核心網(wǎng)絡(luò)層次結(jié)構(gòu)必須具有以上嚴(yán)格清晰的劃分，即具有清 晰的核心層、會聚分布層、接入層等分層結(jié)構(gòu)，才能保證網(wǎng)絡(luò)的穩(wěn)定性、健壯性和可擴展性，以適應(yīng)業(yè)務(wù)的發(fā)展。XXX公司的業(yè)務(wù)應(yīng)用特點又決定了核心層將相對接入的網(wǎng)絡(luò)模塊較少，只有樓層匯聚接

4、入、數(shù)據(jù)中心匯聚接入、廣域網(wǎng)接入等三塊，如果采用單獨的大容量物理核心設(shè)備將 造成浪費，而如果采用低端核心設(shè)備則會對業(yè)務(wù)相對繁忙的 數(shù)據(jù)中心匯聚形成瓶頸， 也影響網(wǎng)絡(luò)整體的穩(wěn)定性。 鑒于此， 我們采用超大規(guī)模核心層設(shè)備Cisco Nexus 7000 作為核心，但虛擬化為兩套交換機，一套用于全網(wǎng)核心，一套用于數(shù)據(jù) 中心匯聚。這樣做的優(yōu)勢如下：邏輯上仍然是清晰的兩套設(shè)備，完全保持了前述網(wǎng)絡(luò)分層結(jié)構(gòu)的優(yōu)勢。在性能上實現(xiàn)了網(wǎng)絡(luò)核心和數(shù)據(jù)中心匯聚交換機資源 的共享和復(fù)用，非常好的解決了核心層數(shù)據(jù)量和數(shù)據(jù) 中心數(shù)據(jù)量可能存在較大差異的問題以較低的投入升級了數(shù)據(jù)中心匯聚交換機的能力(相當(dāng)于可以與核心層復(fù)用

5、4Tbps以上的交換能力)，適 于下一階段要進(jìn)行的數(shù)據(jù)中心雙網(wǎng)融合的資源需求。減少了設(shè)備數(shù)量，降低了設(shè)備投入成本、功耗開銷和維護(hù)管理的復(fù)雜度。XXX公司新一代數(shù)據(jù)中心整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示:面向服芻的(SOBC)Siijiaije 三HackHack fM1X141/.1UILKajE tiHKMHWPnNexus 7010SBFViCPE 匚h 3iSEi KSurras隹f "t1.2全網(wǎng)核心層設(shè)計本次我們采用能擴展到 15Tbps以上的Cisco Nexus7000系列大型DCE交換機，每臺 Nexus7000劃分為兩個VDC （虛擬交換機），一個虛擬交換機作為 XXX公司全網(wǎng)

6、 核心，另一個虛擬交換機作為數(shù)據(jù)中心的分布匯聚層交換 機。我們選擇的是10插槽Nexus7010，以雙機雙冗余方式 部署在網(wǎng)絡(luò)核心。每臺當(dāng)前支持的最大交換容量為4Tbps，最大萬兆端口容量為 256個，每插槽交換能力為 230Gbps（未來可擴展到 500Gbps以上），可以在未來擴展40G/100G 以太網(wǎng)。本次每臺N7010實配32個萬兆端口， 48個千兆端口， 這些端口都可在物理上劃分為屬于全網(wǎng)核心的虛擬交換機 和屬于數(shù)據(jù)中心匯聚的虛擬交換機，每個虛擬交換機從軟件 進(jìn)程到配置界面都各自獨立，但可以共享和復(fù)用總的交換機 資源Port-Channel ),即可以實現(xiàn)跨交換機的端口捆綁，這樣在

7、 下級交換機上連屬于不同機箱的虛擬交換機時，可以把分別 連向不同機箱的萬兆鏈路用與IEEE 802.3ad兼容的技術(shù)實現(xiàn)以太網(wǎng)鏈路捆綁，提高冗余能力和鏈路互連帶寬的同時， 大大簡化網(wǎng)絡(luò)維護(hù)。核心層虛擬交換機與其它設(shè)備互連都采用路由端口和三層交換方式，因此采用vPC進(jìn)行鏈路捆綁時使用三層端口 鏈路捆綁技術(shù)。如圖所示：1.3數(shù)據(jù)中心分布層設(shè)計 數(shù)據(jù)中心分布層虛擬交換機數(shù)據(jù)中心的分布匯聚層交換機是采用上述Nexus 7010內(nèi)單獨劃分處理的虛擬交換機實現(xiàn)。虛擬交換機之間通過外 部互連，并同樣采用vPC的三層端口鏈路捆綁技術(shù)。 分布匯 聚層虛擬交換機與下面的接入層采用二層端口的vPC跨機箱捆綁技術(shù)互連

8、，如下圖所示。數(shù)據(jù)中心分布層智能服務(wù)機箱數(shù)據(jù)中心的網(wǎng)絡(luò)智能服務(wù)由設(shè)計在分布層的智能服務(wù)機箱提供(Multi-Services Chassis )。單獨的服務(wù)機箱可以不破壞高性能的一體化交換架構(gòu)形成的數(shù)據(jù)中心主干，有選擇的對三網(wǎng)合一的數(shù)據(jù)中心流量提供按需的網(wǎng)絡(luò)智能服務(wù)。比如本地存儲流量沒有必要在傳輸過程中經(jīng)過數(shù)據(jù)應(yīng)用類 防火墻的檢查（存儲網(wǎng)內(nèi)有自己的安全訪問控制機制），這 樣的設(shè)計比較容易實現(xiàn)類似的FCoE流量的無干擾直達(dá)。智能服務(wù)機箱采用 Cisco Catalyst 6500 交換機，配置720G引擎和18個萬兆端口，內(nèi)置防火墻模塊（ FWSM ）、 應(yīng)用控制模塊（ACE），提供應(yīng)用級安全訪

9、問控制和應(yīng)用 優(yōu)化、負(fù)載均衡功能。智能服務(wù)機箱采用雙機冗余結(jié)構(gòu)，利用Catalyst 6500的VSS虛擬交換機功能，兩個獨立的機箱完全可以看成為 一個邏輯機箱，再通過共4個萬兆上連至2個N7000上的分布匯聚層虛擬交換機上。VSS技術(shù)形成了一個具有1.44Tbps能力的智能服務(wù)機箱，再通過N7000的vPC技術(shù)， 則形成了智能服務(wù)機箱和 N7000之間全雙工高達(dá)80Gbps 的互連帶寬。由于N7000和6500VSS上都預(yù)留了足夠的萬 兆端口，這個捆綁帶寬值根據(jù)未來智能服務(wù)處理性能的需要還可以成倍的平滑升級。物理和邏輯的連接示意圖如下面所 示。物理結(jié)構(gòu)圖輯結(jié)構(gòu)圖 在一期實施中，智能服務(wù)機箱內(nèi)

10、智能服務(wù)器硬件模塊的部署密度不高每個機箱內(nèi)防火墻模塊、負(fù)載均衡模塊各 一塊，這樣每個機箱內(nèi)使用引擎加速技術(shù)的防火墻模塊最大 迸發(fā)吞吐量32Gbps，負(fù)載均衡模塊最大四層吞吐能力 16Gbps （而且不是所有都需要負(fù)載均衡），完全滿足當(dāng)前 業(yè)務(wù)需求，因此可以在實施中簡化配置，改雙機箱VSS結(jié)構(gòu)為一主一備機箱方式，在以后隨業(yè)務(wù)需求上漲，業(yè)務(wù)模塊 增多，再完善為雙機箱負(fù)載均衡的VSS模式。由于服務(wù)機箱內(nèi)的防火墻模塊和應(yīng)用控制優(yōu)化模塊都支持虛擬化技術(shù)，因此還可以利用智能服務(wù)虛擬化實現(xiàn)基于 每個數(shù)據(jù)中心業(yè)務(wù)組的定制服務(wù)策略和功能，使每個業(yè)務(wù)應(yīng) 用使用所需資源時不必過度關(guān)注其物理存在方式，從而實現(xiàn) 與物理

11、無關(guān)的跨平臺智能服務(wù)調(diào)用（SODC的交互服務(wù)調(diào)用），極大的提高資源利用效率，減少了物理設(shè)施維護(hù)的復(fù) 雜度。這部分將在后面智能服務(wù)的詳細(xì)設(shè)計中加以闡明。1.4數(shù)據(jù)中心接入層設(shè)計使用Cisco Nexus 5000 和2000系列DCE接入交換機， 可以實現(xiàn)數(shù)據(jù)中心接入層的分級設(shè)計。本次建議XXX公司使用的是具有將近1.2Tbps交換能力、初始配置有40個萬兆以太網(wǎng)端口的 Nexus 5020交換機， 以及具備48個10/100/1000M 以太網(wǎng)端口、4個萬兆上連端 口的Nexus 2148T。Nexus 2000 是5000系列的交換矩陣 延展器，通過部署在柜頂(Top of the Rack，ToR)的2148T， 可以將本地接入的高密度服務(wù)器上連到5020，4個上連萬兆端口可