PCF網(wǎng)絡(luò)設(shè)計(jì)方案

1、網(wǎng)絡(luò)規(guī)劃1. 設(shè)計(jì)標(biāo)準(zhǔn)Pivotal Cloud Foundry網(wǎng)絡(luò)分為System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)為實(shí)現(xiàn)網(wǎng)絡(luò)相的互隔離。通過(guò)采用虛擬交換技術(shù)，將承載不同應(yīng)用業(yè)務(wù)的虛擬機(jī)劃入不同子網(wǎng)，實(shí)現(xiàn)各應(yīng)用系統(tǒng)的安全隔離。通過(guò)VLAN將虛擬機(jī)劃分為不同區(qū)域，實(shí)現(xiàn)分區(qū)分域的要求。用于PCF環(huán)境中3臺(tái)服務(wù)器的每臺(tái)物理主機(jī)上均使用2塊千兆網(wǎng)卡，并將System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)劃分為不同的VLAN。其中，System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)三網(wǎng)連接萬(wàn)兆物理交換機(jī)上，IP SAN網(wǎng)采用單獨(dú)交換機(jī)連接至存儲(chǔ)，提高虛擬化平臺(tái)可靠性。PCF環(huán)境網(wǎng)絡(luò)構(gòu)成有別于傳統(tǒng)

2、網(wǎng)絡(luò)，其自身不僅包含傳統(tǒng)物理網(wǎng)絡(luò)部分，同時(shí)也包含虛擬網(wǎng)絡(luò)結(jié)構(gòu)以及虛擬網(wǎng)絡(luò)與實(shí)體網(wǎng)絡(luò)所交互的部分。正確的網(wǎng)絡(luò)設(shè)計(jì)對(duì)組織實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)有著積極的影響，它可確保經(jīng)過(guò)授權(quán)的用戶能夠及時(shí)訪問(wèn)業(yè)務(wù)數(shù)據(jù)，同時(shí)防止未經(jīng)授權(quán)的用戶訪問(wèn)數(shù)據(jù)。網(wǎng)絡(luò)設(shè)計(jì)必須經(jīng)過(guò)合理優(yōu)化，以滿足應(yīng)用、服務(wù)、存儲(chǔ)、管理員和用戶的各種需求。網(wǎng)絡(luò)資源規(guī)劃的目標(biāo)是設(shè)計(jì)一種能降低成本、改善性能、提高可用性、提供安全性，以及增強(qiáng)功能的虛擬網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，該架構(gòu)能夠更順暢地在應(yīng)用、存儲(chǔ)、用戶和管理員之間傳遞數(shù)據(jù)。Ø 指導(dǎo)原則與最佳實(shí)踐在規(guī)劃網(wǎng)絡(luò)資源時(shí)，我們會(huì)遵循如下的指導(dǎo)原則與最佳實(shí)踐。u 構(gòu)建模塊化網(wǎng)絡(luò)解決方案，該方案可隨時(shí)間的推移不斷擴(kuò)

3、展以滿足組織的需求，使得用戶無(wú)需替換現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，進(jìn)而降低成本。u 為了減少爭(zhēng)用和增強(qiáng)安全性，應(yīng)該按照流量類型（管理網(wǎng)絡(luò)（HA心跳互聯(lián)網(wǎng)絡(luò)）、vMotion在線遷移網(wǎng)絡(luò)、虛擬機(jī)對(duì)外提供服務(wù)的網(wǎng)絡(luò)、FT、IP存儲(chǔ)）對(duì)網(wǎng)絡(luò)流量進(jìn)行邏輯分離。u VLAN可減少所需的網(wǎng)絡(luò)端口和電纜數(shù)量，但需要得到物理網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的支持。u 可以在不影響虛擬機(jī)或在交換機(jī)后端運(yùn)行的網(wǎng)絡(luò)服務(wù)的前提下，向標(biāo)準(zhǔn)或分布式交換機(jī)添加或從中移除網(wǎng)絡(luò)適配器。如果移除所有正在運(yùn)行的硬件，虛擬機(jī)仍可互相通信。如果保留一個(gè)網(wǎng)絡(luò)適配器原封不動(dòng)，則所有的虛擬機(jī)仍然可以與物理網(wǎng)絡(luò)相連。u 連接到同一標(biāo)準(zhǔn)交換機(jī)或分布式交換機(jī)的每個(gè)物理網(wǎng)絡(luò)適配

4、器還應(yīng)該連接到同一物理網(wǎng)絡(luò)。將所有VMkernel網(wǎng)絡(luò)適配器配置為相同MTU。u 實(shí)施網(wǎng)絡(luò)組件和路徑冗余，以支持可用性和負(fù)載分配。u 使用具有活動(dòng)/備用端口配置的網(wǎng)卡綁定，以減少所需端口的數(shù)量，同時(shí)保持冗余。u 對(duì)于多網(wǎng)口的冗余配置應(yīng)該遵循配置在不同PCI插槽間的物理網(wǎng)卡口之間。u 對(duì)于物理交換網(wǎng)絡(luò)也應(yīng)該相應(yīng)的進(jìn)行冗余設(shè)置，避免單點(diǎn)故障。建議采用千兆以太網(wǎng)交換網(wǎng)絡(luò)，避免網(wǎng)絡(luò)瓶頸。u 對(duì)吞吐量和并發(fā)網(wǎng)絡(luò)帶寬有較高使用要求的情況，可以考慮采用10GbE，不過(guò)采用萬(wàn)兆網(wǎng)絡(luò)在適配器和交換機(jī)上的投入成本也會(huì)相應(yīng)增加。簡(jiǎn)單的方法是通過(guò)在虛擬機(jī)網(wǎng)絡(luò)vSwitch或vPortGroup上通過(guò)對(duì)多塊1GbE端口

5、捆綁負(fù)載均衡實(shí)現(xiàn)。PCF網(wǎng)絡(luò)域設(shè)計(jì)要求考慮網(wǎng)絡(luò)的連通性、隔離性、性能等方面的要求，如下表所示。網(wǎng)絡(luò)要求要求描述連通性連通性是指將有需要進(jìn)行互相通信的組件（服務(wù)器、控制節(jié)點(diǎn)、客戶端等）進(jìn)行連通。要求應(yīng)用網(wǎng)中有業(yè)務(wù)互通需求的虛擬機(jī)、物理機(jī)、終端等設(shè)備可以通信，網(wǎng)絡(luò)承載的業(yè)務(wù)系統(tǒng)可以不間斷對(duì)外提供服務(wù)。隔離性隔離性是指將沒(méi)有必要進(jìn)行相互通信的組件互相隔開，使其在網(wǎng)絡(luò)上不可達(dá)。如在虛擬化環(huán)境中，管理網(wǎng)與應(yīng)用網(wǎng)需通過(guò)分配到不同的VLAN方式實(shí)現(xiàn)二層隔離。性能管理網(wǎng)專供資源池管理工具的資源控制服務(wù)使用，對(duì)物理機(jī)、虛擬機(jī)進(jìn)行實(shí)時(shí)監(jiān)控，管理網(wǎng)使用萬(wàn)兆以太網(wǎng)；App應(yīng)用網(wǎng)專供虛擬機(jī)的信息應(yīng)用對(duì)外提供網(wǎng)絡(luò)服務(wù)使用

6、，由于多臺(tái)虛擬機(jī)通過(guò)同一塊物理網(wǎng)卡對(duì)外提供網(wǎng)絡(luò)服務(wù)，使用萬(wàn)兆以上高速以太網(wǎng)；System服務(wù)網(wǎng)專供PCF服務(wù)組件之間的通信，即承載各虛擬機(jī)服務(wù)器流量，使用萬(wàn)兆以上高速以太網(wǎng)；IP SAN網(wǎng)專供PCF 環(huán)境中3臺(tái)物理服務(wù)器連接共享存儲(chǔ)使用，使用千兆以上高速以太網(wǎng)。2. 網(wǎng)絡(luò)總體結(jié)構(gòu)結(jié)合公安網(wǎng)現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)以及PCF總體架構(gòu)，從生產(chǎn)環(huán)境、地址劃分、客戶訪問(wèn)、平臺(tái)維護(hù)等方面考慮，網(wǎng)絡(luò)設(shè)計(jì)中，將網(wǎng)絡(luò)劃分為PCF服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)，各個(gè)網(wǎng)絡(luò)通過(guò)VLAN劃分相互隔離。用戶訪問(wèn)PCF應(yīng)用時(shí)需經(jīng)由防火墻跳轉(zhuǎn)，保證PCF內(nèi)網(wǎng)與公安網(wǎng)之間的安全性。測(cè)試環(huán)境硬件配置：浪潮配置-NF5270

7、M32*E5-2650v2(2.6GHz/8c)/8GT/20M16*16G Registered DDR3內(nèi)存1*10000轉(zhuǎn) 900G SAS硬盤集成2個(gè)千兆網(wǎng)口、配置2塊單口萬(wàn)兆網(wǎng)卡-INSPUR單口萬(wàn)兆網(wǎng)卡（光纖接口，含光模塊）、配置冗余電源配置1塊八通道直通卡2308it卡五年原廠保修服務(wù)邏輯架構(gòu)方案中采用8臺(tái)物理服務(wù)器，其中3臺(tái)用于PCF環(huán)境，4臺(tái)GP服務(wù)器，1臺(tái)Oracle數(shù)據(jù)庫(kù)服務(wù)器。3臺(tái)用于PCF環(huán)境的服務(wù)器通過(guò)IP SAN方式連接共享存儲(chǔ)，服務(wù)器與存儲(chǔ)之間由一臺(tái)千兆交換機(jī)進(jìn)行連接，由一塊網(wǎng)卡專門承載存儲(chǔ)流量，另一塊網(wǎng)卡上聯(lián)萬(wàn)兆交換機(jī)，保證PCF服務(wù)器和虛擬機(jī)能與4臺(tái)GP服務(wù)

8、器及Oracle數(shù)據(jù)庫(kù)服務(wù)器通信，它們之間通信完全由內(nèi)網(wǎng)完成；萬(wàn)兆交換機(jī)上聯(lián)防護(hù)墻，公安網(wǎng)訪問(wèn)內(nèi)部網(wǎng)絡(luò)經(jīng)由防火墻，再以NAT方式完成公安網(wǎng)和內(nèi)網(wǎng)的互通，既實(shí)現(xiàn)網(wǎng)絡(luò)隔離又保證網(wǎng)絡(luò)安全。物理架構(gòu)總體分為3層:第一層為存儲(chǔ)層，采用IP SAN 存儲(chǔ)方式，連接PaaS 群集中3臺(tái)物理服務(wù)器，提供PCF環(huán)境共享存儲(chǔ)；第二層為服務(wù)器內(nèi)部層，臺(tái)服務(wù)器上聯(lián)萬(wàn)兆交換機(jī)，產(chǎn)生一個(gè)萬(wàn)兆局域網(wǎng)，保證虛擬機(jī)與物理機(jī)之間的通信；第三層為外部層，由防火墻提供內(nèi)網(wǎng)與外網(wǎng)之間的通信，所有進(jìn)出流量都需通過(guò)防火墻。3. 詳細(xì)規(guī)劃內(nèi)容網(wǎng)段規(guī)劃設(shè)計(jì)為實(shí)現(xiàn)System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)的相互隔離，采用虛擬交換技

9、術(shù)，將承載不同應(yīng)用業(yè)務(wù)的服務(wù)器及虛擬機(jī)劃入不同VLAN，實(shí)現(xiàn)各應(yīng)用系統(tǒng)的安全隔離。資源池網(wǎng)絡(luò)設(shè)計(jì)用途管理網(wǎng)集中管理軟件監(jiān)控各物理服務(wù)器、vMotion的專門網(wǎng)絡(luò)System服務(wù)網(wǎng)PCF虛擬服務(wù)器各組件對(duì)外提供服務(wù)的網(wǎng)絡(luò)，。App應(yīng)用網(wǎng)提供用戶訪問(wèn)PCF應(yīng)用的專門網(wǎng)絡(luò)IP SAN網(wǎng)提供PCF服務(wù)器連接共享存儲(chǔ)的專門網(wǎng)絡(luò)將System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)劃分在不同的VLAN中，其中叫交換機(jī)的網(wǎng)卡接口模式設(shè)置為Trunk，承載System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)，另一塊網(wǎng)卡連接存儲(chǔ)，即承載IP SAN網(wǎng)。詳細(xì)IP地址如下：網(wǎng)段用途名稱IP個(gè)數(shù)管理網(wǎng)虛擬化服務(wù)器ESXi主機(jī)

10、011虛擬化服務(wù)器ESXi主機(jī)021虛擬化服務(wù)器ESXi主機(jī)031存儲(chǔ)服務(wù)器存儲(chǔ)服務(wù)器1IP SAN網(wǎng)用于連接存儲(chǔ)ESXi主機(jī)01 IP San網(wǎng)1用于連接存儲(chǔ)ESXi主機(jī)02 IP San網(wǎng)1用于連接存儲(chǔ)ESXi主機(jī)03 IP San網(wǎng)1管理網(wǎng)GP服務(wù)器GP主機(jī)011GP服務(wù)器GP主機(jī)021GP服務(wù)器GP主機(jī)031GP服務(wù)器GP主機(jī)041Oracle數(shù)據(jù)庫(kù)服務(wù)器Oracle數(shù)據(jù)庫(kù)1System應(yīng)用網(wǎng)集中管理軟件vCenter1DNS及NTP服務(wù)器DNS/NTP1PCF管理服務(wù)器Ops Manager1BOSH主機(jī)Ops Manager Director1Elastic Runtime組件NA

11、TS 1Elastic Runtime組件consul 1Elastic Runtime組件etcd 1Elastic Runtime組件NFS Server 1Elastic Runtime組件Cloud Controller Database 1Elastic Runtime組件UAA Database 1Elastic Runtime組件Apps Manager Database 1Elastic Runtime組件Cloud Controller 1Elastic Runtime組件HAProxy 1Elastic Runtime組件Router 1Elastic Runtime組件H

12、ealth Manager 1Elastic Runtime組件Clock Global 1Elastic Runtime組件Cloud Controller Worker 1Elastic Runtime組件UAA 1Elastic Runtime組件MySQL Proxy 1Elastic Runtime組件MySQL Server 1Elastic Runtime組件DEA 1Elastic Runtime組件Doppler Server 1Elastic Runtime組件Loggregator Trafficcontroller1MySQL服務(wù)組件MySQL Server2MySQL

13、服務(wù)組件Proxy2MySQL服務(wù)組件Broker2ESXi主機(jī)網(wǎng)絡(luò)設(shè)置PCF服務(wù)器兩塊網(wǎng)卡，System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)使用一塊網(wǎng)卡，另一塊網(wǎng)卡承載IP SAN流量。以下為詳細(xì)配置表：虛擬交換機(jī)端口組名稱端口組類型VLAN配置上聯(lián)端口vSwitch0Management Network、vMotionVMkernel端口管理VLANvmnic0vSwitch1System Network虛擬機(jī)端口組System 服務(wù)VLANvmnic0vSwitch2App Network虛擬機(jī)端口組App 應(yīng)用VLANvmnic0vSwitch3IP SANVMkernel端口IP SAN V

14、LANvmnic1Ø 虛擬交換機(jī)規(guī)劃上述配置的相關(guān)說(shuō)明如下。u 所選用的網(wǎng)卡必須在虛擬化服務(wù)器的網(wǎng)絡(luò)I/O設(shè)備兼容列表里。 u 對(duì)于虛擬交換機(jī)的雙端口冗余，如果網(wǎng)卡自帶軟件支持可以在ESXi主機(jī)操作系統(tǒng)級(jí)別實(shí)現(xiàn)NIC Teaming，本方案建議通過(guò)多個(gè)vSwitch綁定與單塊網(wǎng)卡上，實(shí)現(xiàn)多網(wǎng)隔離。u 對(duì)于虛擬機(jī)應(yīng)用的網(wǎng)絡(luò)，為了確保虛擬機(jī)在執(zhí)行了vMotion遷移到另一物理主機(jī)時(shí)保持其原有的VLAN狀態(tài)，建議根據(jù)實(shí)際需要在虛擬交換機(jī)端口啟用802.1q的VLAN標(biāo)記（VST）方式。采用此方式可以確保遷移主機(jī)可以保留原有的網(wǎng)絡(luò)配置如網(wǎng)關(guān)等，并且建議在網(wǎng)絡(luò)設(shè)置中啟用通知物理交換機(jī)功能，該功

15、能可以確保遷移主機(jī)通過(guò)反向ARP通知物理交換機(jī)虛擬機(jī)端口的更改，確保新的用戶會(huì)話可以被正確建立。PCF 服務(wù)器主機(jī)網(wǎng)絡(luò)連接配置示意圖如下所示。圖：主機(jī)網(wǎng)絡(luò)連接示意圖Ø vSwitch綁定每臺(tái)服務(wù)器只存在2塊網(wǎng)卡，而其中一塊網(wǎng)卡需連接共享存儲(chǔ)（IP SAN網(wǎng)），另一塊網(wǎng)卡將承載System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)流量，且此網(wǎng)卡上聯(lián)交換機(jī)需打Trunk，保證System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)分配不同VLAN。虛擬機(jī)交換機(jī)綁定要求滿足以下條件：u 將兩個(gè)或更多vSwitch分配到同一網(wǎng)卡上u 同一端口組中的所有網(wǎng)卡都位于相同的第二層廣播域中網(wǎng)卡綁定的示意圖如下所示。圖：網(wǎng)卡綁定示意圖域名需求需要提供一個(gè)能夠在公安網(wǎng)根域名服務(wù)器解析的泛域名，來(lái)綁定應(yīng)用，進(jìn)行訪問(wèn)。域名IP地址*.XXX.XXX.COMIP1網(wǎng)絡(luò)設(shè)備需求共需要一個(gè)千兆交換機(jī)，一個(gè)萬(wàn)兆交換機(jī)，一個(gè)防火墻設(shè)備。千兆交換機(jī)用來(lái)連接服務(wù)器及IP-SAN存儲(chǔ)設(shè)備。需要5個(gè)可用端口。萬(wàn)兆交換機(jī)用來(lái)組建內(nèi)部局域網(wǎng)，保證PCF、GP、Oracle