私有云平臺搭建項目實施方案

XXX協會

私有云平臺搭建項目實施方案

目錄

第1章總體初步設計、工作方案..........................................................1

1.1.總體框架設計...................................................................1

1.2.技術路線.......................................................................2

1.2.1.基礎網絡...................................................................2

1.2.2.基礎設施...................................................................2

1.2.3.服務支撐....................................................................3

1.2.4.應用遷移....................................................................4

1.2.5.信息安全...................................................................4

1.3.實施產品清單...................................................................5

1.4.實施工作內容...................................................................7

第2章網絡技術實施方案................................................................8

2.1.總體網絡架構設計...............................................................8

2.2.網絡子系統.....................................................................9

2.2.1.云平臺數據中心網絡設計.....................................................9

2.2.2.IP地址規(guī)劃...............................................................10

2.2.3.路由協議設計..........................................................12

2.2.4.VPN設計..................................................................12

2.2.5.QOS設計..................................................................12

2.2.6.可靠性設計............................................................15

2.2.7,安全性設計................................................................17

2.2.8.網管設計..................................................................19

2.2.9.云平臺IDC虛擬化部署......................................................20

第3章云平臺機房技術實施方案.........................................................23

3.1.系統概述......................................................................23

3.2.云平臺機房概述...............................................................24

3.2.1.建設標準..................................................................24

3.2.2.地理位置..................................................................26

3.2.3.電力系統..................................................................27

3.2.4.制冷......................................................................29

3.2.5.消防......................................................................30

3.2.6.安保監(jiān)控..................................................................31

3.3.數據中心機柜資源規(guī)劃.........................................................32

第4章云基礎設施（IAAS層）技術實施方案...............................................34

4.1.云計算基礎架構體系............................................................34

4.1.1.設計原則.................................................................34

7.1.2.系統總體架構...............................................................35

4.2.云計算中心網絡層設計...........................................................43

4.2.1.設計思路.......................................................................43

4.3.云平臺網絡系統整體架構.........................................................45

4.3.1.整體架構設計思想..............................................................45

4.3.2.云平臺內網網絡系統設計........................................................47

4.3.3.云平臺中心核心交換區(qū)..........................................................48

4.3.4.云平臺中心云資源池區(qū)..........................................................49

4.3.5.云平臺中心運維管理區(qū)..........................................................49

4.3.6.外聯安全接入區(qū)................................................................50

4.3.7.云平臺內網接入網絡設計........................................................51

4.3.8.云平臺內網網絡系統設計總結....................................................52

4.3.9.云平臺網絡關鍵技術支撐........................................................53

4.4.虛擬網絡規(guī)劃...................................................................54

4.5.服務器設備清單.................................................................55

第5章軟硬件實施詳細方案.............................................................57

5.1.華為防火墻安裝部署.............................................................57

5.1.1.配置備防火墻上的NAT.........................................................................................................57

5.1.2.配置雙機熱備份模式............................................................58

5.2.華為服務器安裝部署...........................................................60

5.2.1.版務器安裝流程...............................................................60

5.2.2.服務器上架安裝................................................................61

5.2.3.配置RAID.............................................................................................................................63

5.3.浪潮存儲AS520-E安裝部署.....................................................68

5.3.1.設備登陸......................................................................68

5.3.2.創(chuàng)建資源池....................................................................68

5.3.3.創(chuàng)建RAID.............................................................................................................................69

5.3.4.自動鏡像故障遷移.........................................................70

5.3.5,創(chuàng)建主機組.....................................................................70

5.4.VMWAREvCAC安裝部署.............................................................71

5.4.1.部署VCACIndentity...........................................................................................................71

5.4.2.部署VCACAppliance...........................................................................................................74

5.4.3.安裝配置7：具...................................................................77

5.5.VMWAREVSPHERE安裝部署...........................................................79

5.5.1.方案拓撲.......................................................................79

5.5.2.方案構成部分詳細說明..........................................................80

5.5.3.硬件資源分配..................................................................82

5.6.WINDOWS域控部署...............................................................100

5.6.1.數據中心父域控搭建...........................................................100

5.6.2.協會內網新建子域.............................................................102

第6章項目管理計劃..................................................................103

6.1.云平臺部署流程...............................................................103

6.2.項目管理計劃..................................................................104

6.3.項目人員職責.................................................................105

第1章總體初步設計、工作方案

1.1.總體框架設計

本次XXX協會私有云平臺實施工作方案將針對計算服務整體架構中的云計

算資源，通過對底層服務器硬件及存儲資源實現虛擬化聚合部署，配合以云計

算管理平臺、監(jiān)控平臺、資源調度平臺，實現云計算中基礎架構即服務

(laaS)部分，同時該laaS平臺也為以后計算中心提供更高層次的云計算服

務，如PaaS,SaaS服務提供了良好的基礎平臺，也為XXX協會今后部署其他

業(yè)務系統，及現有系統擴展提供良好的擴展性。

協會私有云平臺的總體框架由七大核心組件構成：運維服務、業(yè)務應用系

統、基礎設施、平臺虛擬化、計算資源、計算資源管理、云管理平臺。推進系

統的建設，服務是宗旨，應用是關鍵，支撐是依托，信息資源是核心，基礎設

施是承載，運維和標準化體系是保障。

動態(tài)奏源管理

圖1協會laaS云平臺系統總體框架圖

基礎設施平臺建設是協會云平臺的基礎和前提。包括網絡支撐

環(huán)境建設和硬件支撐環(huán)境建設?；诟咭?guī)格數據中心，滿足協

基礎設施

會設備托管、應用系統訪問的需求，并具各為協會提供虛擬服

務器和存儲的服務能力以及。

構建協會云平臺計算資源池，實現業(yè)務運行過程中需要的各類

計算資嫄數據資源和信息資源的集中存儲和管理。建立資源目錄體系，

為各保險行業(yè)客戶提供信息查詢和共享服務。

針對協會云平臺計算資源池資源使用情況與系統負載程度，手

計算資源管理動、自動調整資源分配，將空閑資源充分利用，實現硬件資源

高效運行。

另類投資項目應用系統建設，是協會云平臺系統建設的主要內

容，圍繞需要開展的各項業(yè)務，以另類投資系統開發(fā)與云托管

業(yè)務應用系統

為主線，以資源整合與應用支撐為基礎，建立信息共享機制和

業(yè)務協同體系，為協會注冊會員單位提供數據交換服務。

云平臺運維服務是協會云平臺建設項目的直要保障系統。系統

的服務體系根據對象分為兩大類，數據中心及線路運維服務，

運維服務體系實現協會與保險單位實現信息公開、網上辦事和會員服務；云

平臺運維服務，實現各類應用系統的在私有云環(huán)境下的虛擬機

運維，監(jiān)控和告警服務。

采用業(yè)界領先的虛擬化技術，將另類投資系統在虛擬化平臺部

平臺虛擬化

署。后續(xù)其他業(yè)務系統平滑遷移和備份。

VCAC私有云管理平臺是協會云平臺建設的咳心，通過VCAC對

私有云資源的監(jiān)控、調度、自助門戶、統計分析等功能搭建協

云管理平臺

會信息系統從傳統IT到云架構的轉型，同時作為今后業(yè)務系

統的托管平臺。

1.2.技術路線

1.2.1.基礎網絡

搭建云平臺基礎網絡，通過防火墻、VPN技術實現另類投資等業(yè)務系統與

協會內網VPN遠程連接，內網采用OSPF/BGP的動態(tài)路由協議；外網采用IPSec

VPN技術實現端到端的可靠傳輸。防火墻、核心交換機全部采用冗余架構，避

免單點故障的風險，打造穩(wěn)定安全的云平臺基礎網絡。

1.2.2.基礎設施

通過云計算、虛擬化技術實現數據中心的建設，提高資源利用率，避免復

雜的系統集成和大規(guī)模的設備占用空間，降低投資成本，簡化管理復雜性，能

對整體系統運行環(huán)境進行統一監(jiān)管和動態(tài)分配，從而降低計算管理和運行成

本。協會云平臺數據中心按照T3+標準進行選址、選型。

按照系統的高可用性要求，本次項目擬采用新一代的可自愈的基礎設施。

本次設計考慮到安全及最優(yōu)成本的同時提高系統資源利用率，并為未來“云”

模式下的協會應用提供無縫的遷移和過渡能力。在數據中心的建設中引入云計

算、虛擬化技術，在數據中心搭建云平臺，通過服務器虛擬化，有效降低業(yè)務

系統建設的硬件投入實現硬件資源管理和使用的集約化。

經測算，置五臺高性能物理服務器作為計算資源，通過在服務器上安裝配

置虛擬化平臺軟件，在單個物理服務器實體上，充分使用設備的空余資源，利

用管理調度平臺生成多個獨立的虛擬服務器。每一個虛擬服務器從功能、性能

和操作方式上等同于傳統的單臺物理服務器。每個虛擬機可以獨立的裝配置不

同的操作系統而互不影響，從而大大提高資源利用率，降低成本，增強了系統

和應用的可用性，提高系統的靈活性和快速響應，實現了服務器虛擬架構的整

合。而對于現有物理服務器上的應用，可以通過遷移工具完整的遷移到虛擬化

環(huán)境中，無需重新部署，所有配置保持原樣。

1.2.3.服務支撐

云平臺日常運維服務包括：基礎架構管理，云平臺管理，網絡運維，服務

器運維，監(jiān)控服務，基礎云資源監(jiān)控服務。

對于突發(fā)事件，歐唯特信息系統根據故障的嚴重程度和影響程度的不同，將

故障級別由低到高分為三級故障、二級故障和一級故障。當故障沒有在規(guī)定時限

內恢復或解決時，故障級別將自動升級。當故障不能使用有效的遠程支持方式進

行解決時，歐唯特信息系統公司將派遣工程師趕往用戶現場，協助進行現場故障

診斷及現場故障排除。

1.2.4.應用遷移

通過云遷移技術將現有應用系統的無縫切換到云服務平臺。

1.2.5.信息安全

按照等級保護要求，通過訪問控制、入侵防范、惡意代碼防范、資源控制

等方面來實現信息安全。

1.3.實施產品清單

產品品牌型號配置數量

2顆10核CPU,CPU型號為

E5-2650v3；內存128G,硬

服務器（計

華為RH2288HV3盤300G*210KSAS/RAID/8Gb5臺

算節(jié)點）

HBA*2/4port1G網卡/RW-

DVD

1顆8核CPU,CPU型號為E5-

2609v3；內存16G,硬盤

服務器（管

華為RH2288HV3300G*210KSAS/RAID/8Gb1臺

理節(jié)點）

HBA*2/4port1G網卡/RW-

DVD

RH2288HV3服

附件華為16G單條*44條

務器內存

17TB凈容量，支持內置高速

緩存32GCache,雙控制器

（Active-Active）,板載8個

1GbiSCSI主機接口，2個

存儲服務器浪潮AS520E-M11臺

24GbSAS寬端口，RAID級別：

0/1/10/5/6/50/60，支持自動

分層，自動精簡配置，卷復制，

卷鏡像，快照技術等。

2臺冗余。單臺激活16口，帶

BROCADESAN

光纖交換機博科16根線2臺

Switch

華為網絡交換三層千兆以太網交換機，背板

機S5700-28C-帶寬：160Gbps,包轉發(fā)率

網絡交換機華為2臺

SI-AC65.5Mpps,24個10/100/1000

以太網口，可堆疊

VPN防火墻，網絡吞吐量：

300Mbps,并發(fā)連接數:

130000，用戶數限制：無用

華為USG6360戶數限制，安全過濾帶寬：

防火墻華為2臺

防火墻170Mbps,3+1個管理快速以

太網端口、可升級到5個快

速以太網端口、1個SSM擴

展插槽

VMware

基礎虛擬化VMware

vSphere6標準版1套

軟件vSphere

Std

虛擬化管理VMwareVMware

標準版1套

平臺vCentervCenterStd

VCAC

云管理平臺VMware

Standard標準版1套

軟件vCloud

Version

北京大興星光

世紀互

機柜租賃影視城數據中16A機柜1個

聯

心

5M獨享雙線

公網帶寬雙線BGP16個公網IP5M

BGP

1.4.實施工作內容

工作項目服務名稱服務內容

?私有云環(huán)境需求分析，環(huán)境調研。前

需求分析業(yè)務分析，需求調研

期云集成方案設計

?私有云平臺基礎架構設計

?私有云平臺管理流程設計

云平臺設計私有云平臺規(guī)劃設計

?私有云平臺Portal需求分析

?及該階段項目管理

?私有云平臺基礎架構部署

?私有云平臺管理流程實施

云平臺部署私有云平臺安裝，配置

?私有云平臺Portal部署及實施階段

項目管理工作

?私有云平臺網絡環(huán)境安裝部署及調試

私有云計算資源部署調試

系統環(huán)境部私有云平臺底層環(huán)境安裝部?私有云存儲資源部署調試

署署，策略配置?默認監(jiān)控平臺部署私有云基礎架構系

統集成測試

?及項目管理工作

?操作系統安裝及系統調優(yōu)

應用環(huán)境測為業(yè)務系統上線部署OS及配?CBP監(jiān)控服務出署

試與部署合上線?配合應用系統上線測試

?項目管理

?準備SIT（系統集成測試）環(huán)境

系統集成測私有云平臺與業(yè)務系統聯調測

?與應用部門聯調測試

試試

?項目管理

?準備UAT測試環(huán)境與應用部門聯調執(zhí)

UAT最終驗收測試行UAT測試

?項目管理

第2章網絡技術實施方案

2.1.總體網絡架構設計

協會云平臺項目的總體架構概括為四層。四層為計算層、網絡層、平臺

層、應用層，網絡拓撲如下。

圖2總體網絡架構設計

A計算層

計算層網絡主要包括物理服務器、存儲設備網絡傳輸。通過冗余部署的光

纖交換機，實現高速數據存儲網絡，為云平臺提供高速，穩(wěn)定的計算網絡。

>網絡層

網絡層主要完成對數據的可靠性傳送，主要負責互聯網、VPN以及今后與

各個保險機構專線互聯。設計采用5M互聯網出口基礎上搭建VPN與協會內網安

全互聯?；ヂ摼W出口采用二臺下一代防火墻實現冗余部署，避免單點故障風

險。

>平臺層

平臺層基于云計算技術和中間件技術，主要包括laaS層以及運維支撐層，

通過云計算和虛擬化技術，具有靈活的可擴展性，主要實現虛擬化環(huán)境下各個

虛擬機直接網絡傳輸。

>應用層

應用層由遷移到云平臺的原有應用和新建應用組成。通過二臺冗余的核心

千兆交換機，實現應用服務器之間高速、穩(wěn)定的內部網絡傳輸。通過其內置的

HA功能實現冗余部署，防止單點故障產生。

2.2.網絡子系統

云平臺IDC網絡也采用三層結構進行設計，即：IDC出口層、核心交換

層、接入層。詳細設計建議見后續(xù)各章節(jié)。

2.2.1.云平臺數據中心網絡設計

本著高先進性與實用性、可靠性、高安全性、高擴展性以及遵循開放標準

的設計原則，云平臺數據中心交換網解決方案采用流行兩層網絡結構。

1.出口層

采用雙機冗余部署方式，部署1對防火墻。2臺防火墻間通過鏈路互聯；

向內通過千兆鏈路連接2臺核心交換機。即：對外通過5M互聯網線路連接互聯

網或VPN連接到協會內部網絡心，通過千兆鏈路連接平臺內網。

防火墻主要實現如下功能：

>連接不同的網絡，掌握全網路由，實現必要的路由策略控制；

>圍繞云平臺信息資源，負責各方向流量的高速轉發(fā);

>提供不同業(yè)務所需的QoS保證，實施基于聚合規(guī)則的流量控制策略；

>提供IPv4、IPv6網絡互聯互通過渡技術功能。

2.核心交換層

采用雙機冗余部署方式，部署1對核心交換機。2臺核心交換機間通過雙

千兆鏈路互聯，向下通過千兆鏈路連接接入層交換機，向上通過千兆鏈路連接

上行防火墻。

在此網絡架構中，服務器網絡接口連接在核心交換機上，數據中心內部基

于二層網絡進行通訊，數據中心與外連網絡基于三層網絡進行通訊。

核心交換機主要實現如下功能：

>作為內部服務器網關。

>作為云數據中心網絡中樞，負責內網橫向和縱向流量的高速轉發(fā)；

3.IDC網絡設備產品推薦

本期云平臺數據中心網絡建設，各主要網絡設備配置如下表:

三層千兆以太網交換機，背板帶寬：

華為網絡交換機S5700-

160Gbps,包轉發(fā)率65.5Mpps,24個2臺

28C-SI-AC

10/100/1000以太網口，可堆疊

網絡設備VPN防火墻，網絡吞吐量：300Mbps,并發(fā)連接

數：130000，用戶數限制：無用戶數限制，女

華為USG6360防火墻全過濾帶寬：170Mbps,3+1個管理快速以太2臺

網端口、可升級到5個快速以太網端口、1個

SSM擴展插槽

2.2.2.IP地址規(guī)劃

.IP地址總體規(guī)劃

為滿足后期業(yè)務的承載需求，首先需要對全網的IP地址進行一個科學精確

的規(guī)劃：

>為后期的網絡拓展、業(yè)務拓展等工作提供支持;

>實現接入點的精確綁定，保證接入點用戶可定位、可溯源、可隔離；

>為業(yè)務的可識別、可分流和端到端的QoS保障提供支撐；

>統一規(guī)范，為其他業(yè)務統一的策略部署、新業(yè)務統一部署打下基礎；

>實現每接入點/每用戶/每業(yè)務/按需分配IP地址；

>規(guī)劃初中期采用IPv4地址，后期可以根據需求采用IPv6地址。

1.IPv4地址規(guī)劃

本次針對內網、外網地址規(guī)劃，全網部署10.0.0.0/8網段，其中內網部署

10.0.1.T10.0.5.254段地址、外網部署10.0.6.T10.255.255.255段地址。

玄平臺IDC采用公網IPv4地址，地址規(guī)模為1個C類。

2?2?2?2.云平臺IDC網絡IP地址規(guī)劃

>網絡設備VLAN地址

IDC網絡設備VLAN地址采用保留IPv4地址，在內網地址段中選擇一段,

建議在10.0.1.0/16地址段進行分配，具體見下表：

設備VLAN地址

防火墻/32、10.0.1.2/32

核心交換機/32、10.0.1.4/32

接入交換機10.0.1.5/32、10.0.1.6/32

>網絡設備互聯地址

IDC網絡設備間、IDC網絡設備與外聯設備間互聯地址在10.0.5.0/24范圍

內選擇。

>服務器地址

虛擬化服務器地址采用私網IP地址。

2.2.3.路由協議設計

>路由協議設計原則

內網、外網各分配一個保留的自治域編號。

內或外網IGP協議建議采用OSPF或IS-IS協議中的一種協議，內網IGP

協議建議運行于所有路由器；

網內設備和互聯鏈路路由信息采用IGP協議進行通告；

>內部IGP規(guī)劃

由于IDC網絡三層網絡規(guī)模都不大，設備數量有限(少于50臺)，優(yōu)先考

慮OSPFo

2.2.4.VPN設計

為了增強安全性，協會內網可以通過VPN與云數據中心內業(yè)務系統互聯。

建議在協會防火墻和云數據中心防火墻啟用IPSecVPN實現安全連接。

2.2.5.QOS設計

.QOS模型設計

IETF提出了許多QoS服務模型和協議，其中比較突出的有IntServ

(IntegratedServices)模型和DiffServ(DifferentiatedServices)模

型。

DiffServ(區(qū)分服務)模型的業(yè)務流被劃分成不同的區(qū)分服務類。一個業(yè)

務流的區(qū)分服務類由其IP包頭中的區(qū)分服務標記字段(DifferentService

CodePoint,簡稱DSCP)來表示。區(qū)分服務只包含有限數量的業(yè)務級別，狀態(tài)

信息的數量少，因此實現簡單，擴展性較好。目前，區(qū)分服務是業(yè)界認同的IP

骨干網的QoS解決方案，盡管IETF為每個標準的PHB都定義了推薦的DSCP

值，但是設備廠家可以重新定義DSCP與PHB之間的映射關系，用戶可根據網絡

實際運維需要進行靈活定義。DiffServ對聚合的業(yè)務類提供QoS保證，可擴展

性好，便于在大規(guī)模網絡中使用。

.QOS規(guī)劃方案

1.流量分類及標記

流量分類是將數據報文劃分為多個優(yōu)先級或多個服務類C

網絡管理者可以設置流量分類的策略，這個策略除可以包括IP報文的IP

優(yōu)先級或DSCP值、802.Ip的CoS值等帶內信令，還可以包括輸入接口、源IP

地址、目的IP地址、MAC地址、IP協議或應用程序的端口號等。

對于網絡協議控制管理、語音、視頻類數據流，可以根據協議類型來進行

分類和標記。除此之外，在接入交換機側，也可以根據網絡的規(guī)劃，將不同的

業(yè)務數據流放入不同的VLAN之中，不同業(yè)務的IP地址空間不相同，也可以根

據源IP地址及目的IP地址，在入口處對進入網絡的IP報文進行分類和標記。

流量分類后就打標記。所謂標記就是根據SLA以及流分類的結果對業(yè)務流

打上類別標記。目前RFC定義了六類標準業(yè)務即：EF、AF1-AF4.BE,并且通過

定義各類業(yè)務的PHB(Per-hopBehavior)明確了這六類業(yè)務的服務實現要求，

即設備處理各類業(yè)務的具體實現要求。從業(yè)務的外在表現看，基本上可認為EF

流要求低時延、低抖動、低丟包率，對應于實際應用中的Video、語音、會議

電視等實時業(yè)務；AF流要求較低的延遲、低丟包率、高可靠性，對應于數據可

靠性要求高的業(yè)務如電子商務、企業(yè)VPN等；對BE流則不保證最低信息速率和

時延，對應于傳統互聯網業(yè)務。

在某些情況下需要重標記DSCP。例如在Ingress點業(yè)務流量進入以前已經

有了DSCP標記(如上游域是DSCP域的情形，或者用戶自己進行了DSCP的標

記)，但是根據SLA,又需要對DSCP進行重新標記。

分類標記將攜帶在IP報文中，作為后續(xù)QoS處理的依據。

2.隊列技術及擁塞管理

擁塞管理是指在網絡發(fā)生擁塞時，如何進行管理和控制,處理的方法是使

用隊列技術，具體過程包括隊列的創(chuàng)建、報文的分類、將報文送入不同的隊

列、隊列調度等。當接口沒有發(fā)生擁塞時，報文到達接口后立即被發(fā)送出去，

當報文到達的速度超過接口發(fā)送報文的速度時，接口就發(fā)生了擁塞。擁塞管理

就會將這些報文進行分類，送入不同的隊列；而隊列調度將對不同優(yōu)先級的報

文進行分別處理，優(yōu)先級高的報文會得到優(yōu)先處理。常用的隊列有FIFO、PQ、

CQ、WFQ、CBWFQ、等。

>PQ

需要先對報文進行分類，然后按報文的類別將報文送入PQ相應的隊列。在

報文出隊列的時候，PQ首先讓高優(yōu)先隊列中的報文出隊，直到高優(yōu)先隊列中的

報文發(fā)送完，才發(fā)送中優(yōu)先隊列中的報文，同樣直到發(fā)送完中優(yōu)先隊列中的報

文，才能發(fā)送低優(yōu)先隊列的報文。

這樣，分類時屬于較高優(yōu)先級隊列的報文將會得到優(yōu)先發(fā)送，而較低優(yōu)先

級的報文將會在發(fā)生擁塞時被較高優(yōu)先級的報文搶先，使得關鍵業(yè)務的報文能

夠得到優(yōu)先處理，非關鍵業(yè)務的報文在網絡處理完關鍵業(yè)務后的空閑中得到處

理。這樣處理既保證了關鍵業(yè)務的優(yōu)先，又充分利用了網絡資源。

由于PQ總是保證高優(yōu)先級的報文得到優(yōu)先轉發(fā)，所以當高優(yōu)先級的流量過

多時，可能會造成低優(yōu)先級的流量沒有轉發(fā)機會，所以使用PQ時應該合理規(guī)劃

各個優(yōu)先級的流量，適當限制高優(yōu)先級的流量，使低優(yōu)先級的流量也獲得一定

的發(fā)送機會。

>CBWFQ/LLQ

CBWFQ按照報文進入網絡設備的端口、報文的協議、是否匹配ACL來對報

文進行分類。每個流量類別市應一個隊列，支持64個流量類別，不同類別的報

文送入不同的隊列。對于不匹配任何類別的報文，則被送入默認隊列。隊列采

用WRR算法進行輪詢。

可以為每個流量類別定制一定的傳輸特性，如帶寬、傳輸權值、傳輸限制

等。為一個隊列指定的帶寬通常是指在帶寬擁塞時為該隊列所保證的帶寬。調

度器按照分配給每個流量類別的權值保證每個隊列分配到一定的帶寬，可以對

每個隊列為每個流量類別設置長度限制，長度限制是在該類別隊列中允許的最

大分組數量，如果隊列達到了長度限制，分組丟棄策略生效，CBWFQ可以和隊

尾丟棄、WRED等丟棄機制相結合。

這樣，在端口不發(fā)生擁塞的情況下，可以使各個流量類別的報文能獲得一

定的帶寬，在端口擁塞的情況下，又可以保證屬于優(yōu)先隊列的報文不會占用超

出規(guī)定的帶寬，保護其他報文得到相應的帶寬。

CBWFQ允許為分配給每個流量類別的帶寬提供確定性的或〃硬〃的擔保。對

于高速鏈路或骨干網來說重點是帶寬分配的硬性擔保，CBWFQ是一種功能強大

的QoS工具。

網絡擁塞會導致網絡性能的降低和帶寬得不到高效的使用，為了避免擁

塞，隊列可以通過丟棄數據包避免在任何用能的地方出現擁塞。隊列管理的主

要目的就是通過合理控制Buffer的使用，對可能出現的擁塞進行控制。其常用

的方法是采用RED/WRED算法，在Buffer的使用率超過一定門限后對部分級別

較低的報文進行早期丟棄，以避免在擁塞時直接進行末尾丟棄引起著名的TCP

全局同步問題，同時保護級別較高的業(yè)務不受擁塞的影響。

2?2?5.3.QOS部署建議

根據承載多業(yè)務要求，充不同業(yè)務需實施不同的QoS策略。

在網絡發(fā)生擁塞的時候，采用隊列的策略來調度每種業(yè)務，使得每種業(yè)務

獲取預先設定的服務質量參數。目前隊列調度機制有先進先出、優(yōu)先、加權輪

循以及帶有優(yōu)先隊列的加權輪循等。

為了支持多個業(yè)務等級，設備將不同等級的分組放入不同的隊列中。設備

在處理過程中，按照一定的隊列調度算法，決定從哪個隊列中取出數據分組進

行服務。隊列調度算法的好壞直接影響路由器的性能和QoS效果。

2.2.6.可靠性設計

整個云平臺數據中心網絡的高可靠性是大規(guī)模云數據中心網絡建設成功的

關鍵，對于重要節(jié)點比如核心設備雙機部署，提高單點可靠性；網絡設備的關

鍵部件，比如防火墻、交換機等都采用冗余設計，控制層面卻數據層面分離等

提高設備自身的可靠性；對于整個網絡，部署快速故障檢測協議，能快速感知

并自動恢復，提高整網的可靠性；軟件的在線升級和熱補丁是可靠性設計的重

要后盾。

2.2.6.1.設備高可靠性

以太網存在兩個不同的操作平面：控制平面和數據平面c控制平面主要是

指通訊協議、MAC信息和其它協議報文，還包括網絡設備本身的主機軟件，控

制平面用來實現網絡元素之間的通信。控制平面一般和用戶數據共享通信鏈

路。

數據平面主要是指以太網承載的各種業(yè)務，如語音、媒體流、辦公數據等

VPN業(yè)務等。這些業(yè)務對于以太網是數據轉發(fā)，主要是流量的沖擊，內部一般

不采用過多的安全控制策略。

2.2.6.2.協議高可靠性

1.鏈路聚合

鏈路聚合也稱為鏈路捆綁、端口聚集或鏈路聚集，就是將多個端口聚合在

一起形成一個匯聚組，以實現出/入負荷在各成員端口中的分擔。從外面看起

來，一個匯聚組好象就是一個端口。鏈路聚合的工作方式支持靜態(tài)Trunk方式

及動態(tài)LACP方式，通過配置可以實現多條鏈路的負載分擔及相互備份。MC-LAG

支持跨主機的鏈路捆綁，可用于雙歸場景中的主備保護。

鏈路聚合的優(yōu)點：

1）增加網絡帶寬，端口聚合可以將多個連接的端口捆綁成為一個邏輯連

接，捆綁后的帶寬是每個獨立端口的帶寬總和；

2）提高網絡連接的可靠性。當一條鏈路故障，流量會自動在剩下的鏈路間

重新分配；

3）避免二層環(huán)路。

2.2.7.安全性設計

2.2.7.1.網路安全風險分析

據ISCA統計，隨著安全威脅的升級，全球每年由信息安全問題導致的損失

約數百億美金，其中源于內部的威脅達60%,來自外部的威脅達40機

圖3網絡安全威脅分析

云平臺數據中心是企業(yè)信息化系統的基石，是企業(yè)業(yè)務集中化部署、發(fā)

布、存儲的區(qū)域，如果數據中心不可用，公司運作可能被削弱或被完全停止。

因此，網絡安全對數據中心來說至關重要。但一直以來，數據中心都是一個安

全措施嚴重不足的區(qū)域。根據客戶調查、層出不窮的安全威脅和日益增長的專

利信息保護需求，企業(yè)必須為數據中心提供足夠的安全保障，防止來自內部的

攻擊一一無論是有意還是無意導致。

云平臺數據中心主要面臨來自以下幾個方面的風險：

■數據機密風險：企業(yè)和個人數據托管后如何保證數據的機密性。

■訪問權限風險：多用戶場景下，不同用戶之間的訪叵控制，以及單個用

戶的權限管理和控制。用戶行為監(jiān)控。

■管理權限風險：企業(yè)托管業(yè)務和數據的管理權限與責任劃分。

■數據恢復風險：大規(guī)模數據的備份和恢復。

■應用威脅風險：多用戶多途徑接入，多種應用共存的場景下安全防護策

略有效性。

2272網路安全建設思路

云平臺數據中心網絡安全不僅僅是把安全設備簡單地疊加到整個網絡，網

絡安全是一個整體，需要把安全融合到網絡的每個部分。依此下面提出有一體

化、分層次、綜合全面的網絡安全建設思路。

思路一：網絡安全建設需要全局視圖，提供一體化安全解決方案。

下劃線.接入

權限控制

網絡

一體化控制

圖4一體化安全解決方案圖

思路二：網絡安全架構建設是分層次的，在不同環(huán)節(jié)都要進行防護。

分層次

圖5分層次的網絡安全架構圖

思路三：網絡安全體系不是安全設備的簡單疊加，需要綜合全面考慮技術

以及設備。

2.2.8,網管設計

基于云平臺數據中心網絡穩(wěn)定運行要求高、大規(guī)模的信息數據、高并發(fā)、

跨系統等特性，數據中心網絡智能運維架構重點強調統一網管（針對信息量龐

大）、遠程運維、網絡全方位監(jiān)控和故障定位與處理（針對網絡穩(wěn)定運行要求

高）以實現“智能網管系統保障數據中心網絡穩(wěn)定運行”的目標。

2.2.8.1.網絡全方位監(jiān)控管理

歐唯特提供豐富的性能監(jiān)控對象，全方位診斷網絡；同時提供數據轉發(fā)透

視化，實現精細化的流量管理，為網絡升級和客戶拓展提供依據。具體監(jiān)控內

容如下：

>網元性能，針對不同類型網元本身性能指標進行監(jiān)控

>端口性能，針對不同類型網元的不同類型端口的性能指標進行監(jiān)控

>鏈路性能，針對網元之間的鏈路的性能指標進行監(jiān)控

>業(yè)務性能，針對業(yè)務的性能進行監(jiān)控

>網絡可用率：網絡可用率二網絡可用時間/總時間

指IP層的可達性，可以通過增加冗余設備、冗余線路和有效的管理來提

高。要實現三個九的可用率，即99.9%,那么一個網絡在一個月內的斷網時間

就不能超過45分鐘：對于四個九，即99.99%,指一個網絡在一個月內的斷網

時間不能超過5分鐘。大部分運營商的網絡可用率為三個九；部分可以達到四

個九；通常網絡設備的可用率在99.99%以上；鏈路的可用率在99.9%以上。

2.2?82快速故障定位與處理

歐唯特具有業(yè)界領先的告警相關性分析系統，在網絡出現緊急故障的情況

下，可根據網絡資源及業(yè)務關系，自動完成根源告警及衍生告警的分析定位，

縮短故障處理時間。網絡告警及業(yè)務數據之間可實現多樣化的關聯、導航，快

速了解和評估網絡運行狀況。同時，對重要客戶的業(yè)務，可設置單獨的故障提

示及處理功能，便于運營商這不同的客戶提供差異化的服務C

2.2.9.云平臺IDC虛擬化部署

云平臺數據中心網絡需要通過網絡虛擬化，提升網絡利用率、可靠性及可

擴展性。設備支持數據中心網絡端到端的虛擬化，木項目的虛擬化可以劃分為

如下圖所示的幾個層次：

圖6數據中心端到端的虛擬化

從VM層到網絡層依次為：

>技術A,邊緣虛擬化：VM與接入交換機之間采用IEEE802.IQbg,

IEEE802.IQbr,滿足VM遷移、交換需求

>技術B,二層多路徑：TRILL,SPB,實現大規(guī)模VM遷移網絡

>技術C/D：光纖互聯orL2oL3(VPLS,OTV,NV03)實現跨域VM遷移

網絡，提升整網利用率，用于做數據中心的異地容災備份，一般建專

線或在公網建醋道等多種方式實現互聯，這期招投標項目里面沒有提

這個需求，故不詳述，但建議后期增加建設，可以提高數據中心的整

體可靠性。

其他：機架集群N:1虛擬化,VSC,ZTEVirtualSwitching

Cluster,支持4臺虛擬為1臺，簡化網絡拓撲，提升網絡性能。

2.2.9.1.接入網絡邊緣虛擬化

圖7VM接入網絡邊緣虛擬化

在云平臺數據中心的服務器層面，往往將一個物理服務器虛擬為多個虛擬

服務器使用VM有以下幾個優(yōu)點：

1）提升服務器資源利用率

2）VM遷移實現業(yè)務均衡和快速恢復

3）VM之間做安全策略

可以通過在接入交換機上實現網絡邊緣及接口的虛擬化，將VM交換功能交

還給網絡，達到如下目的：

1）釋放CPU資源

2）網絡統一管理、監(jiān)控

3）支持根據VM標識進行端口還回轉發(fā)

2N.9.2.后期虛擬機遷移方案

虛擬化是云平臺數據中心應用的重點，也是云平臺數據中心網絡設計需要

考慮的重點內容，目前主要的虛擬機遷移方式有冷遷移和熱遷移兩種，簡要的

分析如下：

需求固定時間（流量波谷）進行遷移，用戶業(yè)務中斷業(yè)務不中斷

服務器MAC/IP可改變MAC/IP地址不改變

12方案

L3/L2網絡均可

共享存儲網絡；統一

統一管理平臺

方案