高校大學(xué)數(shù)據(jù)中心私有云平臺(tái)建設(shè)方案

高校大學(xué)數(shù)據(jù)中心私有云平臺(tái)

建

設(shè)

方

案

（規(guī)劃設(shè)計(jì)方案）

目錄

1概述5

1.1項(xiàng)目背景5

1.2現(xiàn)狀分析7

1.3項(xiàng)目目標(biāo)9

1.4建設(shè)原則10

2高校數(shù)據(jù)中心規(guī)劃設(shè)計(jì)12

2.1計(jì)算資源規(guī)劃13

2.2存儲(chǔ)資源規(guī)劃20

2.3網(wǎng)絡(luò)資源規(guī)劃30

2.4可用性規(guī)劃36

2.5管理與監(jiān)控規(guī)劃41

3高校私有云規(guī)劃設(shè)計(jì)48

3.13.1建設(shè)目標(biāo)48

3.23.2業(yè)務(wù)架構(gòu)49

3.33.3技術(shù)架構(gòu)50

3.3.11應(yīng)用云服務(wù)層50

3.3.22分布式平臺(tái)層52

3.3.33基礎(chǔ)設(shè)施服務(wù)層53

3.43.4云計(jì)算網(wǎng)絡(luò)架構(gòu)54

3.53.5實(shí)施流程56

4計(jì)算功能特性58

4.1虛擬機(jī)計(jì)算性能58

4.1.1CPU虛擬化58

4.1.2內(nèi)存虛擬化64

4.2虛擬機(jī)性能70

4.3關(guān)鍵應(yīng)用虛擬化70

4.4虛擬機(jī)遷移73

4.4.1vMotion簡介73

4.4.2實(shí)現(xiàn)原理與工作機(jī)制77

4.5向大數(shù)據(jù)擴(kuò)展81

4.6CPU和內(nèi)存的熱添加和磁盤的熱擴(kuò)展82

4.6.1功能描述82

4.6.2工作原理83

1

4.7分布式資源調(diào)度DRS83

4.7.1功能描述83

4.7.2工作原理86

4.8分布式電源管理DPM87

4.8.1功能描述87

4.8.2工作原理88

4.9NVIDIAGRIDvGPU89

5網(wǎng)絡(luò)和安全功能特性91

5.1vSphere標(biāo)準(zhǔn)交換機(jī)(VSS)93

5.1.1VSS概念93

5.1.2VSS架構(gòu)和網(wǎng)絡(luò)特性94

5.2vSphere分布式交換機(jī)(VDS)95

5.2.1VDS概念95

5.2.2VDS架構(gòu)96

5.2.3功能摘要97

5.2.4詳細(xì)技術(shù)信息100

5.3網(wǎng)絡(luò)I/O控制(NI0C)101

5.3.1功能摘要101

5.3.2詳細(xì)技術(shù)信息103

5.4無代理終端安全防護(hù)105

5.4.1概覽105

5.4.2主要優(yōu)勢107

5.4.3vShieldEndpoint工作原理111

5.4.4vShieldEndpoint主要功能特性111

6存儲(chǔ)功能特性116

6.1虛擬化環(huán)境的存儲(chǔ)116

6.2vSphere存儲(chǔ)體系結(jié)構(gòu)119

6.3StorageDistributedResourcesScheduler(DRS)121

6.3.1功能概覽122

6.3.2詳細(xì)技術(shù)信息123

6.4基于存儲(chǔ)策略的管理125

6.5StoragevMotion128

6.5.1功能概覽128

6.5.2詳細(xì)技術(shù)信息131

6.6存儲(chǔ)1/0控制134

2

6.6.1功能概覽134

6.6.2詳細(xì)技術(shù)信息135

6.7VirtualMachineFileSystem(VMFS)137

6.7.1功能概覽137

6.7.2詳細(xì)技術(shù)信息139

6.8StorageThinProvisioning141

6.8.1功能概覽141

6.8.2詳細(xì)技術(shù)信息143

6.9存儲(chǔ)API144

6.10VirtualVolumes147

6.11vSphereFlashReadCache150

6.11.1高校數(shù)據(jù)中心私有云FRC介紹150

6.11.2高校數(shù)據(jù)中心私有云特性與優(yōu)勢151

6.11.3vFRC詳細(xì)技術(shù)信息152

7可用性功能157

7.1高校數(shù)據(jù)中心私有云HighAvailability157

7.1.1概覽158

7.1.2HA詳細(xì)技術(shù)信息161

7.2高校數(shù)據(jù)中心私有云FaultTolerance165

7.2.1概覽165

7.2.2FT詳細(xì)技術(shù)信息168

7.3高校數(shù)據(jù)中心私有云DataProtection171

7.3.1功能特性172

7.3.2VDP詳細(xì)技術(shù)信息174

7.4vStorageAPIsforDataProtection178

7.4.1概覽178

7.4.2VADP的主要優(yōu)勢178

7.5vSphereReplication180

7.5.1概覽180

7.5.2VR詳細(xì)技術(shù)信息182

8管理和自動(dòng)化192

8.1集中式控制和主動(dòng)式管理192

8.1.1vCenterServer體系結(jié)構(gòu)和組件192

8.1.2功能概覽196

8.2自動(dòng)化管理與調(diào)配199

3

8.2.1內(nèi)容庫199

8.2.2AutoDeploy202

8.2.3主機(jī)配置文件204

8.2.4UpdateManager205

9方案優(yōu)勢總結(jié)207

10配置清單及說明210

10.1硬件配置需求210

10.2虛擬化軟件配置需求210

11專業(yè)服務(wù)212

11.1高校數(shù)據(jù)中心私有云專業(yè)服務(wù)介紹212

11.2專業(yè)咨詢服務(wù)內(nèi)容213

11.2.1高校數(shù)據(jù)中心私有云Accelerate咨詢服務(wù)213

11.2.2技術(shù)咨詢服務(wù)214

11.2.3技術(shù)客戶經(jīng)理(TAM)服務(wù)215

11.3專業(yè)服務(wù)實(shí)施流程217

11.3.1評估218

11.3.2規(guī)劃與設(shè)計(jì)219

11.3.3實(shí)施220

11.3.4運(yùn)維220

12支持服務(wù)概述222

12.1高校數(shù)據(jù)中心私有云支持的角色和職責(zé)222

12.2全球技術(shù)支持服務(wù)223

12.3自助服務(wù)支持225

12.3.1社會(huì)支持225

12.3.2其他資源226

4

概述

1.1項(xiàng)目背景

不斷增長的業(yè)務(wù)對IT部門的要求越來越高，所以數(shù)據(jù)中心

需要更為快速的提供所需要的能力。如果不斷購買新的服務(wù)器,

又會(huì)增加采購成本和運(yùn)作成本，而且還會(huì)帶來更多供電和冷卻

的開支，同時(shí)，目前的服務(wù)器還沒有得到充分的利用。通常情

況下，企業(yè)的服務(wù)器工作負(fù)載只利用了5%,這導(dǎo)致了大量的硬

件、空間以及電力的浪費(fèi)。同時(shí)由于應(yīng)用程序兼容性的問題，

IT人員只能通過在不同場所的不同服務(wù)器中分別運(yùn)行應(yīng)用的方

式，將應(yīng)用程序隔離起來，而這又會(huì)導(dǎo)致服務(wù)器數(shù)量的增長。

購置新的服務(wù)器是一項(xiàng)漫長的過程，這使得IT部門更加難以應(yīng)

對業(yè)務(wù)快速成長和不斷變動(dòng)的需求。例如，對于新業(yè)務(wù)系統(tǒng)平

臺(tái)的供應(yīng)和拆除需求，往往就需要消耗大量寶貴的資源和時(shí)間。

從IT管理員的角度來看，推動(dòng)虛擬化技術(shù)發(fā)展的主要?jiǎng)恿?/p>

是基礎(chǔ)架構(gòu)設(shè)施的迅猛增長，而硬件部署模式又進(jìn)一步加劇了

基礎(chǔ)架構(gòu)的復(fù)雜程度。應(yīng)用越來越多，也越來越復(fù)雜，因此就

變得更加難以管理、更新和維護(hù)。用戶希望能采用各種桌面設(shè)

備、筆記本電腦、家用PC和移動(dòng)設(shè)備來進(jìn)行工作。服務(wù)器價(jià)格

急劇下降，服務(wù)器散亂現(xiàn)象仍然存在。隨著圖形和多媒體的發(fā)

展，數(shù)據(jù)也變得越來越豐富，文件的平均大小也在不斷上升，

要求不間斷的在線存儲(chǔ)?？v觀整個(gè)數(shù)據(jù)中心，技術(shù)不斷增多，

5

分布也越來越廣，另外，業(yè)界和法律法規(guī)也在不斷要求企業(yè)加

強(qiáng)IT管理控制。

在這種環(huán)境下，虛擬化技術(shù)就體現(xiàn)了整合的優(yōu)勢。應(yīng)用在

IT的不同層面，從邏輯層將物理層抽象出來意味著邏輯組件會(huì)

得到更一致的管理。

從安全監(jiān)督來看，虛擬化技術(shù)提升了X86服務(wù)器的可靠性、

可用性，從基礎(chǔ)架構(gòu)層面獲得了原先單機(jī)系統(tǒng)無法想象的功能,

大大提高了業(yè)務(wù)連續(xù)性的級別，降低了故障率、減少了系統(tǒng)宕

機(jī)的時(shí)間。

從服務(wù)器的角度來看，虛擬化技術(shù)讓每臺(tái)設(shè)備都能托管多套

操作系統(tǒng)，最大化了利用率，降低了服務(wù)器數(shù)量。

從存儲(chǔ)的角度來看，虛擬化技術(shù)可網(wǎng)絡(luò)化、整合磁盤設(shè)備，

并讓多個(gè)服務(wù)器共享磁盤設(shè)備，從而提高了利用率。

從應(yīng)用的角度來看，虛擬化技術(shù)將應(yīng)用計(jì)算從用戶設(shè)備中分

離出來，并在數(shù)據(jù)中心對應(yīng)用及相關(guān)數(shù)據(jù)進(jìn)行整合，通過集中

化技術(shù)改善了管理和系統(tǒng)的安全性。

XXX客戶作為國內(nèi)大型企業(yè)，信息化建設(shè)不斷發(fā)展。目前信

息化網(wǎng)絡(luò)以信息中心為運(yùn)營維護(hù)單位，覆蓋出單、收付等多套

業(yè)務(wù)系統(tǒng)，服務(wù)器資源龐大。出于經(jīng)濟(jì)效益和管理安全性考慮,

針對基礎(chǔ)架構(gòu)的虛擬化整合已勢在必行。

根據(jù)CC智能戰(zhàn)略的規(guī)劃：做強(qiáng)終端、云平臺(tái)建設(shè)、大數(shù)據(jù)

商業(yè)模式，CC正邁向大數(shù)據(jù)時(shí)代，當(dāng)前正面向所有智能終端

6

提供優(yōu)質(zhì)的服務(wù)，同時(shí)通過終端傳感器或數(shù)據(jù)采集服務(wù)能夠獲

取海量的數(shù)據(jù)，并且數(shù)據(jù)量會(huì)以TB級劇增。因此CC迫切需

要建設(shè)一套高性能、高安全性、高可靠性，可擴(kuò)展性的云數(shù)據(jù)

采集中心，并搭建一個(gè)數(shù)據(jù)中心支撐平臺(tái)，以滿足當(dāng)今高速增

長的數(shù)據(jù)存儲(chǔ)、管理、計(jì)算的需求，同時(shí)便于將來拓展和進(jìn)一

步的改造。

目前CC數(shù)據(jù)中心是主要基于CC黑電、白電、瀏覽器等產(chǎn)

品終端傳感器采集的海量文本、圖片數(shù)據(jù)以及用戶數(shù)據(jù)，為

CC后續(xù)其他數(shù)據(jù)分析挖掘項(xiàng)目提供數(shù)據(jù)支撐的信息平臺(tái)。對

應(yīng)方針一一終端內(nèi)容服務(wù)、云服務(wù)支撐與數(shù)據(jù)挖掘、個(gè)性化數(shù)

據(jù)價(jià)值探索。

建立統(tǒng)一有效的云數(shù)據(jù)采集中心有利于CC大數(shù)據(jù)的管理，

符合CC新的發(fā)展戰(zhàn)略，CC黑電和白電產(chǎn)品終端傳感器采集

的數(shù)據(jù)有用戶行為的文本數(shù)據(jù)（log）、臺(tái)標(biāo)等圖片數(shù)據(jù)以及

自建的影視知識(shí)庫的結(jié)構(gòu)化數(shù)據(jù)、電商平臺(tái)的海量鏡像數(shù)據(jù)。

當(dāng)CC的用戶量和采集的數(shù)據(jù)量與日俱增的時(shí)候，數(shù)據(jù)中心必

須能通過添加更多服務(wù)節(jié)點(diǎn)來擴(kuò)展性能和負(fù)載能力，保證高可

擴(kuò)展性和高可用性從而滿足CC業(yè)務(wù)發(fā)展的需要。

1.2現(xiàn)狀分析

XXX客戶數(shù)據(jù)中心目前以X86服務(wù)器為主，運(yùn)行著人力資源、

市場計(jì)費(fèi)、生產(chǎn)經(jīng)營、資產(chǎn)管理、網(wǎng)絡(luò)管理、郵件、安全等業(yè)

7

務(wù)系統(tǒng)。具體的服務(wù)器配置如下所示，該表涵蓋了主要業(yè)務(wù)系

統(tǒng)的服務(wù)器配置。

除了視頻服務(wù)器和下載服務(wù)器外，其它服務(wù)器的負(fù)載都非常

小，遠(yuǎn)沒有達(dá)到充分利用的狀態(tài)。雖然視頻服務(wù)器和下載服務(wù)

器的負(fù)載相對較高，但是也沒有充分發(fā)揮硬件平臺(tái)的資源效率。

另外還有一些運(yùn)行邊緣業(yè)務(wù)的服務(wù)器，由于設(shè)備老舊以及所

在位置等原因，本次尚未統(tǒng)計(jì)在內(nèi)。

目前XXX客戶的磁盤陣列劃分孤立、分散，造成了磁盤陣列

的浪費(fèi)以及數(shù)據(jù)的高風(fēng)險(xiǎn)性，而且十分不易于維護(hù)。隨著之后

系統(tǒng)和數(shù)據(jù)量的不斷增加，這一現(xiàn)象將會(huì)持續(xù)加劇。

通過對XXX客戶服務(wù)器和存儲(chǔ)現(xiàn)狀的分析，目前IT基礎(chǔ)架

構(gòu)有以下幾個(gè)問題亟待解決：

?服務(wù)器的利用率低。現(xiàn)在機(jī)房內(nèi)運(yùn)行的大部分機(jī)器的利

用率都非常低，由于一臺(tái)服務(wù)器只能有一個(gè)操作系統(tǒng)，

受系統(tǒng)和軟件開發(fā)平臺(tái)的限制，CPU、內(nèi)存、硬盤空間

的資源利用率都很低，大量的系統(tǒng)資源被閑置。

?可管理性差。首先是可用性低，幾乎每個(gè)應(yīng)用服務(wù)器都

是單機(jī)，如果某臺(tái)服務(wù)器出現(xiàn)故障，相對應(yīng)的業(yè)務(wù)也將

中斷。其次是當(dāng)硬件需要維護(hù)、升級或出現(xiàn)硬件故障時(shí),

上層業(yè)務(wù)系統(tǒng)均會(huì)出現(xiàn)較長時(shí)間的中斷，影響業(yè)務(wù)的連

續(xù)性，其中包括一些重要業(yè)務(wù)系統(tǒng)，一旦中斷服務(wù)影響

很大，未來數(shù)據(jù)中心搬遷時(shí)會(huì)更加麻煩。

8

?兼容性差。系統(tǒng)和應(yīng)用遷移到其他服務(wù)器，需要和舊系

統(tǒng)兼容的系統(tǒng)。新的軟件包括操作系統(tǒng)和應(yīng)用軟件無法

運(yùn)行在老的硬件平臺(tái)，而老的代碼有時(shí)候也很難移植到

新的硬件平臺(tái)上。例如：由于各種資源數(shù)據(jù)庫不同公司

分別開發(fā)，需要的運(yùn)行的軟硬平臺(tái)很多時(shí)候不能保證兼

容。為節(jié)省時(shí)間、物力和保持系統(tǒng)部署的順利，只能用

增加服務(wù)器單獨(dú)部署的方法來解決。

?服務(wù)器和存儲(chǔ)購置成本高，維護(hù)成本遞增，也不得不考

慮。隨著應(yīng)用的不斷增加，服務(wù)器數(shù)量也跟著增加，每

年要支出高額購置費(fèi)用不說，還有部分服務(wù)器已經(jīng)過保

修期，部件逐漸進(jìn)入老化期，維護(hù)、維修預(yù)算費(fèi)用也逐

年增加。

?對業(yè)務(wù)需求無法做到及時(shí)響應(yīng)，靈活性差。當(dāng)有新的應(yīng)

用需要部署時(shí)，需要重新部署服務(wù)器，存儲(chǔ)系統(tǒng)，并需

要對網(wǎng)絡(luò)系統(tǒng)進(jìn)行調(diào)整以適應(yīng)新的IT應(yīng)用的需求。

?目前為每套生產(chǎn)系統(tǒng)，在開發(fā)測試中心均要保留一套開

發(fā)測試環(huán)境，造成了資源很大的浪費(fèi)。

高校數(shù)據(jù)中心私有云的服務(wù)器虛擬化解決方案可以很好地解

決上面這些問題，下面的章節(jié)將從方案的整體規(guī)劃設(shè)計(jì)，體系

結(jié)構(gòu)，計(jì)算，網(wǎng)絡(luò)與安全，存儲(chǔ)，可用性，管理與自動(dòng)化等方

面對該方案進(jìn)行全面地分析與介紹。

1.3項(xiàng)目目標(biāo)

9

搭建分布式存儲(chǔ)平臺(tái)（能夠存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)和

結(jié)構(gòu)化數(shù)據(jù)）、分布式并行計(jì)算平臺(tái)等等，滿足海

量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算的需要，平臺(tái)必須具備高

可用性，高擴(kuò)展性，高可靠性要求。

為CC后面的產(chǎn)品（收視率統(tǒng)計(jì)，智能推薦系統(tǒng)，拍立

購，開放平臺(tái)等等）的應(yīng)用和實(shí)施打下堅(jiān)實(shí)的基礎(chǔ)，

為集團(tuán)CC的大數(shù)據(jù)提供運(yùn)營支撐。

云中心初期建立至少保證可以正常運(yùn)營1?2年，硬件

選型，軟件開始要考慮到今后大規(guī)模擴(kuò)容的要求。

技術(shù)平臺(tái)要有能力支持?jǐn)?shù)據(jù)量最高1000W終端數(shù)量的

數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、信息推薦等的能力。

1.4建設(shè)原則

基于本項(xiàng)目的建設(shè)要求，本項(xiàng)目將遵循以下建設(shè)原則：

前瞻性和高標(biāo)準(zhǔn)整個(gè)項(xiàng)目要按照企業(yè)對大數(shù)據(jù)應(yīng)用的需

要的高要求和高標(biāo)準(zhǔn)建設(shè)，參考行業(yè)標(biāo)桿應(yīng)用，建立滿

足需求，面向未來的目標(biāo)，整個(gè)項(xiàng)目具有一定前瞻性。

10

經(jīng)濟(jì)性和實(shí)用性整個(gè)項(xiàng)目以現(xiàn)有需求為基礎(chǔ)，充分考慮

未來發(fā)展的需要來確定系統(tǒng)的架構(gòu)，既要降低系統(tǒng)的初

期投入，又能滿足服務(wù)對象的需求，同時(shí)系統(tǒng)設(shè)計(jì)應(yīng)

充分考慮對已有投資的保護(hù)，對已建立的數(shù)據(jù)中心、

基礎(chǔ)平臺(tái)、應(yīng)用軟件應(yīng)提供完備的整合方案。

先進(jìn)性和成熟性為了確保項(xiàng)目具有較長的生命周期，

應(yīng)充分考慮到管理創(chuàng)新、技術(shù)發(fā)展需要，按照先進(jìn)的

建設(shè)理念，選擇先進(jìn)的技術(shù)架構(gòu)和成熟技術(shù)，滿足業(yè)

務(wù)需求。高性能和安全性規(guī)范地進(jìn)行系統(tǒng)建設(shè)和開發(fā),

提供合理且經(jīng)濟(jì)有效的應(yīng)急方案，確保系統(tǒng)的穩(wěn)定，

向各類服務(wù)對象提供可靠的服務(wù)。具有安全性，在系統(tǒng)

遭到攻擊或崩潰時(shí)能快速恢復(fù)，確保重要數(shù)據(jù)的機(jī)密

性和完整性。

11

2高校數(shù)據(jù)中心規(guī)劃設(shè)計(jì)

虛擬化技術(shù)的引入大大減少了需要維護(hù)和管理的設(shè)備，如服

務(wù)器、交換機(jī)、機(jī)架、網(wǎng)線、UPS、空調(diào)等。原先設(shè)備可以根據(jù)

制度進(jìn)行折舊報(bào)廢、或者利舊更新，使得IT管理人員有了更多

的選擇。虛擬化可以提高資源利用率，降低硬件采購成本，更

加節(jié)能和節(jié)省空間，讓整個(gè)數(shù)據(jù)中心更加靈活。

下圖是實(shí)施了高校數(shù)據(jù)中心私有云虛擬化方案之后的IT整

體架構(gòu)。

］存儲(chǔ)陣列存儲(chǔ)陣列存儲(chǔ)陣列

圖：數(shù)據(jù)中心整體架構(gòu)圖

服務(wù)器虛擬化后，我們搭建了虛擬化集群，并統(tǒng)一進(jìn)行管理。

原有的服務(wù)器設(shè)備仍然可以正常運(yùn)行，并且與虛擬化服務(wù)器融

合在一起。

12

隨著虛擬化的不斷應(yīng)用，可以不斷動(dòng)態(tài)地增加虛擬化集群的

規(guī)模，搭建更健康的IT體系架構(gòu)?？蛻舳朔矫?，延續(xù)了原先的

訪問模式，對于虛擬服務(wù)器的數(shù)據(jù)交互等操作，等同于原先傳

統(tǒng)物理服務(wù)器的的訪問模式，不會(huì)對業(yè)務(wù)系統(tǒng)造成任何不利影

響。

本章節(jié)接下來的部分，將從計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)，可用性，管

理與監(jiān)控五個(gè)方面對XXX客戶的數(shù)據(jù)中心進(jìn)行全面高效的規(guī)劃

設(shè)計(jì)。

2.1計(jì)算資源規(guī)劃

虛擬機(jī)上運(yùn)行著為各個(gè)用戶和整個(gè)業(yè)務(wù)線提供支持的應(yīng)用與

服務(wù)，其中有很多都是關(guān)鍵業(yè)務(wù)應(yīng)用，因此，用戶必須正確設(shè)

計(jì)、調(diào)配和管理虛擬機(jī)，以確保這些應(yīng)用與服務(wù)能夠高效運(yùn)行。

高校數(shù)據(jù)中心私有云ESXi主機(jī)是數(shù)據(jù)中心的基本計(jì)算構(gòu)造

塊，這些主機(jī)資源聚合起來可構(gòu)建高可用動(dòng)態(tài)資源池環(huán)境，作

為數(shù)據(jù)中心各應(yīng)用的整體計(jì)算資源。

本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對計(jì)算資源進(jìn)行整體規(guī)

劃，包括物理服務(wù)器，虛擬機(jī)等資源。

＞指導(dǎo)原則與最佳實(shí)踐

?除非確實(shí)需要多個(gè)虛擬CPU(vCPU),否則默認(rèn)配置一個(gè),

使用盡可能少的虛擬CPU。操作系統(tǒng)必須支持對稱多處

理(SMP)功能。應(yīng)用必須是多線程的，才能受益于多個(gè)

13

虛擬CPU。虛擬CPU的數(shù)量不得超過主機(jī)上物理CPU核

心（或超線程）的數(shù)量。

?不要規(guī)劃使用主機(jī)的所有CPU或內(nèi)存資源，在設(shè)計(jì)中保

留一些可用資源。要實(shí)現(xiàn)虛擬機(jī)內(nèi)存性能最優(yōu)化，關(guān)鍵

是在物理RAM中保留虛擬機(jī)的活動(dòng)內(nèi)存，應(yīng)避免過量分

配活動(dòng)內(nèi)存。

?始終將透明頁共享保持啟用狀態(tài)，始終加載高校數(shù)據(jù)中

心私有云Tools并啟用內(nèi)存釋放。

?資源池CPU和內(nèi)存份額設(shè)置不能用于配置虛擬機(jī)優(yōu)先級。

資源池可用于為虛擬機(jī)分配專用CPU和內(nèi)存資源。

?在工作負(fù)載極易變化的環(huán)境中配置vSphereDPM,以降

低能耗和散熱成本。

?部署一個(gè)系統(tǒng)磁盤和一個(gè)單獨(dú)的應(yīng)用數(shù)據(jù)磁盤。如果系

統(tǒng)磁盤和數(shù)據(jù)磁盤需要相同的I/O特征（RAID級別、存

儲(chǔ)帶寬和延遲），應(yīng)將它們一起放置在一個(gè)數(shù)據(jù)存儲(chǔ)中。

?應(yīng)用要求應(yīng)作為向虛擬機(jī)分配資源的主要指標(biāo)。使用默

認(rèn)設(shè)置部署虛擬機(jī)，明確采用其他配置的情況除外。

?像保護(hù)物理機(jī)一樣保護(hù)虛擬機(jī)的安全。確保為虛擬基礎(chǔ)

架構(gòu)中的每個(gè)虛擬機(jī)啟用了防病毒、反間諜軟件、入侵

檢測和防火墻。確保隨時(shí)更新所有的安全保護(hù)措施。應(yīng)

用合適的最新補(bǔ)丁，要將虛擬機(jī)軟件和應(yīng)用保持在最新

14

狀態(tài)，應(yīng)使用補(bǔ)丁程序管理工具，或者安裝和配置

UpdateManagero

?為避免管理連接問題，應(yīng)向每個(gè)ESXi主機(jī)分配靜態(tài)IP

地址和主機(jī)名。為便于管理，應(yīng)為DNS配置每個(gè)ESXi

主機(jī)的主機(jī)名和IP地址。

?確保數(shù)據(jù)中心有足夠的電源和散熱容量以避免服務(wù)中斷。

?無論選擇了哪個(gè)硬件平臺(tái)，都應(yīng)設(shè)計(jì)一致的平臺(tái)配置，

特別是在高校數(shù)據(jù)中心私有云集群中。一致性包括CPU

類型、內(nèi)存容量和內(nèi)存插槽分配、網(wǎng)卡和主機(jī)總線適配

器類型，以及PCI插槽分配。

?使用一個(gè)或多個(gè)啟用了vSphereHA和DRS的集群，以

增加可用性和可擴(kuò)展性。

?使用橫向擴(kuò)展還是縱向擴(kuò)展集群由集群用途、基礎(chǔ)架構(gòu)

規(guī)模、vSphere限制以及資金和運(yùn)營成本等因素確定。

＞計(jì)算資源規(guī)劃

基于上述指導(dǎo)原則與最佳實(shí)踐，結(jié)合XXX客戶數(shù)據(jù)中心的實(shí)

際情況，我們對計(jì)算資源進(jìn)行如下的規(guī)劃設(shè)計(jì)。

我們使用容量規(guī)劃工具對XXX客戶數(shù)據(jù)中心里的1000款不

同的應(yīng)用進(jìn)行了采樣評測，以獲取這些應(yīng)用對CPU和內(nèi)存的需

求情況，具體的分析結(jié)果如下所示。

15

項(xiàng)目數(shù)值

每個(gè)系統(tǒng)的平均CPU需求量2

平均CPU主頻（平Z）2800MHz

每個(gè)系統(tǒng)的平均正?；疌PU主頻（MHz）5663MHz

每個(gè)系統(tǒng)的平均CPU使用率6.5%

(368.01MHz)

每個(gè)系統(tǒng)的平均CPU峰值使用率9%(509.67MHz)

1000臺(tái)虛擬機(jī)的峰值CPU總需求量509,670MHz

表：CPU資源需求

項(xiàng)目數(shù)值

每個(gè)系統(tǒng)的平均內(nèi)存需求量1024MB

平均內(nèi)存使用率62%(634.88MB)

平均內(nèi)存峰值使用率70%(716.80MB)

無內(nèi)存共享時(shí)1000臺(tái)虛擬機(jī)的內(nèi)存峰值需求716,800MB

量

虛擬化后的內(nèi)存共享預(yù)期收益率50%

16

項(xiàng)目數(shù)值

內(nèi)存共享后1000臺(tái)虛擬機(jī)的內(nèi)存峰值總需求358,400MB

量

表：內(nèi)存資源需求

我們建議如下的ESXi主機(jī)CPU與內(nèi)存配置。

項(xiàng)目數(shù)值

每臺(tái)主機(jī)的CPU數(shù)4

每顆CPU的核心數(shù)4

每個(gè)CPU核心的主頻（MHz）2,400

每顆CPU的總主頻（MHz）9,600

每臺(tái)主機(jī)的總CPU頻率（MHz）38,400

最大CPU使用率建議80%

每臺(tái)主機(jī)的可用CPU30,720MHz

表：ESXi主機(jī)CPU配置建議

項(xiàng)目數(shù)值

17

項(xiàng)目數(shù)值

每臺(tái)主機(jī)的內(nèi)存容量32,768MB

(32GB)

最大內(nèi)存使用率建議80%

每臺(tái)主機(jī)的可用內(nèi)存26,214MB

表：ESX1主機(jī)內(nèi)存配置建議

對于上述配置的一些說明如下。

?每臺(tái)服務(wù)器的運(yùn)算能力按照峰值而非平均值進(jìn)行估算，

確?？梢灾С痔摂M機(jī)應(yīng)用同時(shí)運(yùn)行的最高值。

?CPU和內(nèi)存的估算需要預(yù)留20%的空間用于突發(fā)的計(jì)算

能力過量。

?內(nèi)存共享按照50%的比例進(jìn)行估算，這個(gè)數(shù)值是基于整

合的應(yīng)用全部以WindowsServer2003服務(wù)器操作系統(tǒng)

進(jìn)行核算的。

接下來，我們將根據(jù)上面這些應(yīng)用需求與ESXi主機(jī)配置，

對計(jì)算資源進(jìn)行估算。

下面這個(gè)公式用來估算可以滿足數(shù)據(jù)中心中這些虛擬機(jī)在

CPU峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)。

所有虛擬機(jī)的CPU峰值頻率需求量=需要的ESXi主機(jī)

18

每臺(tái)ESXi主機(jī)的可用CPU仝箜

根據(jù)上述公式，XXX客戶為了使這1000款應(yīng)用可以在CPU

峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)是：

509,670MHz（CPU頻率總體需求量）

30,720MHz（每臺(tái)主機(jī)的可用CPU頻=16-59個(gè)ESXi主機(jī)

率）

下面這個(gè)公式用來估算可以滿足數(shù)據(jù)中心中這些虛擬機(jī)在內(nèi)

存峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)。

所有虛擬機(jī)的內(nèi)存峰值總需求量=需要的ESXi主機(jī)

每臺(tái)ESXi主機(jī)的可用內(nèi)存仝數(shù)

根據(jù)上述公式，XXX客戶為了使這1000款應(yīng)用可以在內(nèi)存

峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)是：

358,400MB（內(nèi)存總體需求量）

________________________________=13.67個(gè)ESXi主機(jī)

26,214MB（每臺(tái)主機(jī)的可用內(nèi)存）

從CPU的角來說，需要17臺(tái)ESXi主機(jī)，而從內(nèi)存的角度來

看，則需要14臺(tái)物理主機(jī)。很顯然，我們應(yīng)該為該數(shù)據(jù)中心配

置17臺(tái)ESXi主機(jī)并組建集群。為了使用vSphere的高可用功

能，我們還需要添加一臺(tái)ESXi主機(jī)到該集群，因此，總的物理

主機(jī)數(shù)目為18臺(tái)。

19

上述對計(jì)算資源的規(guī)劃可以滿足虛擬機(jī)環(huán)境資源突發(fā)時(shí)的資

源溢出要求。

2.2存儲(chǔ)資源規(guī)劃

正確的存儲(chǔ)設(shè)計(jì)對組織實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)有著積極的影響，可

以為性能良好的虛擬數(shù)據(jù)中心奠定一定的基礎(chǔ)。它可以保護(hù)數(shù)

據(jù)免受惡意或者意外破壞的影響，同時(shí)防止未經(jīng)授權(quán)的用戶訪

問數(shù)據(jù)。存儲(chǔ)設(shè)計(jì)必須經(jīng)過合理優(yōu)化，以滿足應(yīng)用、服務(wù)、管

理員和用戶的多樣性需求。

存儲(chǔ)資源規(guī)劃的目標(biāo)是戰(zhàn)略性地協(xié)調(diào)業(yè)務(wù)應(yīng)用與存儲(chǔ)基礎(chǔ)架

構(gòu)，以降低成本、改善性能、提高可用性、提供安全性，以及

增強(qiáng)功能，同時(shí)將應(yīng)用數(shù)據(jù)分配到相應(yīng)的存儲(chǔ)層。

本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對存儲(chǔ)資源進(jìn)行整體規(guī)

劃，包括共享存儲(chǔ)邏輯規(guī)劃，存儲(chǔ)空間規(guī)劃，存儲(chǔ)I/O控制規(guī)

劃，存儲(chǔ)分層規(guī)劃等。

＞指導(dǎo)原則與最佳實(shí)踐

在規(guī)劃存儲(chǔ)資源時(shí)，我們會(huì)遵循如下的指導(dǎo)原則與最佳實(shí)踐。

?構(gòu)建模塊化存儲(chǔ)解決方案，該方案可以隨時(shí)間推移不斷

擴(kuò)展，以滿足組織的需求，用戶無需替換現(xiàn)有的存儲(chǔ)基

礎(chǔ)架構(gòu)。在模塊化存儲(chǔ)解決方案中，應(yīng)同時(shí)考慮容量和

性能。

20

?每個(gè)存儲(chǔ)層具有不同的性能、容量和可用性特征，只要

不是每個(gè)應(yīng)用都需要昂貴、高性能、高度可用的存儲(chǔ)，

設(shè)計(jì)不同的存儲(chǔ)層將十分經(jīng)濟(jì)高效。

?配置存儲(chǔ)多路徑功能，配置主機(jī)、交換機(jī)和存儲(chǔ)陣列級

別的冗余以便提高可用性、可擴(kuò)展性和性能。

?允許集群中的所有主機(jī)訪問相同的數(shù)據(jù)存儲(chǔ)。

?啟用高校數(shù)據(jù)中心私有云vSphereStorageAPIs-

ArrayIntegration（VAAI）與存儲(chǔ)I/O控制。配置存儲(chǔ)

DRS以根據(jù)使用和延遲進(jìn)行平衡。

?根據(jù)SLA、工作負(fù)載和成本在vSphere中創(chuàng)建多個(gè)存儲(chǔ)

配置文件，并將存儲(chǔ)配置文件與相應(yīng)的提供商虛擬數(shù)據(jù)

中心對應(yīng)起來。

?對于光纖通道、NFS和iSCSI存儲(chǔ)，可對存儲(chǔ)進(jìn)行相應(yīng)

設(shè)計(jì)，以降低延遲并提高可用性。對于每秒要處理大量

事務(wù)的工作負(fù)載來說，將工作負(fù)載分配到不同位置尤其

重要（如數(shù)據(jù)采集或事務(wù)日志記錄系統(tǒng)）。通過減少存

儲(chǔ)路徑中的躍點(diǎn)數(shù)量來降低延遲。

?NFS存儲(chǔ)的最大容量取決于陣列供應(yīng)商。單個(gè)NFS數(shù)據(jù)

存儲(chǔ)的容量取決于將訪問數(shù)據(jù)存儲(chǔ)的每個(gè)虛擬機(jī)所需的

空間，乘以在延遲可接受的情況下可以訪問數(shù)據(jù)存儲(chǔ)的

虛擬機(jī)數(shù)量。考慮將存儲(chǔ)DRS配置為使其成員數(shù)據(jù)存儲(chǔ)

的使用量保持在80%（默認(rèn)設(shè)置）的均衡水平。

21

?單個(gè)VMFS數(shù)據(jù)存儲(chǔ)的容量取決于將訪問數(shù)據(jù)存儲(chǔ)的每

個(gè)虛擬機(jī)所需的空間，乘以在延遲可接受的情況下可以

訪問數(shù)據(jù)存儲(chǔ)的虛擬機(jī)數(shù)量?？紤]配置存儲(chǔ)DRS,使數(shù)

據(jù)存儲(chǔ)使用量保持在80%的均衡水平。保留10%到20%的

額外容量，用于容納快照、交換文件和日志文件

?為促進(jìn)對iSCSI資源的穩(wěn)定訪問，應(yīng)該為iSCSI啟動(dòng)器

和目標(biāo)配置靜態(tài)IP地址。

?對于基于IP的存儲(chǔ)，應(yīng)使用單獨(dú)的專用網(wǎng)絡(luò)或VLAN以

隔離存儲(chǔ)流量，避免與其他流量類型爭用資源，從而可

以降低延遲并提高性能。

?根據(jù)可用性要求選擇一個(gè)RAID級別，對大多數(shù)虛擬機(jī)

工作負(fù)載而言，如果陣列具有足夠的電池供電緩存，

RAID級別對性能不會(huì)產(chǎn)生影響。

?對于大多數(shù)應(yīng)用，除非存在對RDM的特定需求，否則請

使用VMDK磁盤。

＞共享存儲(chǔ)邏輯規(guī)劃

考慮采用本地存儲(chǔ)將無法形成整個(gè)虛擬化集群資源池，因此

無法有效地使用vSphere虛擬化環(huán)境的高可用，靈活配置等功

能。本方案將建議購置或利用現(xiàn)有的存儲(chǔ)交換網(wǎng)絡(luò)SAN網(wǎng)絡(luò)，

并新增磁盤陣列作為共享SAN存儲(chǔ)，同時(shí)做好相應(yīng)的設(shè)備（SAN

HBA卡、交換機(jī)等）布線、空間、場地布局等相應(yīng)的規(guī)劃。

22

在設(shè)計(jì)存儲(chǔ)架構(gòu)時(shí)應(yīng)該充分考慮到冗余和性能，因此存儲(chǔ)架

構(gòu)的選擇根據(jù)國家和各省級數(shù)據(jù)中心整體應(yīng)用對存儲(chǔ)的IOPS和

吞吐量的需求進(jìn)行規(guī)劃，涉及到端到端的主機(jī)適配器選擇、控

制器和端口數(shù)量選擇以及磁盤數(shù)量和RAID方式選擇等。

每臺(tái)vSphere服務(wù)器到存儲(chǔ)的連接示意圖如下所示。

圖：每臺(tái)服務(wù)器的存儲(chǔ)連接示意圖

針對上圖的一些說明如下。

?確保每個(gè)ESXi主機(jī)內(nèi)虛擬機(jī)并發(fā)10隊(duì)列長度與HBA適

配卡設(shè)置保持一致。

23

?底層LUN的需求根據(jù)實(shí)際虛擬機(jī)應(yīng)用對存儲(chǔ)IOPS的實(shí)

際需求進(jìn)行規(guī)劃。

?根據(jù)應(yīng)用的需要設(shè)置LUN的RAID結(jié)構(gòu)，如對于隨機(jī)讀

寫的數(shù)據(jù)庫如Oracle、SQL數(shù)據(jù)庫，建議在LUN級別采

用RAID1O結(jié)構(gòu)，對于數(shù)據(jù)庫日志通常為連續(xù)寫或恢復(fù)

時(shí)連續(xù)讀，建議在LUN級別采用RAID5結(jié)構(gòu)。

?對于10密集型的應(yīng)用盡量采用單獨(dú)的VMFS存儲(chǔ)，避免

在存儲(chǔ)端與其他應(yīng)用產(chǎn)生10爭用。

?多個(gè)虛擬機(jī)共用一個(gè)數(shù)據(jù)存儲(chǔ)或者多個(gè)主機(jī)共享一個(gè)數(shù)

據(jù)存儲(chǔ)時(shí)，可以啟用存儲(chǔ)隊(duì)列QoS確保核心應(yīng)用的延時(shí)

在可控范圍以及對數(shù)據(jù)存儲(chǔ)讀寫的優(yōu)先級。

?通常情況下1?2TB的LUN大小具有較好的性能和可管理

性。

?磁盤陣列的選擇應(yīng)該滿足整個(gè)虛擬化環(huán)境最大IOPS的

吞吐量需求，并配置足夠的存儲(chǔ)處理器、緩存和端口數(shù)。

?對于雙活A(yù)LUA磁盤陣列（非雙活磁盤陣列），為了防

止鏈路抖動(dòng)，對于每個(gè)LUN在同一時(shí)間配置只有一個(gè)

ESXi服務(wù)器通過一個(gè)存儲(chǔ)處理器進(jìn)行訪問，這就需要在

多路徑策略選擇時(shí)設(shè)置為MRU（最近使用策略），該策

略可以保證只有在某個(gè)路徑故障時(shí)才啟用另一個(gè)存儲(chǔ)處

理器連接LUNo

24

A存儲(chǔ)空間規(guī)劃

規(guī)劃LUN容量時(shí)，建議每個(gè)LUN運(yùn)行10到20個(gè)VM(數(shù)據(jù)事

務(wù)類應(yīng)用可以適當(dāng)減少)，并且每個(gè)LUN的使用量不超過容量的

80%o

若VM需要直接訪問存儲(chǔ)卷，如NTFS或EXT3,應(yīng)在存儲(chǔ)中

另外創(chuàng)建一LUN,以RDM方式映射到VM,VM以裸磁盤方式使用。

LUN容量規(guī)劃的公式如下所示。

LUN容量=(Zx(X+Y)*1.25)

其中：

■Z=每LUN上駐留10個(gè)虛擬機(jī)

■Y=虛擬磁盤文件容量

■X=內(nèi)存大小

根據(jù)XXX客戶的實(shí)際生產(chǎn)環(huán)境的情況，即：1GB內(nèi)存，單一

VMDK文件需要80GB,LUN容量計(jì)算如下：

LUN容量二(10x(1+80)*1.25)"1000GB

根據(jù)最佳實(shí)踐，部署的每一個(gè)VMFS文件系統(tǒng)下最好分配一

個(gè)LUN磁盤，這樣可以避免虛擬機(jī)文件VMDK跨LUN造成的性能

不一致等問題。因此在構(gòu)建VMFS文件系統(tǒng)的空間時(shí)應(yīng)該充分考

慮在其上運(yùn)行的虛擬機(jī)數(shù)量和可增長空間，在規(guī)劃時(shí)將LUN的

空間預(yù)留充足。雖然將來仍然可以利用vmkfstools等工具在線

25

擴(kuò)充VMFS,但是仍然無法避免上述虛擬機(jī)磁盤跨LUN使用的問

題。

我們建議XXX客戶采用如下的存儲(chǔ)配置。

項(xiàng)目說明

存儲(chǔ)類型FibreChannelSAN

存儲(chǔ)處理器個(gè)數(shù)2（冗余）

交換機(jī)個(gè)數(shù)2（冗余）

每個(gè)主機(jī)上每個(gè)交換機(jī)的端1

口數(shù)

LUN大小1TB

LUN總數(shù)根據(jù)總量確定

每個(gè)LUN上的VMFS數(shù)據(jù)存儲(chǔ)1

數(shù)

VMFS版本5

表：存儲(chǔ)配置建議

＞存儲(chǔ)分層規(guī)劃

26

每個(gè)存儲(chǔ)層具有不同的性能、容量和可用性特征，只要不是

每個(gè)應(yīng)用都需要昂貴、高性能、高度可用的存儲(chǔ)，設(shè)計(jì)不同的

存儲(chǔ)層將十分經(jīng)濟(jì)高效。一個(gè)典型的存儲(chǔ)分層實(shí)例如下圖所示。

最高性能和可用性（5個(gè)9）、接近零停機(jī)、

關(guān)鍵任務(wù)數(shù)據(jù)成本最高

良好的性能和可用性（5個(gè)9）、恢復(fù)時(shí)間短

關(guān)鍵業(yè)務(wù)數(shù)據(jù)于8小時(shí)、成本適中

在線性能、良好的可用性（4個(gè)9）、恢復(fù)時(shí)

可在線訪問的數(shù)據(jù)間短于8小時(shí)'成本較低

大型卷、受保護(hù)的數(shù)據(jù)（個(gè)、自動(dòng)檢索時(shí)

近線數(shù)據(jù)39）

間少于1小時(shí)、注重成本

離線數(shù)據(jù)與備份或合規(guī)性相關(guān)的存檔數(shù)據(jù)、檢索時(shí)間少于

72小時(shí)、非常注重成本

圖：存儲(chǔ)分層實(shí)例

在規(guī)劃存儲(chǔ)分層時(shí)，我們主要考量應(yīng)用和服務(wù)的如下存儲(chǔ)特

征。

?每秒I/O操作數(shù)（IOPS）要求

?每秒兆字節(jié)數(shù)（MBps）要求

?容量要求

?可用性要求

?延遲要求

并依據(jù)下列信息將應(yīng)用及服務(wù)移至設(shè)計(jì)有匹配特征的存儲(chǔ)層。

?考慮任何現(xiàn)有的服務(wù)級別協(xié)議（SLA）

?數(shù)據(jù)在信息生命周期中可能會(huì)在存儲(chǔ)層之間移動(dòng)

27

基于上述原則，我們?yōu)閄XX客戶所做的存儲(chǔ)分層規(guī)劃如下所

不O

層接口應(yīng)用速度RAID磁盤數(shù)注釋

1光纖通-電子15K10810

鬻郵件RPMVMs/VMFS

-Web數(shù)據(jù)存儲(chǔ)

服務(wù)器

-客戶

資源管

理

2光纖通-薪酬15K5415

霰管理RPMVMs/VMFS

,人力數(shù)據(jù)存儲(chǔ)

資源

3光纖通-測試10K5415

鬻一開發(fā)RPMVMs/VMFS

數(shù)據(jù)存儲(chǔ)

表：存儲(chǔ)分層實(shí)現(xiàn)

＞數(shù)據(jù)存儲(chǔ)群集規(guī)劃

28

數(shù)據(jù)存儲(chǔ)以及與數(shù)據(jù)存儲(chǔ)群集關(guān)聯(lián)的主機(jī)必須符合特定要求,

才能成功使用數(shù)據(jù)存儲(chǔ)群集功能。

創(chuàng)建數(shù)據(jù)存儲(chǔ)群集時(shí)，應(yīng)遵循下列準(zhǔn)則。

?數(shù)據(jù)存儲(chǔ)群集必須包含類似的或可互換的數(shù)據(jù)存儲(chǔ)。

一個(gè)數(shù)據(jù)存儲(chǔ)群集中可以混用不同大小和I/O能力的數(shù)據(jù)

存儲(chǔ)，還可以混用來自不同陣列和供應(yīng)商的數(shù)據(jù)存儲(chǔ)。但

是，下列類型的數(shù)據(jù)存儲(chǔ)不能共存于一個(gè)數(shù)據(jù)存儲(chǔ)群集中。

?在同一個(gè)數(shù)據(jù)存儲(chǔ)群集中，不能組合使用NFS和VMFS

數(shù)據(jù)存儲(chǔ)。

?在同一個(gè)啟用了存儲(chǔ)DRS的數(shù)據(jù)存儲(chǔ)群集中，不能結(jié)合

使用復(fù)制的數(shù)據(jù)存儲(chǔ)和非復(fù)制的數(shù)據(jù)存儲(chǔ)。

?連接到數(shù)據(jù)存儲(chǔ)群集中的數(shù)據(jù)存儲(chǔ)的所有主機(jī)必須是

ESXi5.0及更高版本。如果數(shù)據(jù)存儲(chǔ)群集中的數(shù)據(jù)存儲(chǔ)

連接到ESX/ESXi4.x及更早版本的主機(jī),則存儲(chǔ)DRS

不會(huì)運(yùn)行。

?數(shù)據(jù)存儲(chǔ)群集中不能包含跨多個(gè)數(shù)據(jù)中心共享的數(shù)據(jù)存

儲(chǔ)。

?最佳做法是，啟用了硬件加速的數(shù)據(jù)存儲(chǔ)不能與未啟用

硬件加速的數(shù)據(jù)存儲(chǔ)放在同一個(gè)數(shù)據(jù)存儲(chǔ)群集中。數(shù)據(jù)

存儲(chǔ)群集中的數(shù)據(jù)存儲(chǔ)必須屬于同類，才能保證實(shí)現(xiàn)硬

件加速支持的行為。

29

基于上述原則，我們建議XXX客戶采用如下數(shù)據(jù)存儲(chǔ)集群規(guī)

劃。

集群名存儲(chǔ)自動(dòng)是否啟動(dòng)空間使I/O延

DRS化I/O用率遲

Metric

DataClusters-啟用全自是85%15ms

W/0動(dòng)化

DataClusters-啟用未自是85%15ms

W動(dòng)化

菱：數(shù)據(jù)存儲(chǔ)集群設(shè)計(jì)

2.3網(wǎng)絡(luò)資源規(guī)劃

正確的網(wǎng)絡(luò)設(shè)計(jì)對組織實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)有著積極的影響，它

可確保經(jīng)過授權(quán)的用戶能夠及時(shí)訪問業(yè)務(wù)數(shù)據(jù)，同時(shí)防止未經(jīng)

授權(quán)的用戶訪問數(shù)據(jù)。網(wǎng)絡(luò)設(shè)計(jì)必須經(jīng)過合理優(yōu)化，以滿足應(yīng)

用、服務(wù)、存儲(chǔ)、管理員和用戶的各種需求。

網(wǎng)絡(luò)資源規(guī)劃的目標(biāo)是設(shè)計(jì)一種能降低成本、改善性能、提

高可用性、提供安全性，以及增強(qiáng)功能的虛擬網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，

該架構(gòu)能夠更順暢地在應(yīng)用、存儲(chǔ)、用戶和管理員之間傳遞數(shù)

據(jù)。

本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對網(wǎng)絡(luò)資源進(jìn)行整體規(guī)

劃，包括虛擬交換機(jī)，網(wǎng)卡綁定等。

30

在規(guī)劃網(wǎng)絡(luò)設(shè)計(jì)時(shí)，我們主要從以下幾個(gè)方面進(jìn)行考量并進(jìn)

行相關(guān)的設(shè)計(jì)。

?連接要求

?帶寬要求

?延遲要求

?可用性要求

?成本要求

＞指導(dǎo)原則與最佳實(shí)踐

在規(guī)劃網(wǎng)絡(luò)資源時(shí)，我們會(huì)遵循如下的指導(dǎo)原則與最佳實(shí)踐。

?構(gòu)建模塊化網(wǎng)絡(luò)解決方案，該方案可隨時(shí)間的推移不斷

擴(kuò)展以滿足組織的需求，使得用戶無需替換現(xiàn)有的網(wǎng)絡(luò)

基礎(chǔ)架構(gòu)，進(jìn)而降低成本。

?為了減少爭用和增強(qiáng)安全性，應(yīng)該按照流量類型

（vSphere管理網(wǎng)絡(luò)（HA心跳互聯(lián)網(wǎng)絡(luò)）、vMotion在

線遷移網(wǎng)絡(luò)、虛擬機(jī)對外提供服務(wù)的網(wǎng)絡(luò)、FT、IP存儲(chǔ)）

對網(wǎng)絡(luò)流量進(jìn)行邏輯分離。

?VLAN可減少所需的網(wǎng)絡(luò)端口和電纜數(shù)量，但需要得到物

理網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的支持。

31

?首選分布式交換機(jī)，并應(yīng)盡可能少配置虛擬交換機(jī)。對

于每一個(gè)虛擬交換機(jī)vSwitch應(yīng)該配置至少兩個(gè)上行鏈

路物理網(wǎng)絡(luò)端口。

?可以在不影響虛擬機(jī)或在交換機(jī)后端運(yùn)行的網(wǎng)絡(luò)服務(wù)的

前提下，向標(biāo)準(zhǔn)或分布式交換機(jī)添加或從中移除網(wǎng)絡(luò)適

配器。如果移除所有正在運(yùn)行的硬件，虛擬機(jī)仍可互相

通信。如果保留一個(gè)網(wǎng)絡(luò)適配器原封不動(dòng)，則所有的虛

擬機(jī)仍然可以與物理網(wǎng)絡(luò)相連。

?連接到同一vSphere標(biāo)準(zhǔn)交換機(jī)或分布式交換機(jī)的每個(gè)

物理網(wǎng)絡(luò)適配器還應(yīng)該連接到同一物理網(wǎng)絡(luò)。將所有

VMkernel網(wǎng)絡(luò)適配器配置為相同MTU。

?實(shí)施網(wǎng)絡(luò)組件和路徑冗余，以支持可用性和負(fù)載分配。

?使用具有活動(dòng)/備用端口配置的網(wǎng)卡綁定，以減少所需

端口的數(shù)量，同時(shí)保持冗余。

?對于多網(wǎng)口的冗余配置應(yīng)該遵循配置在不同PCI插槽間

的物理網(wǎng)卡口之間。

?對于物理交換網(wǎng)絡(luò)也應(yīng)該相應(yīng)的進(jìn)行冗余設(shè)置，避免單

點(diǎn)故障。建議采用千兆以太網(wǎng)交換網(wǎng)絡(luò)，避免網(wǎng)絡(luò)瓶頸。

?對吞吐量和并發(fā)網(wǎng)絡(luò)帶寬有較高使用要求的情況，可以

考慮采用lOGbE,不過采用萬兆網(wǎng)絡(luò)在適配器和交換機(jī)

上的投入成本也會(huì)相應(yīng)增加。簡單的方法是通過在虛擬

32

機(jī)網(wǎng)絡(luò)vSwitch或vPortGroup上通過對多塊IGbE端口

捆綁負(fù)載均衡實(shí)現(xiàn)。

?將直通設(shè)備與Linux內(nèi)核2.6.20或更低版本配合使用

時(shí)，避免使用MSI和MSbX模式，因?yàn)檫@會(huì)明顯影響性

能。

?為了保護(hù)大部分敏感的虛擬機(jī)，要在虛擬機(jī)中部署防火

墻，以便在帶有上行鏈路（連接物理網(wǎng)絡(luò)）的虛擬網(wǎng)絡(luò)

和無上行鏈路的純虛擬網(wǎng)絡(luò)之間路由。

＞虛擬交換機(jī)規(guī)劃

為每臺(tái)vSphere服務(wù)器規(guī)劃的虛擬交換機(jī)配置如下。

標(biāo)準(zhǔn)虛擬交換機(jī)/分布式虛功能物理網(wǎng)卡端口

擬交換機(jī)數(shù)

VDS0管理網(wǎng)絡(luò)2

VDS1vSphere2

vMotion

VDS2虛擬機(jī)網(wǎng)絡(luò)2

表：每臺(tái)服務(wù)器的虛擬交換機(jī)建議

上述配置的相關(guān)說明如下。

33

?所選用的網(wǎng)卡必須在vSphere服務(wù)器的網(wǎng)絡(luò)I/O設(shè)備兼

容列表里，請從http:〃www.高校數(shù)據(jù)中心私有

云.com/resources/compatibility/search.php上查找

最新的網(wǎng)絡(luò)I/O設(shè)備來確認(rèn)選用網(wǎng)卡設(shè)備是否滿足要求。

?對于虛擬交換機(jī)的雙端口冗余，如果網(wǎng)卡自帶軟件支持

可以在ESX操作系統(tǒng)級別實(shí)現(xiàn)NICTeaming,本方案建

議通過在vSwitch交換機(jī)層面配置雙網(wǎng)卡的負(fù)載均衡或

主備切換策略，負(fù)載均衡策略可以基于虛擬機(jī)源地址或

目標(biāo)地址IP哈希值，也可以設(shè)置為基于MAC地址哈希

值。

?對于虛擬機(jī)應(yīng)用的網(wǎng)絡(luò)，為了確保虛擬機(jī)在執(zhí)行了

vMotion遷移到另一物理主機(jī)時(shí)保持其原有的VLAN狀態(tài),

建議根據(jù)實(shí)際需要在虛擬交換機(jī)端口啟用802.lq的

VLAN標(biāo)記(VST)方式。采用此方式可以確保遷移主機(jī)

可以保留原有的網(wǎng)絡(luò)配置如網(wǎng)關(guān)等，并且建議在網(wǎng)絡(luò)設(shè)

置中啟用通知物理交換機(jī)功能，該功能可以確保遷移主

機(jī)通過反向ARP通知物理交換機(jī)虛擬機(jī)端口的更改，確

保新的用戶會(huì)話可以被正確建立。

?對于虛擬機(jī)存儲(chǔ)，采用IPSAN網(wǎng)絡(luò)，通過虛擬機(jī)

vmkernel包含的PSA多路徑模塊進(jìn)行存儲(chǔ)路徑匯聚及故

障策略選擇。

vSphere主機(jī)網(wǎng)絡(luò)連接配置示意圖如下所示。

34

圖：主機(jī)網(wǎng)絡(luò)連接示意圖

＞網(wǎng)卡綁定

服務(wù)器整合會(huì)將各種故障影響混在一起，從而增加對冗余的

需要。而通過使用來自多個(gè)網(wǎng)卡和主板接口的端口配置網(wǎng)卡綁

定可進(jìn)一步減少單點(diǎn)故障的數(shù)量。除此之外，網(wǎng)卡綁定還可以

增加網(wǎng)絡(luò)路徑的可用帶寬

網(wǎng)卡綁定要求滿足以下條件：

?將兩個(gè)或更多網(wǎng)卡分配到同一虛擬交換機(jī)

?同一端口組中的所有網(wǎng)卡都位于相同的第二層廣播域中

35

網(wǎng)卡綁定的示意圖如下所示。

圖：網(wǎng)卡綁定不意圖

2.4可用性規(guī)劃

本次規(guī)劃充分考慮了虛擬化環(huán)境的可用性設(shè)計(jì)，例如：在網(wǎng)

絡(luò)層面和存儲(chǔ)層面分別利用了高校數(shù)據(jù)中心私有云vSphere內(nèi)

置的網(wǎng)絡(luò)冗余和存儲(chǔ)多路徑控制確保高可用。在服務(wù)器高可用

性上，vSphere內(nèi)置了HA,DRS和vMotion等功能可以應(yīng)對本

地站點(diǎn)多種虛擬機(jī)應(yīng)用計(jì)劃內(nèi)和計(jì)劃外意外停機(jī)的問題。

本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對可用性進(jìn)行整體規(guī)劃。

可用性相關(guān)技術(shù)的說明與配置指導(dǎo)原則如下。

組件可用性故障影響

維護(hù)正在運(yùn)行的工作負(fù)載

36

組件可用性故障影響

vSpher在高可用性集群中配置所如果某臺(tái)主機(jī)出現(xiàn)故障，

e主機(jī)有vSphere主機(jī)，最少應(yīng)vSphereHA可在13秒內(nèi)

實(shí)現(xiàn)檢測到故障，并開始在集

n+1冗余。這樣可保護(hù)客戶群內(nèi)的其他主機(jī)上啟動(dòng)該

的主機(jī)的虛擬機(jī)。

虛擬機(jī)、托管平臺(tái)門戶/管

vSphereHA接入控制會(huì)確

理保集群內(nèi)有足夠的資源用

應(yīng)用。于重新啟動(dòng)虛擬機(jī)。高校

數(shù)據(jù)中心私有云建議采用

一種名為“集群資源百分

比”的接入控制策略，因

為此策略不僅十分靈活，

而且能夠?qū)崿F(xiàn)資源可用

性。

此外，高校數(shù)據(jù)中心私有

云還建議對vCenter進(jìn)行

配置，使之能夠主動(dòng)將虛

擬機(jī)從運(yùn)行狀況不穩(wěn)定的

主機(jī)中遷移出來。

在vCenter中，可以定義

用于監(jiān)控主機(jī)系統(tǒng)運(yùn)行狀

況的規(guī)則。

37

組件可用性故障影響

虛擬機(jī)vSphereDRS和vSphere無影響。通過vSphere

資源使StorageDRS可在主機(jī)之間DRS或vSphereStorage

用情況遷移虛擬機(jī)，以便平衡集DRS,無需停機(jī)即可在主

群資源和降低出現(xiàn)“鄰位機(jī)之間遷移虛擬機(jī)。

干擾”虛擬機(jī)的風(fēng)險(xiǎn)，防

止虛擬機(jī)在主機(jī)內(nèi)獨(dú)占

CPU、內(nèi)存和存儲(chǔ)資源，從

而避免侵害相同主機(jī)上的

其他虛

擬機(jī)。無影響。StorageI/O

當(dāng)檢測到I/O沖突時(shí)，Control會(huì)根據(jù)虛擬機(jī)和

vSphereStorageI/OvSphere主機(jī)相應(yīng)的份額

授權(quán)容量或配置的最大

Control會(huì)自動(dòng)調(diào)節(jié)主機(jī)和

虛擬機(jī)，確保在數(shù)據(jù)存儲(chǔ)IOPS數(shù)量來調(diào)節(jié)虛擬機(jī)和

中的虛擬機(jī)之間公平分配vSphere主機(jī)。

磁盤份額。這可確保鄰位

干擾虛擬機(jī)不會(huì)獨(dú)占存儲(chǔ)

I/O資源。StorageI/O

Control會(huì)利用份額分配機(jī)

制來確保每個(gè)虛擬機(jī)獲得

應(yīng)得的

資源。

38

組件可用性故障影響

vSpher為端口組最少配置兩個(gè)物無影響。即使發(fā)生故障切

e主機(jī)理路徑，防止因單個(gè)鏈路換，也不會(huì)導(dǎo)致服務(wù)中

網(wǎng)絡(luò)故障而影響到平臺(tái)或虛擬斷。

連接機(jī)連接。這包括管理和需要配置故障切換和故障

vMotion網(wǎng)絡(luò)?？墒褂没诨謴?fù)以及相應(yīng)的物理設(shè)置

負(fù)載的綁定機(jī)制來避免超（如PortFast）。

額使用網(wǎng)絡(luò)鏈路的情況。

vSpher對于每個(gè)LUN或NFS共無影響。即使發(fā)生故障切

e主機(jī)享，將vSphere主機(jī)配置換，也不會(huì)導(dǎo)致服務(wù)中

存儲(chǔ)為至少具有兩個(gè)物理路斷。

連接徑，以防止因單個(gè)存儲(chǔ)路

徑故障而影響到服務(wù)?；?/p>

于存儲(chǔ)供應(yīng)商的設(shè)計(jì)指導(dǎo)

準(zhǔn)則來甄選路徑選擇插

件。

保持工作負(fù)載可訪問性

39

組件可用性故障影響

高校數(shù)vCenterServer作為虛擬vCenterServer

據(jù)中心機(jī)運(yùn)行并使用vCenterHeartbeat針對vCenter

私有云ServerHeartbeatoServer提供一個(gè)集群解決

vCente