為VMware Esxi 選擇合適的存儲(chǔ)

如何為虛擬化選擇合適的存儲(chǔ)設(shè)備今無論是服務(wù)器虛擬化，還是桌面虛擬化逐漸侵占數(shù)據(jù)中心，隨之市場占有率用戶有足夠的信心轉(zhuǎn)為虛擬化技術(shù)，我自己親身接觸的客戶很多都在籌備使用更多虛擬化資源取代已有的X86硬件架構(gòu)，使資源能夠更高效利用，但是問題來了？使用虛擬化（這里尤其指的是服務(wù)器虛擬化，桌面虛擬化）如果沒有一臺(tái)共享存儲(chǔ)，那么虛擬化環(huán)境很多高級(jí)特性就無法使用，例如vSphere：vMotion，將運(yùn)行中的虛擬機(jī)從一個(gè)主機(jī)遷移到另一個(gè)主機(jī)；StoragevMotion，將運(yùn)行中的虛擬機(jī)的磁盤文件從一個(gè)vSphere數(shù)據(jù)存儲(chǔ)遷移到另一個(gè)數(shù)據(jù)存儲(chǔ)；存儲(chǔ)分布式資源調(diào)度（SDRS），當(dāng)vSphere數(shù)據(jù)存儲(chǔ)運(yùn)行緩慢（高延遲）或存儲(chǔ)空間不足時(shí)，重新平衡虛擬機(jī)磁盤文件；vSphere高可用性，依靠此特性，當(dāng)主機(jī)失效時(shí)，虛擬機(jī)可以自動(dòng)在另一主機(jī)上啟動(dòng)；因此，我會(huì)說共享存儲(chǔ)在虛擬化環(huán)境或者虛擬化集群占有很重要的位置，那么企業(yè)如何選擇一臺(tái)適合自己的存儲(chǔ)呢?這將是博文內(nèi)容的核心部分。如果采購的存儲(chǔ)無論是性能，還是容量各方面過剩，意味著降低投資回報(bào)率。如果存儲(chǔ)各方面，如穩(wěn)定性，性能，容量在短時(shí)間內(nèi)出現(xiàn)瓶頸，那么會(huì)影響整個(gè)業(yè)務(wù)系統(tǒng)，甚至造成安全隱患。稍后我會(huì)按照八個(gè)方面來闡述自己一些卑微見解（排名不分先后）。第一個(gè)方面NAS還是SAN?NAS能夠提供更廣泛的協(xié)議，除了提供給VMwareNFS還可以把空間以CIFS，SMB,NFS協(xié)議提供給其它的業(yè)務(wù)系統(tǒng)，達(dá)到高效利用。首先確認(rèn)您的虛擬化產(chǎn)品是否支持NAS，并且在官方的廠商兼容性列表，vSphere,Hyper-V，KVM，Citrix等等。SAN屬于獨(dú)享的“塊”結(jié)構(gòu)設(shè)備，通俗來講，前者是通過地址映射了一塊空間，而SAN則是把一顆實(shí)體的設(shè)備映射給主機(jī)，我們甚至能夠在設(shè)備管理器看到這顆磁盤驅(qū)動(dòng)器，并且安裝系統(tǒng)在這上面（SANboot），相同帶寬，磁盤特征的情況下，塊結(jié)構(gòu)設(shè)備必然更快速。因?yàn)椴恍枰俅鎯?chǔ)底層構(gòu)建一個(gè)NAS文件系統(tǒng)，而是做完RAID之后，直接以邏輯磁盤的方式映射給主機(jī)，在響應(yīng)速度來講，能夠提供更大的IOPS（Input/OutputOperationsPerSec。即每秒進(jìn)行讀寫，而這也是虛擬化環(huán)境迫切需求的。在選擇的過程中，我比較推薦后者，也就是SAN,無論是IPSAN還是FCSAN。（DAS因?yàn)槠洳荒軘U(kuò)充到存儲(chǔ)網(wǎng)絡(luò)，不能適應(yīng)虛擬化集群，盡可能不作為考慮范圍）；首先，“塊”結(jié)構(gòu)的設(shè)備往往可以在存儲(chǔ)陣列做一些更高級(jí)的功能，而這些功能對(duì)于NAS來說很難實(shí)現(xiàn)。例如：在虛擬化環(huán)境中的一個(gè)卷上面，已經(jīng)部署了500臺(tái)虛擬機(jī)-VM，如果我們需要再部署500臺(tái)，那將耗費(fèi)很長時(shí)間，我知道的廠商存儲(chǔ)產(chǎn)品，哪怕是低端的存儲(chǔ)陣列都支持各種類型的快照技術(shù)，也就說我們對(duì)這個(gè)LUN執(zhí)行一次快照或者說克隆，就會(huì)產(chǎn)生一個(gè)新的副本，而這個(gè)副本映射給虛擬化主機(jī)，就會(huì)新產(chǎn)生500個(gè)VM，這個(gè)速度比在虛擬機(jī)克隆快幾十倍，甚至上百倍，完全透明，不消化應(yīng)用主機(jī)性能。又或者存儲(chǔ)層的精簡配置技術(shù)，持續(xù)數(shù)據(jù)保護(hù)技術(shù)等等。有的朋友可能會(huì)說，SAN的成本遠(yuǎn)遠(yuǎn)高于NAS。在2014年的今天，我完全不贊同，嚴(yán)謹(jǐn)來講，我認(rèn)為沒有可比性。SAN可以使用千兆的iSCSI，這個(gè)完全可以利用現(xiàn)有的網(wǎng)絡(luò)環(huán)境，無需改造，只不過連接交換機(jī)的網(wǎng)線不再是以太網(wǎng)協(xié)議，而是SCSI協(xié)議。建立一套10Gb的NAS環(huán)境與全FCSAN8Gbps的環(huán)境預(yù)算可以說是旗鼓相當(dāng)，而光纖協(xié)議能夠提供更高的響應(yīng)速度。NAS以太網(wǎng)的帶寬及沒秒多少M(fèi)B很好換算，而截圖是光纖協(xié)議的理論速率:PortSpeedlOfsMB/shalf-duplexMB/sfull-duplex2Gb/s100000200400.4Gb/s150000400 ..8008Gb/s20000D800160016Gb/s1.2mil16003200實(shí)際:PortSpeedlOfeMBIshalf-duplexMB/sful!-duplex2Gb/s65D001903604Gb/s1000003607208Gb/S130000720144016Gb/S79200014402830第二個(gè)方面磁盤類型:首先，近線SAS比較SATA磁盤，對(duì)于虛擬化環(huán)境來說都是一樣的，千萬別有優(yōu)越感。虛擬化環(huán)境很多時(shí)候要求的磁盤的IOPS，也就是延遲。近線SAS磁盤響應(yīng)速度和SATA是一樣的，只是帶寬高一點(diǎn)。（SATA/SAS6Gb的接口讀或?qū)懙乃俾薀o非是500-400MB，這個(gè)速率應(yīng)用程序吃不掉，而剩下的則是磁盤響應(yīng)速度）。Disktyp*Avg.SecondAvgLMBp?rSecondApplicationFfcreChannel3.Sms〔15KRf勒IB RPMJIMHOFS(1DKRFM}2DMB(15KRPMJ15MB/1QKRPM)Perf<Mmance-：rtensjv?thighavailatsbly.randomaccessSAS3JnB{15KRFMJ;15ms|WRPM|2O!l0FSi15KRPM}16]|.OPSi；1DKRPM)23MB05KRPM)1EMB.；10KRPM)Perfflimance-irtfnsive,hghavanlattrty.randcmaccessSATA9.5nis.|7.2KRPMl12fflS(5<RPM)75IOP5(7.2KRPM)60IOPS(5<RPM)AwgM&svafKS沮!paragraphbelowGapacity-intensivE,sequ即脆1access從上圖能夠看到，SAS磁盤的IOPS高很多，而FC磁盤已經(jīng)漸漸的淡出市場。一臺(tái)中端的存儲(chǔ)陣列，11顆SATA磁盤，RAID5的IOPS大概是4000左右，100%RANDOM,70%寫。而SAS磁盤的存儲(chǔ)陣列，同等基準(zhǔn)測試能夠到達(dá)7000IOPS。如果一個(gè)VM在苛刻模式下需求80個(gè)IOPS，那么SAS陣列可以多承載38臺(tái)VM。值得一提的是，無論是VDI還是服務(wù)器虛擬化，在建設(shè)時(shí)期，根據(jù)各部門應(yīng)用去收集IOPS，是整個(gè)項(xiàng)目中最頭疼的部分;但是，這個(gè)環(huán)節(jié)不能遺漏。性能過剩意味用戶更多的投入，或者集成商更少的利潤，如果性能不足則會(huì)導(dǎo)致更多的問題。因此，存儲(chǔ)陣列最好支持更多類型的磁盤混合使用，甚至是SSD，這樣在今后擴(kuò)展會(huì)很方便。一個(gè)很好的實(shí)踐經(jīng)驗(yàn)，如果您已經(jīng)購買了10顆SATA磁盤，在存儲(chǔ)陣列設(shè)置了一個(gè)RAID5,如果發(fā)現(xiàn)性能不足，或者虛擬程序報(bào)磁盤延遲很大，您可以重新創(chuàng)建RAID，例如3個(gè)RAID5?或者2個(gè)RAID10,這樣能夠在不投入成本的基礎(chǔ)上改善延遲（請(qǐng)參考我另一篇博文：關(guān)于SAN-存儲(chǔ)RAID組及RAID級(jí)別設(shè)置）。一些存儲(chǔ)產(chǎn)品提供高級(jí)特性-存儲(chǔ)自動(dòng)分層，這個(gè)內(nèi)容稍后再聊。另外，您計(jì)劃購入SSD，最好選擇保修時(shí)間更久的廠商，比如5年或者更長，重復(fù)寫入導(dǎo)致SSD壽命加快，能有一個(gè)更久的質(zhì)保期由為重要。盡量不要選擇PCIe類型的SSD，因?yàn)橥ǔＰ枰顷懙杰浖缑娌拍苤繱SD是否損壞，而SAS，或者SATA接口，或者NVMe類型的SSD，能夠較為簡單的目測的磁盤是否報(bào)警閃燈，更換也比較簡單，基本可以在不停機(jī)情況下操作。第三個(gè)方面帶寬：很多用戶認(rèn)為更大的帶寬，意味著虛擬機(jī)更快速的遷移，克隆，和數(shù)據(jù)復(fù)制。其實(shí)很多時(shí)候不是這樣。在SAN的環(huán)境中，8Gb的FC如果能夠跑到720MB/s，而我們的SAS磁盤接口讀或者寫僅僅是500-400MB/s，那么即使光纖鏈路擴(kuò)展到16Gb又有什么用呢?哪怕是在一個(gè)有著幾百臺(tái)服務(wù)器虛擬化的環(huán)境，720MB/s也是完全夠用的，IO延遲則是反應(yīng)了磁盤響應(yīng)速度不夠快。所以在之前要充分的計(jì)算，多少個(gè)VM是跑文件數(shù)據(jù)，類似OLAP，多少VM是運(yùn)行OLTP類型的業(yè)務(wù)。

對(duì)于10臺(tái)以下的虛擬機(jī)，偏向交易類型的業(yè)務(wù)，2個(gè)千兆的iSCSI做聚合也是沒問題的，無非是虛擬機(jī)遷移與克隆的時(shí)候會(huì)慢一些。PortSpeedlO/sMB/s1Gb/s120008010Gb/s8000D530在NAS方面，可選的帶寬有1Gb/10Gb光纖以太網(wǎng)，40Gb的NAS對(duì)外提供服務(wù)的我還沒見到，估計(jì)很快發(fā)布。在SAN方面，主流的4/8GbFC，16GbFC會(huì)立刻發(fā)布，同時(shí)還有1Gb/10/40/56Gb的iSCS;INFINIBAND不易擴(kuò)展，我不推薦。第四個(gè)方面存儲(chǔ)陣列是否支持高級(jí)特性:在2014年的今天，存儲(chǔ)系統(tǒng)已經(jīng)不僅僅致力于存儲(chǔ)數(shù)據(jù)，它們盡可能的通過一些高級(jí)特性改善應(yīng)用層面的困境，使應(yīng)用主機(jī)更專注于生產(chǎn)。在存儲(chǔ)選型的過程中，應(yīng)該充分考慮業(yè)內(nèi)前沿的存儲(chǔ)技術(shù)，并將其所用或者為后期做準(zhǔn)備。例如:快照/克隆技術(shù)，持續(xù)數(shù)據(jù)保護(hù)技術(shù)，存儲(chǔ)層的精簡配置技術(shù)，持續(xù)數(shù)據(jù)保護(hù)，QoS，存儲(chǔ)陣列之間的集群和實(shí)施復(fù)制。這些技術(shù)可能會(huì)在后期大規(guī)模的虛擬化集群擴(kuò)展減少不必要的投入。第五個(gè)方面與虛擬化產(chǎn)品特性集成的力度：虛擬化產(chǎn)品越來越智能，但有些先進(jìn)的特性必須由存儲(chǔ)配合才能發(fā)揮效應(yīng)，您選購的存儲(chǔ)符合這些特性嗎？Hyper-V2012Server的OffloadDataTransfer-ODX，全自動(dòng)的UNMAP讓我非常著迷，另外VMware的VAAI:Fullcopy，Zeroed，ScalableLockManagement，ThinProvisioningStun，如果您了解這里面每一個(gè)特性就知道這是非常有價(jià)值的，尤其是Fullcopy。在之前您需要去虛擬化廠商兼容性指南進(jìn)行確認(rèn)，您的存儲(chǔ)是否已經(jīng)符合這些特性？FeatureCategoryFeaturesYMI-BlocKBlockZero.FullCopyHWAssistedLockingjhinProvisioningvSphere的VASA致力于夠通過vCenter平臺(tái)統(tǒng)一管理和部署，其中還包括了存儲(chǔ)系統(tǒng)，您選購的存儲(chǔ)是否支持這一特性，如果YES，是否包含許可費(fèi)用?請(qǐng)驗(yàn)證這一點(diǎn)！??！

第六個(gè)方面：具有組件冗余:存儲(chǔ)設(shè)備在IT環(huán)境中包含了最多的故障點(diǎn)，尤其是在擴(kuò)展了更多的柜子和磁盤的時(shí)候，在故障后，或者維護(hù)期間，能否提供組件的故障轉(zhuǎn)移非常重要。對(duì)于單臺(tái)共享存儲(chǔ)，有條件一定考慮雙控制器，獨(dú)立的控制器caching電池保護(hù)機(jī)制。電源，磁盤，熱更換。支持多條冗余的對(duì)外服務(wù)端口。支持管理員授權(quán)登陸。支持更多種類型的RAID級(jí)別。第七個(gè)方面規(guī)格對(duì)比：集成商經(jīng)常會(huì)給用戶，在同一需求中提供多個(gè)廠商產(chǎn)品進(jìn)行選擇。這些產(chǎn)品往往價(jià)格相差不多，磁盤特征相同，但仍然有很多內(nèi)容值得關(guān)注。這里依次是：控制器的caching配置多大容量（或能夠支持多大?），是否對(duì)讀和寫同時(shí)提供加速？對(duì)外提供存儲(chǔ)服務(wù)的端口類型（iSCSI，F(xiàn)C，NAS）包括哪些?配置多少個(gè)?支持多少個(gè)？每年的維護(hù)費(fèi)用/Support費(fèi)用。哪些功能包含在license，哪些需要額外收費(fèi)？同時(shí)支持哪些接口特征的磁盤?最大支持多少顆磁盤？第八個(gè)方面這個(gè)算是一個(gè)由存儲(chǔ)引發(fā)的擴(kuò)展話題：我不推薦高密度集成式存儲(chǔ)。例如：vmwareVSAN,或者硅谷新晉廠商N(yùn)UTANIX;第一，VSAN的宣告發(fā)布僅僅是2013年，而2014年第二季度正式發(fā)布，沒有人希望把自己的數(shù)據(jù)寄存在一個(gè)不成熟的存儲(chǔ)環(huán)境中，而存儲(chǔ)行業(yè)目前不是vmware的強(qiáng)項(xiàng)。我個(gè)人認(rèn)為，vmware僅僅是為了彌補(bǔ)宣稱的軟件定義數(shù)據(jù)中心中，缺失的那一部分。第二，VSAN強(qiáng)調(diào)的是充分利用本地資源，減少外部存儲(chǔ)網(wǎng)絡(luò)的建設(shè)成本。我見過很多的小型環(huán)境用戶多是2臺(tái)ESX主機(jī)，難道為了充分利用服務(wù)器本地的幾顆磁盤，用戶要多購買一臺(tái)Server做ESX主