




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
VirtuaVirtuaVuN60優(yōu)計(jì)指優(yōu)化指南VMware存儲(chǔ)與可用性文檔/1SAN設(shè)計(jì)和優(yōu)化指南存儲(chǔ)與可用性業(yè)務(wù)部門are版本年4月設(shè)計(jì)和優(yōu)化指南目錄簡介 5Health5rtlSNReyNe 6MreEORL 6rtlSN設(shè)計(jì)概覽 77硬件、驅(qū)動(dòng)程序和固件 7使用受支持的軟件版本 7平衡配置 8群集的生命周期 8根據(jù)容量、維護(hù)和可用性要求優(yōu)化調(diào)整 9設(shè)計(jì)概覽注意事項(xiàng)摘要 9rtlSN限制 所需的ESi主機(jī)最少數(shù)量 11允許的ESi主機(jī)最大數(shù)量 11允許的虛擬機(jī)最大數(shù)量 11受HA保護(hù)的虛擬機(jī)最大數(shù)量 12磁盤、磁盤組和閃存設(shè)備最大數(shù)量 12組件最大值 13虛擬機(jī)存儲(chǔ)策略最大值 13最大大小 14設(shè)計(jì)限制注意事項(xiàng)摘要 14網(wǎng)絡(luò)互連-15全閃存帶寬要求 15使用成組實(shí)現(xiàn)冗余 15U和巨型幀注意事項(xiàng) 16多播注意事項(xiàng) 16通過NetworkControl實(shí)現(xiàn)網(wǎng)絡(luò)16網(wǎng)絡(luò)設(shè)計(jì)注意事項(xiàng)摘要 17網(wǎng)絡(luò)設(shè)計(jì)指南 17磁盤組 18緩存優(yōu)化調(diào)整概覽 18中的閃存設(shè)備 18讀取緩存的用途 19寫入緩存的用途 19閃存設(shè)備與固態(tài)驅(qū)動(dòng)器(SSD)的比較 19閃存持久性注意事項(xiàng) 20使用全閃存配置時(shí)的閃存容量優(yōu)化調(diào)整 21使用混合配置時(shí)的閃存緩存優(yōu)化調(diào)整 21實(shí)際示例-混合配置 22使用全閃存配置時(shí)的閃存緩存優(yōu)化調(diào)整 23實(shí)際示例-全閃存配置 23縱向擴(kuò)展容量,確保充足的緩存 24磁盤 24設(shè)計(jì)和優(yōu)化指南磁盤性能-NL或SATA 25磁盤容量-或SATA 25磁盤性能-RPM 26磁盤數(shù)量在混合配置中至關(guān)重要 2626我需要多少容量? 27我應(yīng)當(dāng)預(yù)留多少空間裕量? 28格式化開銷注意事項(xiàng) 28快照緩存優(yōu)化調(diào)整注意事項(xiàng) 29選擇存儲(chǔ)O控制器 29多個(gè)控制器和擴(kuò)展器 29多控制器與單控制器比較 30存儲(chǔ)控制器隊(duì)列深度 30與直通比較 30存儲(chǔ)控制器緩存注意事項(xiàng) 31高級(jí)控制器功能 31磁盤組設(shè)計(jì) 31將磁盤組用作存儲(chǔ)故障域 31多磁盤組和3節(jié)點(diǎn)群集 32磁盤驅(qū)動(dòng)器容量較小時(shí)的注意事項(xiàng) 32非常大時(shí)的注意事項(xiàng) 323333設(shè)計(jì)時(shí)要避免耗盡容量 34存儲(chǔ)設(shè)計(jì)注意事項(xiàng)摘要 34對象與組件 35見證組件與副本 36虛擬機(jī)快照注意事項(xiàng) 36從UI查看對象布局 37策略設(shè)計(jì)方案 3838條帶寬度-優(yōu)化調(diào)整注意事項(xiàng) 38閃存讀取緩存預(yù)留 38閃存讀取緩存預(yù)留-優(yōu)化調(diào)整注意事項(xiàng) 39閃存讀取緩存預(yù)留配置示例 39允許故障數(shù) 40允許故障數(shù)優(yōu)化調(diào)整注意事項(xiàng) 40強(qiáng)制置備 40對象空間預(yù)留 41策略設(shè)計(jì)注意事項(xiàng)摘要 43虛擬機(jī)命名空間和交換注意事項(xiàng) 43虛擬機(jī)主頁命名空間 43虛擬機(jī)交換 44為快照創(chuàng)建的增量磁盤 45快照內(nèi)存 45動(dòng)態(tài)更改虛擬機(jī)存儲(chǔ)策略 45使用無法實(shí)施的策略進(jìn)行置備 46使用默認(rèn)策略進(jìn)行置備 46CPU注意事項(xiàng) 47設(shè)計(jì)和優(yōu)化指南內(nèi)存注意事項(xiàng) 47主機(jī)存儲(chǔ)要求 47引導(dǎo)設(shè)備注意事項(xiàng) 48純計(jì)算主機(jī)注意事項(xiàng) 48維護(hù)模式注意事項(xiàng) 49刀片系統(tǒng)注意事項(xiàng) 49外部存儲(chǔ)機(jī)箱注意事項(xiàng) 50處理器電源管理注意事項(xiàng) 503節(jié)點(diǎn)配置 51HA注意事項(xiàng) 51故障域 52確定工作載是否合rtlSN 使用對優(yōu)化調(diào)整 55使用Planner對優(yōu)化調(diào)整 58InfrastructurePlanner-58容量優(yōu)化調(diào)整示例I 59CPU配置 60內(nèi)存配置 60存儲(chǔ)配置 61組件數(shù) 62容量優(yōu)化調(diào)整示例62CPU配置 64內(nèi)存配置 64存儲(chǔ)配置-方案1 64存儲(chǔ)配置-方案2 65組件數(shù) 67服務(wù)器選擇 68總結(jié) 更多信息 兼容性指南 70社區(qū)頁面 70重要博客 70現(xiàn)有文檔鏈接 70支持 70延伸閱讀 70設(shè)計(jì)和優(yōu)化指南簡介SAN?并與SAN將群集中各主機(jī)的本地SAN可在SAN是第一個(gè)專為環(huán)境設(shè)計(jì)的策略驅(qū)動(dòng)型存儲(chǔ)產(chǎn)品,可以簡化存儲(chǔ)置備和管理工SAN會(huì)自動(dòng)將要求與基礎(chǔ)存儲(chǔ)資源加以動(dòng)態(tài)匹配。通過SAN,許多手動(dòng)執(zhí)行的存儲(chǔ)任務(wù)可以實(shí)現(xiàn)自動(dòng)化,從而提供一種更高效、更經(jīng)濟(jì)的運(yùn)維模式。SAN提供兩種不同的配置方案:混合配置(利用基于閃存的設(shè)備和磁盤)和全閃存配置?;旌吓渲檬褂没诜?wù)器的閃存設(shè)備提供緩存層,以獲得最佳性能,同時(shí)使用磁盤提供容量和持久數(shù)據(jù)存儲(chǔ)。如此配置可以提供企業(yè)級(jí)性能和彈性存儲(chǔ)平臺(tái)。全閃存配置使用閃存提供緩存層和容量層。挑選主機(jī)型號(hào)、存儲(chǔ)控制器以及閃存設(shè)備和磁盤時(shí)有眾多方案可供選擇。因此,為SAN兼容性指南重要。本文旨在幫助管理員正確設(shè)計(jì)SAN群集并優(yōu)化調(diào)整,解答有關(guān)主機(jī)數(shù)量、閃存設(shè)備數(shù)量、磁盤數(shù)量的常見問題,并回答詳細(xì)配置問題,幫助您成功部署SAN。ServicesSAN附帶插件。此功能可以檢查SAN方方面面的運(yùn)行狀況,并洞察許多潛在問題的根源。部署SAN時(shí),建議同時(shí)部署SAN會(huì)突出顯示問題,并引導(dǎo)管理員參照相應(yīng)的知識(shí)庫文章解決問題。SAN指南》,了解關(guān)于如何獲得組件、如何安裝組件以及如何使用此功能驗(yàn)證SAN部署和解決常見SAN問題的更多信息。設(shè)計(jì)和優(yōu)化指南VirtualReadyNodeSAN群集有兩種構(gòu)建方式:? 使用認(rèn)證組件自行構(gòu)建從SAN列表中選擇SANSAN部署進(jìn)行了測試和認(rèn)證,屬于服務(wù)器和共同推薦的產(chǎn)品。SAN硬件與軟件配置的大型數(shù)據(jù)中心環(huán)境。SAN文檔會(huì)提供標(biāo)準(zhǔn)化配置示例,包括支持的虛擬機(jī)數(shù)量以及預(yù)計(jì)可提供的4K數(shù)量。關(guān)于SAN的更多詳細(xì)信息,請?jiān)L問:EVO:RAIL客戶還可以選擇將計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源合并成一個(gè)超融合基礎(chǔ)架構(gòu)設(shè)備,從而打造一個(gè)由我們的合作伙伴提供的簡單、軟件可以完全加載到合作伙伴的硬件設(shè)備中,并附帶SAN。關(guān)于的更多詳細(xì)信息,請?jiān)L問:設(shè)計(jì)和優(yōu)化指南Virtual設(shè)計(jì)概覽在介紹SAN設(shè)計(jì)和優(yōu)化調(diào)整的具體細(xì)節(jié)之前,我們先概要說明一些注意事項(xiàng)。嚴(yán)格遵守“兼容性指南嚴(yán)格遵守適用于SAN的兼容性指南非常重要。我們對大量支持請求進(jìn)行分析后發(fā)現(xiàn),相關(guān)問題歸根結(jié)底是因?yàn)闆]有遵守這些非常具體的建議所導(dǎo)致的。此在線工具定期更新,確??蛻羰冀K可以從終要確認(rèn)用于SAN部署的硬件組件是否受支持。硬件、驅(qū)動(dòng)程序和固件VCG針對存儲(chǔ)O控制器、固態(tài)驅(qū)動(dòng)器SSD、PCe閃存卡和磁盤驅(qū)動(dòng)器的硬件型號(hào)提供了非常具體的建議。它還說明了哪些驅(qū)動(dòng)程序已使用SAN進(jìn)行了充分測試,而且在許多情況下,它會(huì)說明所需的最低固件級(jí)別。確保硬件組件擁有這些固件級(jí)別,以及確保設(shè)計(jì)中的ESXi主機(jī)上安裝的任何相關(guān)驅(qū)動(dòng)程序擁有受支持的最新驅(qū)動(dòng)程序版本。使用受支持的軟件版本盡管支持使用和和行SAN,但我們始終建議運(yùn)行最新版本的軟件(無論在ESXi還是在包括許多針對SAN的改進(jìn)功能。不支持將SAN的版升級(jí)到版。在這種情況下,需要全新部署SAN,即全新部署SAN的版,而且現(xiàn)在希望使用該產(chǎn)品的版,請不要嘗試從升級(jí)到或會(huì)不斷修復(fù)客戶遇到的問題,因此,通過使用最新版本的軟件,客戶能夠避免遇到已經(jīng)修復(fù)的問題。設(shè)計(jì)和優(yōu)化指南平衡配置建議在所有群集成員之間,部署具有類似或相同配置(包括類似或相同的存儲(chǔ)配置)的ESXi主機(jī)。這將確保在磁盤和主機(jī)群集之間平衡虛擬機(jī)存儲(chǔ)組件。在同一群集中,盡管不貢獻(xiàn)存儲(chǔ)的主機(jī)依然能夠利用SAN建議采用平衡配置。最佳做法:為SAN群集使用具有類似配置和大小的ESXi主機(jī)。群集的生命周期SAN為客戶提供的存儲(chǔ)解決方案既可通過為ESXi主機(jī)添加全新或更大的磁盤輕松實(shí)現(xiàn)縱向擴(kuò)展,也可通過向群集添加全新主機(jī)輕松實(shí)現(xiàn)橫向擴(kuò)展。這使得客戶能夠在一開始時(shí)使用非常小的環(huán)境,然后隨著時(shí)間的推移,通過添加新主機(jī)和更多磁盤,輕松實(shí)現(xiàn)擴(kuò)展。然而,無論是使用混合解決方案還是全閃存解決方案,擴(kuò)展時(shí)都需要為工作負(fù)載提供足夠的緩存及容量,這一點(diǎn)十分重要。本指南會(huì)深入討論這一注意事項(xiàng)。具體而言,在設(shè)計(jì)時(shí)應(yīng)當(dāng)考慮選擇擁有附加磁盤插槽,可提供附加容量,以及便于將附加設(shè)備安裝到這些插槽中的主機(jī)。為SAN選擇硬件時(shí),始終要記住,無論是混合配置還是全閃存配置,添加容量通常都比向緩存層添加更大的閃存設(shè)備容易得多。添加額外容量可能會(huì)非常簡單,也就是在維護(hù)現(xiàn)有容量的同時(shí),插入新的磁盤驅(qū)動(dòng)要使用新閃存設(shè)備替代以前的閃存設(shè)備。這是因?yàn)槊總€(gè)磁盤組只有一個(gè)閃存設(shè)備。如果在添加額外閃存的同時(shí)添加額外容量,那么縱向擴(kuò)展SAN十分輕松。如果不添加新容量,只添加額外閃存緩存,就會(huì)涉及到開展較為復(fù)雜的維護(hù)任務(wù),并可能需要從更新、更大的閃存緩存設(shè)備要加入的目標(biāo)磁盤組撤出所有數(shù)據(jù)。如果設(shè)計(jì)SAN時(shí)考慮未來緩存增長需求,換句話說,初始設(shè)計(jì)包含的閃存緩存超過實(shí)際需求,則可以避免該問題。最佳做法:設(shè)計(jì)時(shí)考慮未來增長需求設(shè)計(jì)和優(yōu)化指南SAN所需的最低配置為3個(gè)ESXi主機(jī)。然而,這個(gè)最小的環(huán)境面臨著許多重要限制。在SAN中,如果發(fā)生故障,系統(tǒng)會(huì)嘗試在剩余群集上重新構(gòu)建故障設(shè)備或主機(jī)的任何虛擬機(jī)組件。在3節(jié)點(diǎn)群集中,如果一個(gè)節(jié)點(diǎn)發(fā)生故障,則無處可以重新構(gòu)建故障組件。將主機(jī)置于維護(hù)模式時(shí)也是如此。維護(hù)模式中有一個(gè)選項(xiàng)可以從主機(jī)撤出所有數(shù)據(jù)。然而,這僅在群集中有4個(gè)或更多節(jié)點(diǎn)并且有充足的備用容量時(shí)可行。此外還要考慮容量層大小。因?yàn)椴渴鹪赟AN上的虛擬機(jī)由策略驅(qū)動(dòng),而且其中一個(gè)策略設(shè)置(NumberOfFailuresToTolerate)將創(chuàng)建虛擬機(jī)數(shù)據(jù)的鏡像副本,所以需要考慮允許一個(gè)或更多故障時(shí)需要多少容量。稍后將更加詳細(xì)地討論該設(shè)計(jì)注意事項(xiàng)。設(shè)計(jì)方案:4節(jié)點(diǎn)或更多節(jié)點(diǎn)配置可以比3節(jié)點(diǎn)配置提供更多的可用性選項(xiàng)。確保有充足的存儲(chǔ)容量滿足可用性要求,并允許在故障之后重新構(gòu)建組件。設(shè)計(jì)概覽注意事項(xiàng)摘要? 兼容性指南? 查閱VCG,確保設(shè)計(jì)中使用的所有軟件、驅(qū)動(dòng)程序和固件版本都受支持? 確保在執(zhí)行新部署時(shí)使用最新級(jí)別的有部署更新到最新修補(bǔ)程序版本,以解決已修復(fù)的已知問題? 設(shè)計(jì)時(shí)考慮可用性要求。設(shè)計(jì)時(shí)考慮使用三個(gè)以上主機(jī)和額外容量,使群集在發(fā)生故障時(shí)能夠自動(dòng)修復(fù)? 設(shè)計(jì)時(shí)考慮增長要求。初始部署時(shí),考慮讓群集中的容量能夠滿足未來虛擬機(jī)部署要求,且具有足夠的閃存緩存支持未來容量增長要求設(shè)計(jì)和優(yōu)化指南在SAN引入了對全閃存SAN配置的支持。全閃存版本與混合版本之間存在一些明顯區(qū)別。本節(jié)將簡單介紹這些區(qū)別。與混合配置相比,使用全閃存SAN配置時(shí),無論工作負(fù)載如何,它都可以帶來更好、高度可預(yù)測的統(tǒng)一性能。的已占用容量”用于緩存層;然而,緩存在每個(gè)配置中的使用方式不同。在混合群集中(容量層使用磁盤,緩存層使用閃存),緩存算法會(huì)嘗試最大限度提高讀寫性能??捎镁彺嬷杏?0%分配用于存儲(chǔ)頻繁讀取的磁盤塊,從而最大限度30%分配用于執(zhí)行寫入操作。如果可行,系統(tǒng)會(huì)合并多個(gè)寫操作,并按順序?qū)懭?,從而再次最大限度提高磁盤性能。全閃存群集有兩種閃存:既快速又耐用的寫入緩存和容量更大、更經(jīng)濟(jì)高效的容量閃存。在此配置中,100%的緩存都分配給寫入操作,因?yàn)槿萘块W存提供的讀取性能綽綽有余。大量寫入操作保存在緩存中,僅在需要時(shí)寫入容量層,從而延長容量閃存層的壽命。最佳做法:確保有足夠的閃存緩存滿足設(shè)計(jì)要求。建議將10%的已占用容量分配給緩存全閃存配置注意事項(xiàng)? 全閃存僅在SAN中可用? 它要求使用網(wǎng)絡(luò);不支持? 全閃存節(jié)點(diǎn)的最大數(shù)量為64個(gè)? 閃存設(shè)備同時(shí)用于緩存和容量? 使用全閃存配置時(shí),不會(huì)預(yù)留閃存讀取緩存? 需要標(biāo)記閃存設(shè)備,使其能夠用于容量–SAN管理員指南》中介紹? 設(shè)計(jì)和優(yōu)化指南Virtual限制設(shè)計(jì)SAN群集時(shí),必須考慮SAN限制。所需的ESXi主機(jī)最少數(shù)量SAN群集中至少要有3個(gè)ESXi和版本都是如此。盡管SAN完全支持3節(jié)點(diǎn)配置,但它們的行為方式不同于有著4節(jié)點(diǎn)或更多節(jié)SAN無法在群集中的其他主機(jī)上重新構(gòu)建組件來允許另一次故障。同樣,在3SAN不能在維護(hù)期間從節(jié)點(diǎn)遷移所有數(shù)據(jù)。設(shè)計(jì)方案:4節(jié)點(diǎn)群集可以提供更高的靈活性。如果可行,請考慮至少使用4個(gè)節(jié)點(diǎn)設(shè)計(jì)群集。允許的ESXi主機(jī)最大數(shù)量對于混合配置,在版本中,支持每VirtualSAN群集最多使用64個(gè)ESXi主機(jī)。對于SANSAN群集最多使用32個(gè)ESXi主機(jī)。要運(yùn)行64個(gè)節(jié)點(diǎn),必須設(shè)定某些高級(jí)設(shè)置。請參考知識(shí)庫文章2110081。允許的虛擬機(jī)最大數(shù)量在版本SAN最多支持每ESXi主機(jī)使用200多使用個(gè)虛擬機(jī)。在版本中,每ESXi主機(jī)最多使用100在32主機(jī)SAN群集中,最多支持討論此注意事項(xiàng)。設(shè)計(jì)方案:如果設(shè)計(jì)目標(biāo)是部署一定數(shù)量的虛擬機(jī),請確保群集中有足夠的ESXi主機(jī)支持設(shè)計(jì)。設(shè)計(jì)和優(yōu)化指南受vSphere保護(hù)的虛擬機(jī)最大數(shù)量在5.5在同一數(shù)據(jù)存儲(chǔ)上最多可以保護(hù)個(gè)虛擬機(jī)。由于SAN只有一個(gè)數(shù)據(jù)存儲(chǔ),這意味著Spee最多可以為每個(gè)SAN群集保護(hù)個(gè)虛擬機(jī)。因此,在啟用的SAN群集中,如果虛擬機(jī)超過將無法保護(hù)所有這些虛擬機(jī)。此限制在現(xiàn)在可以保護(hù)部署在群集上的所有虛擬機(jī),最多可達(dá)個(gè)。最佳做法:在SAN群集上啟用磁盤組是通過將本地連接存儲(chǔ)設(shè)備聚合起來創(chuàng)建的管理構(gòu)造。在混合配置中,磁盤組是單個(gè)基于閃存的設(shè)備與多個(gè)磁盤設(shè)備的組合,前者提供緩存和性能,后者提供容量。在混合配置上創(chuàng)建磁盤組要求指派單個(gè)基于閃存的設(shè)備和一個(gè)或多個(gè)磁盤。在全閃存配置中,磁盤組是具有兩種用途的閃存設(shè)備的組合。首先,單個(gè)基于閃存的設(shè)備用于提供緩存和性能,其次,多個(gè)額外閃存設(shè)備用于提供容量。這里需要執(zhí)行一個(gè)額外步驟,也就是將用于容量層的閃存設(shè)備特別標(biāo)記為容量閃存設(shè)備。在全級(jí)設(shè)備),并指派一個(gè)或多個(gè)額外閃存設(shè)備用于容量層。注意:VirtualSAN不支持在同一群集中混合使用全閃存磁盤組和混合磁盤組?;旌鲜褂貌煌愋痛疟P組會(huì)導(dǎo)致性能不穩(wěn)定。加入SAN群集的ESXi主機(jī)上最多有5個(gè)磁盤組(閃存緩存設(shè)備+容量設(shè)備)。閃存緩存設(shè)備可以是閃存設(shè)備或固態(tài)磁盤(SSD)。容量設(shè)備可以是混合配置中的磁盤或全閃存配置中的閃存設(shè)備。閃存緩存設(shè)備專門用于單個(gè)磁盤組:不能與其他磁盤組共享,也不能共享用于其他用途。在混合配置中,每磁盤組最多有7個(gè)磁盤用于容量層,每磁盤組最多有1個(gè)閃存設(shè)備用于緩存層。在全閃存配置中,每磁盤組最多有7個(gè)閃存設(shè)備用于閃存容量層,每磁盤組最多有1個(gè)閃存設(shè)備用于緩存層。根據(jù)這些最大值進(jìn)行推斷可知,每ESXi主機(jī)總共有35個(gè)設(shè)備用于容量層,每主機(jī)最多有5或SSD)用于緩存層。設(shè)計(jì)和優(yōu)化指南組件最大值部署在SAN上的虛擬機(jī)由一組對象組成。例如,VMDK是對象,快照是對文件、日志文件等內(nèi)容的存儲(chǔ)位置)也是對象。每個(gè)對象都由一套組件構(gòu)成,這些組件由虛擬機(jī)存儲(chǔ)策略中的功能決定。例如,如果使用允許一次故障的策略部署虛擬機(jī),那么對象將由兩個(gè)副本組件構(gòu)成。如果策略包含條帶寬度,對象將在容量層中跨多個(gè)設(shè)備進(jìn)行條帶化。每個(gè)條帶都是對象的一個(gè)組件。稍后,本指南將更加詳細(xì)地討論對象和組件的概念,但總而言之,在SAN中,每ESXi主機(jī)最多有個(gè)組件,在SAN個(gè)組件。從升級(jí)到時(shí),磁盤上格式也需要從升級(jí)到9,000個(gè)組件的支持。SAN管理員指南》介紹了升級(jí)過程。虛擬機(jī)存儲(chǔ)策略最大值每對象的最大條帶寬度為12。默認(rèn)情況下,最小條帶寬度為1。然而,如果不在策SAN可以決定對象可能需要跨多個(gè)磁盤進(jìn)行條帶化。雖然具體原因會(huì)因情況而異,但通常是因?yàn)楣芾韱T請求創(chuàng)建的VDK太SAN上的最大組件大小為255GB。對于超過SAN會(huì)自動(dòng)將它們拆分為多個(gè)組件。因此,如果管理員部署VMDK,則可能會(huì)在同一條帶配置中看到8個(gè)或更多組件構(gòu)成VDK對象。設(shè)計(jì)方案:確保容量層中有充足的物理設(shè)備滿足所需的條帶寬度要求。為1的設(shè)置部署虛擬機(jī)。策設(shè)置定了署在VialSAN上的對拷副本。++SAN設(shè)計(jì)方案:確保群集中有充足的主機(jī)(和故障域)滿足所需的NumberOfFailuresToTolerate要求。設(shè)計(jì)和優(yōu)化指南另一個(gè)策略設(shè)置是FlashReadCacheReservation,但它僅適用于混合配置。全閃存配置上沒有讀取緩存。FlashReadCacheReservation的最大值為100%,意味著將根據(jù)虛擬機(jī)VMDK大小預(yù)留匹配的緩存。與FlashReadCacheReservation相關(guān)的設(shè)計(jì)注意事項(xiàng)將在虛擬機(jī)存儲(chǔ)策略設(shè)計(jì)部分詳細(xì)討論。同時(shí)適用于混合配置和全閃存配置的ObjectSpaceReservation的最大值為100%,意味著虛擬機(jī)的VMDK將按“厚置備”方式部署。與ObjectSpaceReservation相關(guān)的設(shè)計(jì)注意事項(xiàng)將在虛擬機(jī)存儲(chǔ)策略設(shè)計(jì)部分詳細(xì)討論。最大大小在SAN中,支持的最大VMDK大小為SAN中,最大VMDK大小限制為正如在上一部分提到的,在SAN中,對象大小為時(shí)即會(huì)進(jìn)行條帶化。如果管理員部署的對象為62500個(gè)組件(假設(shè)默認(rèn)策略為NumberOfFailuresToTolerate=1)。在SAN上創(chuàng)建非常大的VMDK時(shí),需要考慮組件最大數(shù)量。設(shè)計(jì)限制注意事項(xiàng)摘要? 考慮在SAN群集上啟用在版本最多可以保護(hù)個(gè)虛擬機(jī)。? 考慮允許故障時(shí)所需的主機(jī)(和故障域)數(shù)量。? 考慮實(shí)施條帶寬度時(shí)容量層中所需的設(shè)備數(shù)量。? 個(gè)VMDK。實(shí)際上,在VirtualSAN中,應(yīng)該不需要擔(dān)心組件數(shù)量。? 請記住,默認(rèn)情況下,VMDK(甚至是62TBVMDK)最初將采用精簡置備,因此,客戶應(yīng)當(dāng)為未來容量增長做好準(zhǔn)備。設(shè)計(jì)和優(yōu)化指南網(wǎng)絡(luò)設(shè)計(jì)注意事項(xiàng)網(wǎng)絡(luò)互連–1Gb/10Gb支持將和網(wǎng)絡(luò)接口卡用于混合配置下的SAN網(wǎng)絡(luò)流量。如果使用要求將此專門用于SAN流量。如果使用可以與其他類型網(wǎng)絡(luò)流量共享。盡管成功在鏈路上運(yùn)行了較小的混合SAN部署,但最佳做法是使用鏈路不需要專門用于SAN流量;它們可以與其他類型網(wǎng)絡(luò)流量共享,例如vMotion。如果在多個(gè)類型流量之間共享則建議使用阻止一種類型流量占用所有帶寬。建議僅將用于SAN網(wǎng)絡(luò)流量。此依然可以與其他類型流量共享。需要考慮ESXi主機(jī)之間有多少復(fù)制和通信流量(這直接關(guān)系到群集中的虛擬機(jī)數(shù)量),每虛擬機(jī)有多少副本,以及虛擬機(jī)中運(yùn)行的應(yīng)用程序的強(qiáng)度如何。全閃存帶寬要求SAN全閃存配置僅支持網(wǎng)絡(luò)互連。原因之一是,全閃存配置提供的更高性能可能會(huì)在主機(jī)之間占用更多網(wǎng)絡(luò)帶寬,以獲得更高的吞吐量。此外,即便不是為了獲得更高吞吐量,部署全閃存配置也可完美實(shí)現(xiàn)可預(yù)測的低延遲。?SAN配置。? 在版本和網(wǎng)絡(luò)連接繼續(xù)支持混合配置。使用成組實(shí)現(xiàn)冗余SAN衡。雖然可能會(huì)實(shí)現(xiàn)部分負(fù)載平衡,但成組更應(yīng)該被看作是提供一種使SAN流量網(wǎng)絡(luò)“高度可用”的方式。如果一個(gè)適配器發(fā)生故障,另一個(gè)適配器將接管通信。設(shè)計(jì)和優(yōu)化指南和巨型幀注意事項(xiàng)SAN支持巨型幀。測試發(fā)現(xiàn),使用巨型幀可以降低CPU利用率,增加吞吐量,然而,這兩項(xiàng)優(yōu)勢僅處于最低水平,因?yàn)橐呀?jīng)使用分段卸載和大型接收卸載帶來了類似的優(yōu)勢。在網(wǎng)絡(luò)基礎(chǔ)架構(gòu)中已啟用巨型幀的數(shù)據(jù)中心里,建議將巨型幀用于SAN部署。否則,不建議使用巨型幀,因?yàn)樵谡麄€(gè)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)中配置巨型幀的操作成本遠(yuǎn)遠(yuǎn)超出了有限的CPU和性能優(yōu)勢。設(shè)計(jì)注意事項(xiàng):如果增益在很大程度上可以忽略不計(jì)時(shí),請考慮在SAN環(huán)多播注意事項(xiàng)多播是SAN的網(wǎng)絡(luò)要求。多播可用于發(fā)現(xiàn)參與群集的ESXi主機(jī)以及跟蹤群集中的變化。請務(wù)必確保在參與SAN群集的所有節(jié)點(diǎn)之間允許多播流量。多播性能也非常重要,因此,應(yīng)當(dāng)確保使用高質(zhì)量的企業(yè)級(jí)交換機(jī)。如果將低端交換機(jī)用于SAN,應(yīng)當(dāng)明確測試交換機(jī)的多播性能,因?yàn)閱尾バ阅懿荒芊从扯嗖バ阅堋Mㄟ^實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)質(zhì)量可以使用實(shí)施。這將允許向SAN流量分配專用數(shù)量的網(wǎng)絡(luò)帶寬。使用共享機(jī)制時(shí),通過使用沒有其他流量影響SAN網(wǎng)絡(luò),反之亦然。要求使用(VDS),而且此功能在標(biāo)準(zhǔn)交換機(jī)(VSS)上不可用。對于面向SAN的每個(gè)都會(huì)在該版本中提供VDS。這意味著,無論部署哪個(gè)版本,都可以配置SAN同時(shí)支持VDS和VSS。設(shè)計(jì)和優(yōu)化指南網(wǎng)絡(luò)設(shè)計(jì)注意事項(xiàng)摘要? 混合配置支持和網(wǎng)絡(luò)? 全閃存配置要求使用網(wǎng)絡(luò)? 成組? 考慮引入巨型幀是否值得? 考慮使用具備的VDS,在SAN流量上提供網(wǎng)絡(luò)設(shè)計(jì)指南SAN包括:? 成組注意事項(xiàng)-哈希算法和其他成組算法的比較? 物理拓?fù)渥⒁馐马?xiàng)–大型SAN群集中的影響? 面向高可用性的SAN網(wǎng)絡(luò)設(shè)計(jì)-實(shí)現(xiàn)高度可用的SAN網(wǎng)絡(luò)的設(shè)計(jì)注意事項(xiàng)? 負(fù)載平衡注意事項(xiàng)-如何通過多個(gè)物理上行鏈路,為SAN流量和其他類型流量獲得聚合帶寬? SAN與其他類型流量-同時(shí)使用VirtualSAN和其他類型流量時(shí),使用的詳細(xì)架構(gòu)示例和測試結(jié)果本指南的延伸閱讀部分提供了該指南的鏈接,強(qiáng)烈建議打開鏈接閱讀該指南。設(shè)計(jì)和優(yōu)化指南存儲(chǔ)設(shè)計(jì)注意事項(xiàng)為SAN正確優(yōu)化存儲(chǔ)大小之前,需要先了解一些關(guān)鍵的SAN概念。這對SAN的總體存儲(chǔ)設(shè)計(jì)很有幫助。磁盤組磁盤組可看作是SAN上的存儲(chǔ)容器;它們包含一個(gè)閃存緩存設(shè)備和最多七個(gè)容量設(shè)備(磁盤或在全閃存配置中用作容量層的閃存設(shè)備)。簡單地講,磁盤組會(huì)指派一個(gè)緩存設(shè)備,為既定容量設(shè)備提供緩存。這會(huì)在一定程度上決定性能,因如果所需的緩存容量比非常高,可能要求每主機(jī)使用多個(gè)閃存設(shè)備。在這種情況下,必須創(chuàng)建多個(gè)磁盤組來滿足要求,因?yàn)槊看疟P組受僅限一個(gè)閃存設(shè)備的配置限制。不過,使用多個(gè)磁盤組和小型閃存設(shè)備有很多優(yōu)勢。它們通??梢蕴峁└嗟木彺嫒萘勘仍礁?,可供虛擬機(jī)提升性能的緩存就越多。但是,這會(huì)帶來附加成本。設(shè)計(jì)方案:單個(gè)大磁盤組配置或多個(gè)小磁盤組配置。緩存優(yōu)化調(diào)整概覽客戶應(yīng)當(dāng)根據(jù)虛擬機(jī)的活動(dòng)工作集,確定SAN中的緩存大小要求。理想情況下,緩存大小應(yīng)當(dāng)足以容納工作負(fù)載中重復(fù)使用的塊。我們將其稱作活動(dòng)工作集。然而,獲得工作負(fù)載的活動(dòng)工作集并不容易,因?yàn)榈湫偷墓ぷ髫?fù)載會(huì)隨時(shí)間而變,這會(huì)導(dǎo)致工作集和關(guān)聯(lián)的緩存要求也會(huì)發(fā)生變化。建議SAN配置中閃存緩存至少是已占用容量的SAN配置。中的閃存設(shè)備在SAN混合配置中,閃存設(shè)備有兩個(gè)用途:讀取緩存和寫入緩沖區(qū)。在全閃存配置中,一個(gè)指定的閃存設(shè)備用于緩存,其他閃存設(shè)備用于容量層。兩種配置都可以顯著提高運(yùn)行在SAN上的虛擬機(jī)的性能。設(shè)計(jì)和優(yōu)化指南讀取緩存的用途讀取緩存僅適用于混合配置,它用來保存最近讀取的磁盤塊集合。這可以在緩存命中時(shí)降低讀取延遲,也就是說,磁盤塊可以從緩存獲取,而不是從磁盤獲取。SAN個(gè)副本(以允許故障)時(shí),VirtualSAN可以在副本拷貝之間平均分布數(shù)據(jù)塊緩存。如果從第一個(gè)副本讀取的塊不在緩存中,則引用目錄服務(wù),查找塊是否在群集中另一個(gè)鏡像(在另一個(gè)主機(jī)上)的緩存中。如果在那里找到塊,則從那里檢索數(shù)據(jù)。如果塊不在另一個(gè)主機(jī)的緩存中,則表明讀取緩存未命中。在這種情況下,系統(tǒng)直接從磁盤檢索數(shù)據(jù)。寫入緩存的用途混合配置和全閃存配置上的寫入緩存可用作非易失性寫入緩沖區(qū)。這將大大提高混合配置和全閃存配置的性能,還能延長全閃存配置中的閃存容量設(shè)備的壽命。SAN可確保在群集中的其他地方寫入數(shù)據(jù)副本。部署到SAN的所有虛擬機(jī)都有默認(rèn)可用性策略設(shè)置,確保至少有一個(gè)附加虛擬機(jī)數(shù)據(jù)副本可用。這包括確保將寫入內(nèi)容寫入到群集的多個(gè)寫入緩存中。寫入操作由客戶機(jī)操作系統(tǒng)中運(yùn)行的應(yīng)用程序發(fā)起后,寫入內(nèi)容將復(fù)制到包含存儲(chǔ)對象的副本拷貝的主機(jī)上的寫入緩存。這意味著在發(fā)生主機(jī)故障時(shí),我們還有緩存內(nèi)數(shù)據(jù)副本,從而不會(huì)丟失數(shù)據(jù);虛擬機(jī)可以重復(fù)使用復(fù)制的緩存副本以及復(fù)制的容量數(shù)據(jù)。閃存設(shè)備與固態(tài)驅(qū)動(dòng)器的比較決定選擇PCe閃存設(shè)備而放棄固態(tài)磁盤時(shí),有許多注意事項(xiàng)。注意事項(xiàng)分為三類:成本、性能和容量。大部分固態(tài)磁盤使用依然遵循的或設(shè)備提供16個(gè)數(shù)據(jù)傳輸通道,每個(gè)方向上的每通道速度約為16個(gè)通道的設(shè)備提供大約的總帶寬。設(shè)計(jì)和優(yōu)化指南另一個(gè)有用的性能注意事項(xiàng)是,使用PC緩存設(shè)備可以減少存儲(chǔ)控制器上的負(fù)載。人們發(fā)現(xiàn),這通常會(huì)改善性能。這條反饋來自許多閃存供應(yīng)商,他們使用PCe閃存設(shè)備在SAN上做過性能測試。這種性能提升是有代價(jià)的。通常PCe閃存設(shè)備的成本比固態(tài)磁盤更高。寫入持久性是另一個(gè)重要的注意事項(xiàng);持久性越高,成本也越高。最后是容量注意事項(xiàng)。盡管固態(tài)磁盤會(huì)繼續(xù)變大,但查閱VCG了解受支持的SAN閃存設(shè)備可以發(fā)現(xiàn),在該指南編寫時(shí),最大的SSD為最大的閃存設(shè)備為GB。優(yōu)化調(diào)整大小時(shí),確保有足夠的1級(jí)閃存緩存與容量比(無論容量層是磁盤還是閃存都是如此)。同樣,成本也是一個(gè)重要的考慮因素。設(shè)計(jì)注意事項(xiàng):考慮工作負(fù)載是需要性能,還是SSD提供的性能已足夠。設(shè)備。后者可以減小故障域,同時(shí)也可以提高性能,但成本可能更高。閃存持久性注意事項(xiàng)隨著全閃存配置在容量層中引入了閃存設(shè)備,現(xiàn)在重要的是針對容量閃存層和緩存閃存層的持久性進(jìn)行優(yōu)化。在混合配置中,只有緩存閃存層需要考慮閃存持久性。在SAN中,持久性等級(jí)已更新,使用在供應(yīng)商的驅(qū)動(dòng)器保修期內(nèi)寫入的量表示。此前,此規(guī)格為每日完整驅(qū)動(dòng)器寫入次數(shù)(DWPD)。通過引用允許供應(yīng)商靈活使用完整DWPD規(guī)格較低但容量更大的驅(qū)動(dòng)器。例如,從持久性角度來講,規(guī)格為10次完整DWPD的驅(qū)動(dòng)器與規(guī)格為5次完整DWPD的驅(qū)動(dòng)器相當(dāng)。如果要求SAN閃存設(shè)備具有10次DWPD,則會(huì)將具有5次DWPD的驅(qū)動(dòng)器排除出SAN認(rèn)證范圍。例如,將規(guī)格更改為每日2驅(qū)動(dòng)器和驅(qū)驅(qū)動(dòng)器都將符合認(rèn)證資格-每日2相當(dāng)于驅(qū)動(dòng)器的5次DWPD以及驅(qū)動(dòng)器的10次DWPD。對于運(yùn)行高工作負(fù)載的VSAN4當(dāng)于5年內(nèi)寫入7300數(shù)據(jù)。當(dāng)然,在容量層上使用的閃存設(shè)備的持久性也可以此為參考,但是,這些設(shè)備往往不需要與用作緩存層的閃存設(shè)備具備相同級(jí)別的持久性。設(shè)計(jì)和優(yōu)化指南混合配置中與容量層優(yōu)化調(diào)整有關(guān)的所有注意事項(xiàng)也適用于全閃存SAN配置。例如,我們需要考慮虛擬機(jī)數(shù)量、VMDK大小、并發(fā)拍攝的快照數(shù)量,當(dāng)然還包括根據(jù)虛擬機(jī)存儲(chǔ)策略中的NumberOfFailuresToTolerate要求創(chuàng)建的副本拷貝數(shù)量。采用全閃存配置時(shí),讀取請求不再由緩存層響應(yīng),而是由容量層響應(yīng)。通過移除全閃存配置中的讀取緩存,緩存層上的數(shù)量大大減少,持久性顯著增加。這意味著,持久性和性能現(xiàn)在成為全閃存配置中容量層的注意事項(xiàng)。然而,在全閃存配置中,使用高持久性閃存緩存設(shè)備也可以延長閃存容量層的壽命。上的寫入操作次數(shù)將減少。注意:在SAN中,如果用于全閃存配置中緩存層的閃存設(shè)備小于600GB,閃存設(shè)備將100%用于緩存。然而,如果閃存緩存設(shè)備大于600GB,設(shè)備中只有用于緩存。此要求適用于每個(gè)磁盤組。設(shè)計(jì)注意事項(xiàng):對于全閃存配置,為緩存層選擇設(shè)備時(shí),請確保將閃存持久性納入考慮范疇。持久性數(shù)據(jù)包含在VCG中。設(shè)計(jì)注意事項(xiàng):調(diào)整全閃存配置中磁盤組大小時(shí),考慮為每個(gè)磁盤組使用不大于的閃存設(shè)備,以實(shí)現(xiàn)最佳優(yōu)化。SAN閃存容量優(yōu)化調(diào)整的一般性建議是,閃存容量應(yīng)為預(yù)計(jì)占用存儲(chǔ)容量的NumberOfFailuresToTolerate。例如,用戶計(jì)劃置備個(gè)虛擬機(jī),每個(gè)虛擬機(jī)有精簡置備的邏輯地址空間。然而,他們預(yù)計(jì)一段時(shí)間內(nèi),每虛擬機(jī)占用的存儲(chǔ)容量平均為20GB。計(jì)量要求值預(yù)計(jì)虛擬機(jī)空間使用情況預(yù)計(jì)虛擬機(jī)數(shù)預(yù)計(jì)空間占用總量x==目標(biāo)閃存容量百分比10%所需的總閃存容量x=因此,復(fù)制前的預(yù)計(jì)占用存儲(chǔ)總量為x=系數(shù)定義為支持NumberOfFailuresToTolerate=1虛擬機(jī)創(chuàng)建兩個(gè)副本,也就是說,占用容量略微超過而,對于這種情況,閃存可優(yōu)化調(diào)整為10%x總閃存容量為設(shè)計(jì)和優(yōu)化指南目標(biāo)閃存容量百分比的最佳值根據(jù)實(shí)際工作負(fù)載特征算出,例如磁盤上數(shù)據(jù)的工作集大小。10%是一般準(zhǔn)則,用作進(jìn)一步優(yōu)化的初始基礎(chǔ)。建議緩存大小至少占虛擬機(jī)存儲(chǔ)(即VMDK)占用容量的于大多數(shù)虛擬化應(yīng)用程序,任何時(shí)候都是讀取或?qū)懭氪蠹s10%的數(shù)據(jù)。目標(biāo)是盡可能將數(shù)據(jù)(活動(dòng)實(shí)時(shí)數(shù)據(jù)集)保存在緩存中,以實(shí)現(xiàn)最佳性能。此外,還要考慮主機(jī)故障、閃存緩存設(shè)備故障或SAN群集中的主機(jī)處于維護(hù)模式這些情況。如果希望SAN重新構(gòu)建受故障或維護(hù)模式影響的虛擬機(jī)組件,而且策略包含讀取緩存預(yù)留設(shè)置,讀取閃存緩存數(shù)量必須在故障之后可用于重新配置虛擬機(jī)。FlashReadCacheReservation策略設(shè)置僅適用于混合群集。全閃存陣列沒有讀取緩存。讀取操作直接從閃存容量層讀取數(shù)據(jù),除非數(shù)據(jù)塊已在寫入緩存中。此注意事項(xiàng)稍后將在本指南的“虛擬機(jī)存儲(chǔ)策略”部分詳細(xì)討論。實(shí)際示例-混合配置客戶計(jì)劃在4節(jié)點(diǎn)SAN群集上部署100個(gè)虛擬機(jī)。假設(shè)每個(gè)VMDK為100GB,但估計(jì)實(shí)際僅占用每個(gè)VMDK的要求在這些虛擬機(jī)使用的策略中,將“NumberOfFailuresToTolerate”設(shè)為1。注意:盡管在策略中將“NumberOfFailuresToTolerate”設(shè)為1會(huì)使這些虛擬機(jī)占用的磁盤空間量增加一倍,但它不會(huì)計(jì)入緩存大小。因此,預(yù)計(jì)占用容量為100x=因此,緩存大小應(yīng)當(dāng)調(diào)整為的閃存。對于4節(jié)點(diǎn)群集,這意味著每個(gè)主機(jī)中的閃存設(shè)備大小至少為125GB。然而,如上文所述,應(yīng)考慮在設(shè)計(jì)時(shí)使用更大的緩存配置,以便順利應(yīng)對未來的容量增長要求。在本例中,如果VMDK最終占用70%而不是估計(jì)的50%空間,緩存配置大小可能略小,性能可能受影響。設(shè)計(jì)注意事項(xiàng):設(shè)計(jì)時(shí)考慮未來增長需求??紤]購買足夠大的閃存設(shè)備,允許容量層隨著時(shí)間的推移進(jìn)行擴(kuò)展。設(shè)計(jì)和優(yōu)化指南盡管全閃存SAN配置只為寫入緩存使用閃存層,但相同的緩存優(yōu)化調(diào)整設(shè)計(jì)規(guī)則同樣適用。同樣,一般說來,VMware建議緩存大小至少為虛擬機(jī)存儲(chǔ)(即,VMDK)占用的SAN數(shù)據(jù)存儲(chǔ)容量的外的閃存緩存,以便順利應(yīng)對未來的容量增長要求。實(shí)際示例-全閃存配置我們還是使用前面的例子,即客戶計(jì)劃在4節(jié)點(diǎn)SAN群集上部署100個(gè)虛擬機(jī)。同樣,假設(shè)每個(gè)VMDK為100GB,但企業(yè)估計(jì)實(shí)際僅占用每個(gè)VMDK的75%。假設(shè)在這些虛擬機(jī)使用的策略中將“NumberOfFailuresToTolerate”要求設(shè)為2。注意:盡管在策略中將“NumberOfFailuresToTolerate”設(shè)為2會(huì)使這些虛擬機(jī)占因此,預(yù)計(jì)占用容量為100x=同樣,緩存層優(yōu)化調(diào)整為的的閃存。對于4節(jié)點(diǎn)群集來說,該群集可能需要每個(gè)主機(jī)中配置大小至少為的閃存設(shè)備。下表列出了持久性級(jí)別和寫入量:SSD持久性級(jí)別SSD層每日寫入TB量5年寫入TB量A全閃存-容量365B混合-緩存1C全閃存-緩存(中等工作負(fù)2D全閃存-緩存(高工作負(fù)載)4如果供應(yīng)商在其規(guī)格中使用每日完整驅(qū)動(dòng)器寫入次數(shù)(DWPD),通過執(zhí)行這里顯示的轉(zhuǎn)換,可以獲得用寫入量表示的持久性。使用SAN時(shí),從持久性角度來講,重要的是在驅(qū)動(dòng)器保修期(在本例中為5年)內(nèi)可以向SSD寫入多少數(shù)據(jù)。? 驅(qū)動(dòng)器大小xDWPDx365x5。兼容性指南”。最佳做法:查閱VCG,確保閃存設(shè)備受支持,以及可以提供SAN設(shè)計(jì)要求的持久性特性。設(shè)計(jì)和優(yōu)化指南SAN引人注目的特征之一是縱向擴(kuò)展和橫向擴(kuò)展能力。例如,對于處在自動(dòng)模式下的SAN群集設(shè)置,用戶可以簡單地向群集添加新磁盤驅(qū)動(dòng)器(假設(shè)有三個(gè)可用磁盤插槽),讓SAN自動(dòng)聲明磁盤,并將其添加到磁盤組,增加SAN數(shù)據(jù)存儲(chǔ)的可用容量。如果通過添加新磁盤組同時(shí)縱向擴(kuò)展緩存和容量,則同樣如此。管理員可以簡單地為緩存添加一個(gè)新的1級(jí)閃存設(shè)備,為容量層至少添加一個(gè)額外磁盤或閃存設(shè)備,并構(gòu)建新磁盤組。然而,如果目的是縱向擴(kuò)展SAN數(shù)據(jù)存儲(chǔ)的容量(為每個(gè)服務(wù)器添加更多容量),確保有充足的緩存非常重要。一個(gè)注意事項(xiàng)是,初始可配置較高的緩存容量比,以允許容量層增長,盡管這會(huì)影響未來的閃存容量比。通過引入新磁盤組,同時(shí)縱向擴(kuò)展緩存和容量相對容易。此外,在混合配置中,通過向磁盤組插入新磁盤來添加額外容量很容易(在全閃存配置中,則插入閃存設(shè)備)。但是,添加額外緩存容量則困難得多。如果需要撤掉現(xiàn)有緩存設(shè)備并更換上更新、更大的緩存設(shè)備,則更是如此。當(dāng)然,此方法的成本也更高。相比在SAN投入生產(chǎn)之后嘗試增加閃存資源,一開始就配置充裕的閃存資源則要容易得多。設(shè)計(jì)方案:設(shè)計(jì)時(shí)使用額外的閃存緩存,可以更輕松地縱向擴(kuò)展容量層?;蛘?,通過添加新磁盤組,同時(shí)縱向擴(kuò)展緩存和容量,這比只更新現(xiàn)有磁盤組中的現(xiàn)有閃存緩存設(shè)備更容易。磁盤磁盤在混合SAN配置中有兩個(gè)作用。它們在混合配置中構(gòu)成SAN數(shù)據(jù)存儲(chǔ)的容量。磁盤數(shù)量也是影響條帶寬度的一個(gè)因素。在虛擬機(jī)存儲(chǔ)策略中指定條帶寬度時(shí),構(gòu)成條帶的組件將放置在單獨(dú)的磁盤上。如果要求特定的條帶寬度,群集中的主機(jī)上必須有所需數(shù)量的磁盤可用,以滿足此要求。如果虛擬機(jī)在策略中也規(guī)定了允許故障要求,則要求單獨(dú)的主機(jī)上含有附加磁盤,因?yàn)槊總€(gè)條帶組件都需要復(fù)制。設(shè)計(jì)和優(yōu)化指南在下面的截屏中,我們可以看到這樣的配置。條帶寬度要求為2障數(shù)為1磁盤盤上:請注意,HDD指的是容量設(shè)備。在混合配置中,這指的是磁盤。在全閃存配置中,這指的是閃存設(shè)備。磁盤性能-NLSAS、SAS或在混合模式下配置SANSAN設(shè)計(jì)SAN支持三種類型磁盤:串行連接SCSI(SAS)近線串行連接SCSI? 串行高級(jí)技術(shù)附件SAA)可被視為采用SAS接口的企業(yè)級(jí)驅(qū)動(dòng)器。使用SAS和磁盤應(yīng)當(dāng)只在以容量為中心且不優(yōu)先考慮性能的環(huán)境里使用。磁盤容量-NL-SAS、SAS或與SAS驅(qū)動(dòng)器可以為混合SAN配置提供更高的容量。根據(jù)目前適用于SAN的VCG,有驅(qū)動(dòng)器可用。在該指南編寫時(shí),SAS驅(qū)動(dòng)器的最大大小為容量層的性能之間做出取舍。如上文所述,盡管SAA可以提供更多的每驅(qū)動(dòng)器容量,但在注重性能的環(huán)境里,應(yīng)當(dāng)選擇SAS磁盤而不是往往成本較低,但無法提供SAS驅(qū)動(dòng)器通常以或更低的速度運(yùn)行。設(shè)計(jì)和優(yōu)化指南磁盤性能-RPMSAS15K允許設(shè)計(jì)師在配置混合SANSAS還是因?yàn)镾AS驅(qū)動(dòng)器的性能比好得多,所以要想在混合配置中的磁盤層獲得理想性能,應(yīng)當(dāng)認(rèn)真考慮更快的SAS驅(qū)動(dòng)器。緩存友好型工作負(fù)載不像緩存不友好型工作負(fù)載那樣對磁盤性能十分敏感。然而,由于應(yīng)用程序性能狀況可能會(huì)隨著時(shí)間推移而改變,保守估計(jì)所需磁盤驅(qū)動(dòng)器性能通常是一個(gè)好做法,因?yàn)?0K驅(qū)動(dòng)器是大多數(shù)工作負(fù)載組合的公認(rèn)標(biāo)準(zhǔn)。磁盤數(shù)量在混合配置中至關(guān)重要盡管擁有充足數(shù)量的閃存緩存很重要,但擁有充足的磁盤心軸同樣重要。在混合配置中,所有虛擬機(jī)寫入操作都保存到閃存,稍后,這些塊會(huì)轉(zhuǎn)儲(chǔ)到旋轉(zhuǎn)磁盤。擁有多個(gè)磁盤心軸可以加快轉(zhuǎn)儲(chǔ)過程。同樣,混合SAN配置預(yù)計(jì)實(shí)現(xiàn)90%的讀取緩存命中率。這意味著10%的讀取操作將未命中讀取緩存,此時(shí)這些塊必須從容量層的旋轉(zhuǎn)磁盤檢索。同樣,擁有多個(gè)磁盤心軸可以加速這些讀取操作。設(shè)計(jì)方案:磁盤數(shù)在混合配置中至關(guān)重要,因此,請明智地選擇磁盤數(shù)量。在混合配置中,采用更多、更小的磁盤通常比采用更少、更大的磁盤提供更好的性能。使用不同的磁盤型號(hào)/類型提供容量不建議在同一主機(jī)中以及在不同主機(jī)之間使用不同類型磁盤。這是因?yàn)?,組件性能取決于組件部署到哪種類型的磁盤,而使用不同類型磁盤有可能造成性能強(qiáng)烈建議在群集中的所有主機(jī)上使用統(tǒng)一的磁盤型號(hào)。設(shè)計(jì)方案:在群集中的所有節(jié)點(diǎn)之間選擇標(biāo)準(zhǔn)磁盤型號(hào)/類型。不要混合使用不同設(shè)計(jì)和優(yōu)化指南我需要多少容量?確定SAN設(shè)計(jì)所需的容量時(shí),必須要考慮“NumberOfFailuresToTolerate”策略設(shè)置,這十分重要。NumberOfFailuresToTolerate和創(chuàng)建的副本數(shù)量直接相關(guān)。例如,如果在虛擬機(jī)存儲(chǔ)策略中將NumberOfFailuresToTolerate設(shè)為1,則會(huì)在另一個(gè)主機(jī)上的容量層創(chuàng)建另一個(gè)VDK副本(兩個(gè)數(shù)據(jù)拷貝)。如果NumberOfFailuresToTolerate設(shè)為2,群集中會(huì)有兩個(gè)VMDK副本拷貝(三個(gè)數(shù)據(jù)拷貝)。SAN此外,對群集中的主機(jī)進(jìn)行線下維護(hù)時(shí),也可能需要虛擬機(jī)具備完整可用性。另一個(gè)基本問題是,設(shè)計(jì)方案是否應(yīng)當(dāng)允許SAN在維護(hù)過程中將組件遷移到群集中的其他地方并重新加以保護(hù)(或者在故障期間重新構(gòu)建組件)。如果主機(jī)據(jù)丟失,這一點(diǎn)需要予以高度重視。請注意,這僅在群集中的節(jié)點(diǎn)數(shù)量超過3個(gè)時(shí)可行。如果只是3SANSANSAN才能重新構(gòu)建組件并再次得到全面保護(hù)。如果群集包含32或64節(jié)點(diǎn)設(shè)置。設(shè)計(jì)方案:設(shè)計(jì)SAN容量時(shí),始終要將NumberOfFailuresToTolerate設(shè)置納入考慮范疇。設(shè)計(jì)方案:如果要求在故障之后重新構(gòu)建組件,則應(yīng)當(dāng)調(diào)整設(shè)計(jì)大小,確保有一臺(tái)主機(jī)具有充足容量,可以允許每次故障。為了在一次故障之后或維護(hù)期間重新構(gòu)建兩個(gè)完整主機(jī)的容量可用。設(shè)計(jì)和優(yōu)化指南建議在SAN數(shù)據(jù)存儲(chǔ)中留30%的可用容量。預(yù)留空間裕量的原因是,當(dāng)磁盤達(dá)到80%SAN開始自動(dòng)重新平衡,以致于在群集上生成重新構(gòu)建流量。如果可以,應(yīng)當(dāng)避免這種情況。理想情況下,我們希望配置比80%的閾值少30%的可用容量。當(dāng)然,如果需要,客戶可以預(yù)留更小的可用容量。然而,請注意,達(dá)到80%的閾SAN可能會(huì)利用循環(huán)回收保持群集平衡。最佳做法/設(shè)計(jì)建議:設(shè)計(jì)容量時(shí)預(yù)留30%的空間裕量。格式化開銷注意事項(xiàng)SAN數(shù)據(jù)存儲(chǔ)容量由群集中所有ESXi主機(jī)的設(shè)備容量層的聚合容量確定。在混合配置中,磁盤組包含一個(gè)基于閃存的設(shè)備、一個(gè)或多個(gè)聚合在一起的磁盤,但只有磁盤的可使用容量計(jì)入SAN數(shù)據(jù)存儲(chǔ)的總?cè)萘?。對于全閃存配置,計(jì)算SAN數(shù)據(jù)存儲(chǔ)容量時(shí),僅包含標(biāo)記為容量的閃存設(shè)備。磁盤組中的所有磁盤都使用磁盤上文件系統(tǒng)進(jìn)行格式化。如果磁盤上格式為版本1,格式化共占用每磁盤到的容量。在SAN中,管理員可以使用或中,磁盤上格式的格式化開銷保持不變,但磁盤上格式的開銷不同,通常是驅(qū)動(dòng)器容量的SAN容量要求時(shí)需要考慮這一點(diǎn)。下表提供了所需開銷的估算值。版本格式類型磁盤上版本開銷VMFS-L每磁盤VMFS-L每磁盤VirstoFS1%的物理磁盤容量SAN版本不支持格式僅在SAN版本上開銷非常依賴用戶數(shù)據(jù)在文件系統(tǒng)上的碎片化程度。在實(shí)踐中,我們發(fā)現(xiàn),元數(shù)據(jù)開銷通常少于1%的物理磁盤容量。設(shè)計(jì)方案:計(jì)算容量時(shí)包含格式化開銷。設(shè)計(jì)注意事項(xiàng):除了NumberOfFailuresToTolerate和格式化開銷以外,還需要考慮其他注意事項(xiàng)。這就包括是否計(jì)劃虛擬機(jī)快照。我們將在闡述一些設(shè)計(jì)示例時(shí)介建議在群集容量中預(yù)留大約30%的可用空間。設(shè)計(jì)和優(yōu)化指南在SAN版本中,管理員如果希望使用虛擬機(jī)快照,則需要像在VMFS或數(shù)據(jù)存儲(chǔ)上使用虛擬機(jī)快照一樣,考慮所有同樣的限制。根據(jù)知識(shí)庫文章建議單個(gè)快照的時(shí)間不要超過小時(shí),而且,盡管快照鏈支持32個(gè)快照,但建議僅在快照鏈中使用個(gè)快照。在SAN和磁盤上格式中,快照機(jī)制已得到大大加強(qiáng),使得虛擬機(jī)快SAN完全支持每個(gè)磁盤上格式VMDK使用32個(gè)快表現(xiàn)勝于以往版本,但依然需要考慮一些設(shè)計(jì)和優(yōu)化調(diào)整問題。為VSAN60混合配置確定緩存大小時(shí),設(shè)計(jì)必須考慮大量使用快照這一潛在使用情形。創(chuàng)建多個(gè)活動(dòng)快照會(huì)很快耗盡緩存資源,甚至有可能影響性能。將緩存優(yōu)化為10%的占用容量這一標(biāo)準(zhǔn)準(zhǔn)則可能需要調(diào)整至15%或以上,尤其是在需要大量使用快照的情形下。對于SAN全閃存配置,虛擬機(jī)快照對緩存的使用并不是問題。如果在SAN從版本升級(jí)到時(shí),磁盤上格式未升級(jí)到在知識(shí)庫文章1025279中的注意事項(xiàng)。設(shè)計(jì)注意事項(xiàng):如果在混合設(shè)計(jì)中大量使用虛擬機(jī)快照,請考慮將緩存容量比從10%增加到選擇存儲(chǔ)/O控制器兼容性指南列出的組件。請查閱VCG,確保支持您選擇的存儲(chǔ)控制器以及固態(tài)磁盤或PCe閃存設(shè)備。這里列出了一些存儲(chǔ)硬件的設(shè)計(jì)注意事項(xiàng)。多個(gè)控制器和擴(kuò)展器SAN支持每個(gè)ESXi主機(jī)使用多個(gè)控制器。每個(gè)主機(jī)的最大磁盤數(shù)為35(每磁盤組7個(gè)磁盤,每主機(jī)5個(gè)磁盤組)。有些控制器支持16個(gè)端口,因此一個(gè)控制器最多可以管理16個(gè)磁盤。使用最大磁盤數(shù)時(shí),在一個(gè)主機(jī)中使用兩個(gè)此類控制器即可以近似滿足要求。然而,有些控制器僅支持8個(gè)端口,因此,要管理最大磁盤數(shù),總共需要4或5個(gè)控制器。設(shè)計(jì)和優(yōu)化指南有時(shí),可以考慮使用SAS擴(kuò)展器,增加可使用單個(gè)存儲(chǔ)控制器配置的存儲(chǔ)設(shè)沒有對VSAN與SAS擴(kuò)展器配合使用的情形進(jìn)行全面測試,SAS擴(kuò)展器還可能會(huì)影響性能并增加對故障磁盤組的影響。多控制器與單控制器比較使用多控制器和單控制器配置ESXi主機(jī)的區(qū)別在于,前者有可能允許實(shí)現(xiàn)更高的性能,以及將控制器故障隔離到更小范圍的磁盤組。使用單控制器時(shí),主機(jī)中的所有設(shè)備都在同一控制器控制之下,即使主機(jī)上部署了多個(gè)磁盤組也是如此。因此,控制器故障會(huì)影響主機(jī)上的所有存儲(chǔ)。如果有多個(gè)控制器,則可以把部分設(shè)備放在一個(gè)控制器后面,把其他設(shè)備放在另一個(gè)控制器后面。此配置不僅能在單個(gè)控制器發(fā)生故障時(shí)減小故障域,也可以提高性能。設(shè)計(jì)方案:在每個(gè)主機(jī)上使用多個(gè)存儲(chǔ)控制器可以減小故障域,同時(shí)也能提高性能。存儲(chǔ)控制器隊(duì)列深度VCG針對存儲(chǔ)控制器列出了兩個(gè)重要項(xiàng)目,對此必須予以注意。第一個(gè)是“功能”,第二個(gè)是隊(duì)列深度。隊(duì)列深度十分重要,因?yàn)殛?duì)列深度很小的控制器已被觀察到存在問題。具體而言,當(dāng)SAN由于故障或進(jìn)入維護(hù)模式而需要重新構(gòu)建組件時(shí),隊(duì)列深度?。ú蛔?56)的控制器會(huì)影響虛擬機(jī)性能。設(shè)計(jì)方案:盡可能選擇隊(duì)列深度大的存儲(chǔ)控制器。盡管最小值為256,但建議在可行的情況下,選擇隊(duì)列深度更大的控制器。與直通比較第二個(gè)重要項(xiàng)是“功能”列,其中列出了SAN支持以何種方式將物理磁盤呈現(xiàn)給SAN。這其中有些條目涉及0和直通。直通意味著,此控制器支持把磁盤直接呈現(xiàn)給ESXi0指的是,每個(gè)磁盤都必須配置為0卷,才能讓ESXi主機(jī)看到它們。關(guān)于AD0,這里有一些額外的事項(xiàng)需要注意。例如,管理員可能不得不采取額外的手動(dòng)步驟來更換故障驅(qū)動(dòng)器。這些步驟包括重新構(gòu)建新0卷,而不能簡單地將替換用的空磁盤插入主機(jī)后讓SAN聲明它。設(shè)計(jì)和優(yōu)化指南設(shè)計(jì)方案:從操作角度來講,提供模式的存儲(chǔ)控制器的安裝和替換通常比直通驅(qū)動(dòng)器更耗時(shí)。存儲(chǔ)控制器緩存注意事項(xiàng)SAN已在存儲(chǔ)層上緩存數(shù)據(jù),因此無需在控制器層上再次執(zhí)行此操作。如果由于存儲(chǔ)控制器限制而無法禁用緩存,建議將緩存設(shè)為100%讀取。高級(jí)控制器功能有一項(xiàng)叫作Path的功能,LSI有一項(xiàng)叫作Fast建議,在SAN環(huán)境中使用控制器時(shí),請禁用所有高級(jí)功能。設(shè)計(jì)方案:選擇存儲(chǔ)控制器時(shí),請確認(rèn)它是否位于VCG中,并確保禁用了緩AD0和直通,請考慮使用直通,因?yàn)檫@種模式下更易于執(zhí)行磁盤更換等維護(hù)任務(wù)。磁盤組設(shè)計(jì)雖然SAN只要求群集中的每個(gè)主機(jī)至少有一個(gè)磁盤組提供存儲(chǔ)容量,但也可以考慮在每個(gè)主機(jī)上使用多個(gè)磁盤組。將磁盤組用作存儲(chǔ)故障域在SAN中,磁盤組可被視為存儲(chǔ)故障域。如果與磁盤組關(guān)聯(lián)的閃存緩存設(shè)備或存儲(chǔ)控制器發(fā)生故障,將影響同一磁盤組中貢獻(xiàn)容量的所有設(shè)備,乃至使用該存儲(chǔ)的所有虛擬機(jī)組件。駐留在該磁盤組中的所有組件將在群集中的其他位置重新構(gòu)建。這里假設(shè)有足夠的資源可用。組件位于其他主機(jī)或其他磁盤組或附加到不同存儲(chǔ)控制器的其他虛擬機(jī)不會(huì)受到影響。因此,如果使用包含大閃存設(shè)備和大容量的大型磁盤組,則可能意味著發(fā)生故障時(shí),需要重新構(gòu)建相當(dāng)多的數(shù)據(jù)。這種重新構(gòu)建流量會(huì)影響虛擬機(jī)流量的性能。重新構(gòu)建組件的時(shí)間也是一個(gè)問題,因?yàn)閾碛姓谥匦聵?gòu)建的組件的虛擬機(jī)有可能在此期間再次遭遇故障?;虼鎯?chǔ)設(shè)計(jì)和優(yōu)化指南通常,實(shí)施多個(gè)磁盤組的成本并不高。如果比較2個(gè)固態(tài)設(shè)備與1個(gè)固態(tài)設(shè)備的成本,價(jià)格往往不相上下。此外,還值得考慮的是,同一主機(jī)上兩個(gè)磁盤組中的兩個(gè)緩存設(shè)備可以比一個(gè)磁盤組中的一個(gè)緩存設(shè)備提供明顯更高的設(shè)計(jì)方案:多個(gè)磁盤組通常意味著更高的性能和更小的故障域,但有時(shí)會(huì)帶來一定成本,并且會(huì)占用額外的磁盤插槽。多磁盤組和3節(jié)點(diǎn)群集多磁盤組設(shè)計(jì)相比單磁盤組設(shè)計(jì)的另一個(gè)優(yōu)勢與3節(jié)點(diǎn)群集有關(guān)。如果3節(jié)點(diǎn)群集中每個(gè)主機(jī)只有一個(gè)磁盤組,當(dāng)其中一個(gè)閃存緩存設(shè)備發(fā)生故障時(shí),將無處重新構(gòu)建磁盤組中的組件。然而,如果每個(gè)主機(jī)有多個(gè)磁盤組,而且在某個(gè)閃存緩存設(shè)備發(fā)生故障時(shí)其他磁盤SAN將能夠在剩余磁盤組中重新構(gòu)建受影響的組件。這是在計(jì)劃部署3節(jié)點(diǎn)SAN群集時(shí)另一個(gè)需要注意的事項(xiàng)。使用小容量設(shè)備時(shí),如果部署具有較大VMDK的虛擬機(jī),VMDK對象可能會(huì)被拆分到多個(gè)磁盤上的多個(gè)組件,以容納較大的VMDK。為VMDK對象使用配置時(shí)便會(huì)出現(xiàn)這種情況。然而,當(dāng)SAN按這種方式拆分對象時(shí),多個(gè)組件可能駐留在同一物理磁盤上,而在策略中指定NumberOfDiskStripesPerObject時(shí),這種配置是不允許的。這不一定是問題,并且SAN能夠很好地處理這種情況。但是,在策略中未指定條帶寬度請求時(shí),它會(huì)造成對象為何被條帶化這一問題。非常大時(shí)的注意事項(xiàng)SAN現(xiàn)在支持的虛擬機(jī)磁盤大小。然而,應(yīng)當(dāng)考慮應(yīng)用程序是否真的需要這么大的SAN上的最大組件大小為255GB。創(chuàng)建很大的VMDK時(shí),對象將拆分(條帶化)為多個(gè)組件。這會(huì)導(dǎo)致組件數(shù)消耗得非???,尤其是在考慮NumberOfFailuresToTolerate時(shí)。NumberOfFailuresToTolerate=1時(shí),單個(gè)VMDK在群集中大約需要500個(gè)組件(盡管許多組件可以駐留在相同的物理設(shè)備上)。另一個(gè)注意事項(xiàng)是,盡管SAN在群集上的聚合空間也許能夠容納這么大的VMDK對象,但具體還得取決于此空間在哪里以及能否滿足虛擬機(jī)存儲(chǔ)策略中的要求。設(shè)計(jì)和優(yōu)化指南例如,在擁有可用空間的3節(jié)點(diǎn)群集中,您可能堅(jiān)信,這么大的空間應(yīng)該可以容納NumberOfFailuresToTolerate=1x=的VMDK。然而,如果主機(jī)1有可用空間,主機(jī)2有可用空間,且主機(jī)3有可用空間,那么此SAN無法滿足這種要求。SAN將立即在群集中的其他磁盤上重新構(gòu)建這些故障磁盤的組件,目標(biāo)是盡可能保持群集平衡。發(fā)生磁盤故障或閃存容量設(shè)備故障時(shí),組件可以在同一磁盤組中的容量設(shè)備上或在其他磁盤組上重建。SAN需要使用群集中的附加容量來重新構(gòu)建該磁盤組的所有組件。如果同一主機(jī)上有其他磁盤組,它可能嘗試使用這些磁盤組,但也會(huì)使用群集中其他主機(jī)上的磁盤組。同樣,這么做的目的是保持群集平衡。如果一個(gè)磁盤組發(fā)生故障,并且虛擬機(jī)占用了大量的磁盤空間,則需要找到大量備用容量來重新構(gòu)建組件,以便滿足虛擬機(jī)存儲(chǔ)策略中指定的要求。因?yàn)樽畛R姷墓收鲜侵鳈C(jī)故障,所以應(yīng)當(dāng)從容量角度調(diào)整主機(jī)大小。設(shè)計(jì)方案:VMware建議保留大約30%的可用容量,以避免產(chǎn)生不必要的重新構(gòu)個(gè)具有充足容量的主機(jī)。如果設(shè)計(jì)方案需要在多次故障之后重新構(gòu)建組件,則需要額外包含具有充足容量的主機(jī)。設(shè)備維護(hù)人機(jī)工程學(xué)是一個(gè)很重要的注意事項(xiàng)。一個(gè)注意事項(xiàng)是主機(jī)上的故障組件是否容易替換。關(guān)于主機(jī)有一個(gè)簡單的問題:磁盤托架是位于服務(wù)器正面,還是需要操作員將機(jī)箱滑出機(jī)架才能檢修。如果PCe設(shè)備需要替換,也需考慮類似的注意事項(xiàng)。SAN可以為管理員提供點(diǎn)亮驅(qū)動(dòng)器LED指示燈的功能,以方便找出故障驅(qū)動(dòng)器。將驅(qū)動(dòng)器放入服務(wù)器/機(jī)架后,可以通過UI(在版本6.0中包含磁盤撤出選項(xiàng))將驅(qū)動(dòng)器從磁盤組移除,然后將驅(qū)動(dòng)器彈出,用新驅(qū)動(dòng)器替換。某些控制器,尤其是在采用AD0模式而非直通模式時(shí),要求在彈出原始驅(qū)動(dòng)器和插入新驅(qū)動(dòng)器時(shí),通過額外步驟發(fā)現(xiàn)驅(qū)動(dòng)器。此操作需要盡可能無縫執(zhí)行,因此,很重要的一點(diǎn)就是要考慮為SAN設(shè)計(jì)和優(yōu)化指南設(shè)計(jì)時(shí)要避免耗盡容量建議統(tǒng)一配置SAN群集中的主機(jī)。這樣可以讓組件和對象平均分配到群集中的所有磁盤上。然而,群集有時(shí)也可能會(huì)變得不平衡,例如,在維護(hù)模式下需要完整撤出主機(jī),或者部署了過多虛擬機(jī)導(dǎo)致SAN數(shù)據(jù)存儲(chǔ)過載。如果容量層中的任何物理設(shè)備達(dá)到了全閾值的SAN將自動(dòng)實(shí)例化重新平衡過程,以便在群集中移動(dòng)組件,確保所有磁盤組保持在80%閾值以下。此過程可能要密集開展操作,并可能會(huì)在運(yùn)行重新平衡期間影響虛擬機(jī)最佳做法:請嘗試在群集中至少保留30%的可用容量,以便在發(fā)生故障或需要開展維護(hù)任務(wù)時(shí),為組件修復(fù)提供空間。此最佳做法也可以避免產(chǎn)生不必要的重新平衡活動(dòng)。存儲(chǔ)設(shè)計(jì)注意事項(xiàng)摘要? 考慮是全閃存解決方案更適合SAN設(shè)計(jì),還是混合解決方案更適合。盡管全閃存解決方案可能更昂貴,但可以提供更高的性能和低延遲? 確保在設(shè)計(jì)中使用的閃存設(shè)備的持久性符合要求? 請記住使用10%的閃存容量比,此要求同時(shí)適用于混合配置和全閃存配置花些時(shí)間確定容量層在一段時(shí)間后會(huì)變得多大,并使用提供的公式推算閃存緩存大小? 考慮是閃存設(shè)備還是SSD最適合設(shè)計(jì)方案? 確定閃存緩存的持久性要求以及全閃存解決方案設(shè)計(jì)的閃存容量要求? 確定適合混合解決方案設(shè)計(jì)的最佳磁盤? 確定容量層大小時(shí),記得將文件系統(tǒng)開銷包含在內(nèi)? 如果可以,考慮在每個(gè)主機(jī)上使用多個(gè)存儲(chǔ)控制器,以便提高性能,實(shí)現(xiàn)冗余。? 考慮直通相對于的優(yōu)勢,確??刂破髦С炙枘J? 禁用控制器上的緩存,或者如果不可行,將緩存設(shè)為100%讀取? 禁用存儲(chǔ)控制器的高級(jí)功能? 設(shè)計(jì)磁盤組時(shí),不僅將磁盤組視作故障域,還將其視作提高性能的方式? 考慮使用較小物理驅(qū)動(dòng)器時(shí)受到的限制? 考慮在SAN上部署很大的虛擬機(jī)磁盤時(shí)受到的限制? 設(shè)計(jì)一個(gè)具有充足容量的額外主機(jī),以便在磁盤故障時(shí)方便開展修復(fù)操作,從而可以在提供完整虛擬機(jī)可用性的同時(shí),容許群集中再次發(fā)生故障? 考慮有助于輕松替換故障組件的設(shè)計(jì)? 一般來說,目標(biāo)是保留大約30%的可用容量設(shè)計(jì)和優(yōu)化指南了解SAN中的虛擬機(jī)存儲(chǔ)策略機(jī)制非常重要。虛擬機(jī)存儲(chǔ)策略從可用性、優(yōu)化調(diào)整和性能角度,定義虛擬機(jī)中運(yùn)行的應(yīng)用程序的要求。對象與組件部署在SAN數(shù)據(jù)存儲(chǔ)上的虛擬機(jī)由一組對象構(gòu)成。它們分別是虛擬機(jī)主頁命名空間、VMDK、虛擬機(jī)交換(虛擬機(jī)開啟時(shí))以及使用快照時(shí)的增量VMDK和虛擬機(jī)內(nèi)存快照(作為快照的一部分捕獲時(shí)):每個(gè)對象都由一套組件構(gòu)成,這些組件由虛擬機(jī)存儲(chǔ)策略中的功能決定。例如,如果在虛擬機(jī)存儲(chǔ)策略中設(shè)置了NumberOfFailuresToTolerate=1,VMDK對象將被NumberOfDiskStripesPerObject設(shè)置為大于1,對象將跨多個(gè)磁盤進(jìn)行條帶化,且每個(gè)條帶都被稱為對象的組件。設(shè)計(jì)和優(yōu)化指南對于在SAN中創(chuàng)建的每個(gè)組件,元數(shù)據(jù)會(huì)占用額外的磁盤空間。在SAN中,如果在已升級(jí)到磁盤上格式的容量層上構(gòu)建組件,則會(huì)占用額外的磁盤空間。了解虛擬機(jī)、對象和組件之間的關(guān)系有助于了解各種SAN故障情形。設(shè)計(jì)注意事項(xiàng):實(shí)際上,在SAN上創(chuàng)建組件產(chǎn)生的元數(shù)據(jù)開銷微不足道,不需要計(jì)入總?cè)萘?。見證組件與副本在SAN版本中,只要對象配置為至少允許一次故障,見證組件便是每個(gè)存儲(chǔ)對象不可或缺的。它們是不包含數(shù)據(jù),只包含元數(shù)據(jù)的組件。它們的用途是在作出可用性決定時(shí)作為“仲裁者”,以滿足允許故障數(shù)策略設(shè)置的要求。它們用于確定群集中是否存在組件仲裁。見證組件在SAN數(shù)據(jù)存儲(chǔ)上占用大約的元數(shù)據(jù)空間。在SAN6.0以上的組件”。相反,在中,每個(gè)組件都有許多投票(可以是1票或更多票)。現(xiàn)在,仲裁根據(jù)“需要50%用見證組件,組件分布方式依然能讓SAN保證容許故障數(shù)。然而,在中,許多對象依然有見證組件。注意:在中,要想讓對象可以訪問,它的50%以上的組件必須可以訪問。在中,要想讓對象可以訪問,它的50%以上的投票必須可以訪問。設(shè)計(jì)注意事項(xiàng):實(shí)際上,在SAN上創(chuàng)建見證組件產(chǎn)生的開銷微不足道,不需要計(jì)入總?cè)萘?。虛擬機(jī)快照注意事項(xiàng)SAN具有全新快照格式。然而,這要求磁盤上格式為磁盤上格式依然為v1,舊快照機(jī)制(基于重做日志格式)會(huì)繼續(xù)用于虛擬機(jī)快照??煺仗幚矸绞桨l(fā)生的另一個(gè)重大變化與為正在運(yùn)行的虛擬機(jī)拍攝快照時(shí)的虛擬機(jī)內(nèi)存有關(guān)。在SAN中,拍攝快照時(shí),虛擬機(jī)內(nèi)存會(huì)另存為虛擬機(jī)主頁命名空間中的文件。在SAN中,虛擬機(jī)內(nèi)存現(xiàn)在會(huì)實(shí)例化為它在SAN數(shù)據(jù)存儲(chǔ)上的對象。設(shè)計(jì)和優(yōu)化指南設(shè)計(jì)注意事項(xiàng):如果需要使用虛擬機(jī)快照并在快照中捕獲虛擬機(jī)內(nèi)存,則確定SAN數(shù)據(jù)存儲(chǔ)大小時(shí),需要考慮虛擬機(jī)內(nèi)存快照大小。從查看對象布局Web提供了一種查看SAN使用策略設(shè)置=1和=2圖中列出了一個(gè)下一個(gè)截屏來自VMDK–硬盤1。它實(shí)施了條帶寬度0)和允許故障數(shù)1)要求??偣灿?個(gè)組件組成此對象,其中兩個(gè)組件被條帶化,然后鏡像到另一個(gè)雙向條帶。最后,此對象還包括用于仲裁決定的見證組件。設(shè)計(jì)和優(yōu)化指南注意:物理磁盤放置視圖的位置在版本和之間有所不同。在中,它位于“管理”選項(xiàng)卡下。在中,它位于“監(jiān)控”選項(xiàng)卡下。策略設(shè)計(jì)方案管理員必須了解這些存儲(chǔ)功能如何影響SANSAN中有5個(gè)虛擬機(jī)存儲(chǔ)策略要求。每對象/條帶寬度的磁盤條帶數(shù)NumberOfDiskStripesPerObject通常稱為條帶寬度,它是定義每個(gè)存儲(chǔ)對象副本SAN可以創(chuàng)建多于策略中指定數(shù)量的條帶。如果某些虛擬機(jī)是密集型的,而其他虛擬機(jī)不是,條帶化有助于提高性能。通過條帶化,虛擬機(jī)數(shù)據(jù)可以分布到更多驅(qū)動(dòng)器上,它們?nèi)加欣谔岣咛摂M機(jī)的總體存儲(chǔ)性能。在混合配置下,條帶化會(huì)跨磁盤進(jìn)行。在全閃存配置下,條帶化會(huì)跨構(gòu)成容量層的閃存設(shè)備進(jìn)行。然而,如果應(yīng)用程序不是特別密集地執(zhí)行操作,或者虛擬機(jī)的數(shù)據(jù)分布到忙于為其他密集型虛擬機(jī)服務(wù)的設(shè)備,條帶化可能不會(huì)提高性能。建議將條帶化保留為默認(rèn)值1,除非發(fā)現(xiàn)了可通過條帶化緩解的性能問題。條帶寬度默認(rèn)值為1,最大值為12。條帶寬度-優(yōu)化調(diào)整注意事項(xiàng)群集上是否有充足的物理設(shè)備來容納請求的條帶寬度,尤其是當(dāng)還要滿足NumberOfFailuresToTolerate值的要求的情況下。第二個(gè)注意事項(xiàng)是,為條帶寬度選擇的值是否要求使用大量的組件并占用主機(jī)組件數(shù)。在任何SAN設(shè)計(jì)中都應(yīng)考慮這兩個(gè)注意事項(xiàng),盡管考慮到中的最大組件數(shù)已增加并且采用磁盤上格式看到一些實(shí)際示例,它們將說明在設(shè)計(jì)SAN群集時(shí)如何考慮這些因素。閃存讀取緩存預(yù)留我們在前面提到了確定閃存緩存大小時(shí)應(yīng)遵循的10%規(guī)則。這些閃存緩存在混合配置中用作讀取緩存和寫入緩沖區(qū),在全閃存配置中僅用作寫入緩沖區(qū),并會(huì)在所有虛擬機(jī)之間均勻分布。然而,通過使用虛擬機(jī)存儲(chǔ)策略設(shè)置FlashReadCacheReservation,可以將部分讀取緩存專門用于一個(gè)或多個(gè)虛擬機(jī)。設(shè)計(jì)和優(yōu)化指南注意:此策略設(shè)置僅適用于混合配置。由于緩存機(jī)制的變更且全閃存配置中沒有讀取緩存,它不支持或不適用于全閃存配置。對于混合配置,此設(shè)置定義應(yīng)當(dāng)為存儲(chǔ)對象預(yù)留多少讀取閃存容量。它被指定為虛擬機(jī)磁盤對象邏輯大小的百分比。它只應(yīng)用于專門解決已發(fā)現(xiàn)的讀取性能問題。其他虛擬機(jī)對象不使用此預(yù)留的閃存緩存容量。建議不要更改閃存預(yù)留,除非發(fā)現(xiàn)了具體的性能問題。默認(rèn)值為與其他虛擬機(jī)共享讀取緩存。最大值為100%,意味著預(yù)留的讀取緩存數(shù)量與存儲(chǔ)對象(VMDK)大小相等。閃存讀取緩存預(yù)留-優(yōu)化調(diào)整注意事項(xiàng)在虛擬機(jī)存儲(chǔ)策略中設(shè)置讀取緩存預(yù)留要求時(shí)必須十分謹(jǐn)慎。在用戶看來很小的FlashReadCacheReservation值很容易就會(huì)耗盡所有SSD置備時(shí)(請注意,在虛擬機(jī)存儲(chǔ)策略術(shù)語中,精簡置備指的是對象空間預(yù)留)。閃存讀取緩存預(yù)留配置示例在此混合SAN示例中,客戶針對所有虛擬機(jī)磁盤,將虛擬機(jī)存儲(chǔ)策略FlashReadCacheReservation設(shè)為的閃存留給讀取緩存。通過精簡置備,客戶可以過量置備,擁有超過實(shí)際空間的邏輯地址空間。在本例中,客戶精簡置備了兩倍于物理空間的邏輯空間如果計(jì)算管理員請求的FlashReadCacheReservation并將其與主機(jī)上的可用總閃存讀取緩存進(jìn)行比較,可以發(fā)現(xiàn):o o 的10%的X的7%o 的200%的X的10%X的10%大于X的7%因此,如果使用精簡置備過量占用存儲(chǔ)空間,必須十分謹(jǐn)慎,確保不會(huì)給緩存預(yù)留設(shè)置造成負(fù)面影響。如果緩存預(yù)留耗盡所有讀取緩存,它會(huì)給性能造成負(fù)面影響。設(shè)計(jì)注意事項(xiàng):謹(jǐn)慎使用FlashReadCacheReservation。錯(cuò)誤配置或錯(cuò)誤計(jì)算會(huì)很容易向一些虛擬機(jī)過度分配讀取緩存,而讓其他虛擬機(jī)得不到足夠的讀取緩存。設(shè)計(jì)和優(yōu)化指南允許故障數(shù)NumberOfFailuresToTolerate策略設(shè)置是一個(gè)可應(yīng)用到所有虛擬機(jī)或各個(gè)VMDK的可用性功能。為SAN計(jì)劃和調(diào)整存儲(chǔ)容量大小時(shí),此策略發(fā)揮著重要作用。根據(jù)虛擬機(jī)的可用性要求,在虛擬機(jī)存儲(chǔ)策略中定義的設(shè)置會(huì)導(dǎo)致占用四倍的虛擬機(jī)容量。貢獻(xiàn)存儲(chǔ)。NumberOfFailuresToTolerate的默認(rèn)值為的最大值為3。注意:僅在VMDK小于16TB時(shí)適用。如果VMDK大于16TB,的最大值為1。SAN引入了故障域概念。它可以通過將數(shù)據(jù)的副本拷貝放在不同位置,使SAN不僅允許主機(jī)故障,還允許環(huán)境故障,例如機(jī)架、交換機(jī)和電源故細(xì)地討論故障域。允許故障數(shù)優(yōu)化調(diào)整注意事項(xiàng)例如,如果NumberOfFailuresToTolerate設(shè)為1,則在群集上為虛擬機(jī)或各個(gè)VMDK創(chuàng)建兩個(gè)副本鏡像拷貝。如果設(shè)為2,則創(chuàng)建三個(gè)鏡像拷貝;如果設(shè)為3,則創(chuàng)建四個(gè)拷貝。強(qiáng)制置備強(qiáng)制置備策略允許SAN在虛擬機(jī)初始部署期間違反NumberOfFailuresToTolerate(FTT)、NumberOfDiskStripesPerObject和FlashReadCacheReservation(FRCR)策略設(shè)置。SAN的位置,即將要求低到F0、、C。意味著VialSAN將創(chuàng)策略設(shè)置。SAN在為對象查找位置時(shí),不會(huì)僅僅降低無法滿足的要求。例如,如果對象要求SAN不會(huì)嘗試嘗試設(shè)計(jì)和優(yōu)化指南同樣,如果要求是SAN沒有足夠的容量設(shè)備容納SW=10,那么它將退回到FTT=0、SW=1,即便策略FTT=1、SW=1也許能成功。此外還有另一個(gè)注意事項(xiàng)。如果管理員沒有充分了解強(qiáng)制置備的行為,強(qiáng)制置備會(huì)造成容量問題。如果強(qiáng)制置備了若干虛擬機(jī),但由于缺乏資源,目前只有一個(gè)對象副本拷貝實(shí)現(xiàn)了實(shí)例化,那么隨著添加新主機(jī)或新磁盤,使得這些資源變得可用之SAN將立即代表虛擬機(jī)占用它們。使用此選項(xiàng)強(qiáng)制置備虛擬機(jī)的管理員需要注意,一旦附加資源在群集中變得可用,SAN可能會(huì)立即占用這些資源,以嘗試滿足虛擬機(jī)的策略設(shè)置。注意:另一個(gè)特別注意事項(xiàng)與在完整數(shù)據(jù)遷移模式下進(jìn)入維護(hù)模式以及通過版本求(因?yàn)槌跏挤胖没虿呗灾匦屡渲脽o法滿足策略要求),此類對象的“完整數(shù)據(jù)撤出”實(shí)際上會(huì)產(chǎn)生類似于“確保可訪問性”的行為,即,數(shù)據(jù)撤出將使得對象降低可用性,面臨更高的風(fēng)險(xiǎn)。這是使用強(qiáng)制置備時(shí)需要考慮的重要注意事項(xiàng),且僅適用于不符合要求的對象。最佳做法:添加新資源之前,核實(shí)任何虛擬機(jī)是否因缺乏資源而不符合要求。這將解釋為什么新資源會(huì)立即被SAN占用。此外,執(zhí)行完整數(shù)據(jù)遷移之前,核實(shí)是否有由于強(qiáng)制置備而不符合要求的虛擬機(jī)。對象空間預(yù)留管理員應(yīng)當(dāng)始終了解SAN上的存儲(chǔ)過度使用情況,就像需要監(jiān)控傳統(tǒng)SAN或陣列上的過度使用情況一樣。默認(rèn)情況下,部署在SAN上的虛擬機(jī)存儲(chǔ)對象采用精簡置備。ObjectSpaceReservation功能指定置備虛擬機(jī)時(shí)應(yīng)當(dāng)預(yù)留(厚置備)的存儲(chǔ)對象邏輯大小的百分比。存儲(chǔ)對象的剩余部分將保持精簡置備。默認(rèn)值為味著對象采用精簡置備。最大值為100%,意味著對象空間全部預(yù)留,可被視為完全采用厚置備。由于默認(rèn)值為SAN上的所有虛擬機(jī)都置備為精簡磁盤,除非在策略中明確指定ObjectSpaceReservation要求。如果指定ObjectSpaceReservation,則預(yù)留與該策略關(guān)聯(lián)的一部分存儲(chǔ)對象。SAN與延遲置零厚置備格式類似。設(shè)計(jì)和優(yōu)化指南許多保障措施可防止過度使用容量。例如,如果群集中所需數(shù)量的主機(jī)上沒有足夠的存儲(chǔ)容量來滿足副本或條帶寬度策略設(shè)置,將顯示以下警告信息。截屏來自上的視圖與此類似。設(shè)計(jì)注意事項(xiàng):盡管計(jì)算SAN數(shù)據(jù)存儲(chǔ)容量時(shí)要考慮副本創(chuàng)建情況,但在SAN上置備虛擬機(jī)時(shí),精簡置備過度使用應(yīng)計(jì)入優(yōu)化調(diào)整計(jì)算中。設(shè)計(jì)和優(yōu)化指南策略設(shè)計(jì)注意事項(xiàng)摘要? 應(yīng)考慮所有策略設(shè)置,也就是考慮此類策略所產(chǎn)生的組件數(shù)量。? 也許能(也可能不能)改善混合配置的性能;它對全閃存配置的影響很小。FlashReadCacheReservation應(yīng)當(dāng)謹(jǐn)慎使用,而且僅在已確定具體性能問題時(shí)使用。NumberOfFailuresToTolerate需要考慮隨著該策略設(shè)置的增加,有多少附加容量將被占用。配置NumberOfFailuresToTolerate時(shí),需要考慮貢獻(xiàn)存儲(chǔ)的主機(jī)的數(shù)量,而如果使用故障域,還要考慮包含貢獻(xiàn)存儲(chǔ)的主機(jī)的故障域的數(shù)量。? ForceProvisioning變得可用時(shí),這些虛擬機(jī)將占用它們,變得符合要求。? 采用強(qiáng)制置備的虛擬機(jī)會(huì)影響維護(hù)模式執(zhí)行完整數(shù)據(jù)遷移的方式,即使用“確??稍L問性”而非“完整數(shù)據(jù)遷移”。? 所有使用策略部署在SAN上的虛擬機(jī)將采用精簡置備。這可能使得管理員需要監(jiān)控過度使用情況。虛擬機(jī)在SANSAN會(huì)創(chuàng)建虛擬機(jī)命名空間(虛擬機(jī)主頁)對象。打開虛擬機(jī)電源時(shí),虛擬機(jī)交換對象也會(huì)實(shí)例化,同時(shí)虛擬機(jī)電源保持打開。虛擬機(jī)主頁命名空間和虛擬機(jī)交換都不從虛擬機(jī)存儲(chǔ)策略繼承所有設(shè)置。它們都有對SAN群集優(yōu)化調(diào)整意義重大的特殊策略設(shè)置。虛擬機(jī)主頁命名空間SAN上的虛擬機(jī)主頁命名空間是精簡置備對象。每個(gè)虛擬機(jī)都有自己的虛擬機(jī)主頁命名空間。如果將某些策略設(shè)置分配給虛擬機(jī)主頁命名空間,例如ObjectSpaceReservation和FlashReadCacheReservation,可能會(huì)不必要地浪費(fèi)許多存儲(chǔ)容量和閃存資源。虛擬機(jī)主頁命名空間不會(huì)從這些設(shè)置中受益。為此,虛擬機(jī)主頁命名空間會(huì)覆蓋用戶提供的虛擬機(jī)存儲(chǔ)策略的某些功能。每對象磁盤條帶數(shù):1閃存讀取緩存預(yù)留:0%允許故障數(shù):(繼承自策略)強(qiáng)制置備:(繼承自策略)對象空間預(yù)留:0%(精簡)設(shè)計(jì)和優(yōu)化指南虛擬機(jī)主頁命名空間具有以下特性。AD1是可用性功能。虛擬機(jī)主頁對象有一個(gè)鏡像副本,它由兩個(gè)副本組件構(gòu)成,表示虛擬機(jī)采用NumberOfFailuresToTolerate=1部署。虛擬機(jī)主頁會(huì)繼承此策略設(shè)置。組件分別位于不同主機(jī)上。發(fā)生(例如)網(wǎng)絡(luò)分區(qū)后,在SAN群集中作出可用性決定時(shí),見證組件用作“仲裁者”。見證組件與副本駐留在完全不同的主機(jī)上。這就是為何SAN至少需要三個(gè)帶有本地存儲(chǔ)的主機(jī)的原因。虛擬機(jī)主頁命名空間會(huì)繼承策略設(shè)置NumberOfFailuresToTolerate。這意味著,如果創(chuàng)建包含NumberOfFailuresToTolerate=2策略設(shè)置的策略,虛擬機(jī)主頁命名些設(shè)置。虛擬機(jī)交換虛擬機(jī)交換對象也有自己的默認(rèn)策略,也就是允許一次故障。它
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年上半年安徽宣城旌德招聘勞務(wù)派遣人員11人易考易錯(cuò)模擬試題(共500題)試卷后附參考答案
- 2025年上半年安慶太湖縣事業(yè)單位招考(75人)易考易錯(cuò)模擬試題(共500題)試卷后附參考答案
- 2025年上半年寧夏建設(shè)投資集團(tuán)限公司長期引進(jìn)85人易考易錯(cuò)模擬試題(共500題)試卷后附參考答案
- 2025年頭孢類抗菌藥物項(xiàng)目合作計(jì)劃書
- 浙江鴨2025版高考?xì)v史大三輪復(fù)習(xí)非選擇題專練三人民版
- 高中語文情感美文秋風(fēng)吹組詩
- 江蘇專用版2025版高考語文二輪復(fù)習(xí)題型研訓(xùn)五修辭精練含解析
- 2024江蘇無錫市錫州產(chǎn)城控股集團(tuán)有限公司招聘錄用筆試參考題庫附帶答案詳解
- 2024年安徽民航機(jī)場集團(tuán)有限公司招聘34人筆試參考題庫附帶答案詳解
- 共享單車運(yùn)營承包協(xié)議范本
- 神經(jīng)源性腸道康復(fù)護(hù)理
- 家政人員安全知識(shí)
- 四年級(jí)全一冊《勞動(dòng)與技術(shù)》第一單元活動(dòng)3《學(xué)習(xí)使用家用電器》課件
- S7-200SMART系統(tǒng)手冊(中文)
- 成交量的趨勢拐點(diǎn)-99%精準(zhǔn)的秘密買點(diǎn)
- 跨境車輛代購協(xié)議書
- 《骨髓穿刺術(shù)》課件
- 2025屆湖北省高中名校聯(lián)盟高三上學(xué)期11月第二次聯(lián)合測評(圓創(chuàng)聯(lián)盟)語文試題
- DB41T2689-2024水利工程施工圖設(shè)計(jì)文件編制規(guī)范
- 生日宴快閃開場模板6
- 責(zé)任護(hù)理組長競選
評論
0/150
提交評論