HCIP-Storage V5.0 學(xué)習(xí)指導(dǎo)HCIP-Storage V5.0 學(xué)習(xí)指導(dǎo)

DOCPROPERTY"Product&ProjectName"DOCPROPERTYDocumentName華為專有和保密信息版權(quán)所有?華為技術(shù)有限公司非經(jīng)本公司書(shū)面許可，任何單位和個(gè)人不得擅自摘抄、復(fù)制本文檔內(nèi)容的部分或全部，并不得以任何形式傳播。和其他華為商標(biāo)均為華為技術(shù)有限公司的商標(biāo)。本文檔提及的其他所有商標(biāo)或注冊(cè)商標(biāo)，由各自的所有人擁有。您購(gòu)買的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購(gòu)買或使用范圍之內(nèi)。除非合同另有約定，華為公司對(duì)本文檔內(nèi)容不做任何明示或暗示的聲明或保證。由于產(chǎn)品版本升級(jí)或其他原因，本文檔內(nèi)容會(huì)不定期進(jìn)行更新。除非另有約定，本文檔僅作為使用指導(dǎo)，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔(dān)保。華為技術(shù)有限公司地址：深圳市龍崗區(qū)坂田華為總部辦公樓郵編：518129網(wǎng)址：http://HCIP-Storage學(xué)習(xí)指導(dǎo)第151頁(yè)華為認(rèn)證體系介紹華為認(rèn)證是華為公司基于“平臺(tái)+生態(tài)”戰(zhàn)略，圍繞“云-管-端”協(xié)同的新ICT技術(shù)架構(gòu)，打造的ICT技術(shù)架構(gòu)認(rèn)證、平臺(tái)與服務(wù)認(rèn)證、行業(yè)ICT認(rèn)證三類認(rèn)證，是業(yè)界覆蓋ICT（InformationandCommunicationsTechnology信息通信技術(shù)）全技術(shù)領(lǐng)域的認(rèn)證體系。

根據(jù)ICT從業(yè)者的學(xué)習(xí)和進(jìn)階需求，華為認(rèn)證分為工程師級(jí)別、高級(jí)工程師級(jí)別和專家級(jí)別三個(gè)認(rèn)證等級(jí)。華為認(rèn)證覆蓋ICT全領(lǐng)域，符合ICT融合的技術(shù)趨勢(shì)，致力于提供領(lǐng)先的人才培養(yǎng)體系和認(rèn)證標(biāo)準(zhǔn)，培養(yǎng)數(shù)字化時(shí)代新型ICT人才，構(gòu)建良性ICT人才生態(tài)。HCIP-Storage（HuaweiCertifiedICTProfessional-Storage，華為認(rèn)證存儲(chǔ)高級(jí)工程師）主要面向華為內(nèi)部工程師，華為渠道工程師，高校學(xué)生，ICT從業(yè)人員。HCIP-StorageV5.0認(rèn)證在內(nèi)容上涵蓋存儲(chǔ)系統(tǒng)介紹、閃存存儲(chǔ)技術(shù)與應(yīng)用、分布式存儲(chǔ)技術(shù)與應(yīng)用、存儲(chǔ)規(guī)劃設(shè)計(jì)與實(shí)施、存儲(chǔ)運(yùn)維與故障處理等內(nèi)容。華為認(rèn)證協(xié)助您打開(kāi)行業(yè)之窗，開(kāi)啟改變之門，屹立在WLAN網(wǎng)絡(luò)世界的潮頭浪尖！

存儲(chǔ)系統(tǒng)介紹全閃存存儲(chǔ)介紹產(chǎn)品定位華為存儲(chǔ)可分為全閃存存儲(chǔ)、混合閃存存儲(chǔ)、分布式存儲(chǔ)。全閃存存儲(chǔ)：新一代的鯤鵬硬件平臺(tái)和SmartMatrix全互聯(lián)、端到端NVME架構(gòu)，多種高級(jí)保護(hù)技術(shù)，最高容忍控制器8壞7，支持FlashLink、RAID-TP等技術(shù)，智能芯片端到端加速?；旌祥W存存儲(chǔ)：全新硬件架構(gòu)，智能處理器，支持Scale-out靈活擴(kuò)展，閃存加速，控制器間負(fù)載均衡且互為熱備，故障無(wú)感知，高可靠性，支持SAN與NAS一體化，資源輕松管理。分布式存儲(chǔ)：提供塊存儲(chǔ)、HDFS、對(duì)象和文件存儲(chǔ)服務(wù)四合一，支持EC、FlashLink等特性；支持X86與鯤鵬處理器多平臺(tái)硬件共存，支持性能加速技術(shù)，I/O智能調(diào)度等。HuaweiOceanStor全閃存系列存儲(chǔ)系統(tǒng)是華為技術(shù)有限公司根據(jù)存儲(chǔ)產(chǎn)品應(yīng)用現(xiàn)狀和存儲(chǔ)技術(shù)未來(lái)發(fā)展趨勢(shì)，針對(duì)企業(yè)大中型數(shù)據(jù)中心，推出的新一代全閃存高端存儲(chǔ)系統(tǒng)，聚焦于大中型企業(yè)核心業(yè)務(wù)（企業(yè)級(jí)數(shù)據(jù)中心、虛擬數(shù)據(jù)中心以及云數(shù)據(jù)中心等），能夠滿足大中型數(shù)據(jù)中心高性能、高可靠、高效率的業(yè)務(wù)需求。HuaweiOceanStor全閃存系列存儲(chǔ)系統(tǒng)采用全新一代的SmartMatrix智能矩陣架構(gòu)，該架構(gòu)能實(shí)現(xiàn)業(yè)界唯一的控制框2壞1業(yè)務(wù)不中斷，控制器8壞7業(yè)務(wù)不中斷，能夠滿足大中型企業(yè)核心業(yè)務(wù)可靠性的要求。同時(shí)OceanStorDorado6800V6,Dorado18500V6,Dorado18800V6存儲(chǔ)系統(tǒng)由AI智能芯片加持，能夠滿足數(shù)據(jù)中心大型數(shù)據(jù)庫(kù)OLTP/OLAP（OnlineTransactionProcessing/OnlineAnalyticalProcessing）、高性能計(jì)算、數(shù)字媒體、Internet運(yùn)營(yíng)、集中存儲(chǔ)、備份、容災(zāi)和數(shù)據(jù)遷移等不同業(yè)務(wù)應(yīng)用的需求。HuaweiOceanStor全閃存系列存儲(chǔ)系統(tǒng)不但能夠?yàn)閿?shù)據(jù)中心提供性能出色的存儲(chǔ)服務(wù)。同時(shí)，提供各種完善的數(shù)據(jù)備份和容災(zāi)方案，保證數(shù)據(jù)業(yè)務(wù)順利、安全的運(yùn)行。除此之外，OceanStorDorado6800V6,Dorado18500V6,Dorado18800V6存儲(chǔ)系統(tǒng)還提供易于使用的管理方式和方便快捷的本地/遠(yuǎn)程維護(hù)方式，大大降低了設(shè)備管理和維護(hù)的成本。軟硬件架構(gòu)首先，我們介紹全閃存存儲(chǔ)的硬件架構(gòu)。控制框規(guī)格：電源支持100~240V交流，240V高壓直流；更換BBU會(huì)拔出電源；更換電源不需要拔出BBU接口類型：12GbSAS，32Gb/16Gb/8GbFC，25Gb/10GbEth，40bG/100GbEth，GE卡，Scale-Out接口模塊只能放置在2#槽位體系架構(gòu)PangeaV6ARM硬件平臺(tái)，硬件全自主可控CPU采用海思自研鯤鵬920系列-Kunpeng9202U盤控一體架構(gòu)支持25*2.5寸控制框、36*PALMNvme控制框Active-Active冗余雙控制器硬盤框控制框采用NVMe框，硬盤框則配套NVMe級(jí)聯(lián)框。采用SASSSD框，硬盤框則配套SASSSD框。硬盤框和入門級(jí)盤控一體框歸作為硬盤使用時(shí)按鈕功能無(wú)效，不支持按鈕上下電，由引擎下發(fā)上下電命令；智能硬盤框內(nèi)部，有ARMCPU,8G/16GB內(nèi)存，具有運(yùn)算能力，能夠?qū)崿F(xiàn)重構(gòu)的卸載。接著，我們介紹全閃存存儲(chǔ)的軟件架構(gòu)。華為全閃存存儲(chǔ)支持多種高級(jí)特性，如HyperSnap、HyperMetro、SmartQOS等。通過(guò)管理網(wǎng)口/串口可以被SmartKit、eService等維護(hù)終端軟件管理。通過(guò)iSCSI/FC通道被OceanStorBCManager、UltraPath等應(yīng)用服務(wù)器端軟件管理。OceanStorDorado6800V6,Dorado18500V6,Dorado18800V6存儲(chǔ)系統(tǒng)采用SmartMatrix全互聯(lián)均衡架構(gòu)，該架構(gòu)采用了具有高速、矩陣式全互聯(lián)無(wú)源背板，可以連接多個(gè)控制器節(jié)點(diǎn)，同時(shí)接口模塊（FC和后端級(jí)聯(lián)）采用全共享方式接入背板，允許主機(jī)從任意端口接入，直達(dá)任意控制器進(jìn)行處理。SmartMatrix全互聯(lián)均衡架構(gòu)允許控制節(jié)點(diǎn)之間緊密協(xié)調(diào)、簡(jiǎn)化軟件模型，實(shí)現(xiàn)Active-Active細(xì)粒度均衡、高效低時(shí)延和協(xié)同作業(yè)。前端全互聯(lián)高端使用共享前端接口卡，接口卡是插在控制框上，能被控制框內(nèi)的四個(gè)控制器同時(shí)訪問(wèn)；主機(jī)IO到達(dá)接口卡后，接口卡直接把IO分發(fā)到處理控制器。控制器全互聯(lián)控制框內(nèi)的控制器通過(guò)背板100GbRDMA進(jìn)行連接（只有5300是40GbRDMA）控制框內(nèi)控制器，及Scale-Out場(chǎng)景，兩兩控制器之間都有直連鏈路，無(wú)需轉(zhuǎn)發(fā)后端全互聯(lián)HuaweiOceanStorDorado6800/18500/18800V6支持后端共享卡，同一個(gè)智能硬盤框能夠連接到兩個(gè)控制框上，同時(shí)被8個(gè)控制器訪問(wèn)，再加上軟件持續(xù)鏡像技術(shù)，就實(shí)現(xiàn)了8壞7HuaweiOceanStorDorado5300/5500/5600V6不支持后端共享卡，同時(shí)考慮到盤控一體內(nèi)的盤只能被一個(gè)控制框訪問(wèn)，所以，硬盤框只能被一個(gè)控制框訪問(wèn)，不支持持續(xù)鏡像全均衡（A-A）架構(gòu)實(shí)現(xiàn)了整個(gè)存儲(chǔ)系統(tǒng)業(yè)務(wù)壓力的均衡分擔(dān)、數(shù)據(jù)的均衡分布，使得存儲(chǔ)資源規(guī)劃變得極為簡(jiǎn)單?？蛻糁恍枰P(guān)注存儲(chǔ)系統(tǒng)需要的總的存儲(chǔ)容量需求和性能需求，無(wú)需再關(guān)注容量和性能受存儲(chǔ)系統(tǒng)內(nèi)部分布的影響。LUN無(wú)歸屬，均衡打散：LUN的數(shù)據(jù)，按照64MB的粒度，劃分成Slice。每個(gè)Slice按照Hash（LUNID+LBA）的結(jié)果，分發(fā)到不同的Vnode（一個(gè)vnode就是一個(gè)CPU）上?？梢苑譃椋呵岸司馊A為主機(jī)多路徑，不同的Slice，選擇Vnode對(duì)應(yīng)的物理鏈路；前端共享卡，轉(zhuǎn)發(fā)到對(duì)應(yīng)的Vnode?？刂破鳎涸跊](méi)有主機(jī)多路徑及前端共享卡情況，及跨Slice的IO情況下，把IO轉(zhuǎn)發(fā)到對(duì)應(yīng)的Vnode。全局寫緩存均衡數(shù)據(jù)量是均衡的，數(shù)據(jù)熱點(diǎn)也是均衡的。全局存儲(chǔ)池均衡盤的利用率均衡，磨損和壽命是均衡的，數(shù)據(jù)分布是均衡的，熱點(diǎn)數(shù)據(jù)是均衡的。關(guān)鍵技術(shù)全閃存存儲(chǔ)的關(guān)鍵技術(shù)我們從高性能、高可靠、高安全三個(gè)維度進(jìn)行講解。高性能IO傳輸加速技術(shù)華為OceanStor全閃存系列支持端到端的NVMe，實(shí)現(xiàn)了高性能IO通道，包括：存儲(chǔ)與主機(jī)網(wǎng)絡(luò)支持NVMeoverFC，后續(xù)將擴(kuò)展到NVMeoverRoCEv2；存儲(chǔ)控制器與硬盤框連接網(wǎng)絡(luò)支持NVMeoverRoCEv2；NVMe是一種抽象協(xié)議層，旨在提供可靠的NVMe命令和數(shù)據(jù)傳輸。為了支持?jǐn)?shù)據(jù)中心的網(wǎng)絡(luò)存儲(chǔ)，通過(guò)NVMeoverFabric可以實(shí)現(xiàn)NVMe標(biāo)準(zhǔn)在多種網(wǎng)絡(luò)上的擴(kuò)展，達(dá)到降低存儲(chǔ)網(wǎng)絡(luò)協(xié)議棧處理開(kāi)銷并提供高并發(fā)低延時(shí)應(yīng)用，適應(yīng)SSD介質(zhì)驅(qū)動(dòng)的存儲(chǔ)架構(gòu)演進(jìn)。在端到端的NVMe高速通道上，華為采用自研ASIC接口模塊，自研ASICSSD盤/框設(shè)計(jì)，從協(xié)議解析、IO轉(zhuǎn)發(fā)、業(yè)務(wù)優(yōu)先、硬件加速等方面對(duì)NVMe進(jìn)行全面支持，為數(shù)據(jù)傳輸提供高速通道。自研ASIC接口模塊：TCP/IP協(xié)議棧處理直接卸載到接口卡，時(shí)延降低50%；芯片直接響應(yīng)主機(jī)，減少I/O交互次數(shù)；ASICIO均衡/分發(fā)；多隊(duì)列輪詢，免鎖。自研ASICSSD盤/框：讀優(yōu)先級(jí)技術(shù)，優(yōu)先執(zhí)行SSD上的讀請(qǐng)求，及時(shí)響應(yīng)主機(jī)；智能硬盤框配備CPU、內(nèi)存、硬件加速引擎，數(shù)據(jù)重構(gòu)卸載到智能硬盤框，降低時(shí)延；多隊(duì)列輪詢，免鎖。DTOE協(xié)議卸載技術(shù)傳統(tǒng)網(wǎng)卡：需要CPU處理每個(gè)MAC幀，需要CPU處理TCP/IP協(xié)議（checksum，擁塞控制等），CPU資源消耗嚴(yán)重。TOE：網(wǎng)卡卸載TCP/IP協(xié)議，系統(tǒng)僅關(guān)注處理真正的TCP數(shù)據(jù)流。仍然存在高延遲開(kāi)銷，如內(nèi)核中斷、鎖、系統(tǒng)調(diào)用和線程切換。DTOE優(yōu)點(diǎn)：每個(gè)TCP連接有單獨(dú)的硬件發(fā)送隊(duì)列，避免鎖開(kāi)銷；用戶態(tài)直接操作硬件隊(duì)列，避免上下文切換開(kāi)銷；采用輪訓(xùn)方式，更低的時(shí)延；更好的性能與可靠性。智能多級(jí)緩存技術(shù)DataIQ識(shí)別元數(shù)據(jù)和數(shù)據(jù)的冷熱情況，將LUN和POOL的元數(shù)據(jù)用DRAMCache進(jìn)行讀加速。文件系統(tǒng)元數(shù)據(jù)、數(shù)據(jù)采用兩級(jí)Cache加速，最熱部分采用DRAM進(jìn)行讀加速，次熱部分采用SCMCache進(jìn)行讀加速，文件系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)讀寫時(shí)延降低30%。SmartCache技術(shù)SmartCache是華為公司OceanStor企業(yè)統(tǒng)一存儲(chǔ)系列產(chǎn)品中推出的采用SSD作為介質(zhì)提供讀緩存的特性，基于華為新一代存儲(chǔ)操作系統(tǒng)OceanStorOS實(shí)現(xiàn)。存儲(chǔ)系統(tǒng)通過(guò)識(shí)別熱點(diǎn)數(shù)據(jù)，將訪問(wèn)頻繁的數(shù)據(jù)存入SmartCache中，以便下次讀訪問(wèn)可以在SmartCache中命中，從而提升整個(gè)系統(tǒng)的性能。元數(shù)據(jù)時(shí)鐘置換調(diào)度算法元數(shù)據(jù)資源統(tǒng)一采用時(shí)鐘輪轉(zhuǎn)緩存算法提升元數(shù)據(jù)命中率30%。時(shí)鐘輪轉(zhuǎn)緩存淘汰算法原理如下：緩存資源采用循環(huán)Buf進(jìn)行管理，設(shè)置兩個(gè)Buf游標(biāo)（分配游標(biāo)alloc、掃描游標(biāo)swept）；各子系統(tǒng)以Page粒度申請(qǐng)讀緩存插入到alloc位置，并根據(jù)命中率設(shè)置緩存Page的權(quán)重值；后臺(tái)回收任務(wù)基于緩存池利用率，觸發(fā)回收掃描，swept遍歷已申請(qǐng)Page并減其權(quán)重值，在Page權(quán)重值減為0時(shí)，觸發(fā)該P(yáng)age的淘汰。文件系統(tǒng)相關(guān)文件系統(tǒng)分發(fā)策略：創(chuàng)建目錄時(shí)選擇目錄歸屬FSP，文件歸屬默認(rèn)與目錄保持一致，根目錄歸屬FSP由FSID的HASH值決定。目錄歸屬FSP選擇有兩種模式：親和模式和均衡模式；親和模式即優(yōu)選客戶端接入控制器上工作的FSP；均衡模式即目錄按DHT均衡分布到所有控制器的FSP上。大目錄熱點(diǎn)文件場(chǎng)景，可選將文件分散到不同vNode的FSP上，提升大目錄性能。文件系統(tǒng)訪問(wèn)親和模式：主機(jī)Client通過(guò)IP訪問(wèn)控制器，其目錄/文件在本控制器親和處理。主機(jī)ClientX通過(guò)IP地址X與存儲(chǔ)控制器連接，Client創(chuàng)建的目錄/文件在接入控制器的vNode上均衡分布，同時(shí)相同IP創(chuàng)建的目錄/文件保持在本vNode的親和性，減少跨vNode或跨控制訪問(wèn)。不同vNode的容量相差5%以上時(shí)，會(huì)將新創(chuàng)建目錄均衡到其它vNode上，達(dá)成容量均衡。文件系統(tǒng)訪問(wèn)均衡模式：主機(jī)Client通過(guò)IP訪問(wèn)控制器，以目錄為粒度在多個(gè)控制器的vNode間均衡，100%發(fā)揮存儲(chǔ)性能。主機(jī)Client通過(guò)IP地址與存儲(chǔ)控制器連接，Client創(chuàng)建的目錄均衡分布在多個(gè)vNode上；文件跟著目錄也均衡到對(duì)應(yīng)的vNode上。FlashLink技術(shù)相關(guān)OceanStorDorado6800V6,Dorado18500V6,Dorado18800V6存儲(chǔ)系統(tǒng)采用專為閃存設(shè)計(jì)的FlashLink?技術(shù)，具備高IOPS（Input/OutputOperationsPerSecond）并發(fā)能力，同時(shí)保持穩(wěn)定的低時(shí)延。FlashLink?技術(shù)的核心是通過(guò)一系列針對(duì)閃存介質(zhì)的算法優(yōu)化技術(shù)，實(shí)現(xiàn)了控制器板載CPU和SSD板載專用CPU的聯(lián)動(dòng)，保障了SSD算法在不同CPU之間的協(xié)同，實(shí)現(xiàn)系統(tǒng)的高性能和高可靠。FlashLink?技術(shù)主要包含以下關(guān)鍵技術(shù)：眾核技術(shù)采用華為自研CPU，在同一個(gè)控制器內(nèi)實(shí)現(xiàn)了業(yè)界存儲(chǔ)產(chǎn)品最多的CPU數(shù)和CPU核數(shù)。通過(guò)智能眾核技術(shù)，實(shí)現(xiàn)了存儲(chǔ)設(shè)備性能隨著CPU數(shù)量和核數(shù)線性增加。業(yè)務(wù)在Vnode內(nèi)完成處理：主機(jī)IO請(qǐng)求根據(jù)智能分發(fā)算法，分發(fā)到VNode，業(yè)務(wù)會(huì)在VNode內(nèi)完成端到端處理。避免跨CPU節(jié)點(diǎn)的通信開(kāi)銷和跨CPU訪問(wèn)遠(yuǎn)端內(nèi)存的開(kāi)銷及CPU間的沖突，實(shí)現(xiàn)了性能隨CPU個(gè)數(shù)線性增長(zhǎng)業(yè)務(wù)分組：VNode內(nèi)部CPU包含的所有核，每個(gè)業(yè)務(wù)分組對(duì)應(yīng)一個(gè)CPU核分組。業(yè)務(wù)分組內(nèi)的CPU核只運(yùn)行對(duì)應(yīng)的業(yè)務(wù)代碼，不同的業(yè)務(wù)分組之間不相互干擾。通過(guò)業(yè)務(wù)分組，不同的業(yè)務(wù)隔離在不同核上運(yùn)行，避免了不同業(yè)務(wù)分組對(duì)CPU的爭(zhēng)搶和沖突核間免鎖：在業(yè)務(wù)分組內(nèi)部，每個(gè)核在處理業(yè)務(wù)邏輯時(shí)，使用獨(dú)立的數(shù)據(jù)組織結(jié)構(gòu)，避免同一個(gè)業(yè)務(wù)分組內(nèi)部的CPU訪問(wèn)同一個(gè)內(nèi)存結(jié)構(gòu)的沖突，實(shí)現(xiàn)CPU核間的免鎖2）大塊順序?qū)懡鉀Q問(wèn)題：SSD盤相對(duì)磁盤，F(xiàn)lash顆粒具有擦寫次數(shù)的限制。在傳統(tǒng)RAID的覆蓋寫的方式下，如果某塊盤上的數(shù)據(jù)成為了熱點(diǎn)，那么對(duì)這些數(shù)據(jù)的不斷改寫，就會(huì)導(dǎo)致對(duì)應(yīng)的Flash顆粒的擦寫次數(shù)很快的耗盡。ROW滿分條大塊順序?qū)懀罕P控配合，也是華為OceanStorDoradoV6的一大特點(diǎn)，F(xiàn)lashLink-ROW大塊順序?qū)憴C(jī)制，是指OceanStorDoradoV6基于自研SSD，控制器感知硬盤內(nèi)數(shù)據(jù)布局，從而把多段小塊離散寫，通過(guò)聚合成一個(gè)連續(xù)的大數(shù)據(jù)塊寫操作，順序?qū)懭隨SD。使得RAID5，RAID6和RAID-TP都只用做一次IO操作，不用產(chǎn)生小塊離散寫帶來(lái)的多次讀寫操作。在寫性能上RAID5，RAID6和RAID-TP性能相似，不再有明顯差異。3）冷熱數(shù)據(jù)分流識(shí)別系統(tǒng)中的冷熱數(shù)據(jù)，通過(guò)SSD盤和控制器的配合，提升垃圾回收的性能，減少盤內(nèi)SSD顆粒擦寫次數(shù)，延長(zhǎng)SSD盤的使用壽命。垃圾回收：在SSD的垃圾回收過(guò)程中，對(duì)于每次擦除的Block，SSD硬盤期望該Block中所有數(shù)據(jù)都是無(wú)效數(shù)據(jù)，這樣就可以直接擦除整個(gè)Block，而不用搬移有效數(shù)據(jù)，可以減少系統(tǒng)的寫放大。多流技術(shù)：不同修改頻率的數(shù)據(jù)寫到不同的SSDblock上，減少垃圾回收。數(shù)據(jù)與元數(shù)據(jù)分流：元數(shù)據(jù)修改頻率高，與數(shù)據(jù)寫到不同的SSD區(qū)域。新寫數(shù)據(jù)與垃圾回收數(shù)據(jù)分流：垃圾回收的數(shù)據(jù)與新寫的數(shù)據(jù)冷熱也不一樣，寫到不同的SSD區(qū)域。5）IO優(yōu)先級(jí)調(diào)整IO優(yōu)先級(jí)處理，針對(duì)不同的IO類型，進(jìn)行資源優(yōu)先級(jí)匹配，確保不同IO按照相應(yīng)的SLA得到處理。就如同高速公路，有內(nèi)外道以及緊急通道之分，確保不同類型的車輛均能快速通過(guò)。6）智能盤框采用最新一代自研智能硬盤框，硬盤框內(nèi)有CPU和內(nèi)存資源，能夠?qū)ΡP故障重構(gòu)等任務(wù)進(jìn)行卸載，減輕控制器的負(fù)載，實(shí)現(xiàn)在盤故障場(chǎng)景下，重構(gòu)對(duì)業(yè)務(wù)性能無(wú)影響。傳統(tǒng)硬盤框重構(gòu)過(guò)程：RAID6（21+2）為例。數(shù)據(jù)盤D1故障，控制器就需要把數(shù)據(jù)盤D2-D21，以及P列讀到控制器，再重新計(jì)算出D1。總共需要從盤上讀21個(gè)數(shù)據(jù)塊。再加上重構(gòu)計(jì)算，對(duì)控制器CPU開(kāi)銷較大。智能硬盤框的重構(gòu)：讀數(shù)據(jù)的命令分發(fā)到智能硬盤框中，智能硬盤框在本地讀數(shù)據(jù)，并用這些數(shù)據(jù)計(jì)算校驗(yàn)數(shù)據(jù)后，只需要將校驗(yàn)數(shù)據(jù)傳輸?shù)娇刂破?，大幅?jié)省網(wǎng)絡(luò)帶寬。存儲(chǔ)控制器任務(wù)卸載分擔(dān)：每個(gè)智能硬盤框內(nèi)有2個(gè)控制板，內(nèi)置鯤鵬芯片CPU和內(nèi)存資源。智能硬盤框從陣列控制器接管一些工作負(fù)載，把數(shù)據(jù)重構(gòu)的工作卸載到智能硬盤框上實(shí)現(xiàn)。7）智能（AI）技術(shù)華為OceanStor全閃存系列在智能AI方面也引入了AI智能芯片，我們?cè)诖鎯?chǔ)設(shè)備端放置一顆華為昇騰310AI芯片，它可以實(shí)現(xiàn)存儲(chǔ)的自我加速，可以讓存儲(chǔ)具備較高算力。Ascend310是一款高能效、靈活可編程的人工智能處理器，支持多種數(shù)據(jù)精度，能夠同時(shí)支持訓(xùn)練和推理兩種場(chǎng)景的應(yīng)用。Ascend310兼顧AI算力提升與能效平衡，能夠?qū)崿F(xiàn)機(jī)器學(xué)習(xí)，對(duì)海量數(shù)據(jù)模型進(jìn)行數(shù)據(jù)分析，如數(shù)據(jù)冷熱、健康分析、數(shù)據(jù)關(guān)聯(lián)等，最終學(xué)習(xí)建模完成智能分析，實(shí)現(xiàn)智能Cache、智能Qos、智能Dedupe等功能。高可靠接著，我們介紹高可靠方面的技術(shù)。OceanStorDorado6800V6,Dorado18500V6,Dorado18800V6存儲(chǔ)系統(tǒng)對(duì)部件失效和設(shè)備斷電均有保護(hù)措施，同時(shí)在降低硬盤故障和數(shù)據(jù)丟失風(fēng)險(xiǎn)方面也采用了先進(jìn)的技術(shù)，保障了系統(tǒng)的高可靠性。同時(shí)存儲(chǔ)系統(tǒng)提供了多種高級(jí)數(shù)據(jù)保護(hù)技術(shù)，即使在毀滅性的災(zāi)難下，也能夠保障數(shù)據(jù)安全，從而使業(yè)務(wù)正常持續(xù)運(yùn)行。高可靠性架構(gòu)容忍2控同時(shí)失效：全局緩存跨引擎支持3副本技術(shù)；雙控同時(shí)故障，至少保證1個(gè)緩存副本可用；單引擎3副本技術(shù)，可容忍2控同時(shí)故障。容忍單引擎失效：全局緩存跨引擎支持3副本技術(shù)；1個(gè)智能框通過(guò)后端共享模塊接入8控（2引擎）；一個(gè)引擎故障，至少保證1個(gè)緩存副本可用。容忍7控相繼失效：全局緩存提供持續(xù)鏡像技術(shù)；8控（2引擎），可容忍7個(gè)控制器相繼故障。單控制器故障業(yè)務(wù)不中斷主機(jī)與普通以太端口一樣：?jiǎn)挝锢矶丝趩挝锢礞溌?；單端口單個(gè)Mac地址。內(nèi)部鏈路虛擬出本地邏輯端口：4個(gè)內(nèi)部鏈路，連接到引擎內(nèi)每個(gè)控制器；每個(gè)控制器產(chǎn)生本地邏輯端口。IP地址配置在內(nèi)部邏輯端口：IP地址配置在控制器的邏輯端口；主機(jī)與本地邏輯端口建立IP連接。控制器故障IP地址自動(dòng)漂移：控制器故障對(duì)應(yīng)邏輯端口Down；IP地址自動(dòng)漂移到其它控制器的邏輯端口。單鏈路在線升級(jí)業(yè)務(wù)不中斷過(guò)程如下：IO處理進(jìn)程升級(jí)時(shí)間<1.5s，與主機(jī)重新建立連接<3.5s，業(yè)務(wù)歸零時(shí)間<5s。SMB高級(jí)特性SMB（ServerMessageBlock）協(xié)議是一個(gè)網(wǎng)絡(luò)文件訪問(wèn)協(xié)議，使本機(jī)程序可以訪問(wèn)局域網(wǎng)內(nèi)計(jì)算機(jī)上的文件并請(qǐng)求此計(jì)算機(jī)的服務(wù)。CIFS是SMB的一個(gè)公共版本。協(xié)議文件句柄用途SMB2.0DurableHandel協(xié)議定義用于防鏈路閃斷的文件句柄SMB3.0PersistenceHandel協(xié)議定義用于Failover的文件句柄SMB2.0實(shí)現(xiàn)Failover原理：將SMB2.0DurableHandel利用SmartMatrix技術(shù)將句柄在多控間持續(xù)鏡像。當(dāng)控制器或接口卡故障時(shí)，系統(tǒng)進(jìn)行NAS邏輯端口透明遷移。當(dāng)主機(jī)從新的控制器來(lái)恢復(fù)SMB2.0業(yè)務(wù)時(shí)，該控制器會(huì)從DurableHandel的句柄備份控制器去獲取句柄，從而保證業(yè)務(wù)連續(xù)性。SMB3.0實(shí)現(xiàn)Failover原理：將SMB3.0PersisteceHandel利用SmartMatrix技術(shù)將句柄在多控間持續(xù)鏡像。當(dāng)控制器或接口卡故障時(shí)，系統(tǒng)進(jìn)行NAS邏輯端口透明遷移。主機(jī)基于SMB3.0Failover標(biāo)準(zhǔn)來(lái)恢復(fù)句柄時(shí)，將句柄備份控制器上的PersistenceHandel恢復(fù)到指定控制器。漂移組存儲(chǔ)系統(tǒng)上可用于IP漂移的端口組合。漂移組包括系統(tǒng)默認(rèn)漂移組、VLAN漂移組和用戶自定義漂移組。故障回切支持手工和自動(dòng)回切，主用端口開(kāi)始自動(dòng)回切到恢復(fù)正常大概5秒鐘。系統(tǒng)默認(rèn)漂移組：當(dāng)LIF故障時(shí)，存儲(chǔ)在對(duì)端控制器上找到有相同位置、類型（物理/綁定）、速率（GE/10GE）、MTU的端口，并漂移過(guò)去。如果這個(gè)端口又故障了，存儲(chǔ)會(huì)按此原則在另外一個(gè)控制器上找到合適的端口。在對(duì)稱組網(wǎng)中，只需在創(chuàng)建LIF的時(shí)候選擇該漂移組。VLAN漂移組：創(chuàng)建VLAN端口時(shí)，系統(tǒng)自動(dòng)創(chuàng)建VLAN漂移組。當(dāng)LIF故障時(shí)，存儲(chǔ)會(huì)漂移到漂移組中有著相同tag和MTU且狀態(tài)正常的VLAN端口。當(dāng)使用VLAN組網(wǎng)時(shí)，更容易部署LIF，使用該漂移組。用戶自定義漂移組：當(dāng)用戶想要自定義故障切換策略時(shí)，可以創(chuàng)建該組并指定使用的LIF。當(dāng)LIF故障時(shí)，系統(tǒng)會(huì)根據(jù)之前指定的組成員找到合適的故障切換目標(biāo)端口。數(shù)據(jù)可靠性解決方案目錄元數(shù)據(jù)雙映射冗余：目錄及inode作為文件系統(tǒng)的核心元數(shù)據(jù)，在DoradoNAS中采用了邏輯雙映射冗余設(shè)計(jì)，其中一份損壞時(shí)，可以通過(guò)邏輯冗余進(jìn)行恢復(fù)快照數(shù)據(jù)冗余：文件系統(tǒng)數(shù)據(jù)通過(guò)本地快照冗余，在出現(xiàn)數(shù)據(jù)損壞時(shí)，可以拷貝快照中的數(shù)據(jù)進(jìn)行恢復(fù)存盤數(shù)據(jù)冗余：存儲(chǔ)于本地盤上的數(shù)據(jù)通過(guò)RAID2.0+冗余存放，多盤相繼或多時(shí)故障用戶數(shù)據(jù)不丟失；數(shù)據(jù)損壞不超過(guò)冗余的情況下，自動(dòng)基于RAID進(jìn)行修復(fù)站點(diǎn)間數(shù)據(jù)冗余：通過(guò)站點(diǎn)間數(shù)據(jù)冗余方案，本地站點(diǎn)數(shù)據(jù)損壞時(shí)，可從遠(yuǎn)端站點(diǎn)恢復(fù)數(shù)據(jù)到本站點(diǎn)進(jìn)行修復(fù)高安全硬件可信安全啟動(dòng)安全啟動(dòng)思想：建立硬件信任根（不可篡改），從信任根開(kāi)始，一級(jí)認(rèn)證一級(jí)，建立信任鏈，把信任擴(kuò)展到整個(gè)系統(tǒng)，實(shí)現(xiàn)系統(tǒng)行為可預(yù)期。華為OceanStor全閃存系列基于硬件可信根構(gòu)建安全啟動(dòng)，保證啟動(dòng)過(guò)程加載的軟件沒(méi)有遭到黑客或者惡意軟件篡改。安全啟動(dòng)的軟件驗(yàn)證、加載過(guò)程：驗(yàn)證Gurb的簽名公鑰：BootROM驗(yàn)證Grub簽名公鑰完整性；如果驗(yàn)證不通過(guò)，啟動(dòng)過(guò)程中止；驗(yàn)證并加載Grub：BootROM驗(yàn)證Grub簽名；驗(yàn)證通過(guò)后加載Grub；如果驗(yàn)證不通過(guò)，啟動(dòng)過(guò)程中止；驗(yàn)證軟件簽名證書(shū)狀態(tài)：Grub根據(jù)證書(shū)注銷列表驗(yàn)證軟件簽名證書(shū)的狀態(tài)。如果證書(shū)無(wú)效，啟動(dòng)過(guò)程中止；驗(yàn)證并加載OS：Grub驗(yàn)證OS的簽名。驗(yàn)證通過(guò)后加載OS；如果驗(yàn)證不通過(guò)，啟動(dòng)過(guò)程中止?；诮巧珯?quán)限管理預(yù)置默認(rèn)角色：系統(tǒng)預(yù)置系統(tǒng)管理用戶和租戶管理用戶的默認(rèn)值角色。系統(tǒng)管理用戶默認(rèn)角色超級(jí)管理員super_administrator管理員administrator安全管理員securtity_administratorSAN管理員san_administratorNAS管理員nas_administrator數(shù)據(jù)保護(hù)管理員dataProtection_administrator網(wǎng)絡(luò)管理員network_administrator租戶管理用戶角色租戶管理員vStore_adminsitrator租戶數(shù)據(jù)保護(hù)管理員vStore_dataProtection租戶協(xié)議管理員vStore_protocol自定義角色：支持用戶依據(jù)自己場(chǎng)景自定義角色。用戶自定義角色時(shí)可以選擇多個(gè)功能，每個(gè)功能可以選擇多個(gè)對(duì)象。自定義角色支持刪除和修改。安全日志審計(jì)本地日志審計(jì)實(shí)現(xiàn)原理：用戶可指定開(kāi)啟審計(jì)的文件系統(tǒng)，以及需要審計(jì)的文件操作(如：create/delete/rename/modify/chmod等等)；采用審計(jì)日志和讀寫IO在同一流程中完成處理，確保IO和日志同時(shí)記錄；審計(jì)日志會(huì)先以元數(shù)據(jù)格式存放在每個(gè)文件系統(tǒng)內(nèi)置的Audit-Dtree目錄中，保證IO讀寫的性能；日志元數(shù)據(jù)(*.bin)會(huì)在后臺(tái)被系統(tǒng)轉(zhuǎn)換為可讀寫的*.xml格式；Xml格式的審計(jì)日志存放在每個(gè)租戶vStore的Audit-Log-FS文件系統(tǒng)中；通過(guò)異步復(fù)制可以將日志審計(jì)數(shù)據(jù)進(jìn)行容災(zāi)。應(yīng)用場(chǎng)景存儲(chǔ)虛擬化應(yīng)用場(chǎng)景：OceanStorDoradoV6系列存儲(chǔ)系統(tǒng)集成了服務(wù)器虛擬化的優(yōu)化技術(shù)，如VAAI（vStorageAPIsforArrayIntegration）、VASA（vStorageAPIsforStorageAwareness）、SRM（SiteRecoveryManager）等，并通過(guò)諸多關(guān)鍵技術(shù)實(shí)現(xiàn)虛擬機(jī)部署效率、虛擬機(jī)承載能力、虛擬機(jī)運(yùn)行效率的提升，以及虛擬環(huán)境存儲(chǔ)管理的簡(jiǎn)化等，從容應(yīng)對(duì)虛擬環(huán)境存儲(chǔ)?？鐓f(xié)議訪問(wèn)應(yīng)用場(chǎng)景：存儲(chǔ)系統(tǒng)支持對(duì)一個(gè)文件系統(tǒng)同時(shí)設(shè)置NFS共享和CIFS共享。當(dāng)系統(tǒng)中既有比如SMB業(yè)務(wù)，也有NFS業(yè)務(wù)，OceanStorDorado系列存儲(chǔ)能夠同時(shí)支持?；旌祥W存存儲(chǔ)介紹產(chǎn)品定位隨著社會(huì)的進(jìn)步和業(yè)務(wù)的發(fā)展，不斷增加、累積的業(yè)務(wù)數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)提出了更高的要求。但傳統(tǒng)的存儲(chǔ)系統(tǒng)無(wú)法跟上數(shù)據(jù)增長(zhǎng)的步伐，出現(xiàn)諸如存儲(chǔ)性能瓶頸；存儲(chǔ)效能不能隨業(yè)務(wù)靈活擴(kuò)展；大量多類型設(shè)備管理復(fù)雜；IT設(shè)備更新?lián)Q代快，舊設(shè)備難以有效利用等問(wèn)題，使存儲(chǔ)系統(tǒng)的運(yùn)維成本占TCO（TotalCostofOwnership）的比例越來(lái)越大。為了解決這些問(wèn)題，華為推出了華為OceanStor混合閃存系列存儲(chǔ)。存儲(chǔ)系統(tǒng)在實(shí)現(xiàn)了文件系統(tǒng)級(jí)和塊級(jí)數(shù)據(jù)、存儲(chǔ)協(xié)議融合統(tǒng)一的基礎(chǔ)上，以業(yè)界領(lǐng)先的性能、多種效率提升機(jī)制為支撐，為用戶提供了高性能、全方位的解決方案，使用戶投資收益比最大化，能夠滿足大型數(shù)據(jù)庫(kù)OLTP/OLAP、高性能計(jì)算、數(shù)字媒體、Internet運(yùn)營(yíng)、集中存儲(chǔ)、備份、容災(zāi)和數(shù)據(jù)遷移等不同業(yè)務(wù)應(yīng)用的需求。華為OceanStor混合閃存系列存儲(chǔ)具有高規(guī)格的硬件結(jié)構(gòu)，塊和文件一體化的軟件架構(gòu)，結(jié)合多種高級(jí)數(shù)據(jù)應(yīng)用和數(shù)據(jù)保護(hù)技術(shù)，使存儲(chǔ)系統(tǒng)具有高性能、高可擴(kuò)展性、高可靠性和高可用性等特點(diǎn)，滿足大中型企業(yè)對(duì)存儲(chǔ)產(chǎn)品的各種要求。全新架構(gòu)：最新一代的多核CPU，SmartMatrix3.0架構(gòu)，可擴(kuò)展至32控與192PB全閃存容量，性能線性增長(zhǎng)。極致融合：支持SAN與NAS一體化，兼容SAN和NAS兩種制式，滿足業(yè)務(wù)彈性發(fā)展，簡(jiǎn)化業(yè)務(wù)部署，提升存儲(chǔ)資源利用率，有效降低TCO。卓越性能：基于閃存優(yōu)化技術(shù)，將SSD發(fā)揮極致性能，支持在線重刪壓縮，控制器間負(fù)載均衡互為熱備，可靠性更高，資源集中存儲(chǔ)，輕松管理。軟硬件架構(gòu)硬件架構(gòu)由于采用了7nm工藝的高性能低功耗ARM處理器，使得存儲(chǔ)PCB板設(shè)計(jì)更加簡(jiǎn)潔，內(nèi)部空間占用更小，并且ARM相對(duì)功耗較低，使得散熱效果更好。因此我們可以進(jìn)一步壓縮存儲(chǔ)設(shè)備的硬件設(shè)計(jì)，為客戶節(jié)省占地、電能，提供更多的擴(kuò)展接口。芯系列的變化如下：CPU及控制模塊切換為Kunpeng自研架構(gòu)；板載風(fēng)扇模塊，BBU模塊更??；可熱拔插接口卡數(shù)量增加2片，接口類型暫不支持FCoE及IB）；后端硬盤框接口支持SAS3.0以及自研RDMA高速接口。登錄/enterprise網(wǎng)站獲取產(chǎn)品文檔。按照“產(chǎn)品文檔->基本信息->產(chǎn)品描述->硬件架構(gòu)”的路徑可以查看對(duì)應(yīng)存儲(chǔ)產(chǎn)品的硬件架構(gòu)，如控制框、硬盤框、接口模塊等等。軟件架構(gòu)對(duì)于混合閃存存儲(chǔ)而言，NAS和SAN的軟件協(xié)議棧完全并行，NAS和SAN在資源分配和管理平面上融合。1）SmartMatrix3.0業(yè)務(wù)全均衡：該架構(gòu)具備全交換、全虛擬化、全冗余、固有負(fù)載均衡等特點(diǎn)，結(jié)合端到端數(shù)據(jù)完整性（End-to-endDataIntegrity）、內(nèi)存ECC（ErrorCheckingandCorrecting）和傳輸通道CRC（CyclicRedundancyCheck）等技術(shù)，提供存儲(chǔ)系統(tǒng)性能線性增長(zhǎng)、最大的擴(kuò)展性、7×24小時(shí)高可用性以及高系統(tǒng)安全性，能全面滿足大中型數(shù)據(jù)中心關(guān)鍵業(yè)務(wù)的需求。2）前后端全共享架構(gòu)：前后端全共享卡，配合SmartMatrix特性，可平衡多控之間的數(shù)據(jù)流動(dòng)，壓力均衡。新一代高端硬件的接口卡是全共享的，取消了上一代的大卡設(shè)計(jì)，部署更靈活方便，帶寬更高。4控全互聯(lián)：FC前端卡、后端卡、控制器全互聯(lián)，前端后端IO均不轉(zhuǎn)發(fā)。單鏈路升級(jí)：主機(jī)連接單個(gè)控制器場(chǎng)景下，控制器升級(jí)接口卡自動(dòng)轉(zhuǎn)發(fā)IO到其他控制器，主機(jī)無(wú)感知。復(fù)位不斷連接：控制器復(fù)位/故障時(shí)，接口卡自動(dòng)轉(zhuǎn)發(fā)IO到其他控制器，主機(jī)無(wú)感知。多控冗余：控制器支持4壞3。新一代保電技術(shù)：控制器內(nèi)置BBU，控制器拔出仍可保電刷Cache到系統(tǒng)盤，多控同時(shí)拔出數(shù)據(jù)不丟失。3）控制器故障無(wú)感知。端口：每個(gè)前端端口統(tǒng)一為主機(jī)提供1個(gè)FC會(huì)話，主機(jī)從每個(gè)存儲(chǔ)端口只看到1個(gè)FC會(huì)話和WWN。芯片：4個(gè)內(nèi)部鏈路，連接到引擎內(nèi)每個(gè)控制器，一個(gè)引擎內(nèi)每個(gè)控制器都與主機(jī)建立本控的FC會(huì)話。前端共享卡，它用以實(shí)現(xiàn)前端鏈路和存儲(chǔ)所有控制器的全互聯(lián)，保障任意控制器故障時(shí)前端鏈路不中斷，控制器故障對(duì)主機(jī)“透明”。我們一起看前端共享卡是如何工作的：主機(jī)上看：每個(gè)前端端口統(tǒng)一為主機(jī)提供1個(gè)FC會(huì)話，主機(jī)從每個(gè)存儲(chǔ)端口只看到1個(gè)FC會(huì)話和WWN。陣列內(nèi)部看：4個(gè)內(nèi)部鏈路，連接到引擎內(nèi)每個(gè)控制器；一個(gè)引擎內(nèi)每個(gè)控制器都與主機(jī)建立本控的FC會(huì)話。控制器故障：引擎內(nèi)任一控制器故障，故障控制器的I/O被前端接口芯片重定向到其它控制器；主機(jī)無(wú)感知，F(xiàn)C鏈路一直保持up，業(yè)務(wù)正常運(yùn)行，無(wú)任何告警/事件。關(guān)鍵技術(shù)華為混合閃存存儲(chǔ)支持SAN與NAS并行訪問(wèn)，為不同業(yè)務(wù)提供最優(yōu)訪問(wèn)路徑，訪問(wèn)性能最優(yōu)。塊和文件一體化，無(wú)需額外購(gòu)買NAS網(wǎng)關(guān)，降低購(gòu)置成本?？梢詰?yīng)用在政府、交通、金融、運(yùn)營(yíng)商等行業(yè)，諸如數(shù)據(jù)庫(kù)、視頻監(jiān)控、VDI虛擬桌面等場(chǎng)景。SAN及NAS智能分級(jí)技術(shù)在整個(gè)數(shù)據(jù)的生命中期中，會(huì)逐漸從熱數(shù)據(jù)變?yōu)槔鋽?shù)據(jù)，如果變冷的數(shù)據(jù)長(zhǎng)期占用Cache或者SSD這類快速的設(shè)備，不僅會(huì)浪費(fèi)寶貴的資源，還會(huì)影響存儲(chǔ)系統(tǒng)長(zhǎng)期的性能表現(xiàn)。另一方面如果因?yàn)樘囟ㄊ录?dǎo)致一部分冷數(shù)據(jù)變熱，如果這些數(shù)據(jù)還存儲(chǔ)在類似磁帶、NLSAS盤這種慢速介質(zhì)上，那業(yè)務(wù)的反應(yīng)速度就會(huì)一直很慢，嚴(yán)重影響辦公效率。為了解決這種數(shù)據(jù)冷熱遷移的問(wèn)題，存儲(chǔ)可以通過(guò)智能分級(jí)技術(shù)來(lái)做到后臺(tái)靈活調(diào)配數(shù)據(jù)存儲(chǔ)介質(zhì)。智能分級(jí)技術(shù)需要部署在有不同介質(zhì)類型的設(shè)備上，數(shù)據(jù)被實(shí)時(shí)監(jiān)控，長(zhǎng)期不被訪問(wèn)的數(shù)據(jù)會(huì)被標(biāo)記成為冷數(shù)據(jù)，逐漸從高性能介質(zhì)轉(zhuǎn)移到慢速介質(zhì)，保證設(shè)備不會(huì)越用越慢當(dāng)冷數(shù)據(jù)被激活后也可以快速移動(dòng)到快速介質(zhì)是上，讓整個(gè)系統(tǒng)性能保持平穩(wěn)，不會(huì)因?yàn)閿?shù)據(jù)量的增加而變得越來(lái)越慢。遷移策略可以手工可以自動(dòng)，遷移粒度支持LUN和NAS，給客戶一個(gè)高性價(jià)比的存儲(chǔ)設(shè)備。RAID2.0+軟件架構(gòu)底層介質(zhì)虛擬化+上層資源虛擬化，同時(shí)解決數(shù)據(jù)快速重構(gòu)問(wèn)題和資源的智能分配問(wèn)題。數(shù)據(jù)快速重構(gòu)：縮短數(shù)據(jù)重構(gòu)時(shí)間，從10小時(shí)到30分鐘，使重構(gòu)速度提升20倍，大幅降低重構(gòu)過(guò)程對(duì)業(yè)務(wù)的影響和多盤失效的概率。存儲(chǔ)池內(nèi)所有硬盤參與重構(gòu)，僅重構(gòu)業(yè)務(wù)數(shù)據(jù)；由傳統(tǒng)RAID多對(duì)一的重構(gòu)模式轉(zhuǎn)變?yōu)槎鄬?duì)多快速重構(gòu)模式。自研芯片技術(shù)前端傳輸，智能網(wǎng)卡芯片支持業(yè)界最快的32GFC、100G以太協(xié)議處理實(shí)現(xiàn)硬件卸載，在接口卡實(shí)現(xiàn)原來(lái)CPU所做的協(xié)議解析，減輕CPU負(fù)載，提升傳輸性能。前端訪問(wèn)時(shí)延從160us降到80us；解析得到的數(shù)據(jù)會(huì)與CPU交互，完成高級(jí)特性的處理，如流控等?？刂破餍酒?，鯤鵬920是首款7nmARMCPU，同時(shí)它不僅是一顆CPU，還集成南橋、網(wǎng)卡、SAS控制器三顆芯片。SSD存儲(chǔ)芯片，將核心FTL算法內(nèi)置在自研芯片中，芯片直接確認(rèn)讀寫位置等信息，寫時(shí)延從40us降到20us；存儲(chǔ)系統(tǒng)在整個(gè)運(yùn)行周期內(nèi)都需要管控面的干預(yù)，使用到的就是管理芯片。管理芯片，集成華為10多年積累的故障基因庫(kù)，一旦發(fā)現(xiàn)故障，管理芯片通過(guò)故障基因庫(kù)快速匹配故障模型，定位問(wèn)題給出解決方案，故障定位準(zhǔn)確率達(dá)到93%。RDMAScale-out4控?cái)U(kuò)展到8控，無(wú)需交換機(jī)，組網(wǎng)簡(jiǎn)潔引擎間使用100GRDMA傳輸數(shù)據(jù)邏輯通訊采用VLAN分割，保障IO面和管控面的數(shù)據(jù)安全可靠加密硬盤技術(shù)SED自加密盤采用AES256加密算法，保證存儲(chǔ)在盤上的數(shù)據(jù)是加密的，并且保證性能無(wú)影響。InternalKeyManager存儲(chǔ)系統(tǒng)內(nèi)嵌的密鑰管理應(yīng)用，在OceanStor18000/18000FV5支持采用TPM進(jìn)行密鑰保護(hù)。ExternalKeyManager采用KMIP+TLS的標(biāo)準(zhǔn)協(xié)議。在整個(gè)數(shù)據(jù)中心的密鑰管理僅用于存儲(chǔ)系統(tǒng)的場(chǎng)景下，建議選擇InternalKeyManager。通過(guò)配置SED加密硬盤和InternalKeyManager（OceanStorV5自帶密管系統(tǒng)）或者ExternalKeyManager（外部配置獨(dú)立的密管系統(tǒng)），和存儲(chǔ)系統(tǒng)配合完成數(shù)據(jù)靜態(tài)加密，從而保證數(shù)據(jù)的安全性。算法原理AES算法基于排列和置換運(yùn)算。AES使用幾種不同的方法來(lái)執(zhí)行排列和置換運(yùn)算。AES是一個(gè)迭代的、對(duì)稱密鑰分組的密碼，它可以使用128、192和256位密鑰，并且用128位（16字節(jié)）分組加密和解密數(shù)據(jù)。與公共密鑰密碼使用密鑰對(duì)不同，對(duì)稱密鑰密碼使用相同的密鑰加密和解密數(shù)據(jù)。通過(guò)分組密碼返回的加密數(shù)據(jù)的位數(shù)與輸入數(shù)據(jù)相同。迭代加密使用一個(gè)循環(huán)結(jié)構(gòu)，在該循環(huán)中重復(fù)置換和替換輸入數(shù)據(jù)。InternalKeyManager易部署、易配置、易管理；無(wú)需再獨(dú)立部署一套密管系統(tǒng)。高級(jí)特性塊服務(wù)特性、文件服務(wù)特性支持多種高級(jí)特性，具體情況見(jiàn)教材列出相應(yīng)特性。應(yīng)用場(chǎng)景多站點(diǎn)容災(zāi)應(yīng)用場(chǎng)景在兩地三中心的級(jí)聯(lián)架構(gòu)和并行架構(gòu)多站點(diǎn)容災(zāi)應(yīng)用場(chǎng)景中可使用混合閃存存儲(chǔ)。方案亮點(diǎn)在于：高中低端陣列復(fù)制技術(shù)互通；秒級(jí)異步復(fù)制RPO，分鐘級(jí)RTO；環(huán)形3DC。支持容災(zāi)中心故障后，剩余站點(diǎn)自動(dòng)建立復(fù)制關(guān)系，提供持續(xù)數(shù)據(jù)保護(hù)。Standby復(fù)制激活后，數(shù)據(jù)增量復(fù)制，RTO不變。支持單站點(diǎn)配置環(huán)形3DC*，簡(jiǎn)化管理。存儲(chǔ)分層分級(jí)應(yīng)用場(chǎng)景不同的業(yè)務(wù)應(yīng)用對(duì)性能要求和可靠性有著不一樣的要求。比如CRM系統(tǒng)、賬單交易系統(tǒng)屬于熱數(shù)據(jù)應(yīng)用，備份就屬于冷數(shù)據(jù)的應(yīng)用場(chǎng)景?？梢酝ㄟ^(guò)華為全閃存存儲(chǔ)、混合閃存存儲(chǔ)、分布式存儲(chǔ)等進(jìn)行整合、分層，并具備不同SLA能力等級(jí)的存儲(chǔ)提供支撐。分布式存儲(chǔ)介紹產(chǎn)品定位華為分布式存儲(chǔ)系列專為海量數(shù)據(jù)場(chǎng)景設(shè)計(jì)，為虛擬化/云資源池、關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)、大數(shù)據(jù)分析、高性能計(jì)算(HPC)、視頻、內(nèi)容存儲(chǔ)/備份歸檔等類型應(yīng)用提供多樣性存儲(chǔ)服務(wù)，幫助企業(yè)釋放海量數(shù)據(jù)價(jià)值。智能分布式存儲(chǔ)：OceanStor100D是一款可大規(guī)模橫向擴(kuò)展的全自研智能分布式存儲(chǔ)產(chǎn)品。一套集群可為上層應(yīng)用提供塊存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)、對(duì)象文件存儲(chǔ)等工業(yè)界標(biāo)準(zhǔn)接口，消除煙囪式存儲(chǔ)系統(tǒng)構(gòu)建導(dǎo)致的運(yùn)營(yíng)復(fù)雜問(wèn)題，幫助企業(yè)實(shí)現(xiàn)復(fù)雜業(yè)務(wù)承載更穩(wěn)、多樣性數(shù)據(jù)使用效率更高、海量數(shù)據(jù)儲(chǔ)存成本更優(yōu)。塊存儲(chǔ)：支持SCSI和iSCSI接口，為上層應(yīng)用提供按需獲取、彈性擴(kuò)展的海量存儲(chǔ)池，大幅提升應(yīng)用環(huán)境準(zhǔn)備效率，是私有云、容器、虛擬化及數(shù)據(jù)庫(kù)應(yīng)用的理想存儲(chǔ)平臺(tái)。大數(shù)據(jù)存儲(chǔ)：提供基于原生HDFS的大數(shù)據(jù)存算分離方案，實(shí)現(xiàn)存儲(chǔ)與計(jì)算資源按需配置，提供一致用戶體驗(yàn)的同時(shí)，助您降低總擁有成本；支持與原有計(jì)算存儲(chǔ)一體化架構(gòu)共存。廣泛應(yīng)用于金融大數(shù)據(jù)、互聯(lián)網(wǎng)日志留存大數(shù)據(jù)、政務(wù)大數(shù)據(jù)和平安城市大數(shù)據(jù)等場(chǎng)景。對(duì)象存儲(chǔ)：最大支持單桶1000億對(duì)象承載且性能不降，消除大型應(yīng)用分桶改造麻煩。廣泛應(yīng)用于金融電子票據(jù)影像和雙錄（錄音/錄像）、醫(yī)療影像、政企電子文檔和車聯(lián)網(wǎng)場(chǎng)景生產(chǎn)存儲(chǔ)、備份或歸檔。橫向擴(kuò)展文件存儲(chǔ)：華為OceanStor9000V5橫向擴(kuò)展文件存儲(chǔ)采用全對(duì)稱分布式架構(gòu)，以其業(yè)界領(lǐng)先的卓越性能、大規(guī)模橫向擴(kuò)展能力和超大單一文件系統(tǒng)為用戶提供非結(jié)構(gòu)化數(shù)據(jù)共享資源存儲(chǔ)，是面向海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)應(yīng)用的橫向擴(kuò)展文件存儲(chǔ)系統(tǒng)。采用華為OceanStor9000V5可提高IT系統(tǒng)存儲(chǔ)效率，簡(jiǎn)化工作負(fù)載及遷移流程，應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)和演變。軟硬件架構(gòu)首先，我們介紹分布式存儲(chǔ)的硬件架構(gòu)。當(dāng)使用OceanStor100D的標(biāo)準(zhǔn)硬件時(shí)，硬件配置如下表所示。硬件類型硬件型號(hào)配置適用的存儲(chǔ)服務(wù)類型機(jī)柜標(biāo)準(zhǔn)IT機(jī)柜提供42U內(nèi)部安裝空間-存儲(chǔ)節(jié)點(diǎn)P1002U12盤位節(jié)點(diǎn)，直通機(jī)型，CPU采用2顆鯤鵬920（48core@2.6GHz）融合、對(duì)象、大數(shù)據(jù)、塊說(shuō)明：融合是指一個(gè)局點(diǎn)同時(shí)部署多個(gè)存儲(chǔ)服務(wù)的場(chǎng)景。2U12盤位節(jié)點(diǎn)，EXP機(jī)型，CPU采用2顆鯤鵬920（48core@2.6GHz）2U25盤位節(jié)點(diǎn)，EXP機(jī)型，CPU采用2顆鯤鵬920（48core@2.6GHz）塊C1004U36盤位節(jié)點(diǎn)，直通機(jī)型，CPU采用2顆鯤鵬920（48core@2.6GHz）融合、對(duì)象、大數(shù)據(jù)、塊F1002U12盤位節(jié)點(diǎn)，EXP機(jī)型，全NVMe閃存，CPU采用2顆鯤鵬920（48core@2.6GHz）塊P1102U12盤位節(jié)點(diǎn)，CPU采用X86處理器融合、對(duì)象、大數(shù)據(jù)、塊2U25盤位節(jié)點(diǎn)，CPU采用X86處理器塊C1104U36盤位節(jié)點(diǎn)，CPU采用X86處理器融合、對(duì)象、大數(shù)據(jù)、塊F1102U12盤位節(jié)點(diǎn)，全NVMe閃存，CPU采用X86處理器2U24盤位節(jié)點(diǎn)，全NVMe閃存，CPU采用X86處理器塊網(wǎng)絡(luò)設(shè)備S5731-H48T4XCGE交換機(jī)，作為BMC/管理交換機(jī)，提供4個(gè)10GESFP+以太網(wǎng)光接口，以及48個(gè)10/100/1000BASE-T以太網(wǎng)電接口。-S5720-56C-EI-ACGE交換機(jī)，作為BMC/管理交換機(jī)，提供4個(gè)10GESFP+以太網(wǎng)光接口，以及48個(gè)10/100/1000BASE-T以太網(wǎng)電接口。-S5331-H48T4XCGE交換機(jī)，作為BMC/管理交換機(jī)，提供4個(gè)10GESFP+以太網(wǎng)光接口，以及48個(gè)10/100/1000BASE-T以太網(wǎng)電接口。-S5320-56C-EI-ACGE交換機(jī)，作為BMC/管理交換機(jī)，提供4個(gè)10GESFP+以太網(wǎng)光接口，以及48個(gè)10/100/1000BASE-T以太網(wǎng)電接口。-CE6881-48S6CQ10GE交換機(jī)，作為存儲(chǔ)交換機(jī)，提供48個(gè)10GESFP+以太網(wǎng)光接口，以及6個(gè)40GEQSFP28以太網(wǎng)光接口。-CE6855-48S6Q-HI10GE交換機(jī)，作為存儲(chǔ)交換機(jī)，提供48個(gè)10GESFP+以太網(wǎng)光接口，以及6個(gè)40GEQSFP+以太網(wǎng)光接口。-CE6857-48S6CQ-EI10GE交換機(jī)，作為存儲(chǔ)交換機(jī)，提供48個(gè)10GESFP+以太網(wǎng)光接口，以及6個(gè)40GE/100GEQSFP28以太網(wǎng)光接口。-CE6863-48S6CQ25GE交換機(jī)，作為存儲(chǔ)交換機(jī)，提供48個(gè)10GE/25GESFP28以太網(wǎng)光接口，以及6個(gè)40GE/100GEQSFP28以太網(wǎng)光接口。-CE6865-48S8CQ-EI25GE交換機(jī)，作為存儲(chǔ)交換機(jī)，提供48個(gè)25GESFP28以太網(wǎng)光接口和8個(gè)100GEQSFP28以太網(wǎng)光接口。-CE8850-64CQ-EI100GE交換機(jī)，作為匯聚交換機(jī)，提供2個(gè)10GESFP+以太網(wǎng)光接口，以及64個(gè)100GEQSFP28以太網(wǎng)光接口。-SB7800100Gbit/sIB交換機(jī)，作為存儲(chǔ)交換機(jī)，提供36個(gè)100Gbit/sQSFP28光接口。-KVM（Keyboard，Video，andMouse）提供8路鍵盤、鼠標(biāo)和視頻端口。-當(dāng)使用橫向擴(kuò)展文件存儲(chǔ)時(shí)，OceanStor9000的硬件系統(tǒng)主要由存儲(chǔ)節(jié)點(diǎn)、網(wǎng)絡(luò)設(shè)備、KVM和短信調(diào)制解調(diào)器組成。OceanStor9000的硬件組成如下表所示。硬件類型可選型號(hào)說(shuō)明機(jī)柜（推薦配置）FR42612L提供42U內(nèi)部安裝空間存儲(chǔ)節(jié)點(diǎn)P12E2U12盤節(jié)點(diǎn)（配置舉例：12SATA硬盤，或1SSD+11SATA硬盤）P25E性能更強(qiáng)的2U25盤節(jié)點(diǎn)（配置舉例：1SSD+24SAS硬盤）P36E性能更強(qiáng)的4U36盤節(jié)點(diǎn)（配置舉例：1SSD+35SATA硬盤）C36E性能更強(qiáng)的4U36盤節(jié)點(diǎn)（配置舉例：36SATA硬盤）P122U12盤節(jié)點(diǎn)（配置舉例：12SATA硬盤，或1SSD+11SATA硬盤）P252U25盤節(jié)點(diǎn)（配置舉例：1SSD+24SAS硬盤）P364U36盤節(jié)點(diǎn)（配置舉例：1SSD+35SATA硬盤）C364U36盤節(jié)點(diǎn)（配置舉例：36SATA硬盤）C724U72盤節(jié)點(diǎn)（配置舉例：72SATA硬盤）網(wǎng)絡(luò)設(shè)備CE6810-48S4Q-EI/CE6810-24S2Q-LI10GE以太網(wǎng)交換機(jī)S5700-52C-SI/S5352C-SIGE以太網(wǎng)交換機(jī)SX6018IB（InfiniBand）交換機(jī)8口KVM（Keyboard，Video，andMouse）提供8路鍵盤、鼠標(biāo)和視頻端口調(diào)制解調(diào)器用于提供告警的短信通知功能登錄/enterprise網(wǎng)站獲取產(chǎn)品文檔。按照“產(chǎn)品文檔->基本信息->產(chǎn)品描述->硬件架構(gòu)”的路徑可以查看對(duì)應(yīng)存儲(chǔ)產(chǎn)品的硬件架構(gòu)。接著，我們介紹下分布式存儲(chǔ)的軟件架構(gòu)。以HuaweiOceanStor100D為例，對(duì)其軟件架構(gòu)的關(guān)鍵概念解釋如下：Protocol：存儲(chǔ)的協(xié)議層，塊支持iscsi協(xié)議與VSC本地掛載訪問(wèn)，對(duì)象支持S3/swift訪問(wèn)，大數(shù)據(jù)支持HDFS訪問(wèn)，文件支持NFS訪問(wèn)。VBS：塊存儲(chǔ)的塊訪問(wèn)接入層，用戶IO通過(guò)iSCSI或VSC把IO下發(fā)到VBS。EDS-B：提供具有企業(yè)特性的塊服務(wù)，接收并處理從VBS轉(zhuǎn)發(fā)過(guò)來(lái)的IO。EDS-F：提供大數(shù)據(jù)服務(wù)。OBSService:提供對(duì)象服務(wù)DP：提供數(shù)據(jù)保護(hù)能力。Persistencelayer：提供持久化存儲(chǔ)能力，提供EC與多副本能力通過(guò)plogclient提供plog的appendonly訪問(wèn)能力。Infrastructure：提供存儲(chǔ)使用的基礎(chǔ)設(shè)施能力，如調(diào)度，內(nèi)存分配等。OAM：存儲(chǔ)的管理面，提供部署，升級(jí)，擴(kuò)容，監(jiān)控告警等功能。它支持豐富的企業(yè)級(jí)特性，塊服務(wù)秒級(jí)異步復(fù)制、雙活。架構(gòu)微服務(wù)化，塊服務(wù)/HDFS服務(wù)/對(duì)象服務(wù)可以共用Persistence服務(wù)。OceanStor100D的塊服務(wù)，提供SCSI、iSCSI等標(biāo)準(zhǔn)訪問(wèn)接口協(xié)議，支持廣泛的虛擬化平臺(tái)及數(shù)據(jù)庫(kù)應(yīng)用，提供高性能與高擴(kuò)展能力，滿足虛擬化、云資源池及數(shù)據(jù)庫(kù)等場(chǎng)景的SAN存儲(chǔ)需求。提供Active-ActiveHyperMetro（雙活）、HyperReplication（遠(yuǎn)程復(fù)制）、HyperSnap（快照）、SmartQoS（智能服務(wù)質(zhì)量控制）、SmartDedupe（重復(fù)數(shù)據(jù)刪除）和SmartCompression（數(shù)據(jù)壓縮）等關(guān)鍵特性。OceanStor100D的對(duì)象服務(wù)，提供對(duì)象服務(wù)標(biāo)準(zhǔn)API，支持主流云計(jì)算生態(tài)，滿足內(nèi)容存儲(chǔ)、云備份、云歸檔及公有云存儲(chǔ)服務(wù)運(yùn)營(yíng)場(chǎng)景需求。提供HyperReplication（遠(yuǎn)程復(fù)制）、對(duì)象/文件互通、SmartDedupe（重復(fù)數(shù)據(jù)刪除）、SmartQuota（配額）和SmartQoS（服務(wù)質(zhì)量）等關(guān)鍵特性。OceanStor100D的大數(shù)據(jù)服務(wù)支持原生HDFS接口，不需要安裝獨(dú)立插件，在大數(shù)據(jù)分析場(chǎng)景提供大數(shù)據(jù)云化計(jì)算存儲(chǔ)分離解決方案，滿足海量數(shù)據(jù)高效處理同時(shí)，幫助用戶實(shí)現(xiàn)真正資源按需要部署使用，降低TCO。提供SmartTier（分級(jí)）、SmartQuota（配額）和回收站等關(guān)鍵特性。關(guān)鍵技術(shù)DHT技術(shù)FusionStorage塊存儲(chǔ)采用DHT（DistributeHashTable，分布式哈希表）路由數(shù)據(jù)算法。每個(gè)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)一小部分?jǐn)?shù)據(jù)，基于DHT實(shí)現(xiàn)整個(gè)系統(tǒng)數(shù)據(jù)的尋址和存儲(chǔ)。相比DHT路由算法，傳統(tǒng)存儲(chǔ)一般采用集中式元數(shù)據(jù)管理方式，元數(shù)據(jù)中會(huì)記錄所有LUN中不同偏移量的數(shù)據(jù)在硬盤中的分布，例如LUN1+LBA1地址起始的4KB長(zhǎng)度的數(shù)據(jù)分布在第32塊硬盤的LBA2上。每次IO操作都需要去查詢?cè)獢?shù)據(jù)服務(wù)，隨著系統(tǒng)規(guī)模逐漸變大，元數(shù)據(jù)的容量也會(huì)越來(lái)越大，系統(tǒng)所能提供的并發(fā)操作能力將受限于元數(shù)據(jù)服務(wù)所在節(jié)點(diǎn)的能力，元數(shù)據(jù)服務(wù)將會(huì)成為系統(tǒng)的性能瓶頸。不同與傳統(tǒng)的集中式元數(shù)據(jù)管理，F(xiàn)usionStorage塊存儲(chǔ)采用DHT進(jìn)行數(shù)據(jù)尋址，具體的算法如下圖：FusionStorage塊存儲(chǔ)將哈?？臻g設(shè)置為2^32，并將該哈?？臻g劃分為N等份，每1等份是1個(gè)分區(qū)（Partition），這N等份按照硬盤數(shù)量進(jìn)行均分。例如：系統(tǒng)N默認(rèn)為3600，假設(shè)當(dāng)前系統(tǒng)有36塊硬盤，則每塊硬盤承載100個(gè)分區(qū)。上述“分區(qū)-硬盤”的映射關(guān)系在系統(tǒng)初始化時(shí)會(huì)分配好，后續(xù)會(huì)隨著系統(tǒng)中硬盤數(shù)量的變化會(huì)進(jìn)行調(diào)整。該映射表所需要的空間很小，F(xiàn)usionStorage塊存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)會(huì)在內(nèi)存中保存該映射關(guān)系，用于進(jìn)行快速路由，可見(jiàn)，F(xiàn)usionStorage塊存儲(chǔ)的路由機(jī)制不同于傳統(tǒng)陣列，并沒(méi)有集中的元數(shù)據(jù)管理，也就不存在元數(shù)據(jù)服務(wù)成為系統(tǒng)的性能瓶頸。舉例說(shuō)明：應(yīng)用需要訪問(wèn)LUN1+LBA1地址起始的4KB長(zhǎng)度的數(shù)據(jù)，首先構(gòu)造key=LUN1+LBA1/1M，對(duì)該key進(jìn)行HASH計(jì)算得到哈希值，并對(duì)N取模，得到partition號(hào)，根據(jù)內(nèi)存中記錄的“分區(qū)-硬盤“映射表可得知數(shù)據(jù)歸屬的硬盤。同時(shí)，F(xiàn)usionStorage塊存儲(chǔ)采用的DHT算法具有以下特點(diǎn)：均衡性：數(shù)據(jù)能夠盡可能分布到所有的節(jié)點(diǎn)中，這樣可以使得所有節(jié)點(diǎn)負(fù)載均衡。單調(diào)性：當(dāng)有新節(jié)點(diǎn)加入系統(tǒng)中，系統(tǒng)會(huì)重新做數(shù)據(jù)分配，數(shù)據(jù)遷移僅涉及新增節(jié)點(diǎn)，現(xiàn)有節(jié)點(diǎn)上的數(shù)據(jù)不需要做很大調(diào)整。Range切分與WAL聚合技術(shù)要存儲(chǔ)的數(shù)據(jù)以Range方式打散存儲(chǔ)在不同的Node上。WAL：WriteAheadLog，數(shù)據(jù)持久化之前中間的一個(gè)存放技術(shù)，采用WAL將數(shù)據(jù)存放好后就可以直接返回給上層應(yīng)用表示數(shù)據(jù)寫成功。WAL的中心思想是對(duì)數(shù)據(jù)文件的修改（它們是表和索引的載體）必須是只能發(fā)生在這些修改已經(jīng)記錄到日志之后，也就是說(shuō)，在描述這些變化的日志記錄刷新到永久存儲(chǔ)器之后。多NameNode并發(fā)NameNode是HDFS的元數(shù)據(jù)請(qǐng)求處理節(jié)點(diǎn)，DataNode是HDFS的數(shù)據(jù)請(qǐng)求處理節(jié)點(diǎn)。傳統(tǒng)的HDFSNameNode模型：僅有一個(gè)Active的NameNode提供元數(shù)據(jù)服務(wù)，ActiveNameNode和StandbyNameNode之間不是實(shí)時(shí)一致的，有同步周期。當(dāng)前Active的NameNode異常宕機(jī)之后，在切換到新的NameNode，新Namenode完成日志加載之前，無(wú)法提供元數(shù)據(jù)服務(wù),最長(zhǎng)可能達(dá)到小時(shí)級(jí)。單個(gè)Active的NameNode可支持的文件個(gè)數(shù)受制于單個(gè)節(jié)點(diǎn)的內(nèi)存，只能支持到1億。單個(gè)命名空間大壓力下面的元數(shù)據(jù)并發(fā)操作因CPU和內(nèi)存資源消耗多，導(dǎo)致性能較差。華為的HDFS多NameNode并發(fā)具有以下特點(diǎn)：多個(gè)Active的NameNode提供元數(shù)據(jù)服務(wù)，多節(jié)點(diǎn)間數(shù)據(jù)實(shí)時(shí)一致。避免傳統(tǒng)HDFSNameNode切換導(dǎo)致的元數(shù)據(jù)服務(wù)中斷。多個(gè)Active的NameNode支持的文件個(gè)數(shù)不再受制于單個(gè)節(jié)點(diǎn)的內(nèi)存。多目錄元數(shù)據(jù)操作多節(jié)點(diǎn)全并發(fā)。AppendOnlyPlog技術(shù)OceanStor100D可同時(shí)支持HDD和SSD兩種類型的介質(zhì)，兩種介質(zhì)的帶寬、IOPS、時(shí)延等技術(shù)參數(shù)存在非常明顯的差異，所適合的IOpattern也差異很大。為解決介質(zhì)之間的差異，并實(shí)現(xiàn)統(tǒng)一的管理，OceanStor100D采用了Appendonly的Plog技術(shù)。AppendOnlyPlog技術(shù)可面向介質(zhì)提供最佳的下盤性能模型，先將小IO聚合成大塊，再將大塊IO寫盤方式改為順序追加寫下盤方式，這種寫盤方式符合盤本身的特點(diǎn)。EC智能聚合技術(shù)基于追加寫的智能聚合EC，任意時(shí)刻都能保證EC滿分條寫入，減少數(shù)倍的讀寫網(wǎng)絡(luò)放大和讀寫磁盤放大。一次性完成數(shù)據(jù)聚合，更低的CPU算力開(kāi)銷，可提供更極致的峰值性能。多級(jí)緩存技術(shù)寫緩存示意圖如下：詳細(xì)步驟解釋：Step1:數(shù)據(jù)寫入基于RAM的WriteCache(MemoryWriteCache)。Step2:寫入基于SSD緩盤的WAL日志區(qū)(如果是大IO會(huì)直接寫HDD)，返回主機(jī)寫操作完成。Step3:當(dāng)內(nèi)存寫緩存達(dá)到一定水位，數(shù)據(jù)開(kāi)始往下刷盤。Step4:對(duì)于大IO，直接寫入HDD盤，小IO會(huì)先寫入本節(jié)點(diǎn)的SSD緩存(SSDWriteCache)等待聚合成大IO后再寫入HDD。說(shuō)明：Step1中如果寫入數(shù)據(jù)比較大(超過(guò)512KB)就直接進(jìn)入Step4寫入HDD。讀緩存示意圖如下：詳細(xì)步驟解釋：Step1:先從MemoryWriteCache中讀取，命中則返回，沒(méi)有命中則進(jìn)入Step2。Step2:從MemoryReadCache中讀取，命中則返回，沒(méi)有命中則進(jìn)入Step3。Step3:從SSDWriteCache中讀取，命中則返回，沒(méi)有命中則進(jìn)入Step4。Step4:從SSDReadCache中讀取，命中則返回，沒(méi)有命中則進(jìn)入Step5。Step5:最終從HDD上讀取。說(shuō)明：基于內(nèi)存的讀緩存(MemoryReadCache)會(huì)緩存預(yù)取的數(shù)據(jù)如順序流。基于SSD緩存盤的讀緩存(SSDReadCache)會(huì)緩存讀過(guò)程中識(shí)別的熱點(diǎn)數(shù)據(jù)。元數(shù)據(jù)分布式訪問(wèn)訪問(wèn)過(guò)程如下圖所示：關(guān)鍵概念解釋：CA：ClientAgentMDS：MetadataServiceDS：DataService過(guò)程解釋如下：①客戶端發(fā)起訪問(wèn)，首先從MDS（元數(shù)據(jù)服務(wù)）根路徑開(kāi)始查找元數(shù)據(jù)②根目錄告知客戶端需要到另一個(gè)MDS查詢③同一MDS繼續(xù)查找④需要到另一個(gè)MDS查詢⑤獲得元數(shù)據(jù)后，根據(jù)元數(shù)據(jù)所指位置讀取數(shù)據(jù)智能負(fù)載均衡技術(shù)它的原理是基于域名(Active-Standby模式)的訪問(wèn)。支持分區(qū)，每個(gè)分區(qū)可以設(shè)定獨(dú)立的域名和負(fù)載均衡策略。訪問(wèn)系統(tǒng)一級(jí)/二級(jí)域名,如：解析域名，并基于負(fù)載均衡策略返回一個(gè)IP地址基于IP地址進(jìn)行業(yè)務(wù)訪問(wèn)單一文件系統(tǒng)資源集中管理在一個(gè)統(tǒng)一的資源池中，可以很容易地共享，訪問(wèn)單一文件系統(tǒng)時(shí)，用戶不需要關(guān)注特定的數(shù)據(jù)存儲(chǔ)位置。系統(tǒng)提供了一個(gè)統(tǒng)一的文件系統(tǒng)，用于訪問(wèn)所有可用空間。在單一文件系統(tǒng)中，文件集合以目錄方式呈現(xiàn)。在系統(tǒng)啟動(dòng)時(shí)自動(dòng)創(chuàng)建一個(gè)統(tǒng)一的文件系統(tǒng)。應(yīng)用場(chǎng)景私有云、虛擬化為私有云和虛擬化提供按需獲取、彈性擴(kuò)展的海量存儲(chǔ)資源池，基于通用服務(wù)器大幅提升存儲(chǔ)資源的部署、擴(kuò)展和運(yùn)維效率。例如應(yīng)用于金融互聯(lián)網(wǎng)渠道接入云、開(kāi)發(fā)測(cè)試云，運(yùn)營(yíng)商BOM域業(yè)務(wù)云化、B2B云資源池、政務(wù)云、平安城市云等。關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)通過(guò)分布式Active-Active雙活、穩(wěn)定低時(shí)延等企業(yè)級(jí)能力，保障OLAP或OLTP類關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)高效穩(wěn)定運(yùn)行。大數(shù)據(jù)分析大數(shù)據(jù)計(jì)算存儲(chǔ)分離解決方案可整合傳統(tǒng)數(shù)據(jù)孤島，構(gòu)建統(tǒng)一的企業(yè)大數(shù)據(jù)資源池，結(jié)合大比例EC、存儲(chǔ)和計(jì)算分離按需部署和擴(kuò)容等企業(yè)級(jí)能力，實(shí)現(xiàn)大數(shù)據(jù)業(yè)務(wù)效率提升及TCO降低。例如應(yīng)用于金融大數(shù)據(jù)分析、運(yùn)營(yíng)商日志留存大數(shù)據(jù)、政務(wù)大數(shù)據(jù)和平安城市大數(shù)據(jù)等。內(nèi)容存儲(chǔ)、備份歸檔高性能、高可靠的企業(yè)級(jí)對(duì)象存儲(chǔ)資源池可滿足互聯(lián)網(wǎng)數(shù)據(jù)、在線音頻/視頻、企業(yè)網(wǎng)盤等實(shí)時(shí)在線業(yè)務(wù)吞吐量大、熱點(diǎn)數(shù)據(jù)頻繁訪問(wèn)的業(yè)務(wù)需求，以及長(zhǎng)期保存、在線訪問(wèn)需求。例如應(yīng)用于金融電子票據(jù)影像、雙錄（錄音/錄像），醫(yī)療影像、政企電子文檔和車聯(lián)網(wǎng)場(chǎng)景存儲(chǔ)、備份或歸檔。如BSS、MSS、OSS、VAS等場(chǎng)景可以使用華為OceanStor100D分布式存儲(chǔ)塊存儲(chǔ)服務(wù)。對(duì)象存儲(chǔ)服務(wù)應(yīng)用場(chǎng)景也可以使用，方式優(yōu)勢(shì)體現(xiàn)在以下幾個(gè)方面：穩(wěn)定低時(shí)延，保障客戶訪問(wèn)流程：穩(wěn)定的時(shí)延<80ms，滿足視頻連續(xù)寫入時(shí)延穩(wěn)定性要求，以及提升終端客戶訪問(wèn)體驗(yàn)；高并發(fā)連接：支持?jǐn)?shù)百萬(wàn)路視頻連接，保持性能穩(wěn)定無(wú)波動(dòng)；按需使用：可以隨時(shí)根據(jù)業(yè)務(wù)增長(zhǎng)量，動(dòng)態(tài)按需使用存儲(chǔ)，按需付費(fèi)，降低擁有成本。

超融合存儲(chǔ)介紹產(chǎn)品定位傳統(tǒng)的IT架構(gòu)，大多數(shù)都是小機(jī)+FC存儲(chǔ)的方式，基于這種架構(gòu)的IT基礎(chǔ)設(shè)施，不僅價(jià)格和運(yùn)維成本高企，對(duì)于大型互聯(lián)網(wǎng)公司來(lái)說(shuō)，其擴(kuò)展能力明顯不足，無(wú)法滿足數(shù)據(jù)的爆發(fā)式增長(zhǎng)，比如Facebook每天能增加20億張照片，需要快速存儲(chǔ)處理這些數(shù)據(jù)。Web-Scale的概念是由Gartner提出的一個(gè)概念，用于描述來(lái)自互聯(lián)網(wǎng)巨頭，如Facebook，谷歌，LinkedIn等公司，Web-Scale通過(guò)計(jì)算虛擬化和分布式存儲(chǔ)能力，來(lái)應(yīng)對(duì)業(yè)務(wù)和數(shù)據(jù)的爆發(fā)式增長(zhǎng)，對(duì)于企業(yè)來(lái)說(shuō)，無(wú)法使用web-scale的架構(gòu)來(lái)構(gòu)建自己的IT系統(tǒng)，因?yàn)闆](méi)有足夠的IT能力來(lái)支撐分布式存儲(chǔ)軟件的應(yīng)用和龐大的IT系統(tǒng)管理超融合架構(gòu)就是一個(gè)小型版的Web-Scale架構(gòu)，進(jìn)一步優(yōu)化，使之能夠通過(guò)一體化的方式架構(gòu)，統(tǒng)一的運(yùn)維來(lái)避免web-scale的復(fù)雜性，同時(shí)有具備web-scale架構(gòu)的靈活性和擴(kuò)展性。那什么是超融合呢？我們來(lái)看下業(yè)界的定義。超融合基礎(chǔ)架構(gòu)（Hyper-ConvergedInfrastructure，或簡(jiǎn)稱“HCI”）是指在同一套單元設(shè)備中不僅僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技術(shù)，而且還包括備份軟件、快照技術(shù)、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮等元素，而多套單元設(shè)備可以通過(guò)網(wǎng)絡(luò)聚合起來(lái)，實(shí)現(xiàn)模塊化的無(wú)縫橫向擴(kuò)展，形成統(tǒng)一的資源池。HCI是實(shí)現(xiàn)“軟件定義數(shù)據(jù)中心”(SDDC)的終極技術(shù)途徑。HCI類似Google、Facebook后臺(tái)的大規(guī)?；A(chǔ)架構(gòu)模式，可以為數(shù)據(jù)中心帶來(lái)最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)。且同時(shí)支持ARM&X86硬件平臺(tái)。NUTANIX：超融合架構(gòu)（Hyper-ConvergedInfrastructure簡(jiǎn)稱“HCI”）是指在同一套單元設(shè)備中不僅僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技術(shù)，而且還包括備份軟件、快照技術(shù)、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮等元素，而多套單元設(shè)備可以通過(guò)網(wǎng)絡(luò)聚合起來(lái)，實(shí)現(xiàn)模塊化的無(wú)縫橫向擴(kuò)展，形成統(tǒng)一的資源池。HCI是實(shí)現(xiàn)“軟件定義數(shù)據(jù)中心”的終極技術(shù)途徑。Gartner：HCI是一種以軟件為中心的體系結(jié)構(gòu)，將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和虛擬化資源（以及可能的其他技術(shù)）緊密集成在單一的供應(yīng)商提供的一臺(tái)硬件設(shè)備中。IDC：超融合系統(tǒng)是一種新興的集成系統(tǒng)，其本身將核心存儲(chǔ)、計(jì)算和存儲(chǔ)網(wǎng)絡(luò)功能整合到單一的軟件解決方案或設(shè)備中。簡(jiǎn)要理解：虛擬化+軟件定義的分布式存儲(chǔ)是HCI的最小子集。那什么是華為的超融合呢？它又具有什么的優(yōu)勢(shì)和特點(diǎn)呢？華為超融合基礎(chǔ)設(shè)施是基于超融合架構(gòu)的IT基礎(chǔ)設(shè)施平臺(tái)。融合計(jì)算、存儲(chǔ)為一體，并預(yù)集成分布式存儲(chǔ)引擎、虛擬化和云管理軟件，資源可按需調(diào)配、線性擴(kuò)展。主要應(yīng)用于數(shù)據(jù)庫(kù)、桌面云、容器、虛擬化等多種混合負(fù)載的場(chǎng)景。預(yù)集成華為FusionCube依托華為高效的端對(duì)端交付能力，能從用戶報(bào)價(jià)開(kāi)始，根據(jù)用戶業(yè)務(wù)需求，直接交付給用戶開(kāi)箱即用的產(chǎn)品，極大地簡(jiǎn)化了用戶的安裝、調(diào)測(cè)時(shí)間，從幾周甚至數(shù)月的調(diào)測(cè)時(shí)間縮減到幾個(gè)小時(shí)之內(nèi)。預(yù)集成包括如下內(nèi)容：硬件預(yù)安裝：設(shè)備上柜、線纜預(yù)綁(僅E9000支持)。軟件預(yù)安裝：BIOS和系統(tǒng)盤RAID設(shè)置、平臺(tái)管理軟件FusionCubeCenter軟件安裝、存儲(chǔ)軟件（FusionStorage塊存儲(chǔ)）預(yù)安裝。帶柜運(yùn)輸：立柜運(yùn)輸(僅E9000支持)。兼容多種虛擬化平臺(tái)兼容多種主流虛擬化平臺(tái)，例如VMwarevSphere。FusionCube支持為虛擬化平臺(tái)提供統(tǒng)一的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。集成虛擬化平臺(tái)資源監(jiān)控功能，一個(gè)管理界面即可提供整個(gè)系統(tǒng)的日常運(yùn)維。計(jì)算/存儲(chǔ)/網(wǎng)絡(luò)融合FusionCube不再是單獨(dú)的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)設(shè)備，而是預(yù)置集成的一體化設(shè)備，實(shí)現(xiàn)了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的融合，無(wú)需額外配置存儲(chǔ)、網(wǎng)絡(luò)等資源。在計(jì)算、存儲(chǔ)融合方面，通過(guò)在計(jì)算刀片中部署分布式存儲(chǔ)引擎，減少了數(shù)據(jù)的訪問(wèn)時(shí)延，提升整體訪問(wèn)效率。在計(jì)算、網(wǎng)絡(luò)融合方面，通過(guò)網(wǎng)絡(luò)自動(dòng)部署，用戶無(wú)需關(guān)心網(wǎng)絡(luò)具體配置，系統(tǒng)可自動(dòng)配置網(wǎng)絡(luò)資源，并實(shí)現(xiàn)與計(jì)算、存儲(chǔ)資源的聯(lián)動(dòng)。分布式塊存儲(chǔ)FusionCube內(nèi)置FusionStorage塊存儲(chǔ)為業(yè)務(wù)提供存儲(chǔ)服務(wù)，F(xiàn)usionStorage塊存儲(chǔ)是一種分布式存儲(chǔ)系統(tǒng)，采用獨(dú)特的并行架構(gòu)、創(chuàng)新的緩存算法、自適應(yīng)的數(shù)據(jù)分布算法，既消除了熱點(diǎn)也提高了性能，并且能夠以超快的重建時(shí)間實(shí)現(xiàn)自動(dòng)化自修復(fù)，提供卓越的可用性和可靠性。1）線性擴(kuò)展和彈性：FusionStorage塊存儲(chǔ)采用全分布式DHT架構(gòu)，將所有元數(shù)據(jù)按規(guī)則分布在各節(jié)點(diǎn)，避免了元數(shù)據(jù)瓶頸，支持線性擴(kuò)展。FusionStorage塊存儲(chǔ)采用了獨(dú)特的數(shù)據(jù)分塊切片技術(shù)，以及基于DHTHash的數(shù)據(jù)路由算法，可以將卷的數(shù)據(jù)均勻的分散到較大的資源池故障域范圍內(nèi)，使得每個(gè)卷可以獲得更大的IOPS和MBPS性能，也使得每個(gè)硬件資源的負(fù)載相對(duì)均衡。2）高性能：FusionStorage塊存儲(chǔ)免鎖化調(diào)度的IO軟件子系統(tǒng)，徹底解決了分布式鎖沖突，使得IO路徑上無(wú)需進(jìn)行任何鎖操作和元數(shù)據(jù)查詢，IO路徑短、時(shí)延低；分布式的無(wú)狀態(tài)機(jī)頭，可以充分發(fā)揮各個(gè)硬件節(jié)點(diǎn)的能力，大大提升了系統(tǒng)的并發(fā)IOPS和并發(fā)MBPS。同時(shí)FusionStorage塊存儲(chǔ)分布式的SSDcache技術(shù)，配合大容量的SAS/SATA盤做主存，使得系統(tǒng)的性能可以具備SSD的性能和SAS/SATA的容量。3）高可靠性：FusionStorage塊存儲(chǔ)支持多種數(shù)據(jù)冗余保護(hù)機(jī)制，如2副本、3副本等；在此基礎(chǔ)上，F(xiàn)usionStorage塊存儲(chǔ)支持設(shè)置靈活的數(shù)據(jù)可靠性策略，允許將不同的副本放在不同的服務(wù)器上，保證在服務(wù)器故障的情況下，數(shù)據(jù)仍然不丟失、仍然可訪問(wèn)。同時(shí)FusionStorage塊存儲(chǔ)采用對(duì)有效數(shù)據(jù)分片進(jìn)行數(shù)據(jù)的冗余保護(hù)，在硬盤、服務(wù)器故障的時(shí)候，能夠?qū)τ行?shù)據(jù)進(jìn)行并行重建，1TB硬盤的重建時(shí)間小于30分鐘，大大增強(qiáng)系統(tǒng)的可靠性。4）豐富的存儲(chǔ)高級(jí)功能：精簡(jiǎn)配置，當(dāng)用戶對(duì)卷進(jìn)行寫操作時(shí)才分配實(shí)際物理空間，為用戶提供比物理存儲(chǔ)資源更多的虛擬存儲(chǔ)資源。卷快照，將用戶的邏輯卷數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)的狀態(tài)保存下來(lái)，作為快照點(diǎn)；快照不限次數(shù)且性能不下降。鏈接克隆，基于增量快照提供鏈接克隆，一個(gè)快照可以創(chuàng)建出多個(gè)克隆卷，各個(gè)克隆卷剛創(chuàng)建出來(lái)時(shí)的數(shù)據(jù)內(nèi)容與快照中的數(shù)據(jù)內(nèi)容一致，后續(xù)對(duì)于克隆卷的修改不會(huì)影響到原始的快照和其他克隆卷。自動(dòng)化部署FusionCube采用預(yù)集成方式自動(dòng)化部署系統(tǒng)，極大降低現(xiàn)場(chǎng)操作的復(fù)雜性，提升部署效率和質(zhì)量：通過(guò)預(yù)安裝、預(yù)集成、預(yù)驗(yàn)證，降低用戶安裝、部署的復(fù)雜度，減少用戶安裝部署時(shí)間；支持設(shè)備上電自動(dòng)發(fā)現(xiàn)，以及向?qū)降南到y(tǒng)初始化配置，實(shí)現(xiàn)快速完成系統(tǒng)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源初始化，大幅縮短業(yè)務(wù)上線時(shí)間；提供自動(dòng)化安裝部署工具，實(shí)現(xiàn)現(xiàn)場(chǎng)虛擬化平臺(tái)快速切換和版本升級(jí)。統(tǒng)一運(yùn)維管理FusionCube支持服務(wù)器、交換機(jī)等硬件設(shè)備的統(tǒng)一管理，也提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源的統(tǒng)一管理，大幅提高運(yùn)維效率和服務(wù)質(zhì)量：通過(guò)一個(gè)統(tǒng)一的管理界面提供機(jī)箱、服務(wù)器、交換機(jī)等硬件設(shè)備的日常維護(hù)，實(shí)時(shí)掌控系統(tǒng)中計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的運(yùn)行狀態(tài)，方便維護(hù)人員使用；自動(dòng)監(jiān)控IT資源和系統(tǒng)運(yùn)行狀態(tài)，對(duì)系統(tǒng)故障和潛在風(fēng)險(xiǎn)實(shí)時(shí)報(bào)警，告警可以通過(guò)郵件的方式通知維護(hù)人員；支持快速自動(dòng)完成新資源的擴(kuò)容，自動(dòng)發(fā)現(xiàn)待擴(kuò)容設(shè)備，通過(guò)向?qū)降臄U(kuò)容配置，快速完成資源擴(kuò)容。典型應(yīng)用場(chǎng)景服務(wù)器虛擬化：直接提供集成的FusionCube虛擬化基礎(chǔ)設(shè)施，不攜帶任何其他應(yīng)用軟件。桌面云：在虛擬化基礎(chǔ)設(shè)施上運(yùn)行VDI（VirtualDesktopInfrastructure）虛擬桌面或應(yīng)用虛擬化，提供桌面云服務(wù)。企業(yè)OA：在虛擬化基礎(chǔ)設(shè)施上運(yùn)行企業(yè)OA的服務(wù)端應(yīng)用，如微軟Exchange、Sharepoint應(yīng)用。軟硬件架構(gòu)首先介紹下超融合存儲(chǔ)的硬件架構(gòu)。硬件形態(tài)可以分為刀片服務(wù)器、高密服務(wù)器、機(jī)架服務(wù)器。刀片服務(wù)器：E9000是華為公司研發(fā)的一款機(jī)箱產(chǎn)品，提供12U空間，可安裝華為E9000系列計(jì)算節(jié)點(diǎn)、業(yè)務(wù)處理節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)以及相應(yīng)的資源擴(kuò)展節(jié)點(diǎn)。主要特性如下：1）可配置8個(gè)橫插的全寬計(jì)算節(jié)點(diǎn)或者16個(gè)半寬計(jì)算節(jié)點(diǎn)，支持槽位拆分。2）半寬槽位散熱能力850W。3）全寬槽位散熱能力1700W。4）半寬槽位最大支持2P+24DIMM的計(jì)算節(jié)點(diǎn)。5）全寬槽位最大支持4P+48DIMM的計(jì)算節(jié)點(diǎn)。6）單機(jī)箱支持32CPU計(jì)算密度，最大24TB內(nèi)存。7）背板最大交換容量5.76Tbps。8）4個(gè)（2對(duì)）交換槽位，支持Eth/IB等多種交換協(xié)議類型，支持直出I/O接口。支持多種類型的刀片：CH121V32P計(jì)算性刀片、CH222V32P計(jì)算存儲(chǔ)刀片、CH220V32P計(jì)算IO擴(kuò)展刀片、CH225V32P計(jì)算存儲(chǔ)刀片、CH242V34P計(jì)算刀片以及CH121V52P計(jì)算性刀片、CH225V52P計(jì)算存儲(chǔ)刀片、CH242V54P計(jì)算刀片。高密服務(wù)器：支持X6000和X6800兩種高密服務(wù)器平臺(tái)，其中X6800平臺(tái)的存儲(chǔ)計(jì)算密度高，4U4節(jié)點(diǎn)，節(jié)點(diǎn)可支持2塊系統(tǒng)盤和10塊3.5寸大盤，后置PCIE槽位2*8X槽位；X6000平臺(tái)計(jì)算密度高，2U4節(jié)點(diǎn)，但節(jié)點(diǎn)只支持6*2.5寸盤（含系統(tǒng)盤），單節(jié)點(diǎn)磁盤容量小，網(wǎng)卡只有板載的2*GE+2*10GE，只配置一張NVMESSD卡做cache。機(jī)架服務(wù)器：支持FusionServerX86系列和鯤鵬TaiShan服務(wù)器。支持的機(jī)架服務(wù)器覆蓋了1/2/4路服務(wù)器，可根據(jù)客戶要求，靈活的配置客戶需要的硬件設(shè)備。接著，我們介紹下超融合存儲(chǔ)的軟件架構(gòu)。華為超融合總體架構(gòu)主要由：硬件平臺(tái)、分布式存儲(chǔ)軟件、安裝部署和運(yùn)維管理平臺(tái)、虛擬化平臺(tái)以及相應(yīng)的備份容災(zāi)方案，其中虛擬化平臺(tái)支持華為自研的FusionSphere虛擬化平臺(tái)以及Vmware虛擬化平臺(tái)。另外,FusionSpere場(chǎng)景下，F(xiàn)usionCubeHCI支持混合部署方案，在支持FusionSphere虛擬化平臺(tái)外還能同時(shí)支持物理節(jié)點(diǎn)部署，為系統(tǒng)數(shù)據(jù)庫(kù)提供相應(yīng)的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。名稱說(shuō)明FusionCubeCenterFusionCube的管理軟件，管理其中的虛擬化資源、硬件資源，提供系統(tǒng)監(jiān)控管理和運(yùn)維管理等功能。FusionCubeBuilder提供現(xiàn)場(chǎng)快速安裝部署FusionCube系統(tǒng)軟件，可用于現(xiàn)場(chǎng)更換虛擬化平臺(tái)軟件或者更新版本。FusionStorage使用分布式存儲(chǔ)技術(shù)，通過(guò)合理有序組織服務(wù)器的本地硬盤，提供高性能高可靠的塊存儲(chǔ)業(yè)務(wù)。虛擬化平臺(tái)支持華為自研FusionSphere虛擬化平臺(tái)和Vmware虛擬化平臺(tái)，提供系統(tǒng)虛擬化管理平臺(tái)。備份用于備份系統(tǒng)業(yè)務(wù)虛擬化，主要包括自研的備份軟件eBackup和第三備份軟件Veeam、CV、愛(ài)數(shù)等主流備份軟件。容災(zāi)提供基于存儲(chǔ)雙活和存儲(chǔ)異步復(fù)制的容災(zāi)方案，容災(zāi)軟件主要采用自研BCManager和UltraVR硬件平臺(tái)服務(wù)器使用E9000/X6800/X6000/機(jī)架服務(wù)器，支持計(jì)算、存儲(chǔ)、交換、電源模塊化設(shè)計(jì)，計(jì)算和存儲(chǔ)節(jié)點(diǎn)按需混配，計(jì)算、存儲(chǔ)都在服務(wù)器內(nèi)部署完成，支持GPU，SSDPCIe等IO加速擴(kuò)展，支持豐富的交換模塊10GE/IB，根據(jù)業(yè)務(wù)要求靈活配置。傳統(tǒng)的架構(gòu)中，SANController是集中式的，這就會(huì)造成瓶頸。而在FusionCube中，分布式的架構(gòu)和分布式的存儲(chǔ)使得存儲(chǔ)的性能瓶頸消失。每個(gè)機(jī)器含都有計(jì)算和存儲(chǔ)，相當(dāng)于每個(gè)機(jī)器都是一個(gè)分布式的存儲(chǔ)控制器，這就解決了集中機(jī)頭控制器的瓶頸問(wèn)題。在計(jì)算和存儲(chǔ)分離的架構(gòu)下，所有的數(shù)據(jù)都需要通過(guò)網(wǎng)絡(luò)讀寫到存儲(chǔ)陣列，網(wǎng)絡(luò)就成了瓶頸。而在FusionCube中，采用了業(yè)界最快的IB網(wǎng)絡(luò)，提供了56Gbps的帶寬，并且每個(gè)節(jié)點(diǎn)之間是P2P互聯(lián)的，有效解決了網(wǎng)絡(luò)帶寬的問(wèn)題。傳統(tǒng)架構(gòu)中的第三個(gè)瓶頸是讀寫磁盤的時(shí)候，原來(lái)的硬盤讀寫速度慢成了瓶頸。而華為HCI架構(gòu)中采用了ES3000SSD卡作為緩存，ES3000是業(yè)界最快的SSD卡，有效解決了本地磁盤的讀寫問(wèn)題。分布式存儲(chǔ)邏輯結(jié)構(gòu)：在整個(gè)系統(tǒng)中，所有模塊都是按照分布式、去中心化的方式進(jìn)行部署，為系統(tǒng)提供高擴(kuò)展和高性能打下了堅(jiān)實(shí)的基礎(chǔ)。其中一些關(guān)鍵組件的功能解釋如下:1）VBS模塊是無(wú)狀態(tài)接口層，為VM和數(shù)據(jù)庫(kù)提供標(biāo)準(zhǔn)SCSI/iSCSI服務(wù)，與傳統(tǒng)磁陣的控制器類似，但是又有很大的區(qū)別，VBS基本不受部署數(shù)量的限制，它可以部署在所有需要存儲(chǔ)服務(wù)的服務(wù)器中，打破了傳統(tǒng)磁陣控制器數(shù)量的限制。2）OSD模塊提供硬盤的管理，部署在所有有硬盤的服務(wù)器中，它為VBS提供數(shù)據(jù)的讀取和寫入，同時(shí)它還提供高級(jí)存儲(chǔ)服務(wù)，包括瘦分配、快照、鏈接克隆，Cache、數(shù)據(jù)一致性等功能。3）MDC模塊提供存儲(chǔ)集群狀態(tài)的管理，以集群方式進(jìn)行部署，它不參與數(shù)據(jù)的處理流程，它會(huì)實(shí)時(shí)收集集群中各個(gè)模塊的狀態(tài)，并根據(jù)算法進(jìn)行集群視圖的控制。關(guān)鍵技術(shù)分布式哈算法FusionStorage塊存儲(chǔ)采用DHT（DistributedHashTable，分布式哈希表）架構(gòu)，將所有元數(shù)據(jù)按規(guī)則分布在各存儲(chǔ)節(jié)點(diǎn)，不存在跨節(jié)點(diǎn)的元數(shù)據(jù)訪問(wèn)，徹底避免了元數(shù)