華為FusionStorage技術建議書分布式存儲

1、華為FusionStorage分布式存儲技術建議書HUAWEIHuawei Technologies Co., Ltd.華為技術有限公司All rights reserved版權所有侵權必究Revision record修訂記錄為一種存儲與計算高度融合的存儲軟件，通過突破性的架構和設計，達到高性能、高可靠、高性價比。它具有一致的、可預測的性能及可擴展性，具有高彈性和自愈能力，具有計算存儲高度融合。FusionStorage采用分布式集群控制技術和分布式Hash數據路由技術，提供分布式存儲功能特性。FusionStorage功能架構圖如下所示：FusionStorage 功能模塊：SCSI亞動

2、A SCSI療催乖就病分布式情報克隆占分布式快照分布式箱簡配置 容災 分布或恥他硼牛設備層箕群狀態(tài)控制E9DOO計目、存儲融合力片五服務汽X的 CPUI5AS/SA7APCI-E 55D卡lOGE/lnlimBand存儲接口層：通過SCS驅動接口向操作系統、數據庫提供卷設備。存儲服務層：提供各種存儲高級特性，如快照、鏈接克隆、精簡配置、分布式 cache、容災 備份等。存儲引擎層：FusionStorage存儲基本功能，包括管理狀態(tài)控制、分布式數據路由、強一致性復制技術、集群故障自愈與并行數據重建子系統等。存儲管理層：實現FusionStorage軟件的安裝部署、自動化配置、在線升級、告警、監(jiān)

3、控和日志等。陽能，同時用戶提供 Portal界面。FusionStorage系統軟件架構:無秋壽機裂FusionStorage通過分布式架構把分散的、低速的SATA/SASL械硬盤組織成一個高效的虛擬化SAN?儲池設備，提供比 SA般備更高的IO能力，把性能發(fā)揮到極致。FusionStorage分布式存儲系統包含三個子系統:無狀態(tài)機頭無狀態(tài)機頭對外提供本地 SCSI接口或者ISCSI服務接口，可以部署在存儲節(jié)點，也可以靈活部署在計算節(jié)點。系統啟動時，無狀態(tài)機頭會從元數據集群獲取最新的數據分布視圖。在IO過程中，無狀態(tài)機頭會將數據均衡的分發(fā)到各個存儲節(jié)點。無狀態(tài)機頭提供多種接口支持，其中包才本地

4、SCSI, ISCSI。本地SCSI支持主流的linux操作系統，其他操彳系統可以通過ISCSI接口提供塊存儲服務。存儲集群在IO讀寫過程中，存儲集群接收到無狀態(tài)機頭分發(fā)的IO請求，會根據副本策略，將 IO分發(fā)到其他服務器或者機柜上的存儲節(jié)點；同時存儲節(jié)點會將每臺服務器上的緩存設備劃分成讀寫緩沖區(qū)，IO直接寫到cache中就向主節(jié)點返回。當緩沖區(qū)達到一定的水位后，存儲節(jié) 點會自動將緩沖區(qū)的數據刷到主存設備（機械硬盤/SSD）上。分布式機頭FusionStorage 采用無狀態(tài)的分布式軟件機頭，機頭部署在各個服務器上，無集中式機頭的性能瓶頸。單個服務器上軟件機頭只占用較少的CPIM源，提供比集中

5、式機頭更高的IOPS。分布式緩存FusionStorage 實現了計算和存儲的融合，緩存和帶寬都均勻分布到各個服務器節(jié)點上。FusionStorage支持將服務器SSD用作讀、寫緩存，對于數據的寫操作， 系統數據首先寫到SSD勺寫緩存中，所有副本（三個副本）寫緩存成功后，IO立即返回。同時IO也會將數據緩存均勻分布到各個節(jié)點上，所有服務器的緩存總容量遠大于采用外置獨立存儲的方案。即使采用大容量低成本的SAT儆盤，FusionStorage仍然可以發(fā)揮很高的IO性能，整體性能提升 13倍，同時提供更大的有效容量。FusionStorage支持PCIe SSDW作數據緩存，除具備通常的寫緩存外，增

6、加熱點數據統計和緩存功能，加上其大容量的優(yōu)勢，進一步提升了系統性能。由于分布式緩存帶來的性能優(yōu)勢，IO時延，IOPS都能很好的滿足數據庫的應用，FusionStorage系統可以支持業(yè)界主流的數據庫，支持OLAPQLT等主流業(yè)務。集群元數據管理Fusionstorage分布式存儲軟件的元數據服務采用集群管理方式，不會出現單點故障， 一個節(jié)點或者一塊硬盤故障自動從集群內隔離出來，不影響整個系統業(yè)務的使用。多數據副本Fusionstorage存儲系統中沒有使用傳統的 RAID莫式來保證數據的可靠性，而是采用了 多副本備份機制，即同一份數據可以復制保存多個副本。在數據存儲前，對數據進行分片， 分片后

7、的數據按照一定的規(guī)則保存集群節(jié)點上。如下圖所示，對于服務器 Serveri的 磁盤Diski上的數據塊P1,它的數據備份為服務器 Server2的磁盤Disk2上Pi' , P1和P1'構成了同一個數據塊的兩個副本。1.1 Fusionstorage 優(yōu)點概述高IOPS,低時延：應用大容量 Cache技術，提升IOPS;卷被切片分割打散到整個資源池所有硬盤中，條帶化寬度增加，單卷可獲得的性能大幅提升;訪問均衡，無熱點，資源池中各節(jié)點的利用率相同；無需預先設置固定RAID組，大資源池適應應用負載的動態(tài)變化；應用程序通過Cache直達存儲，時延更低；無級擴容、超大容量：分布式系統，

8、無管理機頭瓶頸，容量幾乎不受限制； 無級擴容：分布式機頭（每server服務器相當于一個機頭），無性能瓶頸，可無級擴容非煙囪式擴展：存儲與計算同步平滑擴展。即插即用式擴容：擴容后系統自動調整負載平衡，真正實現無級平滑擴容。管理簡單：結構簡單帶來管理簡單；免于低層配置管理：僅需要做應用層面的管理，免去大量低層配置管理事務。零性能管理的成本：自動負載均衡，無熱點，故障自愈，無需進行人工性能優(yōu)化。數據重建快：并行重建速快；數據分布可以跨服務器或跨機柜，不會因某個服務器、機柜故障導致數據不可訪問。數據分片在資源池內打散，硬盤故障后，可在全資源池范圍內自動并行重建，僅重建實際數據，無需熱備盤；重建仃吸據

9、時間 30分鐘。1.2 FusionStorage 應用場景適合使用FusionStorage的應用場景：VDI、OA應用。其典型特點是：容量共享精簡分配、性能共享分時復用、計算和存儲配 比相對均衡、成本性價比要求高。虛擬化環(huán)境混合應用。其典型特點是：容量共享需求明顯、多應用混合負載、線性擴展。OLAP應用。其典型特點是：大并發(fā)吞吐量，計算和存儲帶寬要求高。OLTP應用。其典型特點是：IOPS并發(fā)度高。FusionStorage應用場景圖：用層 虛擬化層1.2.1 FusionStorage 與 FusionSphere 融合場景Fusionstorage適合計算和存儲融合的系統，傳統的虛擬化

10、方式是在相互分離的計算、 存儲和網絡設備上疊加了一層虛擬化軟件。這種方式雖然可以提升資源利用率，但是由于系統的復雜性，并不能簡化各類基礎設施的運維成本。Fusionstorage把計算服務器的本地硬盤組織成一個類似SA酸備的虛擬存儲池，對上層應用提供存儲功能。華為云平臺FusionSphere主要有虛擬化基礎引擎 FusionCompute、云管理FusionManager 兩大組件組成；FusionStorage與FusionSphere融合使用形成華為 FusionCube解決方案應用 場景，如下圖所示：HA蝸幡 DRSDPM計算虛擬化網婚虐根化存楮虛掾化FuUoti Storaq u分布

11、或存儲平臺梢鎖配置司妾網 快照分布式tache曜性平臺(E9U0WRH22g8H)眼爭器/刀片5SWGPU卡居D卡FuiionManacrEWmUfi自助藤磐北肉根限管理AP監(jiān)控告警況&P0砧撲1應用自就言降.硬件自動激現與 91.2.2 FusionStorage 與 VMware融合場景FusionStorage與VMwar蒯合使用系統主要由五部分組成：硬件設備、分布式塊存儲系統,VMwar噓擬化平臺，統一的云管理平臺，備份服務器。FusionManagerVMwareW FusionStorage配套使用的系統架構計算節(jié)點ControllepVMESXI (HyFISCSI TA

12、RGETUser-VMUser VMUser VMVCenterFusionStorage1、系統初始部署時，在每臺部署VMware的服務器上部署一個控制虛擬機，該虛擬機上部署FusionStorage的無狀態(tài)機頭，每個無狀態(tài)機頭上會提供ISCSI的服務端。2、在VMwareISCSI配置信息中，優(yōu)先配置本地ISCSI接口信息。VMwareESXi會根據配置的ISCSI接口信息，掃描FusionStorage的存儲信息?？梢愿鶕呙璩鰜淼腖UNa成DataStore 。建議每個 DataStore 對應一個 LUN)3、創(chuàng)建DataStore后，VCenter就可以通過和ESXi的私有協議，創(chuàng)

13、建虛擬機模板和應用虛擬機。FusionStorage與VMwar醐合使用，在網絡部署上需要進行存儲節(jié)點和計算節(jié)點分離部署, 不能夠融合部署。1.2.3 FusionStorage 與 OpenStack 融合場景FusionSphere Platform 在OpenStack的基礎上擴展電信運營商和企業(yè)建設IT基礎設施及業(yè)務平臺所需要的特性，使用同一套架構同時支撐公有云和私有云的管理，提供了基于 OpenStack、ICT統一的開放云平臺。FusionSphere Platform 保持了 OpenStack的開放與兼容性，支持第 3方廠商的計算、存 儲、網絡和安全物理硬件，也支持第3方的計算

14、虛擬化、存儲虛擬化、網絡虛擬化和安全虛擬化產品。在云服務層面，在 OpenStack的基礎上提供備份、熱遷移、親和性資源調度、電 信云定制化擴展、物理資源池等擴展服務；在運維層面，基于OpenStack提供了安裝部署、升級/補丁、管理數據備份/恢復、信息收集、健康檢查等運維服務。 基于OpenStack的FusionSphere解決方案系統架構：/甕營金還./飛而八盛，t用），業(yè)應用 V c 為應用 V c備應用 VFusionManager自動化資源發(fā)放自動化基礎設施運維管理基礎設施組件功能簡介OpenStack華為OpenStack是基十開源的 OpenStack軟件進,步1開發(fā)的IaaS

15、層 軟件，提供PaaS層資源和功能，包括虛擬計算服務、對象存儲服務、 虛擬網絡服務、鏡像管理、權限管理服務等功能。FusionManager分為本地數據中心管理和多數據中心管理模塊，是華為公司提供的面向PaaS層資源管理的軟件，主要提供物理資源、虛擬資源管理和服 務，并實現軟件服務自動部署等上層應用功能。FusionStorageFusionStorage 是l種存儲與計舁局度融合的分布式存儲軟件，在通 用X86服務器上部署該軟件后，可以把所有服務器的本地硬盤組織成一個虛擬存儲資源池，提供塊存儲功能。SAN通用SAN設備，向OpenStack提供存儲資源。服務器X86服務器，向OpenStac

16、k提供物理的計算資源。與 FusionStorage 軟件結合可提供存儲資源。2 FusionStorage 應用中典型硬件平臺Fusionstorage在通用x86服務器上部署分布式存儲軟件，把所有服務器的本地硬盤組織成一個虛擬存儲資源池，提供塊存儲接口2.1 Fusionstorage在機架式服務器上使用FusionStorage+機架式服務器，實際項目中每臺服務器的CPU1號、內存數量，硬盤個數可根據項目需求配置。機架式服務器硬件圖如下：以華為RH228陰例，硬件外觀如下圖:硬盤位置示意圖FusionStorage+機架式服務器有四種刀片類型，MCNA LCNA SCNA CNA其中MC

17、NA于部署管理節(jié)點；LCNA SCNA CNAg于部署用戶虛擬機。幾個刀片類型說明如下：1、MCNA管理節(jié)點，必配。至少兩臺服務器，需要配置2P *6核以上CPU內存至少64G, 默認128G。同時作為FusionStorage 存儲節(jié)點。虛擬機部署 VRM4Core/8G內存/50G存儲）、FusionManager （4Core/16G 內存/280G存儲）、 這些管理軟件采用虛擬機部署，管理虛擬機需要獨占本地的兩塊硬盤提供存儲。部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要1Core CPU,至少25G內存，FusionStorage管理需要獨占一塊專門

18、的硬盤。另外配置611個硬盤用于FusionStorage 業(yè)務存儲。2、LCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。和SCNAJ業(yè)務功能相同，區(qū)別在于LCNAFB署了 FusionStorage的MDCC件。根據部署的用戶虛擬機規(guī)格和內存確定CPU1號（默認2P*2640）和內存配置（至少配置64G,默認128G）LCN町點部署FusionStorage管理和控制軟件，這些軟件運行在 Domain。，需要1Core CPU 至少25G內存。FusionStorage管理需要獨占一塊專門的硬盤。另外配置611個硬盤用于FusionStora

19、ge 業(yè)務存儲。剩余計算資源可用于部署業(yè)務虛擬機。3、SCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。根據部署的用戶虛擬機規(guī)格和內存確定CPU1號（默認2P*2640）和內存配置（至少配置64G默認128G）部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要ICore CPU,至少25G內存。另外配置611個硬盤用于FusionStorage業(yè)務存儲。剩余計算資源可用于部署業(yè)務虛擬機。4、CNA計算節(jié)點，選配。提供計算能力，部署用戶虛擬機。根據部署的用戶虛擬機規(guī)格和內存確定 CPU1號（默認2P*2640）和內存配

20、置（至少配置 64G,默認128G）部署業(yè)務虛擬機。1） 存儲虛擬化應用中未使用傳統的 SANS備，存儲直接使用2288H服務器上的本地硬盤配合高 性能SSDM故讀寫緩存介質。RH2288Hb的本地硬盤根據存儲位置，分為前置硬盤和后置硬盤。后置硬盤：2塊存SAS&,用于部署虛擬化 Domain。及FusionSphere （或其他虛擬化平臺）管理節(jié)點 VM根據管理節(jié)點的資源消耗，MCNA擇的是600GSAS（ FC/FM/FSMT理節(jié)點需要消耗約440G的存儲空間），LCN府DSCN的配置300GSASP可滿足要求。前置硬盤：選擇存SAT勰，物理位置可插12塊，支持1T/2T/3T/4

21、T多種配置，可根據用戶業(yè)務模型選擇 不同的配置。SSD選擇華為Tecal ES3000 PCIe SS而性能存儲卡（以下簡稱ES300Q外觀如下圖），ES3000為標準的PCIe全高半長插卡，接口類型為PCIe x8，適合安裝在機架服務器等通用服務器內，適用于搜索引擎、Cache數據庫、視頻服務等隨機讀寫操作頻繁和IOP酸求較高的業(yè)務,具有高性能、高IOPS、高可靠、易維護等優(yōu)點。ES3000夕卜觀2 ) 交換機每柜配置一對24 口 10G改換機S6724, 1個G%換機S5728,多柜間使用48 口或24口的10G或換機S67X順匯聚。匯聚交換機也可以使用局方的交換機，但網口和數量要求同華為

22、交換機。2.2 FusionStorage在刀片式服務器上使用FusionStorag+刀片式服務器的物理形態(tài)組成，支持計算、存儲、交換、電源模塊化設計，計算和存儲節(jié)點按需混配，支持10GM換模塊，根據業(yè)務要求靈活配置FusionStorage+刀片式服務器有四種刀片類型，MCNA LCNA SCNA CNA其中MCNA用于部署管理節(jié)點；LCNA SCNA CNAg于部署用戶虛擬機。幾個刀片類型說明如下：1、MCNA管理節(jié)點，必配。至少兩臺服務器 （目前數據庫一體機部署MCNA點只需要 一臺服務器）， 需要配置2P *6核以上CPU， 內存至少64G， 默認 128G。 同時作為FusionS

23、torage存儲節(jié)點。虛擬機部署 VRM（4Core/8G 內存/50G存儲）、FusionManager （4Core/16G 內存/280G存儲）、 FusionAccess 管理軟件，這些管理軟件采用虛擬機部署，管理虛擬機需要獨占本地 的兩塊硬盤提供存儲。部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要1Core CPU,至少25G內存，FusionStorage管理需要獨占一塊專門的硬盤。另外配置612個硬盤用于FusionSorage 業(yè)務存儲。2、LCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。和SC

24、NAJ業(yè)務功能相同，區(qū)別在于 LCNAFB署了 FusionStorage的MDCC件。根 據部署的用戶虛擬機規(guī)格和內存確定CPU1號（默認2P*2640）和內存配置（至少配置64G,默認128G）部署FusionStorage管理和控制軟件，這些軟件運行在 Domain。，需要ICore CPU,至少 25G內存。FusionStorage管理需要獨占一塊專門的硬盤（用于部署 zookeeper進程）。另外 配置 612個硬盤用于FusionSorage 業(yè)務存儲。部署用戶虛擬機。3、SCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。根據部署的

25、用戶虛擬機規(guī)格和內存確定CPU1號（默認2P*2640）和內存配置（至少配置64G默認128G）部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要ICore CPU,至少25G內存。另外配置612個硬盤用于FusionStorage業(yè)務存儲，部署用戶虛擬機。4、CNA計算節(jié)點，選配。提供計算能力，部署用戶虛擬機。根據部署的用戶虛擬機規(guī)格和內存確定 CPU1號（默認2P*2640）和內存配置（至少配置 64G,默認128G） 部署用戶虛擬機。3 FusionStorage 應用中網絡設計方案注：后續(xù)會支持其他廠商的服務器異構，比如 HP,DELLJBM勺服務器，本方

26、案中以RH228和 E900嚨例進行組網說明，其他服務器的組網與下面的 RH2288勺組網類似，請根據實際情景 進行修改。3.1 總體組網方案政務大廳核心交換機1、使用計算和存儲融合架構，資源池化，統一運維。2、業(yè)務、存儲、管理三網隔離，保證安全，存儲網絡內部運行，對客戶網絡部可見。3、虛擬化和桌面云的應用場景使用10GEO絡，數據倉庫場景使用的情況下使用舊網絡。3.2 在機架式服務器上使用組網方案3.2.1單柜10GE組網4均喬 上行10GE24x1 OGE (2)24x10GE(1)IOGLMgmt機架服務器機架服務器LJLI2X1OGE2X10GEICE,已喝U：； Eth-mnk仁一；

27、垠024x1 GEL_rMgmt接入交換機采用S6724/S6324接入部署，服務器可采用華為RH5885,RH2288H;其他公司如HP,DELL,IBM的服務器。說明:1、服務器上默認配置一塊 2*10GE的網卡，分別與兩臺10GM換機連接，兩個網口做bond,缺省為負載分擔規(guī)模2、服務器的BMC網口與一臺G汽換機連接，G或換機上行兩個6段纜分別與兩個10G改換機連接10GE±行對接客戶網絡，默認提供3、10G/換機下行承擔內部管理、存儲、業(yè)務平面,4*10GE,兩臺10G改換機堆疊4、以華為RH228陰例，2m柜可以部署16臺RH2288H或者部署RH5883艮務器6臺5、最大

28、規(guī)模16臺RH2288H/RH5885艮務器，后續(xù)擴容需要增加匯聚交換機3.2.2單柜舊存儲組網4用桎上行10GE24x10GE(1)24x10GE(2)HK.p24x1 GE2x56Gb36x56Gb IB(1)36K56Gb 16(2)1(.I.r IN56Gh RCEth-trunkLTLJ 2X10GELT Mgmt"&LJ2xlOGE機架服等需說明：1、服務器上默認配置一塊 2*10GE的網卡，分別與兩臺10GM換機連接，兩個網口做bond, 缺省為源目的IP和Port負荷分擔模式，對應的交換機端口配置eth-trunk2、服務器的BMC網口與一臺G汽換機連接，G或

29、換機上行兩個GEE纜分別與兩個10G改 換機連接，對應端口做 eth-trunk3、10G/換機下行承擔內部管理、業(yè)務平面網絡連接，10GEk行對接客戶網絡，默認提供4*10GE,兩臺10G或換機堆疊4、每臺服務器上的兩個 舊網口分別與兩臺 舊交換機連接，兩臺 舊交換機之間6根線互連， IB網口承擔存儲平面的通信5、2m柜可以部署12臺RH2288H或者部署RH5883艮務器6臺6、后續(xù)擴容需要增加10GEL聚交換機和 舊主干交換機3.3 在刀片服務器上使用組網方案3.3.1 虛擬化10GE刀片服務器組網上行1OGElUt.H4xlOGE獷展框-2JdloGs擴展框/說明：1、每個刀片配置1個

30、2*10GE口的iNIC網卡或普通10G啊卡（MZ510 ;2、每個機框使用XCU改換板，通過基本框自級聯方式，不使用外置交換機。框間使用4*10GE互聯。如果使用華為E900雙框最大支持8框，64個FusionStorage存儲節(jié)點（CH222;3、框內兩塊交換板通過 40Gg口堆疊;3.3.2虛擬化IB+SSD組網上行1血Il(KEi5Hib IB二二，Eth-trunk2MCNAtlCNArS$CNAi&Sb1T1SE510GE一手一曷一宗莒EMWOCF一軟5界118KNA“，l SSCNA說明:1、中心框匯聚，10G序口舊交換板，無外置交換機，最大規(guī)模7框2、每擴展框兩塊3、每

31、擴展框兩塊10G改換板與中心框2+2 (40GE互連，內部管理與業(yè)務舊交換板與匯聚框3+3互連，其中直連2根交叉1根舊線，內部存儲4、中心框上行2+2 (40GE),外部業(yè)務5、刀片采用計算存儲融合方式(CH223 ,每刀片主要配置：1塊2*10GE(MZ510), 1塊2*56Gb(MZ611), 2塊 SS比存6、每擴展框存儲單面帶寬 2*56Gb=112Gbps4服務器數量規(guī)劃4.1 FusionStorage按容量和性能計算服務器數量1、1個FusionStorage 存儲資源池，兩副本情況下最大 96塊硬盤或者32張SSD。三副 本情況最大為2000塊盤或者300張SStDo2、每個

32、存儲節(jié)點的FusionStorage硬盤或者SSD的型號和數目保持相同。如果使用硬 盤作主存，則每節(jié)點配置建議最小4塊硬盤、最多12塊硬盤。如果是SSDH故主存,當前每個節(jié)點最少配置1張SSD,最多配置2張SSD。虛擬化場景下FusionStorage單盤/單卡IOPS:Cach聯型主存業(yè)務側單盤IOPS假設條件NVDIMMSAS&2002vCPU 2G存/OSDCache#中率50% 讀寫比例4:6 ,兩副本NVDIMMSAS&1102vCPU 2G存/OSDCache#中率50% 讀寫比例4:6 ,三副本800G SS酢NLSAS!1203vCPU 內存 /OSDCache

33、#中率50% 讀寫比例4:6 ,三副本400G SS酢nlsaS!75NVDIMMSSD250006vCPU 內存 /OSDCache#中率50% 讀寫比例4:6 ,三副本IOPS計算：對于小塊隨機場景（如 VDI）?；A數據：業(yè)務側單盤IOPS = x ,硬盤數量為n,則卷/應用層面的有效IOP鈴式為:總的有效IOPS = x* n容量計算：基礎數據：磁盤標稱容量 =z , FusionStorage OSD開銷=r , FusionStorage硬盤數目=n磁盤空間利用率=q,副本數=k則卷 / 應用層面的有效容量公式為：總的有效容量=（z/A3）-r）*q*m/k所需的硬盤數量=max

34、（容量計算的硬盤數目m IOPS計算的硬盤數目n）舉例：某項目要求2000IOPS, 20T容量，采用600G SASa按IOPS十算，硬盤數y1 :基礎數據：x = 200則利用上述公式：2000= 200*y1 y1=10按容量計算，硬盤數y2：基礎數據：z = 600G q= 95% k=2 r =則利用上述公式：20000 = （ 600/A3） ） *y2*2 y2 = 79 （向上取整）需要的硬盤數N = max（ y1,y2 ） =max（79,9）=795 FusionStorage 產品特性介紹5.1 性能卓越FusionStorage通過創(chuàng)新的架構把分散的、低速的SATA/

35、SAS/L械硬盤組織成一個高效的類 SAN 存儲池設備，提供比SA酸備更高的IO,把性能發(fā)揮到了極致。FusionStorage支持使用SSLDT代HD階為高速存儲設備，支持使用 Infiniband 網絡替代GE/10GEO絡提供更高的帶寬，為對性能要求極高的大數據量實時處理場景提供完美的支持。分布式機頭FusionStorage 采用無狀態(tài)的分布式軟件機頭，機頭部署在各個服務器上，無集中式機頭的性能瓶頸。單個服務器上軟件機頭只占用較少的CP賞源，提供比集中式機頭更高的IOPS分布式緩存Fusionstorage實現了計算和存儲的融合，緩存和帶寬都均勻分布到各個服務器節(jié)點上。Fusionst

36、orage集群內各服務器節(jié)點的硬盤使用獨立的I/O帶寬，不存在獨立存儲系統中大量磁盤共享計算設備和存儲設備之間有限帶寬的問題。Fusionstorage支持將服務器部分內存用作讀緩存，NVDIMMR SSD用作寫緩存，數據緩存均勻分布到各個節(jié)點上，所有服務器的緩存總容量遠大于采用外置獨立存儲的方案。即使采用大容量低成本的SAT儆盤，Fusionstorage仍然可以發(fā)揮很高的IO性能，整體性能提升13 倍，同時提供更大的有效容量。Fusionstorage支持PCIe SSD用作數據緩存，除具備通常的寫緩存外，增加熱點數據統計和 緩存功能，加上其大容量的優(yōu)勢，進一步提升了系統性能。Fusion

37、storage計算和存儲融合L箕鬼山加嶼電全局負載均衡Fusionstorage的實現機制保證了上層應用對數據的IO操作均勻分布在不同服務器的不同硬盤上，不會出現局部的熱點，實現全局復負載均衡。第一，系統自動將數據塊打散存儲在不同服務器的不同硬盤上，冷熱不均的數據會均勻分布在不同的服務器上，不會出現集中的熱點。第二，數據分片分配算法保證了主用副本和備用副本在不同服務器和不同硬盤上的均勻分布, 換句話說，每塊硬盤上的主用副本和備副本數量是均勻的。第三， 擴容節(jié)點或者故障減容節(jié)點時，數據恢復重建算法保證了重建后系統中各節(jié)點負載的均衡性。分布式SS席儲FusionStorage支持為高性能應用設計的

38、分布式SS*儲系統，擁有比傳統的機械硬盤(SATA/SAS更高的讀寫性能。華為SSDMI有如下特點高帶寬：采用PCIe x8 的接口，提供高達的讀/寫帶寬。高IO: 4KB數據塊，100%隨機，提供高達 600K的持續(xù)隨機讀IOPS和220K的持續(xù)隨機寫 IOPS。FusionStorage分布式SS*儲系統通過以下措施增強了可靠性：內嵌的EC%錯/糾錯引擎和RAID5引擎，數據通道間形成二維的檢錯 /糾錯機制。內置 DATA Scrubbing 引擎定時檢測存儲數據，提前預防數據錯誤的產生。通道間使用Dynamic RAID 算法，實現通道間的資源共享，確保在芯片壞塊過多甚至是多個芯片故障的

39、情況下均能正常工作。內部實現冷熱數據分類與管理，配合先進的磨損算法，最大程度上提升回收效率，降低寫磨損，從而提升SSD的使用壽命。Fusionstorage支持分布式SS的儲系統Fusionstorage高性能快照Fusionstorage提供了快照機制，將用戶的邏輯卷數據在某個時間點的狀態(tài)保存下來，后續(xù) 可以作為導出數據、恢復數據之用。Fusionstorage快照數據基于DHTL制，快照不會引起原卷性能下降。通過一次Hash查找即可判斷有沒有做過快照，以及最新快照的存儲位置，因此效率很高。Fusionstorage 快照：快照1 Deltana快照？ Deltm磁窗快照3 DSt不破通快鳴

40、1快照2快照3高性能鏈接克隆Fusionstorage基于增量快照提供了鏈接克隆機制，基于一個快照創(chuàng)建出多個克隆卷，各個后續(xù)對于克隆卷的修改不會影響克隆卷剛創(chuàng)建出來時的數據內容與快照中的數據內容一致,到原始的快照和其他克隆卷。FusionStorage支持1:256的鏈接克隆比，提升存儲空間利用率。FusionStorage支持批量進行虛擬機卷部署，能夠在秒級批量創(chuàng)建上百個虛擬機卷?？寺【砝^承普通卷所有功能：克隆卷可支持創(chuàng)建快照、從快照恢復以及再次作為母卷進行克 隆操作。FusionStorage鏈接克隆:克隆卷克隆卷作為用卷克隆卷創(chuàng)建快照高速Infiniband 網絡FusionStorag

41、e支持為高帶寬應用設計的Infiniband 網絡，存儲交換無瓶頸。56Gbps FDR InfiniBand ,超高速互聯。標準成熟多級胖樹組網，平滑容量擴容。近似無阻塞通信網絡，數據交換無瓶頸。納秒級通信時延，計算存儲信息及時傳遞。無損網絡QOS數據傳送無丟失。主備端口多平面通信，冗余通信無憂。單口 56Gbps帶寬，完美配合極速 SSM儲吞吐，性能無限。5.2 高可靠集群管理FusionStorage分布式存儲軟件采用集群管理方式，不會出現單點故障，一個節(jié)點或者一塊 硬盤故障自動從集群內隔離出來，不影響整個系統業(yè)務的使用。集群內選舉進程Leader, Leader負責數據存儲邏輯的處理，

42、當Leader出現故障，系統自動選舉其他進程成為新的Leader 。多數據副本FusionStorage存儲系統中沒有使用傳統的RAID模式來保證數據的可靠性，而是采用了多副本備份機制，即同一份數據可以復制保存多個副本。在數據存儲前，對數據進行分片，分片后的數據按照一定的規(guī)則保存集群節(jié)點上。如下圖所示，對于服務器 Server1的 磁盤Disk1上的數據塊P1,它的數據備份為服務器Server2的磁盤Disk2上P1' , P1和P1'構成了同一個數據塊的兩個副本。FusionStorage多數據副本Server 1數據一致性數據一致性的要求是：當應用程序成功寫入一份數據時，后

43、端的幾個數據副本必然是一致的, 當應用程序再次讀時，無論在哪個副本上讀取，都是之前寫入的數據。保證多個數據副本之間的數據一致性是FusionStorage的重要特點，FusionStorage采用強一致性復制技術確保各個數據副本的一致性。FusionStorage還支持Read Repair機制。Read Repair機制是指在讀數據失敗時，會判斷錯誤類型，如果是磁盤扇區(qū)讀取錯誤，可以通過從其他副本讀取數據，然后重新寫入該副本的方法進行恢復，從而保證數據副本總數不減少?？焖贁祿亟‵usionStorage內部具備強大的數據保護機制。數據存儲時被分片打散到多個節(jié)點上，這些分片數據支持分布在不同

44、的存儲節(jié)點、不同的機柜之間，同時數據存儲時采用多副本技術，數據會自動保存多份，每一個分片的不同副本也被分散保存到不同的存儲節(jié)點上。在硬件發(fā)生故障導致數據不一致時，FusionStorage通過內部的自檢機制，通過比較不同節(jié)點上的副本分片，自動發(fā)現數據故障。發(fā)現故障后啟動數據修復機制，在后臺修復數據。由于數據被分散到多個不同的存儲節(jié)點上保存，數據修復時，在不同的節(jié)點上同時啟動修復，每個節(jié)點上只需修復一小部分數據，多個節(jié)點并行工作，有效避免單個節(jié)點修復大量數據所產生的性能瓶頸，對上層業(yè)務的影響做到最小化。數據故障自動恢復流程如下圖所示。FusionStorage數據重建流程：FusionStora

45、ge支持并行、快速故障處理和重建：數據分片在資源池內打散，硬盤故障后，可在資源池范圍內自動并行重建。數據分布上支持跨服務器，不會因某個服務器故障導致的數據不可訪問。擴容時可以自動進行負載均衡，應用無需調整即可獲得更大的容量和性能。掉電保護系統運行過程中可能會出現服務器突然下電的情況，Fusionstorage使用保電介質來保存元數據和緩存數據，以防掉電而丟失。Fusionstorage支持的保電介質為 NVDIMM存條或PCIe SSD卡。程序運行過程中器會把元數 據和緩存數據寫入保電介質中，上電后恢復保電介質中的元數據和緩存數據。Fusionstorage 保電介質（NVDIMM存和 PCI

46、e SSD）同步容災基于Fusionstorage鏡像同步容災方案，其原理如下所示，配置主備站點存儲鏡像關系，粒度為丫帷載的卷。連接鏡像關系后，主站點VMF發(fā)的I/O寫請求，會同步復制到容災站點鏡像卷上。業(yè)務I/O流程：1、Primary站點主機下發(fā)I/O寫請求。2、Primary站點將I/O寫請求同步發(fā)送到 Secondary站點。3、Secondary站點寫成功，向 Primary站點返回寫完成。4、Primary站點確保 Primary和Secondary站點均寫成功，向主機響應寫請求完成。災規(guī)格：規(guī)格名稱規(guī)格指標RPO0RTO<4Hour網絡時延RTTg求<5ms備注：兩個

47、站點之間的距離小于250KM同步復制網絡帶寬>站點業(yè)務峰值寫I/O帶寬容災鏡像卷最大規(guī)格8T鏡像卷最大規(guī)格4096個鏡像5.3 彈性擴展Fusionstorage采用的分布式集群架構，天然支持無性能損耗的彈性擴展。DHT數據路由Fusionstorage 采用DHT(Distribute Hash Table ,分布式哈希表)路由數據算法。每個存儲節(jié)點負責存儲一小部分數據，基于DHT；現整個系統的尋址和存儲。DHTT法具有以下特點：均衡性(Balance):數據能夠盡可能分布到所有的節(jié)點中，這樣可以使得所有節(jié)點負載均衡。單調性(Monotonicity):當有新節(jié)點加入系統中時，系統重新

48、做數據分配，原來的數據存儲 位置不需要很大的調整。FusionStorage存儲路由采用分布式哈希算法，使得存儲系統具有如下特點：快速達到負載均衡：新加入節(jié)點只需要搬移很少部分數據分片即可達到負載均衡。數據高可靠：靈活配置的分區(qū)分配算法，避免多個數據副本位于同一個服務器、同一個磁盤上。FusionStorage DHT 數據路由：平滑擴容節(jié)點FusionStorage的分布式架構具有良好的可擴展性，支持超大容量的存儲：DHT算法保證了擴容后不需要做大量的數據搬遷，可以快速達到負載均衡狀態(tài)。擴展計算節(jié)點可以同步擴容存儲空間，擴容后的系統仍舊是計算和存儲融合的，非煙囪式擴展。FusionStora

49、ge 分布式系統的帶寬和 Cache都均勻分布到各個節(jié)點上，帶寬和Cache隨著節(jié)點的擴容而線性增加。擴容時支持即插即用，擴容后系統自動調整負載平衡，真正實現無級平滑擴容。FusionStorage平滑擴容節(jié)點將擴容加入節(jié)點1資源按需使用FusionStorage提供了精簡配置機制，為用戶提供比實際物理存儲更多的虛擬存儲資源。相 比直接分配物理存儲資源，可以顯著提高存儲空間利用率。采用分布式Hash技術，天然支持分布式自動精簡配置(Thin Provisioning),無需預先分配空間。精簡配置(Thin Provisioning)無任何性能下降(IPSANB"展空間時需要耗費額外的

50、性能)。FusionStorage自動精簡配置:傳統配置5.4管理簡便易管理與華為硬件配合使用的 FusionStorage存儲軟件在出廠前已經做了預安裝，在用戶機房只需要根據實際，情況調整IP配置就可以了。FusionStorage存儲軟件完成安裝部署以后可以自動運行，不需要人工干預，系統缺省配置 已經做了優(yōu)化處理。FusionStorage 軟件進程包括： Manager、Agent、MDC VBSF口OSD 其中 Manager和Agent共同完成OM1能，MDC VBSF口 OS哄同完成存儲功能。在虛擬化環(huán)境下，FusionStorage的部署如下圖所示:FusionStorage軟件

51、部署：FusionCompiJteFysiofi ManagerFusion Storage MangrAFusionStorage昌獻MJHMDC ?。├顳 FusionStorage AgentMDC j廠即黜rmFusionStorage AgentFusion 5tB a肝AgfrttFu5.ionStDrageAgeintFusion Sroragp軟件進程功能描述Manager告警、監(jiān)控、日志、配置等 。如能，支持主備節(jié)點部署。Agent各節(jié)點的。就能代理進程，部署在各節(jié)點上，每個節(jié)點部署一個進程。MDCMD0存儲管理集群，負責集群的狀態(tài)控制。MDCT理集群部署在3個節(jié)點上，每個節(jié)

52、點一個進程。VBSVBS是無狀態(tài)機頭集群，負責卷元數據的管理。每個服務器上部署一個或者多個VBS進程。OSDOSD寸象存儲設備，執(zhí)行具體的IO操作。在每個服務器上部署多個進程，與磁鐳一對應，一塊磁盤對應一個OSDWeb UI界面FusionStorage提供可視化的Portal界面，用戶從Portal界面可以查看系統監(jiān)控 （KPI指標）、 告警事件和存儲池狀態(tài)等，操作維護簡單。卜圖顯示了 FusionStorage的存儲池管理界面。FusionStorage Web UI 界面：5.5 兼容性硬件兼容性FusionStorage 可以運行在華為自產的 Tecal RH2288H和Tecal E

53、9000等服務器上,FusionStorage對硬件平臺有如下基本要求:FusionStorage 運行在通用的 X86服務器平臺上。FusionStorage采用分布式集群架構，最少需要三個服務器節(jié)點。集群內各服務器的硬盤數量必須相同，單個節(jié)點上支持412塊硬盤。為保證服務器突然下電后，FusionStorage 在內存中的元數據和緩存數據不丟失，每臺服務器都需要配置4G NVDIMM存條/或PCIe SSD卡（大小可選400G/800G/。FusionStorage正常運行需要單個占用服務器物理內存大小為：+*N, （N是硬盤個數，取值范圍：412）,服務器的內存配置必須高于這個數值（還需

54、要考慮分配 給操作系統和應用軟件的內存）。服務器需要兩個網口支持雙平面網絡：管理平面和存儲平面，其中存儲平面帶寬要求不低于10GbpsoTecal RH2288HV2是一款2U度2路CPU勺服務器，具有出色的擴展靈活性，更好的 計算性能，企業(yè)級可靠性，適用性廣泛。RH2288H V酒已置如下：2 * Intel? Xeon E5-2600 CPU24 個 RDIMM/LRDIMM存插槽2*' + 2* ' , or 8* ' , or 26*' SAS/SATA硬盤，支持 RAID0/1/5/10/50/6/60支持512MB/1GB Cache,電池/電容可選7個PCIe擴展插槽支持TPM內置 U盤/USB Flash 卡2個冗余熱插拔電源RH2288V方卜