FusionStorage分布式存儲系統(tǒng)介紹

1、FusionStorage 分布式存儲系統(tǒng)介紹技術創(chuàng)新，變革未來學完本課程后，您將能夠：區(qū)分傳統(tǒng)存儲和分布式存儲的區(qū)別描述Fusionstorage基礎原理和特性安裝和使用FusionStorageFusionStorage方案介紹FusionStorage架構原理FusionStorage部署配置認識Server SAN概念由多個獨立服務器自帶的存儲組成一個存儲資源池，同時融合了計算和存儲資源。特征專有設備變通用設備計算與存儲線性擴展簡單管理、低TCO傳統(tǒng)SAN架構孤立的存儲資源：存儲通過專用網絡連接到有限數(shù)量的服務器。FC/IP存儲設備通過添加硬盤框增加容量，控制器性能成為瓶頸。分布式Se

2、rver SAN架構共享式存儲資源池計算、存儲融合部署InfiniBand /10GE Network虛擬化/操作系統(tǒng)容量和性能線性增長InfiniBand /10GE Network分布式Server SAN架構共享式存儲資源池計算、存儲融合部署InfiniBand /10GE Network虛擬化/操作系統(tǒng)容量和性能線性增長InfiniBand /10GE Network華為Server SAN產品FusionStorage分布式塊存儲軟件將通用X86服務器的本地HDD、SSD等介質通過分布式技術組織成大規(guī)模存儲資源池。對非虛擬化環(huán)境的上層應用和虛擬機提供工業(yè)界標準的SCSI和iSCSI接

3、口。開放的API。計算存儲存儲計算計算計算存儲存儲ControllerControllerControllerControllerPCIe SSDPCIe SSDPCIe SSDPCIe SSD華為FusionStorage兩大主要應用場景FusionStorageSCSI/iSCSI物理部署虛擬化平臺OpenStack查詢檢索財務報表數(shù)據分析HANA公有云VDI開發(fā)測試私有云CRMERP市場營銷分布式Cache分布式Cachex86服務器DHT環(huán)強一致性算法x86服務器高速網絡 IB /GE/10GE云資源池數(shù)據庫及關鍵應用FusionStorage方案介紹FusionStorage架構原理

4、FusionStorage部署配置FusionStorage邏輯架構 (1/2)FSM（FusionStorage Manager）：FusionStorage管理模塊，提供告警、監(jiān)控、日志、配置等操作維護功能。一般情況下FSM主備節(jié)點部署。FSA（FusionStorage Agent）：代理進程，部署在各節(jié)點上，實現(xiàn)各節(jié)點與FSM通信。FSA包含MDC、VBS和OSD三種不同的進程。根據系統(tǒng)不同配置要求，分別在不同的節(jié)點上啟用不同的進程組合來完成特定的功能。FusionStorage邏輯架構 (2/2)MDC（MetaData Controller）：元數(shù)據控制，實現(xiàn)對分布式集群的狀態(tài)控制

5、，以及控制數(shù)據分布式規(guī)則、數(shù)據重建規(guī)則等。 MDC默認部署在3個節(jié)點的ZK(Zookeeper)盤上，形成MDC集群。VBS（Virtual Block System）：虛擬塊存儲管理組件，負責卷元數(shù)據的管理，提供分布式集群接入點服務，使計算資源能夠通過VBS訪問分布式存儲資源。每個節(jié)點上默認部署一個VBS進程，形成VBS集群。節(jié)點上也可以通過部署多個VBS來提升IO性能。OSD（Object Storage Device）：對象存儲設備服務，執(zhí)行具體的I/O操作。在每個服務器上部署多個OSD進程，一塊磁盤默認對應部署一個OSD進程。在SSD卡作主存時，為了充分發(fā)揮SSD卡的性能，可以在1張S

6、SD卡上部署多個OSD進程進行管理，例如2.4TB的SSD卡可以部署6個OSD進程，每個OSD進程負責管理400GB。FusionStorage部署方式融合部署指的是將VBS和OSD部署在同一臺服務器中。虛擬化應用推薦采用融合部署的方式部署。分離部署指的是將VBS和OSD分別部署在不同的服務器中。高性能數(shù)據庫應用則推薦采用分離部署的方式?；A概念 (1/2)資源池：FusionStorage中一組硬盤構成的存儲池。Volume：應用卷，代表了FusionStorage向上層呈現(xiàn)的一個邏輯存儲單元。DiskP1P2PyDiskDiskDiskDiskDiskVolume1Volume2Volum

7、e3P1P2Px資源池1Volume10Volume11Server1Server2Server3資源池2基礎概念 (2/2)數(shù)據副本： FusionStorage采用數(shù)據多副本備份機制來保證數(shù)據的可靠性，即同一份數(shù)據可以復制保存為23個副本。Disk1P1P2Disk2Disk3Disk6Disk4Disk5Server 1Server 2Server 3P3P4P5P6P7P8P13P14P15P16P17P18P19P20P1P3P5P7P9P10P11P12P13P15P17P19P21P22P23P24P4P8P16P20P21P22P23P24P9P10P2P6P14P18P11P

8、12P9P10P11P12P2P6P14P18P21P22P23P24P4P8P16P20FusionStorage Cache寫機制OSD在收到VBS發(fā)送的寫IO操作時，會將寫IO緩存在SSD cache后完成本節(jié)點寫操作。OSD會周期將緩存在SSD cache中的寫IO數(shù)據批量寫入到硬盤，寫Cache有一個水位值，未到刷盤周期超過設定水位值也會將Cache中數(shù)據寫入到硬盤中。FusionStorage支持大塊直通，按缺省配置大于256KB的塊直接落盤不寫Cache，這個配置可以修改。FusionStorage Cache讀機制FusionStorage的讀緩存采用分層機制，第一層為內存ca

9、che，內存cache采用LRU機制緩存數(shù)據。第二層為SSD cache，SSD cache采用熱點讀機制，系統(tǒng)會統(tǒng)計每個讀取的數(shù)據，并統(tǒng)計熱點訪問因子，當達到閾值時，系統(tǒng)會自動緩存數(shù)據到SSD中，同時會將長時間未被訪問的數(shù)據移出SSD。FusionStorage預讀機制，統(tǒng)計讀數(shù)據的相關性，讀取某塊數(shù)據時自動將相關性高的塊讀出并緩存到SSD中。FusionStorage 分布式CacheFusionStorage集群內各服務器節(jié)點的緩存和帶寬都均勻分布到各個服務器節(jié)點上，不存在獨立存儲系統(tǒng)中大量磁盤共享計算設備和存儲設備之間有限帶寬的問題。FusionStorage支持將服務器部分內存用作讀

10、緩存，NVDIMM和SSD用作寫緩存，數(shù)據緩存均勻分布到各個節(jié)點上，所有服務器的緩存總容量遠大于采用外置獨立存儲的方案。即使采用大容量低成本的SATA硬盤，F(xiàn)usionStorage仍然可以發(fā)揮很高的IO性能，整體性能提升13倍。FusionStorage支持SSD用作數(shù)據緩存，除具備通常的寫緩存外，增加熱點數(shù)據統(tǒng)計和緩存功能，加上其大容量的優(yōu)勢，進一步提升了系統(tǒng)性能。Cache共享，水平任意擴展主機APP1主機APP2存儲SRV1存儲SRV2存儲SRV3存儲SRV1存儲SRV2存儲SRV3存儲SRV4主機APP1主機APP2Cache資源池Cache資源池FusionStorage：分布式C

11、ache資源池9.6TB7.2TB存儲網絡GE/10GE組網物理服務器網卡要求配置網口聚合（Bond）。GE組網時，硬件至少為4*1Gb組網，其中至少3*1Gb用于存儲平面。10GE組網時，硬件至少為2*10Gb組網，其中至少2*6Gb用于存儲平面。IB高速組網FusionStorage內部通信支持低時延、高帶寬的Infiniband網絡，存儲交換無瓶頸。單口56Gbps帶寬，完美配合極速SSD存儲吞吐。FusionStorage塊存儲功能 - SCSI/iSCSI塊接口FusionStorage通過VBS以SCSI或iSCSI方式提供塊接口：SCSI方式：安裝VBS的物理部署、FusionS

12、phere或KVM等采用SCSI方式；iSCSI方式：安裝VBS以外的虛擬機或主機提供存儲訪問，VMware、MS SQL Server集群采用iSCSI模式。CVM硬件介質VMWARE-ESXiVBSOSDVMVMiSCSI-InitiatorVMFS iSCSI-TargetVM硬件介質UVP/KVMVBSOSDVMSCSIFusionStorage精簡配置功能相比傳統(tǒng)方式分配物理存儲資源，精簡配置可顯著提高存儲空間利用率。FusionStorage天然支持自動精簡配置，和傳統(tǒng)SAN相比不會帶來性能下降。2TB2TB2TB300GB600GB900GB傳統(tǒng)配置自動精簡配置時間FusionS

13、torage快照功能FusionStorage快照機制，將用戶卷數(shù)據在某個時間點的狀態(tài)保存下來，可用作導出數(shù)據、恢復數(shù)據之用。FusionStorage快照數(shù)據在存儲時采用ROW（Redirect-On-Write）機制，快照不會引起原卷性能下降。無限次快照：快照元數(shù)據分布式存儲，水平擴展，無集中式瓶頸，理論上可支持無限次快照。卷恢復速度快：無需數(shù)據搬遷，從快照恢復卷1S內完成（傳統(tǒng)SAN在幾小時級別）。第一次快照123456789123456789初始卷新數(shù)據寫123456789111213第二次快照123456789111213新數(shù)據寫123456789121113151811151345

14、67818等效內容FusionStorage故障容忍數(shù)據可靠是第一位的，F(xiàn)usionStorage建議3副本配置部署。如果兩副本故障，仍可保障數(shù)據不丟失。故障容忍根據環(huán)境規(guī)模可以支持：跨服務器故障容忍跨機柜故障容忍跨機房故障容忍容忍同時2機房故障支持機房級安全機房A機房B機房CFusionStorage快速數(shù)據重建FusionStorage中的每個硬盤都保存了多個DHT分區(qū)（Partition），這些分區(qū)的副本按照策略分散在系統(tǒng)中的其他節(jié)點。當FusionStorage檢測到硬盤或者節(jié)點硬件發(fā)生故障時，自動在后臺啟動數(shù)據修復。由于分區(qū)的副本被分散到多個不同的存儲節(jié)點上，數(shù)據修復時，將會在不同的

15、節(jié)點上同時啟動數(shù)據重建，每個節(jié)點上只需重建一小部分數(shù)據，多個節(jié)點并行工作，有效避免單個節(jié)點重建大量數(shù)據所產生的性能瓶頸，對上層業(yè)務的影響做到最小化。數(shù)據分片存儲硬件故障故障自動檢測自動重建數(shù)據副本多節(jié)點并行恢復FusionStorage彈性擴展FusionStorage擴容后，容量、性能、帶寬、緩存等整體提升。ServerAPPAPPMemorySSDHDDsServerAPPAPPMemorySSDHDDsServerAPPAPPMemorySSDHDDsServerMemorySSDHDDsServerMemorySSDHDDs待擴容加入節(jié)點1待擴容加入節(jié)點2FusionStorage 分

16、布式一體化存儲計算網絡（10GE）FusionStorage跨資源池的卷冷遷移跨資源池卷冷遷移：把卷從源資源池 遷移到目的資源池，即【創(chuàng)建目標卷】 【卷數(shù)據復制】 【刪除源卷】 【目標卷改名】 【完成】整個過程的實現(xiàn)。遷移過程中，源卷不能有寫數(shù)據的操作，所以叫做“冷”遷移。亦可通過工具調用復制接口。場景1：資源池之間的容量平衡，容量滿的池 遷移到一個空閑的池。場景2： 卷在不同性能的資源池池之間的遷移，從低性能的池向高性能的池遷移。資源池A資源池BFusionStorage方案介紹FusionStorage架構原理FusionStorage部署配置與FusionSphere聯(lián)合安裝部署 (1/

17、4)FusionStorage安裝前對虛擬化環(huán)境的要求：項目說明Domain0資源按照FusionStorage的要求配置Domain 0規(guī)格每臺主機操作系統(tǒng)的時間，必須確保與當?shù)貢r間一致服務器加入VRM集群確保待安裝FusionStorage軟件的服務器已加入VRM站點下的集群為主機添加管理接口確保FusionStorage Agent軟件所在主機已配置管理IP，用于CNA與VRM間、FSA與FSM間通信為主機添加存儲接口使用FusionStorage提供共享存儲，需在每個主機上添加存儲接口若系統(tǒng)存儲平面使用IB網絡通信，則不需要為主機添加存儲接口與FusionSphere聯(lián)合安裝部署 (2

18、/4)安裝FSM主備VM規(guī)格要求：項目規(guī)格是否與主機綁定是，并選擇“始終為虛擬機預留資源”操作系統(tǒng)Novell SUSE Linux Enterprise Server 11 SP3 (64位)CPU3個64個主機：設置CPU數(shù)量為4個 65個4096個主機：設置CPU數(shù)量為16個內存3個64個主機：設置內存為16GB 65個4096個主機：設置內存為32GB網卡1個，使用管理平面的分布式交換機和端口組磁盤數(shù)量1個3個64個主機：設置磁盤為100GB 65個4096個主機：設置磁盤為300GBQoS設置在“CPU資源控制”中將“預留（MHz）”拖動到最大值 在“內存資源控制”中將“預留（MB）”拖動到最大值HA啟用啟動方式硬盤啟動高級設置取消勾選“內存交換磁盤”其他選項均保持默認即可與FusionSphere聯(lián)合安裝部署 (3/4)安裝FSM主備虛擬機配置FSM主備HA關系登錄FSM管理界面導入服務器列表與FusionSphere聯(lián)合安裝部署 (4/4)批量安裝F