OceanStor全閃存存儲系統(tǒng)技術(shù)白皮書

1、華為 OceanStor 5300F, 5500F,5600F, 5800F, 6800F, 18000F V5全閃存存儲系統(tǒng)技術(shù)白皮書目錄 HYPERLINK l _bookmark0 閃存的演進及挑戰(zhàn)1 HYPERLINK l _bookmark1 SSD 的產(chǎn)生與優(yōu)勢1 HYPERLINK l _bookmark2 SSD 的架構(gòu)與現(xiàn)狀2 HYPERLINK l _bookmark3 當(dāng)前 SSD 在企業(yè)級存儲陣列使用中存在的問題3 HYPERLINK l _bookmark4 針對 HDD 設(shè)計的存儲陣列軟件無法發(fā)揮 SSD 的性能優(yōu)勢3 HYPERLINK l _bookmark7

2、針對 HDD 設(shè)計的存儲陣列軟件無法保證 SSD 的可靠性5 HYPERLINK l _bookmark8 1.4 華為對 SSD 在存儲產(chǎn)品中應(yīng)用的構(gòu)想6 HYPERLINK l _bookmark9 華為 OceanStor F V5 全閃存存儲系統(tǒng)7 HYPERLINK l _bookmark10 OceanStor F V5 全閃存存儲技術(shù)原理8 HYPERLINK l _bookmark11 華為在閃存領(lǐng)域的技術(shù)儲備8 HYPERLINK l _bookmark12 面對未來全閃存數(shù)據(jù)中心的存儲架構(gòu)設(shè)計9 HYPERLINK l _bookmark13 華為 SSD9 HYPERLI

3、NK l _bookmark14 全新的 Smartmatix2.0 架構(gòu)10 HYPERLINK l _bookmark15 SAS 3.0 后端全互連10 HYPERLINK l _bookmark16 緩存持續(xù)鏡像11 HYPERLINK l _bookmark17 4S 彈性擴展12 HYPERLINK l _bookmark18 華為針對 SSD 優(yōu)化的 RAID2.0 技術(shù)13 HYPERLINK l _bookmark19 數(shù)據(jù)動態(tài)負載均衡14 HYPERLINK l _bookmark20 快速精簡重構(gòu)，改善雙盤失效率15 HYPERLINK l _bookmark21 3.3

4、 深度優(yōu)化的全閃存陣列15 HYPERLINK l _bookmark22 3.3.1 優(yōu)化 IO 流程降低存儲陣列的處理時延15 HYPERLINK l _bookmark23 針對閃存架構(gòu)的增值業(yè)務(wù)優(yōu)化20 HYPERLINK l _bookmark24 服務(wù)質(zhì)量分級（QoS）20 HYPERLINK l _bookmark25 虛擬機優(yōu)化，提升華為全閃存存儲效率21 HYPERLINK l _bookmark26 OceanStor F V5 豐富的企業(yè)級特性23 HYPERLINK l _bookmark27 平滑的遷移到 OceanStor F V5 全閃存陣列24 HYPERLIN

5、K l _bookmark28 老存儲性能優(yōu)化遷移（SmartMigration）24 HYPERLINK l _bookmark29 LUN 遷移24 HYPERLINK l _bookmark30 異構(gòu)遷移26 HYPERLINK l _bookmark31 存儲異構(gòu)虛擬化26 HYPERLINK l _bookmark32 從異構(gòu)存儲在線遷移到華為 OceanStor F V5 全閃存存儲系統(tǒng)27 HYPERLINK l _bookmark33 縮略語表291 閃存的演進及挑戰(zhàn)1.1 SSD 的產(chǎn)生與優(yōu)勢計算、網(wǎng)絡(luò)、存儲是現(xiàn)代 IT 系統(tǒng)的基本組成單元。看計算能力，摩爾定律規(guī)范著處理器性

6、能的上升節(jié)奏，每 18 個月性能翻倍?？淳W(wǎng)絡(luò)能力，網(wǎng)絡(luò)速度以 5 年為周期進行著10 倍速率（10M/100M/1G/10G/40G/100G）的技術(shù)更迭?？创鎯δ芰?，機械硬盤（HDD）的速度卻止步不前，企業(yè)級 SAS HDD 僅從 7200 rpm 增長到 15,000 rpm。計算、網(wǎng)絡(luò)、存儲三種基本資源的性能增速不均衡，造成需要通過大量的 HDD 以 RAID 組方式累加，以求得存儲性能相對于計算、網(wǎng)絡(luò)資源的匹配，進而造成了大量存儲容量的浪費、能源的消耗。固態(tài)盤（Solid State Drives），簡稱 SSD。由半導(dǎo)體晶體管（閃存顆粒）替代磁介質(zhì)構(gòu)成基本存儲單元，由電子讀寫操作替代

7、傳統(tǒng)硬盤的馬達驅(qū)動和機械臂尋道，極大降低了訪問的延遲，提高了單位時間內(nèi)的 IO 訪問效率。尤其在隨機小 IO 的讀寫上，時延由 ms 量級下降至 100us 量級。下面兩個圖為不同層次存儲介質(zhì)的訪問時延差別，以及HDD 與 SSD 的性能對比。L1L2L3 代表 CPU 內(nèi)部緩存層級，DRAM 為內(nèi)存。相較于HDD，SSD 的訪問時延至少降低兩個數(shù)量級。圖1-1 不同層級存儲介質(zhì)訪問時延(volatile：易失介質(zhì) non-volatile：非易失介質(zhì))SSD 的架構(gòu)與現(xiàn)狀固態(tài)盤（SSD）由控制單元和存儲單元（主要是 FLASH 閃存顆粒）組成，主機側(cè)接口與傳統(tǒng)硬盤一致。內(nèi)部單元分為，主機接口

8、（host Interface）、控制器（Processor）、內(nèi)存（RAM），閃存顆粒（Flash Package），如下圖所示：圖1-2 SSD 架構(gòu)圖現(xiàn)狀：容量在幾百 GB 到幾個 TB，16TB 以上的大容量規(guī)格逐漸出現(xiàn)單盤 IOPS 在 100K 以上，高性能盤片可達 200K300K硬盤價格逐漸降低，$/GB 成本目前已經(jīng)與 2.5 寸 15K SAS 持平當(dāng)前 SSD 在企業(yè)級存儲陣列使用中存在的問題雖然 SSD 的引入、應(yīng)用切實提升了傳統(tǒng)存儲陣列的性能，支持更高的 IOPS 和更低的時延，但是，大部分廠商支持 SSD 的融合存儲產(chǎn)品，依然是面向 HDD 而設(shè)計的系統(tǒng)， 只是將

9、SSD 作為一種高轉(zhuǎn)速的 HDD 進行使用，并未結(jié)合 SSD 本身的特性進行系統(tǒng)的重構(gòu)與優(yōu)化。由于系統(tǒng)面向 HDD 的軟件設(shè)計，SSD 的性能優(yōu)勢無法最大限度發(fā)揮，SSD 的壽命也沒有得到有效的管理。設(shè)計和創(chuàng)造使用大量 SSD 的存儲系統(tǒng)，需要首先理解 SSD 和傳統(tǒng) HDD 的不同點，以及這些不同點對存儲架構(gòu)設(shè)計造成的沖擊。針對 HDD 設(shè)計的存儲陣列軟件無法發(fā)揮 SSD 的性能優(yōu)勢SSD 100us 量級時延，使得存儲陣列系統(tǒng)處理時延的影響無形中放大IOPS、I/O 并發(fā)、I/O 時延之間的關(guān)系是：。一塊高性能企業(yè)級 SAS HDD，4KB I/O 隨機訪問時延約為 5ms。一塊 SAS

10、接口 SSD， 4KB I/O 隨機訪問時延約為 0.2ms。 HYPERLINK l _bookmark5 如圖 1-3 所示，假設(shè)將一塊 HDD 和一塊 SSD 分別接入兩臺相同配置的主機，然后這兩臺主機分別以單并發(fā)的壓力下發(fā) I/O。圖1-3 HDD、SSD 直接與主機相連 HYPERLINK l _bookmark5 圖 1-3 左側(cè)為 HDD，其 IOPS 為 1 / 5ms = 200 IOPS。 HYPERLINK l _bookmark5 圖 1-3 右側(cè)為 SSD，其 IOPS 為 1 / 0.2ms = 5000 IOPS?，F(xiàn)在，將 HYPERLINK l _bookmar

11、k5 圖 1-3 中的 HDD 和 SSD 分別插入兩臺相同配置的存儲陣列控制器，再通過陣列接入到服務(wù)器，如 HYPERLINK l _bookmark6 圖 1-4 所示。圖1-4 HDD、SSD 通過陣列與主機相連存儲陣列控制器會引入處理時延，一般而言，控制器引入的時延隨壓力的不同而變化， 在單并發(fā)這種小壓力情況下，引入的時延一般在 0.2ms 左右。此時，主機看到的 IOPS 會發(fā)生變化： HYPERLINK l _bookmark6 圖 1-4 左側(cè)的控制器加上 HDD，其 IOPS 為 1 / (0.2ms + 5ms) = 192 IOPS。 HYPERLINK l _bookma

12、rk6 圖 1-4 右側(cè)的控制器加上 SSD，其 IOPS 為 1 / (0.2ms + 0.2ms) = 2500 IOPS。通過上述計算可以看到，HDD 插入存儲陣列后，控制器引入的時延占總時延的比例很小，IOPS 性能幾乎無降低。而將 SSD 插入存儲陣列后，因為控制器引入的時延占總時延的比例較大，SSD 的性能僅發(fā)揮了一半。因此，將存儲陣列中的 HDD 簡單更換為 SSD，這樣所構(gòu)建出來的存儲系統(tǒng)，不能充分發(fā)揮 SSD 的高性能優(yōu)勢。SSD 高 IOPS 使得存儲陣列系統(tǒng)瓶頸點發(fā)生遷移對于傳統(tǒng)存儲陣列，HDD 是顯而易見的性能瓶頸，這也正是為什么通過增加 HDD 就可以增加整個陣列的

13、IOPS 和帶寬。傳統(tǒng)存儲陣列的系統(tǒng)軟件，都是圍繞著如何消除HDD 的性能瓶頸來設(shè)計和開發(fā)的。而對于 SSD 來說，單塊 SSD 的 IOPS 就已經(jīng)達到數(shù)萬，一個常見的 25 盤位硬盤框的潛在最高 IOPS 就已經(jīng)達到了一百萬以上。所以這時候存儲陣列的性能瓶頸，一般位于陣列控制器，包括 CPU 處理能力、系統(tǒng)帶寬能力、系統(tǒng)軟件的設(shè)計和算法等等。因此在軟硬件設(shè)計上就應(yīng)該有所不同，否則無法充分發(fā)揮 SSD 的高性能優(yōu)勢?；?HDD 設(shè)計的 cache 算法不適用于 SSDHDD 的隨機訪問 IOPS 約為數(shù)百，折算成帶寬約為 1MB/s；順序訪問帶寬約為200MB/s。SSD 的隨機訪問 IO

14、PS 約為數(shù)萬，折算成帶寬約為幾十上百 MB/s；順序訪問帶寬約為 300MB/s。對于 HDD，隨機訪問和順序訪問，二者數(shù)據(jù)吞吐率差異超過 100 倍。對于 SSD，隨機訪問和順序訪問，二者數(shù)據(jù)吞吐率差異只有 24 倍。因為 HDD 的順序訪問和隨機訪問之間存在巨大的數(shù)據(jù)吞吐率差異，因此傳統(tǒng)存儲陣列中的各種各樣 cache 算法，都是圍繞如何盡量順序訪問 HDD 來設(shè)計的。而 SSD 的順序訪問和隨機訪問之間，數(shù)據(jù)吞吐率差異沒有那么大，情況發(fā)生了巨大的變化。適用于HDD 的 cache 淘汰算法，不一定適用于 SSD。針對 HDD 設(shè)計的存儲陣列軟件無法保證 SSD 的可靠性HDD 主要由磁

15、盤、磁頭、機械臂、馬達等機械部件和控制電路等電氣部件組成；而SSD 消除了機械部件，主要由控制器、閃存顆粒等電氣部件組成。閃存顆粒的數(shù)據(jù)寫入原理又決定了 SSD 的使用壽命與閃存顆粒的擦寫次數(shù)緊密相關(guān)。因此，HDD 和 SSD 在原理上的不同就決定了二者的故障模式也有很大區(qū)別。傳統(tǒng)的企業(yè)級存儲陣列軟件針對 HDD 的故障模式做了大量的可靠性設(shè)計，但是并未針對閃存顆粒的特征進行可靠性設(shè)計，缺少針對 SSD 壽命管理的設(shè)計。因此，針對 HDD 設(shè)計的存儲系統(tǒng)軟件無法保證 SSD 的可靠性。1.4 華為對 SSD 在存儲產(chǎn)品中應(yīng)用的構(gòu)想1、 繼承傳統(tǒng)企業(yè)存儲陣列的精華。傳統(tǒng)企業(yè)存儲陣列在功能、可靠性

16、、可維護性等方面，已經(jīng)積累了多年的經(jīng)驗，例如所有有源器件均冗余且可在線更換、具有豐富的數(shù)據(jù)保護軟件等，類似于這樣的特性，全部予以繼承。2、 充分考慮 SSD 與 HDD 的巨大性能差異。SSD 的性能高出 HDD 兩個數(shù)量級，這直接導(dǎo)致系統(tǒng)的瓶頸點發(fā)生了遷移，因此以前針對 HDD 的各種性能設(shè)計必須被重新審視。3、 充分考慮 SSD 使用壽命限制。針對 SSD 使用壽命特性進行設(shè)計和開發(fā)，有效管理使用壽命，延長使用時間，保證 SSD 在企業(yè)級存儲陣列中應(yīng)用的可靠性。華為 OceanStor 5300F, 5500F, 5600F, 5800F, 6800F, 18000F V5全閃存存儲系統(tǒng)技

17、術(shù)白皮書2 華為 OceanStor F V5 全閃存存儲系統(tǒng) 華為 OceanStor F V5 全閃存存儲系統(tǒng)如何更好的在存儲陣列中使用 SSD 介質(zhì)來面對新的挑戰(zhàn)，業(yè)界的主流產(chǎn)品大致分為混合陣列以及全閃存陣列。華為 OceanStor F V5 全閃存陣列在提供高性能的同時，還可以提供完備的數(shù)據(jù)保護以及業(yè)務(wù)連續(xù)性保障?；谌A為存儲完整的解決方案能力，提供 6 個 9 的可靠性保障。1、 繼承傳統(tǒng)企業(yè)存儲陣列的精華。傳統(tǒng)企業(yè)存儲陣列在功能、可靠性、可維護性等方面，已經(jīng)積累了多年的經(jīng)驗，例如所有有源器件均冗余且可在線更換、具有豐富的數(shù)據(jù)保護軟件等，類似于這樣的特性，全部予以繼承。2、 充分考

18、慮 SSD 與 HDD 的巨大性能差異。SSD 的性能高出 HDD 兩個數(shù)量級，這直接導(dǎo)致系統(tǒng)的瓶頸點發(fā)生了遷移，因此以前針對 HDD 的各種性能設(shè)計必須被重新審視。3、 充分考慮 SSD 使用壽命限制。針對 SSD 使用壽命特性進行設(shè)計和開發(fā)，有效管理使用壽命，延長使用時間，保證 SSD 在企業(yè)級存儲陣列中應(yīng)用的可靠性。從客戶角度出發(fā)，為滿足不同需要的應(yīng)用場景，華為存儲將發(fā)展 SSD 在存儲系統(tǒng)中的應(yīng)用提升到戰(zhàn)略地位，實現(xiàn)了企業(yè)級存儲的穩(wěn)定可靠以及全閃存陣列的高性能表現(xiàn)。OceanStor F V5 系列全閃存存儲，從存儲的產(chǎn)品硬件設(shè)計、基本 IO 流程、增值特性軟件、SSD 盤片等多個維度

19、基于 SSD 自身特性進行了優(yōu)化、重構(gòu)工作，構(gòu)建產(chǎn)品差異化， 并最大化 SSD 盤片與存儲操作系統(tǒng) OceanStor OS 的深度融合，發(fā)揮出 SSD 的優(yōu)勢，提供高性能、高可靠、豐富數(shù)據(jù)特性的全閃存存儲系統(tǒng)。 OceanStor F V5 全閃存存儲技術(shù)原理華為 OceanStor F V5 通過全局虛擬化技術(shù) RAID 2.0+，將 SSD 和 OceanStor OS 存儲軟件完美融合，而且 OceanStor F V5 針對 SSD 硬盤進行了多維度的深度優(yōu)化：達到穩(wěn)定時延小于 1ms 的性能指標(biāo)、對 SSD 的壽命進行了有效管理，同時集成傳統(tǒng)存儲功能豐富、經(jīng)過市場檢驗的可靠性能力，

20、充分滿足用戶在性能、可靠性、成本和容量方面的需要。華為在閃存領(lǐng)域的技術(shù)儲備華為是業(yè)界唯一一家同時具備 SSD 和存儲系統(tǒng)研發(fā)能力的存儲廠商，掌握 SSD 控制器芯片的核心技術(shù)，具有自研 SSD 的自主知識產(chǎn)權(quán)，目前華為自研 SSD 已申請專利 150 件，已授權(quán)專利 130 多件。面對未來全閃存數(shù)據(jù)中心的存儲架構(gòu)設(shè)計華為 SSDSSD 控制器作為盤片的核心部件，直接決定了盤片的性能、可靠性等關(guān)鍵參數(shù)。當(dāng)前HSSD 使用華為自研的第二代控制器，該控制器是一款面向企業(yè)級應(yīng)用，提供目前業(yè)界標(biāo)準(zhǔn) PCIe3.04，SAS3.02 接口，該控制器具備高性能、低功耗特點，同時具備高附加值存儲業(yè)務(wù)特性。針對

21、介質(zhì)磨損壽命下降的趨勢，通過增強 ECC/數(shù)字信號處理、內(nèi)置 RAID 等技術(shù)延長 SSD 壽命，滿足企業(yè)級可靠性應(yīng)用要求；該控制器支持最新的DDR4、SAS 12Gb 接口速率以及硬件加速 FTL 等技術(shù)，為企業(yè)級應(yīng)用提供穩(wěn)定、低時延的性能。華為自研 HSSD 采用以下手段提升 SSD 盤的整體壽命和數(shù)據(jù)可靠性：1、 更高的 ECC 處理能力：隨著 flash 顆粒制程從 2Xnm 向 1Xnm 演進，顆粒的擦寫帶來的錯誤比例逐漸增高，傳統(tǒng)業(yè)界普遍使用的 BCH 糾錯引擎開始變得不能滿足flash 的糾錯要求。為了保證一貫的數(shù)據(jù)可靠性，華為 SSD 內(nèi)嵌了與企業(yè)級 SSD 控制器匹配的 LD

22、PC+DSP 算法引擎。該引擎融合硬判決、軟判決、DSP 等手段，同時和顆粒廠商深度合作，進行深度調(diào)優(yōu)，使 flash 壽命提升最大 3 到 4 倍。2、 NAND Flash 的內(nèi)部處理：通過實時監(jiān)控 NAND Flash 的狀態(tài)，采用后臺巡檢、基于介質(zhì)特性的壞頁管理、分類分級管理和 Die 失效冗余的方法來提高 SSD 的可靠性；3、 優(yōu)化的 SSD 管理調(diào)度算法：通過優(yōu)化的垃圾回收算法(GC)、磨損均衡算法(WearLeveling)、壞塊管理算法等，降低 SSD 的寫放大系數(shù)，直接減少或變相增加對SSD 的磨損次數(shù)；4、 系統(tǒng)級針對 SSD 的數(shù)據(jù)保護：通過電壓監(jiān)控模塊以及備電電路保護

23、系統(tǒng)降低異常掉電時可能造成的數(shù)據(jù)丟失風(fēng)險。全新的 Smartmatix2.0 架構(gòu)華為 OceanStor F V5 全閃存存儲系統(tǒng)擁有 PCIE3.0 背板全互聯(lián)、后端 SAS3.0 技術(shù)和Intel 新一代 Skylake CPU 所帶來的高速通道和強勁的計算能力，靈活滿足客戶越來越高的性能需求。華為 OceanStor F V5 全閃存存儲系統(tǒng)的 6800F V5、18000F V5 每個存儲引擎包含 4 個控制器，4 控以內(nèi)的系統(tǒng)配置，不再需要配置外置交換機和交換線纜，部署更簡單，可靠性更好。引擎中 4 個控制器直接通過機框背板的 PCIe 3.0 高速通道全互聯(lián)。SAS 3.0 后端

24、全互連華為 OceanStor 6800F V5, 18000F V5 全閃存存儲系統(tǒng)創(chuàng)新推出 SAS 3.0 后端全互連接口卡。該接口卡由引擎內(nèi) 4 個控制器共享，與 4 個控制器都有高速 PCIe 連接。DCBASAS ExpanderSAS ExpanderSASControllerSASControllerSASControllerSASController通過后端全互連接口卡，引擎內(nèi)控制器與硬盤/硬盤框可以實現(xiàn)全連接，引擎內(nèi)任意兩個控制器故障，剩余控制器到硬盤/硬盤框的路徑仍然可。01234567891011圖 1SAS 3.0 后端全互連接口卡控制控制控制控制器A器B器C器DSAS

25、接口卡SAS接口卡控制控制控制控制器A器B器C器DSAS接口卡SAS接口卡由于每個控制器到每張 SAS 接口卡都有連接，任意接口卡或任意 13 個控制器故障， 剩余控制器仍然有到硬盤的連接。硬盤框硬盤框硬盤SAS接口卡SAS接口卡控制器D控制器C控制器B控制器A硬盤框硬盤框硬盤SAS接口卡SAS接口卡控制器D控制器C控制器B控制器A硬盤 硬盤框硬盤框硬盤 硬盤框硬盤框緩存持續(xù)鏡像圖 2 后端全互連示意圖為了達到更高性能，存儲系統(tǒng)都設(shè)計有數(shù)據(jù)緩存；為了保證在控制器故障時，保存在控制器緩存中的數(shù)據(jù)不丟失，數(shù)據(jù)緩存都會在控制器之間做鏡像。在傳統(tǒng)設(shè)計中，存儲系統(tǒng)中的兩個控制器相互鏡像，當(dāng)其中一個控制器

26、故障時，另外一個控制器緩存中的數(shù)據(jù)將失去鏡像，為了保證故障時數(shù)據(jù)不丟失，另外一個控制器只能轉(zhuǎn)為透寫，從而導(dǎo)致性能急劇下降。在以高性能低時延為目標(biāo)的全閃存存儲系統(tǒng)中，控制器故障帶來的性能沖擊是不可接受的，華為 OceanStor 6800F V5, 18000F V5 全閃存存儲系統(tǒng)推出的緩存持續(xù)鏡像技術(shù)（Persistent Cache），以創(chuàng)新的思路，徹底解決了這一問題。如圖所示，當(dāng) A 控故障，控制器 B 的 Cache 數(shù)據(jù)會選擇控制器 C 或者 D 做緩存鏡像， 當(dāng)控制器 D 再故障，控制器 B 和 C 做緩存鏡像。當(dāng)一個控制器故障時，其承載的業(yè)務(wù)快速切換到鏡像控制器，剩余的控制器重新

27、建立鏡像關(guān)系，確保所有的控制器的緩存仍然有鏡像。業(yè)務(wù)請求可以保持回寫而不是透寫， 保障了控制器故障后的性能，同時寫入 Cache 的數(shù)據(jù)有鏡像冗余保障了系統(tǒng)的可靠性。4S 彈性擴展基于 Smart Matrix 智能矩陣架構(gòu)，OceanStor F V5 全閃存存儲系統(tǒng)能進行 4S 彈性擴展， 并大幅提升系統(tǒng)資源的利用效率。圖 5-1 4S 彈性擴展Scale-Up：通過增加內(nèi)存、硬盤、業(yè)務(wù)端口，縱向擴展系統(tǒng)性能、容量和連接能力。Scale-Out：通過系統(tǒng)引擎的在線擴展，Smart Matrix 技術(shù)將相關(guān)資源耦合在一起， 按需增加存儲資源，實現(xiàn)了容量和性能的在線線性增長，滿足業(yè)務(wù)對容量和性

28、能的持續(xù)增長需求?？氐臄U展采用背板互聯(lián)（高端存儲）或直連組網(wǎng)（中端存儲）；超過 4 控的擴展，采用兩個冗余的數(shù)據(jù)交換機 DSW（Data Switch），在 DSW 中實現(xiàn)數(shù)據(jù)交換，此種 集群最大支持到 4 個引擎；由于交換鏈路采用雙鏈路設(shè)計，保證集群數(shù)據(jù)交換網(wǎng)絡(luò)的冗余性。Scale-Deep：通過整合異構(gòu)存儲系統(tǒng)，將其納入 OceanStor F V5 全閃存存儲系統(tǒng)統(tǒng)一管理，消除信息孤島，保護客戶既有投資。Scale-In：智能卷根據(jù)業(yè)務(wù)需要，在不增加任何新存儲資源的前提下，通過系統(tǒng)內(nèi)部自動均衡完成數(shù)據(jù)智能分布，提升整體資源利用率，實現(xiàn)自動擴展。當(dāng)需要擴容存儲池，只需插入新的硬盤，系統(tǒng)會自

29、動的調(diào)整數(shù)據(jù)分布，讓數(shù)據(jù)均衡的分布到各個硬盤上；當(dāng)需要擴容卷時，只需輸入想要擴容的卷大小，系統(tǒng)會自動從存儲池中劃分所需的空間，并自動調(diào)整卷的數(shù)據(jù)分布，使得卷數(shù)據(jù)更加均衡的分布到所有的硬盤上；華為針對 SSD 優(yōu)化的 RAID2.0 技術(shù)RAID（Redundant Array of Independent Disk，獨立冗余硬盤陣列）技術(shù)誕生于 1987 年， 最初由美國加州大學(xué)的伯克利分校提出，其基本思想是把多個獨立的物理硬盤通過相關(guān)的算法組合成一個虛擬的邏輯硬盤，從而提供更大容量、更高性能，或更高的數(shù)據(jù)容錯功能。作為一種成熟、可靠的硬盤系統(tǒng)數(shù)據(jù)保護標(biāo)準(zhǔn)，RAID 技術(shù)自誕生以來一直作為存儲

30、系統(tǒng)的基礎(chǔ)技術(shù)而存在，但是近年來隨著數(shù)據(jù)存儲需求的快速增長，高性能應(yīng)用的不斷涌現(xiàn)，傳統(tǒng) RAID 逐漸暴露出越來越多的問題。在高性能存儲需求場景，大量 SSD 硬盤應(yīng)用于存儲陣列，傳統(tǒng) RAID 受限于硬盤數(shù)量， 在數(shù)據(jù)容量劇增的年代無法滿足企業(yè)對資源統(tǒng)一靈活調(diào)配的需求，同時，隨著硬盤容量的增大，以硬盤為單位對數(shù)據(jù)進行管理也顯得越來越力不從心。SSD 硬盤的容量也在逐步增大，以 3.84TB 的 SSD 硬盤來說，在傳統(tǒng)的 RAID5（8D+1P）中，其重構(gòu)時間在 20 個小時左右。重構(gòu)的進程會占用系統(tǒng)的資源，導(dǎo)致應(yīng)用系統(tǒng)整體性能下降，當(dāng)用戶為了保證應(yīng)用的及時響應(yīng)而限制重構(gòu)的優(yōu)先級時，重構(gòu)的時

31、間還將進一步延長。此外，在漫長的數(shù)據(jù)重構(gòu)過程中，繁重的讀寫操作可能引起RAID 組中其他硬盤也出現(xiàn)故障或錯誤，導(dǎo)致故障概率大幅提升，極大地增加數(shù)據(jù)丟失的風(fēng)險。為了解決傳統(tǒng) RAID 針對 SSD 的上述問題，同時順應(yīng)虛擬化技術(shù)的發(fā)展趨勢，眾多存儲廠商紛紛提出了傳統(tǒng) RAID 技術(shù)的替代方案。LUN 虛擬化：以 EMC 和 HDS 為代表的存儲廠商，在傳統(tǒng) RAID 基礎(chǔ)之上將RAID 組進行更細粒度地切分，再將切分的單元進行組合，構(gòu)建主機可訪問的空間。塊虛擬化：以華為和 HP 3PAR 為代表的存儲廠商，將存儲池中的硬盤劃分成一個個小粒度的數(shù)據(jù)塊，基于數(shù)據(jù)塊來構(gòu)建 RAID 組，使得數(shù)據(jù)均勻地

32、分布到存儲池的所有硬盤上，然后以數(shù)據(jù)塊為單元來進行資源管理。圖 1-1 RAID 技術(shù)發(fā)展數(shù)據(jù)動態(tài)負載均衡傳統(tǒng) RAID 存儲系統(tǒng)中一般會有多個 RAID 組，每個 RAID 組中包含幾塊到十幾塊硬盤。由于每個 RAID 組的業(yè)務(wù)繁忙程度不同，導(dǎo)致硬盤的工作壓力不均，部分硬盤存在熱點，根據(jù) SNIA 的統(tǒng)計數(shù)據(jù)，熱點盤的故障率會明顯增高。如下圖所示，其中Duty-Cycle 即忙閑度，指的是硬盤工作時間占總上電時間的比例，AFR 為硬盤年故障率，不難看出，Duty-Cycle 高時的硬盤年故障率幾乎是低時的 1.52 倍。RAID2.0+技術(shù)通過塊虛擬化實現(xiàn)了數(shù)據(jù)在存儲池中硬盤上的自動均衡分布

33、，避免了硬盤的冷熱不均，從而降低了存儲系統(tǒng)整體的故障率?？焖倬喼貥?gòu)，改善雙盤失效率縱觀近幾年 SSD 硬盤的發(fā)展，其容量的增長遠遠快于性能的進步，現(xiàn)在 15TB 的大容量 SSD 硬盤在當(dāng)前的企業(yè)市場已經(jīng)非常普遍，而未來 32TB 大高容量 SSD 硬盤也將在未來應(yīng)用到存儲系統(tǒng)。容量的增長使得傳統(tǒng) RAID 不得不面臨一個嚴(yán)重的問題：10 年前重構(gòu)一塊硬盤可能只需要幾十分鐘，而如今重構(gòu)一塊硬盤需要十幾甚至幾十個小時。越來越長的重構(gòu)時間使得企業(yè)的存儲系統(tǒng)在出現(xiàn)硬盤故障時長時間處于非容錯的降級狀態(tài)，存在極大的數(shù)據(jù)丟失風(fēng)險，存儲系統(tǒng)在重構(gòu)過程中由于業(yè)務(wù)和重構(gòu)的雙重壓力導(dǎo)致數(shù)據(jù)丟失的案例也屢見不鮮。

34、基于底層塊級虛擬化的 RAID2.0+技術(shù)由于克服了傳統(tǒng) RAID 重構(gòu)的目標(biāo)盤（熱備盤） 性能瓶頸，使得重構(gòu)數(shù)據(jù)流的寫帶寬不再成為重構(gòu)速度的瓶頸，從而大大提升了重構(gòu)速度，降低了雙盤失效的概率，提升了存儲系統(tǒng)的可靠性。深度優(yōu)化的全閃存陣列優(yōu)化 IO 流程降低存儲陣列的處理時延IO 流程基于傳統(tǒng) HDD 硬盤設(shè)計理念，主要是考慮 IO 的合并和順序度，盡量減少HDD 磁頭的移動。SSD 不存在磁頭移動的問題，關(guān)鍵要均衡發(fā)揮出各個部件的能力，SSD 盤高 IOPS 性能，使得存儲陣列的 CPU 處理能力成為性能瓶頸點。OceanStor F V5全閃存存儲采用多種技術(shù)來提升 CPU 的效率。1CP

35、U 智能分區(qū)算法：存儲陣列內(nèi) I/O 處理時延是由很多因素決定的，高效的調(diào)度框架可解決高速介質(zhì) I/O 優(yōu)先調(diào)度執(zhí)行問題，I/O 在執(zhí)行過程中需要避免鎖沖突、CPU 核間干擾、硬中斷的干擾，確保每個 I/O 處理時延是固定的，從而保證系統(tǒng)對外提供穩(wěn)定的 I/O 處理時延。華為OceanStor F V5 全閃存存儲的 CPU 智能分區(qū)算法能很好的解決這些問題，其實現(xiàn)原理如下：基于不同業(yè)務(wù)要求對 CPU 計算資源進行分區(qū)，隔離 OS、控制平面、計算平面、以及硬件中斷任務(wù)對業(yè)務(wù) I/O 的干擾；基于業(yè)務(wù) IO 的特征，再對 IO 處理分區(qū)的 CPU 進行分組，并能根據(jù)業(yè)務(wù)壓力在各CPU 分組間調(diào)度

36、，實現(xiàn)分組內(nèi) IO 免鎖處理；基于 CPU 核數(shù)對內(nèi)存進行分核預(yù)留，確保每個 CPU 核都有自己的內(nèi)存資源池， 并且提供一個公共的內(nèi)存資源池確保單個 CPU 核內(nèi)存資源耗盡的情況下，能夠申請到內(nèi)存。2鏡像 I/O 動態(tài)聚合算法：華為 OceanStor F V5 全閃存存儲采用鏡像 I/O 動態(tài)聚合技術(shù)，保證穩(wěn)定鏡像時延同時， 降低鏡像流程的 CPU 消耗，提升隨機寫 IOPS 性能。鏡像流程使用兩個對列：接收隊列和聚合下發(fā)隊列；在聚合時只對接收隊列中先到達的部分鏡像 I/O 進行排序聚合， 降低排序聚合過程對鏡像時延的影響，提升鏡像通道的利用率。3Cache 自適應(yīng)算法：存儲陣列面臨種類繁多

37、的業(yè)務(wù)模型，例如常見的 OLTP 和 OLAP 的業(yè)務(wù)模型就完全不一致，如何確保陣列在不同業(yè)務(wù)模型下都保持優(yōu)異的性能？華為 OceanStor F V5 全閃存存儲通過對 Cache 預(yù)取算法、淘汰算法進行深度優(yōu)化，提供與前端業(yè)務(wù)匹配的預(yù)取、淘汰機制，確保陣列持續(xù)保持較高命中率，其實現(xiàn)原理如下：對 Cache 前端 I/O 進行業(yè)務(wù)模型識別，對 I/O 進行分流管理，對每一流 I/O 提供對應(yīng)的預(yù)取策略，實現(xiàn) I/O 的精確預(yù)取，提升 I/O 命中率；淘汰算法中引入訪問頻度，有助于保存熱點數(shù)據(jù)，同時能夠降低預(yù)取數(shù)據(jù)尚未被訪問就被淘汰的概率，進一步提升預(yù)取效率。4I/O 下盤技術(shù)：主機數(shù)據(jù)寫入華

38、為 OceanStor F V5 全閃存存儲拆分為兩個階段：第一步先寫入保電的Cache，第二步再將保電 Cache 的數(shù)據(jù)寫入到硬盤。寫入 Cache 的過程，華為 OceanStor F V5 全閃存存儲采用了事務(wù)方式（Transaction）的寫入技術(shù)。寫入 Cache 的主機離散數(shù)據(jù)，會通過事務(wù)做聚合，最終整合為一個邏輯大IO（從幾 MB 到上百 MB 不等，邏輯上稱之為一個事務(wù)）。后續(xù)刷盤時，事務(wù)內(nèi)的數(shù)據(jù)可作為一個邏輯單位，進行集中刷盤，達到了合并離散數(shù)據(jù)塊的目的，減少寫入 SSD 時的寫放大。華為 OceanStor F V5 全閃存存儲采用了 ROW（Redirect On Wr

39、ite）刷盤技術(shù)。在將事 務(wù)內(nèi)的數(shù)據(jù)下盤時，華為 OceanStor F V5 全閃存存儲會使用新的物理空間來保存更新的數(shù)據(jù)，而不是在原位置進行覆蓋更新。因此，在將事務(wù)內(nèi)的數(shù)據(jù)下盤時，就可以分 配物理上連續(xù)的空間來保存數(shù)據(jù)。綜上，事務(wù)方式寫入 Cache，再加上 ROW 寫硬盤的策略，就可以有效地將主機的隨機數(shù)據(jù)，在下盤時變成連續(xù) IO，降低 SSD 盤的寫放大。ROW 刷盤技術(shù)決定了在空間分配的時候，華為 OceanStor F V5 全閃存存儲可以靈活地根據(jù)硬盤情況，調(diào)整空間分配策略。除了前述將主機離散 IO 變成盤上的連續(xù) IO 之外，ROW 策略還可以在 SSD 盤上數(shù)據(jù)分布不均的時候

40、，選擇進行“插空寫”，讓數(shù)據(jù)分布更均勻。5I/O 智能調(diào)度：對了降低主機 IO 時延，華為 OceanStor F V5 全閃存存儲的 I/O 智能調(diào)度系統(tǒng)對陣列內(nèi)不同類型的 I/O 提供不同優(yōu)先級的調(diào)度策略，對數(shù)據(jù)讀寫類的 IO 提供最高優(yōu)先級，確保主機業(yè)務(wù)的低時延響應(yīng)；對 Smart/Hyper 系列高級特性產(chǎn)生的 I/O 提供次優(yōu)先級，確保特性性能滿足要求；硬盤重構(gòu)、Pool 格式化、空間回收等后臺任務(wù)產(chǎn)生的 I/O 擁有最低優(yōu)先級，保障數(shù)據(jù)讀寫 I/O 時延最低。針對閃存架構(gòu)的增值業(yè)務(wù)優(yōu)化服務(wù)質(zhì)量分級（QoS）隨著各行業(yè)數(shù)字化進程的推進，數(shù)據(jù)逐漸成為企事業(yè)單位的運營核心，用戶對承載數(shù)據(jù)

41、的存儲系統(tǒng)的性能和穩(wěn)定性要求也越來越高。雖然不少存儲廠商能夠向用戶提供性能越來越高的存儲設(shè)備，但由于存儲系統(tǒng)承載的業(yè)務(wù)種類越來越多，應(yīng)用場景越來越復(fù)雜，如何滿足不同業(yè)務(wù)在存儲系統(tǒng)上的服務(wù)質(zhì)量要求成為一個挑戰(zhàn)，存儲系統(tǒng) QoS 技術(shù)作為一種通過智能調(diào)節(jié)存儲系統(tǒng)中各種資源在不同業(yè)務(wù)之間進行分配以滿足不同業(yè)務(wù)服務(wù)質(zhì)量的技術(shù)便應(yīng)運而生了。在大量使用 SSD 硬盤后，存儲陣列的資源瓶頸從硬盤本身遷移到了存儲陣列控制器的資源，比如 CPU 資源、內(nèi)存資源、網(wǎng)絡(luò)并發(fā)資源等。華為 OceanStor F V5 全閃存存儲 SmartQoS 特性可以選擇從以下三個方面來保證數(shù)據(jù)業(yè)務(wù)的服務(wù)質(zhì)量：IO 優(yōu)先級調(diào)度技

42、術(shù)：通過區(qū)分不同業(yè)務(wù)的重要性來劃分業(yè)務(wù)響應(yīng)的優(yōu)先級。在存儲系統(tǒng)為不同業(yè)務(wù)分配系統(tǒng)資源的時候，優(yōu)先保證高優(yōu)先級業(yè)務(wù)的資源分配請求。在資源緊張的情況下，為高優(yōu)先級的資源分配較多的資源，以此盡可能保證高優(yōu)先級業(yè)務(wù)的服務(wù)質(zhì)量。當(dāng)前用戶可以配置的優(yōu)先級分為高、中、低三個等級；IO 流量控制技術(shù)：基于傳統(tǒng)的令牌桶機制，針對用戶設(shè)置的性能控制目標(biāo)（IOPS或者帶寬）進行流量限制，通過 IO 流控機制，限制某些業(yè)務(wù)由于流量過大而影響其它業(yè)務(wù)；IO 性能保證技術(shù)：基于流量扼制的方式，允許用戶為高優(yōu)先級業(yè)務(wù)指定最低性能目標(biāo)（最小 IOPS/帶寬或最大時延），當(dāng)該業(yè)務(wù)的最低性能無法保障時，系統(tǒng)內(nèi)部通過對其他低優(yōu)先級

43、業(yè)務(wù)的 IO 逐級增加時延的方式來限制其流量，從而盡力保障該業(yè)務(wù)的最低性能目標(biāo)。虛擬機優(yōu)化，提升華為全閃存存儲效率隨著服務(wù)器虛擬化技術(shù)不斷的發(fā)展，越來越多的客戶在部署業(yè)務(wù)系統(tǒng)時紛紛選擇虛擬機替代原有的傳統(tǒng)服務(wù)器，此舉不僅大大降低了客戶前期投資成本，也為后續(xù)業(yè)務(wù)系統(tǒng)的整合，業(yè)務(wù)數(shù)據(jù)的遷移、備份等工作打下良好的基礎(chǔ)。而相比傳統(tǒng)服務(wù)器，虛擬機也有其不可忽視的缺點，即：虛擬機絕大部分的 I/O 操作均由軟件完成，這就要求系統(tǒng)必須投入大量的 CPU、內(nèi)存及網(wǎng)絡(luò)帶寬資源用于處理 I/O 操作，隨著虛擬機的應(yīng)用越來越廣泛，這一缺點日益突出。針對這一問題，VMware 提出硬件加速概念，通過特殊的 VAAI（

44、VMware vStorage APIs for ArrayIntegration）插件與陣列進行交互，將原本虛擬機完成的操作交付于已通過兼容性認(rèn)證的硬盤陣列完成，以此來提高系統(tǒng)整體性能。主要完成以下功能：陣列與 VMware 聯(lián)動，完成清零功能：虛擬機最常見的操作是虛擬盤清零，這項工作占用了大量的 CPU 周期及 DMA 緩沖區(qū)，消耗了虛擬機的共享資源。華為OceanStor F V5 全閃存存儲與 VMware 聯(lián)動，將原本屬于虛擬機的塊清零操作轉(zhuǎn)移至硬盤陣列上，依賴于陣列強大的 CPU 性能，快速完成初始化工作。該功能可使硬盤陣列與 ESX Server 之間的 I/O 數(shù)量減少 10

45、倍以上，并加快虛擬盤初始化進程，進而提升業(yè)務(wù)系統(tǒng)的整體性能。陣列與 VMware 聯(lián)動，完成復(fù)制功能：遷移或克隆虛擬盤時，虛擬機會進行文件塊的大量拷貝；當(dāng)克隆的文件達到幾個 G 時，復(fù)制的時間可能達到小時級別，將會大幅消耗應(yīng)用服務(wù)器資源并長時間占用網(wǎng)絡(luò)帶寬，影響系統(tǒng)整體性能。OceanStor F V5 全閃存存儲與 VMware 聯(lián)動，將原來屬于虛擬機的文件塊復(fù)制操作轉(zhuǎn)移至硬盤陣列上，通過陣列的硬件系統(tǒng)來優(yōu)化復(fù)制操作，將原本小時級的復(fù)制工作控制在秒級，同時減少 ESX 服務(wù)器的 CPU 負載，使虛擬機資源充分應(yīng)用在應(yīng)用服務(wù)器軟件層面。該功能可使硬盤陣列與 ESX Server 之間的 I/O

46、 數(shù)量減少10 倍以上，提升了 Storage vMotion 等操作的速度，同時也降低了虛擬機的部署難度。陣列與 VMware 聯(lián)動，完成共享鎖功能：集群環(huán)境下，為保證虛擬機數(shù)據(jù)的一致性，通常采用鎖機制來保證并發(fā)訪問時的資源占用問題。傳統(tǒng)的做法是在一個ESX Server 訪問 LUN 時，系統(tǒng)會將整個 LUN 鎖住，從而導(dǎo)致其他 ESX Server 的寫 I/O 被暫停，大大降低了寫性能；另外，系統(tǒng)鎖 LUN 的過程需要執(zhí)行一系列的命令來獲取鎖和釋放鎖，整個過程也會增加 I/O 的延遲。全閃存存儲與 VMware聯(lián)動，將多虛擬機主機的寫鎖粒度由 LUN 級別縮減到塊級別，提高并行寫效率，

47、同時減少寫延遲，大幅提升單 LUN 可容納的虛擬機數(shù)量，進而提升業(yè)務(wù)系統(tǒng)的整體性能；陣列與 VMware 聯(lián)動，完成 Thin LUN 空間回收； OceanStor F V5 豐富的企業(yè)級特性當(dāng)前業(yè)界的主流閃存陣列，主要分為企業(yè)級陣列優(yōu)化以及聚焦于硬件架構(gòu)革新的全閃存陣列，而全閃存陣列由于缺乏在企業(yè)市場的積累，大多無法提供完備的企業(yè)級高級特性支持。比如本地數(shù)據(jù)保護、跨數(shù)據(jù)中心的數(shù)據(jù)保護以及業(yè)務(wù)連續(xù)性保障。華為 OceanStor F V5 全閃存存儲既提供了高性能服務(wù)還提供全面的存儲企業(yè)級特性支持。不改變用戶的任何使用習(xí)慣，可以輕松實現(xiàn)從傳統(tǒng)陣列到全閃存陣列的轉(zhuǎn)化。為了防止災(zāi)難發(fā)生、病毒入侵

48、，或者開發(fā)調(diào)測的需要，華為 OceanStor F V5 全閃存存儲系統(tǒng)提供了完備的 Hyper 和 Smart 系列數(shù)據(jù)保護軟件，以應(yīng)對各種需求，為數(shù)據(jù)又增加一道可靠性防線，確保核心業(yè)務(wù)穩(wěn)定在線。 平滑的遷移到 OceanStor F V5 全閃存陣列由于SSD介質(zhì)價格不斷下降，全閃存存儲系統(tǒng)的使用也越來越多，如果將現(xiàn)有的如何將種類各異的存儲設(shè)備納入到統(tǒng)一管理？當(dāng)使用全閃存存儲系統(tǒng)替換舊的存儲系統(tǒng) 時，如何在對業(yè)務(wù)影響最小的情況下，將業(yè)務(wù)數(shù)據(jù)完整安全地遷移到新存儲上來？在 新舊存儲替換以后，如何合理利用舊存儲，提升業(yè)務(wù)的可靠性？這些問題將是每個IT 系統(tǒng)管理員必須面對的難題，也是IT 系統(tǒng)管理員必備的功課。老存儲性能優(yōu)化遷移（SmartMigration）LUN 遷移華為 LUN 遷移功能可以在不中斷原有業(yè)務(wù)的情況下實現(xiàn)將源 LUN 上的業(yè)務(wù)完整地遷移到目標(biāo) LUN 上，使目標(biāo) LUN 可以完全替代源 LUN 來承載業(yè)務(wù)，實現(xiàn)了業(yè)務(wù)無感知的情況