閃存存儲技術(shù)應(yīng)對大數(shù)據(jù)挑戰(zhàn)

1、閃存存儲技術(shù)應(yīng)對大數(shù)據(jù)挑戰(zhàn)吳忠杰北京憶恒創(chuàng)源科技有限公司Agenda 閃存技術(shù) 存儲軟件面臨的挑戰(zhàn) 高速數(shù)據(jù)存儲管理系統(tǒng) 大數(shù)據(jù)存儲展望 Q&A閃存技術(shù)企業(yè)級SSD發(fā)展SATA/SAS SSD 接口及軟件協(xié)議棧是性能瓶頸 支持雙端口和企業(yè)級應(yīng)用PCIe SSD 高性能 采用私有的傳輸協(xié)議 NVMe SSD 高性能 國際標(biāo)準(zhǔn)SSD的優(yōu)勢SSD的性能優(yōu)勢2000 x18x HDD、SATA_SDD以及NVMe_SSD性能對比Memblaze NVMe SSD 國內(nèi)首款高性能NVMe SSDMemblaze SSD技術(shù)糾錯碼技術(shù)糾錯碼技術(shù)數(shù)據(jù)重讀技術(shù)（數(shù)據(jù)重讀技術(shù)（Read retry） BCH/L

2、DPC 解決NAND Flash的位誤碼問題 確保數(shù)據(jù)從NAND Flash顆粒可靠讀取數(shù)據(jù)持久化技術(shù)數(shù)據(jù)持久化技術(shù)(Data Retention) NAND Flash間間RAID技術(shù)（技術(shù)（RAIN） 確保數(shù)據(jù)在SSD中長期存儲 確保數(shù)據(jù)在NAND Flash顆粒間可靠存儲閃存轉(zhuǎn)換層技術(shù)閃存轉(zhuǎn)換層技術(shù)(FTL)磨損均衡技術(shù)（磨損均衡技術(shù)（Wear Leveling） 實現(xiàn)SSD盤邏輯地址（LBA）和NAND Flash物理地址之間的映射 平衡SSD中NAND Flash顆粒磨損壽命 Dynamic / statistic / global wear leveling存儲軟件面臨的挑戰(zhàn)傳統(tǒng)存

3、儲軟件設(shè)計目標(biāo)減低磁盤尋道延遲、隨機抖動，提高數(shù)據(jù)訪問性能CacheNCQIO SchedulerDisk oriented data layout傳統(tǒng)存儲軟件棧導(dǎo)出協(xié)議棧（FC、ISCSI、NFS）文件系統(tǒng)卷管理系統(tǒng)數(shù)據(jù)保護系統(tǒng)多路徑管理子系統(tǒng)IO 調(diào)度器/SCSI協(xié)議層HBA驅(qū)動層傳統(tǒng)文件系統(tǒng)數(shù)據(jù)布局對SSD的影響Superblock組描述符塊位圖Inode位圖Inode表數(shù)據(jù)區(qū)0號塊組1號塊組元數(shù)據(jù)區(qū)Bitmap位圖操作、頻繁的元數(shù)據(jù)更新操作對SSD引入額外的寫放大，降低使用壽命，降低IO性能。改變！存儲介質(zhì)發(fā)生了變化高速存儲性能瓶頸分析CPU單核無法發(fā)揮SSD性能多核共享資源NUMA非

4、對稱訪存中斷大量中斷中斷均衡操作系統(tǒng)內(nèi)存拷貝上下文切換SSD特性順序?qū)憙?yōu)于隨機寫寫懲罰網(wǎng)絡(luò)IOPS/帶寬瓶頸存儲問題高性能計算問題演變面向高速存儲介質(zhì)的軟件革新NVMe 驅(qū)動應(yīng)用面向高速介質(zhì)的存儲軟件（RISL architecture）數(shù)據(jù)服務(wù)系統(tǒng)FlashRAID存儲管理系統(tǒng)NVMe 驅(qū)動應(yīng)用高速數(shù)據(jù)存儲管理系統(tǒng)NVMe時代數(shù)據(jù)保護、卷管理何去何從？傳統(tǒng)軟RAID低速存儲解決方案高速存儲解決方案面向高速介質(zhì)進行架構(gòu)革新解決高速存儲介質(zhì)新的問題充分利用高速介質(zhì)新的特征Memblaze的答案：FlashRAID是什么？ FlashRAID是一款針對NVMe SSD數(shù)據(jù)保護、卷管理系統(tǒng)普適NVM

5、e SSD高速存儲介質(zhì)與Pblaze產(chǎn)品配合提供絕佳性能與可靠性為NVMe SSD提供數(shù)據(jù)存儲管理為NVMe SSD數(shù)據(jù)可靠性保駕護航FlashRAID是什么？高速存儲解決方案LVM卷管理器RAID數(shù)據(jù)保護低速存儲介質(zhì)FlashRAID高速存儲介質(zhì)SCSI中間層/HBA驅(qū)動NVMe驅(qū)動數(shù)據(jù)庫文件系統(tǒng)數(shù)據(jù)庫文件系統(tǒng)FlashRAID 1.0產(chǎn)品主要特性數(shù)據(jù)保護（Data Protection）可擴展性能（Scalable Performance） 為NVMe SSD數(shù)據(jù)可靠性保駕護航 充分發(fā)揮NVMe SSD的性能可擴展存儲容量（Scalable Capacity）快速數(shù)據(jù)重構(gòu)（Fast Rec

6、onstruction） 存儲容量線性擴展、簡化存儲容量管理 確保用戶數(shù)據(jù)存儲的可靠性一致的數(shù)據(jù)訪問性能（Consistent Performance）統(tǒng)一存儲資源管理（Unify Storage Management） 確保用戶IO訪問性能的一致性 全面管理系統(tǒng)存儲資源，簡化存儲管理簡便的系統(tǒng)管理（easy system management）存儲資源精簡配置（Thin provisioning） 人性化的系統(tǒng)管理 簡化用戶存儲配置管理FlashRAID典型應(yīng)用通用服務(wù)器通用服務(wù)器FlashRAID技術(shù)架構(gòu)FlashRAID關(guān)鍵技術(shù)存儲資源池技術(shù)（Storage Pool）無鎖IO處理模型（

7、Lock-free IO handling model） 分離數(shù)據(jù)保護域與物理存儲資源域 加速數(shù)據(jù)重構(gòu)性能，增強數(shù)據(jù)可靠性 確保系統(tǒng)性能的線性可擴展 提升CPU處理效率全局磨損均衡/逆均衡可變長度條帶（Variable Stripe） 延長SSD的使用壽命 避免多盤同時發(fā)生故障 減小SSD的數(shù)據(jù)寫放大智能數(shù)據(jù)重構(gòu)（Smart data reconstruction）偽隨機數(shù)據(jù)分配（Pseudo-random allocator） 確保數(shù)據(jù)可靠性 平衡SSD盤中存儲資源，減少數(shù)據(jù)遷移存儲對象管理（Storage object）可靠元數(shù)據(jù)管理（Reliable Superblock Managem

8、ent） 簡化存儲資源管理 確保存儲數(shù)據(jù)可靠性創(chuàng)新架構(gòu)：Storage Pool緊耦合傳統(tǒng)RAID架構(gòu)SSDSSDSSDSSD資源分配器chunkRAID AlgorithmRAID Algorithm存儲對象數(shù)據(jù)保護域物理資源管理域創(chuàng)新技術(shù)：無鎖IO處理模型More CPUs, Higher Performance創(chuàng)新技術(shù)：全局磨損均衡/逆均衡Global Wear LevelingAnti Wear Leveling使得整體SSD使用壽命達到最長避免SSD同時發(fā)生故障lifespanlifespan創(chuàng)新技術(shù)：智能數(shù)據(jù)重構(gòu)優(yōu)先級調(diào)度數(shù)據(jù)重構(gòu)算法數(shù)據(jù)感知重構(gòu)算法局部快速數(shù)據(jù)重構(gòu)算法提高數(shù)據(jù)可靠性，保證數(shù)據(jù)在極短的時間內(nèi)恢復(fù)，降低數(shù)據(jù)丟失的風(fēng)險FlashRAID性能評估（4 x Pblaze4）FlashRAID性能對比6X8.6X1.6X大數(shù)據(jù)存儲展望閃存在數(shù)據(jù)中心松耦合集群分布式存儲系統(tǒng)p Scale Outp Commodity Serverp All Flash總結(jié)SSDSSD將成為數(shù)據(jù)存儲的主流將成為數(shù)據(jù)存儲的主流價格不斷下降、存儲密度不斷提升、性能大幅度提升傳統(tǒng)存儲軟件技術(shù)無法適應(yīng)高速傳統(tǒng)存儲軟件技術(shù)無法適應(yīng)高速SSDSSD的應(yīng)用需求的應(yīng)用需求傳統(tǒng)存儲軟件成為性能瓶頸無法解決新介質(zhì)的問題，同時造成新的問題FlashRA