大數據時代存儲系統(tǒng)若干變化的思考-中國大數據技術大會

舒繼武清華大學計算機系shujw@/~jiwu-shu/主要內容 勢勢VolumeVolumeVelocity大容量高變化 4VVarietyVeracity多樣性高價值Source:IDC2012,IDC2014.存統(tǒng)面臨嚴峻挑戰(zhàn)存計算密集型負載>數據密集型負載：如何支持越來越高的數據存儲和處理需求?如如何構建面向大數據的高效率存儲系統(tǒng)？固態(tài)盤和持久性內存等應用越來越廣：如何高效地發(fā)揮這些新型高速存儲介質的優(yōu)勢？持久性持久性內文件系統(tǒng)進程通信操作系統(tǒng)(內核態(tài))設備驅動S文件系統(tǒng)進程通信操作系統(tǒng)(內核態(tài))設備驅動SSD硬件設備CPU網卡磁盤HDD應用程序(用戶態(tài))系統(tǒng)調用存存儲通信計算n在計算機系統(tǒng)的三大基石(計算、存儲、通信)中，唯有存儲仍包含機械式部件操作n電子式存儲器件－閃存/持久性內存－是計算機發(fā)展的趨勢圖片來源：FAST’10Tutorial6帶寬(MB/s)延遲(ms)87654320y帶寬(MB/s)延遲(ms)87654320yü帶寬、延遲198519901995200020052010n能耗與體積局限性磁磁盤存儲：5,000,000塊圖片來源：Storage-classmemory:thenextstoragesystemtechnology,IBMJournal30X20X1/1001/10030X20X1/1001/100n讀寫性能：帶寬與延遲設備型號讀帶寬寫帶寬讀延遲寫延遲磁盤SeagateSavvio2.0002.000SATA態(tài)盤IntelX25-E0.0750.085PCIe固態(tài)盤FusionIOioDriveOctal6,0004,4000.0300.0305,000,0005,000,000塊8,000個模塊1+平方米主要內容 2.2系統(tǒng)軟件的變革 五展望用閃存構建大數據存儲的優(yōu)勢(1)2.2.n以目前廣泛應用的閃存為例ü低延遲、高帶寬、隨機讀寫性能高：設備設備隨機讀隨機寫讀帶寬寫帶寬Fusion-IOioDrive2480KIOPS490KIOPS3GB/s2.5GB/sSamsung840100KIOPS78KIOPS540MB/s450MB/sSeagateBarracuda52IOPS47IOPS156MB/s156MB/sü成本“優(yōu)勢”RMBRMB/IOPS0.015Samsung840SeagateBarracudaRMB/GB5.860.26容量256GBTB用閃存構建大數據存儲的優(yōu)勢(2)2.2.n以目前廣泛應用的閃存為例ü可靠性高：HDDMTTF=500KHours.SSDMTTF=2MHours.source:SanDiskSSD:AMoreReliableAlternativetotheLaptopHDD，2007用閃存構建大數據存儲的優(yōu)勢(3)2.2.n用于大數據存儲的閃存與HDD的綜合對比DRAMPCMNANDFlashHDDReadEnergyWriteEnergy0.8J/GB6J/GBJGB65J/GB65J/GBIdlePower~100mW/GB~1mW/GBEndurance∞106-108104-105∞PageSize64B64B4KB512BReadLatency20-50ns(64B)~1-3us(4kB)~50ns(64B)~3us(4KB)~25us(4KB)~5ms(512B)~40ms(4KB)WriteLatency20-50ns(64B)~1-3us(4kB)~1us(64B)~64us(4KB)~500us(4KB)~5ms(512B)~40ms(4KB)EraseLatencyN/AN/A~2msN/ASource:“RethinkingDatabaseAlgorithmsforPhaseChangeMemory”,CIDR2011,Intel12l存儲結構MBsü體積更小、耗電更低、發(fā)熱更少(0.068wVS8.77w)l系統(tǒng)軟件l分布式協(xié)議1:CORFU:ASharedLogDesignforFlashClusters.NSDI’12,Microsoft主要內容 2.2系統(tǒng)軟件的變革 五展望2.1存儲結構的變革(1)n閃存存儲的分類Source:DesginTradeoffsforSSDPerformance.USENIX’08,UWM1.1.固態(tài)盤的形式限制了閃存優(yōu)勢的發(fā)揮，SATA接口成為存儲速度的瓶頸。2.以文件系統(tǒng)為代表的系統(tǒng)軟件，大多以磁盤為假設進行優(yōu)化，較少考慮閃存特性，其優(yōu)勢難以得到充分發(fā)揮。3.在等待閃存讀寫時，不能利用主機空閑的計算和內存資源。2.1存儲結構的變革(2)n閃存存儲的分類力Source:SurveyonFlash-BasedStorageSystems.JCRD’13,2.1存儲結構的變革(3)n閃存存儲的分類基于傳統(tǒng)存儲陣列的演進式設計SSD>HDD優(yōu)化的存儲控制器基于全閃存陣列的革新式設計閃存芯片>HDD全新的陣列控制器2.1存儲結構的變革(4)n閃存存儲的分類FAWN1：從集群整體設計的角度考慮閃存與處理器的匹配，以降低整體低頻率CPU普通CPU364query/J>>1.96query/JGordon2：發(fā)揮閃存芯片間的并發(fā)特性，匹配處理器和內存芯片的性能與能耗。已經應用到SanDiego超算中心：300TB容量，340Tfps1:FAWN:AFastArrayofWimpyNodes.SOSP’09,CMU2:Gordon:Usingflashmemorytobuildfast,power-efficientclustersfordata-intensiveapplications.ASPLOS’09,UCSD主要內容 2.2系統(tǒng)軟件的變革 五展望2.2系統(tǒng)軟件的變革(1)隨著存儲介質訪問延遲的越來越低，軟件開銷所占比例越來越高。報告1指出，傳統(tǒng)磁盤存儲系統(tǒng)中，軟件開銷所占比例為0.3%，PCIe閃存卡系統(tǒng)中軟件開銷占21.9%，隨著NVM的發(fā)展，預計軟件開銷比例將高達94.09%。1:Redrawingtheboundarybetweensoftwareandstorageforfastnon-volatilememories.[OL]2012-9-1,UCSD2.2系統(tǒng)軟件的變革(2)n通知機制低訪問延遲低訪問延遲n存取路徑頻頻繁中斷上下文切換代價超過循環(huán)等待的代價ü在塊設備層，基于磁盤的IO調度策略，并不適用于閃存的特性。ü在文件系統(tǒng)層，通過文件系統(tǒng)與閃存設備間的新軟件接口，由閃存設再通知文件系統(tǒng)更新記錄，減少了n軟件接口üTRIM：提供了數據顯示刪除的語義。üatomic-write：提供原子寫操作。üPTRIM：提供持久性刪除語義。üEXIST：檢查數據頁存在性。n事務閃存接口üAtomicWrite/TxWrite事務接口21-FAST’13-FAST’14-FAST’15--FAST’13-FAST’14-FAST’15-DATE’14-Eurosys’14-FAST’16-ASPLOS’14-ATC’15-FAST’17-CODE’17-DATE’14l基于閃存的文件系統(tǒng)-FAST’10-FAST’12-FAST’16-ATC’16l基于閃存的事務管理-SOSP’09-HPCA’11-ICCD’13-TC’16l分布式閃存的研究-NSDI’12-SOSP’13-ICCD’13-IPDPS’14222.2系統(tǒng)軟件的變革之文件系統(tǒng)(1)閃存介質的訪問，呈現(xiàn)低延遲、讀寫不對稱的特點，隨機讀寫性能較硬盤提升很高。傳統(tǒng)針對硬盤優(yōu)化設計的軟件系統(tǒng)直接用于閃存時，一方面帶來了不必要的冗余功能，另一方面隱藏了閃存可能帶來勢。1.冗余工作：文件系統(tǒng)中從文件邏輯塊到設備物理塊的映射，與FTL中邏輯地址到物理地址的映射>雙層映射2.語義缺失：設備不能理解數據頁面間的關系，難以優(yōu)化數據分布和感知文件系統(tǒng)的操作>數據刪除3.特性缺失：閃存設備的異地更新與文件系統(tǒng)的原子性操作>兩次寫2.2系統(tǒng)軟件的變革之文件系統(tǒng)(2)nSSD文件系統(tǒng)的潛在問題一：優(yōu)化錯配n文件系統(tǒng)對磁盤讀寫等優(yōu)化并不適用于閃存存儲n閃存在讀寫特性等方面與傳統(tǒng)磁盤存在較大差異ü閃存的隨機讀性能較好，但隨機寫性能較差ü閃存的邊界不對齊讀寫對性能影響較大ü……n傳統(tǒng)的順序寫入方法也不完全適用n文件系統(tǒng)的寫入還影響垃圾回收效率，以及閃存寫入壽命n……文件系統(tǒng)緩存 ABC 2.2文件系統(tǒng)緩存 ABC nSSD文件系統(tǒng)的潛在問題二：功能冗余n文件系統(tǒng)的存儲管理與FTL存儲管理存在冗余ü地址映射關系的冗余ü空閑空間管理的冗余ü……命名空間存儲管理SSSD2.2系統(tǒng)軟件的變革之文件系統(tǒng)(4)nSSD文件系統(tǒng)的潛在問題三：維度缺失ü隨著寫入次數增加，閃存單元可靠性降低ü壽命次數：SLC(100,000)->MLC(10,000)->TLC(1,000)圖片來源：TheBleakFutureofNANDFlashMemory,FAST’12n文件系統(tǒng)管理是否引入額外的數據量的寫入？n如何控制文件系統(tǒng)自身的寫入數據量？文件系統(tǒng)緩存文件系統(tǒng)緩存嵌入式系統(tǒng)SSD文件系統(tǒng)文件系統(tǒng)(命名空間+存儲管理)嵌入式文件系統(tǒng)(命名空間+存儲管理)讀／寫／擦除文件系統(tǒng)緩存文件系統(tǒng)緩存嵌入式系統(tǒng)SSD文件系統(tǒng)文件系統(tǒng)(命名空間+存儲管理)嵌入式文件系統(tǒng)(命名空間+存儲管理)讀／寫／擦除 友好的數據布局讀／寫SSSDn如何根據SSD特性設計適用于SSD的文件系統(tǒng)？文件系統(tǒng)緩存文件系統(tǒng)緩存嵌入式系統(tǒng) SSD文件系統(tǒng)軟件驅動級 文件系統(tǒng)緩存文件系統(tǒng)緩存嵌入式系統(tǒng) SSD文件系統(tǒng)軟件驅動級 讀／寫／擦除嵌入式文件系統(tǒng)(命名空間+存儲管理)n如何利用FTL的功能以簡化文件系統(tǒng)設計？文件系統(tǒng)(命名空間+存儲管理)讀／寫SSSD簡化的存儲管理文簡化的存儲管理(命名空間+存儲管理)讀／寫文件系統(tǒng)緩存文件系統(tǒng)緩存文件系統(tǒng)緩存嵌入式系統(tǒng) SSD文件系統(tǒng) 閃存文件系統(tǒng)對象式文件系統(tǒng)命名空間(命名空間)對象接口文件系統(tǒng)(命名空間+文件系統(tǒng)緩存文件系統(tǒng)緩存文件系統(tǒng)緩存嵌入式系統(tǒng) SSD文件系統(tǒng) 閃存文件系統(tǒng)對象式文件系統(tǒng)命名空間(命名空間)對象接口文件系統(tǒng)(命名空間+存儲管理)對象式FTL裸閃存設備 芯片芯片芯片芯片 讀／寫／擦除n優(yōu)化錯配ReconFS(清華大學,FAST’14) n如何利用閃存特性設計新目錄樹管理？n維度缺失OFSS(清華大學,FAST’13) n如何在文件系統(tǒng)中考慮耐久性？n義隔離ParaFS(清華大學,ATC’16)n如何充分發(fā)揮閃存的內部并發(fā)特性？嵌入式文件系統(tǒng)(命名空間+存儲管理)文件系統(tǒng)(命名空間+存儲管理)讀／寫SSSD讀／寫／擦除讀／寫2.2系統(tǒng)軟件的變革之文件系統(tǒng)(8)n大數據存儲系統(tǒng)對閃存的使用壽命要求更高ü采用開放通道閃存可以有效提升閃存的使用壽命l使用壽命提升20%至6.7倍2.2系統(tǒng)軟件的變革之文件系統(tǒng)(9)n大數據應用場景對存儲性能的穩(wěn)定性要求更高ü采用開放通道閃存可以更好地保證穩(wěn)定的存儲性能2.2系統(tǒng)軟件的變革之KV數據庫(1)nLOCS—基于裸閃存的KV數據庫(Eurosys’14)ü數據庫直接管理裸閃存，繞過文件系統(tǒng)ü并發(fā)感知的請求調度ü發(fā)揮設備的內部并發(fā)特性cKey2.2系統(tǒng)軟件的變革之KV數據庫(2)cKeynWiscKey—KeyValue分離存儲的LSM-Tree(FAST’16)üLSM-tree的壓縮操作會產生üKeyValue分隔存儲。使用ü發(fā)揮閃存設備，隨機讀的性NVMKV2.2系統(tǒng)軟件的變革之KV數據庫(3)NVMKVnNVMKV—基于閃存擴展接口的KV緩存系統(tǒng)(ATC’15)ü閃存的FTL與KV存儲系統(tǒng)存在著功ü通過擴展FTL的接口，將與FTL冗余2.2系統(tǒng)軟件的變革之KV數據庫(4)nFlashKV—基于開放通道閃存的KV系統(tǒng)(CODES+ISSS’17)ü減少KV存儲系統(tǒng)、文件系統(tǒng)與閃存的FTL三者之間功能上的冗余，消ü利用KV系統(tǒng)和閃存的特性，優(yōu)化了數據布局，提出了自適應的壓縮策略、壓縮感知的緩存算法和基于優(yōu)主要內容 3.2持久性內存系統(tǒng)軟件 五展望2017年雙11天貓整體交易再創(chuàng)新高3.背景—大數據處理時效性越來越高2017年雙11天貓整體交易再創(chuàng)新高雙雙11支付總數大幅增長數據來源:天貓-2017.11.12；每天超過30億次搜索陳海波-CCFADL；Google371.Gartner’s“WeeklyMemoryPricingIndex,21December2012”,G002476282.Gartner’s“MarketGuideforIn-MemoryComputingTechnologies”,201538n內存代價的降低(每12個月降低32%1)n支持數據的近實時計算與分析內存計算技術市場的快速發(fā)展2(inillions數據來源:金海-2017云棲大會的PPT數據來源:金海-2017云棲大會的PPT3.背景—持久性內存帶來巨大機遇ü零泄露功耗n非易失、高可靠性、抗振動ü掉電數據保持ü抵抗軟錯誤與物理振動n能ü更大容量高性能片上存儲ü更快的外存讀寫速度解決傳統(tǒng)存儲系統(tǒng)面臨的挑戰(zhàn)，新型存儲器件提供了重要途徑和機遇。在Gartner發(fā)布的2011年十大戰(zhàn)略技術中，SCM是唯一位列其中的存儲技術！3.背景傳傳統(tǒng)存儲架構、軟件及各層次都是針對傳統(tǒng)器件設計的，難以發(fā)揮新型存儲器件的特性；同時新型存儲器件本身也有寫性能和器件壽命等不足，這些都是需要解決的問題！413.背景—持久性內存器件研發(fā)進展nIntel&Micron:3DXpointn2017Q1:OptaneSSDDCP4800X(PCI-E3.0/NVMe)n2018年(預期)：3DXPointDIMM板卡基于技術打造爾)處理器存儲易失|持久性邊界Load/Store處理器存儲易失|持久性邊界Load/Storen易失性-持久性邊界的變化n對存儲介質的利用方式發(fā)生變化ü文件？對象？MemoryManagement3.背景—持久性內存存儲系統(tǒng)研究現(xiàn)狀MemoryManagementApplicationApplicationdatastructure,…)持久性內存編程模型SOSP’09ASPLOS’11MSST’15ASPLOS’12ASPLOS’16MICRO’13MICRO’16ICCD’14Eurosys’17TOS’14ASPLOS’17持久性內存空間管理Eurosys’16-ASPLOS’17OOSPLA’16-ATC’17持久性內存文件系統(tǒng)SOSP’09-FAST’16SC’11-Eurosys’16Eurosys’14-MSST’16DATE主要內容 3.2持久性內存系統(tǒng)軟件 五展望Source:AndyRudoff,Source:AndyRudoff,IntelCorporation.TheSNIANVMProgrammingModel:LatestDevelopmentsandChallenges.3.1n新型編程模型涉及的內容：ü軟件訪問硬件接口：以訪問內存的方式訪問NVM(cachecoherent).üInstructionSetArchitecture(ISA)：Store操作數據需從CPUCache中刷出，全局可見性→數據持久化3.1持久性內存編程模型面臨的挑戰(zhàn)(2)3.1n新型編程模型涉及的內容：ü暴露給應用程序的方式：lSNIANVM編程模型(Block/File/Memory)lMemory-MappedFile：DirectAccess(DAX)ü編程復雜度：更安全、更不易出錯、熟悉的編程范式(常見編程語3.1NVM才3.1NVM才riteback用lflushn新型編程模型面臨的問題：ü程序執(zhí)行空間的數據已經持久化，如何提供應用程序自管理的持久化的功能？ü需要確保程序數據在異常掉電和系統(tǒng)崩潰之后能夠被正確地恢復，如何實現(xiàn)低開銷的一致性機制？STORESTOREdata[0]=0xFOODSTOREdata[1]=0xBEEFSTOREvalid=1VVDD1Load/StoreDD1VVSNIANVMPAtlasIntel提供開源庫組件包括：SNIANVMPAtlasIntel提供開源庫組件包括：LibpmemobjLibpmemblkLibpmemlogLibpmemLibvmemmempoolatomic區(qū)分持久性和臨時性數據HP開源__n存儲層次變革，需要定義新的內存編程模型：ü基于單級持久性存儲系統(tǒng)的非易失性編程接口l如：Mnemosyne[ASPLOS’11],NV-Heaps[ASPLOS’11],NVMLü新型編程模型的一致性開銷的優(yōu)化l如：Epoch[SOSP’09],WSP[ASPLOS’12],Kiln[MICRO’13],StrandConsistency[ISCA’14],LOC[ICCD’14],BPPM[MSST’15],EagerSync[ASPLOS’16],SyncOrdering/DelegatedOrdering[MICRO’16],DUDETM[ASPLOS’17],Kamino-TX[Eurosys’17]NNVML成成立時間：2012.6主導廠商：intel旨在定義新的內存訪問模型定義軟件的行為規(guī)范，不定義真正的APInelSTMCompilerfileVFSmmumappingsnelSTMCompilerfileVFSmmumappingsPM(regionmanager)PersistentMemoryn基于內存映射文件的持久性堆結構ü通過持久性內存文件系統(tǒng)(如PMFS、EXT4-DAX)和內存映射文件導出load/store訪問接口lMnemosyne[ASPLOS’11]、NV-Heaps[ASPLOS’11]lNVMLibrary[Intel]ü提供持久化事務支持，保證數據的一致性ApApplicationsIOmmapmmapPMPM-awareFSbeginbegin_transaction();stm_store(&R.value,0xC0F);stm_store(&R.valid,1);commit_transaction();geAgeAgeAgeAheapo_malloc()heapo_free()LibarayHEAPO基于原生堆的持久性堆結構實現(xiàn)heapo_seg_free()Kernelheapo_seg_alloc()STT-MRAMRegion基于內存映射文件的持久性堆的實現(xiàn)libln基于原生堆(Nativeheap)的持久性堆結構ü內在進程虛擬地址空間中預留一段持久性堆空間l如：Heapo：基于堆的持久性對象存儲[TOS’2014]DRAMDRAMRegionllibProcessADAFBCGFEDABCGDEFABCDBCDFFBCAFBCAAEEDEGACDBEDFACBFG3.1新型編程模型一致性機制優(yōu)化DAFBCGFEDABCGDEFABCDBCDFFBCAFBCAAEEDEGACDBEDFACBFGn在內存級維護持久性數據結構帶來一致性問題n持久性內存的一致性機制ü順序性：處理器數據需要按照數據依賴關系順序寫回持久性內存ü持久性：處理器數據從L1、L2等多級易失性緩存中替換到持久性內存n一致性機制引起額外的性能開銷例：Tx1:(A,B,C,D)->Tx2:(A,F)->Tx3:(B,C,E)->Tx4:(D,E,F,G)嚴格的順序約束易嚴格的順序約束EE持久性內存EEstence[ASPLOS’17]?Kamino-TX[Eurosys’17]?HOPS[ASPLOS’17]stence[ASPLOS’17]?Kamino-TX[Eurosys’17]?HOPS[ASPLOS’17]OrderingSupportCommitw/ocommitrecordn持久性內存的一致性機制優(yōu)化ü維度：軟件和硬件×降低持久化和降低順序化開銷l如：非易失CPU緩存、CPU硬件功能擴展、軟件層放松一致性等?BPPM[MSST’15]?DUDETM?Mnemosyne(TornBit)[ASPLOS’11]?HOPS[ASPLOS’17]?Kiln[MICRO’13]?WSP[ASPLOS’12]?Epoch[SOSP’09]?StrandConsistency[ISCA’14]?LOC[ICCD’14]?EagerSync[ASPLOS’16]/SyncOrdering[MICRO’16]?DelegatedOrdering[MICRO’16]53通過RAMDISK模擬塊設備的形式兼容傳統(tǒng)文件系統(tǒng)fileVFSmmPagecacheBlockdeviceu3.2持久性內存文件系統(tǒng)(1)通過RAMDISK模擬塊設備的形式兼容傳統(tǒng)文件系統(tǒng)fileVFSmmPagecacheBlockdeviceu基基于持久性內存重新構建字節(jié)粒度的持久性文件系統(tǒng)fileIO3.2持久性內存文件系統(tǒng)(2)fileIOn通過RAMDISK模擬塊設備兼容傳統(tǒng)文件系統(tǒng)ü傳統(tǒng)文件系統(tǒng)無需修改，可直接構建于以持久性內存模擬的üRAMDISK形式使得傳統(tǒng)文件系統(tǒng)快速受益于內存級的數據持久化，ü不足：軟件層的開銷巨大，無法充分利用持久性存儲介質優(yōu)勢VFSVFSNVMNVM3.2持久性內存文件系統(tǒng)(3)n改造傳統(tǒng)的文件系統(tǒng)ü提升經過時間考驗的(成熟)的傳統(tǒng)文件系統(tǒng)性能[NVMW’17]l移除PageCache中同步數據更新：異步I/O隱藏pagecacheflush開銷l將PageCache作為multi-versioning區(qū)域l優(yōu)化文件系統(tǒng)一致性機制：輕量級的VFS層的元數據日志機制MeLo@VSource:HyunsubSong,etal."TransformingLegacyFileSystemsintoPersistentMemoryExploitingFileSystemswithMeLo@V.“NVMW201756mappings3.2持久性內存文件系統(tǒng)(4)mappingsn基于持久性內存重新構建字節(jié)粒度文件系統(tǒng)ü細粒度的數據訪問ü融合內外存管理方式üNVM直寫，避免雙重拷貝和塊層開銷代表性工作：存文件系統(tǒng)BPFS[SOSP’09]2.融合虛擬內存管理技術的持久