文件系統(tǒng)在存儲系統(tǒng)中的特殊作用

1、 在直連存儲系統(tǒng)的時代，應(yīng)用系統(tǒng)以計算機(jī)為中心，存儲只是外設(shè)，數(shù)據(jù)是存儲孤島 在存儲網(wǎng)絡(luò)時代，數(shù)據(jù)成為信息系統(tǒng)的核心，應(yīng)用系統(tǒng)充分挖掘數(shù)據(jù)的價值，服務(wù)器成為存儲系統(tǒng)的外設(shè)應(yīng)用系統(tǒng)操作系統(tǒng)文件系統(tǒng)RAID控制磁盤讀寫文件級傳輸文件級傳輸塊級傳輸塊級傳輸文件級傳輸：應(yīng)用系統(tǒng)的I/O邏輯請求，它是文件系統(tǒng)的輸入。是應(yīng)用系統(tǒng)要求存儲做什么的邏輯請求。文件系統(tǒng)決定數(shù)據(jù)（包括META數(shù)據(jù)）在磁盤上的存放格式和位置，這種格式和位置又決定磁頭的移動方式。塊級傳輸：應(yīng)用系統(tǒng)的I/O物理請求，它是文件系統(tǒng)的輸出。是怎么對存儲操作的數(shù)據(jù)塊請求。 RAID控制使文件系統(tǒng)看到一個大邏輯盤。 它不管磁盤格式。文件系統(tǒng)對存

2、儲系統(tǒng)的效率有舉足輕重的作用應(yīng)用系統(tǒng)操作系統(tǒng)文件系統(tǒng)RAID控制磁盤讀寫NASFC SAN應(yīng)用服務(wù)器應(yīng)用服務(wù)器以太網(wǎng)交換機(jī)以太網(wǎng)交換機(jī)NAS FC 交換機(jī)交換機(jī)SAN應(yīng)用服務(wù)器應(yīng)用服務(wù)器文件系統(tǒng)文件系統(tǒng)RAIDRAID文件系統(tǒng)文件系統(tǒng)RAID文件系統(tǒng)文件系統(tǒng)RAID應(yīng)用服務(wù)器應(yīng)用服務(wù)器文件系統(tǒng)文件系統(tǒng)應(yīng)用服務(wù)器應(yīng)用服務(wù)器人們經(jīng)常高估帶寬的作用。他們一看到網(wǎng)絡(luò)變慢，就想到是帶寬不夠了，其實(shí)往往是其他原因。我個人還從來沒有看到因?yàn)閹挷粔蛐枰獜?-Gbps生到4-Gbps的情況。Quite often people are not exceeding their bandwidths. They

3、see a network slowdown and think they are exceeding their pipeline, but often it is something else. Im not yet personally seeing anyplace where the need to exceed 2-Gbps is a reason to push for 4-Gbps. 隨著4-Gbps產(chǎn)品價格下落，對大映像文件存取所用的SAN會是最好的選擇。但對于象數(shù)據(jù)庫這樣的應(yīng)用所用的SAN來說，增添的性能是多余的。With the price of 4-Gbps produ

4、cts expected to fall, it will be the best alternative for installing new SANs, or for existing SANs where large imaging or R&D files are stored and accessed. But for existing SANs used for such applications as databases, the extra performance may not be necessary. - 摘自“IBM Latest Vendor To Throw

5、 Hat Into 4Gbps Ring” CRN 5-9-05什麼是文件系統(tǒng)?計算機(jī)的文件系統(tǒng)是任何信息管理系統(tǒng)的基本元素。它是處理過的信息最終被放置的地方。關(guān)鍵應(yīng)用系統(tǒng)的客戶依靠文件系統(tǒng)得到快速、不間斷的可靠的數(shù)據(jù)訪問 。 VERITAS指數(shù)據(jù)(包括文件和metadata)在存儲介質(zhì)上的組織管理模式,以便能快速可靠地存取數(shù)據(jù)。文件系統(tǒng)是最初的存儲“虛擬者”。每個操作系統(tǒng)都有自己的文件系統(tǒng)。例如操作系統(tǒng)所支持的文件系統(tǒng)MS-DOS, Windows 95 FAT16Windows 95,98,MeFAT16,FAT32Windows NT,2000,XPNTFS,FAT16,FAT32Lin

6、uxExt2,FAT32,FAT16不同的文件系統(tǒng)有不同的格式。例如文件系統(tǒng)最長文件名 最大卷大小 最大文件大小FAT1682GB*2GBFAT322552TB4GBNTFS25516TB16TBExt22554TB2GBWAFL Writes to nearest available free blockBerkeley Fast File System/Veritas Fast File System/NTFS Writes to pre-allocated locations (data and metadata).文件系統(tǒng)決定了磁頭如何讀寫磁盤磁頭是毫秒級操作，最大限度地減少磁頭臂的平

7、均移動次數(shù)，是提高讀寫效率的關(guān)鍵對誰有用? 大郵件目錄 新聞大目錄環(huán)境每秒創(chuàng)建數(shù)Directory SizeSunOSNetApp 2.0NetApp 2.110003011312250002268123100001640122200001214122數(shù)據(jù)卷Snapshot卷需要建立快照卷Data VolumeSnapshot Volume必須進(jìn)行數(shù)據(jù)拷貝Data VolumeSnapshot VolumeABCActive File SystemFile: NETAPP.DATDisk blocksSnapshot.0File: NETAPP.DATABCActive File System

8、File: NETAPP.DATDisk blocksSnapshot 僅僅記錄這三個僅僅記錄這三個數(shù)據(jù)塊的指針數(shù)據(jù)塊的指針, 沒有數(shù)據(jù)拷貝沒有數(shù)據(jù)拷貝Snapshot.0File: NETAPP.DATCWAFL把修改后的數(shù)據(jù)塊寫到新位置 (C)現(xiàn)在數(shù)據(jù)塊 (C) 既沒有被更新,也沒有被釋放ABCActive File SystemFile: NETAPP.DATDisk blocks顧客修改數(shù)據(jù)塊 C新數(shù)據(jù)新數(shù)據(jù)當(dāng)前文件系統(tǒng) NETAPP.DAT 現(xiàn)在由數(shù)據(jù)塊 A, B 和 C組成.NETAPP.DAT 的Snapshot.0由數(shù)據(jù)塊 A, B 和 C 組成. 可以同時保留多個文件系統(tǒng)版本

9、, 用于系統(tǒng)快速恢復(fù)CSnapshot.0File: NETAPP.DATABCActive File SystemFile: NETAPP.DATDisk blocks把模塊把模塊“C”改為改為“Z”其它File Systems (例如, NTFS, UFS)存在存在 Snapshot每個 write I/O 變?yōu)?Read old valueWrite old valueWrite new value300% I/O penalty把模塊把模塊“C” 改為改為“Z”Write Anywhere File Layout 一個 write I/O 保持為一個 I/O當(dāng)前文件當(dāng)前文件系統(tǒng)系統(tǒng)Sn

10、apshot當(dāng)前文件當(dāng)前文件系統(tǒng)系統(tǒng)Snapshot當(dāng)前文件當(dāng)前文件系統(tǒng)系統(tǒng)SnapshotCABCDABZDZABCDv磁盤寫操作涉及磁頭臂的機(jī)械運(yùn)動，可以用帶電池的緩存來減短應(yīng)用的中斷時間v緩存可以把單個寫操作，積累成批量寫操作，從而提高磁盤陣列的寫效率v寫緩存可以放在文件系統(tǒng)級或卷管理級進(jìn)程中斷時間最短, 客戶響應(yīng)時間加快, 可預(yù)見NVRAM: 保證快速寫操作保證快速寫操作保證所寫數(shù)據(jù)與磁盤的一致性, 縮短中斷時間UNIX NVRAMNetApp NVRAMDisk DriverNVRAMSemantic LayerWrite alloc Layer File System NFS Di

11、sk DriverNVRAMSemantic LayerWrite alloc LayerFile System NFS NAS gateway方法 缺點(diǎn)：兩個管理界面效率不匹配（NAS gateway可能是瓶頸）資源不能完全共享硬件資源浪費(fèi)(Cache)適用情況：絕大部分?jǐn)?shù)據(jù)是結(jié)構(gòu)化的，少量是非結(jié)構(gòu)化的CFS：在群集范圍內(nèi)的所有存儲設(shè)備上的每個存儲塊可以被并發(fā)讀寫。它不適用顧客，只適用服務(wù)器。 CFS通過分布鎖管理器(DLM)來實(shí)現(xiàn)數(shù)據(jù)共享。如：ADIC的StorNext，IBM的DFS：它協(xié)調(diào)所有的服務(wù)器實(shí)現(xiàn)數(shù)據(jù)共享。它對顧客和服務(wù)器采用2層結(jié)構(gòu)的文件系統(tǒng)。在顧客層，它實(shí)現(xiàn)跨越所有機(jī)器的統(tǒng)

12、一命名空間和單個文件系統(tǒng)的表達(dá)方式。它的服務(wù)器層承擔(dān)所有的I/O操作，從數(shù)據(jù)存儲的觀點(diǎn)看，服務(wù)器層相當(dāng)于存儲層，有時就簡稱為存儲結(jié)點(diǎn)。在DFS結(jié)構(gòu)中，每個物理服務(wù)器管理自己的存儲資源，不同的物理服務(wù)器彼此并不直接共享存儲資源。如：NetApp的SpinFS（現(xiàn)在的Data ONTAP NG )群集服務(wù)器客戶端FC交換機(jī)Metadata控制器SAN卷 每個群集服務(wù)器看到的是相同的SAN卷 用控制器統(tǒng)一管理群集服務(wù)器對SAN卷中文件的共享 可以支持從主機(jī)到存儲的多路徑合并 可以支持異構(gòu)平臺的互操作GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4FCFC通路靈活卷GigE GigE

13、顧客網(wǎng)絡(luò)LinuxLinux計算網(wǎng)格GXGXClusterClusterGigE GigE 群集網(wǎng)絡(luò)(可以構(gòu)架為冗余)10/100/1000 10/100/1000 管理網(wǎng)絡(luò)FCFC失效恢復(fù)路徑匯聚FCFC 或 ATA ATA 磁盤架InfiniBand InfiniBand 系統(tǒng)失效恢復(fù)連接簡單 所有參加計算的節(jié)點(diǎn),可以看到所有數(shù)據(jù) 簡化mount點(diǎn)的管理 在顧客端無需改動透明 擴(kuò)展 靈活卷的移動 失效接管擴(kuò)展性 將命名空間用于PB數(shù)量級數(shù)據(jù) 可管理性Proj_ABCProj_ABCEngEngSynSynSimSimDocsDocsSWSWHWHWProj_XYZProj_XYZGX 1G

14、X 1GX 2GX 2GX 3GX 3GX 4GX 4整體命名空間EngEngProj_ABCProj_ABC Proj_XYZProj_XYZHWHWSWSWDocsDocs SimSim SynSynFibreFibreChannelChannel存儲的靈活卷GigE 顧客網(wǎng)絡(luò)對位于對位于SWSW目錄上目錄上文件的文件的NFSNFS請求請求LinuxLinuxComputeComputeGridGridGXGXClusterClusterGigE 群集網(wǎng)絡(luò)顧客可以mount到任何服務(wù)器上,存取整個命名空間舉例:從位于GX1的服務(wù)器端口,存取位于GX3上的靈活卷SW提供高性能選擇好處 創(chuàng)建跨

15、多個控制器節(jié)點(diǎn)的靈活卷 將靈活卷的通量擴(kuò)展到多GB/秒 將靈活卷的大小擴(kuò)展到數(shù)百TB 傳送多GB/秒的通量給重要文件和目錄 保持管理的簡單性 用相同的存儲系統(tǒng)于多個應(yīng)用需求ProjectsProjectsX XB BC CA1A1A2A2A3A3 B1B1B2B2 C1C1C2C2C3C3B BC CA1A1A2A2A3A3B1B1B2B2C1C1C2C2C3C3LinuxLinux計算網(wǎng)格GX ClusterGX Cluster整體命名空間FV3FV3 FV4FV4FV7FV7 FV8FV8FV11FV11FV12FV12FV1FV1 FV2FV2FV5FV5 FV6FV6FV9FV9 FV

16、10FV10條帶化的卷X透明擴(kuò)展 透明數(shù)據(jù)移動 用于存儲擴(kuò)展好處 迅速無縫地啟用新存儲和/或應(yīng)用 無需宕機(jī)時間 對計算節(jié)點(diǎn)透明,不改變命名空間ABCA1A2A3B1B2C1C2C3ProjectsABCA1 A2 A3 B1 B2C1 C2 C3把數(shù)據(jù)移到新添加的存儲上把數(shù)據(jù)移到新添加的存儲上BB整體命名空間ProjProjA AB BC CD DA1A1 A2A2B1B1 B2B2 B3B3 C1C1 C2C2 C3C3D1D1 D2D2 D3D3C1C1B1B1GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4FibreFibreChannelChannel存儲的靈活卷GXG

17、XClusterClusterA1A1ProjProjA2A2D1D1B2B2D2D2C2C2B3B3D3D3C3C3A3 A3 A3A3A3A3 鏡像的靈活卷GigE群集網(wǎng)絡(luò)與整體命名空間透明結(jié)合不需要修改顧客 直接mount到有鏡像數(shù)據(jù)的節(jié)點(diǎn), 可以從本地鏡像讀取數(shù)據(jù)需要遠(yuǎn)程數(shù)據(jù)的DFS請求, 將被輪流分布到可用的鏡像上 舉例:靈活卷A3讀取頻率很高GX3正在變飽和鏡像創(chuàng)建在GX2,3,4Mount到GX2,3,4的顧客可以直接讀取Mount到GX1的顧客將通過DFS從其它三個節(jié)點(diǎn)讀取A3數(shù)據(jù) 透明數(shù)據(jù)移動 適宜優(yōu)化負(fù)載好處 優(yōu)化性能 充分利用磁盤空間 不影響應(yīng)用運(yùn)行 對顧客透明, 不改變

18、命名空間舉例: 優(yōu)化項目A的響應(yīng)時間ABCA1A2A3B1B2C1C2C3ProjectsABCA1 A2 A3 B1 B2C1 C2 C3項目項目A 得到專用資源得到專用資源應(yīng)用情況: 分層存儲 根據(jù)磁盤的價格/性能比匹配磁盤 在同一命名空間內(nèi)管理主存儲與二級存儲 分層存儲應(yīng)用: 歸檔 盤到盤備份 引用數(shù)據(jù)應(yīng)用情況: 順序I/O應(yīng)用 用ATA的價格,取得FC的性能 對不同的磁盤或應(yīng)用要求,提供不同的RAID保護(hù)(如提供2塊磁盤失效的數(shù)據(jù)保護(hù))BCA2A3C1C2AProjectsABCA1 A2 A3 B1 B2C1 C2 C3A1B1主存儲(所有工作負(fù)載得到最高性能所有工作負(fù)載得到最高性能

19、)二級存儲(較低的 $/GB)B2C3靈活卷移動時命名空間保持靈活卷移動時命名空間保持傳統(tǒng)卷，F(xiàn)lexVolv卷是存儲的基本建設(shè)模塊卷是存儲的基本建設(shè)模塊v數(shù)據(jù)管理的操作和計劃均圍繞卷進(jìn)行數(shù)據(jù)管理的操作和計劃均圍繞卷進(jìn)行 快照 備份和恢復(fù) 空間的分配和供應(yīng)v問題在于問題在于: : 卷與底層的磁盤是密不可分的卷與底層的磁盤是密不可分的 缺乏靈活性缺乏靈活性 難于按應(yīng)用特性分卷難于按應(yīng)用特性分卷 空間利用率低空間利用率低 性能難于優(yōu)化性能難于優(yōu)化4 數(shù)據(jù)存儲和管理的主要單位數(shù)據(jù)存儲和管理的主要單位仍舊是仍舊是WAFL 卷卷4 FlexVol: 不再直接與物理存儲不再直接與物理存儲掛鉤掛鉤4 FlexVol: 每個每個aggregate可有多可有多個個4 存儲空間能夠很容易被再分配存儲空間能夠很容易被再分配AggregateDisksDisksDisksFlexVols4 Aggregate包含物理存儲包含物理存儲RG1RG2RG3AggregateRG1RG2RG3FlexVol1