對(duì)存儲(chǔ)系統(tǒng)發(fā)揮特殊作用文件系統(tǒng)

1、對(duì)存儲(chǔ)系統(tǒng)發(fā)揮特殊作用文件系統(tǒng)存儲(chǔ)系統(tǒng)當(dāng)前是信息系統(tǒng)建設(shè)的核心 在直連存儲(chǔ)系統(tǒng)的時(shí)代，應(yīng)用系統(tǒng)以計(jì)算機(jī)為中心，存儲(chǔ)只是外設(shè)，數(shù)據(jù)是存儲(chǔ)孤島 在存儲(chǔ)網(wǎng)絡(luò)時(shí)代，數(shù)據(jù)成為信息系統(tǒng)的核心，應(yīng)用系統(tǒng)充分挖掘數(shù)據(jù)的價(jià)值，服務(wù)器成為存儲(chǔ)系統(tǒng)的外設(shè)文件級(jí)在存儲(chǔ)系統(tǒng)中的位置應(yīng)用系統(tǒng)操作系統(tǒng)文件系統(tǒng)RAID控制磁盤(pán)讀寫(xiě)文件級(jí)傳輸文件級(jí)傳輸塊級(jí)傳輸塊級(jí)傳輸文件級(jí)傳輸：應(yīng)用系統(tǒng)的I/O邏輯請(qǐng)求，它是文件系統(tǒng)的輸入。是應(yīng)用系統(tǒng)要求存儲(chǔ)做什么的邏輯請(qǐng)求。文件系統(tǒng)決定數(shù)據(jù)（包括META數(shù)據(jù)）在磁盤(pán)上的存放格式和位置，這種格式和位置又決定磁頭的移動(dòng)方式。塊級(jí)傳輸：應(yīng)用系統(tǒng)的I/O物理請(qǐng)求，它是文件系統(tǒng)的輸出。是怎么對(duì)存儲(chǔ)操作

2、的數(shù)據(jù)塊請(qǐng)求。 RAID控制使文件系統(tǒng)看到一個(gè)大邏輯盤(pán)。 它不管磁盤(pán)格式。從應(yīng)用系統(tǒng)的I/O調(diào)用看存儲(chǔ)模式文件系統(tǒng)對(duì)存儲(chǔ)系統(tǒng)的效率有舉足輕重的作用應(yīng)用系統(tǒng)操作系統(tǒng)文件系統(tǒng)RAID控制磁盤(pán)讀寫(xiě)NASFC SANSAN和NAS存儲(chǔ)模型的比較應(yīng)用服務(wù)器應(yīng)用服務(wù)器以太網(wǎng)交換機(jī)以太網(wǎng)交換機(jī)NAS FC 交換機(jī)交換機(jī)SAN應(yīng)用服務(wù)器應(yīng)用服務(wù)器文件系統(tǒng)文件系統(tǒng)RAIDRAID文件系統(tǒng)文件系統(tǒng)RAID文件系統(tǒng)文件系統(tǒng)RAID應(yīng)用服務(wù)器應(yīng)用服務(wù)器文件系統(tǒng)文件系統(tǒng)應(yīng)用服務(wù)器應(yīng)用服務(wù)器誤區(qū)之一：帶寬決定一切人們經(jīng)常高估帶寬的作用。他們一看到網(wǎng)絡(luò)變慢，就想到是帶寬不夠了，其實(shí)往往是其他原因。我個(gè)人還從來(lái)沒(méi)有看到因?yàn)閹?/p>

3、寬不夠需要從2-Gbps生到4-Gbps的情況。Quite often people are not exceeding their bandwidths. They see a network slowdown and think they are exceeding their pipeline, but often it is something else. Im not yet personally seeing anyplace where the need to exceed 2-Gbps is a reason to push for 4-Gbps. 隨著4-Gbps產(chǎn)品價(jià)格下落

4、，對(duì)大映像文件存取所用的SAN會(huì)是最好的選擇。但對(duì)于象數(shù)據(jù)庫(kù)這樣的應(yīng)用所用的SAN來(lái)說(shuō)，增添的性能是多余的。With the price of 4-Gbps products expected to fall, it will be the best alternative for installing new SANs, or for existing SANs where large imaging or R&D files are stored and accessed. But for existing SANs used for such applications as da

5、tabases, the extra performance may not be necessary. - 摘自“IBM Latest Vendor To Throw Hat Into 4Gbps Ring” CRN 5-9-05文件系統(tǒng)(1) 什麼是文件系統(tǒng)?計(jì)算機(jī)的文件系統(tǒng)是任何信息管理系統(tǒng)的基本元素。它是處理過(guò)的信息最終被放置的地方。關(guān)鍵應(yīng)用系統(tǒng)的客戶(hù)依靠文件系統(tǒng)得到快速、不間斷的可靠的數(shù)據(jù)訪(fǎng)問(wèn) 。 VERITAS指數(shù)據(jù)(包括文件和metadata)在存儲(chǔ)介質(zhì)上的組織管理模式,以便能快速可靠地存取數(shù)據(jù)。文件系統(tǒng)是最初的存儲(chǔ)“虛擬者”。每個(gè)操作系統(tǒng)都有自己的文件系統(tǒng)。例如操作系統(tǒng)所支持的

6、文件系統(tǒng)MS-DOS, Windows 95 FAT16Windows 95,98,MeFAT16,FAT32Windows NT,2000,XPNTFS,FAT16,FAT32LinuxExt2,FAT32,FAT16文件系統(tǒng)(2) 不同的文件系統(tǒng)有不同的格式。例如文件系統(tǒng)最長(zhǎng)文件名 最大卷大小 最大文件大小FAT1682GB*2GBFAT322552TB4GBNTFS25516TB16TBExt22554TB2GB不同的FS有不同的存儲(chǔ)效率WAFL Writes to nearest available free blockBerkeley Fast Fast Writes to pre-

7、allocated locations (data and metadata).文件系統(tǒng)對(duì)I/O效率的影響文件系統(tǒng)決定了磁頭如何讀寫(xiě)磁盤(pán)磁頭是毫秒級(jí)操作，最大限度地減少磁頭臂的平均移動(dòng)次數(shù)，是提高讀寫(xiě)效率的關(guān)鍵WAFL 大目錄處理 對(duì)誰(shuí)有用?大郵件目錄新聞 大目錄環(huán)境每秒創(chuàng)建數(shù)Directory SizeSunOSNetApp 2.0NetApp 2.110003011312250002268123100001640122200001214122Copy-on-Write技術(shù) (1)數(shù)據(jù)卷Snapshot卷需要建立快照卷Copy-on-Write技術(shù) (2)Data VolumeSnapsho

8、t Volume必須進(jìn)行數(shù)據(jù)拷貝Copy-on-Write技術(shù) (3)Data VolumeSnapshot VolumeNetApp 的 Snapshot 快照技術(shù) (1)ABCActive File: NETAPP.DATDisk blocksNetApp 的 Snapshot 快照技術(shù) (2)Snapshot.0File: NETAPP.DATABCActive File: NETAPP.DATDisk blocksSnapshot 僅僅記錄這三個(gè)僅僅記錄這三個(gè)數(shù)據(jù)塊的指針數(shù)據(jù)塊的指針, 沒(méi)有數(shù)據(jù)拷貝沒(méi)有數(shù)據(jù)拷貝NetApp 的 Snapshot 快照技術(shù) (3)Snapshot.0Fi

9、le: NETAPP.DATC WAFL把修改后的數(shù)據(jù)塊寫(xiě)到新位置 (C) 現(xiàn)在數(shù)據(jù)塊 (C) 既沒(méi)有被更新,也沒(méi)有被釋放ABCActive File: NETAPP.DATDisk blocks顧客修改數(shù)據(jù)塊 C新數(shù)據(jù)新數(shù)據(jù)NetApp 的 Snapshot 快照技術(shù) (4) 當(dāng)前文件系統(tǒng) NETAPP.DAT 現(xiàn)在由數(shù)據(jù)塊 A, B 和 C組成. NETAPP.DAT 的由數(shù)據(jù)塊 A, B 和 C 組成. 可以同時(shí)保留多個(gè)文件系統(tǒng)版本, 用于系統(tǒng)快速恢復(fù)CSnapshot.0File: NETAPP.DATABCActive File: NETAPP.DATDisk blocks不同“快照

10、”方式的比較把模塊把模塊“C”改為改為“Z”其它 (例如, NTFS, UFS)存在存在 Snapshot每個(gè) write I/O 變?yōu)?Read old valueWrite old valueWrite new value300% I/O penalty把模塊把模塊“C” 改為改為“Z”Write Anywhere 一個(gè) write I/O 保持為一個(gè) I/O當(dāng)前文件當(dāng)前文件系統(tǒng)系統(tǒng)Snapshot當(dāng)前文件當(dāng)前文件系統(tǒng)系統(tǒng)Snapshot當(dāng)前文件當(dāng)前文件系統(tǒng)系統(tǒng)SnapshotCABCDABZDZABCD存儲(chǔ)系統(tǒng)中的緩存作用v磁盤(pán)寫(xiě)操作涉及磁頭臂的機(jī)械運(yùn)動(dòng)，可以用帶電池的緩存來(lái)減短應(yīng)用的中

11、斷時(shí)間v緩存可以把單個(gè)寫(xiě)操作，積累成批量寫(xiě)操作，從而提高磁盤(pán)陣列的寫(xiě)效率v寫(xiě)緩存可以放在文件系統(tǒng)級(jí)或卷管理級(jí)基于文件系統(tǒng)的緩存進(jìn)程中斷時(shí)間最短, 客戶(hù)響應(yīng)時(shí)間加快, 可預(yù)見(jiàn)NVRAM: 保證快速寫(xiě)操作保證快速寫(xiě)操作保證所寫(xiě)數(shù)據(jù)與磁盤(pán)的一致性, 縮短中斷時(shí)間基于文件系統(tǒng)和基于卷的緩存UNIX NVRAMNetApp NVRAMDisk DriverNVRAMSemantic LayerWrite alloc Layer NFS Disk DriverNVRAMSemantic LayerWrite alloc Layer NFS FC SAN解決數(shù)據(jù)共享的傳統(tǒng)方法NAS gateway方法 缺點(diǎn)

12、：兩個(gè)管理界面效率不匹配（NAS gateway可能是瓶頸）資源不能完全共享硬件資源浪費(fèi)(Cache)適用情況：絕大部分?jǐn)?shù)據(jù)是結(jié)構(gòu)化的，少量是非結(jié)構(gòu)化的 CFS：在群集范圍內(nèi)的所有存儲(chǔ)設(shè)備上的每個(gè)存儲(chǔ)塊可以被并發(fā)讀寫(xiě)。它不適用顧客，只適用服務(wù)器。 CFS通過(guò)分布鎖管理器(DLM)來(lái)實(shí)現(xiàn)數(shù)據(jù)共享。如：ADIC的StorNext，IBM的 DFS：它協(xié)調(diào)所有的服務(wù)器實(shí)現(xiàn)數(shù)據(jù)共享。它對(duì)顧客和服務(wù)器采用2層結(jié)構(gòu)的文件系統(tǒng)。在顧客層，它實(shí)現(xiàn)跨越所有機(jī)器的統(tǒng)一命名空間和單個(gè)文件系統(tǒng)的表達(dá)方式。它的服務(wù)器層承擔(dān)所有的I/O操作，從數(shù)據(jù)存儲(chǔ)的觀點(diǎn)看，服務(wù)器層相當(dāng)于存儲(chǔ)層，有時(shí)就簡(jiǎn)稱(chēng)為存儲(chǔ)結(jié)點(diǎn)。在DFS結(jié)構(gòu)中，

13、每個(gè)物理服務(wù)器管理自己的存儲(chǔ)資源，不同的物理服務(wù)器彼此并不直接共享存儲(chǔ)資源。如：NetApp的SpinFS（現(xiàn)在的Data ONTAP NG )群集文件系統(tǒng)與分布式文件系統(tǒng)群集文件系統(tǒng)CFS示例群集服務(wù)器客戶(hù)端FC交換機(jī)Metadata控制器SAN卷 每個(gè)群集服務(wù)器看到的是相同的SAN卷 用控制器統(tǒng)一管理群集服務(wù)器對(duì)SAN卷中文件的共享 可以支持從主機(jī)到存儲(chǔ)的多路徑合并 可以支持異構(gòu)平臺(tái)的互操作DFS示例GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4FCFC通路靈活卷GigE GigE 顧客網(wǎng)絡(luò)LinuxLinux計(jì)算網(wǎng)格GXGXClusterClusterGigE GigE

14、 群集網(wǎng)絡(luò)(可以構(gòu)架為冗余)10/100/1000 10/100/1000 管理網(wǎng)絡(luò)FCFC失效恢復(fù)路徑匯聚FCFC 或 ATA ATA 磁盤(pán)架InfiniBand InfiniBand 系統(tǒng)失效恢復(fù)連接關(guān)鍵技術(shù)整體命名空間(global namespace)簡(jiǎn)單所有參加計(jì)算的節(jié)點(diǎn),可以看到所有數(shù)據(jù)簡(jiǎn)化mount點(diǎn)的管理在顧客端無(wú)需改動(dòng)透明擴(kuò)展靈活卷的移動(dòng)失效接管擴(kuò)展性將命名空間用于PB數(shù)量級(jí)數(shù)據(jù)可管理性整體命名空間舉例Proj_ABCProj_ABCEngEngSynSynSimSimDocsDocsSWSWHWHWProj_XYZProj_XYZGX 1GX 1GX 2GX 2GX 3GX

15、 3GX 4GX 4整體命名空間EngEngProj_ABCProj_ABC Proj_XYZProj_XYZHWHWSWSWDocsDocs SimSim SynSynFibreFibreChannelChannel存儲(chǔ)的靈活卷GigE 顧客網(wǎng)絡(luò)對(duì)位于對(duì)位于SWSW目錄上目錄上文件的文件的NFSNFS請(qǐng)求請(qǐng)求LinuxLinuxComputeComputeGridGridGXGXClusterClusterGigE 群集網(wǎng)絡(luò)顧客可以mount到任何服務(wù)器上,存取整個(gè)命名空間舉例:從位于GX1的服務(wù)器端口,存取位于GX3上的靈活卷SW擴(kuò)展性 靈活卷的條帶化提供高性能選擇好處創(chuàng)建跨多個(gè)控制器節(jié)點(diǎn)

16、的靈活卷將靈活卷的通量擴(kuò)展到多GB/秒將靈活卷的大小擴(kuò)展到數(shù)百TB傳送多GB/秒的通量給重要文件和目錄保持管理的簡(jiǎn)單性用相同的存儲(chǔ)系統(tǒng)于多個(gè)應(yīng)用需求ProjectsProjectsX XB BC CA1A1A2A2A3A3 B1B1B2B2 C1C1C2C2C3C3B BC CA1A1A2A2A3A3B1B1B2B2C1C1C2C2C3C3LinuxLinux計(jì)算網(wǎng)格GX ClusterGX Cluster整體命名空間FV3FV3 FV4FV4FV7FV7 FV8FV8FV11FV11FV12FV12FV1FV1 FV2FV2FV5FV5 FV6FV6FV9FV9 FV10FV10條帶化的卷X

17、擴(kuò)展性 透明擴(kuò)展透明擴(kuò)展透明數(shù)據(jù)移動(dòng)用于存儲(chǔ)擴(kuò)展好處迅速無(wú)縫地啟用新存儲(chǔ)和/或應(yīng)用無(wú)需宕機(jī)時(shí)間對(duì)計(jì)算節(jié)點(diǎn)透明,不改變命名空間ABCA1A2A3B1B2C1C2C3ProjectsABCA1 A2 A3 B1 B2C1 C2 C3把數(shù)據(jù)移到新添加的存儲(chǔ)上把數(shù)據(jù)移到新添加的存儲(chǔ)上BB擴(kuò)展性 負(fù)載均衡鏡像整體命名空間ProjProjA AB BC CD DA1A1 A2A2B1B1 B2B2 B3B3 C1C1 C2C2 C3C3D1D1 D2D2 D3D3C1C1B1B1GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4FibreFibreChannelChannel存儲(chǔ)的靈活卷GX

18、GXClusterClusterA1A1ProjProjA2A2D1D1B2B2D2D2C2C2B3B3D3D3C3C3A3 A3 A3A3A3A3 鏡像的靈活卷GigE群集網(wǎng)絡(luò)與整體命名空間透明結(jié)合不需要修改顧客 直接mount到有鏡像數(shù)據(jù)的節(jié)點(diǎn), 可以從本地鏡像讀取數(shù)據(jù) 需要遠(yuǎn)程數(shù)據(jù)的DFS請(qǐng)求, 將被輪流分布到可用的鏡像上 舉例: 靈活卷A3讀取頻率很高 GX3正在變飽和 鏡像創(chuàng)建在GX2,3,4 Mount到GX2,3,4的顧客可以直接讀取 Mount到GX1的顧客將通過(guò)DFS從其它三個(gè)節(jié)點(diǎn)讀取A3數(shù)據(jù) 靈活數(shù)據(jù)管理 數(shù)據(jù)移動(dòng)透明數(shù)據(jù)移動(dòng)適宜優(yōu)化負(fù)載好處優(yōu)化性能充分利用磁盤(pán)空間不影響應(yīng)

19、用運(yùn)行 對(duì)顧客透明, 不改變命名空間舉例:優(yōu)化項(xiàng)目A的響應(yīng)時(shí)間ABCA1A2A3B1B2C1C2C3ProjectsABCA1 A2 A3 B1 B2C1 C2 C3項(xiàng)目項(xiàng)目A 得到專(zhuān)用資源得到專(zhuān)用資源靈活數(shù)據(jù)管理 分層存儲(chǔ) 應(yīng)用情況: 分層存儲(chǔ) 根據(jù)磁盤(pán)的價(jià)格/性能比匹配磁盤(pán) 在同一命名空間內(nèi)管理主存儲(chǔ)與二級(jí)存儲(chǔ) 分層存儲(chǔ)應(yīng)用: 歸檔 盤(pán)到盤(pán)備份 引用數(shù)據(jù) 應(yīng)用情況: 順序I/O應(yīng)用 用ATA的價(jià)格,取得FC的性能 對(duì)不同的磁盤(pán)或應(yīng)用要求,提供不同的RAID保護(hù)(如提供2塊磁盤(pán)失效的數(shù)據(jù)保護(hù))BCA2A3C1C2AProjectsABCA1 A2 A3 B1 B2C1 C2 C3A1B1主存

20、儲(chǔ)(所有工作負(fù)載得到最高性能所有工作負(fù)載得到最高性能)二級(jí)存儲(chǔ)(較低的 $/GB)B2C3靈活卷移動(dòng)時(shí)命名空間保持靈活卷移動(dòng)時(shí)命名空間保持卷管理傳統(tǒng)卷，F(xiàn)lexVol今天的卷v卷是存儲(chǔ)的基本建設(shè)模塊卷是存儲(chǔ)的基本建設(shè)模塊v數(shù)據(jù)管理的操作和計(jì)劃均圍繞卷進(jìn)行數(shù)據(jù)管理的操作和計(jì)劃均圍繞卷進(jìn)行 快照 備份和恢復(fù) 空間的分配和供應(yīng)v問(wèn)題在于問(wèn)題在于: 卷與底層的磁盤(pán)是密不可分卷與底層的磁盤(pán)是密不可分的的 缺乏靈活性缺乏靈活性 難于按應(yīng)用特性分卷難于按應(yīng)用特性分卷 空間利用率低空間利用率低 性能難于優(yōu)化性能難于優(yōu)化介紹 FlexVol4 數(shù)據(jù)存儲(chǔ)和管理的主要單位數(shù)據(jù)存儲(chǔ)和管理的主要單位仍舊是仍舊是WAFL 卷卷4 FlexVol: 不再直接與物理存儲(chǔ)不再直接與物理存儲(chǔ)掛鉤掛鉤4 FlexVol: 每個(gè)每個(gè)aggregate可有多可有多個(gè)個(gè)4 存儲(chǔ)空間能夠很容易被再分配存儲(chǔ)空間能夠很容易被再分配AggregateDisksDisksDisksFlexVols4 Aggregate包含物理存儲(chǔ)包含物理存儲(chǔ)Aggregates 與 FlexVols: 工作原理RG1RG2RG3AggregateRG1RG2RG3FlexVol1FlexVol 2FlexV