SAN網(wǎng)絡(luò)存儲共享軟件全攻略

1、在高性能專用存儲網(wǎng)絡(luò)需求的驅(qū)使下，SAN存儲區(qū)域網(wǎng)絡(luò)系統(tǒng)大量應(yīng)用于高性能計算網(wǎng)絡(luò)系統(tǒng)、大型網(wǎng)站系統(tǒng)、非線性編輯系統(tǒng)等網(wǎng)絡(luò)系統(tǒng)中，存儲設(shè)備與計算機主機系統(tǒng)之間一對一的關(guān)系，被可供多個系統(tǒng)共享同一個存儲設(shè)備網(wǎng)絡(luò)的關(guān)系所取代。為確保多大量客戶端主機對同一存儲設(shè)備的共享訪問權(quán)限和和管理權(quán)限的統(tǒng)一，就需要安裝專門的存儲共享管理軟件或采用專門的共 享文件系統(tǒng)。SANergy、ImageSAN、StorNext、GPFS、CXFS等軟件或文件系統(tǒng)就是為了實現(xiàn)存儲設(shè)備共享而開發(fā)的。 一、典型SAN共享系統(tǒng)在說到SAN網(wǎng)絡(luò)存儲共享管理軟件之前(假設(shè)你對SAN、NAS、DAS和ISCSI技術(shù)的特點和區(qū)別已經(jīng)很熟悉

2、)，我們先來看一看常用的、或典型的FC-SAN存儲網(wǎng)絡(luò)和IP-SAN存儲網(wǎng)絡(luò)架構(gòu)的特點。FC-SAN共享存儲系統(tǒng)結(jié)構(gòu)圖：(圖1)大型FC-SAN存儲共享系統(tǒng)經(jīng)常被稱“FC+LAN”雙網(wǎng)結(jié)構(gòu)，這是指在本該系統(tǒng)由FC光纖通道網(wǎng)絡(luò)和LAN以太網(wǎng)絡(luò)兩個網(wǎng)絡(luò)共同構(gòu)成，其中以太網(wǎng)絡(luò)負責工作站與MDC(MetaData Controller)服務(wù)器與工作站之間的元數(shù)據(jù)信息傳輸和交換，F(xiàn)C光纖通道網(wǎng)絡(luò)只負責實際數(shù)據(jù)的高帶寬傳輸。這種網(wǎng)絡(luò)結(jié)構(gòu)可充分利用兩種網(wǎng)絡(luò)的特點，發(fā)揮兩個網(wǎng)絡(luò)的最大效率。IP-SAN共享存儲系統(tǒng)結(jié)構(gòu)圖：以iSCSI設(shè)備為核心存儲的IP-SAN采用了與FC-SAN類似的結(jié)構(gòu)，典型的ISCSI存

3、儲網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)如下所示：(圖2)IP-SAN一般被稱為單網(wǎng)結(jié)構(gòu)，是指MDC服務(wù)器與工作站之間的元數(shù)據(jù)和實際數(shù)據(jù)都是通過以太網(wǎng)絡(luò)來進行傳輸和交換。單網(wǎng)結(jié)構(gòu)具有網(wǎng)絡(luò)結(jié)構(gòu)簡單，可充分利用現(xiàn)在設(shè)備，系統(tǒng)建設(shè)時對現(xiàn)在系統(tǒng)修改較小，管理維護方便等特點。一、SANergySANergy可以理解為一個文件系統(tǒng)的擴展，它能提升嵌入Windows NT、Windows 2000®、Unix和Machintosh操作系統(tǒng)內(nèi)部的分布式數(shù)據(jù)共享能力。SANergy可以將標準網(wǎng)絡(luò)文件輸入/輸出，由LAN重新指向SAN。普通的網(wǎng)絡(luò)協(xié)議(CIF或NFS)在標準的LAN上建立連接以共享文件，而數(shù)據(jù)本身通過更高效的SA

4、N以高得多的帶寬傳輸。與SAN連接的存儲介質(zhì)可被格式化成NTFS、UFS或EXT FS格式或支持SANergy open API的任何其它文件系統(tǒng)。SANergy將標準的Windows NT、Windows 2000、SUN Soloris或Red Hat Linux®文件服務(wù)器擴展后，充當共享式存儲器的元數(shù)據(jù)控制器(MDC)。這個MDC通過運行SANergy客戶端軟件的計算機，管理對SAN存儲器的訪問。通過提供重要的文件系統(tǒng)元數(shù)據(jù)，MDC在客戶計算機提出請求時，管理對公用存儲器的訪問。然后，客戶機可以通過SAN的連接直接訪問該存儲器。SANergy對大部分系統(tǒng)服務(wù)或應(yīng)用程序提供透明

5、支持，使用戶能夠通過實施存儲區(qū)域網(wǎng)絡(luò)(SAN)透明地共享公用存儲器、卷和文件的存取;可以使UNIX®、Windows NT®和Apple Macintosh系統(tǒng)在卷、文件和字節(jié)級上跨平臺共享存儲資源，從而比基于服務(wù)器共享的方式大大增加吞吐量，降低管理費。SANergy不是一個獨立的文件系統(tǒng)，而只是一個文件I/O 重定向程序。它截取文件I/O 重定向到MDC 文件系統(tǒng)管理的磁盤，所以它只是一個SAN 文件系統(tǒng)外殼軟件。MDC對磁盤及文件系統(tǒng)的管理視主機平臺而定，如是Windows就是NTFS、Solaris，就是UFS、Linux就是EXT2等。在異構(gòu)操作系統(tǒng)平臺之間共享數(shù)據(jù)

6、需要采用NFS 協(xié)議處理，性能表現(xiàn)不佳，實現(xiàn)可用性不高，不能滿足混合平臺、大量主機并發(fā)工作環(huán)境中的性能要求。工作站以網(wǎng)絡(luò)文件系統(tǒng)方式安裝共享磁盤，而SANergy不是獨立的文件系統(tǒng)，它必須以網(wǎng)絡(luò)文件系統(tǒng)的形式安裝在主機上(Windows就是網(wǎng)絡(luò)盤符、UNIX和Linux就是NFS文件系統(tǒng))，那些不能在網(wǎng)絡(luò)文件系統(tǒng)上處理數(shù)據(jù)的應(yīng)用就無法運行，或運行效率和很低。除了MDC 外，所有SANergy主機都無法為其他LAN主機提供數(shù)據(jù)共享，因為它本身就是網(wǎng)絡(luò)文件系統(tǒng)，不能再次共享。Metadata傳輸占用LAN帶寬高，占用MDC主機資源多，不能支持大量主機并發(fā)訪問。SANergy使用NFS/CIFS文件

7、傳輸協(xié)議傳輸Metadata信息，不僅占用很大的LAN帶寬，而且由于MDC必須運行NFS/CIFS服務(wù)器處理連接，所以消耗資源很大，在高負載環(huán)境中效率低下依賴其它文件系統(tǒng)技術(shù)處理硬件，在高負載環(huán)境中數(shù)據(jù)處理性能低下SANergy MDC只有在Windows或AIX環(huán)境下才可以雙機切換，而且需要機群軟件支持。如果MDC 主機是其它UNIX或Linux，就無切換功能。這個約束極大降低了SANergy系統(tǒng)的可靠性和可用性。SANergy軟件安裝和使用簡單方便，需要進行設(shè)置的參數(shù)項少，任何人只需要進行簡單地培訓就可以使用。雖然SANergy軟件的官方價格仍然很高，但實際上其它盜版到處都有，不需要注冊碼

8、且可以長期使用，與從官方購買到的軟件完全相同。因此對于一些存儲需要共享但又不想花買正版軟件的人來講，應(yīng)該是一個不錯的選擇。 然而，經(jīng)本人長期親自使用后發(fā)現(xiàn)，SANergy軟件的穩(wěn)定性和安全不足。雖然官方一直聲稱主機數(shù)沒有限制，但實際上當網(wǎng)絡(luò)中的主機數(shù)量到達100-150時，MDC服務(wù)器性能會大幅度降低，經(jīng)常出現(xiàn)一些莫名其妙的問題，可能會引起數(shù)據(jù)丟失或文件系統(tǒng)損壞，系統(tǒng)運行和維護管理要求嚴格，必須在對共享網(wǎng)絡(luò)存儲有深入了解的技術(shù)人員指導(dǎo)下來進行日常維護。目前官方已不再對SANergy的后期開發(fā)和升級，改去開發(fā)新的共享軟件，但不知道還提供SANergy軟件的后期技術(shù)支持。另外，SANergy軟件在

9、異構(gòu)操作系統(tǒng)平臺下表現(xiàn)不佳，實際性能只相當于同構(gòu)性的1/4-1/5,這個性能遠不能滿足系統(tǒng)正常運行的需要。二、ImageSANImageSAN是Rorke Data公司專門針對廣電行業(yè)音視頻(AV)SAN網(wǎng)絡(luò)存儲應(yīng)用而研發(fā)的，是Windows NT/2000/XP及Macintosh OSX環(huán)境及混合環(huán)境的SAN解決方案，并提供廣泛的應(yīng)用支持和高適應(yīng)性的容錯能力?；贗mageSAN的存儲共享解決方案通過速度、協(xié)作和多任務(wù)提高了視頻、音頻及圖形編輯系統(tǒng)的網(wǎng)絡(luò)化處理能力。MDC設(shè)置：ImageSAN可以保證卷Master的動態(tài)切換，確保高可用性。在對等網(wǎng)中，每一臺主機都有可能成為卷Master。

10、從成本考慮，用戶根本不必花費額外的MDC費用。而從安全性等方面考慮，當網(wǎng)絡(luò)中主機數(shù)量大于10時，用戶往往使用域模式(并不是必須如此，取決于用戶以太網(wǎng)的設(shè)置)，單獨設(shè)置了一臺域服務(wù)器，ImageSAN就可以指定該服務(wù)器為Master。同類其它產(chǎn)品則完全依賴MDC，MDC一旦出故障，將導(dǎo)致整個網(wǎng)絡(luò)癱瘓。二次共享：在每一臺ImageSAN工作站上，SAN共享卷都直接顯示為本地硬盤。由于具有所有本地硬盤的特性，SAN存儲卷可以再映射到以太網(wǎng)以便共享。這樣，SAN以外的以太網(wǎng)工作站也可以訪問SAN中的資料。更重要的是，SAN中的每一臺主機都可以面向以太網(wǎng)共享同一SAN分區(qū)(用戶權(quán)限支持)。整個網(wǎng)絡(luò)的處理

11、能力分擔了原來單臺服務(wù)器的負載，大大減小了網(wǎng)絡(luò)癱瘓的可能性。這一點特別適合無卡網(wǎng)絡(luò)編輯的要求。動態(tài)高可用冗余標準：ImageSAN網(wǎng)絡(luò)中的Master如果出故障，同一網(wǎng)絡(luò)中的工作站都可以接管成為Master。而且，SAN中的每個卷都可以單獨指定自己的Master，也可讓網(wǎng)絡(luò)選舉產(chǎn)生Master，非常靈活。如果通過其他軟件管理SAN，Master的MDC出故障，就要靠Slave的MDC接管。如果Slave的MDC也出故障，將導(dǎo)致整個網(wǎng)絡(luò)癱瘓。筆者注：ImageSAN軟件在視頻共享網(wǎng)絡(luò)環(huán)境中性能表現(xiàn)良好，但在非視頻共享環(huán)境中表現(xiàn)一般。感覺上ImageSAN實際使用的案例比較少，特別是大型網(wǎng)絡(luò)系統(tǒng)中

12、很少用到ImageSAN，非視頻共享行業(yè)用戶對ImageSAN更少聽聞。三、StorNextStorNext FS是完全為SAN網(wǎng)絡(luò)環(huán)境設(shè)計的文件系統(tǒng)，不依賴于任何現(xiàn)有操作系統(tǒng)中附帶的、獨立的、跨平臺SAN文件系統(tǒng)。StorNext FS是真正的64位文件系統(tǒng)，可以保證管理巨大的磁盤空間和文件數(shù)量，不同類型的主機可以同時以FC Direct I/O方式訪問數(shù)據(jù)，中間不需要任何協(xié)議轉(zhuǎn)換。因此，StorNext FS 可以充分利用和發(fā)揮SAN 體系結(jié)構(gòu)的所有優(yōu)點，完全擺脫現(xiàn)有文件系統(tǒng)產(chǎn)品的結(jié)構(gòu)束縛，特別是在混合平臺、大量主機并發(fā)工作環(huán)境中優(yōu)勢非常突出。采用日志型文件系統(tǒng)的設(shè)計保證系統(tǒng)的可靠性、健壯

13、性和快速恢復(fù)能力。StorNext FS直接通過TCP/IP協(xié)議傳輸Metadata，MDC采用優(yōu)化算法處理Metadata，Metadata傳輸占用LAN帶寬低，占用MDC主機資源少，可以支持大量主機并發(fā)訪問，因此傳輸和處理效率非常高，可以滿足大量主機在高負載環(huán)境下并行工作的要求。StorNext FS具有自己的磁盤邏輯卷管理功能，可以優(yōu)化組合SAN中的磁盤資源，并且可以對SAN網(wǎng)絡(luò)鏈路進行多通道并發(fā)處理、保證帶寬質(zhì)量和實現(xiàn)負載均衡。加上StorNext SM 管理模塊，可以管理多種磁帶庫和磁帶介質(zhì)具備多種SAN網(wǎng)絡(luò)和磁盤優(yōu)化功能，可充分發(fā)揮硬件性能，在高負載環(huán)境中數(shù)據(jù)處理性能突出。Stor

14、Next FS的Metadata控制器可以在任何類型的主機(多達7 臺)中進行切換，因此可以最大限度地保證系統(tǒng)的連續(xù)、可靠運行。由于StorNext FS 是獨立的文件系統(tǒng)，工作站以本地文件系統(tǒng)方式安裝共享磁盤，共享磁盤直接顯示為本地磁盤，可進行二次網(wǎng)絡(luò)共享，所有應(yīng)用軟件都可以以本地磁盤和文件系統(tǒng)方式處理StorNext FS 中的數(shù)據(jù)。具有原始集成的HSM數(shù)據(jù)歸檔、遷移、備份和容災(zāi)功能(StorNext Storage Manager)，StorNext FS是符合XDSM數(shù)據(jù)管理標準的文件系統(tǒng)，具備內(nèi)置的數(shù)據(jù)遷移、保護、容災(zāi)等管理模塊 ?C StorNext Storage Manager

15、 實現(xiàn)跨存儲介質(zhì)的、長期的數(shù)據(jù)存儲和保護解決方案。筆者注：StorNext軟件是目前最熱門的存儲共享管理軟件，因此軟件價格也居高不下，當網(wǎng)絡(luò)規(guī)模較大時，可能StorNext軟件的購置費用就會占用非常大的一部分成本。StorNext設(shè)置參數(shù)較多，技術(shù)人員要求較高。聽說朋友說StorNext的問題與SANergy相比并不少，且出了問題難以排查。四、CXFS CXFS是可擴展的日志性群集文件系統(tǒng)，具高可擴展性。單一文件大小可以達到九百萬TB，文件系統(tǒng)可以達到1800萬TB。動態(tài)分配算法使得一個文件系統(tǒng)可以存儲數(shù)百萬個文件而不浪費磁盤空間，單一目錄管理百萬個文件而不影響性能。CXFS通過使用先進的XV

16、M卷管理工具，一個磁盤卷可以有幾千個磁盤構(gòu)成，當現(xiàn)有磁盤卷容量不能滿足用戶需求時，可以在線增加新的磁盤，確保CXFS能滿足日見增長的存儲需要。網(wǎng)絡(luò)的速度、服務(wù)器的能力和協(xié)議本身都是NFS性能的障礙。NFS協(xié)議是同步操作，每一數(shù)據(jù)塊請求都需要兩次網(wǎng)絡(luò)I/O;CXFS只通過網(wǎng)絡(luò)請求少量的Metadata信息，大量的數(shù)據(jù)I/O是直接通過讀寫磁盤實現(xiàn)的。另外CXFS還可以在單一系統(tǒng)I/O路徑使用多塊FC卡增加I/O帶寬。因為CXFS服務(wù)器只在數(shù)據(jù)傳輸之初將文件信息和文件控制權(quán)限賦予CXFS客戶機，而不參與每一次的數(shù)據(jù)傳輸，所以CXFS服務(wù)器并不需要很大即可支持大量的客戶機。CXFS被設(shè)計成能自動識別并

17、恢復(fù)單點失敗，單點失敗包括：主Metadata服務(wù)器失敗、SAN失敗、TCP/IP網(wǎng)絡(luò)失敗等。在CXFS配置中，一臺主機是Metadata服務(wù)器，所有其他主機都可以設(shè)計成備份Metadata 服務(wù)器，一個備份服務(wù)器探測到主Metadata服務(wù)器失敗后將自動變成主Metadata服務(wù)器。筆者注：據(jù)官方工程師講，為了有效地利用CXFS文件系統(tǒng)，建議除了普通的以太網(wǎng)絡(luò)和SAN網(wǎng)絡(luò)之間，再建立一個“第三網(wǎng)”，該網(wǎng)絡(luò)只負責CXFS管理服務(wù)器和客戶端工作站之間的元數(shù)據(jù)信息和指今的管理和傳輸。筆者曾在2004年測試過CXFS文件系統(tǒng)，測試網(wǎng)絡(luò)采用雙網(wǎng)結(jié)構(gòu)，未建立所謂的第三網(wǎng)。測試發(fā)現(xiàn)以太網(wǎng)的流量會隨CXFS

18、文件系統(tǒng)使用時間的延續(xù)而不斷增加，網(wǎng)絡(luò)的效率也會不斷降低，直至最終網(wǎng)絡(luò)堵塞。先后共三個時間三個不同網(wǎng)絡(luò)環(huán)境測試的結(jié)果相同。后聽說官方就此問題進行了再次開發(fā)仍然未解決該問題。后來怎么樣就不是很清楚了。五、GPFS通用并行文件系統(tǒng) (General Parallel File System ?C GPFS)將所有的物理資源(包括服務(wù)器和磁盤陣列)都視為虛擬文件系統(tǒng)的對象，允許使用者共享分布在多個節(jié)點和多個磁盤上的文件。它允許并行的應(yīng)用程序同時從GPFS 節(jié)點組(nodeset)中的任何節(jié)點訪問相同或不同的文件(節(jié)點組 nodeset 被定義為一組運行相同版本GPFS的節(jié)點)。一個GPFS文件系統(tǒng)可

19、以橫跨在群集內(nèi)的所有主機上，分布在所有磁盤上。GPFS文件系統(tǒng)在讀寫文件時采用條帶化技術(shù)，將數(shù)據(jù)分成條帶并行寫入到該GPFS下的所有NSD中。在有高速數(shù)據(jù)通道的GPFS配置下，讀寫文件時可以通過所有主機的光纖通道訪問所有的磁盤。GPFS文件系統(tǒng)的設(shè)計目標是使數(shù)據(jù)分布在一個集群中的所有節(jié)點上，允許應(yīng)用程序通過標準的UNIX文件系統(tǒng)接口來訪問數(shù)據(jù)。大多數(shù)的UNIX文件系統(tǒng)被設(shè)計在單一服務(wù)器環(huán)境下使用，在這一環(huán)境下, 增加文件服務(wù)器也不會提高特定的文件存取的性能。GPFS通過將I/O分布在多個硬盤提高性能，通過日志和復(fù)制的方式提高數(shù)據(jù)的可靠性，通過增加節(jié)點和在節(jié)點之間由SP Switch互聯(lián)提高系統(tǒng)

20、的可擴展性。通過將文件分布在多個節(jié)點和磁盤上，GPFS可以超越單一節(jié)點和單一文件系統(tǒng)的性能極限。文件系統(tǒng)能夠跨越多個節(jié)點和多組磁盤，這些磁盤可以是使用 SSA 技術(shù)在HACMP群集里面直接地連接到每個節(jié)點上進行物理共享，也可以是由IBM的VSD(Virtual Shared Disk)和SP Switch技術(shù)使經(jīng)過軟件進行共享。GPFS的系統(tǒng)資源可以動態(tài)調(diào)整，可以在文件系統(tǒng)掛載情況下添加或者刪除硬盤。當處于相對空閑時,用戶可以在已配置的硬盤上重新均衡文件系統(tǒng)以提高吞吐量?？梢栽诓恢匦聠覩PFS服務(wù)情況下添加新節(jié)點。GPFS還通過用戶端的數(shù)據(jù)緩存，大的文件頁的支持 (16 kB- 1024 k

21、B)，文件預(yù)讀和延遲寫的功能等技術(shù)提高性能，其性能超過網(wǎng)絡(luò)性文件系統(tǒng) (NFS),分布式文件系統(tǒng)(DFS)和日志文件系統(tǒng) (JFS)。與這些文件系統(tǒng)不同，GPFS文件系統(tǒng)可以通過在群集或SP系統(tǒng)中增加節(jié)點的方式提高性能。GPFS是一種日志文件系統(tǒng),為不同節(jié)點建立各自獨立的日志。日志種記錄Metadata的分布,一旦節(jié)點發(fā)生故障后,可以保證快速恢復(fù)數(shù)據(jù)。GPFS fail-over功能通過規(guī)劃,將數(shù)據(jù)分布到不同failure group內(nèi)達到高可用性,減少單點故障的影響。為了保證數(shù)據(jù)可用性，GPFS在多個failure group內(nèi)為每個數(shù)據(jù)實例做備份，即使創(chuàng)建文件系統(tǒng)時沒有要求復(fù)制，GPFS也

22、會自動在不同的failure group內(nèi)復(fù)制恢復(fù)日志。除了已有的AIX管理文件系統(tǒng)的命令， GPFS還提供簡化多節(jié)點管理的功能。一個GPFS多節(jié)點命令能作用于集群中所有的節(jié)點，并且可以從群集中的任何節(jié)點上操作。這些命令以現(xiàn)有的AIX文件系統(tǒng)命令為基礎(chǔ), 并進行了擴充。GPFS支持X/Open 4.0的文件系統(tǒng)標準,大多數(shù)的AIX和 UNIX操作系統(tǒng)的應(yīng)用程序不需要修改，就可以訪問GPFS文件系統(tǒng)上的數(shù)據(jù)。這些特性使得GPFS文件系統(tǒng)可以替代其他的UNIX文件系統(tǒng)。筆者注：據(jù)朋友說，GPFS目前只能有IBM服務(wù)器和存儲平臺上正常運行，其它的平臺運行效率不佳。未經(jīng)證實，也不知道是否正確。六、GF

23、SGlobal 文件系統(tǒng)(Global File System, GFS)是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應(yīng)用。每一臺linux主機都可以將網(wǎng)絡(luò)共享磁盤看作是本地磁盤，且GFS也以本地文件系統(tǒng)的形式出現(xiàn)。采用GFS的存儲共享系統(tǒng)由一個master和大量的chunkserver構(gòu)成。只要資源和可靠性允許，chunkserver和client可以運行在同一個機器上。文件被分成固定大小的塊。每個塊由一個不變的、全局唯一的64位的chunk-handle標識，chunk-handle是在塊創(chuàng)建時由 master分配的。ChunkServer將塊當作Linux文件存儲在本地磁盤并可以讀和寫由chunk-handle和位區(qū)間指定的數(shù)據(jù)。出于可靠性考慮，每一個塊被復(fù)制到多個chunkserver上。默認情況下，保存3個副本，但這可以由用戶指定。Master維護文件系統(tǒng)所以的元數(shù)據(jù)(metadata)，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置。它也控制系統(tǒng)范圍的活動，如塊租約(lease)