OceanstorN8500集群NAS存儲(chǔ)系統(tǒng)產(chǎn)品技術(shù)白皮書(shū)V21.doc

OceanStor N8500集群NAS存儲(chǔ)系統(tǒng)產(chǎn)品技術(shù)白皮書(shū)IssueV2.1Date2019-12-17華為技術(shù)有限公司30 / 30版權(quán)所有 華為技術(shù)有限公司 2012。 保留一切權(quán)利。非經(jīng)本公司書(shū)面許可，任何單位和個(gè)人不得擅自摘抄、復(fù)制本文檔內(nèi)容的部分或全部，并不得以任何形式傳播。商標(biāo)聲明和其他華為商標(biāo)均為華為技術(shù)有限公司的商標(biāo)。本文檔提及的其他所有商標(biāo)或注冊(cè)商標(biāo)，由各自的所有人擁有。注意您購(gòu)買(mǎi)的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購(gòu)買(mǎi)或使用范圍之內(nèi)。除非合同另有約定，華為公司對(duì)本文檔內(nèi)容不做任何明示或默示的聲明或保證。由于產(chǎn)品版本升級(jí)或其他原因，本文檔內(nèi)容會(huì)不定期進(jìn)行更新。除非另有約定，本文檔僅作為使用指導(dǎo)，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔(dān)保。華為技術(shù)有限公司為客戶(hù)提供全方位的技術(shù)支持，用戶(hù)可與就近的華為辦事處聯(lián)系，也可直接與公司總部聯(lián)系。華為技術(shù)有限公司地址：深圳市龍崗區(qū)坂田華為總部辦公樓 郵編：518129網(wǎng)址：客戶(hù)服務(wù)電話(huà)4008302118客戶(hù)服務(wù)傳真戶(hù)服務(wù)郵箱：S目 錄1 概 述52 N8500集群NAS存儲(chǔ)系統(tǒng)架構(gòu)62.1 產(chǎn)品邏輯結(jié)構(gòu)62.2 集群NAS軟件62.3 集群NAS引擎72.4 交換設(shè)備配置82.5 存儲(chǔ)單元配置82.6 管理子系統(tǒng)83 組網(wǎng)以及環(huán)境要求93.1 集群NAS存儲(chǔ)系統(tǒng)93.2 NAS/SAN一體化典型組網(wǎng)103.3 數(shù)據(jù)備份組網(wǎng)103.4 系統(tǒng)運(yùn)行環(huán)境124 軟件特性134.1 集群文件系統(tǒng)134.1.1 技術(shù)背景134.1.2 技術(shù)原理134.1.3 技術(shù)特點(diǎn)194.2 快照技術(shù)194.2.1 技術(shù)背景194.2.2 技術(shù)原理194.2.3 技術(shù)特點(diǎn)214.3 動(dòng)態(tài)分級(jí)存儲(chǔ)技術(shù)224.3.1 技術(shù)背景224.3.2 技術(shù)原理224.3.3 技術(shù)特點(diǎn)264.4 遠(yuǎn)程復(fù)制技術(shù)264.4.1 技術(shù)背景264.4.2 技術(shù)原理274.4.3 技術(shù)特點(diǎn)284.5 配額管理技術(shù)294.5.1 技術(shù)背景294.5.2 技術(shù)原理294.5.3 技術(shù)特點(diǎn)31圖目錄圖 1 產(chǎn)品邏輯結(jié)構(gòu)圖6圖 2 FileStore 軟件及應(yīng)用架構(gòu)示意圖7圖 3 N8500集群NAS存儲(chǔ)系統(tǒng)關(guān)系圖9圖 4 SAN、NAS一體化典型組網(wǎng)10圖 5 使用NBU客戶(hù)端備份方式組網(wǎng)11圖 6 使用NDMP備份組網(wǎng)11圖 7 數(shù)據(jù)通道全互聯(lián)技術(shù)14圖 8 通信通道全互聯(lián)技術(shù)14圖 9 全局存儲(chǔ)空間管理技術(shù)16圖 10 高效的集群鎖技術(shù)17圖 11 對(duì)稱(chēng)式元數(shù)據(jù)處理技術(shù)17圖 12 全局名字空間技術(shù)18圖 13 集群多節(jié)點(diǎn)并發(fā)訪問(wèn)技術(shù)18圖 14 主文件系統(tǒng)及其快照文件集20圖 15 新生成快照20圖 16 主文件系統(tǒng)數(shù)據(jù)更新21圖 17 對(duì)快照進(jìn)行數(shù)據(jù)更新22圖 18 N8500多卷文件系統(tǒng)示意圖23圖 19 N8500遠(yuǎn)程復(fù)制技術(shù)實(shí)現(xiàn)步驟27圖 20 N8500遠(yuǎn)程復(fù)制技術(shù)實(shí)現(xiàn)機(jī)制28圖29 配額管理邏輯架構(gòu)30圖30 配額管理執(zhí)行方式311 概 述傳統(tǒng)NAS系統(tǒng)存在擴(kuò)展性差、可靠性差等缺陷。為了克服傳統(tǒng)NAS系統(tǒng)的缺陷，集群NAS技術(shù)應(yīng)運(yùn)而生。集群NAS系統(tǒng)具有高擴(kuò)展、高性能、高可用等特點(diǎn)。本文檔介紹華為N8500集群NAS存儲(chǔ)系統(tǒng)軟件和技術(shù)的相關(guān)細(xì)節(jié)。2 N8500集群NAS存儲(chǔ)系統(tǒng)架構(gòu)2.1 產(chǎn)品邏輯結(jié)構(gòu)N8500集群NAS存儲(chǔ)系統(tǒng)（以下簡(jiǎn)稱(chēng)N8500或N8500系統(tǒng)）由集群NAS引擎（由集群NAS引擎硬件+集群NAS軟件FileStore組成）、交換設(shè)備、存儲(chǔ)單元以及管理子系統(tǒng)組成，其中集群NAS軟件包含定制化的操作系統(tǒng)，不需要額外選擇操作系統(tǒng)平臺(tái)。圖 1 產(chǎn)品邏輯結(jié)構(gòu)圖2.2 集群NAS軟件集群NAS軟件FileStore作為整個(gè)N8500集群NAS存儲(chǔ)系統(tǒng)的核心部件，其作用除了管理存儲(chǔ)并提供NAS服務(wù)外，還包括對(duì)集群系統(tǒng)自身的管理以及相關(guān)的故障處理。N8500的集群NAS軟件基于商用的CFS開(kāi)發(fā)，通過(guò)在專(zhuān)用64位存儲(chǔ)系統(tǒng)上安裝CFS軟件，并配置NFS和samba等服務(wù)以對(duì)外提供NAS訪問(wèn)接口。N8500集群NAS軟件的核心部件CFS提供了大量的增值功能，如快照、動(dòng)態(tài)分級(jí)存儲(chǔ)等功能。FileStore軟件及應(yīng)用架構(gòu)示意圖如下圖所示。FileStore軟件由核心層的CFS、CVM軟件和用戶(hù)層的各類(lèi)NAS服務(wù)應(yīng)用組成。FileStore軟件部署于集群NAS引擎節(jié)點(diǎn)（Node）上，集群NAS引擎節(jié)點(diǎn)可通過(guò)集群方式擴(kuò)展，提供全Active的集群架構(gòu)。所有節(jié)點(diǎn)可訪問(wèn)同一個(gè)共享存儲(chǔ)空間，對(duì)外可通過(guò)以太網(wǎng)向上層應(yīng)用提供NAS業(yè)務(wù)。圖 2 FileStore 軟件及應(yīng)用架構(gòu)示意圖2.3 集群NAS引擎NAS引擎是集群軟件運(yùn)行的硬件平臺(tái)，通過(guò)與FileStore軟件的配合，將后端存儲(chǔ)提供的卷以NAS方式提供給客戶(hù)使用，需要較好的I/O處理能力、網(wǎng)絡(luò)帶寬和可靠性。2.4 交換設(shè)備配置在N8500集群NAS軟件中，集群節(jié)點(diǎn)間的通訊通過(guò)專(zhuān)用的心跳網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，同時(shí)，連接多套存儲(chǔ)單元時(shí)需要光纖交換設(shè)備。心跳網(wǎng)絡(luò)對(duì)交換機(jī)的帶寬要求低，光纖交換設(shè)備要求支持8Gb接口。當(dāng)選擇的節(jié)點(diǎn)數(shù)超過(guò)2個(gè)時(shí)，需要額外配置2臺(tái)以太網(wǎng)交換機(jī)，作為集群NAS的心跳鏈路使用。2.5 存儲(chǔ)單元配置支持S2600T、S5500T、S5600T、S5800T、S6800T存儲(chǔ)系統(tǒng)。上述所有類(lèi)型的存儲(chǔ)單元，均可以向下細(xì)分為兩個(gè)組件，即控制框和硬盤(pán)框，其中控制框包含了控制器及控制軟件，硬盤(pán)框用于磁盤(pán)容量擴(kuò)展。在N8500集群NAS存儲(chǔ)系統(tǒng)中，將控制框稱(chēng)之為存儲(chǔ)單元控制框，將硬盤(pán)框稱(chēng)之為存儲(chǔ)單元硬盤(pán)框。存儲(chǔ)單元控制框前可增加型號(hào)的描述區(qū)分各種型號(hào)，如S5x00T存儲(chǔ)單元控制框。2.6 管理子系統(tǒng)N8500集群NAS存儲(chǔ)系統(tǒng)提供GUI和CLI兩種管理方式。GUI支持NAS引擎和存儲(chǔ)單元統(tǒng)一管理，CLI僅支持NAS引擎和存儲(chǔ)單元獨(dú)立管理。另外有些高級(jí)功能及部分系統(tǒng)配置功能僅適用CLI支持，面向高級(jí)管理維護(hù)人員。3 組網(wǎng)以及環(huán)境要求3.1 集群NAS存儲(chǔ)系統(tǒng)圖 3 N8500集群NAS存儲(chǔ)系統(tǒng)關(guān)系圖3.2 NAS/SAN一體化典型組網(wǎng)圖 4 SAN、NAS一體化典型組網(wǎng)組網(wǎng)說(shuō)明：N8500系統(tǒng)的NAS、SAN一體化體現(xiàn)為從后端單元直接提供FC或iSCSI接口，提供FC-SAN和IP-SAN的組網(wǎng)方式供用戶(hù)業(yè)務(wù)使用，使用S2600T、S5500T、S5600T、S5800T或S6800T時(shí)，由于后端單元可提供較多的接口，在提供N8500集群節(jié)點(diǎn)使用之余，其余接口可作為SAN接口使用。在N8500系統(tǒng)中，僅使用了存儲(chǔ)單元的部分端口，此外，在引擎節(jié)點(diǎn)數(shù)量比較少或使用交換形態(tài)的情況下，可以根據(jù)需要配置10Gbps iSCSI扣卡，從而為用戶(hù)提供萬(wàn)兆IP SAN；若用戶(hù)有SAN的需求，則可以在陣列上將未使用的磁盤(pán)空間（以LUN為單位）通過(guò)空閑的FC端口或iSCSI/10Gbps iSCSI端口提供給用戶(hù)使用，達(dá)到NAS/SAN一體化的效果，在這種組網(wǎng)下，用戶(hù)的具體網(wǎng)絡(luò)環(huán)境可能為無(wú)域的環(huán)境、AD域環(huán)境、NIS域環(huán)境或LDAP域環(huán)境等。3.3 數(shù)據(jù)備份組網(wǎng)N8500集群NAS存儲(chǔ)系統(tǒng)支持兩種備份方式，一是通過(guò)集成的NetBackup客戶(hù)端進(jìn)行備份；二是通過(guò)NDMP協(xié)議進(jìn)行備份。兩種備份方式的組網(wǎng)如圖示：圖 5 使用NBU客戶(hù)端備份方式組網(wǎng)組網(wǎng)說(shuō)明：使用NBU客戶(hù)端進(jìn)行備份時(shí)，需要環(huán)境中包含NBU服務(wù)器(包括Master Server和Media Server)，如果使用DNS，則要求DNS服務(wù)器能對(duì)NBU服務(wù)器進(jìn)行正確解析，網(wǎng)絡(luò)連接好后在N8500系統(tǒng)上配置NBU服務(wù)器相關(guān)的信息，然后在NBU Master Server上進(jìn)行備份策略等配置后，備份即可按照設(shè)置的策略正常進(jìn)行，數(shù)據(jù)流從N8500引擎經(jīng)Media Server后備份到后端介質(zhì)，無(wú)需再進(jìn)行干預(yù)。圖 6 使用NDMP備份組網(wǎng)組網(wǎng)說(shuō)明：使用NDMP協(xié)議進(jìn)行備份時(shí)，當(dāng)前版本支持通過(guò)LAN進(jìn)行備份的方式，即備份數(shù)據(jù)通過(guò)IP網(wǎng)絡(luò)進(jìn)行傳輸，備份采用的協(xié)議為標(biāo)準(zhǔn)的NDMP協(xié)議。在采用基于IP網(wǎng)絡(luò)的NDMP備份時(shí)，同樣需要有備份服務(wù)器（如NBU），由備份服務(wù)器連接備份介質(zhì)（磁帶庫(kù)設(shè)備），根據(jù)備份軟件的不同，可能需要相應(yīng)的選件支持，如使用NBU時(shí)需要備份服務(wù)器上安裝有遠(yuǎn)程N(yùn)DMP選件，在進(jìn)行備份時(shí)，NDMP控制信息由備份服務(wù)器下發(fā)到N8500系統(tǒng)，N8500系統(tǒng)根據(jù)控制命令進(jìn)行備份，將備份數(shù)據(jù)通過(guò)IP網(wǎng)絡(luò)傳送到備份服務(wù)器的相關(guān)模塊（如NBU的Media Server）再由該模塊寫(xiě)入備份介質(zhì)。3.4 系統(tǒng)運(yùn)行環(huán)境N8500集群NAS存儲(chǔ)系統(tǒng)通過(guò)SAN共享技術(shù)將存儲(chǔ)陣列提供的卷虛擬成可同時(shí)供多個(gè)集群節(jié)點(diǎn)使用的邏輯卷，在此基礎(chǔ)上，通過(guò)NFS共享、CIFS共享、FTP等方式為用戶(hù)提供文件服務(wù)。對(duì)最終用戶(hù)來(lái)說(shuō)，N8500集群NAS存儲(chǔ)系統(tǒng)就是一個(gè)文件服務(wù)器，用戶(hù)通過(guò)該文件服務(wù)器存取文件。用戶(hù)所在的環(huán)境可能是比較復(fù)雜的，如AD域、NIS域、LDAP等環(huán)境，需要N8500系統(tǒng)也能支持這些環(huán)境，因此，在N8500中也提供了這些域環(huán)境的支持，用戶(hù)只需要進(jìn)行相應(yīng)的配置即可將N8500在現(xiàn)有的域環(huán)境中運(yùn)行起來(lái)供應(yīng)用主機(jī)訪問(wèn)。4 軟件特性4.1 集群文件系統(tǒng)4.1.1 技術(shù)背景N8500系統(tǒng)的集群架構(gòu)，采用全互聯(lián)的組網(wǎng)機(jī)制，對(duì)稱(chēng)式集群設(shè)計(jì)，實(shí)現(xiàn)集群節(jié)點(diǎn)的全局命名空間，從而允許集群任何節(jié)點(diǎn)并發(fā)訪問(wèn)任何文件系統(tǒng)的任何文件；并且支持文件內(nèi)的細(xì)粒度的全局鎖，提供從多個(gè)節(jié)點(diǎn)并發(fā)訪問(wèn)相同文件的不同區(qū)域，實(shí)現(xiàn)高并發(fā)讀寫(xiě)，最終達(dá)到高性能訪問(wèn)系統(tǒng)。4.1.2 技術(shù)原理 數(shù)據(jù)通道全互聯(lián)技術(shù)原理N8500系統(tǒng)分為引擎單元和存儲(chǔ)單元，存儲(chǔ)單元處理數(shù)據(jù)塊的存儲(chǔ)，引擎單元提供集群文件系統(tǒng)的邏輯功能。引擎單元和存儲(chǔ)單元通過(guò)直連全互聯(lián)，或者交換網(wǎng)絡(luò)實(shí)現(xiàn)全互聯(lián)，從任何一個(gè)引擎節(jié)點(diǎn)都能夠訪問(wèn)到任何一個(gè)存儲(chǔ)單元，從而保證數(shù)據(jù)通道的暢通無(wú)阻，并且提供冗余路徑實(shí)現(xiàn)高可靠性，如下圖所示。圖 7 數(shù)據(jù)通道全互聯(lián)技術(shù)對(duì)于N8500系統(tǒng)的典型配置，兩個(gè)引擎節(jié)點(diǎn)連接到存儲(chǔ)單元，每個(gè)節(jié)點(diǎn)都有路徑連接到陣列的雙控端口中，從而實(shí)現(xiàn)全互聯(lián)，并且提高冗余鏈路；對(duì)于N8500系統(tǒng)的典型配置，引擎節(jié)點(diǎn)通過(guò)冗余的交換機(jī)連接到存儲(chǔ)單元，每個(gè)存儲(chǔ)單元也分別連接到冗余交換機(jī)，從而形成全冗余的組網(wǎng)。 通信通道全互聯(lián)技術(shù)原理N8500系統(tǒng)的引擎節(jié)點(diǎn)之間需要相互通信，提供集群節(jié)點(diǎn)的統(tǒng)一視圖，保證元數(shù)據(jù)/數(shù)據(jù)處理的一致性。節(jié)點(diǎn)之間采用雙通道連圖，冗余互聯(lián)，保證通信通道的高效可靠。圖 8 通信通道全互聯(lián)技術(shù)N8500系統(tǒng)的2引擎節(jié)點(diǎn)典型配置下，每個(gè)節(jié)點(diǎn)提供2條鏈路到另外一個(gè)節(jié)點(diǎn)，從而即使一條鏈路故障時(shí)，也能保證通信鏈路的可靠性。N8500系統(tǒng)的多引擎節(jié)點(diǎn)，則是連接到2個(gè)交換機(jī)上面，從而提供冗余通信平面，保證可靠性。 全局存儲(chǔ)空間管理技術(shù)原理N8500系統(tǒng)在數(shù)據(jù)通道和通信通道實(shí)現(xiàn)全互聯(lián)的基礎(chǔ)上，采用集群卷管理技術(shù)，提供了全局的存儲(chǔ)空間管理。也就是說(shuō)，在集群中的任何節(jié)點(diǎn)能夠以相同的卷設(shè)備名字訪問(wèn)同一存儲(chǔ)空間，保證塊設(shè)備訪問(wèn)的一致性，如圖9。圖 9 全局存儲(chǔ)空間管理技術(shù) 高效的集群鎖技術(shù)原理N8500系統(tǒng)需要在節(jié)點(diǎn)之間傳遞元數(shù)據(jù)/數(shù)據(jù)，而為了保證數(shù)據(jù)的一致性，提供了GLM(Global lock manager)集群鎖技術(shù)，如圖10所示。圖 10 高效的集群鎖技術(shù)N8500系統(tǒng)的GLM集群技術(shù)是構(gòu)建在LLT(Low Latency Transport)/GAB(Group Membership and Atomic Broadcast)底層通信基礎(chǔ)上，該通信層直接構(gòu)建在以太網(wǎng)二層協(xié)議上，而不是TCP/IP層上。考慮到集群通信主要傳送的鎖信息，通常幀都比較小，而TCP/IP包會(huì)帶來(lái)額外的大幀頭開(kāi)銷(xiāo)；同時(shí)集群通信主要在私有網(wǎng)絡(luò)內(nèi)傳遞，對(duì)TCP/IP在廣域網(wǎng)的超時(shí)重傳、滑動(dòng)窗口沒(méi)有太多需求。所以，LLT針對(duì)集群鎖通信需求，直接利用以太網(wǎng)幀傳送包，從而達(dá)到提高利用率的目的，并且設(shè)計(jì)自己的流量控制、超時(shí)重傳、以及重復(fù)幀處理，實(shí)現(xiàn)高效傳輸。同時(shí)，針對(duì)集群多引擎節(jié)點(diǎn)通信的原子要求，設(shè)計(jì)了GAB模塊，它保證通信的原子性；也就是說(shuō)，保證在集群多引擎節(jié)點(diǎn)中，消息要么被所有引擎節(jié)點(diǎn)受到并確認(rèn)，要么所有引擎節(jié)點(diǎn)都丟棄該消息，從而不會(huì)出現(xiàn)部分確認(rèn)消息、部分丟棄消息的中間狀態(tài)。 對(duì)稱(chēng)式元數(shù)據(jù)處理技術(shù)原理N8500系統(tǒng)中，元數(shù)據(jù)分為了不同的類(lèi)型，比如：超級(jí)塊、日志區(qū)、分配單元(AU, Allocation Unit)、INODE。這些元數(shù)據(jù)具有不同的屬性，分別對(duì)不同的數(shù)據(jù)管理負(fù)責(zé)，比如，超級(jí)塊對(duì)整個(gè)集群文件系統(tǒng)的數(shù)據(jù)負(fù)責(zé)，而INODE則是針對(duì)單獨(dú)的那個(gè)文件負(fù)責(zé)。圖 11 對(duì)稱(chēng)式元數(shù)據(jù)處理技術(shù)在元數(shù)據(jù)分類(lèi)的基礎(chǔ)上，N8500系統(tǒng)的每個(gè)引擎節(jié)點(diǎn)就可以擔(dān)當(dāng)不同元數(shù)據(jù)處理的責(zé)任主體。如圖-11所示，第一個(gè)引擎節(jié)點(diǎn)負(fù)責(zé)超級(jí)塊的更新修改，其他節(jié)點(diǎn)需要對(duì)元數(shù)據(jù)的處理，都把請(qǐng)求發(fā)送給他；第二個(gè)引擎節(jié)點(diǎn)負(fù)責(zé)文件F1的INODE元數(shù)據(jù)更新修改，其它節(jié)點(diǎn)需要操作F1文件，都需要把請(qǐng)求發(fā)送給該引擎節(jié)點(diǎn)。同時(shí)，在任何引擎節(jié)點(diǎn)故障后，都可以把該節(jié)點(diǎn)負(fù)責(zé)的元數(shù)據(jù)處理轉(zhuǎn)移到其他任何引擎節(jié)點(diǎn)上，從而實(shí)現(xiàn)對(duì)稱(chēng)式的元數(shù)據(jù)處理，實(shí)現(xiàn)元數(shù)據(jù)處理的負(fù)載均衡，提高元數(shù)據(jù)處理的效率。 全局名字空間技術(shù)原理N8500系統(tǒng)采用對(duì)稱(chēng)式的設(shè)計(jì)架構(gòu)，每個(gè)節(jié)點(diǎn)都可以參與處理元數(shù)據(jù)，從而很容易形成全局名字空間，讓系統(tǒng)的每個(gè)處理節(jié)點(diǎn)都能夠讀寫(xiě)相同的文件系統(tǒng)，實(shí)現(xiàn)節(jié)點(diǎn)之間的并發(fā)訪問(wèn)，如圖12所示。圖 12 全局名字空間技術(shù)根據(jù)元數(shù)據(jù)的分類(lèi)、分片，讓每個(gè)節(jié)點(diǎn)都能參與元數(shù)據(jù)的處理，減少節(jié)點(diǎn)之間轉(zhuǎn)發(fā)元數(shù)據(jù)/數(shù)據(jù)請(qǐng)求的通信量，實(shí)現(xiàn)負(fù)載均衡。 集群多節(jié)點(diǎn)并發(fā)訪問(wèn)技術(shù)原理N8500系統(tǒng)提供了全局的命名空間，從而實(shí)現(xiàn)了多個(gè)節(jié)點(diǎn)可以并發(fā)訪問(wèn)同一個(gè)文件系統(tǒng)。除此之外，N8500系統(tǒng)還提供全局鎖機(jī)制，保證不同節(jié)點(diǎn)訪問(wèn)相同文件系統(tǒng)相同文件并發(fā)訪問(wèn)的一致性，通過(guò)細(xì)粒度的鎖設(shè)計(jì)，保證系統(tǒng)的并發(fā)性，如圖13所示。圖 13 集群多節(jié)點(diǎn)并發(fā)訪問(wèn)技術(shù)當(dāng)不同節(jié)點(diǎn)訪問(wèn)文件F1的不同區(qū)域時(shí)，通過(guò)該文件的所有者(Owner)進(jìn)行仲裁，如果沒(méi)有其他節(jié)點(diǎn)訪問(wèn)對(duì)應(yīng)區(qū)域，則允許該節(jié)點(diǎn)讀寫(xiě)數(shù)據(jù)；如果發(fā)現(xiàn)有其他節(jié)點(diǎn)訪問(wèn)該區(qū)域，則出現(xiàn)沖突，該所有者就會(huì)讓新請(qǐng)求等待，直到讀寫(xiě)該區(qū)域的請(qǐng)求完成，然后通知等待該區(qū)域的節(jié)點(diǎn)競(jìng)爭(zhēng)鎖。通過(guò)此機(jī)制，實(shí)現(xiàn)了集群多節(jié)點(diǎn)范圍內(nèi)的一致鎖所處理；同時(shí)，通過(guò)細(xì)粒度的區(qū)域鎖設(shè)計(jì)，保證高并發(fā)。4.1.3 技術(shù)特點(diǎn)N8500集群存儲(chǔ)系統(tǒng)采用全Active、全共享設(shè)計(jì)。文件系統(tǒng)為所有引擎節(jié)點(diǎn)共享而不是與特定節(jié)點(diǎn)綁定，所有引擎節(jié)點(diǎn)可以并發(fā)訪問(wèn)同一文件系統(tǒng)，不存在負(fù)荷熱點(diǎn)問(wèn)題。N8500所有引擎節(jié)點(diǎn)互為備份，某一節(jié)點(diǎn)故障時(shí)，故障節(jié)點(diǎn)原來(lái)承擔(dān)的應(yīng)用可以切到其它在線節(jié)點(diǎn)。N8500所有節(jié)點(diǎn)提供業(yè)務(wù)，互為備用，具有更高的系統(tǒng)可靠性和資源利用率。4.2 快照技術(shù)4.2.1 技術(shù)背景N8500集群NAS存儲(chǔ)系統(tǒng)中的文件系統(tǒng)快照，支持生成源文件系統(tǒng)在某個(gè)時(shí)間點(diǎn)上的一致性映像，在不中斷正常業(yè)務(wù)的前提下，快速得到一份與源文件系統(tǒng)一致的數(shù)據(jù)副本。副本生成之后立即可用，并且對(duì)副本的讀寫(xiě)操作不再影響源文件系統(tǒng)中的數(shù)據(jù)。因此通過(guò)文件系統(tǒng)快照技術(shù)就可以解決如在線備份、數(shù)據(jù)分析、應(yīng)用測(cè)試等難題。用戶(hù)可以通過(guò)多種方法使用存儲(chǔ)檢查點(diǎn)。例如，它們可用于： 創(chuàng)建可以備份到磁帶的文件系統(tǒng)的穩(wěn)定映像。 提供源文件系統(tǒng)的磁盤(pán)備份，在意外刪除情況下，最終用戶(hù)可以恢復(fù)自己的文件。 在安裝修補(bǔ)程序之前，創(chuàng)建應(yīng)用程序的二進(jìn)制副本，以允許出現(xiàn)問(wèn)題時(shí)進(jìn)行還原。 創(chuàng)建文件系統(tǒng)的磁盤(pán)備份，可用作傳統(tǒng)的基于磁帶備份的補(bǔ)充，從而提供更快的備份和恢復(fù)功能。4.2.2 技術(shù)原理N8500的文件系統(tǒng)快照采用了寫(xiě)前拷貝（copy-on-write）技術(shù)方式來(lái)實(shí)現(xiàn)，其實(shí)現(xiàn)原理如下：1、 在文件系統(tǒng)未進(jìn)行任何快照前，數(shù)據(jù)寫(xiě)入動(dòng)作與未創(chuàng)建快照的文件系統(tǒng)一樣：對(duì)數(shù)據(jù)的任何修改操作，會(huì)直接寫(xiě)入文件系統(tǒng)中對(duì)原有數(shù)據(jù)進(jìn)行覆蓋，原有數(shù)據(jù)不會(huì)被保留。2、 為文件系統(tǒng)創(chuàng)建快照時(shí)，首先會(huì)凍結(jié)該文件系統(tǒng)，創(chuàng)建一個(gè)沒(méi)有任何實(shí)際數(shù)據(jù)的快照文件集，快照文件集僅包含指向主文件系統(tǒng)的一組指針。由于不需要拷貝數(shù)據(jù)，因此整個(gè)過(guò)程耗時(shí)極少，從一秒以?xún)?nèi)到數(shù)秒不等，與文件系統(tǒng)中的文件數(shù)量有關(guān)。N8500中的快照文件集與主文件系統(tǒng)共同使用文件系統(tǒng)空間，無(wú)需單獨(dú)為快照分配特定的空間。圖 14 主文件系統(tǒng)及其快照文件集3、 剛創(chuàng)建的快照不包含任何實(shí)際數(shù)據(jù)，只包含指向主文件系統(tǒng)的一組指針，當(dāng)用戶(hù)訪問(wèn)快照時(shí)，實(shí)際上訪問(wèn)的是主文件系統(tǒng)中的數(shù)據(jù)。當(dāng)主文件系統(tǒng)的數(shù)據(jù)發(fā)生變化后，首先舊數(shù)據(jù)被拷貝到快照文件集中，然后新數(shù)據(jù)才會(huì)寫(xiě)到主文件系統(tǒng)中（即copy-on write）。圖 15 新生成快照?qǐng)D 16 主文件系統(tǒng)數(shù)據(jù)更新4、 隨著主文件系統(tǒng)不斷被更新，原有的數(shù)據(jù)塊會(huì)逐漸的拷貝到快照文件集中，但如果需要更新的塊已經(jīng)被快照文件集保存過(guò)一次，這時(shí)就不會(huì)發(fā)生拷貝操作，只更新主文件系統(tǒng)即可，因?yàn)榭煺瘴募诚竦闹皇巧煽煺諘r(shí)刻的主文件系統(tǒng)映像。5、 當(dāng)用戶(hù)需要恢復(fù)出快照點(diǎn)時(shí)刻的數(shù)據(jù)時(shí)，可通過(guò)快照數(shù)據(jù)的回滾快速實(shí)現(xiàn)，通過(guò)回滾，文件系統(tǒng)可將數(shù)據(jù)恢復(fù)到快照點(diǎn)時(shí)刻，從而避免了快照點(diǎn)后因?yàn)槿藶榈腻e(cuò)誤或者病毒的入侵等引起的源文件系統(tǒng)損壞造成的數(shù)據(jù)丟失。需要說(shuō)明的是，快照的回滾是不可逆的，回滾只能將數(shù)據(jù)恢復(fù)到某一特定的時(shí)間點(diǎn)，但該時(shí)間點(diǎn)到故障點(diǎn)之間的數(shù)據(jù)將會(huì)丟失。如果僅僅是特定的幾個(gè)文件被損壞、誤修改、誤刪除，則無(wú)需進(jìn)行整個(gè)文件系統(tǒng)的回滾，直接從特定時(shí)間的快照文件集中將這些文件恢復(fù)到主文件系統(tǒng)中即可。6、 當(dāng)快照被刪除后，指向主文件系統(tǒng)的指針和寫(xiě)入時(shí)拷貝數(shù)據(jù)都將被清空，快照創(chuàng)建時(shí)間點(diǎn)的數(shù)據(jù)變?yōu)椴豢捎谩?、 從上面的過(guò)程可以看到，當(dāng)快照創(chuàng)建后，無(wú)論后續(xù)的數(shù)據(jù)怎樣的讀寫(xiě)和改變，只要快照不被刪除，我們均能夠及時(shí)的獲取到快照創(chuàng)建時(shí)間點(diǎn)的數(shù)據(jù)。4.2.3 技術(shù)特點(diǎn) 可寫(xiě)快照N8500中的文件系統(tǒng)快照可以為用戶(hù)提供讀寫(xiě)業(yè)務(wù)，用戶(hù)可通過(guò)創(chuàng)建快照方便的重定義數(shù)據(jù)用途，實(shí)現(xiàn)諸如測(cè)試、備份、歸檔等各類(lèi)操作。對(duì)快照的修改操作，需要說(shuō)明的是，如果對(duì)某一快照?qǐng)?zhí)行了寫(xiě)操作，那么該快照將不再是快照創(chuàng)建時(shí)間點(diǎn)的一致性映像，不能使用該快照進(jìn)行文件系統(tǒng)回滾。圖 17 對(duì)快照進(jìn)行數(shù)據(jù)更新 快速數(shù)據(jù)恢復(fù)對(duì)于傳統(tǒng)的離線備份，備份數(shù)據(jù)無(wú)法直接在線讀取，必須經(jīng)過(guò)較長(zhǎng)時(shí)間的數(shù)據(jù)恢復(fù)過(guò)程才能夠獲得原數(shù)據(jù)在備份時(shí)間點(diǎn)的可用副本，從而實(shí)現(xiàn)數(shù)據(jù)的還原。N8500的文件系統(tǒng)快照可以直接從快照中恢復(fù)出快照時(shí)間點(diǎn)的數(shù)據(jù)，從而實(shí)現(xiàn)了方便的數(shù)據(jù)回滾。 循環(huán)定時(shí)快照，實(shí)現(xiàn)持續(xù)數(shù)據(jù)保護(hù)N8500對(duì)同一文件系統(tǒng)支持多個(gè)時(shí)間點(diǎn)的快照，用戶(hù)可以定制策略定時(shí)自動(dòng)進(jìn)行快照的創(chuàng)建操作。當(dāng)多個(gè)時(shí)間點(diǎn)的快照采用循環(huán)的方式沿時(shí)間軸向前推進(jìn)自動(dòng)操作時(shí)，就非常方便且低成本的實(shí)現(xiàn)了持續(xù)數(shù)據(jù)保護(hù)。 快照對(duì)性能的影響在文件系統(tǒng)中使用快照并非對(duì)系統(tǒng)性能沒(méi)有影響。在文件系統(tǒng)中創(chuàng)建快照后，讀操作的性能不會(huì)受到影響，但卻增加了寫(xiě)操作的復(fù)雜度。當(dāng)原文件系統(tǒng)數(shù)據(jù)更新較大時(shí)，寫(xiě)操作增加，系統(tǒng)性能有一定的降低。4.3 動(dòng)態(tài)分級(jí)存儲(chǔ)技術(shù)4.3.1 技術(shù)背景N8500動(dòng)態(tài)分級(jí)存儲(chǔ)特性的主要價(jià)值是降低平均聯(lián)機(jī)存儲(chǔ)硬件成本，而又不會(huì)相應(yīng)地增加管理的復(fù)雜性。重要的文件放置在高可用性、高性能（相應(yīng)地，成本也非常高）的存儲(chǔ)設(shè)備上；不太重要的文件放置在成本較低的、性能和可用性規(guī)格較低的設(shè)備上。N8500動(dòng)態(tài)分級(jí)存儲(chǔ)特性可自動(dòng)將文件重定位到正確類(lèi)型的存儲(chǔ)設(shè)備上，而不更改它們?cè)谖募到y(tǒng)命名空間中的邏輯位置。由于物理重定位的文件保留在相同的邏輯位置上，因此使用動(dòng)態(tài)分級(jí)存儲(chǔ)特性可以不需要對(duì)應(yīng)用程序配置和操作步驟進(jìn)行更改。對(duì)于應(yīng)用程序和用戶(hù)而言，動(dòng)態(tài)分級(jí)存儲(chǔ)中的文件重定位是透明的。N8500動(dòng)態(tài)分級(jí)存儲(chǔ)包括兩部分：支持多卷文件系統(tǒng)，以及在由文件系統(tǒng)管理的存儲(chǔ)內(nèi)基于策略自動(dòng)遷移文件。4.3.2 技術(shù)原理 多卷文件系統(tǒng)的屬性N8500可以構(gòu)建多個(gè)文件系統(tǒng)，并讓這些文件系統(tǒng)的邏輯命名空間分布在多個(gè)存儲(chǔ)卷上。構(gòu)建文件系統(tǒng)所使用的各個(gè)卷被稱(chēng)作該文件系統(tǒng)的卷集。卷集中的各個(gè)卷是從單個(gè)存儲(chǔ)單元中的 LUN 配置的。事實(shí)上，占用多個(gè)卷的文件系統(tǒng)對(duì)于應(yīng)用程序是透明的。該文件系統(tǒng)中的所有文件都是同一命名空間的一部分，在訪問(wèn)和處理這些文件時(shí)就如同它們?nèi)空加脝蝹€(gè)卷一樣。基于文件系統(tǒng)的卷存儲(chǔ)層相對(duì)于基于硬件的多層存儲(chǔ)方法有一個(gè)重要的優(yōu)點(diǎn)。與基于硬件的解決方案（它的各個(gè)層都基于由磁盤(pán)陣列提供的 LUN）不同的是，N8500卷可以是任何需要的容量和配置，如果有 I/O 性能或容錯(cuò)需要，甚至可以跨接多個(gè)N8500存儲(chǔ)單元。N8500動(dòng)態(tài)分級(jí)存儲(chǔ)特性所使用的文件系統(tǒng)必定是多卷文件系統(tǒng)。 使用放置級(jí)別以管理文件位置多卷文件系統(tǒng)的管理員可以通過(guò)定義文件放置策略（可控制初始文件位置和重定位現(xiàn)有文件的環(huán)境）來(lái)控制卷集內(nèi)的文件位置。文件放置策略由一些規(guī)則組成，這些規(guī)則將文件的位置限制為由管理員定義的、文件系統(tǒng)卷集中各個(gè)卷的子集。這些子集被稱(chēng)為放置級(jí)別。通常，用存儲(chǔ)層來(lái)標(biāo)識(shí)放置級(jí)別。根據(jù)策略規(guī)則，將在指定的放置級(jí)別中創(chuàng)建和擴(kuò)展一些文件，并當(dāng)這些文件滿(mǎn)足某些與命名、活動(dòng)、訪問(wèn)率以及大小相關(guān)的限定條件時(shí)，將它們重定位到其他放置級(jí)別。例如，下圖中表示一個(gè) N8500 多卷文件系統(tǒng)，該系統(tǒng)的卷集由兩個(gè)分別名為 tier1、tier2 的放置級(jí)別組成。這樣的卷集可用于包含重要文件 (tier1)，以及大量非活動(dòng)的文件 (tier2) 的文件系統(tǒng)。圖 18 N8500多卷文件系統(tǒng)示意圖 文件放置策略根據(jù)文件系統(tǒng)的活動(dòng)文件放置策略，可將文件動(dòng)態(tài)放置在文件系統(tǒng)卷集的各個(gè)卷之間。文件放置策略由用來(lái)管理文件的初始位置和隨后的重定位的各個(gè)規(guī)則組成。這些規(guī)則定義了三方面的內(nèi)容，一是文件寫(xiě)入文件系統(tǒng)時(shí)的初始位置，用戶(hù)可以自定義文件寫(xiě)入時(shí)放置于哪一個(gè)卷集中；二是文件如何從存放熱點(diǎn)數(shù)據(jù)的卷集重定位到存放非活動(dòng)文件的卷集，N8500系統(tǒng)中，該規(guī)則設(shè)定為指定時(shí)間長(zhǎng)度內(nèi)，未進(jìn)行訪問(wèn)的文件則需進(jìn)行重定位；三是文件如何從非活動(dòng)文件的卷集重定位至存放熱點(diǎn)數(shù)據(jù)的卷集，N8500系統(tǒng)中，該規(guī)則設(shè)定為若文件平均訪問(wèn)熱度超過(guò)指定值，則將這些文件進(jìn)行重定位。策略規(guī)則將初始分配目標(biāo)和重定位目標(biāo)指定為按優(yōu)先順序排列的放置級(jí)別的列表。如果空閑空間允許，則在列表中的第一個(gè)放置級(jí)別中分配文件；如果在第一個(gè)放置級(jí)別中沒(méi)有可用的空閑空間，則在列表中的第二個(gè)放置級(jí)別中分配文件，依此類(lèi)推。 執(zhí)行文件放置策略執(zhí)行文件放置策略時(shí)將實(shí)施文件重定位，可按需手動(dòng)進(jìn)行重定位操作，也可通過(guò)一個(gè)時(shí)間表策略定期進(jìn)行，此操作與初始分配類(lèi)似。如果有可用的空間，則將文件重定位到規(guī)則中列出的第一個(gè)放置級(jí)別中，如果第一個(gè)放置級(jí)別中沒(méi)有可用的空間，則將文件重定位到第二個(gè)放置級(jí)別中。文件重定位基于一些必要的限制條件，例如：在一段指定的文件是否未被訪問(wèn)、文件的訪問(wèn)熱度。若文件放置策略未能執(zhí)行，那么，即使某些文件已經(jīng)滿(mǎn)足重定位的條件，重定位操作也不會(huì)實(shí)施。只有當(dāng)文件放置策略執(zhí)行時(shí)，文件系統(tǒng)才會(huì)對(duì)這些限制條件的滿(mǎn)足情況進(jìn)行判斷，并且對(duì)符合條件的文件實(shí)施重定位。 計(jì)算文件的訪問(wèn)熱度動(dòng)態(tài)分級(jí)存儲(chǔ)特性的重要應(yīng)用是將非活動(dòng)文件從高性能存儲(chǔ)區(qū)自動(dòng)重定位到低成本存儲(chǔ)區(qū)，或是將熱點(diǎn)文件從低成本存儲(chǔ)區(qū)自動(dòng)重定位到高性能存儲(chǔ)區(qū)。N8500系統(tǒng)通過(guò)平均訪問(wèn)熱度來(lái)判定文件是否為熱點(diǎn)文件。文件的平均訪問(wèn)熱度是在指定數(shù)量的時(shí)間段內(nèi)文件的讀取或?qū)懭胝?qǐng)求數(shù)除以時(shí)間段數(shù)。與 I/O 熱度不同，訪問(wèn)熱度與文件大小無(wú)關(guān)；一個(gè)在 2 天的時(shí)間段內(nèi)有 20 次 I/O 請(qǐng)求的大文件與一個(gè)在 2 天的時(shí)間段內(nèi)被訪問(wèn)過(guò) 20 次的小文件具有相同的平均訪問(wèn)熱度。 數(shù)據(jù)的自動(dòng)遷移N8500的DST策略制定中，可基于文件訪問(wèn)頻率策略，自動(dòng)將文件從一級(jí)存儲(chǔ)遷移至二級(jí)存儲(chǔ)，或?qū)⑽募詣?dòng)從二級(jí)存儲(chǔ)回遷至一級(jí)存儲(chǔ)，對(duì)業(yè)務(wù)主機(jī)透明。 卷的可訪問(wèn)性：分級(jí)存儲(chǔ)的重要假定動(dòng)態(tài)分級(jí)存儲(chǔ)特性背后存在一個(gè)通常未表述出來(lái)的重要假定，即：系統(tǒng)正常工作時(shí)并不要求所有存儲(chǔ)設(shè)備總是可訪問(wèn)的。企業(yè)通過(guò)將數(shù)據(jù)存儲(chǔ)在容錯(cuò)功能較低的設(shè)備上，默認(rèn)表示這些數(shù)據(jù)對(duì)企業(yè)運(yùn)營(yíng)的重要性不及存儲(chǔ)在容錯(cuò)能力較高的設(shè)備上的數(shù)據(jù)。極端情況下，如果企業(yè)將數(shù)據(jù)存儲(chǔ)在沒(méi)有容錯(cuò)能力的設(shè)備上，則默認(rèn)表示即使沒(méi)有這些數(shù)據(jù)企業(yè)也能夠正常運(yùn)營(yíng)，至少在安裝替換存儲(chǔ)設(shè)備并從備份副本中恢復(fù)這些數(shù)據(jù)所需的時(shí)間段內(nèi)是這樣的。如果常規(guī)數(shù)據(jù)中心內(nèi)的某個(gè)存儲(chǔ)設(shè)備不可用，則無(wú)法裝入該存儲(chǔ)設(shè)備上的文件系統(tǒng)，而且使用該文件系統(tǒng)的應(yīng)用程序也無(wú)法運(yùn)行。不過(guò)，對(duì)于多卷文件系統(tǒng)，要使文件系統(tǒng)正常工作，只需要最關(guān)鍵的數(shù)據(jù)必須是可訪問(wèn)的；包含非關(guān)鍵數(shù)據(jù)的存儲(chǔ)設(shè)備不必是可訪問(wèn)的。與任何商業(yè)文件系統(tǒng)類(lèi)似，VxFS 多卷文件系統(tǒng)必須可以訪問(wèn)其所有元數(shù)據(jù)才能正常工作。但是 VxFS 文件系統(tǒng)不需訪問(wèn)任何特殊用戶(hù)文件的數(shù)據(jù)就可以裝入和運(yùn)行。例如，如果由于包含某些文件的數(shù)據(jù)的卷出現(xiàn)故障，導(dǎo)致這些數(shù)據(jù)不可訪問(wèn)，則需要這些文件的應(yīng)用程序無(wú)法運(yùn)行，但是文件系統(tǒng)可以像往常一樣工作。由此可以得出一個(gè)結(jié)論：應(yīng)將多卷文件系統(tǒng)的元數(shù)據(jù)放置在其卷集中容錯(cuò)能力最好的卷上，而用戶(hù)文件的數(shù)據(jù)可以放置在與該文件的商業(yè)價(jià)值相稱(chēng)的卷上。 元數(shù)據(jù)放置VxFS 為文件系統(tǒng)卷集中的每個(gè)卷都提供了一個(gè) dataonly 標(biāo)記，從而可以對(duì)元數(shù)據(jù)的放置進(jìn)行管理控制。如果已為某個(gè)卷設(shè)置 dataonly 標(biāo)記，則 VxFS 僅在其上存儲(chǔ)用戶(hù)文件數(shù)據(jù)，而不存儲(chǔ)元數(shù)據(jù)。未設(shè)置 dataonly 標(biāo)記的卷可以存儲(chǔ)元數(shù)據(jù)和用戶(hù)數(shù)據(jù)。VxFS 文件系統(tǒng)卷集中的第一個(gè)卷必定可以存儲(chǔ)元數(shù)據(jù)（名為 metadataok 的屬性）。默認(rèn)情況下，VxFS 在文件系統(tǒng)創(chuàng)建時(shí)或在向卷集中添加卷時(shí)，設(shè)置所有其他卷的 dataonly 標(biāo)記。通過(guò)將卷指定為 dataonly，管理員可以阻止 VxFS 在該卷上存儲(chǔ)任何文件系統(tǒng)元數(shù)據(jù)。僅應(yīng)使文件系統(tǒng)的容錯(cuò)功能最好的卷有資格存儲(chǔ)元數(shù)據(jù)。N8500動(dòng)態(tài)分級(jí)存儲(chǔ)特性默認(rèn)將分級(jí)存儲(chǔ)文件系統(tǒng)的第一個(gè)放置級(jí)別定義為高性能存儲(chǔ)區(qū)，該存儲(chǔ)區(qū)所使用的卷默認(rèn)擁有metadataok屬性；而第二個(gè)放置級(jí)別定義為低成本存儲(chǔ)區(qū)，該存儲(chǔ)區(qū)所使用的卷默認(rèn)設(shè)置dataonly標(biāo)記。因此文件系統(tǒng)元數(shù)據(jù)將全部存放于第一個(gè)放置級(jí)別中。 可部分訪問(wèn)的文件系統(tǒng)即使多卷文件系統(tǒng)中的某些甚至全部 dataonly 卷不可訪問(wèn)，仍可以裝入和訪問(wèn)VxFS 多卷文件系統(tǒng)。盡管仍可以對(duì)不可訪問(wèn)的卷進(jìn)行純粹的元數(shù)據(jù)操作（如所有權(quán)或權(quán)限更改），但存儲(chǔ)在這些卷上的文件中的數(shù)據(jù)是無(wú)法訪問(wèn)的。不過(guò)，其數(shù)據(jù)位于可用卷上的文件是可訪問(wèn)的，VxFS 可以處理所有文件系統(tǒng)元數(shù)據(jù)。新文件的空間分配操作會(huì)因沒(méi)有可用于元數(shù)據(jù)的空閑空間而失敗，即使在 dataonly卷上有足夠的可用空間也無(wú)濟(jì)于事。因此，管理員應(yīng)在 metadataok 卷上分配足夠的空間以滿(mǎn)足預(yù)期需求，并應(yīng)持續(xù)監(jiān)視這些卷上的空閑空間。指定 dataonly 僅在文件系統(tǒng)級(jí)別上有意義。它是與文件放置級(jí)別完全不同的屬性。由于在進(jìn)行初始分配和重定位決定時(shí)，VxFS 會(huì)將放置級(jí)別中的所有卷視為等同的，因此給定放置級(jí)別中的所有卷應(yīng)具有相似的容錯(cuò)能力和 I/O 性能，并應(yīng)具有相同的dataonly 或 metadataok 屬性。4.3.3 技術(shù)特點(diǎn)文件遷移策略可以定制，數(shù)據(jù)在各級(jí)存儲(chǔ)間自動(dòng)遷移。數(shù)據(jù)遷移過(guò)程對(duì)用戶(hù)和管理員透明，無(wú)需人工干預(yù)。由于多卷文件系統(tǒng)的使用，文件遷移完成后，不會(huì)在原址保存文件相關(guān)鏈接信息，沒(méi)有額外的空間開(kāi)銷(xiāo)。4.4 遠(yuǎn)程復(fù)制技術(shù)4.4.1 技術(shù)背景N8500集群NAS存儲(chǔ)系統(tǒng)中，遠(yuǎn)程復(fù)制技術(shù)建立在VxFS文件系統(tǒng)基礎(chǔ)上，利用了文件系統(tǒng)的兩項(xiàng)功能，文件改變?nèi)罩荆‵CL）和存儲(chǔ)檢查點(diǎn)（Storage Checkpoint），可基于用戶(hù)定制的周期性時(shí)間策略在不同的N8500系統(tǒng)間進(jìn)行數(shù)據(jù)復(fù)制。我們通常將復(fù)制的數(shù)據(jù)源稱(chēng)為源系統(tǒng)，將復(fù)制的目的地稱(chēng)為目標(biāo)系統(tǒng)。 文件改變?nèi)罩荆‵CL）技術(shù)該技術(shù)能夠跟蹤文件系統(tǒng)中數(shù)據(jù)更改的時(shí)間并記錄更改類(lèi)型，可記錄多種文件系統(tǒng)更改操作，例如文件的創(chuàng)建、附加數(shù)據(jù)，覆蓋數(shù)據(jù)、截短數(shù)據(jù)、擴(kuò)展屬性修改、打孔、鏈接、取消鏈接、重命名等。遠(yuǎn)程復(fù)制利用這項(xiàng)技術(shù)可迅速識(shí)別給定周期時(shí)間范圍內(nèi)，哪些文件中發(fā)生了數(shù)據(jù)改變，但該項(xiàng)技術(shù)無(wú)法識(shí)別被改變的數(shù)據(jù)塊。 存儲(chǔ)檢查點(diǎn)技術(shù)該技術(shù)可在任意時(shí)間點(diǎn)快速創(chuàng)建文件系統(tǒng)持久映像。映像生成時(shí)只包括指向文件系統(tǒng)的一組指針，當(dāng)文件系統(tǒng)的數(shù)據(jù)發(fā)生變化后，舊數(shù)據(jù)被拷貝到映像中，然后新數(shù)據(jù)才會(huì)寫(xiě)到主文件系統(tǒng)中，即寫(xiě)入時(shí)復(fù)制方式。每一個(gè)存儲(chǔ)檢查點(diǎn)映像均可以獨(dú)立進(jìn)行讀寫(xiě)操作，因此，遠(yuǎn)程復(fù)制的整個(gè)過(guò)程可基于文件系統(tǒng)存儲(chǔ)檢查點(diǎn)提供，這樣即使在復(fù)制過(guò)程中，有持續(xù)的寫(xiě)操作存在，復(fù)制過(guò)程也能夠順利進(jìn)行，且用戶(hù)業(yè)務(wù)不會(huì)受到任何影響。4.4.2 技術(shù)原理N8500遠(yuǎn)程復(fù)制是基于給定周期的異步復(fù)制，對(duì)于每一個(gè)配置了遠(yuǎn)程復(fù)制服務(wù)的文件系統(tǒng)，會(huì)為其保留至少一個(gè)文件系統(tǒng)存儲(chǔ)檢查點(diǎn)即時(shí)映像，該映像是最近一次執(zhí)行復(fù)制任務(wù)時(shí)所創(chuàng)建，可為下一次復(fù)制任務(wù)提供參照。N8500的遠(yuǎn)程復(fù)制可分為三個(gè)關(guān)鍵步驟，文件改變識(shí)別、增量數(shù)據(jù)生成、增量數(shù)據(jù)同步。文件改變識(shí)別過(guò)程可在源文件系統(tǒng)中識(shí)別當(dāng)前周期內(nèi)被改變的文件；增量數(shù)據(jù)生成過(guò)程可獲取文件系統(tǒng)被改變的擴(kuò)展區(qū)（extent），并生成待同步的增量數(shù)據(jù)；增量數(shù)據(jù)同步過(guò)程可將增量數(shù)據(jù)同步到目標(biāo)文件系統(tǒng)。圖 19 N8500遠(yuǎn)程復(fù)制技術(shù)實(shí)現(xiàn)步驟在每一個(gè)復(fù)制周期時(shí)間點(diǎn)到來(lái)時(shí)，首先會(huì)為需要復(fù)制的源文件系統(tǒng)創(chuàng)建一個(gè)存儲(chǔ)檢查點(diǎn)即時(shí)映像。該周期的復(fù)制操作，將使用這個(gè)存儲(chǔ)檢查點(diǎn)映像作為復(fù)制源。另外，每個(gè)遠(yuǎn)程復(fù)制的文件系統(tǒng)均會(huì)保留上一個(gè)復(fù)制周期時(shí)間點(diǎn)的存儲(chǔ)檢查點(diǎn)，用于數(shù)據(jù)對(duì)比。存儲(chǔ)檢查點(diǎn)創(chuàng)建完成后，N8500遠(yuǎn)程復(fù)制通過(guò)文件改變?nèi)罩炯夹g(shù)，迅速識(shí)別出在這個(gè)周期內(nèi)被改變的文件，生成一個(gè)記錄了這些文件的列表。該過(guò)程中，系統(tǒng)無(wú)需對(duì)整個(gè)文件系統(tǒng)進(jìn)行掃描，與傳統(tǒng)的文件級(jí)遠(yuǎn)程復(fù)制技術(shù)相比，顯著提升了處理性能。隨后，N8500遠(yuǎn)程復(fù)制使用文件系統(tǒng)存儲(chǔ)檢查點(diǎn)的元數(shù)據(jù)對(duì)比功能，在當(dāng)前周期的存儲(chǔ)檢查點(diǎn)及上一周期的存儲(chǔ)檢查點(diǎn)間逐一比較這些被改變文件，識(shí)別出被改變的擴(kuò)展區(qū)（extent）并進(jìn)行記錄。整個(gè)比對(duì)過(guò)程均通過(guò)元數(shù)據(jù)進(jìn)行，無(wú)需訪問(wèn)文件數(shù)據(jù)，效率極高。另外，由于只需對(duì)比被改變的文件，因此，即使整個(gè)文件系統(tǒng)中存在海量文件，也無(wú)需擔(dān)心數(shù)據(jù)對(duì)比過(guò)程會(huì)耗費(fèi)較長(zhǎng)時(shí)間。最后，N8500遠(yuǎn)程復(fù)制將被改變的擴(kuò)展區(qū)（extent）中的數(shù)據(jù)提取出來(lái)，生成待傳輸?shù)臄?shù)據(jù)文件，并利用業(yè)界廣泛應(yīng)用的rsync數(shù)據(jù)同步工具，通過(guò)SSH方式，將這些數(shù)據(jù)同步到目標(biāo)系統(tǒng)中，還原到目標(biāo)文件系統(tǒng)中。當(dāng)前周期的復(fù)制過(guò)程完成后，源系統(tǒng)中，較老的存儲(chǔ)檢查點(diǎn)將被刪除，而最新創(chuàng)建的存儲(chǔ)檢查點(diǎn)會(huì)被保留下來(lái)，以便下一個(gè)周期復(fù)制時(shí)進(jìn)行數(shù)據(jù)對(duì)比。值得一提的是，遠(yuǎn)程復(fù)制的目標(biāo)文件系統(tǒng)可隨時(shí)對(duì)用戶(hù)提供只讀業(yè)務(wù)。此時(shí)用戶(hù)訪問(wèn)的實(shí)際上并不是真實(shí)的文件系統(tǒng)，而是目標(biāo)文件系統(tǒng)在上一周期復(fù)制完畢后創(chuàng)建的存儲(chǔ)檢查點(diǎn)即時(shí)映像。這樣既保證了用戶(hù)能夠隨時(shí)訪問(wèn)到完整可用的文件，也不會(huì)因?yàn)橛脩?hù)的訪問(wèn)而影響到遠(yuǎn)程復(fù)制過(guò)程的順利進(jìn)行。圖 20 N8500遠(yuǎn)程復(fù)制技術(shù)實(shí)現(xiàn)機(jī)制4.4.3 技術(shù)特點(diǎn) 可訪問(wèn)的復(fù)制數(shù)據(jù)N8500的遠(yuǎn)程復(fù)制技術(shù)，當(dāng)復(fù)制服務(wù)開(kāi)啟時(shí)，允許用戶(hù)通過(guò)只讀方式訪問(wèn)目標(biāo)系統(tǒng)中的復(fù)制數(shù)據(jù)。當(dāng)復(fù)制服務(wù)關(guān)閉后或用戶(hù)業(yè)務(wù)已經(jīng)切換到目標(biāo)N8500系統(tǒng)，則允許用戶(hù)對(duì)目標(biāo)文件系統(tǒng)進(jìn)行讀寫(xiě)訪問(wèn)。 快速的業(yè)務(wù)恢復(fù)N8500的遠(yuǎn)程復(fù)制中，源系統(tǒng)發(fā)生故障時(shí)，系統(tǒng)業(yè)務(wù)可迅速切換到目標(biāo)系統(tǒng)，通過(guò)目標(biāo)系統(tǒng)提供業(yè)務(wù)。由于目標(biāo)系統(tǒng)實(shí)際上已經(jīng)可以單獨(dú)為用戶(hù)提供只讀數(shù)據(jù)訪問(wèn)。因此，可在極短的時(shí)間內(nèi)切換到目標(biāo)系統(tǒng)，提供只讀業(yè)務(wù)。若需目標(biāo)系統(tǒng)提供可讀寫(xiě)業(yè)務(wù)，僅需進(jìn)行少量的設(shè)置即可完成切換。 與集群技術(shù)緊密結(jié)合N8500的遠(yuǎn)程復(fù)制服務(wù)與集群技術(shù)緊密結(jié)合，當(dāng)承載復(fù)制業(yè)務(wù)的節(jié)點(diǎn)發(fā)生故障后，遠(yuǎn)程復(fù)制服務(wù)可自動(dòng)切