OceanstorN8500集群NAS存儲系統(tǒng)產(chǎn)品技術(shù)白皮書V21.doc

OceanStor N8500集群NAS存儲系統(tǒng)產(chǎn)品技術(shù)白皮書IssueV2.1Date2019-12-17華為技術(shù)有限公司30 / 30版權(quán)所有 華為技術(shù)有限公司 2012。 保留一切權(quán)利。非經(jīng)本公司書面許可，任何單位和個人不得擅自摘抄、復(fù)制本文檔內(nèi)容的部分或全部，并不得以任何形式傳播。商標(biāo)聲明和其他華為商標(biāo)均為華為技術(shù)有限公司的商標(biāo)。本文檔提及的其他所有商標(biāo)或注冊商標(biāo)，由各自的所有人擁有。注意您購買的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購買或使用范圍之內(nèi)。除非合同另有約定，華為公司對本文檔內(nèi)容不做任何明示或默示的聲明或保證。由于產(chǎn)品版本升級或其他原因，本文檔內(nèi)容會不定期進(jìn)行更新。除非另有約定，本文檔僅作為使用指導(dǎo)，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔(dān)保。華為技術(shù)有限公司為客戶提供全方位的技術(shù)支持，用戶可與就近的華為辦事處聯(lián)系，也可直接與公司總部聯(lián)系。華為技術(shù)有限公司地址：深圳市龍崗區(qū)坂田華為總部辦公樓 郵編：518129網(wǎng)址：客戶服務(wù)電話4008302118客戶服務(wù)傳真戶服務(wù)郵箱：S目 錄1 概 述52 N8500集群NAS存儲系統(tǒng)架構(gòu)62.1 產(chǎn)品邏輯結(jié)構(gòu)62.2 集群NAS軟件62.3 集群NAS引擎72.4 交換設(shè)備配置82.5 存儲單元配置82.6 管理子系統(tǒng)83 組網(wǎng)以及環(huán)境要求93.1 集群NAS存儲系統(tǒng)93.2 NAS/SAN一體化典型組網(wǎng)103.3 數(shù)據(jù)備份組網(wǎng)103.4 系統(tǒng)運行環(huán)境124 軟件特性134.1 集群文件系統(tǒng)134.1.1 技術(shù)背景134.1.2 技術(shù)原理134.1.3 技術(shù)特點194.2 快照技術(shù)194.2.1 技術(shù)背景194.2.2 技術(shù)原理194.2.3 技術(shù)特點214.3 動態(tài)分級存儲技術(shù)224.3.1 技術(shù)背景224.3.2 技術(shù)原理224.3.3 技術(shù)特點264.4 遠(yuǎn)程復(fù)制技術(shù)264.4.1 技術(shù)背景264.4.2 技術(shù)原理274.4.3 技術(shù)特點284.5 配額管理技術(shù)294.5.1 技術(shù)背景294.5.2 技術(shù)原理294.5.3 技術(shù)特點31圖目錄圖 1 產(chǎn)品邏輯結(jié)構(gòu)圖6圖 2 FileStore 軟件及應(yīng)用架構(gòu)示意圖7圖 3 N8500集群NAS存儲系統(tǒng)關(guān)系圖9圖 4 SAN、NAS一體化典型組網(wǎng)10圖 5 使用NBU客戶端備份方式組網(wǎng)11圖 6 使用NDMP備份組網(wǎng)11圖 7 數(shù)據(jù)通道全互聯(lián)技術(shù)14圖 8 通信通道全互聯(lián)技術(shù)14圖 9 全局存儲空間管理技術(shù)16圖 10 高效的集群鎖技術(shù)17圖 11 對稱式元數(shù)據(jù)處理技術(shù)17圖 12 全局名字空間技術(shù)18圖 13 集群多節(jié)點并發(fā)訪問技術(shù)18圖 14 主文件系統(tǒng)及其快照文件集20圖 15 新生成快照20圖 16 主文件系統(tǒng)數(shù)據(jù)更新21圖 17 對快照進(jìn)行數(shù)據(jù)更新22圖 18 N8500多卷文件系統(tǒng)示意圖23圖 19 N8500遠(yuǎn)程復(fù)制技術(shù)實現(xiàn)步驟27圖 20 N8500遠(yuǎn)程復(fù)制技術(shù)實現(xiàn)機制28圖29 配額管理邏輯架構(gòu)30圖30 配額管理執(zhí)行方式311 概 述傳統(tǒng)NAS系統(tǒng)存在擴展性差、可靠性差等缺陷。為了克服傳統(tǒng)NAS系統(tǒng)的缺陷，集群NAS技術(shù)應(yīng)運而生。集群NAS系統(tǒng)具有高擴展、高性能、高可用等特點。本文檔介紹華為N8500集群NAS存儲系統(tǒng)軟件和技術(shù)的相關(guān)細(xì)節(jié)。2 N8500集群NAS存儲系統(tǒng)架構(gòu)2.1 產(chǎn)品邏輯結(jié)構(gòu)N8500集群NAS存儲系統(tǒng)（以下簡稱N8500或N8500系統(tǒng)）由集群NAS引擎（由集群NAS引擎硬件+集群NAS軟件FileStore組成）、交換設(shè)備、存儲單元以及管理子系統(tǒng)組成，其中集群NAS軟件包含定制化的操作系統(tǒng)，不需要額外選擇操作系統(tǒng)平臺。圖 1 產(chǎn)品邏輯結(jié)構(gòu)圖2.2 集群NAS軟件集群NAS軟件FileStore作為整個N8500集群NAS存儲系統(tǒng)的核心部件，其作用除了管理存儲并提供NAS服務(wù)外，還包括對集群系統(tǒng)自身的管理以及相關(guān)的故障處理。N8500的集群NAS軟件基于商用的CFS開發(fā)，通過在專用64位存儲系統(tǒng)上安裝CFS軟件，并配置NFS和samba等服務(wù)以對外提供NAS訪問接口。N8500集群NAS軟件的核心部件CFS提供了大量的增值功能，如快照、動態(tài)分級存儲等功能。FileStore軟件及應(yīng)用架構(gòu)示意圖如下圖所示。FileStore軟件由核心層的CFS、CVM軟件和用戶層的各類NAS服務(wù)應(yīng)用組成。FileStore軟件部署于集群NAS引擎節(jié)點（Node）上，集群NAS引擎節(jié)點可通過集群方式擴展，提供全Active的集群架構(gòu)。所有節(jié)點可訪問同一個共享存儲空間，對外可通過以太網(wǎng)向上層應(yīng)用提供NAS業(yè)務(wù)。圖 2 FileStore 軟件及應(yīng)用架構(gòu)示意圖2.3 集群NAS引擎NAS引擎是集群軟件運行的硬件平臺，通過與FileStore軟件的配合，將后端存儲提供的卷以NAS方式提供給客戶使用，需要較好的I/O處理能力、網(wǎng)絡(luò)帶寬和可靠性。2.4 交換設(shè)備配置在N8500集群NAS軟件中，集群節(jié)點間的通訊通過專用的心跳網(wǎng)絡(luò)來實現(xiàn)，同時，連接多套存儲單元時需要光纖交換設(shè)備。心跳網(wǎng)絡(luò)對交換機的帶寬要求低，光纖交換設(shè)備要求支持8Gb接口。當(dāng)選擇的節(jié)點數(shù)超過2個時，需要額外配置2臺以太網(wǎng)交換機，作為集群NAS的心跳鏈路使用。2.5 存儲單元配置支持S2600T、S5500T、S5600T、S5800T、S6800T存儲系統(tǒng)。上述所有類型的存儲單元，均可以向下細(xì)分為兩個組件，即控制框和硬盤框，其中控制框包含了控制器及控制軟件，硬盤框用于磁盤容量擴展。在N8500集群NAS存儲系統(tǒng)中，將控制框稱之為存儲單元控制框，將硬盤框稱之為存儲單元硬盤框。存儲單元控制框前可增加型號的描述區(qū)分各種型號，如S5x00T存儲單元控制框。2.6 管理子系統(tǒng)N8500集群NAS存儲系統(tǒng)提供GUI和CLI兩種管理方式。GUI支持NAS引擎和存儲單元統(tǒng)一管理，CLI僅支持NAS引擎和存儲單元獨立管理。另外有些高級功能及部分系統(tǒng)配置功能僅適用CLI支持，面向高級管理維護(hù)人員。3 組網(wǎng)以及環(huán)境要求3.1 集群NAS存儲系統(tǒng)圖 3 N8500集群NAS存儲系統(tǒng)關(guān)系圖3.2 NAS/SAN一體化典型組網(wǎng)圖 4 SAN、NAS一體化典型組網(wǎng)組網(wǎng)說明：N8500系統(tǒng)的NAS、SAN一體化體現(xiàn)為從后端單元直接提供FC或iSCSI接口，提供FC-SAN和IP-SAN的組網(wǎng)方式供用戶業(yè)務(wù)使用，使用S2600T、S5500T、S5600T、S5800T或S6800T時，由于后端單元可提供較多的接口，在提供N8500集群節(jié)點使用之余，其余接口可作為SAN接口使用。在N8500系統(tǒng)中，僅使用了存儲單元的部分端口，此外，在引擎節(jié)點數(shù)量比較少或使用交換形態(tài)的情況下，可以根據(jù)需要配置10Gbps iSCSI扣卡，從而為用戶提供萬兆IP SAN；若用戶有SAN的需求，則可以在陣列上將未使用的磁盤空間（以LUN為單位）通過空閑的FC端口或iSCSI/10Gbps iSCSI端口提供給用戶使用，達(dá)到NAS/SAN一體化的效果，在這種組網(wǎng)下，用戶的具體網(wǎng)絡(luò)環(huán)境可能為無域的環(huán)境、AD域環(huán)境、NIS域環(huán)境或LDAP域環(huán)境等。3.3 數(shù)據(jù)備份組網(wǎng)N8500集群NAS存儲系統(tǒng)支持兩種備份方式，一是通過集成的NetBackup客戶端進(jìn)行備份；二是通過NDMP協(xié)議進(jìn)行備份。兩種備份方式的組網(wǎng)如圖示：圖 5 使用NBU客戶端備份方式組網(wǎng)組網(wǎng)說明：使用NBU客戶端進(jìn)行備份時，需要環(huán)境中包含NBU服務(wù)器(包括Master Server和Media Server)，如果使用DNS，則要求DNS服務(wù)器能對NBU服務(wù)器進(jìn)行正確解析，網(wǎng)絡(luò)連接好后在N8500系統(tǒng)上配置NBU服務(wù)器相關(guān)的信息，然后在NBU Master Server上進(jìn)行備份策略等配置后，備份即可按照設(shè)置的策略正常進(jìn)行，數(shù)據(jù)流從N8500引擎經(jīng)Media Server后備份到后端介質(zhì)，無需再進(jìn)行干預(yù)。圖 6 使用NDMP備份組網(wǎng)組網(wǎng)說明：使用NDMP協(xié)議進(jìn)行備份時，當(dāng)前版本支持通過LAN進(jìn)行備份的方式，即備份數(shù)據(jù)通過IP網(wǎng)絡(luò)進(jìn)行傳輸，備份采用的協(xié)議為標(biāo)準(zhǔn)的NDMP協(xié)議。在采用基于IP網(wǎng)絡(luò)的NDMP備份時，同樣需要有備份服務(wù)器（如NBU），由備份服務(wù)器連接備份介質(zhì)（磁帶庫設(shè)備），根據(jù)備份軟件的不同，可能需要相應(yīng)的選件支持，如使用NBU時需要備份服務(wù)器上安裝有遠(yuǎn)程NDMP選件，在進(jìn)行備份時，NDMP控制信息由備份服務(wù)器下發(fā)到N8500系統(tǒng)，N8500系統(tǒng)根據(jù)控制命令進(jìn)行備份，將備份數(shù)據(jù)通過IP網(wǎng)絡(luò)傳送到備份服務(wù)器的相關(guān)模塊（如NBU的Media Server）再由該模塊寫入備份介質(zhì)。3.4 系統(tǒng)運行環(huán)境N8500集群NAS存儲系統(tǒng)通過SAN共享技術(shù)將存儲陣列提供的卷虛擬成可同時供多個集群節(jié)點使用的邏輯卷，在此基礎(chǔ)上，通過NFS共享、CIFS共享、FTP等方式為用戶提供文件服務(wù)。對最終用戶來說，N8500集群NAS存儲系統(tǒng)就是一個文件服務(wù)器，用戶通過該文件服務(wù)器存取文件。用戶所在的環(huán)境可能是比較復(fù)雜的，如AD域、NIS域、LDAP等環(huán)境，需要N8500系統(tǒng)也能支持這些環(huán)境，因此，在N8500中也提供了這些域環(huán)境的支持，用戶只需要進(jìn)行相應(yīng)的配置即可將N8500在現(xiàn)有的域環(huán)境中運行起來供應(yīng)用主機訪問。4 軟件特性4.1 集群文件系統(tǒng)4.1.1 技術(shù)背景N8500系統(tǒng)的集群架構(gòu)，采用全互聯(lián)的組網(wǎng)機制，對稱式集群設(shè)計，實現(xiàn)集群節(jié)點的全局命名空間，從而允許集群任何節(jié)點并發(fā)訪問任何文件系統(tǒng)的任何文件；并且支持文件內(nèi)的細(xì)粒度的全局鎖，提供從多個節(jié)點并發(fā)訪問相同文件的不同區(qū)域，實現(xiàn)高并發(fā)讀寫，最終達(dá)到高性能訪問系統(tǒng)。4.1.2 技術(shù)原理 數(shù)據(jù)通道全互聯(lián)技術(shù)原理N8500系統(tǒng)分為引擎單元和存儲單元，存儲單元處理數(shù)據(jù)塊的存儲，引擎單元提供集群文件系統(tǒng)的邏輯功能。引擎單元和存儲單元通過直連全互聯(lián)，或者交換網(wǎng)絡(luò)實現(xiàn)全互聯(lián)，從任何一個引擎節(jié)點都能夠訪問到任何一個存儲單元，從而保證數(shù)據(jù)通道的暢通無阻，并且提供冗余路徑實現(xiàn)高可靠性，如下圖所示。圖 7 數(shù)據(jù)通道全互聯(lián)技術(shù)對于N8500系統(tǒng)的典型配置，兩個引擎節(jié)點連接到存儲單元，每個節(jié)點都有路徑連接到陣列的雙控端口中，從而實現(xiàn)全互聯(lián)，并且提高冗余鏈路；對于N8500系統(tǒng)的典型配置，引擎節(jié)點通過冗余的交換機連接到存儲單元，每個存儲單元也分別連接到冗余交換機，從而形成全冗余的組網(wǎng)。 通信通道全互聯(lián)技術(shù)原理N8500系統(tǒng)的引擎節(jié)點之間需要相互通信，提供集群節(jié)點的統(tǒng)一視圖，保證元數(shù)據(jù)/數(shù)據(jù)處理的一致性。節(jié)點之間采用雙通道連圖，冗余互聯(lián)，保證通信通道的高效可靠。圖 8 通信通道全互聯(lián)技術(shù)N8500系統(tǒng)的2引擎節(jié)點典型配置下，每個節(jié)點提供2條鏈路到另外一個節(jié)點，從而即使一條鏈路故障時，也能保證通信鏈路的可靠性。N8500系統(tǒng)的多引擎節(jié)點，則是連接到2個交換機上面，從而提供冗余通信平面，保證可靠性。 全局存儲空間管理技術(shù)原理N8500系統(tǒng)在數(shù)據(jù)通道和通信通道實現(xiàn)全互聯(lián)的基礎(chǔ)上，采用集群卷管理技術(shù)，提供了全局的存儲空間管理。也就是說，在集群中的任何節(jié)點能夠以相同的卷設(shè)備名字訪問同一存儲空間，保證塊設(shè)備訪問的一致性，如圖9。圖 9 全局存儲空間管理技術(shù) 高效的集群鎖技術(shù)原理N8500系統(tǒng)需要在節(jié)點之間傳遞元數(shù)據(jù)/數(shù)據(jù)，而為了保證數(shù)據(jù)的一致性，提供了GLM(Global lock manager)集群鎖技術(shù)，如圖10所示。圖 10 高效的集群鎖技術(shù)N8500系統(tǒng)的GLM集群技術(shù)是構(gòu)建在LLT(Low Latency Transport)/GAB(Group Membership and Atomic Broadcast)底層通信基礎(chǔ)上，該通信層直接構(gòu)建在以太網(wǎng)二層協(xié)議上，而不是TCP/IP層上?？紤]到集群通信主要傳送的鎖信息，通常幀都比較小，而TCP/IP包會帶來額外的大幀頭開銷；同時集群通信主要在私有網(wǎng)絡(luò)內(nèi)傳遞，對TCP/IP在廣域網(wǎng)的超時重傳、滑動窗口沒有太多需求。所以，LLT針對集群鎖通信需求，直接利用以太網(wǎng)幀傳送包，從而達(dá)到提高利用率的目的，并且設(shè)計自己的流量控制、超時重傳、以及重復(fù)幀處理，實現(xiàn)高效傳輸。同時，針對集群多引擎節(jié)點通信的原子要求，設(shè)計了GAB模塊，它保證通信的原子性；也就是說，保證在集群多引擎節(jié)點中，消息要么被所有引擎節(jié)點受到并確認(rèn)，要么所有引擎節(jié)點都丟棄該消息，從而不會出現(xiàn)部分確認(rèn)消息、部分丟棄消息的中間狀態(tài)。 對稱式元數(shù)據(jù)處理技術(shù)原理N8500系統(tǒng)中，元數(shù)據(jù)分為了不同的類型，比如：超級塊、日志區(qū)、分配單元(AU, Allocation Unit)、INODE。這些元數(shù)據(jù)具有不同的屬性，分別對不同的數(shù)據(jù)管理負(fù)責(zé)，比如，超級塊對整個集群文件系統(tǒng)的數(shù)據(jù)負(fù)責(zé)，而INODE則是針對單獨的那個文件負(fù)責(zé)。圖 11 對稱式元數(shù)據(jù)處理技術(shù)在元數(shù)據(jù)分類的基礎(chǔ)上，N8500系統(tǒng)的每個引擎節(jié)點就可以擔(dān)當(dāng)不同元數(shù)據(jù)處理的責(zé)任主體。如圖-11所示，第一個引擎節(jié)點負(fù)責(zé)超級塊的更新修改，其他節(jié)點需要對元數(shù)據(jù)的處理，都把請求發(fā)送給他；第二個引擎節(jié)點負(fù)責(zé)文件F1的INODE元數(shù)據(jù)更新修改，其它節(jié)點需要操作F1文件，都需要把請求發(fā)送給該引擎節(jié)點。同時，在任何引擎節(jié)點故障后，都可以把該節(jié)點負(fù)責(zé)的元數(shù)據(jù)處理轉(zhuǎn)移到其他任何引擎節(jié)點上，從而實現(xiàn)對稱式的元數(shù)據(jù)處理，實現(xiàn)元數(shù)據(jù)處理的負(fù)載均衡，提高元數(shù)據(jù)處理的效率。 全局名字空間技術(shù)原理N8500系統(tǒng)采用對稱式的設(shè)計架構(gòu)，每個節(jié)點都可以參與處理元數(shù)據(jù)，從而很容易形成全局名字空間，讓系統(tǒng)的每個處理節(jié)點都能夠讀寫相同的文件系統(tǒng)，實現(xiàn)節(jié)點之間的并發(fā)訪問，如圖12所示。圖 12 全局名字空間技術(shù)根據(jù)元數(shù)據(jù)的分類、分片，讓每個節(jié)點都能參與元數(shù)據(jù)的處理，減少節(jié)點之間轉(zhuǎn)發(fā)元數(shù)據(jù)/數(shù)據(jù)請求的通信量，實現(xiàn)負(fù)載均衡。 集群多節(jié)點并發(fā)訪問技術(shù)原理N8500系統(tǒng)提供了全局的命名空間，從而實現(xiàn)了多個節(jié)點可以并發(fā)訪問同一個文件系統(tǒng)。除此之外，N8500系統(tǒng)還提供全局鎖機制，保證不同節(jié)點訪問相同文件系統(tǒng)相同文件并發(fā)訪問的一致性，通過細(xì)粒度的鎖設(shè)計，保證系統(tǒng)的并發(fā)性，如圖13所示。圖 13 集群多節(jié)點并發(fā)訪問技術(shù)當(dāng)不同節(jié)點訪問文件F1的不同區(qū)域時，通過該文件的所有者(Owner)進(jìn)行仲裁，如果沒有其他節(jié)點訪問對應(yīng)區(qū)域，則允許該節(jié)點讀寫數(shù)據(jù)；如果發(fā)現(xiàn)有其他節(jié)點訪問該區(qū)域，則出現(xiàn)沖突，該所有者就會讓新請求等待，直到讀寫該區(qū)域的請求完成，然后通知等待該區(qū)域的節(jié)點競爭鎖。通過此機制，實現(xiàn)了集群多節(jié)點范圍內(nèi)的一致鎖所處理；同時，通過細(xì)粒度的區(qū)域鎖設(shè)計，保證高并發(fā)。4.1.3 技術(shù)特點N8500集群存儲系統(tǒng)采用全Active、全共享設(shè)計。文件系統(tǒng)為所有引擎節(jié)點共享而不是與特定節(jié)點綁定，所有引擎節(jié)點可以并發(fā)訪問同一文件系統(tǒng)，不存在負(fù)荷熱點問題。N8500所有引擎節(jié)點互為備份，某一節(jié)點故障時，故障節(jié)點原來承擔(dān)的應(yīng)用可以切到其它在線節(jié)點。N8500所有節(jié)點提供業(yè)務(wù)，互為備用，具有更高的系統(tǒng)可靠性和資源利用率。4.2 快照技術(shù)4.2.1 技術(shù)背景N8500集群NAS存儲系統(tǒng)中的文件系統(tǒng)快照，支持生成源文件系統(tǒng)在某個時間點上的一致性映像，在不中斷正常業(yè)務(wù)的前提下，快速得到一份與源文件系統(tǒng)一致的數(shù)據(jù)副本。副本生成之后立即可用，并且對副本的讀寫操作不再影響源文件系統(tǒng)中的數(shù)據(jù)。因此通過文件系統(tǒng)快照技術(shù)就可以解決如在線備份、數(shù)據(jù)分析、應(yīng)用測試等難題。用戶可以通過多種方法使用存儲檢查點。例如，它們可用于： 創(chuàng)建可以備份到磁帶的文件系統(tǒng)的穩(wěn)定映像。 提供源文件系統(tǒng)的磁盤備份，在意外刪除情況下，最終用戶可以恢復(fù)自己的文件。 在安裝修補程序之前，創(chuàng)建應(yīng)用程序的二進(jìn)制副本，以允許出現(xiàn)問題時進(jìn)行還原。 創(chuàng)建文件系統(tǒng)的磁盤備份，可用作傳統(tǒng)的基于磁帶備份的補充，從而提供更快的備份和恢復(fù)功能。4.2.2 技術(shù)原理N8500的文件系統(tǒng)快照采用了寫前拷貝（copy-on-write）技術(shù)方式來實現(xiàn)，其實現(xiàn)原理如下：1、 在文件系統(tǒng)未進(jìn)行任何快照前，數(shù)據(jù)寫入動作與未創(chuàng)建快照的文件系統(tǒng)一樣：對數(shù)據(jù)的任何修改操作，會直接寫入文件系統(tǒng)中對原有數(shù)據(jù)進(jìn)行覆蓋，原有數(shù)據(jù)不會被保留。2、 為文件系統(tǒng)創(chuàng)建快照時，首先會凍結(jié)該文件系統(tǒng)，創(chuàng)建一個沒有任何實際數(shù)據(jù)的快照文件集，快照文件集僅包含指向主文件系統(tǒng)的一組指針。由于不需要拷貝數(shù)據(jù)，因此整個過程耗時極少，從一秒以內(nèi)到數(shù)秒不等，與文件系統(tǒng)中的文件數(shù)量有關(guān)。N8500中的快照文件集與主文件系統(tǒng)共同使用文件系統(tǒng)空間，無需單獨為快照分配特定的空間。圖 14 主文件系統(tǒng)及其快照文件集3、 剛創(chuàng)建的快照不包含任何實際數(shù)據(jù)，只包含指向主文件系統(tǒng)的一組指針，當(dāng)用戶訪問快照時，實際上訪問的是主文件系統(tǒng)中的數(shù)據(jù)。當(dāng)主文件系統(tǒng)的數(shù)據(jù)發(fā)生變化后，首先舊數(shù)據(jù)被拷貝到快照文件集中，然后新數(shù)據(jù)才會寫到主文件系統(tǒng)中（即copy-on write）。圖 15 新生成快照圖 16 主文件系統(tǒng)數(shù)據(jù)更新4、 隨著主文件系統(tǒng)不斷被更新，原有的數(shù)據(jù)塊會逐漸的拷貝到快照文件集中，但如果需要更新的塊已經(jīng)被快照文件集保存過一次，這時就不會發(fā)生拷貝操作，只更新主文件系統(tǒng)即可，因為快照文件集所映像的只是生成快照時刻的主文件系統(tǒng)映像。5、 當(dāng)用戶需要恢復(fù)出快照點時刻的數(shù)據(jù)時，可通過快照數(shù)據(jù)的回滾快速實現(xiàn)，通過回滾，文件系統(tǒng)可將數(shù)據(jù)恢復(fù)到快照點時刻，從而避免了快照點后因為人為的錯誤或者病毒的入侵等引起的源文件系統(tǒng)損壞造成的數(shù)據(jù)丟失。需要說明的是，快照的回滾是不可逆的，回滾只能將數(shù)據(jù)恢復(fù)到某一特定的時間點，但該時間點到故障點之間的數(shù)據(jù)將會丟失。如果僅僅是特定的幾個文件被損壞、誤修改、誤刪除，則無需進(jìn)行整個文件系統(tǒng)的回滾，直接從特定時間的快照文件集中將這些文件恢復(fù)到主文件系統(tǒng)中即可。6、 當(dāng)快照被刪除后，指向主文件系統(tǒng)的指針和寫入時拷貝數(shù)據(jù)都將被清空，快照創(chuàng)建時間點的數(shù)據(jù)變?yōu)椴豢捎谩?、 從上面的過程可以看到，當(dāng)快照創(chuàng)建后，無論后續(xù)的數(shù)據(jù)怎樣的讀寫和改變，只要快照不被刪除，我們均能夠及時的獲取到快照創(chuàng)建時間點的數(shù)據(jù)。4.2.3 技術(shù)特點 可寫快照N8500中的文件系統(tǒng)快照可以為用戶提供讀寫業(yè)務(wù)，用戶可通過創(chuàng)建快照方便的重定義數(shù)據(jù)用途，實現(xiàn)諸如測試、備份、歸檔等各類操作。對快照的修改操作，需要說明的是，如果對某一快照執(zhí)行了寫操作，那么該快照將不再是快照創(chuàng)建時間點的一致性映像，不能使用該快照進(jìn)行文件系統(tǒng)回滾。圖 17 對快照進(jìn)行數(shù)據(jù)更新 快速數(shù)據(jù)恢復(fù)對于傳統(tǒng)的離線備份，備份數(shù)據(jù)無法直接在線讀取，必須經(jīng)過較長時間的數(shù)據(jù)恢復(fù)過程才能夠獲得原數(shù)據(jù)在備份時間點的可用副本，從而實現(xiàn)數(shù)據(jù)的還原。N8500的文件系統(tǒng)快照可以直接從快照中恢復(fù)出快照時間點的數(shù)據(jù)，從而實現(xiàn)了方便的數(shù)據(jù)回滾。 循環(huán)定時快照，實現(xiàn)持續(xù)數(shù)據(jù)保護(hù)N8500對同一文件系統(tǒng)支持多個時間點的快照，用戶可以定制策略定時自動進(jìn)行快照的創(chuàng)建操作。當(dāng)多個時間點的快照采用循環(huán)的方式沿時間軸向前推進(jìn)自動操作時，就非常方便且低成本的實現(xiàn)了持續(xù)數(shù)據(jù)保護(hù)。 快照對性能的影響在文件系統(tǒng)中使用快照并非對系統(tǒng)性能沒有影響。在文件系統(tǒng)中創(chuàng)建快照后，讀操作的性能不會受到影響，但卻增加了寫操作的復(fù)雜度。當(dāng)原文件系統(tǒng)數(shù)據(jù)更新較大時，寫操作增加，系統(tǒng)性能有一定的降低。4.3 動態(tài)分級存儲技術(shù)4.3.1 技術(shù)背景N8500動態(tài)分級存儲特性的主要價值是降低平均聯(lián)機存儲硬件成本，而又不會相應(yīng)地增加管理的復(fù)雜性。重要的文件放置在高可用性、高性能（相應(yīng)地，成本也非常高）的存儲設(shè)備上；不太重要的文件放置在成本較低的、性能和可用性規(guī)格較低的設(shè)備上。N8500動態(tài)分級存儲特性可自動將文件重定位到正確類型的存儲設(shè)備上，而不更改它們在文件系統(tǒng)命名空間中的邏輯位置。由于物理重定位的文件保留在相同的邏輯位置上，因此使用動態(tài)分級存儲特性可以不需要對應(yīng)用程序配置和操作步驟進(jìn)行更改。對于應(yīng)用程序和用戶而言，動態(tài)分級存儲中的文件重定位是透明的。N8500動態(tài)分級存儲包括兩部分：支持多卷文件系統(tǒng)，以及在由文件系統(tǒng)管理的存儲內(nèi)基于策略自動遷移文件。4.3.2 技術(shù)原理 多卷文件系統(tǒng)的屬性N8500可以構(gòu)建多個文件系統(tǒng)，并讓這些文件系統(tǒng)的邏輯命名空間分布在多個存儲卷上。構(gòu)建文件系統(tǒng)所使用的各個卷被稱作該文件系統(tǒng)的卷集。卷集中的各個卷是從單個存儲單元中的 LUN 配置的。事實上，占用多個卷的文件系統(tǒng)對于應(yīng)用程序是透明的。該文件系統(tǒng)中的所有文件都是同一命名空間的一部分，在訪問和處理這些文件時就如同它們?nèi)空加脝蝹€卷一樣?；谖募到y(tǒng)的卷存儲層相對于基于硬件的多層存儲方法有一個重要的優(yōu)點。與基于硬件的解決方案（它的各個層都基于由磁盤陣列提供的 LUN）不同的是，N8500卷可以是任何需要的容量和配置，如果有 I/O 性能或容錯需要，甚至可以跨接多個N8500存儲單元。N8500動態(tài)分級存儲特性所使用的文件系統(tǒng)必定是多卷文件系統(tǒng)。 使用放置級別以管理文件位置多卷文件系統(tǒng)的管理員可以通過定義文件放置策略（可控制初始文件位置和重定位現(xiàn)有文件的環(huán)境）來控制卷集內(nèi)的文件位置。文件放置策略由一些規(guī)則組成，這些規(guī)則將文件的位置限制為由管理員定義的、文件系統(tǒng)卷集中各個卷的子集。這些子集被稱為放置級別。通常，用存儲層來標(biāo)識放置級別。根據(jù)策略規(guī)則，將在指定的放置級別中創(chuàng)建和擴展一些文件，并當(dāng)這些文件滿足某些與命名、活動、訪問率以及大小相關(guān)的限定條件時，將它們重定位到其他放置級別。例如，下圖中表示一個 N8500 多卷文件系統(tǒng)，該系統(tǒng)的卷集由兩個分別名為 tier1、tier2 的放置級別組成。這樣的卷集可用于包含重要文件 (tier1)，以及大量非活動的文件 (tier2) 的文件系統(tǒng)。圖 18 N8500多卷文件系統(tǒng)示意圖 文件放置策略根據(jù)文件系統(tǒng)的活動文件放置策略，可將文件動態(tài)放置在文件系統(tǒng)卷集的各個卷之間。文件放置策略由用來管理文件的初始位置和隨后的重定位的各個規(guī)則組成。這些規(guī)則定義了三方面的內(nèi)容，一是文件寫入文件系統(tǒng)時的初始位置，用戶可以自定義文件寫入時放置于哪一個卷集中；二是文件如何從存放熱點數(shù)據(jù)的卷集重定位到存放非活動文件的卷集，N8500系統(tǒng)中，該規(guī)則設(shè)定為指定時間長度內(nèi)，未進(jìn)行訪問的文件則需進(jìn)行重定位；三是文件如何從非活動文件的卷集重定位至存放熱點數(shù)據(jù)的卷集，N8500系統(tǒng)中，該規(guī)則設(shè)定為若文件平均訪問熱度超過指定值，則將這些文件進(jìn)行重定位。策略規(guī)則將初始分配目標(biāo)和重定位目標(biāo)指定為按優(yōu)先順序排列的放置級別的列表。如果空閑空間允許，則在列表中的第一個放置級別中分配文件；如果在第一個放置級別中沒有可用的空閑空間，則在列表中的第二個放置級別中分配文件，依此類推。 執(zhí)行文件放置策略執(zhí)行文件放置策略時將實施文件重定位，可按需手動進(jìn)行重定位操作，也可通過一個時間表策略定期進(jìn)行，此操作與初始分配類似。如果有可用的空間，則將文件重定位到規(guī)則中列出的第一個放置級別中，如果第一個放置級別中沒有可用的空間，則將文件重定位到第二個放置級別中。文件重定位基于一些必要的限制條件，例如：在一段指定的文件是否未被訪問、文件的訪問熱度。若文件放置策略未能執(zhí)行，那么，即使某些文件已經(jīng)滿足重定位的條件，重定位操作也不會實施。只有當(dāng)文件放置策略執(zhí)行時，文件系統(tǒng)才會對這些限制條件的滿足情況進(jìn)行判斷，并且對符合條件的文件實施重定位。 計算文件的訪問熱度動態(tài)分級存儲特性的重要應(yīng)用是將非活動文件從高性能存儲區(qū)自動重定位到低成本存儲區(qū)，或是將熱點文件從低成本存儲區(qū)自動重定位到高性能存儲區(qū)。N8500系統(tǒng)通過平均訪問熱度來判定文件是否為熱點文件。文件的平均訪問熱度是在指定數(shù)量的時間段內(nèi)文件的讀取或?qū)懭胝埱髷?shù)除以時間段數(shù)。與 I/O 熱度不同，訪問熱度與文件大小無關(guān)；一個在 2 天的時間段內(nèi)有 20 次 I/O 請求的大文件與一個在 2 天的時間段內(nèi)被訪問過 20 次的小文件具有相同的平均訪問熱度。 數(shù)據(jù)的自動遷移N8500的DST策略制定中，可基于文件訪問頻率策略，自動將文件從一級存儲遷移至二級存儲，或?qū)⑽募詣訌亩壌鎯剡w至一級存儲，對業(yè)務(wù)主機透明。 卷的可訪問性：分級存儲的重要假定動態(tài)分級存儲特性背后存在一個通常未表述出來的重要假定，即：系統(tǒng)正常工作時并不要求所有存儲設(shè)備總是可訪問的。企業(yè)通過將數(shù)據(jù)存儲在容錯功能較低的設(shè)備上，默認(rèn)表示這些數(shù)據(jù)對企業(yè)運營的重要性不及存儲在容錯能力較高的設(shè)備上的數(shù)據(jù)。極端情況下，如果企業(yè)將數(shù)據(jù)存儲在沒有容錯能力的設(shè)備上，則默認(rèn)表示即使沒有這些數(shù)據(jù)企業(yè)也能夠正常運營，至少在安裝替換存儲設(shè)備并從備份副本中恢復(fù)這些數(shù)據(jù)所需的時間段內(nèi)是這樣的。如果常規(guī)數(shù)據(jù)中心內(nèi)的某個存儲設(shè)備不可用，則無法裝入該存儲設(shè)備上的文件系統(tǒng)，而且使用該文件系統(tǒng)的應(yīng)用程序也無法運行。不過，對于多卷文件系統(tǒng)，要使文件系統(tǒng)正常工作，只需要最關(guān)鍵的數(shù)據(jù)必須是可訪問的；包含非關(guān)鍵數(shù)據(jù)的存儲設(shè)備不必是可訪問的。與任何商業(yè)文件系統(tǒng)類似，VxFS 多卷文件系統(tǒng)必須可以訪問其所有元數(shù)據(jù)才能正常工作。但是 VxFS 文件系統(tǒng)不需訪問任何特殊用戶文件的數(shù)據(jù)就可以裝入和運行。例如，如果由于包含某些文件的數(shù)據(jù)的卷出現(xiàn)故障，導(dǎo)致這些數(shù)據(jù)不可訪問，則需要這些文件的應(yīng)用程序無法運行，但是文件系統(tǒng)可以像往常一樣工作。由此可以得出一個結(jié)論：應(yīng)將多卷文件系統(tǒng)的元數(shù)據(jù)放置在其卷集中容錯能力最好的卷上，而用戶文件的數(shù)據(jù)可以放置在與該文件的商業(yè)價值相稱的卷上。 元數(shù)據(jù)放置VxFS 為文件系統(tǒng)卷集中的每個卷都提供了一個 dataonly 標(biāo)記，從而可以對元數(shù)據(jù)的放置進(jìn)行管理控制。如果已為某個卷設(shè)置 dataonly 標(biāo)記，則 VxFS 僅在其上存儲用戶文件數(shù)據(jù)，而不存儲元數(shù)據(jù)。未設(shè)置 dataonly 標(biāo)記的卷可以存儲元數(shù)據(jù)和用戶數(shù)據(jù)。VxFS 文件系統(tǒng)卷集中的第一個卷必定可以存儲元數(shù)據(jù)（名為 metadataok 的屬性）。默認(rèn)情況下，VxFS 在文件系統(tǒng)創(chuàng)建時或在向卷集中添加卷時，設(shè)置所有其他卷的 dataonly 標(biāo)記。通過將卷指定為 dataonly，管理員可以阻止 VxFS 在該卷上存儲任何文件系統(tǒng)元數(shù)據(jù)。僅應(yīng)使文件系統(tǒng)的容錯功能最好的卷有資格存儲元數(shù)據(jù)。N8500動態(tài)分級存儲特性默認(rèn)將分級存儲文件系統(tǒng)的第一個放置級別定義為高性能存儲區(qū)，該存儲區(qū)所使用的卷默認(rèn)擁有metadataok屬性；而第二個放置級別定義為低成本存儲區(qū)，該存儲區(qū)所使用的卷默認(rèn)設(shè)置dataonly標(biāo)記。因此文件系統(tǒng)元數(shù)據(jù)將全部存放于第一個放置級別中。 可部分訪問的文件系統(tǒng)即使多卷文件系統(tǒng)中的某些甚至全部 dataonly 卷不可訪問，仍可以裝入和訪問VxFS 多卷文件系統(tǒng)。盡管仍可以對不可訪問的卷進(jìn)行純粹的元數(shù)據(jù)操作（如所有權(quán)或權(quán)限更改），但存儲在這些卷上的文件中的數(shù)據(jù)是無法訪問的。不過，其數(shù)據(jù)位于可用卷上的文件是可訪問的，VxFS 可以處理所有文件系統(tǒng)元數(shù)據(jù)。新文件的空間分配操作會因沒有可用于元數(shù)據(jù)的空閑空間而失敗，即使在 dataonly卷上有足夠的可用空間也無濟于事。因此，管理員應(yīng)在 metadataok 卷上分配足夠的空間以滿足預(yù)期需求，并應(yīng)持續(xù)監(jiān)視這些卷上的空閑空間。指定 dataonly 僅在文件系統(tǒng)級別上有意義。它是與文件放置級別完全不同的屬性。由于在進(jìn)行初始分配和重定位決定時，VxFS 會將放置級別中的所有卷視為等同的，因此給定放置級別中的所有卷應(yīng)具有相似的容錯能力和 I/O 性能，并應(yīng)具有相同的dataonly 或 metadataok 屬性。4.3.3 技術(shù)特點文件遷移策略可以定制，數(shù)據(jù)在各級存儲間自動遷移。數(shù)據(jù)遷移過程對用戶和管理員透明，無需人工干預(yù)。由于多卷文件系統(tǒng)的使用，文件遷移完成后，不會在原址保存文件相關(guān)鏈接信息，沒有額外的空間開銷。4.4 遠(yuǎn)程復(fù)制技術(shù)4.4.1 技術(shù)背景N8500集群NAS存儲系統(tǒng)中，遠(yuǎn)程復(fù)制技術(shù)建立在VxFS文件系統(tǒng)基礎(chǔ)上，利用了文件系統(tǒng)的兩項功能，文件改變?nèi)罩荆‵CL）和存儲檢查點（Storage Checkpoint），可基于用戶定制的周期性時間策略在不同的N8500系統(tǒng)間進(jìn)行數(shù)據(jù)復(fù)制。我們通常將復(fù)制的數(shù)據(jù)源稱為源系統(tǒng)，將復(fù)制的目的地稱為目標(biāo)系統(tǒng)。 文件改變?nèi)罩荆‵CL）技術(shù)該技術(shù)能夠跟蹤文件系統(tǒng)中數(shù)據(jù)更改的時間并記錄更改類型，可記錄多種文件系統(tǒng)更改操作，例如文件的創(chuàng)建、附加數(shù)據(jù)，覆蓋數(shù)據(jù)、截短數(shù)據(jù)、擴展屬性修改、打孔、鏈接、取消鏈接、重命名等。遠(yuǎn)程復(fù)制利用這項技術(shù)可迅速識別給定周期時間范圍內(nèi)，哪些文件中發(fā)生了數(shù)據(jù)改變，但該項技術(shù)無法識別被改變的數(shù)據(jù)塊。 存儲檢查點技術(shù)該技術(shù)可在任意時間點快速創(chuàng)建文件系統(tǒng)持久映像。映像生成時只包括指向文件系統(tǒng)的一組指針，當(dāng)文件系統(tǒng)的數(shù)據(jù)發(fā)生變化后，舊數(shù)據(jù)被拷貝到映像中，然后新數(shù)據(jù)才會寫到主文件系統(tǒng)中，即寫入時復(fù)制方式。每一個存儲檢查點映像均可以獨立進(jìn)行讀寫操作，因此，遠(yuǎn)程復(fù)制的整個過程可基于文件系統(tǒng)存儲檢查點提供，這樣即使在復(fù)制過程中，有持續(xù)的寫操作存在，復(fù)制過程也能夠順利進(jìn)行，且用戶業(yè)務(wù)不會受到任何影響。4.4.2 技術(shù)原理N8500遠(yuǎn)程復(fù)制是基于給定周期的異步復(fù)制，對于每一個配置了遠(yuǎn)程復(fù)制服務(wù)的文件系統(tǒng)，會為其保留至少一個文件系統(tǒng)存儲檢查點即時映像，該映像是最近一次執(zhí)行復(fù)制任務(wù)時所創(chuàng)建，可為下一次復(fù)制任務(wù)提供參照。N8500的遠(yuǎn)程復(fù)制可分為三個關(guān)鍵步驟，文件改變識別、增量數(shù)據(jù)生成、增量數(shù)據(jù)同步。文件改變識別過程可在源文件系統(tǒng)中識別當(dāng)前周期內(nèi)被改變的文件；增量數(shù)據(jù)生成過程可獲取文件系統(tǒng)被改變的擴展區(qū)（extent），并生成待同步的增量數(shù)據(jù)；增量數(shù)據(jù)同步過程可將增量數(shù)據(jù)同步到目標(biāo)文件系統(tǒng)。圖 19 N8500遠(yuǎn)程復(fù)制技術(shù)實現(xiàn)步驟在每一個復(fù)制周期時間點到來時，首先會為需要復(fù)制的源文件系統(tǒng)創(chuàng)建一個存儲檢查點即時映像。該周期的復(fù)制操作，將使用這個存儲檢查點映像作為復(fù)制源。另外，每個遠(yuǎn)程復(fù)制的文件系統(tǒng)均會保留上一個復(fù)制周期時間點的存儲檢查點，用于數(shù)據(jù)對比。存儲檢查點創(chuàng)建完成后，N8500遠(yuǎn)程復(fù)制通過文件改變?nèi)罩炯夹g(shù)，迅速識別出在這個周期內(nèi)被改變的文件，生成一個記錄了這些文件的列表。該過程中，系統(tǒng)無需對整個文件系統(tǒng)進(jìn)行掃描，與傳統(tǒng)的文件級遠(yuǎn)程復(fù)制技術(shù)相比，顯著提升了處理性能。隨后，N8500遠(yuǎn)程復(fù)制使用文件系統(tǒng)存儲檢查點的元數(shù)據(jù)對比功能，在當(dāng)前周期的存儲檢查點及上一周期的存儲檢查點間逐一比較這些被改變文件，識別出被改變的擴展區(qū)（extent）并進(jìn)行記錄。整個比對過程均通過元數(shù)據(jù)進(jìn)行，無需訪問文件數(shù)據(jù)，效率極高。另外，由于只需對比被改變的文件，因此，即使整個文件系統(tǒng)中存在海量文件，也無需擔(dān)心數(shù)據(jù)對比過程會耗費較長時間。最后，N8500遠(yuǎn)程復(fù)制將被改變的擴展區(qū)（extent）中的數(shù)據(jù)提取出來，生成待傳輸?shù)臄?shù)據(jù)文件，并利用業(yè)界廣泛應(yīng)用的rsync數(shù)據(jù)同步工具，通過SSH方式，將這些數(shù)據(jù)同步到目標(biāo)系統(tǒng)中，還原到目標(biāo)文件系統(tǒng)中。當(dāng)前周期的復(fù)制過程完成后，源系統(tǒng)中，較老的存儲檢查點將被刪除，而最新創(chuàng)建的存儲檢查點會被保留下來，以便下一個周期復(fù)制時進(jìn)行數(shù)據(jù)對比。值得一提的是，遠(yuǎn)程復(fù)制的目標(biāo)文件系統(tǒng)可隨時對用戶提供只讀業(yè)務(wù)。此時用戶訪問的實際上并不是真實的文件系統(tǒng)，而是目標(biāo)文件系統(tǒng)在上一周期復(fù)制完畢后創(chuàng)建的存儲檢查點即時映像。這樣既保證了用戶能夠隨時訪問到完整可用的文件，也不會因為用戶的訪問而影響到遠(yuǎn)程復(fù)制過程的順利進(jìn)行。圖 20 N8500遠(yuǎn)程復(fù)制技術(shù)實現(xiàn)機制4.4.3 技術(shù)特點 可訪問的復(fù)制數(shù)據(jù)N8500的遠(yuǎn)程復(fù)制技術(shù)，當(dāng)復(fù)制服務(wù)開啟時，允許用戶通過只讀方式訪問目標(biāo)系統(tǒng)中的復(fù)制數(shù)據(jù)。當(dāng)復(fù)制服務(wù)關(guān)閉后或用戶業(yè)務(wù)已經(jīng)切換到目標(biāo)N8500系統(tǒng)，則允許用戶對目標(biāo)文件系統(tǒng)進(jìn)行讀寫訪問。 快速的業(yè)務(wù)恢復(fù)N8500的遠(yuǎn)程復(fù)制中，源系統(tǒng)發(fā)生故障時，系統(tǒng)業(yè)務(wù)可迅速切換到目標(biāo)系統(tǒng)，通過目標(biāo)系統(tǒng)提供業(yè)務(wù)。由于目標(biāo)系統(tǒng)實際上已經(jīng)可以單獨為用戶提供只讀數(shù)據(jù)訪問。因此，可在極短的時間內(nèi)切換到目標(biāo)系統(tǒng)，提供只讀業(yè)務(wù)。若需目標(biāo)系統(tǒng)提供可讀寫業(yè)務(wù)，僅需進(jìn)行少量的設(shè)置即可完成切換。 與集群技術(shù)緊密結(jié)合N8500的遠(yuǎn)程復(fù)制服務(wù)與集群技術(shù)緊密結(jié)合，當(dāng)承載復(fù)制業(yè)務(wù)的節(jié)點發(fā)生故障后，遠(yuǎn)程復(fù)制服務(wù)可自動切