大數(shù)據(jù)存儲技術(shù)培訓(xùn)

1、修訂(xidng)記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEHC1209202N8500OceanStor 9000V100R002V00R001V2.0開發(fā)/優(yōu)化者審核人開發(fā)類型（新開發(fā)/優(yōu)化）2013-09-20/新開發(fā)本頁不打印(d yn)第一頁，共九十頁。HC1209202 第二章 大數(shù)據(jù)(shj)存儲技術(shù)第二頁，共九十頁。目標(mbio)學(xué)完本課程后，您將能夠:描述大數(shù)據(jù)存儲架構(gòu)理解大數(shù)據(jù)存儲技術(shù)了解大數(shù)據(jù)分析技術(shù)(jsh)了解數(shù)據(jù)安全技術(shù)理解集群NAS技術(shù)理解文件系統(tǒng)分級存儲理解文件系統(tǒng)快照、鏡像、復(fù)制第三頁，共九十頁。目錄(ml)大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)(j

2、sh)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第四頁，共九十頁。大數(shù)據(jù)(shj)存儲架構(gòu) Scale-out File system數(shù)據(jù)生命周期管理/跨域調(diào)度管理 Scale-out DB 傳統(tǒng)存儲業(yè)務(wù)海量數(shù)據(jù)業(yè)務(wù) 主存儲域 NOFSServers: General X86 open architecture NOFS NOFS NOFS NOFS NOFS NOFS NOFS10GE iWARP/Infiniband XDBCSQLMap-Reduce InterfacePOSIXJOB 備份域HDFS HDFS large-capacity nodehigh-OPS n

3、odeHDFShigh-bandwidth node業(yè)務(wù)層接口層存儲層NFS/CIFSS3ISCSIBIBig data analyticsBackupBig data shareNAS第五頁，共九十頁。應(yīng)用層HPC 客戶端客戶端在線(zi xin)系統(tǒng)近線系統(tǒng)(xtng) FC/10GE/InfinibandFC/10GE/InfinibandScale-out NASScale-out DBScale-out Backup磁盤上下電掃描文件數(shù)據(jù)保護策略單盤下電節(jié)能數(shù)據(jù)定期巡檢文件生命周期策略Distributed FSScale-out架構(gòu)(ji u)第六頁，共九十頁。目錄(ml)大數(shù)據(jù)(

4、shj)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第七頁，共九十頁。傳統(tǒng)存儲(cn ch)與對象存儲(cn ch)第八頁，共九十頁。大數(shù)據(jù)(shj)存儲技術(shù)分布式對象資源池第九頁，共九十頁。大數(shù)據(jù)(shj)存儲技術(shù)-Erasure code數(shù)據(jù)寫入時被切割成M個數(shù)據(jù)塊經(jīng)過糾錯編碼(bin m)生成N個冗余校驗塊,共M+N份數(shù)據(jù)系統(tǒng)將多個數(shù)據(jù)塊并行的存儲于不同的節(jié)點中當存儲節(jié)點損壞時，數(shù)據(jù)讀寫正常，剩余數(shù)據(jù)塊及冗余塊后臺參與并將數(shù)據(jù)恢復(fù)m2m4m1m3m3m2n2n1m4m1n2m4第十頁，共九十頁。對象存儲(cn ch)數(shù)據(jù)寫流程第十一頁，

5、共九十頁。9、 人的價值，在招收誘惑的一瞬間被決定。2022/9/12022/9/1Thursday, September 1, 202210、低頭要有勇氣，抬頭要有低氣。2022/9/12022/9/12022/9/19/1/2022 10:27:06 PM11、人總是珍惜為得到。2022/9/12022/9/12022/9/1Sep-2201-Sep-2212、人亂于心，不寬余請。2022/9/12022/9/12022/9/1Thursday, September 1, 202213、生氣是拿別人做錯的事來懲罰自己。2022/9/12022/9/12022/9/12022/9/19/1/

6、202214、抱最大的希望，作最大的努力。01 九月 20222022/9/12022/9/12022/9/115、一個(y )人炫耀什么，說明他內(nèi)心缺少什么。九月 222022/9/12022/9/12022/9/19/1/202216、業(yè)余生活要有意義，不要越軌。2022/9/12022/9/101 September 202217、一個人即使已登上頂峰，也仍要自強不息。2022/9/12022/9/12022/9/12022/9/1第十二頁，共九十頁。對象存儲數(shù)據(jù)(shj)讀取流程第十三頁，共九十頁。數(shù)據(jù)(shj)塊損壞時的數(shù)據(jù)(shj)讀取和恢復(fù)第十四頁，共九十頁。元數(shù)據(jù)(shj)冗余

7、DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDisk元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝文件元數(shù)據(jù)節(jié)點1節(jié)點2節(jié)點3節(jié)點4節(jié)點5第十五頁，共九十頁。EC快速(kui s)數(shù)據(jù)恢復(fù)系統(tǒng)中每個硬盤都屬于多個(du )NLUN硬盤故障時,會選出4個目標盤出來進行恢復(fù)每個目標盤的恢復(fù)是獨立的，目標盤之間的恢復(fù)可以并發(fā)節(jié)點(ji din)1節(jié)點2節(jié)點3節(jié)點4節(jié)點5節(jié)點6硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n第十六頁，共

8、九十頁。單一文件系統(tǒng)&統(tǒng)一文件系統(tǒng)命名(mng mng)空間應(yīng)用服務(wù)器WushanFS第十七頁，共九十頁。熱數(shù)據(jù)(shj)冷數(shù)據(jù)(shj)普通(ptng)數(shù)據(jù)Tier 2Tier 3Tier 1SSD分級存儲技術(shù)分級存儲滿足用戶既需要高性能訪問也需要大容量存儲的雙重需求。允許用戶自行規(guī)劃自己的業(yè)務(wù)，對自己的業(yè)務(wù)進行分級，把某些重要的業(yè)務(wù)放在性能較高的節(jié)點上。 第十八頁，共九十頁。熱數(shù)據(jù)(shj)冷數(shù)據(jù)(shj)普通(ptng)數(shù)據(jù)Tier 2Tier 3Tier 1SSD分級存儲技術(shù)分級存儲滿足用戶既需要高性能訪問也需要大容量存儲的雙重需求。允許用戶自行規(guī)劃自己的業(yè)務(wù)，對自己的業(yè)務(wù)進行分級，把

9、某些重要的業(yè)務(wù)放在性能較高的節(jié)點上。 第十九頁，共九十頁。智能(zh nn)負載均衡在所有節(jié)點間自動進行負載均衡(jnhng)自動平衡容量和性能IP的故障切換(failover)和故障恢復(fù)(failback)無需人工干預(yù)，無需更改配置對應(yīng)用透明nodenodenodenodeOceanStor9000WiseLinkWiseLinkWiseLinkWiseLinkWushanFS01234第二十頁，共九十頁。智能負載(fzi)均衡負載均衡實現(xiàn)過程：訪問系統(tǒng)一級/二級域名,如：OceanStor 9000對域名進行解析(ji x)，根據(jù)負載策略，返回IP地址業(yè)務(wù)請求nodenodenodenod

10、enodenodeZone 1：基于(jy)CPU使用情況二級域名：Zone 2：基于網(wǎng)絡(luò)連接數(shù)二級域名：WushanFSNFS Client第二十一頁，共九十頁。智能(zh nn)負載均衡負載均衡(jnhng)實現(xiàn)過程：訪問系統(tǒng)一級/二級域名,如：OceanStor 9000對域名進行解析，根據(jù)負載策略，返回IP地址業(yè)務(wù)請求nodenodenodenodenodenodeZone 1：基于CPU使用(shyng)情況二級域名：Zone 2：基于網(wǎng)絡(luò)連接數(shù)二級域名：WushanFSNFS Client第二十二頁，共九十頁。高效(o xio)全局緩存（一）storageCPUMemorystor

11、ageCPUMemorystorageCPUMemory全局緩存ABC應(yīng)用服務(wù)器nodeAnodeBnodeCWushanFS第二十三頁，共九十頁。高效(o xio)全局緩存（二）利用分布式鎖，實現(xiàn)(shxin)全局緩存同一數(shù)據(jù)塊在緩存只緩存一份任意節(jié)點緩存中的數(shù)據(jù)都能被其他節(jié)點訪問時命中Node ANode BNode CstorageCPUMemorystorageCPUMemorystorageCPUMemory應(yīng)用服務(wù)器WushanFS服務(wù)器向Node C申請(shnqng)鎖LOCK返回鎖在Node A已經(jīng)申請從Node A緩存中讀取數(shù)據(jù)第二十四頁，共九十頁。按需擴展(kuzhn)節(jié)

12、點(ji din)線性擴展60秒之內(nèi)完成(wn chng)單節(jié)點擴容無需人為干預(yù)，無需任何改動應(yīng)用服務(wù)器第二十五頁，共九十頁。InfiniBand技術(shù)(jsh)InfiniBandInfiniBand技術(shù)不是用于一般網(wǎng)絡(luò)連接的，它的主要設(shè)計目的針對服務(wù)器端的連接問題。InfiniBand技術(shù)被應(yīng)用(yngyng)于服務(wù)器與服務(wù)器（比如復(fù)制、分布式工作等）、服務(wù)器和存儲設(shè)備（比如SAN和直接存儲附件）以及服務(wù)器和網(wǎng)絡(luò)之間（比如LAN、 WANs和the Internet）的通信。InfiniBand的用途針對服務(wù)器端的連接，提供高速、低時延、RDMA方式的訪問InfiniBand的特點高帶寬低時

13、延系統(tǒng)擴展性好第二十六頁，共九十頁。InfiniBand體系(tx)架構(gòu)InfiniBand標準定義(dngy)了一套用于系統(tǒng)通信的多種設(shè)備，包括信道適配器、交換機和路由器。第二十七頁，共九十頁。InfiniBand的幀結(jié)構(gòu)(jigu)InfiniBand的幀結(jié)構(gòu)(jigu)第二十八頁，共九十頁。InfiniBand的特點(tdin)高速度Infiniband第一代DDR技術(shù)，所支持的吞吐量為5、20或60Gbps，延遲低于1.3us。第二代QDR技術(shù)，帶寬最高可達120Gbps，延遲低于100ns 遠程直接內(nèi)存存取功能該功能對于集群來說很適合，因為它可以通過一個虛擬的尋址方案，讓服務(wù)器知道和

14、使用其他服務(wù)器的部分內(nèi)存，無需涉及操作系統(tǒng)的內(nèi)核。傳輸卸載遠程直接內(nèi)存存取能夠(nnggu)幫助傳輸卸載，后者把數(shù)據(jù)包路由從OS轉(zhuǎn)到芯片級，節(jié)省了處理器的處理負擔第二十九頁，共九十頁。InfiniBand的協(xié)議(xiy)棧第三十頁，共九十頁。10GE以太網(wǎng)定義10GE 以太網(wǎng)（10 Gigabit Ethernet，縮寫為10GE，10GbE，10 GigE或10GE），即萬兆以太網(wǎng)。一種以太網(wǎng)的傳輸標準，2021年通過，成為IEEE Std 802.3ae-2021。它規(guī)范了以10 Gbit/s 的速度來傳輸?shù)囊蕴W(wǎng)，它的速度是GE的十倍。特點：10 Gigabit以太網(wǎng)，以全雙工方式連接到

15、網(wǎng)絡(luò)交換器，它不支持(zhch)半雙工模式與CSMA/CD。10GE提供了高帶寬低時延的訪問，適合比較 媒資類、高算類、OLAP等。第三十一頁，共九十頁。目錄(ml)大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)(jsh)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第三十二頁，共九十頁。數(shù)據(jù)庫技術(shù)(jsh)的演變隨著數(shù)據(jù)量的飛速增長，特別是非結(jié)構(gòu)化數(shù)據(jù)，傳統(tǒng)關(guān)系(gun x)型數(shù)據(jù)庫的可擴展性出現(xiàn)瓶頸，因此出現(xiàn)各種場景優(yōu)化的數(shù)據(jù)存放方式OldSQL（事務(wù)）New SQL/MoreSQL（分析）NoSQL（互聯(lián)網(wǎng)）第三十三頁，共九十頁。NoSQL與NewSQL第三十四頁，共九十頁。數(shù)

16、據(jù)庫CAP原理(yunl)第三十五頁，共九十頁。NoSQL結(jié)構(gòu)(jigu)第三十六頁，共九十頁。NoSQL與關(guān)系(gun x)型的數(shù)據(jù)庫對比優(yōu)勢方面： 易擴展：靈活的數(shù)據(jù)模型高可用：快速讀寫，大數(shù)據(jù)量，高性能低廉的成本不足： 不提供對SQL的支持支持的特性不夠豐富NoSQL未形成(xngchng)一定標準第三十七頁，共九十頁。NoSQL與關(guān)系(gun x)型的數(shù)據(jù)庫對比優(yōu)勢方面(fngmin)： 易擴展：靈活的數(shù)據(jù)模型高可用：快速讀寫，大數(shù)據(jù)量，高性能低廉的成本不足： 不提供對SQL的支持支持的特性不夠豐富NoSQL未形成一定標準第三十八頁，共九十頁。NoSQL分類(fn li)類型部分代表特

17、點列存儲Hbase/Cassandra/Hypertable顧名思義，是按列存儲數(shù)據(jù)的。最大的特點是方便存儲結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對針對某一列或者某幾列的查詢有非常大的IO優(yōu)勢。文檔存儲MongoDB/CouchDB文檔存儲一般用類似json的格式存儲，存儲的內(nèi)容是文檔型的。這樣也就有有機會對某些字段建立索引，實現(xiàn)關(guān)系數(shù)據(jù)庫的某些功能。key-value存儲Tokyo Cabinet Tyrant/Berkeley DB/MemcacheDB/Redis可以通過key快速查詢到其value。一般來說，存儲不管value的格式，照單全收。（Redis包含了其他功能）圖存儲Neo4

18、J/FlockDB/InfoGrid圖形關(guān)系的最佳存儲。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫來解決的話性能低下，而且設(shè)計使用不方便。對象存儲Db4o/Versant通過類似面向?qū)ο笳Z言的語法操作數(shù)據(jù)庫，通過對象的方式存取數(shù)據(jù)。xml數(shù)據(jù)庫Berkeley DB XML/BaseX高效的存儲XML數(shù)據(jù)，并支持XML的內(nèi)部查詢語法，比如XQuery,Xpath。第三十九頁，共九十頁。NoSQL應(yīng)用(yngyng)舉例Google的BigTableBigTable提出了一種很有趣的數(shù)據(jù)模型，它將各列數(shù)據(jù)進行排序存儲。數(shù)據(jù)值按范圍分布在多臺機器，數(shù)據(jù)更新操作有嚴格(yng)的一致性保證。Amazon的DynamoDyn

19、amo使用的是另外一種分布式模型。Dynamo的模型更簡單，它將數(shù)據(jù)按key進行hash存儲。其數(shù)據(jù)分片模型有比較強的容災(zāi)性，因此它實現(xiàn)的是相對松散的弱一致性：最終一致性。第四十頁，共九十頁。NewSQLNewSQL 是對各種新的可擴展/高性能數(shù)據(jù)庫的簡稱。NewSQL數(shù)據(jù)庫具有NoSQL對海量(hiling)數(shù)據(jù)的存儲管理能力。NewSQL數(shù)據(jù)庫保持了傳統(tǒng)數(shù)據(jù)庫支持ACID和SQL等特性。第四十一頁，共九十頁。MPP DB-結(jié)構(gòu)化數(shù)據(jù)分析MPP DB關(guān)鍵技術(shù)：分布式并行計算、存儲在線系統(tǒng)擴容 訪問性能線性擴展加載能力線性擴展高級負載管理 數(shù)據(jù)分區(qū)均衡存儲透明壓縮支持開放硬件平臺CPUCPUC

20、PUCPU內(nèi)存內(nèi)存內(nèi)存內(nèi)存擴展方式(fngsh)：增加服務(wù)器節(jié)點理論上擴展無限制，上千節(jié)點互連隨著節(jié)點數(shù)量增加，性能線性提升MPP DB Share-nothing架構(gòu)(ji u)例如：HUAWEI OceanStor 9000， EMC Greenplum， DB2 DPF Scale Out 模式(msh)網(wǎng)絡(luò)第四十二頁，共九十頁。目錄(ml)大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)(jch)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第四十三頁，共九十頁。存儲系統(tǒng)的數(shù)據(jù)(shj)安全性完整性保密性可用性數(shù)據(jù)加密WORMRAID用戶管理系統(tǒng)加固日志審計補丁管理網(wǎng)絡(luò)管理(A

21、CL)數(shù)據(jù)銷毀遠程復(fù)制備份恢復(fù)防病毒第四十四頁，共九十頁。對象存儲(cn ch)加密物理級：磁道校驗 CRC分片級：分片校驗 SHA256對象級：對象校驗 MD5應(yīng)用級：報文校驗 CRC端到端一致性校驗第四十五頁，共九十頁。目錄(ml)大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)(jch)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第四十六頁，共九十頁。什么(shn me)是NAS？NAS特征：擁有(yngyu)可訪問的磁盤陣列擁有文件系統(tǒng)對外提供訪問文件系統(tǒng)的接口LUN0LUN1LUN2LUN3LUN6LUN7LUN8LUN9LUN4LUN10LUN5LUN11卷管理(gunl

22、)模塊卷管理模塊文件系統(tǒng)Network Attached Storage網(wǎng)絡(luò)文件系統(tǒng)協(xié)議以太網(wǎng)接口以太網(wǎng)接口第四十七頁，共九十頁。NAS結(jié)構(gòu)(jigu)NAS硬件操作系統(tǒng)存儲管理（磁盤監(jiān)視，異常處理，RAID）文件系統(tǒng)網(wǎng)絡(luò)文件共享（NFS,CIFS）GUI界面設(shè)備監(jiān)視與控制；設(shè)備配置：網(wǎng)絡(luò)、卷、文件存取權(quán)限等）可通過Web進行管理第四十八頁，共九十頁。網(wǎng)絡(luò)(wnglu)模塊TCP/IP微內(nèi)核操作系統(tǒng)控制器微碼RAID軟件NAS文件系統(tǒng)CIFS或NFS協(xié)議(xiy)NTFS或FAT32文件系統(tǒng)，Windows計算機UFS文件系統(tǒng)，UNIX工作站UFS文件系統(tǒng)，UNIX工作站NTFS或FAT32文

23、件系統(tǒng)，Windows計算機NTFS或FAT32文件系統(tǒng)，Windows計算機CIFS或NFS協(xié)議(xiy)CIFS或NFS協(xié)議NAS設(shè)備第四十九頁，共九十頁。CIFS是什么(shn me) 定義CIFS (Common Internet File System)，通用Internet文件系統(tǒng) ，一個新提出的協(xié)議，它使程序可以訪問遠程(yunchng)Internet計算機上的文件并要求此計算機的服務(wù)。 CIFS是公共的或開放的SMB協(xié)議版本，包含主要模塊有：NBTSMBBrowsing第五十頁，共九十頁。NBT、SMB、BrowsingNBT (NetBIOS over TCP/IP) TC

24、P/IP 上的NetBIOSSMB (The Server Messages Block Protocol) 服務(wù)器消息塊協(xié)議(xiy)Browsing (The Browse Service) 瀏覽服務(wù)SMBNETBIOSTCP/UDPIP第五十一頁，共九十頁。NBTHullRingoClementsTCP/IP網(wǎng)絡(luò)(wnglu)MickLaidlawWhere is Ringo ?NBT（NetBIOS over TCP/IP）TCP/IP上的NetBIOSThis is Ringo 第五十二頁，共九十頁。SMBSMB 是用于文件與打印機共享的協(xié)議同時也叫 CIFS (Common Int

25、ernet File System)基于客戶端/服務(wù)器模式并不等同于Samba: 一種SMB協(xié)議在unix系統(tǒng)上的開源實現(xiàn)(shxin)SMB 通常運行在 NetBIOS (naming + sessions + datagram)協(xié)議之上NetBIOS + SMB 適用于LAN環(huán)境第五十三頁，共九十頁。BrowsingBrowsing（The Browse Service ）瀏覽器服務(wù)的主要功能是：提供客戶機域中共享資源的計算機的列表(li bio)，以及廣域網(wǎng) (WAN) 上其他域名和工作組名稱的列表。此列表提供給用“網(wǎng)上鄰居”或 NET VIEW 命令查看網(wǎng)絡(luò)資源的客戶端。第五十四頁，共

26、九十頁。CIFS 消息(xio xi)流User RequestUser ModeKernel ModeI/O ManagerRedirectorTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISNetworkTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISServer第五十五頁，共九十頁。NFS (Network File System )定義NFS（網(wǎng)絡(luò)文件系統(tǒng)）是Unix/linux系統(tǒng)間實現(xiàn)磁盤文件共享的一種方法，支持應(yīng)用程序在客戶端通過(tnggu)網(wǎng)絡(luò)存取位于服務(wù)器磁盤中數(shù)據(jù)的一種文件系統(tǒng)協(xié)議。工作原理使用客戶端

27、/服務(wù)器架構(gòu)，由一個客戶端程序和服務(wù)器程序組成。主要模塊RPC、鑒權(quán)、傳輸 第五十六頁，共九十頁。NFS消息(xio xi)流Syetem Call interfaceNFS ClientRPC/XDRVFS InterfaceOther types of filesystemLinux & Unix filesystemNFSClientNetworkRPC/XDRNFSServerVFS InterfaceLinux & Unix filesystem第五十七頁，共九十頁。RPC是什么(shn me)？第五十八頁，共九十頁。傳輸方式 使用UDP協(xié)議UDP傳輸在NFS局域網(wǎng)的應(yīng)用中傳輸速度快

28、UDP協(xié)議傳輸?shù)拈_銷小使用TCP協(xié)議可靠性高，有效的阻塞控制客戶端和服務(wù)器端都保留TCP連接的狀態(tài)服務(wù)器崩潰時，客戶端只需要打開一個新的TCP連接客戶端崩潰時，服務(wù)器端在新的TCP連接到來時，關(guān)閉(gunb)原來的TCP連接第五十九頁，共九十頁。應(yīng)用環(huán)境對比、網(wǎng)絡(luò)(wnglu)特性對比特性(txng)NFSCIFS傳輸(chun sh)協(xié)議 連接狀態(tài) 故障恢復(fù) 傳輸包大小TCP/UDP 無狀態(tài)自動恢復(fù) 8K/32KTCP有狀態(tài)64K文件格式 UNIX類型 WIN類型無 第六十頁，共九十頁。目錄(ml)大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)(jch)技術(shù)集群NAS技術(shù)集

29、群NAS卷管理技術(shù)第六十一頁，共九十頁。集群技術(shù)(jsh)定義：集群是由一組相互獨立的服務(wù)器組成，對外表現(xiàn)(bioxin)為單一服務(wù)器，提供高可靠性服務(wù)。特點：統(tǒng)一命名高可靠性性能擴展共享數(shù)據(jù)空間集群系統(tǒng)(xtng)業(yè)務(wù)網(wǎng)絡(luò)增加組件第六十二頁，共九十頁。集群NAS存儲系統(tǒng)概念(ginin)與特點集群NAS（Network Attached Storage）系統(tǒng)概念：集群NAS存儲系統(tǒng)是指將集群技術(shù)(jsh)應(yīng)用到NAS存儲系統(tǒng)中，是為應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用暴漲，提升NAS文件共享服務(wù)的性能和高可靠性。集群NAS存儲系統(tǒng)與傳統(tǒng)NAS存儲系統(tǒng)的對比：傳統(tǒng)NAS存儲系統(tǒng)集群NAS存儲系統(tǒng)可靠性單控模式

30、：單點故障；雙控模式：故障切換導(dǎo)致業(yè)務(wù)中斷，鏈路切換時間長。故障切換快速；雙控模式采用Active-Active模式，集群單個節(jié)點故障不影響業(yè)務(wù)。高性能多套設(shè)備提高性能將會帶來數(shù)據(jù)冗余，數(shù)據(jù)不一致等問題。引擎架構(gòu)可擴展；共享存儲設(shè)備；文件系統(tǒng)位于存儲側(cè)，讀取速度快?？蓴U展性固定引擎架構(gòu)；頻繁更新及添加導(dǎo)致的系統(tǒng)停機開始影響業(yè)務(wù)在多層面提供擴展優(yōu)勢：NAS機頭，存儲容量；支持在線擴展第六十三頁，共九十頁。集群NAS數(shù)據(jù)通道互聯(lián)第六十四頁，共九十頁。VCS通信(tng xn)架構(gòu)代理監(jiān)控各個系統(tǒng)的資源，并將狀態(tài)提供給每臺機器的HADHAD將狀態(tài)發(fā)送給GAB（Group Membership Ser

31、vices/Atomic Broadcast）Gab 通過廣播，將配置信息發(fā)送到集群的所有成員LLT（Low-Latency Transport）通過低時延傳送協(xié)議，將信息發(fā)送的集群的所有節(jié)點在各個節(jié)點的HAD采取正確的行動，比如必要(byo)時，進行倒換（Failover）第六十五頁，共九十頁。LLT協(xié)議(xiy)LLT：Low Latency Transport屬于MAC層協(xié)議，與IP無關(guān)兩個作用:供GAB使用（單播報文）心跳(0.5秒一個廣播報文)N8000中有三條(sn tio)私有鏈路SystemASystemBLLTLLTHardwareKernelPrivate Network第

32、六十六頁，共九十頁。GAB原子廣播，實際上是點到點的單播使用LLT協(xié)議(xiy)發(fā)送數(shù)據(jù)管理集群成員：gabconfig -a第六十七頁，共九十頁。fencingFencing 功能監(jiān)控GAB，并檢測集群成員的變化保證集群成員的單一視圖，防止(fngzh)集群腦裂防止從多個節(jié)點，在沒有單一集群控制下，用卷管理器訪問共享存儲第六十八頁，共九十頁。HADVCS的引擎，就是HAD（High availability daemon），其功能為：在集群的每個主機系統(tǒng)上都有該進程(jnchng)運行對所有的集群資源，維護配置和狀態(tài)信息管理所有的代理用hashadow監(jiān)控進程HAD，在HAD進程故障時，能夠

33、把它重新啟動起來第六十九頁，共九十頁。全局(qunj)存儲空間管理技術(shù)第七十頁，共九十頁。集群元數(shù)據(jù)管理第七十一頁，共九十頁。集群元數(shù)據(jù)管理第七十二頁，共九十頁。集群全局(qunj)鎖機制第七十三頁，共九十頁。AgentAgent是控制資源的程序每種類型(lixng)的資源對應(yīng)一個代理，一個代理控制對應(yīng)類型(lixng)的所有資源用戶也可以自定義代理Diskc1t0d1s0c1t0d0s0IPNICqfe1hme0Mount/dataAgentsResources第七十四頁，共九十頁。服務(wù)組-NFS為例服務(wù)組是資源的一個集合，是控制資源的管理單元一個節(jié)點（node）可以有多個服務(wù)組每個服務(wù)組都

34、被獨立的監(jiān)控(jin kn)和管理服務(wù)組中的資源在系統(tǒng)中必須是可用的服務(wù)組和資源存在相互依賴關(guān)系NFS Service GroupNFSIPDiskMountShareNIC第七十五頁，共九十頁。服務(wù)組的類型(lixng)Failover Service Groups在某一時間，該service group只能運行在一個系統(tǒng)上（system），在對數(shù)據(jù)一致性要求高（比如數(shù)據(jù)庫，網(wǎng)絡(luò)文件系統(tǒng)（NFS）的情況下，使用(shyng)該組。Parallel Service Groups在某一時間，可以部署在多個系統(tǒng)上 配置比Failover Service Groups復(fù)雜很多Hybrid Servi

35、ce Groups是上面兩種service groups的組合在N8000中只使用了Failover和Parallel兩種第七十六頁，共九十頁。資源(zyun)（Resource）定義資源是VCS對象，它對應(yīng)(duyng)到應(yīng)用服務(wù)的硬件或者軟件組件資源是放在服務(wù)組里面的定義和管理的。第七十七頁，共九十頁。資源依賴(yli)關(guān)系資源可以依賴其他資源父資源依賴子資源服務(wù)組可以依賴其他服務(wù)組資源和服務(wù)組之間的依賴關(guān)系由規(guī)則(guz)管理不允許出現(xiàn)循環(huán)依賴第七十八頁，共九十頁。目錄(ml)大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)(jsh)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)

36、第七十九頁，共九十頁。VxVM基本概念物理對象：能被OS看到的物理存儲設(shè)備虛擬(xn)對象：VxVM進行存儲設(shè)備管理的邏輯對象。VxVM通過虛擬對象和物理設(shè)備的映射來訪問存儲設(shè)備虛擬對象有：卷，磁盤組，VM磁盤，子磁盤，Plex卷布局: 卷的布局是指卷與物理存儲設(shè)備的映射關(guān)系，即卷與一個或多個Plex 的關(guān)聯(lián)關(guān)系。不同的卷布局提供不同級別的存儲服務(wù) VM磁盤一個物理磁盤，分區(qū)或者LUN磁盤組若干個VM磁盤的組合子磁盤VM磁盤上連續(xù)的磁盤塊 Plex由一個或多個物理磁盤上的一個或者多個子磁盤組成卷由一個或多個Plex組成 第八十頁，共九十頁。VxVM虛擬(xn)對象之間的關(guān)系第八十一頁，共九十頁

37、。VxVM虛擬(xn)對象之間的關(guān)系第八十二頁，共九十頁。卷布局(bj) 條帶化（RAID-0）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksdatadgdatavoldatadg02datadg02-01datadg02-02datadg02-03datadg03-01datadg03-02datadg03-03SU = Stripe Unit64K (default)datavol-01SU1SU4SU7SU2SU5SU8SU3SU6SU9StripesSU10SU11SU12Columnsdatadg01-01datadg01-02datad

38、g01-03datadg01datadg03第八十三頁，共九十頁。卷布局(bj) 鏡像（RAID-1）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksEach plex must have disk stor from different disks to achieve redundancy.datadg01datadg01-01datadg01-02datadg02datadg02-01datadg02-02datadg02-03datadg03datadg03-01datadg03-02datadg03-03datavoldatadgdatavol-01datavol-02datadg03-01datadg02-02datadg01-02第八十四頁，共九十頁。卷布局(bj) 鏡像（RAID-1）Disk G