《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目三-任務(wù)三 淺析云存儲(chǔ)關(guān)鍵技術(shù)

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)三淺談云存儲(chǔ)關(guān)鍵技術(shù)存儲(chǔ)空間管理？數(shù)據(jù)存儲(chǔ)技術(shù)？數(shù)據(jù)備份的分類？如何進(jìn)行數(shù)據(jù)一致性處理？回顧任務(wù)描述:本節(jié)任務(wù)對(duì)云存儲(chǔ)的關(guān)鍵技術(shù)：存儲(chǔ)虛擬化、分布式擴(kuò)展模式進(jìn)行了剖析。任務(wù)教學(xué)目標(biāo)：掌握云存儲(chǔ)關(guān)鍵技術(shù)任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長(zhǎng)，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢(shì)，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容存儲(chǔ)虛擬化分布式擴(kuò)展模式一二存儲(chǔ)虛擬化知識(shí)點(diǎn)一（一）存儲(chǔ)虛擬化將存儲(chǔ)資源集中到一個(gè)大容量的資源池并實(shí)行單點(diǎn)統(tǒng)一管理，無(wú)需中斷應(yīng)用即可改變存儲(chǔ)系統(tǒng)和數(shù)據(jù)遷移，提高整個(gè)系統(tǒng)的動(dòng)態(tài)適應(yīng)能力。

（一）存儲(chǔ)虛擬化010203存儲(chǔ)虛擬化04多租戶模型虛擬化感知能力存儲(chǔ)虛擬化實(shí)施全局訪問(wèn)空間（二）全局訪問(wèn)空間全局訪問(wèn)空間是指將磁盤(pán)和內(nèi)存資源聚集成一個(gè)單一的虛擬存儲(chǔ)池進(jìn)行管理，計(jì)算節(jié)點(diǎn)可以隨意地訪問(wèn)到云存儲(chǔ)設(shè)備空間的任意地方，這種訪問(wèn)釆用同樣的訪問(wèn)路徑或者方式。（三）多租戶模型多租戶架構(gòu)中，每個(gè)租戶、子租戶和用戶都可以施加獨(dú)立的策略，不同層級(jí)的策略略有不同，針對(duì)不同用途的租戶、子租戶和用戶，可以分別釆用最優(yōu)的策略，以提升服務(wù)質(zhì)量和運(yùn)營(yíng)效率。（四）虛擬化感知能力單數(shù)據(jù)中心面向數(shù)據(jù)塊的云存儲(chǔ)主要服務(wù)于虛擬機(jī)的環(huán)境，運(yùn)行于計(jì)算節(jié)點(diǎn)之上的虛擬機(jī)會(huì)根據(jù)負(fù)載、故障和節(jié)能等種種情況下在不同的物理機(jī)之間進(jìn)行飄動(dòng)。支持這種飄動(dòng)的實(shí)現(xiàn)需要共享的存儲(chǔ)來(lái)得到相應(yīng)的效率。多數(shù)據(jù)中心虛擬化感知能力發(fā)生在跨數(shù)據(jù)中心或跨獨(dú)立的兩個(gè)或多個(gè)云存儲(chǔ)設(shè)備之間。這種數(shù)據(jù)流動(dòng)的能力是通過(guò)數(shù)據(jù)中心間的聯(lián)邦（指數(shù)據(jù)中心通過(guò)自治和合作，以耦合的方式集成在一起，共同向外提供統(tǒng)一服務(wù)的實(shí)現(xiàn)）機(jī)制來(lái)實(shí)現(xiàn)的。（五）存儲(chǔ)虛擬化實(shí)施（五）存儲(chǔ)虛擬化實(shí)施主要用途：異構(gòu)存儲(chǔ)系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理。實(shí)現(xiàn)方式：通過(guò)在存儲(chǔ)域網(wǎng)（SAN)中添加虛擬化引擎實(shí)現(xiàn)。優(yōu)點(diǎn)：與主機(jī)無(wú)關(guān)，不占用主機(jī)資源。能夠支持異構(gòu)主機(jī)、異構(gòu)存儲(chǔ)設(shè)備。使不同存儲(chǔ)設(shè)備的數(shù)據(jù)管理功能統(tǒng)一構(gòu)建統(tǒng)一管理平臺(tái)，可擴(kuò)展性好。缺點(diǎn)：部分廠商數(shù)據(jù)管理功能弱，難以達(dá)到虛擬化統(tǒng)一數(shù)據(jù)管理的目的。部分廠商產(chǎn)品成熟度較低，仍然存在和不同存儲(chǔ)和主機(jī)的兼容性問(wèn)題。（六）基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化技術(shù)主要用途：在同一存儲(chǔ)設(shè)備內(nèi)部，進(jìn)行數(shù)據(jù)遷移實(shí)現(xiàn)方式：在存儲(chǔ)控制器上添加虛擬化功能，常見(jiàn)于中高端存儲(chǔ)設(shè)備。優(yōu)點(diǎn)：與主機(jī)無(wú)關(guān)，不占用主機(jī)資源。數(shù)據(jù)管理功能豐富。缺點(diǎn)：一般只能實(shí)現(xiàn)對(duì)本設(shè)備內(nèi)磁盤(pán)的虛擬化。不同廠商間的數(shù)據(jù)管理功能不能互操作。多套存儲(chǔ)設(shè)備需要配置多套數(shù)據(jù)管理軟件，成本較高。（七）基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化技術(shù)主要用途：使服務(wù)器的存儲(chǔ)空間可以跨越多個(gè)異構(gòu)的磁盤(pán)陣列，常用于在不同磁盤(pán)陣列之間做數(shù)據(jù)鏡像保護(hù)。實(shí)現(xiàn)方式：一般由操作系統(tǒng)下的邏輯卷管理軟件完成（安裝客戶端軟件），不同操作系統(tǒng)的邏輯卷管理軟件也不相同。優(yōu)點(diǎn)：支持異構(gòu)的存儲(chǔ)系統(tǒng)。不占用磁盤(pán)控制器資源。缺點(diǎn)：占用主機(jī)資源，降低應(yīng)用性能。存在操作系統(tǒng)和應(yīng)用的兼容性問(wèn)題。主機(jī)數(shù)量越多，實(shí)施/管理成本越高。分布式擴(kuò)展模式知識(shí)點(diǎn)二（一）Scale-Up和Scale-Out擴(kuò)展（二）分布式擴(kuò)展模式關(guān)鍵技術(shù)高速網(wǎng)絡(luò)連接技術(shù)關(guān)鍵技術(shù)分布式文件系統(tǒng)（三）高速網(wǎng)絡(luò)連接技術(shù)以太網(wǎng)（三）高速網(wǎng)絡(luò)連接技術(shù)InfiniBand架構(gòu)（三）高速網(wǎng)絡(luò)連接技術(shù)基于RapidIO的互聯(lián)架構(gòu)RapidIO是由Motorola和Mercury等公司率先倡導(dǎo)的一種高性能、低引腳數(shù)、基于數(shù)據(jù)包交換的互連體系結(jié)構(gòu)，是為滿足和未來(lái)高性能嵌入式系統(tǒng)需求而設(shè)計(jì)的一種開(kāi)放式互連技術(shù)標(biāo)準(zhǔn)。（四）RapidIO特性RapidIO①可靠性⑥支持“任意拓?fù)漕愋汀雹菝總€(gè)處理器都有自己的內(nèi)存子系統(tǒng)選擇的推送架構(gòu)④面向大量數(shù)據(jù)傳輸?shù)母咝阅苄畔鬟f③100ns交換機(jī)直通式延遲②微秒級(jí)以下的端到端數(shù)據(jù)包發(fā)送（五）分布式文件系統(tǒng)根據(jù)計(jì)算環(huán)境和所提供功能的不同，文件系統(tǒng)可劃分為4個(gè)層次：BDAC單處理器單用戶的本地文件系統(tǒng)多處理器多用戶的本地文件系統(tǒng)多處理器單用戶的本地文件系統(tǒng)多處理器多用戶的分布式文件系統(tǒng)分布式文件系統(tǒng)（DistributedFileSystem，DFS）是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)（五）分布式文件系統(tǒng)（六）存儲(chǔ)空間管理器帶內(nèi)模式帶外模式（七）分布式文件系統(tǒng)的發(fā)展NFS和AFSXFSSAN、NASSAN和NAS兩種體系結(jié)構(gòu)相結(jié)合1980s1990s2000s1995—2000大致分為三個(gè)階段：（八）經(jīng)典分布式文件系統(tǒng)介紹1.NFS允許網(wǎng)站中的計(jì)算機(jī)之間通過(guò)TCP/IP網(wǎng)絡(luò)共享資源C/S結(jié)構(gòu)基于RPC協(xié)議實(shí)現(xiàn)（八）經(jīng)典分布式文件系統(tǒng)介紹2.AFS主要用于管理分布在網(wǎng)絡(luò)不同節(jié)點(diǎn)上的文件。與普通文件系統(tǒng)相比，AFS的主要特點(diǎn)在于3個(gè)方面：分布式、跨平臺(tái)、高安全性。（八）經(jīng)典分布式文件系統(tǒng)介紹3.TigerShark/GPFS被設(shè)計(jì)用于支持大規(guī)模實(shí)時(shí)交互式多媒體應(yīng)用，如交互電視（InteractiveTelevision，ITV）。GPFS通過(guò)共享磁盤(pán)結(jié)構(gòu)來(lái)實(shí)現(xiàn)它的強(qiáng)大的擴(kuò)展性。（八）經(jīng)典分布式文件系統(tǒng)介紹支持長(zhǎng)時(shí)間的文件實(shí)時(shí)訪問(wèn)大磁盤(pán)塊寫(xiě)分塊數(shù)據(jù)復(fù)制數(shù)據(jù)一致性數(shù)據(jù)安全性系統(tǒng)可擴(kuò)展性3.HadoopHDFS（八）經(jīng)典分布式文件系統(tǒng)介紹Hadoop是一個(gè)基于Java的支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用的分布式文件系統(tǒng)。不僅僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而是設(shè)計(jì)用來(lái)在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。3.Hadoop

（八）經(jīng)典分布式文件系統(tǒng)介紹Lustre文件系統(tǒng)是一個(gè)高度模塊化的系統(tǒng)，主要由3部分組成：客戶端（Client）對(duì)象存儲(chǔ)服務(wù)器（ObjectStorageTarget，OST）元數(shù)據(jù)服務(wù)器（MetaDataServer，MDS）。4.Lustre（八）經(jīng)典分布式文件系統(tǒng)介紹是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)海量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用。運(yùn)行于廉價(jià)的普通硬件上，但提供了容錯(cuò)復(fù)制功能，可以給大量的用戶提供總體性能較高的可靠服務(wù)。5.GoogleFS（八）經(jīng)典分布式文件系統(tǒng)介紹OpenStack是一個(gè)項(xiàng)目和一個(gè)開(kāi)源軟件。它提供了一個(gè)部署云的操作平臺(tái)或工具集。宗旨在于，幫助組織運(yùn)行為虛擬計(jì)算或存儲(chǔ)服務(wù)的云，為公有云、私有云，也為大云、小云提供可擴(kuò)展的、靈活的云計(jì)算。6.OpenStackSwift任務(wù)小結(jié)1、在云存儲(chǔ)關(guān)鍵技術(shù)中，主要有兩方面內(nèi)容：存儲(chǔ)虛擬化和分布式擴(kuò)展方式。2、存儲(chǔ)虛擬化中主要包括全局訪問(wèn)空間、多租戶模型、虛擬化感知能力、存儲(chǔ)虛擬化實(shí)施技術(shù)。拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開(kāi)源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過(guò)減少技術(shù)債務(wù)來(lái)維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開(kāi)源項(xiàng)目之一，開(kāi)發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開(kāi)發(fā)中，來(lái)自125個(gè)組織