分布式存儲(chǔ)對(duì)象存儲(chǔ)概述課件

分布式存儲(chǔ)對(duì)象存儲(chǔ)--CEPH概述1精選課件?分布式存儲(chǔ)?對(duì)象存儲(chǔ)?

CEPH2精選課件3精選課件分布式存儲(chǔ)系統(tǒng)1.1:分布式存儲(chǔ)歷程.DAS用于操作系統(tǒng)和應(yīng)用程序的本地存儲(chǔ)。缺點(diǎn)：1對(duì)1，單點(diǎn)數(shù)據(jù)無法再服務(wù)器之間共享。4精選課件1.2:分布式存儲(chǔ)歷程.SAN多對(duì)1。數(shù)據(jù)大集中在SAN存儲(chǔ)。缺點(diǎn)：性能好橫向擴(kuò)展性受限。不能共享。成本高5精選課件1.3:分布式存儲(chǔ)歷程.NAS6精選課件實(shí)現(xiàn)不同服務(wù)器之間傳統(tǒng)文件系統(tǒng)數(shù)據(jù)共享。多對(duì)1。數(shù)據(jù)集中。缺點(diǎn)：多臺(tái)服務(wù)器不能同時(shí)訪問修改，性能有限橫向擴(kuò)展性受限。成本高1.4:

NAS.SAN網(wǎng)絡(luò)存儲(chǔ)方式目前主流的存儲(chǔ)方式7精選課件1.5:分布式存儲(chǔ)歷程.分布式存儲(chǔ)性能優(yōu)越。擴(kuò)展性很好。成本低廉。缺點(diǎn)：平臺(tái)穩(wěn)定性需要考慮。技術(shù)支持的問題。8精選課件9精選課件個(gè)人理解分布式存儲(chǔ)就是多臺(tái)橫向連接的計(jì)算機(jī)同時(shí)運(yùn)行，共同處理完成同一件client的應(yīng)用工作請(qǐng)求任務(wù)。可靈活的增加，或減少節(jié)點(diǎn)，性能優(yōu)越。擴(kuò)展性很好。成本低廉。1.6:分布式存儲(chǔ)優(yōu)勢10精選課件對(duì)象存儲(chǔ)Object-Based

Storage2.1

對(duì)象存儲(chǔ)技術(shù)對(duì)象存儲(chǔ)是綜合了NAS和SAN的優(yōu)點(diǎn)，同時(shí)具備了

SAN直接高速訪問和NAS的數(shù)據(jù)共享等優(yōu)勢。提供了具有高性能，高可用性，跨平臺(tái)，以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。11精選課件12精選課件2.2

對(duì)象存儲(chǔ)解釋優(yōu)勢對(duì)象存儲(chǔ)就是分布式系統(tǒng)，也可理解為依托于分布式存儲(chǔ)架構(gòu)的一個(gè)特性，高級(jí)功能1）傳統(tǒng)的塊存儲(chǔ)讀寫快而不利于共享，2 ）文件存儲(chǔ)讀寫慢但利于共享對(duì)象存儲(chǔ)則集成二者優(yōu)點(diǎn)，是一個(gè)利于共享、讀寫快的“云存儲(chǔ)”技術(shù)。作為一種分布式存儲(chǔ)，最重要的一點(diǎn)是能解決對(duì)非結(jié)構(gòu)化數(shù)據(jù)快速增長帶來的問題。2.3

對(duì)象存儲(chǔ)結(jié)構(gòu)13精選課件14精選課件15精選課件2.4

對(duì)象存儲(chǔ)組件對(duì)象(Object)包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理OSD（Object-based

Storage

Device)一個(gè)智能設(shè)備，OSD為存儲(chǔ)對(duì)象數(shù)據(jù)的設(shè)備，它是一個(gè)智能設(shè)備，包括處理器、RAM內(nèi)存、網(wǎng)絡(luò)接口、存儲(chǔ)介質(zhì)等以及運(yùn)行在其中的控制軟件MDS

元數(shù)據(jù)服務(wù)器(Metadata

Server)系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù)2.5：傳統(tǒng)存儲(chǔ)數(shù)據(jù)存儲(chǔ)過程傳統(tǒng)文件儲(chǔ)存過程。16精選課件2.6：對(duì)象存儲(chǔ)數(shù)據(jù)儲(chǔ)存過程17精選課件對(duì)象文件儲(chǔ)存過程。2.7：Inodes

vs

Objects18精選課件2.8：對(duì)象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢：高性能數(shù)據(jù)存儲(chǔ)：訪問節(jié)點(diǎn)有獨(dú)立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對(duì)多個(gè)OSD進(jìn)行并行訪問跨平臺(tái)數(shù)據(jù)共享：由于在對(duì)象存儲(chǔ)系統(tǒng)上部署基于對(duì)象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺(tái)下的設(shè)備和數(shù)據(jù)的共享。可伸縮性：對(duì)象存儲(chǔ)模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨(dú)立的智能設(shè)備，可以通過增加OSD數(shù)量，使存儲(chǔ)系統(tǒng)的聚合I/O帶寬、存儲(chǔ)容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲(chǔ)系統(tǒng)能精選課件

1920精選課件2.9：與傳統(tǒng)存儲(chǔ)的對(duì)比：存儲(chǔ)接口存儲(chǔ)系統(tǒng)優(yōu)點(diǎn)缺點(diǎn)塊級(jí)存儲(chǔ)塊塊存儲(chǔ)設(shè)備S如:AN,提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率可擴(kuò)展性和可管理性較差、價(jià)格較高、不能滿足成千上萬CPU規(guī)模的系統(tǒng)文件儲(chǔ)存文件塊存儲(chǔ)設(shè)備＋文件系統(tǒng)如:NAS,擴(kuò)展性好、易于管理、價(jià)格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應(yīng)用對(duì)象存儲(chǔ)對(duì)象塊存儲(chǔ)設(shè)備＋文件系統(tǒng)＋定位邏輯＋應(yīng)用程序支持高并行性、可伸縮的數(shù)據(jù)訪問,管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應(yīng)的硬件、軟件支持有待進(jìn)一步完善21精選課件CEPH概述3.1：ceph簡介企業(yè)級(jí)存儲(chǔ)產(chǎn)品的需求22精選課件3.2:Ceph可提供：23精選課件3.3:Ceph架構(gòu)圖底層Rados--Ceph實(shí)現(xiàn)分布式存儲(chǔ)的根本，所有存儲(chǔ)接口都是基于

Rados實(shí)現(xiàn)的--Rados本身就是一個(gè)對(duì)象存儲(chǔ)接口，維護(hù)了一個(gè)集群狀態(tài)和實(shí)現(xiàn)了數(shù)據(jù)分發(fā)的要求24精選課件(2)基礎(chǔ)庫librados--對(duì)RADOS進(jìn)行抽象和封裝，并向上層提供API，以便直接基于RADOS（而不是整個(gè)Ceph）進(jìn)行應(yīng)用開發(fā)(3)高層應(yīng)用接口--這一層包括了三個(gè)部分：RADOS

GW（RADOSGateway）、RBD（Reliable

BlockDevice）和Ceph

FS（Ceph

File

System），其作用是在librados庫的基礎(chǔ)上提供抽象層次更高的上層接口，分別對(duì)應(yīng)對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)。（4）應(yīng)用層這一層就是不同場景下對(duì)于Ceph各個(gè)應(yīng)用接口的

各種應(yīng)用方式，例如基于

librados直接開發(fā)的對(duì)象

存儲(chǔ)應(yīng)用，基于RADOSGW開發(fā)的對(duì)象存儲(chǔ)應(yīng)用，基于RBD實(shí)現(xiàn)的云硬盤等等。25精選課件3.4:傳統(tǒng)VS

ceph傳統(tǒng)：Ceph:26精選課件3.5:Rados組件--Monitor:維護(hù)集群的成員和狀態(tài)(clustermap)，提供強(qiáng)一致性的決策--MDS

metdata數(shù)據(jù)服務(wù)器--OSD:每一個(gè)disk、SSD或者RAID

group或者其他一個(gè)物理存儲(chǔ)設(shè)備都成為一個(gè)OSD，主要精選課件負(fù)責(zé)存儲(chǔ)和查找對(duì)象，27并且負(fù)責(zé)向該對(duì)象的復(fù)3.6：Ceph

使用場景舉例---Rados

GWRadosGW位于Librados之上，它主要提供

RESTful接口并且兼容S3、Swfit的接口。28精選課件3.7：S3

使用案例29精選課件3.8：性能檢測[root@cephclient

~]#

rados

bench

-p

cephfs_data

10write

-no-cleanupMaintaining

16

concurrent

writes

of

4194304

bytestoobjects

of

size

4194304

for

up

to

10

seconds

or

0

objectsObject

prefix:

benchmark_data_cephclient_8322sec

Cur

ops

started

finished avg

MB/s cur

MB/s

lastlat(s) avg

lat(s)8

16

247

231

115.464

108

0.3579580.537429

16

274

258

114.633

108

0.4491630.53905710

16

301

285

113.968

108

0.5515720.543629

精選課件3031精選課件3.9：ceph

優(yōu)勢：Ceph是一種為優(yōu)秀的性能、可靠性和可擴(kuò)展性而設(shè)計(jì)的統(tǒng)一的、分布式的存儲(chǔ)系統(tǒng)。“統(tǒng)一的”意味著Ceph可以同時(shí)提供對(duì)象存儲(chǔ)、