分布式存儲(chǔ)對(duì)象存儲(chǔ)概述-文檔資料

1、1分布式存儲(chǔ)對(duì)象存儲(chǔ)分布式存儲(chǔ)對(duì)象存儲(chǔ)-CEPH-CEPH概述概述2分布式存儲(chǔ)對(duì)象存儲(chǔ)CEPH3分布式存儲(chǔ)系統(tǒng)分布式存儲(chǔ)系統(tǒng)41.1:1.1:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程.DAS.DAS用于操作系統(tǒng)和應(yīng)用程序的本地存儲(chǔ)。缺點(diǎn)： 1對(duì)對(duì)1，單點(diǎn)，單點(diǎn) 數(shù)據(jù)無(wú)法再服務(wù)器之間共享。51.2:1.2:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程.SAN.SAN 多對(duì)多對(duì)1。 數(shù)據(jù)大集中在SAN存儲(chǔ)。缺點(diǎn)： 性能好 橫向擴(kuò)展 性受限。 不能共享。 成本高61.3:1.3:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程.NAS.NAS 實(shí)現(xiàn)不同服務(wù)器之間傳統(tǒng)文件系統(tǒng)數(shù)據(jù)共享數(shù)據(jù)共享。 多對(duì)多對(duì)1。 數(shù)據(jù)集中。缺點(diǎn)： 多臺(tái)服務(wù)器不能同時(shí)訪問(wèn)

2、修改，性能有限 橫向擴(kuò)展 性受限。 成本高71.4: NAS.SAN1.4: NAS.SAN網(wǎng)絡(luò)存儲(chǔ)方網(wǎng)絡(luò)存儲(chǔ)方式式目前主流的存儲(chǔ)方式目前主流的存儲(chǔ)方式81.5:1.5:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程. .分布式存儲(chǔ)分布式存儲(chǔ) 性能優(yōu)越。 擴(kuò)展性很好。 成本低廉。缺點(diǎn)： 平臺(tái)穩(wěn)定性需要考慮。 技術(shù)支持的問(wèn)題。9個(gè)人理解分布式存儲(chǔ)就是多臺(tái)橫向連接的計(jì)算機(jī)同時(shí)運(yùn)行，共同處理完成同一件client的應(yīng)用工作請(qǐng)求任務(wù)?？伸`活的增加，或減少節(jié)點(diǎn)， 性能優(yōu)越。 擴(kuò)展性很好。 成本低廉。1.6:1.6:分布式存儲(chǔ)優(yōu)勢(shì)分布式存儲(chǔ)優(yōu)勢(shì)10對(duì)象存儲(chǔ)Object-Based Storage112.1 對(duì)象存儲(chǔ)技術(shù) 對(duì)

3、象存儲(chǔ)是綜合了NAS和SAN的優(yōu)點(diǎn)，同時(shí)具備了SAN直接高速訪問(wèn)和NAS的數(shù)據(jù)共享等優(yōu)勢(shì)。 提供了具有高性能，高可用性，跨平臺(tái)，以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。122.2 2.2 對(duì)象存儲(chǔ)解釋優(yōu)對(duì)象存儲(chǔ)解釋優(yōu)勢(shì)勢(shì)對(duì)象存儲(chǔ)就是分布式系統(tǒng)，也可理解為依托于分布式存儲(chǔ)架構(gòu)的一個(gè)特性，高級(jí)功能1）傳統(tǒng)的塊存儲(chǔ)讀寫快而不利于共享，塊存儲(chǔ)讀寫快而不利于共享，2 2 ）文件存儲(chǔ)讀寫慢但利于共享文件存儲(chǔ)讀寫慢但利于共享對(duì)象存儲(chǔ)則集成二者優(yōu)點(diǎn)，是一個(gè)利于共享、讀寫快的“云存儲(chǔ)”技術(shù)。作為一種分布式存儲(chǔ)，最重要的一點(diǎn)是能解決對(duì)非結(jié)構(gòu)化數(shù)據(jù)快速增長(zhǎng)帶來(lái)的問(wèn)題。132.3 2.3 對(duì)象存儲(chǔ)結(jié)構(gòu)對(duì)象存儲(chǔ)結(jié)構(gòu)14152

4、.4 2.4 對(duì)象存儲(chǔ)組件對(duì)象存儲(chǔ)組件 對(duì)象(Object)包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理 OSDOSD（Object-based Storage Device)一個(gè)智能設(shè)備，OSD 為存儲(chǔ)對(duì)象數(shù)據(jù)的設(shè)備， 它是一個(gè)智能設(shè)備，包括處理器、RAM 內(nèi)存、網(wǎng)絡(luò)接口、存儲(chǔ)介質(zhì)等以及運(yùn)行在其中的控制軟件 MDS MDS 元數(shù)據(jù)服務(wù)器(Metadata Server)系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù) 162.52.5：傳統(tǒng)存儲(chǔ)數(shù)據(jù)存儲(chǔ)過(guò)：傳統(tǒng)存儲(chǔ)數(shù)據(jù)存儲(chǔ)過(guò)程程傳統(tǒng)文件儲(chǔ)存過(guò)程。172.62.6：對(duì)象存儲(chǔ)數(shù)據(jù)儲(chǔ)存過(guò)：對(duì)象存儲(chǔ)數(shù)據(jù)儲(chǔ)存過(guò)程程對(duì)象文件儲(chǔ)存過(guò)程。182.72.7：Ino

5、des vs Inodes vs Objects Objects 192.8：對(duì)象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢(shì)： 高性能數(shù)據(jù)存儲(chǔ)：訪問(wèn)節(jié)點(diǎn)有獨(dú)立的數(shù)據(jù)通路和元數(shù)據(jù)訪問(wèn)通路，可以對(duì)多個(gè)OSD 進(jìn)行并行訪問(wèn) 跨平臺(tái)數(shù)據(jù)共享：由于在對(duì)象存儲(chǔ)系統(tǒng)上部署基于對(duì)象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺(tái)下的設(shè)備和數(shù)據(jù)的共享。 可伸縮性：對(duì)象存儲(chǔ)模式具有分布式結(jié)構(gòu)的特性。由于OSD 是獨(dú)立的智能設(shè)備，可以通過(guò)增加OSD 數(shù)量，使存儲(chǔ)系統(tǒng)的聚合I/O 帶寬、存儲(chǔ)容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲(chǔ)系統(tǒng)能夠具有良好的可伸縮性。202.9：與傳統(tǒng)存儲(chǔ)的對(duì)比：存儲(chǔ)接口存儲(chǔ)系統(tǒng)優(yōu)點(diǎn)缺點(diǎn)塊級(jí)存儲(chǔ)塊塊

6、存儲(chǔ)設(shè)備S如:AN , 提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率可擴(kuò)展性和可管理性較差、價(jià)格較高、不能滿足成千上萬(wàn)CPU 規(guī)模的系統(tǒng)文件儲(chǔ)存文件塊存儲(chǔ)設(shè)備文件系統(tǒng)如:NAS, 擴(kuò)展性好、易于管理、價(jià)格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應(yīng)用對(duì)象存儲(chǔ)對(duì)象塊存儲(chǔ)設(shè)備文件系統(tǒng)定位邏輯應(yīng)用程序支持高并行性、可伸縮的數(shù)據(jù)訪問(wèn), 管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應(yīng)的硬件、軟件支持有待進(jìn)一步完善21CEPH概述223.1：ceph簡(jiǎn)介企業(yè)級(jí)存儲(chǔ)產(chǎn)品的需求233.2: Ceph可提供：243.3: Ceph架構(gòu)圖底層Rados - Ceph實(shí)現(xiàn)分布式存儲(chǔ)的根本，所有存儲(chǔ)接口都是基于R

7、ados實(shí)現(xiàn)的 - Rados本身就是一個(gè)對(duì)象存儲(chǔ)接口，維護(hù)了一個(gè)集群集群狀態(tài)和實(shí)現(xiàn)了數(shù)據(jù)分發(fā)數(shù)據(jù)分發(fā)的要求25l (2)基礎(chǔ)庫(kù)librados - 對(duì)RADOS進(jìn)行抽象和封裝，并向上層提供API，以便直接基于RADOS（而不是整個(gè)Ceph）進(jìn)行應(yīng)用開發(fā)l (3)高層應(yīng)用接口 - 這一層包括了三個(gè)部分：RADOS GW（RADOS Gateway）、 RBD（Reliable Block Device）和Ceph FS（Ceph File System），其作用是在librados庫(kù)的基礎(chǔ)上提供抽象層次更高的上層接口，分別對(duì)應(yīng) 對(duì)象存儲(chǔ)、塊存對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)儲(chǔ)和文件存儲(chǔ)。l（4）應(yīng)用

8、層這一層就是不同場(chǎng)景下對(duì)于Ceph各個(gè)應(yīng)用接口的各種應(yīng)用方式，例如基于librados直接開發(fā)的對(duì)象存儲(chǔ)應(yīng)用，基于RADOS GW開發(fā)的對(duì)象存儲(chǔ)應(yīng)用，基于RBD實(shí)現(xiàn)的云硬盤等等。263.4: 傳統(tǒng) VS ceph傳統(tǒng)：Ceph:27 - Monitor: 維護(hù)集群的成員和狀態(tài)(cluster map) ，提供強(qiáng)一致性的決策 - MDS metdata數(shù)據(jù)服務(wù)器 - OSD: 每一個(gè)disk、SSD或者RAID group或者其他一個(gè)物理存儲(chǔ)設(shè)備都成為一個(gè)OSD，主要負(fù)責(zé)存儲(chǔ)和查找對(duì)象，并且負(fù)責(zé)向該對(duì)象的復(fù)制節(jié)點(diǎn)分發(fā)和恢復(fù)。3.5: Rados組件283.6：Ceph 使用場(chǎng)景舉例-Rados

9、GWlRadosGW位于Librados之上，它主要提供RESTful接口并且兼容S3、Swfit的接口。293.7：S3 使用案例303.8：性能檢測(cè)rootcephclient # rados bench -p cephfs_data 10 write -no-cleanupMaintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objectsObject prefix: benchmark_data_cephclient_8322 sec

10、Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 8 16 247 231 115.464 108 0.357958 0.53742 9 16 274 258 114.633 108 0.449163 0.539057 10 16 301 285 113.968 108 0.551572 0.543629Total time run: 10.595630Total writes made: 302Write size: 4194304Object size: 4194304Bandwidth (MB/sec): 114.009Stddev Bandwidth: 41.2795Max bandwidth (MB/sec): 228313.9：ceph 優(yōu)勢(shì)： Ceph是一種為優(yōu)秀的性能、可靠性和可擴(kuò)展性而設(shè)計(jì)的統(tǒng)一的、分布式的