Ceph架構(gòu)剖析

1、云硬盤是IaaS云平臺的重要組成部分，云硬盤給虛擬機(jī)提供了持久的塊存儲設(shè)備。目前的AWS 的EBS(Elastic Block store)給Amazon的EC2實例提供了高可用高可靠的塊級存儲卷，EBS適合于一些需要訪問塊設(shè)備的應(yīng)用，比如數(shù)據(jù)庫、文件系統(tǒng)等。 在OpenStack中，可以使用Ceph、Sheepdog、GlusterFS作為云硬盤的開源解決方案，下面我們來了解Ceph的架構(gòu)。 Ceph是統(tǒng)一存儲系統(tǒng)，支持三種接口。 Object：有原生的API，而且也兼容Swift和S3的API Block：支持精簡配置、快照、克隆 File：Posix接口，支持快照 Ceph也是分布式存儲

2、系統(tǒng)，它的特點是： 高擴(kuò)展性：使用普通x86服務(wù)器，支持101000臺服務(wù)器，支持TB到PB級的擴(kuò)展。 高可靠性：沒有單點故障，多數(shù)據(jù)副本，自動管理，自動修復(fù)。 高性能：數(shù)據(jù)分布均衡，并行化度高。對于objects storage和block storage,不需要元數(shù)據(jù)服務(wù)器。 目前Inktank公司掌控Ceph的開發(fā)，但Ceph是開源的，遵循LGPL協(xié)議。Inktank還積極整合Ceph和其他云計算和大數(shù)據(jù)平臺，目前Ceph支持OpenStack、CloudStack、OpenNebula、Hadoop等。 當(dāng)前Ceph的最新穩(wěn)定版本0.67(Dumpling),它的objects sto

3、rage和block storage已經(jīng)足夠穩(wěn)定，而且Ceph社區(qū)還在繼續(xù)開發(fā)新功能，包括跨機(jī)房部署和容災(zāi)、支持Erasure encoding等。Ceph具有完善的社區(qū)設(shè)施和發(fā)布流程1(每三個月發(fā)布一個穩(wěn)定版本) 。 目前Ceph有很多用戶案列，這是2013.03月Inktank公司在郵件列表中做的調(diào)查，共收到了81份有效反饋2。從調(diào)查中可以看到有26%的用戶在生產(chǎn)環(huán)境中使用Ceph，有37%的用戶在私有云中使用Ceph，還有有16%的用戶在公有云中使用Ceph。 目前Ceph最大的用戶案例是Dreamhost的Object Service，目前總?cè)萘渴?PB，可靠性達(dá)到99.99999%，

4、數(shù)據(jù)存放采用三副本，它的價格比S3還便宜。下圖中，左邊是Inktank的合作伙伴，右邊是Inktank的用戶。 3.1 組件 Ceph的底層是RADOS，它的意思是“A reliable, autonomous, distributed object storage”。 RADOS由兩個組件組成： OSD： Object Storage Device，提供存儲資源。 Monitor：維護(hù)整個Ceph集群的全局狀態(tài)。 RADOS具有很強(qiáng)的擴(kuò)展性和可編程性，Ceph基于RADOS開發(fā)了Object Storage、Block Storage、FileSystem。Ceph另外兩個組件是： MDS：

5、用于保存CephFS的元數(shù)據(jù)。 RADOS Gateway：對外提供REST接口，兼容S3和Swift的API。 3.2 映射 Ceph的命名空間是 (Pool, Object)，每個Object都會映射到一組OSD中(由這組OSD保存這個Object)： (Pool, Object) (Pool, PG) OSD set Disk Ceph中Pools的屬性有： Object的副本數(shù) Placement Groups的數(shù)量 所使用的CRUSH Ruleset 在Ceph中，Object先映射到PG(Placement Group)，再由PG映射到OSD set。每個Pool有多個PG，每個O

6、bject通過計算hash值并取模得到它所對應(yīng)的PG。PG再映射到一組OSD（OSD的個數(shù)由Pool 的副本數(shù)決定），第一個OSD是Primary，剩下的都是Replicas。 數(shù)據(jù)映射(Data Placement)的方式?jīng)Q定了存儲系統(tǒng)的性能和擴(kuò)展性。(Pool, PG) OSD set 的映射由四個因素決定： CRUSH算法：一種偽隨機(jī)算法。 OSD MAP：包含當(dāng)前所有Pool的狀態(tài)和所有OSD的狀態(tài)。 CRUSH MAP：包含當(dāng)前磁盤、服務(wù)器、機(jī)架的層級結(jié)構(gòu)。 CRUSH Rules：數(shù)據(jù)映射的策略。這些策略可以靈活的設(shè)置object存放的區(qū)域。比如可以指定 pool1中所有objec

7、st放置在機(jī)架1上，所有objects的第1個副本放置在機(jī)架1上的服務(wù)器A上，第2個副本分布在機(jī)架1上的服務(wù)器B上。 pool2中所有的object分布在機(jī)架2、3、4上，所有Object的第1個副本分布在機(jī)架2的服務(wù)器上，第2個副本分布在機(jī)架3的服 器上，第3個副本分布在機(jī)架4的服務(wù)器上。 Client從Monitors中得到CRUSH MAP、OSD MAP、CRUSH Ruleset，然后使用CRUSH算法計算出Object所在的OSD set。所以Ceph不需要Name服務(wù)器，Client直接和OSD進(jìn)行通信。偽代碼如下所示：   locator =

8、60;object_name  obj_hash = hash(locator)  pg = obj_hash % num_pg  osds_for_pg = crush(pg)  # returns a list of osds  primary = osds_for_pg0  replicas = osd

9、s_for_pg1:這種數(shù)據(jù)映射的優(yōu)點是： 把Object分成組，這降低了需要追蹤和處理metadata的數(shù)量(在全局的層面上，我們不需要追蹤和處理每個object的metadata和placement，只需要管理PG的metadata就可以了。PG的數(shù)量級遠(yuǎn)遠(yuǎn)低于object的數(shù)量級)。 增加PG的數(shù)量可以均衡每個OSD的負(fù)載，提高并行度。 分隔故障域，提高數(shù)據(jù)的可靠性。 3.3 強(qiáng)一致性 Ceph的讀寫操作采用Primary-Replica模型，Client只向Object所對應(yīng)OSD set的Primary發(fā)起讀寫請求，這保證了數(shù)據(jù)的強(qiáng)一致性。 由于每個Object都只有一個Primar

10、y OSD，因此對Object的更新都是順序的，不存在同步問題。 當(dāng)Primary收到Object的寫請求時，它負(fù)責(zé)把數(shù)據(jù)發(fā)送給其他Replicas，只要這個數(shù)據(jù)被保存在所有的OSD上時，Primary才應(yīng)答Object的寫請求，這保證了副本的一致性。 3.4 容錯性 在分布式系統(tǒng)中，常見的故障有網(wǎng)絡(luò)中斷、掉電、服務(wù)器宕機(jī)、硬盤故障等，Ceph能夠容忍這些故障，并進(jìn)行自動修復(fù)，保證數(shù)據(jù)的可靠性和系統(tǒng)可用性。 Monitors是Ceph管家，維護(hù)著Ceph的全局狀態(tài)。Monitors的功能和zookeeper類似，它們使用Quorum和Paxos算法去建立全局狀態(tài)的共識。 OSDs可以進(jìn)行自動修

11、復(fù)，而且是并行修復(fù)。 故障檢測： OSD之間有心跳檢測，當(dāng)OSD A檢測到OSD B沒有回應(yīng)時，會報告給Monitors說OSD B無法連接，則Monitors給OSD B標(biāo)記為down狀態(tài)，并更新OSD Map。當(dāng)過了M秒之后還是無法連接到OSD B，則Monitors給OSD B標(biāo)記為out狀態(tài)(表明OSD B不能工作），并更新OSD Map。 備注：可以在Ceph中配置M的值。 故障恢復(fù)： 當(dāng)某個PG對應(yīng)的OSD set中有一個OSD被標(biāo)記為down時(假如是Primary被標(biāo)記為down，則某個Replica會成為新的Primary，并處理所有讀寫 object請求)，則該PG處于ac

12、tive+degraded狀態(tài)，也就是當(dāng)前PG有效的副本數(shù)是N-1。 過了M秒之后，假如還是無法連接該OSD，則它被標(biāo)記為out，Ceph會重新計算PG到OSD set的映射(當(dāng)有新的OSD加入到集群時，也會重新計算所有PG到OSD set的映射)，以此保證PG的有效副本數(shù)是N。 新OSD set的Primary先從舊的OSD set中收集PG log，得到一份Authoritative History(完整的、全序的操作序列)，并讓其他Replicas同意這份Authoritative History(也就是其他Replicas對PG的所有objects的狀態(tài)達(dá)成一致)，這個過程叫做Peer

13、ing。 當(dāng)Peering過程完成之后，PG進(jìn) 入active+recoverying狀態(tài)，Primary會遷移和同步那些降級的objects到所有的replicas上，保證這些objects 的副本數(shù)為N。 4.1 高性能 Client和Server直接通信，不需要代理和轉(zhuǎn)發(fā) 多個OSD帶來的高并發(fā)度。objects是分布在所有OSD上。 負(fù)載均衡。每個OSD都有權(quán)重值(現(xiàn)在以容量為權(quán)重)。 client不需要負(fù)責(zé)副本的復(fù)制(由primary負(fù)責(zé)),這降低了client的網(wǎng)絡(luò)消耗。 4.2 高可靠性 數(shù)據(jù)多副本?？膳渲玫膒er-pool副本策略和故障域布局，支持強(qiáng)一致性。 沒有單點故障?？梢?/p>

14、忍受許多種故障場景；防止腦裂；單個組件可以滾動升級并在線替換。 所有故障的檢測和自動恢復(fù)?；謴?fù)不需要人工介入，在恢復(fù)期間，可以保持正常的數(shù)據(jù)訪問。 并行恢復(fù)。并行的恢復(fù)機(jī)制極大的降低了數(shù)據(jù)恢復(fù)時間，提高數(shù)據(jù)的可靠性。 4.2 高擴(kuò)展性 高度并行。沒有單個中心控制組件。所有負(fù)載都能動態(tài)的劃分到各個服務(wù)器上。把更多的功能放到OSD上，讓OSD更智能。 自管理。容易擴(kuò)展、升級、替換。當(dāng)組件發(fā)生故障時，自動進(jìn)行數(shù)據(jù)的重新復(fù)制。當(dāng)組件發(fā)生變化時(添加/刪除)，自動進(jìn)行數(shù)據(jù)的重分布。 使用fio測試RBD的IOPS，使用dd測試RBD的吞吐率，下面是測試的參數(shù)： fio的參數(shù)：bs=4K, ioengin

15、e=libaio, iodepth=32, numjobs=16, direct=1 dd的參數(shù)：bs=512M,oflag=direct 我們的測試服務(wù)器是AWS上最強(qiáng)的實例： 117GB內(nèi)存 雙路 E5-2650,共16核 24 * 2TB 硬盤 服務(wù)器上的操作系統(tǒng)是Ubuntu 13.04，安裝Ceph Cuttlefish 0.61版，副本數(shù)設(shè)置為2，RBD中的塊大小設(shè)置為1M。為了對比，同時還對軟件RAID10進(jìn)行了測試。下面表格中的性能比是Ceph與RAID10性能之間的比較。 5.1 注意 因為使用的是AWS上的虛擬機(jī)，所以它(Xen)掛載的磁盤都是設(shè)置了Cache的。因此下面測

16、試的數(shù)據(jù)并不能真實反應(yīng)物理磁盤的真實性能，僅供與RAID10進(jìn)行對比。 5.2 IOPS 磁盤數(shù) 隨機(jī)寫 隨機(jī)讀 Ceph RAID10 性能比 Ceph RAID10 性能比 24 1075 3772 28% 6045 4679 129% 12 665 1633 40% 2939 4340 67% 6 413 832 49% 909 1445 62% 4 328 559 58% 666 815 81% 2 120 273 43% 319 503 63% 5.3 吞吐率 磁盤數(shù) 順序?qū)?MB/s) 順序讀(MB/s) Ceph RAID10 性能比 Ceph RAID10 性能比 24 299

17、 879 33% 617 1843 33% 12 212 703 30% 445 1126 39% 6 81 308 26% 233 709 32% 4 67 284 23% 170 469 36% 2 34 153 22% 90 240 37% 5.4 結(jié)果分析 從測試結(jié)果中，我們看到在單機(jī)情況下，RBD的性能不如RAID10，這是為什么？我們可以通過三種方法找到原因： 閱讀Ceph源碼，查看I/O路徑 使用blktrace查看I/O操作的執(zhí)行 使用iostat觀察硬盤的讀寫情況 RBD的I/O路徑很長，要經(jīng)過網(wǎng)絡(luò)、文件系統(tǒng)、磁盤： Librbd -> networking ->

18、 OSD -> FileSystem -> Disk Client的每個寫操作在OSD中要經(jīng)過8種線程，寫操作下發(fā)到OSD之后，會產(chǎn)生23個磁盤seek操作： 把寫操作記錄到OSD的Journal文件上(Journal是為了保證寫操作的原子性)。 把寫操作更新到Object對應(yīng)的文件上。 把寫操作記錄到PG Log文件上。 我使用fio向RBD不斷寫入數(shù)據(jù)，然后使用iostat觀察磁盤的讀寫情況。在1分鐘之內(nèi)，fio向RBD寫入了3667 MB的數(shù)據(jù)，24塊硬盤則被寫入了16084 MB的數(shù)據(jù)，被讀取了288 MB的數(shù)據(jù)。 向RBD寫入1MB數(shù)據(jù) = 向硬盤寫入4.39MB數(shù)據(jù) + 讀取0.08MB數(shù)據(jù)