Ceph介紹2 名師獲獎(jiǎng)

Ceph介紹2Ceph的現(xiàn)狀Ceph的目標(biāo)是提供一個(gè)general-purpose的并行文件系統(tǒng)，設(shè)計(jì)目標(biāo)是也是在廉價(jià)的存儲(chǔ)介質(zhì)上構(gòu)建具有highperformance，highscalibility,highavailable，其目標(biāo)是應(yīng)用在科學(xué)計(jì)算等HPC領(lǐng)域。目前其已經(jīng)被納入處于linux內(nèi)核之中，用c++開發(fā)。但是，無論從架構(gòu)和其工程實(shí)現(xiàn)來看，都很不成熟，難以在productionenvironment中使用，其更接近于一個(gè)原型系統(tǒng)的升級(jí)版。3特點(diǎn)Ceph最大的特點(diǎn)是分布式的元數(shù)據(jù)服務(wù)器通過CRUSH，一種擬算法來分配文件的locaiton，其核心是RADOS（resilientautomaticdistributedobjectstorage)，一個(gè)對(duì)象集群存儲(chǔ)，本身提供對(duì)象的高可用，錯(cuò)誤檢測(cè)和修復(fù)功能。4特點(diǎn)-CRUSH算法第一，數(shù)據(jù)的定位是通過CRUSH算法來實(shí)現(xiàn)的。傳統(tǒng)的，或者通常的并行文件系統(tǒng)，數(shù)據(jù)的定位的信息是保存在文件的metadata中的，也就是inode結(jié)構(gòu)中，通過到metadataserver上去獲取數(shù)據(jù)分布的信息。而在Ceph中，是通過CRUSH這個(gè)算法來提供數(shù)據(jù)定位的。這和GlusterFS的思想是相同的，GlusterFS是通過ElasticHash，類似于DHT的算法實(shí)現(xiàn)的。這就有點(diǎn)像P2P存儲(chǔ)，所謂的完全對(duì)稱的存儲(chǔ)，這種設(shè)計(jì)架構(gòu)最大的優(yōu)點(diǎn)是，其理論上可以做到線性擴(kuò)展的能力（linescale）。在GlusterFS架構(gòu)中，是完全去掉了metadataserver，這就導(dǎo)致GlusterFS文件系統(tǒng)上的元數(shù)據(jù)操作，例如ls，stat操作非常慢，要去各個(gè)stripe的節(jié)點(diǎn)上收集相關(guān)的元數(shù)據(jù)信息后聚合后的結(jié)果。在Ceph中，為了消除完全的p2p設(shè)計(jì)，提供了metadataserver服務(wù)，提供文件級(jí)別的元數(shù)據(jù)服務(wù)，而元數(shù)據(jù)服務(wù)中的文件數(shù)據(jù)定位由CRUSH算法代替。5特點(diǎn)-元數(shù)據(jù)服務(wù)器第二，元數(shù)據(jù)服務(wù)器可以提供集群metadataserver服務(wù)。只要當(dāng)我們了解了其結(jié)構(gòu)后，感覺并沒有太大的特點(diǎn)。元數(shù)據(jù)服務(wù)器一般就用來存儲(chǔ)文件和目錄的信息，提供統(tǒng)一的命名服務(wù)。在Ceph中，元數(shù)據(jù)的存儲(chǔ)inode和dentry的，以及日志都是在對(duì)象存儲(chǔ)集群RADOS中存儲(chǔ)，這就使得metadata的持久化都是在遠(yuǎn)程的RADOS中完成，metadataserver不保存狀態(tài)，只是緩存最近的inode和dentry項(xiàng)，當(dāng)metadataserver失效后，其所所有信息都可以從RADOS中獲取，可以比較容易恢復(fù)。其實(shí)，也上兩點(diǎn)，并沒有什么特別的地方。我覺得，CEPH最核心的，就是RADOS就是RADOS（resilientautomaticdistributedobjectstorage).其resilient指的是可以輕松擴(kuò)展，automatic指的是其對(duì)象存儲(chǔ)集群可以處理failover，failurerecovery。RADOS對(duì)象集群其對(duì)外提供了一個(gè)高可用的，可擴(kuò)展的，對(duì)象集群，從客戶端的角度看，就是一個(gè)統(tǒng)一命名空間的對(duì)象存儲(chǔ)。6Ceph的核心系統(tǒng)Ceph的Monitor用來監(jiān)控集群中所有節(jié)點(diǎn)的狀態(tài)信息，完成類似配置服務(wù)的功能。在Ceph里，配置主要就是clustermap，其保存集群所有節(jié)點(diǎn)信息，并和所有的節(jié)點(diǎn)保持心跳，來監(jiān)控所有的節(jié)點(diǎn)狀態(tài)。其通過Paxos算法實(shí)現(xiàn)實(shí)現(xiàn)自身的高可用，也就是說，這個(gè)CephMonitor是不會(huì)有單點(diǎn)問題的。目前流行的zookeeper的功能，以及實(shí)現(xiàn)都類似。對(duì)象存儲(chǔ)Ceph文件系統(tǒng)中的數(shù)據(jù)和元數(shù)據(jù)都保存在對(duì)象中。對(duì)于對(duì)象存儲(chǔ)，通常的定義是：一個(gè)Object，由三部分組成（id，metadata，data），id是對(duì)象的標(biāo)識(shí)，這個(gè)不必多說。所謂的metadata，就是key/value的鍵值存儲(chǔ)，至于用來保存什么信息，由文件系統(tǒng)的語義定義。data就是實(shí)際存儲(chǔ)的數(shù)據(jù)。Ceph的對(duì)象，包括四個(gè)部分（id，metadata，attribute，data），在Ceph里，一個(gè)Object，實(shí)際就對(duì)應(yīng)本地文件系統(tǒng)的一個(gè)文件，一個(gè)對(duì)象的attribute，也是key/value的鍵值對(duì)，其保存在本地文件系統(tǒng)的文件的擴(kuò)展屬性中。對(duì)象的metadata就是key/value的鍵值對(duì)，目前Ceph保存在google開源的一個(gè)key/value存儲(chǔ)系統(tǒng)leveldb中，或者自己寫的一個(gè)key/value存儲(chǔ)系統(tǒng)中。數(shù)據(jù)就保存在對(duì)象的文件中。對(duì)于一個(gè)對(duì)象的更新，都需要寫日志中來保持一個(gè)Object數(shù)據(jù)的一致性（consistence），日志有一個(gè)單獨(dú)的設(shè)備或者文件來保存。7Ceph的核心系統(tǒng)副本存儲(chǔ)一個(gè)PG（placementgroup）由一個(gè)OSD列表組成，OSD的個(gè)數(shù)，就是對(duì)象的副本數(shù)，一個(gè)三副本的PG就是一個(gè)主，兩個(gè)副本的OSD列表組成。一個(gè)PG和OSD列表的映射關(guān)系，是通過CRUSH算法計(jì)算的，知道PG的id，和當(dāng)前的clustermap，就可以通過CRUSH算法，計(jì)算出OSD列表。特別強(qiáng)調(diào)的是，一個(gè)PG是邏輯層概念，也就是說，一個(gè)OSD，可能同時(shí)是一個(gè)或者多個(gè)PG的主，同時(shí)是另一個(gè)PG的從。一個(gè)OSD處于多個(gè)PG組中。一個(gè)PG就是復(fù)制和修復(fù)的基本單位。每個(gè)OSD本地保存其所在的PG列表就可以了，其它OSD可以通過輸入當(dāng)前的該OSD保存的clustermap和PG的id，通過CRUSH計(jì)算得出。Ceph的容錯(cuò)處理對(duì)于Ceph文件系統(tǒng)，錯(cuò)誤分兩類：一類是磁盤錯(cuò)誤或者數(shù)據(jù)損壞（diskerrororcorruptteddata），這類錯(cuò)誤OSD會(huì)自己報(bào)告和處理。（selfreport）；第二類是OSD失去網(wǎng)絡(luò)連接導(dǎo)致該OSD不可達(dá)（unreachableonthenetwork）這種情況下需要主動(dòng)檢測(cè)（activemonitor），在同一個(gè)PG組中的其它OSD會(huì)發(fā)心跳信息互相檢測(cè)。這種檢測(cè)的一個(gè)優(yōu)化的方法就是，當(dāng)replication復(fù)制操作時(shí)，就可以順帶檢測(cè)，不用發(fā)單獨(dú)的消息來檢測(cè)，只有一段時(shí)間沒有replication操作時(shí)，才發(fā)ping消息里檢測(cè)。OSD的失效狀態(tài)有兩種：一種是down狀態(tài)，這種狀態(tài)下，被認(rèn)為是臨時(shí)錯(cuò)誤。在這種情況下，如果是primay，其任務(wù)由下一個(gè)replicate接手。如果該OSD沒有迅速恢復(fù)（quicklyrecovery），那么就被標(biāo)記為out狀態(tài)，在這種狀態(tài)下，將有新的osd加入這個(gè)PG中。如何標(biāo)記一個(gè)OSD從down狀態(tài)標(biāo)記為out狀態(tài)？由于網(wǎng)絡(luò)分區(qū)的問題，需要通過CephMonitor來裁定。8Ceph的核心系統(tǒng)Ceph的寫流程客戶端先寫主副本，然后同步到兩個(gè)從副本。主副本等待從副本的ack消息和apply消息。當(dāng)主副本收到ack消息，說明寫操作已經(jīng)寫在內(nèi)存中完成，收到apply消息，說明已經(jīng)apply到磁盤上了。如果在寫的過程中，主副本失效，按順序下一個(gè)從副本接管主副本的工作，這個(gè)時(shí)候是否返回給客戶端寫正確？在這種情況下，客戶端只是判斷正常工作的（acting）的OSD的返回結(jié)果，只要所有正常工作的OSD返回即認(rèn)為成功，雖然這時(shí)候可能只有兩副本成功。同時(shí)該臨時(shí)primay必須保存所有操作的recovey隊(duì)列里，如果原primay恢復(fù)，可以replay所有recovery隊(duì)列里的操作，如果主副本從down到out狀態(tài)，也即是永久失效，臨時(shí)primay轉(zhuǎn)正，由臨時(shí)primay為正式primay，只是需要加入一個(gè)新的OSD到該P(yáng)G中。如果是從副本失效，就比較簡(jiǎn)單。臨時(shí)失效，主replay所有寫操作，如過永久失效，新加入一個(gè)OSD到PG中就可以了?；謴?fù)當(dāng)有OSD失效，恢復(fù)或者增加一個(gè)新的OSD時(shí)，導(dǎo)致OSDclustermap的變換。Ceph處理以上三種情況的策略是一致的。為了恢復(fù)，ceph保存了兩類數(shù)據(jù)，一個(gè)是每個(gè)OSD的一個(gè)version，另一個(gè)是PG修改的log，這個(gè)log包括PG修改的object的名稱和version。當(dāng)一個(gè)OSD接收到clustermap的更新時(shí)：1）檢查該OSD的所屬的PG，對(duì)每個(gè)PG，通過CRUSH算法，計(jì)算出主副本的三個(gè)OSD2）如何該P(yáng)G里的OSD發(fā)生了改變，這時(shí)候，所有的replicate向主副本發(fā)送log，也就是每個(gè)對(duì)象最后的vers