何雨：統(tǒng)一存儲(chǔ)Ceph之RADOS簡(jiǎn)介

CephRADOS簡(jiǎn)介(Reliable,AutonomicDistributedObjectStore)京東虛擬化總監(jiān)何雨heyu@2021/6/271架構(gòu)簡(jiǎn)介兩個(gè)部分組成:由數(shù)目可變的大規(guī)模OSDs（ObjectStorageDevices）組成的集群，負(fù)責(zé)存儲(chǔ)所有的Objects數(shù)據(jù)由少量Monitors組成的強(qiáng)耦合、小規(guī)模集群，負(fù)責(zé)管理ClusterMap，其中ClusterMap是整個(gè)RADOS系統(tǒng)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，管理集群中的所有成員、關(guān)系、屬性等信息以及數(shù)據(jù)的分發(fā)。2021/6/2722021/6/273ClusterMap管理cluster的核心數(shù)據(jù)結(jié)構(gòu)指定了OSDs和數(shù)據(jù)分布信息monitor上存有最新副本依靠epoch增加來(lái)維護(hù)及時(shí)更新增量信息2021/6/274ClusterMap1.TheMonitorMapclusterfsid,theposition,nameaddressandportofeachmonitor2.TheOSDMapclusterfsid，alistofpools,replicasizes,PGnumbers,alistofOSDsandtheirstatus3.ThePGMap：PGversion,itstimestamp,thelastOSDmapepoch,thefullratios,anddetailsoneachplacementgroupsuchasthePGID,theUpSet,theActingSet,thestateofthePG(e.g.,active+clean),anddatausagestatisticsforeachpool.4.TheCRUSHMapalistofstoragedevices,thefailuredomainhierarchy(e.g.,device,host,rack,row,room,etc.),andrulesfortraversingthehierarchywhenstoringdata5.TheMDSMapMDSmapepoch，thepoolforstoringmetadata,alistofmetadataservers,andwhichmetadataserversareupandin2021/6/275數(shù)據(jù)存放1．Object到PG的映射。PG(PlacementGroup)是Objects的邏輯集合。相同PG里的Object會(huì)被系統(tǒng)分發(fā)到相同的OSDs集合中。由Object的名稱通過(guò)Hash算法得到的結(jié)果結(jié)合其他一些修正參數(shù)可以得到Object所對(duì)應(yīng)的PG。2．RADOS系統(tǒng)根據(jù)根據(jù)ClusterMap將PGs分配到相應(yīng)的OSDs。這組OSDs正是PG中的Objects數(shù)據(jù)的存儲(chǔ)位置。RADOS采用CRUSH算法實(shí)現(xiàn)了一種穩(wěn)定、偽隨機(jī)的hash算法。CRUSH實(shí)現(xiàn)了平衡的和與容量相關(guān)的數(shù)據(jù)分配策略。CRUSH得到的一組OSDs還不是最終的數(shù)據(jù)存儲(chǔ)目標(biāo)，需要經(jīng)過(guò)初步的filter，因?yàn)閷?duì)于大規(guī)模的分布式機(jī)群，宕機(jī)等原因使得部分節(jié)點(diǎn)可能失效，filter就是為過(guò)濾這些節(jié)點(diǎn)，如果過(guò)濾后存儲(chǔ)目標(biāo)不能滿足使用則阻塞當(dāng)前操作。2021/6/2762021/6/277關(guān)于pools是一個(gè)存儲(chǔ)對(duì)象的邏輯分區(qū)概念所有權(quán)/訪問(wèn)對(duì)象對(duì)象副本的數(shù)目PG數(shù)目CRUSH規(guī)則集的使用以上后三項(xiàng)決定ceph最后如何存儲(chǔ)數(shù)據(jù)2021/6/278計(jì)算PG的ID1.Client輸入poolID和對(duì)象ID（如pool=‘liverpool’，object-id=‘john’）2.CRUSH獲得對(duì)象ID并對(duì)其hash3.CRUSH計(jì)算OSD個(gè)數(shù)hash取模獲得PG的ID（如0x58）4.CRUSH獲得已命名pool的ID（如liverpool=4）5.CRUSH預(yù)先考慮到poolID相同的PGID（如4.0x58）2021/6/279DeviceState

— in out— — assignedPGs notassignedPGsup online active online&idle &reachabledown unreachable unreachable failed ¬remapped2021/6/2710peer和setpeer屬于同一個(gè)PG彼此檢查心跳數(shù)據(jù)同步setActingsetPG內(nèi)所有osd屬于ActingsetUpsetPG內(nèi)up&in的osd2021/6/2711map傳播所有消息傳播都有一個(gè)epochclient端：首次進(jìn)入去找monitor要最新副本存取時(shí)找OSD對(duì)比epochOSD端：peers之間保持心跳只保證兩個(gè)OSD之間同步2021/6/2712數(shù)據(jù)復(fù)制讀文件通過(guò)一個(gè)OSD主OSD寫(xiě)文件通過(guò)多個(gè)OSD復(fù)制Client把對(duì)象寫(xiě)進(jìn)一個(gè)確定的PG組中的主OSD主OSD利用CRUSHmap用來(lái)確定二級(jí)OSDs，復(fù)制的對(duì)象放入其中。對(duì)象存儲(chǔ)成功后進(jìn)行響應(yīng)client。2021/6/2713數(shù)據(jù)復(fù)制2021/6/2714錯(cuò)誤檢測(cè)和恢復(fù)錯(cuò)誤檢測(cè)：利用心跳上報(bào)monitor更新map錯(cuò)誤恢復(fù)主osd主持恢復(fù)工作若主osd掛掉，二級(jí)osd選擇一個(gè)頂上2021/6/27152021/6/2716數(shù)據(jù)條帶化由于存儲(chǔ)設(shè)備吞吐量的限制，影響性能和可伸縮性?？缍鄠€(gè)存儲(chǔ)設(shè)備的連續(xù)塊條帶化存儲(chǔ)信息，以提高吞吐量和性能Ceph條帶化相似于RAID0注意：ceph條帶化屬于client端，不在RADOS范疇2021/6/2717注意：條帶化是獨(dú)立于對(duì)象副本的。由于CRUSH副本對(duì)象跨越OSDs，所以條帶自動(dòng)的被復(fù)制。2021/6/2718條帶化參數(shù)ObjectSize:足夠大可以容納條帶單元，必須容納一個(gè)或者多個(gè)條帶單元