DTCC-京東分布式存儲(chǔ)的持續(xù)研發(fā)

1、京東分布式存儲(chǔ)的持續(xù)研發(fā)過去一年里所做的努力 自主研發(fā)自主研發(fā)需求驅(qū)動(dòng)，分期開展相互復(fù)用又高度定制的多個(gè)系統(tǒng) 具體產(chǎn)品具體產(chǎn)品京東文件系統(tǒng)對象存儲(chǔ)服務(wù)彈性塊存儲(chǔ)高速NoSQL平臺(tái)Jingdong File System 需求驅(qū)動(dòng)特別針對海量小文件強(qiáng)可靠、強(qiáng)一致、高可用透明壓縮以節(jié)省帶寬與機(jī)器資源Scalable systemkey-file storage文件key由系統(tǒng)生成，應(yīng)用自行保存datanodereplica groupmonitorcheckerJFS-V1: immutable small filesjfs/t5/8/10240/10000/A5B8FC33-YJava clie

2、ntcoordinatorcoordinatorcoordinator復(fù)制協(xié)議primaryfollower Paxos變體變體固定成員角色 one primary + two followersFull-quorum replicationfollowerclient單機(jī)存儲(chǔ)引擎 一組一組append-only files, without in-RAM indexeschunkId/offset/size as the internal key應(yīng)用 圖片圖片 訂單訂單 倉庫流水記錄倉庫流水記錄 數(shù)據(jù)庫大字段數(shù)據(jù)庫大字段 極強(qiáng)的容錯(cuò)能力極強(qiáng)的容錯(cuò)能力 機(jī)器或磁盤故障 文件誤刪除或截?cái)?優(yōu)異的

3、性能優(yōu)異的性能 追加寫入 單次seek讀取JFS-V2: 大文件支持 抽象 Append-Only File Segments 復(fù)制技術(shù) Chain ReplicationheadmiddletailconnectorconnectorJFS-V3: scalable namespace managementbucket dbbucket dbbucket dbbucket dbbucket dbZooKeepermasterroot dbMigration controllerGarbage collector 分布式字典樹 基于RDBMS搭建 自動(dòng)平滑遷移JavaJavaJavaconne

4、ctorJingdong Storage Service 對象存儲(chǔ)服務(wù)兼容S3 APIAccounts/Buckets/Objectsname metadata + dataJSS內(nèi)部架構(gòu)Load BalancerService GatewayLog data pipelineData storage subsystem(JFS)Account/Bucket ManagerMetadata Management(JFS)Erasure Coding SubsystemJSS應(yīng)用 網(wǎng)盤、音樂、電子書、網(wǎng)站靜態(tài)內(nèi)容網(wǎng)盤、音樂、電子書、網(wǎng)站靜態(tài)內(nèi)容 極強(qiáng)的可靠性與可用性 數(shù)據(jù)共享、授權(quán)認(rèn)證數(shù)據(jù)共享、

5、授權(quán)認(rèn)證 內(nèi)外網(wǎng)均可訪問 冷數(shù)據(jù)永久歸檔冷數(shù)據(jù)永久歸檔 低成本保證 擦除編碼Storage BackendPhysical HostVMVMVMJingdong Block Storage 持久、無故障的“云硬盤”抽象 后端實(shí)現(xiàn)復(fù)制和高可用 主要應(yīng)用于虛擬化平臺(tái)技術(shù)挑戰(zhàn) 故障切換與恢復(fù)、性能調(diào)優(yōu)VolumemanagerBlockNodeBlockNodeBlockNodeBlockNodeJingdong In-Memory Store演進(jìn)歷叱 Redis單實(shí)例 Redis主從復(fù)制 Pre-sharding 監(jiān)控、報(bào)警 統(tǒng)一緩存平臺(tái) JIMStore統(tǒng)一緩存平臺(tái)JIMStore Featur

6、es 精確的故障檢測Failure detector via distributed election 自動(dòng)故障切換Failover controller 多租戶資源公平性Traffic monitoring & control RAM/Disk兩級存儲(chǔ)Our own Redis branch 橫向擴(kuò)容Our own cluster mode水平擴(kuò)展新增抽象 db, buckets, keys新增操作 buckt-level selective replication bucket deletionBucket 0, 333Bucket 668, 1000Bucket 334, 667Bucket0, 80, 334, 414,668, 748Bucket 81, 333Bucket 74