QConShanghai-劉海鋒-京東文件系統(tǒng)簡介

京東文件系統(tǒng)簡介劉海鋒QConShanghai2013CopyrightofJD.com為什么自主研發(fā)實(shí)現(xiàn)技術(shù)與經(jīng)驗正在進(jìn)行的工作問題與挑戰(zhàn)商品訂單365*數(shù)億*~10KB商品圖片幾十億*(20~200KB)庫房記錄365*十億*(KB~MB)各種方案關(guān)系數(shù)據(jù)庫OracleExadata,…Pains–沒法擴(kuò)容、定期刪除開源存儲系統(tǒng)HDFS、FastDFS、…Pains–難以選型、定制、維護(hù)自主研發(fā)核心軟件系統(tǒng)可以自主研發(fā)Ifyoubelieveyoucan注意事項緊扣業(yè)務(wù)需求高度定制分期開展第一期不做大而全縮短開發(fā)周期，提高ROI系統(tǒng)定位V1:ScalableSystemKey-FileStore特別針對海量小文件強(qiáng)可靠、強(qiáng)一致、高可用Key由系統(tǒng)本身生成可滿足很多業(yè)務(wù)需求

–Really?V2:supportuser-definedkeysandmore為什么自主研發(fā)實(shí)現(xiàn)技術(shù)與經(jīng)驗正在進(jìn)行的工作編程語言的選擇Go寫系統(tǒng)框架，C寫單機(jī)存儲引擎各取所長WhyGo?良好性能，高開發(fā)效率適合小團(tuán)隊開發(fā)總體架構(gòu)客戶端Java,C/C++,nginx-based,Go,..ClusterCoordinatorZooKeeperDatanode3datanodes

formareplicagroup1leader+2followers一致、持久的存儲單元通常每磁盤部署一個實(shí)例ClustercoordinatordatanodeJavaclientreplicagroupmonitorchecker集群視圖replica-groupId->memberaddresses&weightsWeight標(biāo)識可讀可寫狀態(tài)/jfs-root/datanodes/replicagroup-1/:20130;0:20130;

0:20130;-1…replicagroup-5/

:20130;1758

:20130;

0

:20130;0

…客戶端實(shí)現(xiàn)讀寫路由等關(guān)鍵邏輯JFSKey舉例jfs/t5/8/10240/10000/A5B8FC33-YReplicaGroup-5Internalkey-8/10240/10000ChunkId/Offset/SizeCRC-A5B8FC33Y-已壓縮JFS復(fù)制協(xié)議Paxos算法的變體固定成員角色–oneprimary+2followers不做majority-basedleaderelectionFull-quorumreplication二元狀態(tài)機(jī)-ReplGroupReadyorReplGroupSplitprimaryfollowerfollowerclient單機(jī)存儲引擎一組Append-Only文件，無內(nèi)存索引chunkId/offset/sizeasinternalkey便于Crash-Recovery操作就是做文件同步如何做Garbage-Collection？利用lseek()compact故障處理與恢復(fù)兩種類型Fail-RestartFail-Replace統(tǒng)一處理ChunkfilesynchronizationPrimary(corrupted)Follower(restarted)FollowerPrimary(new)PrimaryFollowerBFollowerA可靠性與一致性強(qiáng)一致各個成員均寫入才返回寫成功同一復(fù)制組保持?jǐn)?shù)據(jù)一致每個數(shù)據(jù)文件的每個字節(jié)強(qiáng)可靠集群宕機(jī)、磁盤損壞文件誤刪除或截斷若某個或某兩個數(shù)據(jù)文件被誤刪，系統(tǒng)自動恢復(fù)可用性定義給定一個復(fù)制組

若某成員在線則讀可用僅當(dāng)全體成員在線才可寫整個系統(tǒng)的寫可用性至少一個復(fù)制組可寫除非IDC斷網(wǎng)斷電，JFS集群總是可寫可讀因為總是部署很多復(fù)制組在不同網(wǎng)段離線模塊Monitor各個datanode的運(yùn)行時metricsChecker各個復(fù)制組的一致性核對磁盤故障的主動檢測datanodemonitorchecker持續(xù)優(yōu)化流水線寫支持大文件透明壓縮針對文本對象，節(jié)省帶寬與機(jī)器資源客戶端壓縮vs服務(wù)端壓縮多數(shù)據(jù)中心異步復(fù)制，客戶端就近讀取通過ErasureCoding降低存儲成本利用訪問時效性性能數(shù)字應(yīng)用舉例商品訂單每年500TB庫房流水記錄每年超過1PB商品圖片近百TB，持續(xù)增長消息隊列服務(wù)開發(fā)中相關(guān)工作類似系統(tǒng)Facebook’sHaystackTaobao’sTFSFastDFS、Weed-FS、…JingdongFilesystemV1更重要的數(shù)據(jù)強(qiáng)一致性無單點(diǎn)故障無內(nèi)存索引透明壓縮,etal.為什么自主研發(fā)實(shí)現(xiàn)技術(shù)與經(jīng)驗正在進(jìn)行的工作重新審視需求核心業(yè)務(wù)的海量小文件交易訂單、商品圖片、庫房記錄、消息隊列…云存儲服務(wù)面向私有/公有云的對象存儲服務(wù)針對IaaS平臺的持久塊設(shè)備存儲對象存儲基本架構(gòu)ServiceGatewayLoadBalancerDatastoragesubsystemMetadatasubsystemConsistencyMaintainerAccountManagerobjectstorageevolutioninsideJD.com之前版本HDFS作為數(shù)據(jù)存儲子系統(tǒng)Pains：85%容量是小于1MB的對象MySQLsharding負(fù)責(zé)元數(shù)據(jù)管理Pains：manualpartitioning現(xiàn)在版本JFS替換HDFS負(fù)責(zé)小文件存儲下一版本JFSastheONLYbackendJFS-v2：ScalableDirectories作為對象存儲服務(wù)的完整后端Bucket->DirectoryJFSDirectory特性單級目錄，自定義文件名與屬性單個目錄內(nèi)文件數(shù)不限支持目錄內(nèi)prefix/range查詢、有序遍歷JFSasthecompletebackend(tinyfiles,bigfiles,directories)ServiceGatewayLoadBalancerConsistencyMaintainerAccountManagerJFS-v3：Block-deviceFiles預(yù)分配、定長、獨(dú)占寫在此基礎(chǔ)上提供持久塊存儲服務(wù)JFSasthebackendPhysicalHostVMVMVMVolumeManager愿景統(tǒng)一的存儲后端，提供不同產(chǎn)品抽象內(nèi)部各子系統(tǒng)有獨(dú)立的復(fù)制協(xié)議與存儲引擎JingdongFilesystemBlockdeviceinterfacePrivateClientLibrariesPublicobject