可靠性高易于維護-京東統(tǒng)一云存儲淺談

可靠性高易于維護——京東統(tǒng)一云存儲淺談

1.公司內(nèi)部的在線小文件存儲。例如商品圖片、交易訂單、庫房訂單等數(shù)據(jù)。這些文件大小通常為幾KB或幾十KB，每天新增幾千萬條。這些數(shù)據(jù)對公司非常重要，語義上要求非常強的可靠性與一致性。2.面向公有云的對象存儲服務。我們面向京東的合作伙伴、第三方開發(fā)者等客戶提供類似AmazonS3與GoogleCloudStorage的對象存儲服務。3.針對虛擬機的持久塊設備存儲服務。無論私有云還是公有云的虛擬機實例，均需持久磁盤的存儲抽象。同行的相關工作包括AWS的ElasticBlockStore與GoogleCloud的PersistentDisks.面對多樣的存儲需求，京東云平臺的愿景是：“Oneteam，onestorageinfrastructure.”于是京東組建了一支團隊，正致力于自主研發(fā)統(tǒng)一的數(shù)據(jù)中心存儲基礎架構(gòu)，提供多種存儲抽象，有效滿足上述三類實際業(yè)務需求。整體系統(tǒng)架構(gòu)如下圖所示。分別對應第一節(jié)所述三類業(yè)務需求，京東云存儲平臺向上實現(xiàn)了三類使用抽象：PrivateClientLibraries，PublicRESTfulAPI，BlockStorageAbstraction.后兩類的功能定義與業(yè)界相關產(chǎn)品非常類似，因此本文僅介紹第一種。針對公司線上服務，京東提供了私有云客戶端開發(fā)庫，其抽象方式為Container/Key/File。其中Container為命名空間的單位，通常對應用于一個使用實例或者業(yè)務單元，整個集群支持上億個Container。在一個Container內(nèi)部，由Key映射至File，Key數(shù)目沒有上限，F(xiàn)ile大小也沒有限制–可以從幾個Byte到1TB。另外，Key可以由用戶給定或者由存儲系統(tǒng)自己生成；File除了支持創(chuàng)建、刪除、讀取、替換等操作外，還支持Append即追加操作，這對大文件上傳是非常方便的。京東云存儲平臺采用的技術(shù)策略是：統(tǒng)一的系統(tǒng)架構(gòu)，不同的復制協(xié)議與存儲引擎。具體而言，對于系統(tǒng)元數(shù)據(jù)管理、小文件存儲、大文件存儲、定長塊設備文件存儲，京東有針對性地利用訪問模式并實現(xiàn)不同的底層存儲引擎與復制協(xié)議，以做到系統(tǒng)性能、可靠性、一致性、易維護性等多方面因素之間的最優(yōu)權(quán)衡。以公司內(nèi)部在線小文件存儲為例。無論商品圖片、交易訂單、庫房訂單，這些電商數(shù)據(jù)需要非常強的可靠性，可用性，與一致性。常見開源分布式系統(tǒng)所采用的最終一致性(EventualConsistency)是無法被公司內(nèi)部服務所接受的。因此京東在CAP定理中選擇C+A，即通過非常強的復制協(xié)議來實現(xiàn)存儲一致性與可用性，犧牲了對網(wǎng)絡劃分(NetworkPartition)的容忍。一方面，NetworkPartition在單個數(shù)據(jù)中心里面并不常發(fā)生；即使發(fā)生，前臺的在線服務已經(jīng)受到影響，可以接受此時存儲系統(tǒng)出現(xiàn)“寫操作不可用”。京東采用了小團隊作戰(zhàn)，各個子系統(tǒng)并行開發(fā)并快速迭代的工程方式。整個系統(tǒng)主要采用Go與C編程語言來開發(fā)，其中C負責底層存儲引擎開發(fā)，Go負責整體的系統(tǒng)框架實現(xiàn)。大規(guī)模存儲系統(tǒng)的思考：拿來主義還是自主研發(fā)？很多公司，尤其是到了一定規(guī)模之后的互聯(lián)網(wǎng)公司都會面臨一個問題：是使用開源軟件還是自主研發(fā)分布式存儲?我們建議視情況而定。如果數(shù)據(jù)規(guī)模很大且重要性極高，需求強烈且明確，那么自主研發(fā)的成本是完全可以接受的。另外一方面，