




版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、 區(qū)塊鏈分布式存儲產(chǎn)業(yè)發(fā)展專題報告分布式存儲給互聯(lián)網(wǎng)帶來了什么 1 、核心觀點1.1 核心邏輯基于分布式存儲,將開辟新的存儲應用市場。分布式存儲采用不同于傳統(tǒng)中心化存儲的 資源和市場激勵方式,不僅僅是充分利用分布式節(jié)點資源,而是為個人節(jié)點貢獻的內(nèi)容 投入市場交換創(chuàng)造了基礎,從而深度挖掘數(shù)據(jù)內(nèi)容價值、開辟全新的應用市場,這在傳 統(tǒng)的互聯(lián)網(wǎng)公司控制中心云平臺數(shù)據(jù)的情況下是無法實現(xiàn)的。同時,分布式存儲與中心 化存儲將不斷融合,改變現(xiàn)有的互聯(lián)網(wǎng)構架和商業(yè)模式。1.2 我們區(qū)別于市場的觀點市場低估了分布式存儲為互聯(lián)網(wǎng)基礎構架和商業(yè)模式帶來的變革與創(chuàng)新空間。市場通常 將分布式存儲視為一種新的技術,而忽略了
2、分布式存儲帶來的個人存儲資源、用戶內(nèi)容 貢獻價值挖掘和市場交換的潛力。在分布式文件系統(tǒng)的互聯(lián)網(wǎng)上,個人存儲資源可以投 入到市場進行資源交換,為用戶貢獻的內(nèi)容在數(shù)據(jù)確權、安全的基礎上進行內(nèi)容價值提 供市場交換的平臺。因此,分布式文件系統(tǒng)將會催生更多的全新的互聯(lián)網(wǎng)應用,而非傳 統(tǒng)互聯(lián)網(wǎng)的技術迭代。2、 分布式存儲將成為下一代互聯(lián)網(wǎng)基礎設施目前,互聯(lián)網(wǎng)將海量計算機(智能移動)終端連接在一起,使得用戶能夠訪問存儲其他 計算機終端上的海量數(shù)據(jù)。數(shù)據(jù)的傳輸與訪問,是基于 HTTP(超文本傳輸協(xié)議)為代 表的互聯(lián)網(wǎng)協(xié)議實現(xiàn)的,數(shù)據(jù)是以計算機(服務器)終端 IP(或者說域名)為地址進行 中心化存儲的,具體存儲
3、數(shù)據(jù)的服務器節(jié)點就像一個集中式的倉庫,要承擔巨大流量訪 問、數(shù)據(jù)傳輸壓力。能否將數(shù)據(jù)文件分散存在網(wǎng)絡不同服務器節(jié)點上,革新互聯(lián)網(wǎng)基礎 構架?類似 IPFS 這種分布式存儲協(xié)議逐漸興起,作為 HTTP 的補充,打造面向全球、點對點的 分布式版本文件系統(tǒng),能將所有具有相同文件系統(tǒng)的計算設備連接在一起。就 IPFS 而言, 用戶尋找的是存儲在某地方的內(nèi)容(這些內(nèi)容分散在不同的服務器節(jié)點),而不是某地址, 就只需確認驗證內(nèi)容的哈希,這樣就能過獲得速度更快、安全、健壯、持久的網(wǎng)頁。我們將探討分布式存儲將如何帶來互聯(lián)網(wǎng)基礎構架的變革,將創(chuàng)造怎樣的新的應用場景 和市場。2.1 以 IPFS 協(xié)議為代表的分布
4、式存儲帶來新思路IPFS 協(xié)議是一個將多種成功的分布式系統(tǒng)思路與區(qū)塊鏈相結合的文件存儲和內(nèi)容分發(fā) 網(wǎng)絡協(xié)議,為用戶提供統(tǒng)一的可尋址數(shù)據(jù)存儲。IPFS(Inter-Planetary File System)由 Protocol Lab 提出,字面意義是星際文件系統(tǒng)。其本質(zhì)是一個 P2P 的分布式存儲系統(tǒng), 將所有具有相同文件系統(tǒng)的計算設備連接在一起,目標是補充甚至替代超文本傳輸協(xié)議 HTTP。與現(xiàn)有 Web 協(xié)議不同的是,對于一個存放在 IPFS 網(wǎng)絡的文件資源,不是用基于 域名的地址去訪問,而是通過基于文件內(nèi)容生成的唯一編碼去訪問,不需要驗證發(fā)送者 的身份,只需要驗證內(nèi)容的哈希,可以讓網(wǎng)頁的
5、速度更快、更安全。IPFS 的網(wǎng)絡上運行著一條區(qū)塊鏈,即用來存儲互聯(lián)網(wǎng)文件的哈希值表,每次有網(wǎng)絡訪問,即要在鏈上查詢 該內(nèi)容(文件)的地址。IPFS 協(xié)議最大的特色是系統(tǒng)的耦合及設計的綜合性,其整合的 分布式技術包括 BitTorrent 協(xié)議、版本控制系統(tǒng) Git、MerkelDAG、分布式哈希表 DHT 和自認證文件系統(tǒng) SFS。因此在 IPFS 系統(tǒng)中,人人都可以作為存儲文件的服務器。IPFS 協(xié)議借鑒了 BitTorrent 協(xié)議諸多優(yōu)點,并進行了創(chuàng)新,打造持久且分布式存儲和 共享文件的網(wǎng)絡傳輸協(xié)議。BitTorrent(簡稱 BT)是一種廣泛應用的內(nèi)容分發(fā)協(xié)議,特 點是充分利用用戶的
6、上載帶寬,使得下載用戶越多,下載速度越快。在中心化存儲的 FTP、 HTTP 協(xié)議中,每個用戶下載所需文件,各個用戶之間沒有交互。如 HTTP,每次當同時 訪問和下載文件的用戶過多時,由于服務器處理能力和帶寬的限制,下載速度會急劇下 降,部分用戶甚至會無法訪問服務器。而 BT 協(xié)議下,分配器或文件持有者將文件發(fā)送 給一名用戶,再由這名用戶轉發(fā)給其它用戶,用戶之間相互轉發(fā)自己所擁有的文件部分, 直到每個用戶的下載全部完成。這種方法可以使下載服務器同時處理多個大體積文件的 下載請求,而無須占用大量帶寬,因此常用于大型文檔和自由軟件的發(fā)布以降低服務器 負擔。IPFS團隊對BitTorrent進行了創(chuàng)
7、新,增加了信用和帳單體系來激勵每個節(jié)點分享數(shù)據(jù), 稱為 BitSwap 協(xié)議。用戶在 BitSwap 里分享數(shù)據(jù)會增加信用分,從其他節(jié)點接受數(shù)據(jù) 則會降低信用分。如果用戶只去檢索數(shù)據(jù)而不分享數(shù)據(jù),信用分就會越來越低,而被其 它節(jié)點忽略。類似于于互聯(lián)網(wǎng)的七層協(xié)議模型,IPFS 構架分為八層子協(xié)議棧。IPFS 作為分布式存儲 協(xié)議,核心功能包括:文件內(nèi)容多人協(xié)調(diào)和版本可回溯、不可篡改,DHT 管理帶來的離 散性、伸縮性和良好的容錯性,以及基于 IPNS 的文件域名系統(tǒng)。內(nèi)容版本方面,IPFS 使用分布式版本控制系統(tǒng) Git,支持多人協(xié)同工作,記錄每次更新 并標記不同的版本號,一旦發(fā)生問題,可以將文
8、件回溯到之前的任何一個版本。本地版 本控制系統(tǒng)和集中化的版本控制系統(tǒng)都是由單一服務器保存所有文件的修訂版本,一旦 服務器發(fā)生故障,則面臨丟失所有數(shù)據(jù)的風險。Git 是分布式版本控制系統(tǒng)(DVCS)的 一種,客戶端除了保存最新版本的文件,還把代碼倉庫和歷史記錄都完整地鏡像下來。 這樣,任何一處協(xié)同工作的服務器發(fā)生故障,都可以用任何一個本地倉庫進行恢復。Git 還可以比較文件變化細節(jié),查出誰進行了什么修改,從而可以在發(fā)生問題時快速準確的 找出原因。更進一步,許多 DVCS 系統(tǒng)都可以指定和若干不同的遠端代碼倉庫進行交互, 用戶可以在同一個項目中和不同工作小組的人相互協(xié)作,根據(jù)需要設定不同的協(xié)作流程
9、, 而這在以前的系統(tǒng)中是無法實現(xiàn)的。IPFS 團隊對 Git 數(shù)據(jù)結構進行改造,在 Merkle Tree 的基礎上得到了 Merkel DAG, 擁有內(nèi)容尋址、防篡改、去重三大功能。IPFS 將文件劃分成單個大小不超過 256kB 的數(shù) 據(jù)塊,每個數(shù)據(jù)塊擁有唯一的哈希值,并構造一個 Merkel DAG 將所有文件碎片組織起 來。Merkel DAG 是實現(xiàn)版本化文件系統(tǒng)的一種核心數(shù)據(jù)結構,比 Merkle Tree 的限制更 少,但是保留了其兩點精髓:1)父節(jié)點哈希由子節(jié)點哈希決定,即父節(jié)點哈希由子節(jié)點 哈希拼接的字符串再次哈希而成;2)父節(jié)點中包含指向子節(jié)點的信息。任何一個下層節(jié) 點的改
10、動都將導致上層節(jié)點哈希值的變動,最終根節(jié)點的哈希值也將變動,因此 Merkle DAG 的三大功能得以實現(xiàn):1)內(nèi)容尋址:使用多重哈希來唯一識別一個數(shù)據(jù)塊的內(nèi)容; 2)防篡改:數(shù)據(jù)接受方只需一段 Merkle 路徑上的哈希值,就可以檢查數(shù)據(jù)是否被篡改; 3)去重:內(nèi)容相同的數(shù)據(jù)塊的哈希是相同的,可據(jù)此刪除重復數(shù)據(jù),節(jié)省存儲空間。IPFS 的路由功能采用分布式哈希列表 DHT,幫助客戶節(jié)點快速找到所需數(shù)據(jù)所在的節(jié) 點,具有離散性、伸縮性和良好的容錯性。DHT 是一種分布式哈希表,通過存儲的鍵值 對提供查詢服務:鍵值對存儲在 DHT 中,節(jié)點可以檢索給定鍵對應的值,鍵值對的映射 由網(wǎng)絡中所有的節(jié)點
11、維護。在不需要服務器的情況下,每個節(jié)點負責一小部分路由和數(shù) 據(jù)存儲,從而實現(xiàn)整個 DHT 網(wǎng)絡的尋址和存儲。即使有節(jié)點加入或離開,對整個網(wǎng)絡的 影響也很小,因此 DHT 可以擴展到非常龐大的節(jié)點(上千萬)。DHT 具有以下性質(zhì):1) 離散型:構成系統(tǒng)的節(jié)點之間都是對等的,沒有中央控制機制進行協(xié)調(diào);2)伸縮性:不 論系統(tǒng)有多少節(jié)點,都要求高效工作;3)容錯性:不斷有節(jié)點加入和離開,不影響整個 系統(tǒng)的工作。IPNS 是 IPFS 的文件域名系統(tǒng),像 HTTP 系統(tǒng)的域名(網(wǎng)址)一樣,使用戶搜索文件 時只需查詢文件名,而不受文件內(nèi)容變更的影響。IPFS 中文件的哈希值完全取決于文件 內(nèi)容,不僅難以記
12、憶,一旦修改文件內(nèi)容其哈希值也會發(fā)生改變,每次更新文件后都需 更新引用的哈希值,十分不便。為了能夠在不破壞其鏈接的情況下更改文件內(nèi)容,IPFS 團隊使用了一種標記更新網(wǎng)址哈希的域名系統(tǒng),即星際名稱系統(tǒng) IPNS。IPNS 是一個去 中心化的命名系統(tǒng),使用類似哈希的地址安全地指向可變內(nèi)容,每個文件都可以被協(xié)作 命名為易讀的名字,通過搜索就可以找到文件。自認證文件系統(tǒng) SFS 對文件進行命名, 同時提供了 IPNS 以解決傳播問題,很好地解決了當前用戶不習慣輸入哈希值訪問文件 的問題,在現(xiàn)有的互聯(lián)網(wǎng)系統(tǒng)和 IPFS 系統(tǒng)間搭建了一個橋梁。簡單的說,基于 IPFS 協(xié)議存儲的文件是打散成許多可驗證的
13、碎片文件(數(shù)據(jù)通過哈希值 編碼進行唯一標記),分布在網(wǎng)絡中,訪問者通過內(nèi)容編碼找到這些文件的位臵后進行下載,由于是分散存儲(同一個內(nèi)容可能多臺服務器存儲),不必須要求所有節(jié)點服務器都 必須在線,以此 IPFS 希望達到創(chuàng)建持久且分布式存儲和共享文件的網(wǎng)絡傳輸協(xié)議的目標。 而 HTTP 為代表傳統(tǒng)的中心化存儲差別十分明顯HTTP 的文件是中心化的方式存儲, 通過文件的域名進行訪問,且域名文件服務器需要保持在線,否則將無法訪問。2.2 分布式存儲將帶來互聯(lián)網(wǎng)基礎架構變革隨著互聯(lián)網(wǎng)與通信、人工智能、物聯(lián)網(wǎng)、云計算/邊緣計算等技術的發(fā)展,萬事萬物都可 以被記錄并用數(shù)據(jù)表達,數(shù)據(jù)從單一內(nèi)部小數(shù)據(jù)向多元動
14、態(tài)大數(shù)據(jù)轉變。據(jù) IDC 預測, 全球數(shù)據(jù)圈的規(guī)模將由 2018 年的 33ZB 增長至 2025 年的 175ZB,且文本、圖片、視頻 等非結構化數(shù)據(jù)將擁有更高的增長率,在整體數(shù)據(jù)圈的占比也將持續(xù)增加。因此,需要 更先進的互聯(lián)網(wǎng)基礎架構來對數(shù)據(jù)進行采集、存儲和利用。目前,中心化互聯(lián)網(wǎng)架構下的主要問題集中在安全性、時效性和集中化三個方面,而以 IPFS 為代表的分布式存儲協(xié)議將通過解決以下問題帶來互聯(lián)網(wǎng)構架的變革:傳統(tǒng)的 HTTP 協(xié)議使用非對稱架構實現(xiàn)網(wǎng)絡的高并發(fā),但是中心服務器難以負擔過大的 傳輸數(shù)據(jù)量,影響用戶體驗,云計算廠商和電信運營商需要為此付出較大的設備成本。 IPFS 協(xié)議解決了
15、熱點文件的存儲問題,但一個文件只有被不斷訪問才能確保其存儲有效 性,冷門且具有價值的文件容易丟失,主要原因是激勵層缺失導致的節(jié)點不穩(wěn)定性。目 前,一種對標 IPFS 的分布式技術 HTTPX(網(wǎng)格裂變系統(tǒng))也在悄然崛起,提供去中心 化的 CDN 服務、存儲服務和 GPU 算力服務。HTTPX 兼顧了 HTTP 協(xié)議的優(yōu)勢,對路由 和傳輸邏輯進行重新定義,采用對稱架構,將網(wǎng)絡的分裂做到了前所未有的程度。HTTPX 是一種更輕量化、更靈活、性能更加完善的 P2P 技術。HTTPX 的技術架構設計 屬于網(wǎng)格設計,每一個節(jié)點既是獨立個體也是全局功能體,可以支持存儲、計算和傳輸 數(shù)據(jù)。用戶連接最近的節(jié)點
16、接入 HTTPX 網(wǎng)絡,該節(jié)點將尋址找到臨近節(jié)點,發(fā)現(xiàn)百萬級 別的信息,定位資源存儲節(jié)點,并通過最優(yōu)網(wǎng)絡傳輸路徑回傳到用戶臨近節(jié)點。HTTPX 和 IPFS 相比具有明顯優(yōu)勢,有望將云計算服務推向新的高峰:1)高性能:網(wǎng)格系統(tǒng)設計大幅縮短用戶到節(jié)點的物理距離和網(wǎng)絡距離,實際測試中 TTL 下降 60%,提供更低延時的優(yōu)質(zhì)服務響應;2)低成本:為產(chǎn)業(yè)鏈服務,定價較低;硬件兼容性高,可部署到家庭、社區(qū)、辦公場 所;3)兼容性強:兼容 HTTP、HTTPS 協(xié)議,同時提供高級 HTTPX 開源代碼接入模式;4)實力雄厚:采用 P2P 思想,CDN 支撐能力出眾;提供存儲、GPU 資源的挖礦模式, 真
17、正做到一機多用。5)快速發(fā)布:帶寬需求大,發(fā)布周期短,資源提供方不用擔心項目延期帶來的資本周 轉問題。3、 分布式存儲開辟互聯(lián)網(wǎng)基礎設施產(chǎn)業(yè)新格局3.1 分布式存儲開發(fā)新的存儲市場全球數(shù)據(jù)量的爆發(fā)式增長推動云存儲市場的快速發(fā)展。云存儲是一種以數(shù)據(jù)存儲和管理 為核心的云計算服務,指通過集群應用、網(wǎng)絡技術或分布式文件系統(tǒng)等,將網(wǎng)絡中大量 不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪 問功能的系統(tǒng)。換句話說,云存儲就是將資源放到云上供人存取,用戶可以在任何時間、 任何地點,通過可連網(wǎng)裝臵連接到云上方便地存取數(shù)據(jù)。根據(jù)云存儲服務性質(zhì)的不同,可以分為公有云、私有云和混合云
18、。其中,公有云面向包 括個人、家庭、企業(yè)在內(nèi)的多種客戶;私有云由企業(yè)或組織使用及維護,用戶在個性化 等方面有更多的控制權;混合云將公有云和私有云進行混合和匹配,達成相對高性價比 解決方案。據(jù) IDC 預測,2025 年中國數(shù)據(jù)規(guī)模將達到 48.6ZB,其中超過 80%為非結構 化數(shù)據(jù),且由于發(fā)展滯后北美 4-5 年,中國云市場增速高于全球水平。2018 年中國云計 算整體市場規(guī)模達 962.8 億元,增速為 39.2%。其中,公有云市場規(guī)模達到 437 億元, 增速為 65.2%,預計接下來三年內(nèi)仍將快速增長。分布式存儲將開辟新的應用場景,充分激發(fā)個人存儲資源和內(nèi)容貢獻的市場價值,創(chuàng)新 互聯(lián)網(wǎng)
19、商業(yè)模式。隨著分布式存儲技術和生態(tài)的發(fā)展,將充分激發(fā)個人存儲資源市場的資源配臵,激勵更多的個人存儲資源進入市場即個人可以將閑臵的存儲資源投入到 分布式存儲系統(tǒng)進行市場交換,這在傳統(tǒng)互聯(lián)網(wǎng)巨頭控制中心云模式下是無法實現(xiàn)的。 更重要的是,個人在互聯(lián)網(wǎng)上的內(nèi)容共享將可以安全地進行發(fā)布、交換和價值共享。如 D.Tube 是一個加密分布式視頻平臺,建立在 STEEM 區(qū)塊鏈和 IPFS 點對點網(wǎng)絡之上,目 標是成為 YouTube 的替代品,允許用戶在 IPFS 基礎上觀看或上傳視頻,并在不可變的 STEEM 區(qū)塊鏈上進行分享或評論,同時賺取加密通證。D.Tube 的所有數(shù)據(jù)都是公開的, 任何有互聯(lián)網(wǎng)連
20、接的人都可以對其進行分析,無需廣告即可運行,提供了最佳的用戶體 驗??梢赃@樣說,幾乎任何現(xiàn)有的互聯(lián)網(wǎng)應用都可以遷移到分布式文件系統(tǒng)上,獲得新 的體驗和創(chuàng)新商業(yè)模式,這里面的想象空間是無限的。邊緣云計算和小型數(shù)據(jù)中心成為行業(yè)趨勢,分布式存儲有望率先打開個人云存儲市場空 間。2019 年 11 月,手機上網(wǎng)用戶規(guī)模達 13.1 億,個人網(wǎng)盤月度活躍用戶超 1 億,個人 存儲市場仍有龐大的潛在用戶基礎和可利用存儲空間。面對數(shù)據(jù)規(guī)模的高速增長,邊緣 云計算和分布式存儲成為行業(yè)趨勢,利用分布式文件系統(tǒng)將個人閑臵的存儲資源投入到 網(wǎng)絡中,進行市場交換,將成為分布式存儲率先進入的領域之一,目前已有這方面的初
21、 創(chuàng)應用。3.2 分布式存儲已和傳統(tǒng)存儲不斷融合應用在分布式存儲的實際應用中無法避免一定程度的中心化,因此常和傳統(tǒng)存儲方案融合應 用。分布式存儲會帶來系統(tǒng)性能和管理成本的問題,因此現(xiàn)有的存儲解決方案通常將分 布式技術與傳統(tǒng)存儲方案相結合:一方面,對數(shù)據(jù)進行分布式備份保存,使數(shù)據(jù)更接近 邊緣側,同時避免數(shù)據(jù)的物理損壞和人為篡改;另一方面,通過一定程度的集中存儲和 集中管理來降低系統(tǒng)運維成本,提高服務質(zhì)量。4、 分布式存儲面臨的技術瓶頸與發(fā)展機遇4.1 數(shù)據(jù)價值分層是分布式存儲經(jīng)濟激勵的關鍵不同數(shù)據(jù)的市場價值是不同的,不同個體對相同數(shù)據(jù)的價值判斷也并不一致。而存儲節(jié)點并不知道數(shù)據(jù)的內(nèi)容、難以評判數(shù)
22、據(jù)價值的情況下,如何有效將存儲激勵與數(shù)據(jù)市場 價值做到優(yōu)化配臵?數(shù)據(jù)價值分層是甄別數(shù)據(jù)價值以及實現(xiàn)有效激勵的關鍵。分布式的節(jié)點負責存儲數(shù)據(jù)碎 片,但并不知道數(shù)據(jù)內(nèi)容以及數(shù)據(jù)的價值,也就是說,礦工的工作量衡量如果不能考慮 數(shù)據(jù)價值的因素,就很難實現(xiàn)更優(yōu)化的市場激勵調(diào)節(jié)。以 Filecoin 采用的時空證明(PoST) 機制為例,礦工節(jié)點的存儲工作量衡量,與文件碎片內(nèi)容的數(shù)據(jù)價值無關。Filecoin 目前 并沒有對數(shù)據(jù)價值進行具體分層,只做了垃圾數(shù)據(jù)和可驗證數(shù)據(jù)的區(qū)分。目前現(xiàn)存的共 識機制,均僅限于礦工的存儲工作量衡量,而無法代表數(shù)據(jù)價值。礦工節(jié)點的物理損毀、 網(wǎng)絡服務質(zhì)量差的成本是以經(jīng)濟激勵來
23、衡量,但因此造成的用戶數(shù)據(jù)服務質(zhì)量和數(shù)據(jù)價 值損失并不對等。簡單說,礦工最多損失的是系統(tǒng)經(jīng)濟激勵,而用戶損失的可能是數(shù)據(jù) 的損毀或極差業(yè)務服務質(zhì)量畢竟對于礦工來說,數(shù)據(jù)的價值是的核心衡量因素是存 儲容量。應考慮底層構架和應用層結合的方式解決數(shù)據(jù)分層問題。解決數(shù)據(jù)價值分層,對分布式 存儲的經(jīng)濟激勵十分關鍵。在基礎構架層面難以單獨解決,必須結合應用層來實現(xiàn)。結 合應用場景,在應用層實現(xiàn)數(shù)據(jù)的分層,從而實現(xiàn)礦工節(jié)點的分層;如,對于一些服務 質(zhì)量、內(nèi)容價值較高的數(shù)據(jù),則可以圈定一個激勵價格較高的礦工市場,同時對礦工節(jié) 點的硬件配臵、服務質(zhì)量做更高的要求。這類應用在私有網(wǎng)絡、局域網(wǎng)更方便實現(xiàn)。針 對不同
24、的應用場景,采用不同的應用層策略。也就是說,廣泛而統(tǒng)一的分布式存儲網(wǎng)絡 很難滿足各個場景和用戶個體的需求,針對不同場景采取不同的應用層解決方案來完成 數(shù)據(jù)價值分層是可行的方案。4.2I/O 性能瓶頸需要底層和應用層聯(lián)合優(yōu)化解決分布式存儲會帶來系統(tǒng) I/O 性能問題。和傳統(tǒng)存儲系統(tǒng)相比,分布式存儲需要將文件打 碎、多節(jié)點備份保存,在查詢使用數(shù)據(jù)時需要進行大量碎片文件的調(diào)度工作,工程量極 大。另外,當文件較大時,用于內(nèi)容尋址的哈希表也會很大,尋址時間也會更長。更為 關鍵的是,礦工節(jié)點的網(wǎng)絡資源狀況對網(wǎng)絡 I/O 性能的影響也存在諸多不確定性,尤其 是那些流媒體數(shù)據(jù),若某些數(shù)據(jù)碎片的節(jié)點網(wǎng)絡狀況較差
25、,則會影響整個數(shù)據(jù)文件的訪 問服務質(zhì)量。中心化存儲下,通過 CDN 等手段可以解決這些問題,擁有較好的客戶體驗。 因此,現(xiàn)有的分布式存儲系統(tǒng)的 I/O 效率是技術新能方面首要考慮的問題之一,從代碼 實現(xiàn)到協(xié)議層都有很大的優(yōu)化空間,還需要進一步突破。實驗測試顯示 IPFS 的 I/O 性能還有待進一步改善。由于采用分布式存儲,文件的讀取 受到節(jié)點自身及全網(wǎng)其它節(jié)點的影響,主要包括:節(jié)點數(shù)量和穩(wěn)定性、帶寬、網(wǎng)絡(地理)位臵等。來自復旦大學的研究人員對 IPFS 的 I/O 性能做了一項實驗,并和 HTTP 進 行對比,以驗證 IPFS 網(wǎng)絡處理請求時的延遲和吞吐量表現(xiàn)。遠程讀取操作的平均延遲方 面
26、,當請求是小的請求時,在 1k-4k 間,HTTP 延遲比 IPFS 低。遇到 16-256k 之間的文 件,IPFS 的延遲狀況由于 HTTP。當處理大文件請求時,IPFS 在延遲上的表現(xiàn)不盡人意, 尤其是請求大小朝貢 16MB 時,IPFS 的處理時間接近了 20 秒。超過 64MB 時,延遲更 是可以達到 70 秒,是 HTTP(10 秒)的 7 倍。當然,這是實驗室測試條件下的結果, 在實際應用過程中,尚未有具有說服性的案例;無論如何,IPFS 等分布式存儲方案若想 替代 HTTP 等中心化方式,還有很多底層技術構架、協(xié)議和應用生態(tài)方面的改進與探索。分布式網(wǎng)絡的傳輸效率還非常依賴網(wǎng)絡規(guī)模,激勵機制有待完善。P2P 的文件交互傳輸 協(xié)議采用的是打散文件、多點續(xù)傳的方式,傳輸效率十分依賴分布式網(wǎng)絡中的節(jié)點數(shù)量。因此,需要完善激勵機制,使節(jié)點用戶在自己無下載需求時仍積極接入網(wǎng)絡,為其他用 戶提供存儲服務。當去中心化網(wǎng)絡中在線的節(jié)點數(shù)比較穩(wěn)定之后,傳輸速度會更快。從 長遠來看,協(xié)調(diào)好多點續(xù)傳以后的去中心化存儲系統(tǒng)擁有十萬甚至百萬級的節(jié)點數(shù)量, 系統(tǒng) I/O 效率才有望比擬當下中心化+CDN 存儲的系統(tǒng)效率。4.3 服務質(zhì)量保障去中心化系統(tǒng)的服務質(zhì)量還有很大的優(yōu)化空間。分布式存儲市場上現(xiàn)有的落地應用不多, 普遍面臨節(jié)點數(shù)量規(guī)模不足、應用層開發(fā)不夠完善等問題,用戶使用體驗無法和成
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年注會復習課堂筆記試題及答案
- 無障礙欄桿施工方案設計
- 商超貨架防水施工方案
- 2024較難項目管理試題及答案
- 協(xié)會 日常運營方案范本
- 2024年微生物檢驗的科技趨勢試題及答案
- 證券從業(yè)資格證復習方法試題及答案
- 2025年國際國內(nèi)經(jīng)濟政策的比較試題及答案
- Explore核心農(nóng)業(yè)技術的應用試題及答案
- 證券從業(yè)資格證國際金融市場試題及答案
- 生活污水合同協(xié)議
- 北京市房山區(qū)2025屆高三下學期一模試題 數(shù)學 含解析
- 剎車創(chuàng)意測試題及答案
- 復古插畫重溫五四運動牢記青春使命五四運動偉大覺醒
- 講課股骨頸骨折課件
- 礦山修復框架協(xié)議書
- 2023-2024學年內(nèi)蒙古呼和浩特市賽罕區(qū)八年級(下)期中數(shù)學試卷(含解析)
- 博翠芙蓉湖5#-9#施工組織總設計
- GB/Z 15166.8-2025高壓交流熔斷器第8部分:應用導則
- 打架斗毆應急處理預案
- 2025年浙江寧波東方人力資源服務有限公司招聘筆試參考題庫附帶答案詳解
評論
0/150
提交評論