【畢業(yè)學(xué)位論文】（Word原稿）基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究-計算機(jī)應(yīng)用技術(shù)

分類號 密級 編號 中國科學(xué)院研究生院 碩士 學(xué)位論文 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 楊林 指導(dǎo)教師 杜曉黎 研究員 中國科學(xué)院計算技術(shù)研究所 申請學(xué)位級別 工學(xué) 碩士 學(xué)科專業(yè)名稱 計 算機(jī)應(yīng)用 技術(shù) 論文提交日期 2011 年 4 月 論文答辯日期 2011 年 5 月 培養(yǎng)單位 中國科學(xué)院計算技術(shù)研究所 學(xué)位授予單位 中國科學(xué)院研究生院 答辯委員會主席 聲 明 我聲明本論文是我本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方外，本論 文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。 作者簽名： 日期： 論文版權(quán)使用授權(quán)書 本人授權(quán)中國科學(xué)院計算技術(shù)研究所可以保留并向國家有關(guān)部門或機(jī)構(gòu)送交本論文的復(fù)印件和電子文檔，允許本論文被查閱和借閱，可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文。 （保密論文在解密后適用本授權(quán)書。） 作者簽名： 導(dǎo)師簽名： 日期： I 摘 要 面對 全球 范圍內(nèi) 迅猛增長的數(shù)據(jù)存儲需求 ， 基于對象的存儲技術(shù) (運而生，相對于 言，基于對象的存儲系統(tǒng) 由于其 可伸縮性、 低成本、 跨平臺、 易管理 等特性，逐漸成為 海量存儲系統(tǒng)的一個最佳選擇。 如 司的 為 核心技術(shù)， 利用數(shù)以萬計的 普通 商用服務(wù)器， 為 各種服務(wù) 提供了 強(qiáng)大的數(shù)據(jù)存儲能力 ； 司的 支持上千個存儲節(jié)點，上萬個客戶端， 存儲容量， 100GB/s 的傳輸帶寬 ， 為高性能計算提供 了強(qiáng)有力的支持 。 在 基于對象的存儲系統(tǒng) 中， 元數(shù)據(jù)（ 目錄 、 文件大小 、 訪問時間等信息 ）與 數(shù)據(jù)存儲 相分離 ， 文件 數(shù)據(jù)保存在大量的對象存儲服務(wù)器 （ 中， 元數(shù)據(jù) 則 由 專門的 元數(shù)據(jù)服務(wù)器處理 。 元數(shù)據(jù)請求 在 文件系統(tǒng)中 所占的比例高達(dá) 50%隨著 文件存儲規(guī)模從 別走向 別甚至 別， 在 所使用的 單一的元數(shù)據(jù)服務(wù)器 設(shè)計 所暴露的問題也越來越嚴(yán)重 ， 如單點失效 ， 性能瓶頸 ， 可靠性差 ，文件系統(tǒng)規(guī)模受限 等 。 本文針對基于對象的存儲系統(tǒng)中單一元 數(shù)據(jù)服務(wù)器帶來的問題， 結(jié)合聯(lián)想網(wǎng)盤的實際存儲需求， 設(shè)計實現(xiàn)了一個支持多元數(shù)據(jù)服務(wù)器 的 分布式文件系統(tǒng) ， 能夠利用元數(shù)據(jù)服務(wù)器集群，避免元數(shù)據(jù)服務(wù)器成為系統(tǒng)單點，通過 將文件系統(tǒng)的元數(shù)據(jù)請求 分布到多個元數(shù)據(jù)服務(wù)器 ， 提供更 好 的元數(shù)據(jù)處理性能 ， 同時 保證 元數(shù)據(jù)的冗余 。 本文的 主要挑戰(zhàn)在于 ： 1） 在 元數(shù)據(jù)服務(wù)器 集群中， 如何合理的分布和備份元數(shù)據(jù)， 能夠提供較好的性 能，較好的擴(kuò)展性和 穩(wěn)定性。 2） 如何均衡系統(tǒng)中所有元數(shù)據(jù)服務(wù)器的負(fù)載，在元數(shù)據(jù)遷移中， 如何防止過度遷移導(dǎo)致系統(tǒng)抖動，以及在元數(shù)據(jù)遷移后及時 地 更新客戶端緩存狀態(tài)。 本文是為聯(lián)想 網(wǎng)盤下一代存儲 系統(tǒng) 進(jìn)行的預(yù) 研 項目， 利用以上研究 成果，我們已經(jīng)實現(xiàn)了一個 文件 系統(tǒng) 原型 ， 相對 于 我們的原有系統(tǒng)， 其元數(shù)據(jù)處理能力 得到了很大的提高。 關(guān)鍵詞 ： 云存儲 ， 對象存儲技術(shù)， 元數(shù)據(jù) 服務(wù)器 集群 ， 動態(tài)子樹劃分 ， 元數(shù)據(jù)遷移 y is to its to An as on is on to a to 0% 0% of so is to BS is FS DS to is of in is on of we of 1) in ) to of We to in is is an we a to in a is 目 錄 摘 要 . I 目 錄 . V 圖目錄 . 目錄 . 1 第一章 引 言 . 1 用背景 . 1 存儲介紹 . 1 想網(wǎng)盤介紹 . 3 文面對的問題和研究目標(biāo) . 3 文的貢獻(xiàn) . 5 文的組織 . 5 第二章 基于對象的存儲系統(tǒng)介紹 . 7 儲系統(tǒng)的歷史發(fā)展 . 7 . 8 . 9 . 10 象存儲系統(tǒng) . 10 型的對象的 存儲系統(tǒng)介紹 . 12 . 12 . 13 . 15 . 16 結(jié) . 16 第三章 元數(shù)據(jù)服務(wù)器集群整體架構(gòu) . 17 體設(shè)計 . 17 儲系統(tǒng)的組成 . 17 件與對象的映射關(guān)系 . 19 于 戶端 . 19 于 架 . 20 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 本化的元數(shù)據(jù)服務(wù)器節(jié)點管理 . 21 數(shù)據(jù)服務(wù)器的定位 . 21 本化的節(jié)點管理 . 21 點加入 . 22 點離開 . 23 點恢復(fù) . 24 第四章 元數(shù)據(jù)分配策略 . 25 數(shù)據(jù)服務(wù)器集群技術(shù) . 25 態(tài)子樹劃分 . 25 法 . 27 法 . 28 動態(tài)子樹分割 . 29 它方法 . 30 于動態(tài)子樹劃分的元數(shù)據(jù)分配算法 . 31 數(shù)據(jù)與元數(shù)據(jù)服務(wù)器的映射關(guān)系 . 31 裂點 . 33 位根節(jié)點 . 35 數(shù)據(jù)備份策略 . 36 結(jié) . 38 第五章 元數(shù)據(jù)負(fù)載均衡 . 39 載統(tǒng)計 . 39 策形式 . 39 載計算 . 40 載累計 . 40 移粒度選擇 . 41 問頻度 . 42 樹大小 . 42 移子樹選擇 . 42 . 43 移步驟 . 43 存被動更新 . 45 結(jié) . 46 第六章 性能分析評價 . 47 試工具和測試環(huán)境 . 47 目錄 文件系統(tǒng) 具介紹 . 47 試環(huán)境介紹 . 48 一元數(shù)據(jù)處理性能測試 . 48 數(shù)據(jù)服務(wù)器負(fù)載均衡測試 . 50 數(shù)據(jù)集群整體性能測試 . 52 結(jié) . 54 第七章 結(jié)束語 . 55 文工作總結(jié) . 55 一步研究方向 . 55 參考文獻(xiàn) . 57 致 謝 . i 作者簡介 . 目錄 圖 儲架構(gòu)（來自 1） . 8 圖 儲架構(gòu)（來自 1） . 9 圖 儲架構(gòu) (來自： ) . 11 圖 于對象的存儲架構(gòu) （來自 1） . 11 圖 統(tǒng)結(jié)構(gòu) (來自 司 ) . 13 圖 統(tǒng)結(jié)構(gòu) (來自 司 ) . 14 圖 統(tǒng)結(jié)構(gòu) (來自 ) . 14 圖 構(gòu)結(jié)構(gòu) (來自 . 15 圖 群中各個角色的關(guān)系 . 18 圖 理 (來自 ) . 19 圖 數(shù)據(jù)服務(wù)器加入流程 . 23 圖 數(shù)據(jù)服務(wù)器離開流程 . 24 圖 數(shù)據(jù)服務(wù)器恢復(fù)流程 . 24 圖 態(tài)子樹劃分示意圖 . 26 圖 動態(tài)子樹劃分（來自 . 29 圖 理 ( ) . 30 圖 個 儲示意 . 32 圖 數(shù)據(jù)的存儲結(jié)構(gòu) . 32 圖 態(tài)子樹劃分的整體名字空間視圖 . 32 圖 態(tài)子樹劃分在各個元數(shù)據(jù)服務(wù)器上的存儲結(jié)構(gòu) . 33 圖 數(shù)據(jù)節(jié)點分裂示意圖 . 35 圖 件系統(tǒng)啟動時定位根節(jié)點的過程 . 36 圖 建新文件時請求示意 . 37 中國科學(xué)院碩士學(xué)位論文 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 X 圖 障發(fā)生時，獲取文件元數(shù)據(jù) (作 ) . 37 圖 載評估模型 . 41 圖 問頻度更新 . 42 圖 數(shù)據(jù)遷移前初始狀態(tài)，選擇遷移對象 . 44 圖 送壓縮子樹 . 44 圖 新相關(guān)狀態(tài) . 45 圖 動 新策略 . 46 圖 一元數(shù)據(jù)服務(wù)器性能測試分析 . 49 圖 一元數(shù)據(jù)服務(wù)器對多客戶端性能 . 50 圖 載均衡測試結(jié)果 . 50 圖 載均衡測試結(jié)果 . 51 圖 個 間負(fù)載均衡測試 . 51 圖 元數(shù)據(jù)的聚合性能 . 54 圖 況下單個 供的性能 . 54 1 表目錄 表 系統(tǒng)支持的 作列表 . 20 表 . 21 表 態(tài)子樹劃分 . 26 表 態(tài)子樹劃分調(diào)整結(jié)果 . 27 表 分方法示意 . 27 表 H 方法的 . 28 表 新后的 . 29 表 數(shù)據(jù)分布算法比較 . 31 表 客戶端測試中每個客戶端觀測到的平均性能 . 48 表 多客戶端測試中，所有客戶端觀測到的性能之和 . 49 表 2每個客戶端觀察到的性能 . 52 表 4每個客戶端觀察到的性能 . 53 表 每個客戶端觀察到的性能 . 53 1 第一章 引 言 在云計 算迅速發(fā)展的今天 ，用戶更趨向于把數(shù)據(jù)存儲在 云端，云端的數(shù)據(jù)正在以前所未有的速度增長， 每天上傳 6500 段視頻，每個月增加大約 20儲需求； 天處理的數(shù)據(jù)量超過 20008 年數(shù)據(jù) )。由此帶來的存儲需求極大地挑戰(zhàn)著云端的存儲架構(gòu)，據(jù) 2010 年的研究表明，對于大型企業(yè)來說，數(shù)據(jù)增長是其基礎(chǔ)架構(gòu)面臨的最大挑戰(zhàn)。 面對日益增加的數(shù)據(jù)量， 云端使用的 存儲系統(tǒng)正在從 別走向 別甚至 存儲 的強(qiáng)大需求要求存儲系統(tǒng)具有大容量，高并發(fā)，易擴(kuò)展，容易管理等特性，現(xiàn)有的網(wǎng)絡(luò)存儲系統(tǒng)比如 然無 法滿足這樣的數(shù)據(jù)容量和訪問帶寬，也不能及時有效地擴(kuò)展到 別。 基于對象的存儲系統(tǒng) ()應(yīng)運而生，它具有 低成本、 可 擴(kuò)展、 高容量 、 高性能 、 異構(gòu)， 易于管理 等特性 ，基于對象的存儲能夠集合集群中 數(shù)以萬計的 存儲 服務(wù)器 ， 提供 別的存儲容量 和很高的性能 ； 由于 用商用服務(wù)器和P 網(wǎng)絡(luò) 構(gòu)建 ，而不需要光纖，磁盤陣列等昂貴的設(shè)備 ，使得它能夠保持很低的成本；計中充分考慮到商用服務(wù)器的異構(gòu)性，對硬件設(shè)備沒有嚴(yán)格的要求，任何一臺提供對象接口的對象存儲 服務(wù)器， 都可以很簡單的加入存儲集群中，使得存儲系統(tǒng)具有很好的擴(kuò)展性；此外， ，數(shù)據(jù)通常以 冗余的方式存儲，能夠保證系統(tǒng)具有很好的容錯性， 可以保證系統(tǒng)在部分硬件損壞的情況下有效對外提供服務(wù) 。 這些特性完全契合了云存儲的各種需求， 因此基于對象的存儲系統(tǒng)是新一代集群存儲的最佳選擇，在本章中，我們將簡要介紹一下本課題的研究背景，引出本課題的研究目標(biāo)和研究內(nèi)容。 用背景 存儲介紹 云存儲是在云計算 (念上延伸和發(fā)展出來的一個新概念，是指通過集群應(yīng)用 、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等技術(shù)，將網(wǎng)絡(luò)中大量同構(gòu)或異構(gòu)的存儲設(shè)備集合起來，共同對外提供數(shù)據(jù)存儲功能的系統(tǒng)。 云存儲和云計算一樣，具有對用戶端的設(shè)備要求最低 、 方便共享 、 按使用付費等一些特征。 用戶使用云存儲后，終端將不再需要巨 大的存儲空間，它們將僅僅作為 訪問云端數(shù)據(jù)的 一個 設(shè)備 。 云存儲提供了可靠、安全的數(shù)據(jù)存儲中服務(wù) ，用戶不用再擔(dān)心數(shù)據(jù)丟失、病毒入侵等麻煩。 云存儲最典型的應(yīng)用 ， 利用 用戶文件不再保存在用戶的電腦上，而是保存在 存儲云中，無論用戶在什么地方 ，只需要一個瀏覽器登陸 可以訪問到自己的文件，這不僅可以防止用戶電腦意外中國科學(xué)院碩士學(xué)位論文 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 2 丟失導(dǎo)致的數(shù)據(jù)泄露，還解決了用戶在多臺電腦上管理各種文件版本的困難， 此外， 利用云端的搜索技術(shù)，用戶可以很方便 地 找到自己曾經(jīng)記錄的文檔。 查數(shù)據(jù)顯示：到 2013 年，云存儲服務(wù)的增長率預(yù)計將超過所有其他 服務(wù)。在未來四年內(nèi)，云服務(wù)的市場規(guī)模將從現(xiàn)在的 174 億美元增長到 442 億美元，其中，云存儲的市場比例將從目前的 9%增長到 14%，也就是說云存儲的市場規(guī)模將接近62 億美元。 云存儲 的發(fā)展 依賴 于以下一些 技