Google云計(jì)算原理-分布式鎖服務(wù)Chubby_第1頁
Google云計(jì)算原理-分布式鎖服務(wù)Chubby_第2頁
Google云計(jì)算原理-分布式鎖服務(wù)Chubby_第3頁
Google云計(jì)算原理-分布式鎖服務(wù)Chubby_第4頁
Google云計(jì)算原理-分布式鎖服務(wù)Chubby_第5頁
已閱讀5頁，還剩49頁未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

Google云計(jì)算原理CloudComputing電子工業(yè)出版社劉鵬主編《云計(jì)算》教材配套課件4主要內(nèi)容〔6學(xué)時(shí)〕Google的云計(jì)算課程回憶3分布式文件系統(tǒng)GFSGFS的容錯(cuò)措施有哪些？GFS的容錯(cuò)方法GFS的容錯(cuò)機(jī)制ChunkServer容錯(cuò)每個(gè)Chunk有多個(gè)存儲副本〔通常是3個(gè)〕，分別存儲于不通的效勞器上每個(gè)Chunk又劃分為假設(shè)干Block〔64KB〕，每個(gè)Block對應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確〔假設(shè)某個(gè)Block錯(cuò)誤，那么轉(zhuǎn)移至其他Chunk副本〕Master容錯(cuò)〔影子節(jié)點(diǎn)熱備〕三類元數(shù)據(jù)：命名空間〔目錄結(jié)構(gòu)〕、Chunk與文件名的映射以及Chunk副本的位置信息前兩類通過日志提供容錯(cuò)，Chunk副本信息存儲于ChunkServer，Master出現(xiàn)故障時(shí)可恢復(fù)5并行數(shù)據(jù)處理模型MapReduce1、處理流程2、分片方式MapReduce處理流程中

各類文件的存儲位置在哪

里？MapReduce的容錯(cuò)方法？MapReduce的處理優(yōu)化

方法？MapReduce僅能對GFS之上的文件進(jìn)行處理嗎？問題討論所有步驟均可控，可靈活處理各類分布式問題靈活的MapReduce除了排序，新增兩道題目使用MapReduce實(shí)現(xiàn)倒排索引輸入：100個(gè)文本文檔輸出：倒排索引任務(wù)實(shí)現(xiàn)算法，給出數(shù)據(jù)結(jié)構(gòu)描述、執(zhí)行過程描述等作業(yè)要求同“排序”要求盡可能提高執(zhí)行效率，節(jié)約網(wǎng)絡(luò)IO帶寬云計(jì)算應(yīng)用實(shí)踐作業(yè)調(diào)整除了排序，新增兩道題目使用MapReduce實(shí)現(xiàn)快速查詢查詢目標(biāo)是存儲在BigTable之中的網(wǎng)頁數(shù)據(jù)，給定關(guān)鍵字，快速查詢含有該內(nèi)容的網(wǎng)頁〔假定沒有倒排索引〕要求設(shè)計(jì)BigTable存儲方式〔表含有哪些列、無需關(guān)心數(shù)據(jù)如何取得〕設(shè)計(jì)快速查詢的MapReduce處理方法作業(yè)要求同“排序”云計(jì)算應(yīng)用實(shí)踐作業(yè)調(diào)整Google的云計(jì)算分布式鎖效勞Chubby11主要用于解決分布式一致性問題在一個(gè)分布式系統(tǒng)中，有一組的Process，它們需要確定一個(gè)Value。于是每個(gè)Process都提出了一個(gè)Value，一致性就是指只有其中的一個(gè)Value能夠被選中作為最后確定的值，并且當(dāng)這個(gè)值被選出來以后，所有的Process都需要被通知到粗粒度的分布式鎖效勞Chubby是Google為解決分布式一致性問題而設(shè)計(jì)的提供粗粒度鎖效勞的文件系統(tǒng)其他分布式系統(tǒng)可以使用它對共享資源的訪問進(jìn)行同步Chubby是什么？12需要實(shí)現(xiàn)的特性高可用性高可靠性支持粗粒度的建議性鎖效勞支持小規(guī)模文件直接存儲不作考慮的特性高性能存儲能力Chubby的設(shè)計(jì)目標(biāo)13Chubby的系統(tǒng)架構(gòu)14文件系統(tǒng)中文件的權(quán)限文件系統(tǒng)中文件操作的權(quán)限有哪些？這些權(quán)限之間的互斥關(guān)系是怎樣的？Chubby系統(tǒng)本質(zhì)上就是一個(gè)分布式的、存儲大量小文件的文件系統(tǒng)Chubby中的鎖就是文件在GFS的例子中，創(chuàng)立文件就是進(jìn)行“加鎖”操作，創(chuàng)立文件成功的那個(gè)server其實(shí)就是搶占到了“鎖”用戶通過翻開、關(guān)閉和存取文件，獲取共享鎖或者獨(dú)占鎖；并且通過通信機(jī)制，向用戶發(fā)送更新信息Chubby文件系統(tǒng)16Client與Chubby的通信協(xié)議17主節(jié)點(diǎn)選舉獨(dú)占鎖共享鎖數(shù)據(jù)存取應(yīng)用獲取GFSChunkServer信息元數(shù)據(jù)存儲……Chubby的應(yīng)用18Goolge的云計(jì)算分布式數(shù)據(jù)表BigTable19BigTable為什么需要設(shè)計(jì)BigTable？Google需要存儲的數(shù)據(jù)種類繁多網(wǎng)頁，地圖數(shù)據(jù)，郵件……如何使用統(tǒng)一的方式存儲各類數(shù)據(jù)？海量的效勞請求如何快速地從海量信息中尋找需要的數(shù)據(jù)？BigTable：基于GFS和Chubby的分布式存儲系統(tǒng)對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化存儲和管理與GFS的聯(lián)系20數(shù)據(jù)存儲可靠性高速數(shù)據(jù)檢索與讀取存儲海量的記錄〔假設(shè)干TB〕可以保存記錄的多個(gè)版本Google的需求21與寫操作相比，數(shù)據(jù)記錄讀操作占絕大多數(shù)工作負(fù)載單個(gè)節(jié)點(diǎn)故障損壞是常見的磁盤是廉價(jià)的可以不提供標(biāo)準(zhǔn)接口Google既能控制數(shù)據(jù)庫設(shè)計(jì)，又能進(jìn)行應(yīng)用系統(tǒng)設(shè)計(jì)假設(shè)22具有廣泛的適應(yīng)性支持Google系列產(chǎn)品的存儲需求具有很強(qiáng)的可擴(kuò)展性根據(jù)需要隨時(shí)參加或撤銷效勞器應(yīng)對不斷增多的訪問請求高可用性單個(gè)節(jié)點(diǎn)易損，但要確保幾乎所有的情況下系統(tǒng)都可用簡單性簡單的底層系統(tǒng)可減少系統(tǒng)出錯(cuò)概率，為上層開發(fā)帶來便利設(shè)計(jì)目標(biāo)23總體上，與關(guān)系數(shù)據(jù)庫中的表類似邏輯視圖RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“<html>..“Text/htmlT5“<html>..“t3“<html>..“24關(guān)系數(shù)據(jù)庫中的表是什么樣的？有什么特征？關(guān)系數(shù)據(jù)庫中的表設(shè)計(jì)需要遵循什么原那么？行每行數(shù)據(jù)有一個(gè)可排序的關(guān)鍵字和任意列項(xiàng)字符串、整數(shù)、二進(jìn)制串甚至可串行化的結(jié)構(gòu)都可以作為行鍵表按照行鍵的“逐字節(jié)排序”順序?qū)π羞M(jìn)行有序化處理表內(nèi)數(shù)據(jù)非?！∈琛?，不同的行的列的數(shù)完全目可以大不相同URL是較為常見的行鍵，存儲時(shí)需要倒排統(tǒng)一地址域的網(wǎng)頁連續(xù)存儲，便于查找、分析和壓縮數(shù)據(jù)模型/index.asp→/index.asp25列特定含義的數(shù)據(jù)的集合，如圖片、鏈接等可將多個(gè)列歸并為一組，稱為族〔family〕采用族:限定詞的語法規(guī)那么進(jìn)行定義fileattr:owning_group”,“fileattr:owning_user”,etc同一個(gè)族的數(shù)據(jù)被壓縮在一起保存族是必須的，是BigTable中訪問控制的根本單元數(shù)據(jù)模型26時(shí)間戳保存不同時(shí)期的數(shù)據(jù)，如“網(wǎng)頁快照”“Abigtable”表中的列可以不受限制地增長表中的數(shù)據(jù)幾乎可以無限地增加數(shù)據(jù)模型通過(row,col,timestamp)查詢通過(row,col,MOST_RECENT)查詢27無數(shù)據(jù)校驗(yàn)每行都可存儲任意數(shù)目的列BigTable不對列的最少數(shù)目進(jìn)行約束任意類型的數(shù)據(jù)均可存儲BigTable將所有數(shù)據(jù)均看作為字符串?dāng)?shù)據(jù)的有效性校驗(yàn)由構(gòu)建于其上的應(yīng)用系統(tǒng)完成一致性針對同一行的多個(gè)操作可以分組合并不支持對多行進(jìn)行修改的操作符數(shù)據(jù)模型28物理視圖RowKeyTimeStampColumn:ContentsCn.wwwT6“<html>..”T5“<html>..”T3“<html>..”RowKeyTimeStampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMRowKeyTimeStampColumn:mimeCn.wwwT6text/htmlRowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“<html>..“Text/htmlT5“<html>..“t3“<html>..“29邏輯上的“表”被劃分為假設(shè)干子表〔Tablet〕每個(gè)Tablet由多個(gè)SSTable文件組成SSTable文件存儲在GFS之上每個(gè)子表存儲了table的一局部行元數(shù)據(jù)：起始行鍵、終止行鍵如果子表體積超過了閾值〔如200M〕，那么進(jìn)行分割物理視圖30體系結(jié)構(gòu)31為每個(gè)子表效勞器分配子表，對外提供效勞與GFS垃圾回收進(jìn)行交互，收回廢棄的SSTable探測子表效勞器的故障與恢復(fù)負(fù)載均衡主節(jié)點(diǎn)的職責(zé)有效緩解單點(diǎn)故障32子表效勞器故障33子表效勞器故障34子表效勞器故障35數(shù)據(jù)訪問方式36任何對子表的寫操作都會記錄到一個(gè)存儲在GFS之上的commitlog中每個(gè)子表效勞器上所有子表變化對應(yīng)于一個(gè)commitlog新的數(shù)據(jù)存儲到子表效勞器的內(nèi)存〔memtable〕中次壓縮舊數(shù)據(jù)存儲在SSTable中，而新數(shù)據(jù)存放在memtable中當(dāng)memtable體積超過一定閾值，將形成SSTable，并寫入GFS每個(gè)tablet對應(yīng)多個(gè)SSTable數(shù)據(jù)寫的流程37tablet含有多個(gè)SSTable導(dǎo)致查詢效率低合并壓縮操作讀取多個(gè)SSTable，創(chuàng)立一個(gè)新的SSTable來保持其中的最新數(shù)據(jù)舊的SSTable刪除如果合并壓縮操作完成后，tablet只包含一個(gè)SSTable，那么該操作也稱為主壓縮合并壓縮38數(shù)據(jù)存儲與讀取流程39新的故障子表效勞器內(nèi)存中的memtable喪失恢復(fù)方法按照tablet將該效勞器對應(yīng)的日志分片為每個(gè)失效tablet分配新的子表效勞器新子表效勞器讀取對應(yīng)的分段commitlog，并按照日志修改tablet刪除commitlog中已實(shí)施的內(nèi)容重新對外提供效勞子表效勞器故障恢復(fù)40局部性群組(LocalityGroup)根據(jù)需要，將原本不存儲在一起的數(shù)據(jù)，以列族為單位存儲至單獨(dú)的子表如用戶對網(wǎng)站排名、語言等分析信息感興趣，那么可以將這些列族放至單獨(dú)的子表，減少無用信息讀取，改善存取效率布隆過濾器(BloomFilter)什么是布隆過濾器？判斷某個(gè)元素是否隸屬于集合優(yōu)點(diǎn)：誤判概率低，其存儲空間僅為Hash表的1/8至1/4用于判斷列鍵是否位于SSTable中，快速確定某個(gè)列鍵的位置性能優(yōu)化41BigTable小結(jié)42Google云計(jì)算架構(gòu)中GFS、MapReduce和BigTable中是否存在集群節(jié)點(diǎn)復(fù)用的情況？如何復(fù)用？節(jié)點(diǎn)復(fù)用的好處有哪些？Google云計(jì)算架構(gòu)的設(shè)計(jì)對你有哪些啟發(fā)？有哪些收獲？綜合討論Goolge的云計(jì)算GoogleAppEngine44GoogleAppEngine是隸屬于PaaS類型的云效勞一個(gè)計(jì)算環(huán)境，支持Python和Java語言可使用Google的根底效勞，如BigTable和GFS等用戶僅需提供給用代碼，無需效勞器維護(hù)應(yīng)用程序可根據(jù)訪問量和數(shù)據(jù)存儲需要的增長輕松進(jìn)行擴(kuò)展簡介45特性動態(tài)網(wǎng)絡(luò)效勞功能，能夠完全支持常用的網(wǎng)絡(luò)技術(shù)具有持久存儲的空間，可支持查詢、分類等根本操作具有自主平衡網(wǎng)絡(luò)和系統(tǒng)的負(fù)載、自動進(jìn)行擴(kuò)展的功能可對用戶的身份進(jìn)行驗(yàn)證，并且支持使用Google賬戶發(fā)送郵件具有一個(gè)功能完整的本地開發(fā)環(huán)境，開發(fā)人員可以在自身的計(jì)算機(jī)上模擬GoogleAppEngine環(huán)境應(yīng)用程序環(huán)境46沙盒一個(gè)虛擬環(huán)境將開發(fā)者開發(fā)的應(yīng)用程序隔離在自身的平安可靠的環(huán)境中，該環(huán)境和網(wǎng)絡(luò)效勞器的硬件、系統(tǒng)以及物理位置完全無關(guān)僅提供開發(fā)人員對根底操作系統(tǒng)的有限訪問權(quán)限可以對開發(fā)人員進(jìn)行更多的限制只能通過網(wǎng)址抓取API和郵件效勞API訪問其他計(jì)算機(jī)其他計(jì)算機(jī)只能通過HTTP或HTTPS與沙盒應(yīng)用交互應(yīng)用程序無法對平臺文件系統(tǒng)進(jìn)行寫入操作，只能讀取代碼文件應(yīng)用程序必須使用平臺的DataStore來存儲應(yīng)用程序運(yùn)行期間持續(xù)存在的數(shù)據(jù)……應(yīng)用程序環(huán)境通過隔離來保證平臺和其他開發(fā)者的平安47圖像操作API開發(fā)人員可通過該API對JPEG和PNG圖像進(jìn)行縮放、裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)等操作郵件API為開發(fā)人員開發(fā)的應(yīng)用程序提供電子郵件發(fā)送效勞MemcacheAPI高性能的內(nèi)存鍵值緩存，用戶可使用應(yīng)用程序訪問該緩存可提高應(yīng)用程序的性能并減少數(shù)據(jù)庫的負(fù)載網(wǎng)址抓取API可以使用HTTP或HTTPS等網(wǎng)址來對數(shù)據(jù)進(jìn)行檢索平臺效勞48用戶API使應(yīng)用程序與Google帳號集成，支持Google帳號身份認(rèn)證數(shù)據(jù)庫API為用戶

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論