云計算教學(xué)課件_第1頁
云計算教學(xué)課件_第2頁
云計算教學(xué)課件_第3頁
云計算教學(xué)課件_第4頁
云計算教學(xué)課件_第5頁
已閱讀5頁,還剩13頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

摩爾定律集成電路芯片上所集成的電路的數(shù)目,

每隔18個月就翻一番,同時性能也提升

一倍經(jīng)驗總結(jié),12個月-18個月-24個月并行計算基礎(chǔ)GordonMoore摩爾定律正在走向終結(jié)…單芯片容納晶體管的增加,對制造工藝提出要求CPU制造18nm技術(shù),電子泄漏問題CPU主頻已達3GHz時代,難以繼續(xù)提高散熱問題(發(fā)熱太大,且難以驅(qū)散)功耗太高并行計算基礎(chǔ)未來的發(fā)展:多核在多核時代生存,必須考慮并發(fā)問題不存在解決多核編程問題的銀彈,

不存在可以簡單地將并發(fā)編程問題化

解掉的工具,開發(fā)高性能的并行程序

必須要求開發(fā)者從根本上改變其編程

方法從某種意義上來說,這不僅僅是要改

變50年來順序程序設(shè)計的工藝傳統(tǒng),

而且是要改變數(shù)百萬年來人類順序化思考問題的習(xí)慣并行計算基礎(chǔ)Herb

Sutter串行編程早期的計算里,程序一般是被串行執(zhí)行的程序是指令的序列,在單處理器的機器里,程序從開始到結(jié)束,這些指令一條接一條的執(zhí)行并行編程一道處理可以被劃分為幾部分,然后它們可以并發(fā)地執(zhí)行各部分的指令分別在不同的CPU上同時運行,這些CPU可以存在于單臺機器中,也可以存在于多臺機器上,它們通過連接起來共同運作并行計算基礎(chǔ)什么樣的問題適合并行計算?如果有大量結(jié)構(gòu)一致的數(shù)據(jù)要處理,且數(shù)據(jù)可以分解成相同大小的部分,那我們就可以設(shè)法使這道處理變成并行并行計算基礎(chǔ)計算問題簡單,但求解困難待處理數(shù)據(jù)量巨大(PB級),只有分布在成百上千個節(jié)點上并行計算才能在可接受的時間內(nèi)完成如何進行并行分布式計算?如何分發(fā)待處理數(shù)據(jù)?如何處理分布式計算中的錯誤?為什么需要MapReduce?簡單的問題,計算并不簡單!為什么需要MapReduce?GoogleMapReduce架構(gòu)設(shè)計師JeffreyDeanJefferyDean設(shè)計一個新的抽象模型,使我們只要執(zhí)行的簡單計算,而將并行化、容錯、數(shù)據(jù)分布、負載均衡的等雜亂細節(jié)放在一個庫里,使并行編程時不必關(guān)心它們這就是MapReduce一個軟件架構(gòu),是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集(通常大于1TB)的并行運算MapReduce實現(xiàn)了Map和Reduce兩個功能Map把一個函數(shù)應(yīng)用于集合中的所有成員,然后返回一個基于這個處理的結(jié)果集Reduce對結(jié)果集進行分類和歸納Map()和Reduce()兩個函數(shù)可能會并行運行,即使不是在同一的系統(tǒng)的同一時刻MapReduceMapReduce示例:單詞計數(shù)案例:單詞記數(shù)問題(WordCount)給定一個巨大的文本(如1TB),如何計算單詞出現(xiàn)的數(shù)目?MapReduce示例:單詞計數(shù)使用MapReduce求解該問題定義Map和Reduce函數(shù)MapReduce示例:單詞計數(shù)使用MapReduce求解該問題Step1:自動對文本進行分割MapReduce示例:單詞計數(shù)使用MapReduce求解該問題Step2:在分割之后的每一對<key,value>進行用戶定義的Map進行處理,再生成新的<key,value>對MapReduce示例:單詞計數(shù)使用MapReduce求解該問題Step3:對輸出的結(jié)果集歸攏、排序(系統(tǒng)自動完成)MapReduce示例:單詞計數(shù)使用MapReduce求解該問題Step4:通過Reduce操作生成最后結(jié)果Worker故障Master周期性的ping每個worker。如果master在一個確定的時間段內(nèi)沒有收到worker返回的信息,那么它將把這個worker標記成失效重新執(zhí)行該節(jié)點上已經(jīng)執(zhí)行或尚未執(zhí)行的Map任務(wù)重新執(zhí)行該節(jié)點上未完成的Reduce任務(wù),已完成的不再執(zhí)行Master故障定期寫入檢查點數(shù)據(jù)從檢查點恢復(fù)MapReduce的容錯WHY?任務(wù)備份機制慢的workers會嚴重地拖延整個執(zhí)行完成的時間由于其他的任務(wù)占用了資源磁盤損壞解決方案:在臨近結(jié)束的時候,啟動多個進程來執(zhí)行尚未完成的任務(wù)誰先完成,就算誰可以十分顯著地提高執(zhí)行效率MapReduce的優(yōu)化本地處理Master調(diào)度策略:

向GFS詢問獲得輸入文件blocks副本的位置信息Maptasks的輸入數(shù)據(jù)通常按64MB來劃分(GFSblock大小)按照blocks所在的機器或機器所在機架的范圍進行調(diào)度效果絕大部分機器從本地讀取文件作為輸入,節(jié)省大量帶寬MapReduce的優(yōu)化跳過有問題的記錄一些特定的輸入數(shù)據(jù)常導(dǎo)致Map/Reduce無法運行最好的解決方法是調(diào)試或者修改不一定可行~可能需要第三方庫或源碼在每個worker里運行一個信號處理程序,捕獲map或red

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論