云計算教學(xué)課件

摩爾定律集成電路芯片上所集成的電路的數(shù)目，

每隔18個月就翻一番，同時性能也提升

一倍經(jīng)驗總結(jié)，12個月-18個月-24個月并行計算基礎(chǔ)GordonMoore摩爾定律正在走向終結(jié)…單芯片容納晶體管的增加，對制造工藝提出要求CPU制造18nm技術(shù)，電子泄漏問題CPU主頻已達3GHz時代，難以繼續(xù)提高散熱問題（發(fā)熱太大，且難以驅(qū)散）功耗太高并行計算基礎(chǔ)未來的發(fā)展：多核在多核時代生存，必須考慮并發(fā)問題不存在解決多核編程問題的銀彈，

不存在可以簡單地將并發(fā)編程問題化

解掉的工具，開發(fā)高性能的并行程序

必須要求開發(fā)者從根本上改變其編程

方法從某種意義上來說，這不僅僅是要改

變50年來順序程序設(shè)計的工藝傳統(tǒng)，

而且是要改變數(shù)百萬年來人類順序化思考問題的習(xí)慣并行計算基礎(chǔ)Herb

Sutter串行編程早期的計算里，程序一般是被串行執(zhí)行的程序是指令的序列，在單處理器的機器里，程序從開始到結(jié)束，這些指令一條接一條的執(zhí)行并行編程一道處理可以被劃分為幾部分,然后它們可以并發(fā)地執(zhí)行各部分的指令分別在不同的CPU上同時運行，這些CPU可以存在于單臺機器中,也可以存在于多臺機器上,它們通過連接起來共同運作并行計算基礎(chǔ)什么樣的問題適合并行計算？如果有大量結(jié)構(gòu)一致的數(shù)據(jù)要處理，且數(shù)據(jù)可以分解成相同大小的部分，那我們就可以設(shè)法使這道處理變成并行并行計算基礎(chǔ)計算問題簡單，但求解困難待處理數(shù)據(jù)量巨大（PB級），只有分布在成百上千個節(jié)點上并行計算才能在可接受的時間內(nèi)完成如何進行并行分布式計算？如何分發(fā)待處理數(shù)據(jù)？如何處理分布式計算中的錯誤？為什么需要MapReduce？簡單的問題，計算并不簡單！為什么需要MapReduce？GoogleMapReduce架構(gòu)設(shè)計師JeffreyDeanJefferyDean設(shè)計一個新的抽象模型，使我們只要執(zhí)行的簡單計算，而將并行化、容錯、數(shù)據(jù)分布、負載均衡的等雜亂細節(jié)放在一個庫里，使并行編程時不必關(guān)心它們這就是MapReduce一個軟件架構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運算MapReduce實現(xiàn)了Map和Reduce兩個功能Map把一個函數(shù)應(yīng)用于集合中的所有成員，然后返回一個基于這個處理的結(jié)果集Reduce對結(jié)果集進行分類和歸納Map()和Reduce()兩個函數(shù)可能會并行運行，即使不是在同一的系統(tǒng)的同一時刻MapReduceMapReduce示例：單詞計數(shù)案例：單詞記數(shù)問題(WordCount)給定一個巨大的文本（如1TB），如何計算單詞出現(xiàn)的數(shù)目？MapReduce示例：單詞計數(shù)使用MapReduce求解該問題定義Map和Reduce函數(shù)MapReduce示例：單詞計數(shù)使用MapReduce求解該問題Step1:自動對文本進行分割MapReduce示例：單詞計數(shù)使用MapReduce求解該問題Step2:在分割之后的每一對<key,value>進行用戶定義的Map進行處理，再生成新的<key,value>對MapReduce示例：單詞計數(shù)使用MapReduce求解該問題Step3:對輸出的結(jié)果集歸攏、排序(系統(tǒng)自動完成）MapReduce示例：單詞計數(shù)使用MapReduce求解該問題Step4:通過Reduce操作生成最后結(jié)果Worker故障Master周期性的ping每個worker。如果master在一個確定的時間段內(nèi)沒有收到worker返回的信息，那么它將把這個worker標記成失效重新執(zhí)行該節(jié)點上已經(jīng)執(zhí)行或尚未執(zhí)行的Map任務(wù)重新執(zhí)行該節(jié)點上未完成的Reduce任務(wù)，已完成的不再執(zhí)行Master故障定期寫入檢查點數(shù)據(jù)從檢查點恢復(fù)MapReduce的容錯WHY？任務(wù)備份機制慢的workers會嚴重地拖延整個執(zhí)行完成的時間由于其他的任務(wù)占用了資源磁盤損壞解決方案:在臨近結(jié)束的時候，啟動多個進程來執(zhí)行尚未完成的任務(wù)誰先完成，就算誰可以十分顯著地提高執(zhí)行效率MapReduce的優(yōu)化本地處理Master調(diào)度策略:

向GFS詢問獲得輸入文件blocks副本的位置信息Maptasks的輸入數(shù)據(jù)通常按64MB來劃分(GFSblock大小)按照blocks所在的機器或機器所在機架的范圍進行調(diào)度效果絕大部分機器從本地讀取文件作為輸入，節(jié)省大量帶寬MapReduce的優(yōu)化跳過有問題的記錄一些特定的輸入數(shù)據(jù)常導(dǎo)致Map/Reduce無法運行最好的解決方法是調(diào)試或者修改不一定可行~可能需要第三方庫或源碼在每個worker里運行一個信號處理程序，捕獲map或red