2023學(xué)年完整公開課版MapReduce的重要概念

MapReduce的重要概念目錄一、什么是MapReduce二、MapReduce核心思想三、MapReduce特點四、MapReduce適用的開發(fā)場景一、什么是MapReduce

MapReduce起源，在介紹大數(shù)據(jù)編年史時有提到Google最早在04年發(fā)表論文MapReduce，之后DougCutting基于這篇論文通過Java做了開源實現(xiàn)，Mapredce如今是作為Hadoop的核心組件之一，而HDFS是Hadoop的另外一個核心，此外還有Hadoop2.X之后推出的YARN。什么是MapReduce二、MapReduce核心思想“分而治之”，分治思想是MapReduce當(dāng)中一個非常重要的思想。大數(shù)據(jù)場景當(dāng)中我們處理的數(shù)據(jù)量非常之大，任務(wù)也很重，于是我們通常采用分治的思想，把這樣一個大任務(wù)拆分為數(shù)個本質(zhì)相同卻又互相獨立的小任務(wù)（就像將一個大面包切分成多塊小的面包），這些小任務(wù)同時進(jìn)行計算，后對計算結(jié)果進(jìn)行匯總，這樣子的話會比我們單進(jìn)程的計算速度要快很多。分而治之，分布式計算二、MapReduce核心思想在HDFS中數(shù)據(jù)已經(jīng)按不同的block拆分之后分散的存儲在不同的DataNode服務(wù)器上，可以讓每一臺數(shù)據(jù)存放結(jié)點（服務(wù)器）先將各自結(jié)點上的數(shù)據(jù)塊計算完，然后再將最終結(jié)果做一個整理，也就是說數(shù)據(jù)在哪里、就在哪里計算，過程當(dāng)中只是將計算任務(wù)移動到對應(yīng)的數(shù)據(jù)結(jié)點來進(jìn)行處理。這樣計算速度顯然會非常的高效。移動計算，而非移動數(shù)據(jù)三、MapReduce特點分布式計算，計算跟著數(shù)據(jù)走，數(shù)據(jù)存放在哪就在哪里進(jìn)行計算，極大的減少了IO的開銷。移動計算而不移動數(shù)據(jù)良好的擴(kuò)展性分布式計算框架擁有相當(dāng)良好的擴(kuò)展性，隨著節(jié)點數(shù)量的增加，單個節(jié)點的計算量減小，整體的計算能力近乎線性的遞增。高容錯性計算任務(wù)失敗，會自動恢復(fù)計算，擁有良好的容錯性。三、MapReduce特點提交任務(wù)之后，任務(wù)具體執(zhí)行在哪個節(jié)點，具體執(zhí)行到哪個階段，在后臺或者監(jiān)控界面，我們都能實時的進(jìn)行監(jiān)控。狀態(tài)監(jiān)控適合于海量數(shù)據(jù)的離線批處理

MapReduce在設(shè)計之初的目標(biāo)就是面向離線批處理，特別是大吞吐量的離線處理場景，更適合于MapReduce。降低了分布式編程的門檻大部分操作MapReduce已經(jīng)實現(xiàn)，我們僅僅需要在特定的部分編寫我們自己的業(yè)務(wù)邏輯，極大的減少了工作量，同時也降低了編程的門檻。四、MapReduce適用的開發(fā)場景對于高吞吐量要求的離線批處理場景，MapReduce都是適用的，如數(shù)據(jù)統(tǒng)計，搜索引擎構(gòu)建索引，海量數(shù)據(jù)查詢等。并且對于復(fù)雜數(shù)據(jù)分析算法的實現(xiàn)，MapReduce也是十分適用的。MapReduce適用的開發(fā)場景習(xí)題：1、請解釋一下MapReduce核心思想“分而治之”的含義？2、請解釋一下MapReduce核心思想“移動計算而非移動