Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 5.2MapReduce工作流程（完）

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——MapReduce工作流程目錄content02Reduce過程Map過程0405寫入文件01分片和格式化數(shù)據(jù)源03Shuffle過程MapReduce工作流程概述MapReduce編程簡單且功能強(qiáng)大。專門為并行處理大規(guī)模數(shù)據(jù)而設(shè)計(jì)。對于簡單數(shù)據(jù)處理，只需要執(zhí)行Map任務(wù)。對于復(fù)雜任務(wù)，根據(jù)實(shí)際的業(yè)務(wù)需求設(shè)置合適的Reduce任務(wù)數(shù)。MapReduce工作流程MapReduce工作流程第一步：分片和格式化數(shù)據(jù)源將存儲在分布式文件系統(tǒng)中數(shù)據(jù)集切分成獨(dú)立的輸入分片。每一個輸入分片對應(yīng)一個Map任務(wù)(有多少輸入分片就會存在多少M(fèi)ap任務(wù)）。輸入分片是邏輯概念。輸入分片中存儲了一些元數(shù)據(jù)信息。輸入分片處理成<key1,value1>形式的數(shù)據(jù)，再傳遞給Map任務(wù)。第二步：Map過程TWITTERSKYPEFACEBOOK經(jīng)過map()函數(shù)處理后，獲得一系列<key2,value2>形式的輸出。Map過程利用map()函數(shù)來處理數(shù)據(jù)。map()函數(shù)中具體的數(shù)據(jù)處理方法由用戶自己定義。map()函數(shù)接收<key1,value1>形式的數(shù)據(jù)輸入。1234YOUTUBE第三步：Shuffle過程

Shuffle過程map()函數(shù)的輸出并不會直接交給Reduce任務(wù)，而是需要經(jīng)過分區(qū)、排序、合并、溢寫、歸并等處理，將處理后的數(shù)據(jù)作為Reduce任務(wù)的輸入。這一系列處理過程稱為Shuffle。第三步：Shuffle過程

Map的Shuffle過程1．Map端的Shuffle過程（1）map()函數(shù)的輸出并不會立即寫入磁盤，MapReduce會為每個Map任務(wù)分配一個環(huán)形內(nèi)存緩沖區(qū)（bufferinmemory），用于存儲map()函數(shù)的輸出。（2）在將環(huán)形內(nèi)存緩沖區(qū)中的數(shù)據(jù)寫入磁盤之前，需要對數(shù)據(jù)進(jìn)行分區(qū)、排序和合并（可選）操作。第三步：Shuffle過程

Map的Shuffle過程1．Map端的Shuffle過程分區(qū):主要目的是將數(shù)據(jù)均勻地分配給Reduce任務(wù)，以實(shí)現(xiàn)MapReduce的負(fù)載均衡。排序:MapReduce的默認(rèn)操作，主要是將Map任務(wù)的輸出按key進(jìn)行排序。每個分區(qū)中的數(shù)據(jù)都是有序的。合并:排序結(jié)束后，合并操作可根據(jù)需求選擇是否要執(zhí)行;合并操作是將具有相同key的<key,value>的value加起來,從而減少溢寫的數(shù)據(jù)量。第三步：Shuffle過程

Map的Shuffle過程1．Map端的Shuffle過程(3)環(huán)形內(nèi)存緩沖區(qū)中的數(shù)據(jù)一旦達(dá)到閾值，后臺線程便開始把數(shù)據(jù)溢寫到本地磁盤的臨時文件（即溢寫文件）中。(4)系統(tǒng)需要將所有溢寫文件中的數(shù)據(jù)進(jìn)行歸并，以生成一個大的溢寫文件。歸并操作就是將相同key的value歸并成一個集合，形成新的鍵值對。(5)文件歸并操作完成后生成最終的Map任務(wù)輸出文件，文件保存在Map任務(wù)所在節(jié)點(diǎn)的本地磁盤上，Map任務(wù)執(zhí)行結(jié)束。第三步：Shuffle過程2．Reduce端的Shuffle過程(1)Map任務(wù)結(jié)束，Reduce任務(wù)啟動相同數(shù)量的復(fù)制線程并行復(fù)制Map任務(wù)的輸出文件。（2)當(dāng)緩存中的數(shù)據(jù)達(dá)到閾值，即需要溢寫到磁盤時，Reduce任務(wù)會將復(fù)制數(shù)據(jù)進(jìn)行歸并排序（MergeSort），生成溢寫文件。

Reduce的Shuffle過程Reduce過程Reduce任務(wù)接收歸并排序后的數(shù)據(jù)流，并對已有序的相同key的鍵值對調(diào)用一次reduce()函數(shù)。Reduce任務(wù)輸入是<key2,list(value2)>形式的中間結(jié)果，輸出的是<key3,value3>形式的計(jì)算結(jié)果。Reduce任務(wù)輸出結(jié)果經(jīng)過輸出格式化后再輸出到文件系統(tǒng)中，并且每個作業(yè)輸出文件默認(rèn)以“part-r-00000”開始，并用后5位數(shù)遞增的方式命名。123

Reduce過程寫入文件MapReduce框架會自動把ReduceTask生成的<key,value>傳入Ou