2023學(xué)年完整公開(kāi)課版Mapper與Reducer解析

Mapper與Reducer解析1、舊版Mapper/Reducer解析

2、新版Mapper/Reducer解析

Mapper/Reducer中封裝了應(yīng)用程序的數(shù)據(jù)處理邏輯。為了簡(jiǎn)化接口，MapReduce要求所有存儲(chǔ)在底層分布式文件系統(tǒng)上的數(shù)據(jù)均要解釋成key/value的形式，并交給Mapper/Reducer中的map/reduce函數(shù)處理，產(chǎn)生另外一些key/value。Mapper與Reducer的類(lèi)體系非常類(lèi)似，我們以Mapper為例進(jìn)行講解。Mapper的類(lèi)圖，如下圖所示，包括初始化、Map操作和清理三部分。舊版Mapper/Reducer解析舊版Mapper/Reducer解析（1）初始化Mapper繼承了JobConfigurable接口。該接口中的configure方法允許通過(guò)JobConf參數(shù)對(duì)Mapper進(jìn)行初始化。（2）Map操作MapReduce框架會(huì)通過(guò)InputFormat中RecordReader從InputSplit獲取一個(gè)個(gè)key/value對(duì)，并交給下面的map()函數(shù)處理：voidmap(K1key,V1value,OutputCollector<K2,V2>output,Reporterreporter)throwsIOException;該函數(shù)的參數(shù)除了key和value之外，還包括OutputCollector和Reporter兩個(gè)類(lèi)型的參數(shù)，分別用于輸出結(jié)果和修改Counter值。舊版Mapper/Reducer解析（3）清理Mapper通過(guò)繼承Closeable接口（它又繼承了JavaIO中的Closeable接口）獲得close方法，用戶(hù)可通過(guò)實(shí)現(xiàn)該方法對(duì)Mapper進(jìn)行清理。MapReduce提供了很多Mapper/Reducer實(shí)現(xiàn)，但大部分功能比較簡(jiǎn)單，具體如下圖所示。它們對(duì)應(yīng)的功能分別是：?ChainMapper/ChainReducer：用于支持鏈?zhǔn)阶鳂I(yè)。?IdentityMapper/IdentityReducer：對(duì)于輸入key/value不進(jìn)行任何處理，直接輸出。?InvertMapper：交換key/value位置。?RegexMapper：正則表達(dá)式字符串匹配。?TokenMapper：將字符串分割成若干個(gè)token（單詞），可用作WordCount的Mapper。?LongSumReducer：以key為組，對(duì)long類(lèi)型的value求累加和。舊版Mapper/Reducer解析舊版Mapper/Reducer解析

對(duì)于一個(gè)MapReduce應(yīng)用程序，不一定非要存在Mapper。MapReduce框架提供了比Mapper更通用的接口：MapRunnable，如下圖所示。用戶(hù)可以實(shí)現(xiàn)該接口以定制Mapper的調(diào)用方式或者自己實(shí)現(xiàn)key/value的處理邏輯，比如，HadoopPipes自行實(shí)現(xiàn)了MapRunnable，直接將數(shù)據(jù)通過(guò)Socket發(fā)送給其他進(jìn)程處理。提供該接口的另外一個(gè)好處是允許用戶(hù)實(shí)現(xiàn)多線(xiàn)程Mapper。舊版Mapper/Reducer解析

如下圖所示，MapReduce提供了兩個(gè)MapRunnable實(shí)現(xiàn)，分別是MapRunner和MultithreadedMapRunner，其中MapRunner為默認(rèn)實(shí)現(xiàn)。MultithreadedMapRunner實(shí)現(xiàn)了一種多線(xiàn)程的MapRunnable。默認(rèn)情況下，每個(gè)Mapper啟動(dòng)10個(gè)線(xiàn)程，通常用于非CPU類(lèi)型的作業(yè)以提供吞吐率。舊版Mapper/Reducer解析從下圖可知，新API在舊API基礎(chǔ)上發(fā)生了以下幾個(gè)變化：新版Mapper/Reducer解析?Mapper由接口變?yōu)槌橄箢?lèi)，且不再繼承JobConfigurable和Closeable兩個(gè)接口，而是直接在類(lèi)中添加了setup和cleanup兩個(gè)方法進(jìn)行初始化和清理工作。?將參數(shù)封裝到Context對(duì)象中，這使得接口具有良好的擴(kuò)展性。?去掉MapRunnable接口，在Mapper中添加run方法，以方便用戶(hù)定制map()函數(shù)的調(diào)用方法，run默認(rèn)實(shí)現(xiàn)與舊版本中MapRunner的run實(shí)現(xiàn)一樣。?新