hadoop基礎(chǔ)課件4-使用mapreduce程序分析數(shù)據(jù)

使用MapReduce程序分析數(shù)據(jù)課程目標(biāo)

掌握MapReduce的基本原理第一個(gè)MapReduce程序

MapReduce的序列化

MapReduce的排序

MapReduce的分區(qū)什么是Combiner？什么是Shuffle？MapReduce的基本概念和原理問(wèn)題：怎樣解決海量數(shù)據(jù)的計(jì)算？MapReduce的基本概念MapReduce是一種分布式計(jì)算模型，由Google提出，主要用于搜索領(lǐng)域，解決海量數(shù)據(jù)的計(jì)算問(wèn)題.MapReduce由兩個(gè)階段組成：Map和Reduce，用戶只需要實(shí)現(xiàn)map()和reduce()兩個(gè)函數(shù)，即可實(shí)現(xiàn)分布式計(jì)算，非常簡(jiǎn)單。這兩個(gè)函數(shù)的形參是key、value對(duì)，表示函數(shù)的輸入信息。第一個(gè)Map-Reduce程序?qū)崿F(xiàn)WordCountMapReduce的高級(jí)編程MapReduce的序列化MapReduce的排序MapReduce的分區(qū)什么是Combiner？MapReduce的序列化序列化（Serialization）是指把結(jié)構(gòu)化對(duì)象轉(zhuǎn)化為字節(jié)流。反序列化（Deserialization）是序列化的逆過(guò)程。即把字節(jié)流轉(zhuǎn)回結(jié)構(gòu)化對(duì)象。Java序列化（java.io.Serializable）Hadoop序列化的特點(diǎn)序列化格式特點(diǎn)：緊湊：高效使用存儲(chǔ)空間。快速：讀寫(xiě)數(shù)據(jù)的額外開(kāi)銷小可擴(kuò)展：可透明地讀取老格式的數(shù)據(jù)互操作：支持多語(yǔ)言的交互Hadoop的序列化格式：Writable

Hadoop序列化的作用序列化在分布式環(huán)境的兩大作用：進(jìn)程間通信，永久存儲(chǔ)。Hadoop節(jié)點(diǎn)間通信。實(shí)現(xiàn)Hadoop的序列化輸出員工信息MapReduce的排序在Map和Reduce階段進(jìn)行排序時(shí)，比較的是key2。value2是不參與排序比較的。如果要想讓value2也進(jìn)行排序，需要把key2和value2組裝成新的類，作為key2，才能參與比較。MapReduce的排序示例按照員工薪水進(jìn)行排序MapReduce的分區(qū)Partitioner是partitioner的基類，如果需要定制partitioner也需要繼承該類。MapReduce有一個(gè)默認(rèn)的分區(qū)規(guī)則：只會(huì)產(chǎn)生一個(gè)分區(qū)MapReduce的分區(qū)示例按照員工的部門(mén)號(hào)進(jìn)行分區(qū)輸出分區(qū)1中的數(shù)據(jù)分區(qū)2中的數(shù)據(jù)分區(qū)3中的數(shù)據(jù)什么是Combiner？每一個(gè)map可能會(huì)產(chǎn)生大量的輸出，combiner的作用就是在map端對(duì)輸出先做一次合并，以減少傳輸?shù)絩educer的數(shù)據(jù)量。combiner最基本是實(shí)現(xiàn)本地key的歸并，combiner具有類似本地的reduce功能。如果不用combiner，那么，所有的結(jié)果都是reduce完成，效率會(huì)相對(duì)低下。使用combiner，先完成的map會(huì)在本地聚合，提升速度。Combiner注意注意Combiner的輸出是Reducer的輸入，如果Combiner是可插拔的，添加Combiner絕不能改變最終的計(jì)算結(jié)果。所以Combiner只應(yīng)該用于那種Reduce的輸入key/value與輸出key/value類型完全一致，且不影響最終結(jié)果的場(chǎng)景。比如累加，最大值等。什么是Shuffle