建立編寫(xiě)MapReduce程序的依賴(lài)包

建立編寫(xiě)MapReduce程序的依賴(lài)包2學(xué)習(xí)任務(wù)了解Map和Reduce的分配過(guò)程執(zhí)行WordCount代碼3知識(shí)目標(biāo)Map和Reduce的任務(wù)分配大致過(guò)程如何在Eclipse中導(dǎo)入、導(dǎo)出jar包如何使用Hadoop運(yùn)行WordCount代碼01能力目標(biāo)了解Map和Reduce的任務(wù)分配過(guò)程基本能夠使用Hadoop環(huán)境運(yùn)行示例代碼02學(xué)習(xí)目標(biāo)4目錄01Map和Reduce任務(wù)分配過(guò)程02編寫(xiě)WordCount示例代碼03執(zhí)行程序jar包5Map和Reduce任務(wù)分配過(guò)程最外層的循環(huán)是心跳TaskTracker的所有可用資源，Hadoop用Slot描述一個(gè)TaskTracker的資源，比如2個(gè)MapSlot表示可以同時(shí)執(zhí)行2個(gè)Map任務(wù)。對(duì)于每一個(gè)Slot，去尋找一個(gè)任務(wù)調(diào)度給它。外層循環(huán)6Map和Reduce任務(wù)分配過(guò)程內(nèi)層循環(huán)是jobQueueJobInProgressListener這個(gè)Job隊(duì)列里面的所有Job，對(duì)于每個(gè)Job，分兩步：第一步，去查找該Job中那些失敗的任務(wù)（按照失敗次數(shù)越多越優(yōu)先的原則），之后去查找與心跳TaskTracker位于同一主機(jī)或者同一機(jī)架的未運(yùn)行的任務(wù)。第二步，去查找那些非本地的未運(yùn)行的任務(wù)，以及正在處于運(yùn)行中但是很慢的任務(wù)，在查找運(yùn)行較慢的任務(wù)時(shí)，也遵循先本地，再機(jī)架，再全局，最后無(wú)位置信息的順序。內(nèi)層循環(huán)7Map和Reduce任務(wù)分配過(guò)程JobQueueTaskScheduler是Hadoop默認(rèn)的調(diào)度策略，另外兩種調(diào)度策略：CapacityTaskScheduler、FairScheduler。CapacityTaskScheduler是雅虎提出的，支持多個(gè)Job隊(duì)列，這樣的話可以避免單一隊(duì)列必須先進(jìn)先得到調(diào)度的問(wèn)題；FairScheduler是Facebook提出的，目標(biāo)是使得各個(gè)作業(yè)相對(duì)公平地獲得集群資源，避免FIFO引起某些作業(yè)獨(dú)占資源的問(wèn)題，總的來(lái)說(shuō)，這兩種調(diào)度策略都可以防止單一作業(yè)占集群資源過(guò)多的問(wèn)題，增加了一些優(yōu)先級(jí)等等概念。調(diào)度策略8編寫(xiě)WordCount示例代碼建立項(xiàng)目9編寫(xiě)WordCount示例代碼導(dǎo)入程序所需的jar包10編寫(xiě)WordCount示例代碼該程序有一個(gè)main方法，來(lái)啟動(dòng)任務(wù)的運(yùn)行，其中job對(duì)象就存儲(chǔ)了該程序運(yùn)行的必要信息，比如指定Mapper類(lèi)和Reducer類(lèi)。編寫(xiě)WordCount程序11編寫(xiě)WordCount示例代碼MapReduce程序的業(yè)務(wù)編碼分為兩個(gè)大部分，一部分配置程序的運(yùn)行信息，一部分編寫(xiě)該MapReduce程序的業(yè)務(wù)邏輯，并且業(yè)務(wù)邏輯的map階段和reduce階段的代碼分別繼承Mapper類(lèi)和Reducer類(lèi)。編寫(xiě)WordCount程序12編寫(xiě)WordCount示例代碼maptask階段處理每個(gè)數(shù)據(jù)分塊的單詞統(tǒng)計(jì)分析，思路是每遇到一個(gè)單詞則把其轉(zhuǎn)換成一個(gè)key-value對(duì)，比如單詞hello，就轉(zhuǎn)換成<’hello’,1>發(fā)送給reducetask去匯總。reducetask階段將接受maptask的結(jié)果，來(lái)做匯總計(jì)數(shù)。WordCount的業(yè)務(wù)邏輯13編寫(xiě)WordCount示例代碼JAR（JavaARchive，Java歸檔）是一種與平臺(tái)無(wú)關(guān)的文件格式，可將多個(gè)文件合成一個(gè)文件。用戶(hù)可將多個(gè)Javaapplet及其所需組件（.class文件、圖像和聲音）綁定到JAR文件中，而后作為單個(gè)的簡(jiǎn)單HTTP（HypertextTranferProtocal，超文本傳輸協(xié)議）事務(wù)下載到瀏覽器中，從而大大提高下載速度。將程序?qū)С鰹閖ar包14編寫(xiě)WordCount示例代碼JAR格式也支持壓縮，從而減小了文件的大小，進(jìn)一步縮短下載時(shí)間。另外，applet編寫(xiě)者也可在JAR文件中用數(shù)字簽名的方式簽寫(xiě)各項(xiàng)以確認(rèn)其來(lái)源。它用Java編寫(xiě)，可與現(xiàn)有的applet代碼完全向后兼容且可充分?jǐn)U展。將程序?qū)С鰹閖ar包15執(zhí)行程序jar包將需要的類(lèi)編譯后的class文件，將編譯后的文件打包成jar包，可使用Eclipse的export功能。例如：loginadd.jar?？蓤?zhí)行jar包的manifest.mf文件格如下：

Manifest-Version:1.0

Created-By:1.6.0_10-beta(SunMicrosystemsInc.)

Main-Class:com.zuzhili.bussness.utils.ParseURL

Class-Path:lib/commons-lang-2.5.jarlib/filterbuilder.jarlib/htmllexer.jarlib/htmlparser.jarlib/mysql-connector-java-5.1.7-bin.jarlib/poi-3.9.jarlib/sitecapturer.jarlib/thumbelina.jar16執(zhí)行程序jar包任務(wù)執(zhí)行jar包#sudo-uhdfshadoopjarmrtest.jar/input/mrtest.txt/output19/06/0709:02:23INFOmapreduce.Job:map0%reduce0%19/06/0709:02:29INFOmapreduce.Job:map100%reduce0%19/06/0709:02:34INFOmapreduce.Job:map100%reduce100%17執(zhí)行程序jar包#hadoopfs-ls/output查看HDFS中/output目錄下的內(nèi)容-rw-r--r--3hdfshdfs02019-06-0709:02/output/_SUCCESS-rw-r--r--3hdfshdfs302019-06-0709:02/output/part-r-0000018執(zhí)行程序jar包#