實(shí)訓(xùn)4 部署YARN集群

實(shí)訓(xùn)3.1部署YARN集群1.實(shí)訓(xùn)目的通過本實(shí)訓(xùn)熟悉如何構(gòu)建YARN分布式集群，并能夠使用YARN集群提交一些簡單的任務(wù)，理解YARN在Hadoop生態(tài)中的作用與意義。2.實(shí)訓(xùn)內(nèi)容構(gòu)建YARN集群，并使用YARN集群提交簡單的任務(wù)，觀察任務(wù)提交之后YARN的執(zhí)行過程。3.實(shí)訓(xùn)要求以小組為單元進(jìn)行實(shí)訓(xùn)，每小組5人，小組自協(xié)商選一位組長，由組長安排和分配實(shí)訓(xùn)任務(wù)，具體參考實(shí)訓(xùn)操作環(huán)節(jié)。4.準(zhǔn)備知識需要有計(jì)算機(jī)基礎(chǔ)及Linux基礎(chǔ)能力，可參考教材后面的Linux附件資料。5.實(shí)訓(xùn)步驟（1）在master機(jī)器上進(jìn)行YARN配置①編輯YARN的配置文件修改文件為“/opt/software/hadoop-3.3.4/etc/hadoop/yarn-site.xml”在master節(jié)點(diǎn)執(zhí)行：cd/opt/software/hadoop-3.3.4/etc/hadoopvimyarn-site.xml將如下內(nèi)容添加到最后兩行的<configuration></configuration>標(biāo)簽之間： <property><name>yarn.resourcemanager.hostname</name><value>master</value><description>表示ResourceManager服務(wù)器</description></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value><description>表示ResourceManager監(jiān)聽的端口</description></property><property><name>yarn.nodemanager.local-dirs</name><value>/opt/software/hadoop-3.3.4/yarn/local-dir1,/opt/software/hadoop-3.3.4/yarn/local-dir2</value><description>表示NodeManager中間數(shù)據(jù)存放的地方</description></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value><description>表示這個NodeManager管理的內(nèi)存大小</description></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>2</value><description>表示這個NodeManager管理的cpu個數(shù)</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>為MapReduce應(yīng)用打開shuffle服務(wù)</description></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>4</value><description>配置虛擬內(nèi)存與物理內(nèi)存比例，默認(rèn)值是2.1</description></property>yarn-site.xml是YARN守護(hù)進(jìn)程的配置文件，將虛擬內(nèi)存與物理內(nèi)存的比例調(diào)整成4倍，避免執(zhí)行任務(wù)時報(bào)錯。②拷貝配置文件到slave1、slave2~/shell/scp_call.shyarn-site.xml（2）啟動HDFS和YARN在master節(jié)點(diǎn)執(zhí)行（如已啟動則無需啟動）。操作效果如圖2-所示。start-dfs.shstart-yarn.sh圖3-4啟動HDFS和YARN圖示（3）驗(yàn)證YARN啟動成功查看各節(jié)點(diǎn)的進(jìn)程情況圖3-4查看各節(jié)點(diǎn)的進(jìn)程（4）查看YARN的WebUI界面在瀏覽器中打開master的ip地址加端口：31:8088格式：master的ip:8088。如圖2-46所示。圖3-4查看YARN的WebUI界面（5）提交MapReduce任務(wù)①編輯MapReduce配置文件修改文件為“/opt/software/hadoop-3.3.4/etc/hadoop/mapred-site.xml”在master節(jié)點(diǎn)執(zhí)行：vimmapred-site.xml編輯此文件，在此文件的configuration標(biāo)簽間中加入以下內(nèi)容：<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>yarn.app.mapreduce.am.resource.mb</name><value>1024</value></property><property><name>yarn.app.mapreduce.am.resource.cpu-vcores</name><value>1</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property>此配置指定了MapReduce作業(yè)運(yùn)行在YARN上，同時對JobHistoryserver進(jìn)行配置，方便查看相關(guān)日志；MapReduce作業(yè)需要的內(nèi)存和虛擬cpu數(shù)；并且配置了MapReduce作業(yè)相關(guān)的環(huán)境變量。②拷貝配置文件到slave1、slave2~/shell/scp_call.shmapred-site.xml③提交MapReduce任務(wù)接下來提交Hadoop內(nèi)置的估算π值的任務(wù)。在master節(jié)點(diǎn)執(zhí)行：hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jarpi510命令最后兩個兩個參數(shù)的含義：第一個參數(shù)是指要運(yùn)行map的次數(shù)，這里是5次；第二個參數(shù)是指每個map任務(wù)，取樣的個數(shù)；而兩數(shù)相乘即為總的取樣數(shù)。執(zhí)行過程如圖3-5所示。圖3-5提交PI任務(wù)過程（6）實(shí)訓(xùn)結(jié)果①提交PI任務(wù)之后WebUI界面上看到的信息。如圖3-6、圖3-