202142 Hadoop大數(shù)據(jù)平臺構(gòu)建 4YARN配置啟動與驗證 教學(xué)

主講：方明清0102030405目錄規(guī)劃Hadoop大數(shù)據(jù)平臺集群Hadoop基礎(chǔ)環(huán)境配置HDFS配置、啟動與驗證YARN配置、啟動與驗證測試JobYARN配置、啟動與驗證4YARN配置、啟動與驗證序號任務(wù)名稱任務(wù)一YARN組件參數(shù)配置任務(wù)二MapReduce組件參數(shù)配置任務(wù)三配置SSH無密鑰登錄（slave1為主節(jié)點）任務(wù)四分發(fā)YARN與MapReduce配置文件任務(wù)五啟動YARN集群任務(wù)六啟動歷史服務(wù)任務(wù)七驗證YARN集群與歷史服務(wù)任務(wù)一YARN組件參數(shù)配置編輯yarn-site.xml配置文件（yarn參數(shù)配置文件） <configuration>

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

<property> <name>yarn.resourcemanager.hostname</name> <value>slave1</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property> </configuration>根據(jù)規(guī)劃yarn.resourcemanager.hostname這個指定resourcemanager服務(wù)器指向slave1，yarn.log-aggregation-enable配置是否啟用日志聚集功能，yarn.log-aggregation.retain-seconds配置聚集的日志在HDFS上最多保存多長時間。任務(wù)二MapReduce組件參數(shù)配置從mapred-site.xml.template復(fù)制一個mapred-site.xml文件，并進(jìn)行編輯配置（mapreduce參數(shù)配置文件） <configuration>

<property> <name></name>

<value>yarn</value>

</property>

<property> <name>mapreduce.jobhistory.address</name>

<value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value> </property> </configuration>設(shè)置mapreduce任務(wù)運行在yarn上。mapreduce.jobhistory.address是設(shè)置mapreduce的歷史服務(wù)器安裝在master機(jī)器上。mapreduce.jobhistory.webapp.address是設(shè)置歷史服務(wù)器的web頁面地址和端口號。任務(wù)三配置SSH無密鑰登錄（slave1為主節(jié)點）所有節(jié)點使用hadoop用戶登錄，并生成RSA密鑰對（此步驟前面已經(jīng)做過，可以忽略） #su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$ssh-keygen --生成RSA密鑰對 [hadoop@master~]$ls-abl.ssh --查看生成的RSA密鑰對配置SSH無密鑰登錄，實現(xiàn)從slave1無密鑰登錄其他所有節(jié)點（含本機(jī)） [hadoop@slave1~]$ssh-copy-id–i.ssh/id_rsa.pubhadoop@slave1 [hadoop@slave1~]$ssh-copy-id–i.ssh/id_rsa.pubhadoop@slave2 [hadoop@slave1~]$ssh-copy-id–i.ssh/id_rsa.pubhadoop@master測試SSH無密鑰登錄 [hadoop@slave1~]$sshslave1 --從master無密鑰登錄到slave1 [hadoop@slave1~]$sshslave2 --從master無密鑰登錄到slave2 [hadoop@slave1~]$sshmaster --從master無密鑰登錄到master任務(wù)四分發(fā)YARN與MapReduce配置文件slave1節(jié)點，使用root用戶登錄，然后切換為hadoop用戶 [root@slave1~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@slave1~]$分發(fā)Hadoop文件（分發(fā)YARN與MapReduce配置文件） [hadoop@slave1~]$cd/opt [hadoop@slave1~]$scp–r/opt/hadoop-2.8.5hadoop@slave1:/opt/ --分發(fā)到slave1從節(jié)點 [hadoop@slave1~]$scp–r/opt/hadoop-2.8.5hadoop@slave2:/opt/ --分發(fā)到slave2從節(jié)點分別登錄slave2、master節(jié)點，切換為hadoop用戶，檢查分發(fā)結(jié)果以及環(huán)境變量 [hadoop@slave2~]$ls-l/opt --在slave1節(jié)點上檢查分發(fā)結(jié)果 [hadoop@slave2~]$export --在slave1節(jié)點上檢查環(huán)境變量 [hadoop@master~]$ls-l/opt --在slave2節(jié)點上檢查分發(fā)結(jié)果 [hadoop@master~]$export --在slave2節(jié)點上檢查環(huán)境變量任務(wù)五啟動YARN集群slave1節(jié)點，使用root用戶登錄，然后切換為hadoop用戶 [root@slave1~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@slave1~]$啟動YARN，只需要在slave1節(jié)點操作即可（根據(jù)規(guī)劃，YARN的主節(jié)點設(shè)置在slave1） [hadoop@slave1~]$start-yarn.sh --啟動YARN使用jps命令查看進(jìn)程情況，slave1節(jié)點應(yīng)該啟動ResourceManager和NodeManager進(jìn)程，其他節(jié)點應(yīng)該啟動NodeManager進(jìn)程 [hadoop@slave1~]$jps --查看啟動的進(jìn)程情況 [hadoop@slave2~]$jps --查看啟動的進(jìn)程情況注意事項：如果啟動集群YARN失敗，則可以查看啟動事件日志；必要時可清除日志文件，重啟集群 [hadoop@slave1~]$cd/opt/hadoop-2.8.5/logs --進(jìn)入hadoop的日志目錄 [hadoop@slave1logs]$more* --查看日志，分析原因任務(wù)六啟動歷史服務(wù)master節(jié)點，使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$根據(jù)規(guī)劃，集群的日志服務(wù)器設(shè)置在master，所以需要在master上啟動日志服務(wù) [hadoop@master~]$mr-jobhistory-daemon.shstarthistoryserver--啟動日志服務(wù)使用jps命令查看進(jìn)程情況，master節(jié)點應(yīng)該啟動JobHistoryServre進(jìn)程 [hadoop@master~]$jps --查看啟動的進(jìn)程情況注意事項：如果啟動集群日志服務(wù)失敗，則可以查看啟動事件日志；必要時可清除日志文件，重啟集群 [hadoop@master~]$cd/opt/hadoop-2.8.5/logs --進(jìn)入hadoop的日志目錄 [hadoop@masterlogs]$more* --查看日志，分析原因任務(wù)七驗證YARN集群與歷史服務(wù)使用root用戶登錄，然后切換為hadoop用戶 [root@slave1~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@slave1~]$使用jps命令查看進(jìn)程情況，slave1節(jié)點啟動ResourceManager和NodeMana