第三章 Hadoop集群的搭建及配置

第三章Hadoop集群的搭建及配置1搭建完全分布式集群目錄搭建偽分布式集群2偽分布式集群搭建準(zhǔn)備工作：1.Linux操作系統(tǒng)搭建完好。2.PC機(jī)、服務(wù)器、環(huán)境正常。3.搭建Hadoop需要的軟件包（hadoop-2.7.6、jdk1.8.0_171）。偽分布式模式：存儲(chǔ)采用分布式文件系統(tǒng)HDFS，但是，HDFS的名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)都在同一臺(tái)機(jī)器上；偽分布式集群搭建步驟1：1、關(guān)閉防火墻systemctlstopfirewalld.service永久關(guān)閉防火墻systemctldisablefirewalld.service查看防火墻systemctlstatusfirewalld.service2、上傳安裝包并解壓使用rz上傳壓縮包至master的/opt/soft/（根據(jù)實(shí)際情況來(lái)）cd/opt/soft/packages/（需要事先創(chuàng)建packages目錄）3、解壓tar-zxvfhadoop-2.7.6.tar.gz-C/opt/soft/tar–zxvfjdk-8u171-linux-x64.tar.gz–C/opt/soft偽分布式集群搭建步驟2：1、配置環(huán)境變量vim/etc/profileJAVA_HOME=/opt/soft/jdk1.8.0_171HADOOP_HOME=/opt/soft/hadoop-2.7.6ExportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH2、重新加載環(huán)境變量source/etc/profile偽分布式集群搭建步驟3（修改Hadoop配置文件）：1、vim編輯hadoop-env.sh，追加以下內(nèi)容：exportJAVA_HOME=/opt/soft/jdk1.8.0_171exportHDFS_NAMENODE_USER=root

exportHDFS_DATANODE_USER=root

exportHDFS_SECONDARYNAMENODE_USER=root

exportYARN_RESOURCEMANAGER_USER=root

exportYARN_NODEMANAGER_USER=root

2、vim編輯core-site.xml，修改以下配置：<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop-2.7.6/tmp</value></property><property><name>erval</name><value>1440</value></property>偽分布式集群搭建步驟3（修改Hadoop配置文件）：3、vim編輯hdfs-site.xml，修改以下配置：<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>

4、vim編輯mapred-site.xml.template：

重命名：cpmapred-site.xml.templatemapred-site.xml，并且修改以下配置：<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>偽分布式集群搭建步驟3（修改Hadoop配置文件）：5、vim編輯hdfs-site.xml，修改以下配置：<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>6、slavesmaster偽分布式集群搭建步驟4：1、執(zhí)行名稱節(jié)點(diǎn)格式化hdfsnamenode-format2、啟動(dòng)Hadoopstart-dfs.sh3、Hadoop啟動(dòng)完成后，可以通過(guò)如下命令來(lái)判斷是否成功啟動(dòng)jps1搭建完全分布式集群目錄搭建偽分布式集群2完全分布式搭建準(zhǔn)備工作：1.Linux操作系統(tǒng)搭建完好。2.PC機(jī)、服務(wù)器、環(huán)境正常。3.搭建Hadoop需要的軟件包（hadoop-2.7.6、jdk1.8.0_171）。4.搭建三臺(tái)虛擬機(jī)。（master、node1、node2）存儲(chǔ)采用分布式文件系統(tǒng)HDFS，而且，HDFS的名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)位于不同機(jī)器上。

完全分布式搭建一、修改Hadoop配置文件：1.core-site.xml<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop-2.7.6/tmp</value></property><property><name>erval</name><value>1440</value></property>2.hadoop-env.shexportJAVA_HOME=/opt/soft/jdk1.8.0_1713.*hdfs-site.xml<property><name>dfs.replication</name><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property>完全分布式搭建4.mapred-site.xml.template重命名文件cpmapred-site.xml.templatemapred-site.xml修改配置文件<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>5.yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>完全分布式搭建6.slavesmasternode1node2配置文件修改完成完全分布式搭建二、分發(fā)配置文件到node1、node2：cd/opt/soft/scp-rhadoop-2.7.6/node1:`pwd`scp-rhadoop-2.7.6/node2:`pwd`三、格式化namenode（第一次啟動(dòng)的時(shí)候需要執(zhí)行）hdfsnamenode-format四、啟動(dòng)Hadoop集群start-all.sh五、檢查master、node1、node2上的進(jìn)程六、關(guān)閉Hadoop集群stop-all.shHadoop安裝目錄解讀執(zhí)行命令配置文件日志文件啟動(dòng)命令軟件jar包Hadoop集群—文件監(jiān)控http://master:50070Hadoop集群—文件監(jiān)控http://master:50070Hadoop集群—文件監(jiān)控http://master:50070Hadoop集群—文件監(jiān)控http://master:50070Hadoop集群—文件監(jiān)控http://master:50070Hadoop集群—文件監(jiān)控http://master:50