Hadoop分布式集群搭建

本文格式為Word版，下載可任意編輯——Hadoop分布式集群搭建Hadoop分布式集群搭建

目錄

一、系統(tǒng)環(huán)境與節(jié)點(diǎn)規(guī)劃1二、配置Hadoop分布式集群環(huán)境12.1修改主機(jī)名和IP地址12.2SSH無密碼驗(yàn)證配置32.3解壓jdk文件和hadoop文件，添加環(huán)境變量，source生效52.4配置master機(jī)的core-site.xml文件52.5配置master機(jī)的hdfs-site.xml文件62.6配置master機(jī)的yarn-site.xml文件72.7配置master機(jī)的mapred-site.xml文件92.8配置master機(jī)的slaves文件102.9配置master機(jī)的hadoop-env.sh文件102.10創(chuàng)立目錄，并將master機(jī)/opt下的hadoop-2.7.2目錄發(fā)送到slave機(jī)的/opt目錄下11三、啟動(dòng)集群環(huán)境并查看運(yùn)行狀態(tài)123.1格式化namenode123.2啟動(dòng)hadoop集群123.3通過Web頁(yè)面查看集群的運(yùn)行狀態(tài)13

0

一、系統(tǒng)環(huán)境與節(jié)點(diǎn)規(guī)劃

序號(hào)系統(tǒng)環(huán)境1操作系統(tǒng)：Centos723序號(hào)12服務(wù)器IP地址192.168.47.101192.168.47.102服務(wù)器節(jié)點(diǎn)名masterslave節(jié)點(diǎn)屬性master節(jié)點(diǎn)slave節(jié)點(diǎn)Hadoop版本JAVA環(huán)境：JDK1.8詳細(xì)64位(CentOS-7-x86_64-Minimal-1511)hadoop-2.7.264位(build1.8.0_101)二、配置Hadoop分布式集群環(huán)境

部署Hadoop分布式集群環(huán)境，與偽分布式模式的主要區(qū)別是：修改主機(jī)名綁定IP地址、配置SSH無密碼登錄、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves以及hadoop-env.sh等文件參數(shù)的配置。

2.1修改主機(jī)名和IP地址

（1）兩臺(tái)服務(wù)器節(jié)點(diǎn)依照偽分布式模式安裝操作系統(tǒng)及ifconfig、vim。（2）修改網(wǎng)卡名稱為eth0

（3）配置靜態(tài)IP地址，網(wǎng)段使用自己的學(xué)號(hào)

1

（4）重啟網(wǎng)絡(luò)服務(wù)，查看配置是否生效master機(jī)：

slave機(jī)：

匹配主機(jī)名和IP地址，需要寫到hosts中

2

2.2SSH無密碼驗(yàn)證配置

在未配置無密碼驗(yàn)證的狀況下，master機(jī)通過ssh協(xié)議訪問slave機(jī)時(shí)，都是需要密碼才能登陸。因此，需要配置SSH無密碼驗(yàn)證，實(shí)現(xiàn)通過集群能夠進(jìn)行ssh免密碼登錄。（1）傳遞slave機(jī)的id_rsa.pub給master機(jī)

依照Hadoop偽分布式模式的配置，已經(jīng)分別在兩臺(tái)機(jī)器上的/root/.ssh/目錄下生成了一個(gè)私鑰id_rsa和公鑰id_rsa.pub。

3

將slave機(jī)的id_rsa.pub傳給master機(jī)

（2）在master機(jī)上綜合所有公鑰,再將master公鑰信息authorized_keys復(fù)制到slave機(jī).ssh目錄下。

（4