Hadoop集群搭建

1、Hadoop集群搭建Master機(jī)的ip地址假定為slaves1的假定為slaves2的假定為各臺(tái)機(jī)器的用戶同為redmap,hadoop根目錄為：/hadoop（即直接在filesystem里裝得hadoop）（1）redmap-master作為Namenode,JobTracker,SecondaryNameNode（2）redmap-slaves1作為Datanode,TaskTracker（3）redmap-slaves2作為Datanode,TaskTr

2、acker配置首先,需要配置各個(gè)機(jī)器間的相互訪問(wèn)：1、按照上面的設(shè)置修改各臺(tái)機(jī)器的host文件和hostname文件,保證機(jī)器可正常通信。在master機(jī)上的hosts文件（相關(guān)部分）為：localhostredmap-masterredmap-slaves1redmap-slaves22、配置ssh的自動(dòng)登陸（在master機(jī)上）：$ssh-keygen-tdsa-P”-f/.ssh/id_dsa完成后會(huì)在/.ssh/生成兩個(gè)文件：id_dsa和id_dsa.pub。再把id_dsa.pub追加到授權(quán)key里面（當(dāng)前并沒(méi)有authorized_keys文件）：$cat/.s

3、sh/id_dsa.pub/.ssh/authorized_keys完成后可以實(shí)現(xiàn)無(wú)密碼登錄本機(jī)：$sshlocalhost3、把master上的id_dsa.pub文件追加到2和3的authorized_keys內(nèi)（以slaves1節(jié)點(diǎn)為例）：#拷貝master的id_dsa.pub文件（在master號(hào)機(jī)器上執(zhí)行）$scpid_dsa.pubredmap:/home/maple/注：（只需在主節(jié)點(diǎn)上運(yùn)行ssh-kegen程序。其他節(jié)點(diǎn)的目錄結(jié)構(gòu)創(chuàng)建后,將剛才在主節(jié)點(diǎn)創(chuàng)建的keys通過(guò)scp拷貝到從節(jié)點(diǎn)的同樣的目錄上。）我們?cè)趯?shí)際執(zhí)行中是手動(dòng)把id_dsa.pub拷貝到

4、兩個(gè)slaves的節(jié)點(diǎn)中，而不是用scp命令登錄，進(jìn)入/目錄執(zhí)行：$catid_dsa.pub.ssh/authorized_keys之后可以在master上不輸入密碼直接SSH訪問(wèn)slaves14、配置集群node文件在master機(jī)器(namenode,)上完成5、修改conf/目錄下的master文件，內(nèi)容如下：redmap-master6、修改conf/目錄下的slaves文件，內(nèi)容如下：redmap-slaves1redmap-slaves27、修改conf/hadoop-env.sh文件的環(huán)境變量：#Thejavaimplementati

5、ontouse.Required.exportJAVA_HOME=/usr/java/jdk1.68、修改conf/core-site.xml配置文件，內(nèi)容如下：?xmlversion=1.0?xml-stylesheettype=”text/xsl”href=”configuration.xsl”?!一Putsite-specificpropertyoverridesinthisfile.-propertynamehadoop.tmp.dirvalue/hadoop/tmpdescriptionAbaseforothertemporarydirectories./propertyproper

6、valuehdfs:/hadoop-test1:9000/property/configuration9、修改conf/hdfs-site.xml配置文件，內(nèi)容如下：?xmlversion=1.0?xml-stylesheettype=”text/xsl”href=”configuration.xsl”?!-Putsite-specificpropertyoverridesinthisfile.-namedfs.replication!-設(shè)置一個(gè)數(shù)據(jù)塊存儲(chǔ)的份數(shù)-1/propertydfs.data.dir/hadoop/hadoopfs/datadf

7、.dir/hadoop/hadoopfs/name10、修改conf/mapred-site.xml配置文件，內(nèi)容如下：?xmlversion=1.0?xml-stylesheettype=”text/xsl”href=”configuration.xsl”?!-Putsite-specificpropertyoverridesinthisfile.-propertynamemapred.job.trackervaluehadoop-test1:9001/property/configuration11、修改/ect/profile配置文件，在末尾追加以下內(nèi)容，并輸入source/

8、etc/profile使之生效：exportJAVA_HOME=/usr/java/jdk1.6exportJRE_HOME=/usr/java/jdk1.6/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$PATHexportHADOOP_HOME=/hadoop/exportPATH=$HADOOP_HOME/bin:$PATH分發(fā)集群軟件到各個(gè)機(jī)器：使用tar和scp命令將master機(jī)器上的hadoop目錄打包分發(fā)到其他機(jī)器對(duì)應(yīng)的目錄下：$tar-cafhadoop.tar.gzhadoop$scp-Chadoop.tar.gzrepmap:/hadoop/ect/profile和/etc/hosts也要相應(yīng)保持一致注意profile需要做生效操作。注：實(shí)際中，我們也是手動(dòng)把hadoop.tar.gz拷貝到兩個(gè)slaves使用配置完成后，就可以使用hadoop了：1、啟動(dòng)前需要格式化H