hadoop偽分布模式安裝

hadoop偽分布模式安裝實(shí)驗(yàn)環(huán)境說明操作系統(tǒng)：Ubuntu16.04JDK版本：1.8Hadoop：版本2.7.2Vmwareworkstation：12.0軟件下載下載ubuntu16：/releases/16.04/release/創(chuàng)建用戶hadoop為操作系統(tǒng)添加hadoop用戶并設(shè)置密碼，之后對Hadoop的操作均由hadoop用戶完成創(chuàng)建hadoop用戶：

$adduserhadoop

后續(xù)步驟安裝軟件目錄/home/hadoop/安裝包Hadoop的三種安裝模式單機(jī)模式standalonemode在這種默認(rèn)模式下配置文件是沒有信息的，Hadoop完全運(yùn)行在本地該模式主要用于開發(fā)調(diào)試MapReduce程序的應(yīng)用邏輯偽分布式模式pseudodistributedmodeHadoop通過不同的java進(jìn)程模擬多個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)模擬的分布式配置偽分布式模式適合初學(xué)者用于學(xué)習(xí)Hadoop的原理和基本使用方法分布式（集群）模式distributedmodeHadoop安裝在多個(gè)（3+）個(gè)節(jié)點(diǎn)的集群之上分布式模式是Hadoop在實(shí)際生產(chǎn)應(yīng)用中采用的模式安裝JDK下載jdk，hadoop2.7.2不再支持jdk1.6及以下版本，把離線包拷入到/home/hadoop/文件夾下,然后執(zhí)行命令安裝。#suhadoop$cd$tar-zxvfjdk-8u91-linux-x64.tar.gz$mvjdk1.8.0_91/jdk1.8配置JDK環(huán)境變量安裝完jdk后，需要配置環(huán)境變量，把java變成系統(tǒng)內(nèi)命令編輯.profile文件來修改系統(tǒng)環(huán)境變量。exportJAVA_HOME=/home/hadoop/jdk1.8exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$JAVA_HOME/bin:$PATHexportJRE_HOME=$JAVA_HOME/jre

$file$java-version安裝hadoop下載解壓hadoop安裝包下載hadoop安裝包hadoop-2.7.2.tar.gz下載路徑：/repos/dist/release/hadoop/common/hadoop-2.7.2/將下載的文件拷貝到/home/hadoop目錄中,執(zhí)行命令進(jìn)行安裝

tar-xvfhadoop-2.7.2.tar.gz配置ssh免密碼登錄hadoop的進(jìn)程之間通信使用ssh方式，為了實(shí)現(xiàn)自動化操作，需要配置ssh免密碼登陸方式。生成公鑰、私鑰對su–hadoop$ssh-keygen-trsa將公鑰追加到authorized_keys文件中：

cat.ssh/id_rsa.pub>>.ssh/authorized_keys安裝hadoop下載解壓hadoop安裝包下載hadoop安裝包hadoop-2.7.2.tar.gz下載路徑：/repos/dist/release/hadoop/common/hadoop-2.7.2/將下載的文件拷貝到/home/hadoop目錄中,執(zhí)行命令進(jìn)行安裝

tar-xvfhadoop-2.7.2.tar.gzHadoop配置修改hadoop環(huán)境變量配置

$sudovi/etc/.profileexportHADOOP_HOME=/home/hadoop/hadoop-2.7.2exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.2.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.2.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

配置hadoop集群配置之前，需要創(chuàng)建以下文件夾：/home/hadoop/data/namenode/home/hadoop/data/datanode/home/hadoop/tmp修改hadoop-env.sh文件:

exportJAVA_HOME=/home/hadoop/jdk1.8修改yarn-env.sh文件:exportJAVA_HOME=/home/hadoop/jdk1.8配置hadoop集群修改core-site.xml文件，

參考下面的內(nèi)容修改:<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value></property>

</configuration>

配置hadoop集群修改hdfs-site.xml文件，參考下面的內(nèi)容修改:<configuration><property><name>.dir</name><value>file:/home/hadoop/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/data/datanode</value></property><property><name>node.secondary.http-address</name><value>master:50090</value></property><property><name>dfs.replication</name><value>1</value></property></configuration>配置hadoop集群修改mapred-site.xml文件，參考下面的內(nèi)容修改:<configuration><property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property></configuration>配置hadoop集群修改yarn-site.xml文件，參考下面的內(nèi)容修改:<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value