hadoop安裝指南非常詳細(xì)包成功

1、安裝HADOOP集群服務(wù)器1. 規(guī)劃功能HOSTNAMEIP說明MasterHDM01Namenode 兼datanode SlaveHDS02Datanode SlaveHDS03Datanode ClientHDC04HADOOP客戶端(HDFS/HIVE)2. 環(huán)境2.1. 系統(tǒng)環(huán)境安裝 centOS6.2 => 軟件工作站（software Development Workstation）3. Hadoop安裝3.1. 安裝和配置SSH 、RSYNC( Root用戶)安裝 SSH和rsync 一般系統(tǒng)自帶了；3.2. 創(chuàng)建Hadoop運(yùn)行用戶( Root用戶)一般我們不會經(jīng)常使用

2、root用戶運(yùn)行hadoop，所以要?jiǎng)?chuàng)建一個(gè)平常運(yùn)行和管理Hadoop的用戶；Ø 創(chuàng)建hadoop用戶和用戶組 useradd hadoopPS:master和slave節(jié)點(diǎn)機(jī)都要?jiǎng)?chuàng)建相同的用戶和用戶組，即在所有集群服務(wù)器上都要建hadoop用戶和用戶組。 3.3. 關(guān)閉防火墻( Root用戶)在啟動前關(guān)閉集群中所有機(jī)器的防火墻，不然會出現(xiàn)datanode開后又自動關(guān)閉。所以對集群所有服務(wù)器關(guān)閉防火墻：chkconfig iptables off 查看防火墻狀態(tài)：service iptables status 永久關(guān)閉防火墻：chkconfig iptables off 查看防火墻狀

3、態(tài)：chkconfig -list iptables 3.4. 配置機(jī)器名和網(wǎng)絡(luò)( Root用戶) n 配置HOSTNAME vi /etc/sysconfig/network，修改：HOSTNAME=hmaster 其他節(jié)點(diǎn)依次改為slave1，slave2.不過必須和上面一致 驗(yàn)證; 輸入命令 hostname n 配置網(wǎng)絡(luò)IP cd /etc/sysconfig/network-scripts vi ifcfg-eth0（因?yàn)橛布煌?，其中的“eth0”可能是其他名稱） n 配置IP和HOSTNAME映射關(guān)系vi /etc/hosts rootNOAS # more /etc/hosts

4、# localhost localhost.localdomain localhost4 #localhost4.localdomain4:1 localhost localhost.localdomain localhost6 localhost6.localdomain6 HDM01 HDS02 HDS03 HDC043.5. 配置非root用戶免驗(yàn)證登錄SSH（ hadoop用戶）提示：Linux配置ssh是通過欺騙登錄用戶名的。所以上面創(chuàng)建用戶的時(shí)候，我們都把3個(gè)節(jié)點(diǎn)的username都設(shè)置成hadoop，主要是用戶名必須一

5、致在hadoop用戶的home目錄，即 cd /home/hadoop 下執(zhí)行命令 用hadoop用戶登錄（第 一/二/三步分別在每一個(gè)節(jié)點(diǎn)上都要執(zhí)行）第一步：ssh-keygen -t rsa -P '' -f /.ssh/id_rsa 意思是讀取 id_dsa文件默認(rèn) 全部是yes安裝和root用戶一樣，會發(fā)現(xiàn)多處2個(gè)文件，一個(gè)是公開密匙，一個(gè)是訪問用戶名字信息的第二步：cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys是把暴露出來的公共密匙按順序?qū)隺uthorized_keys中保存第三步：chmod 700 /.ss

6、hchmod 600 /.ssh/authorized_keysssh機(jī)制很嚴(yán)謹(jǐn)，對文件的權(quán)限要求非常嚴(yán)格我們需要把.ssh文件夾的權(quán)限改為700 ，默認(rèn)是777authorized_keys的權(quán)限這里是對的，600第四步：在主節(jié)點(diǎn)上執(zhí)行下列命令ssh HDS02 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysssh HDS03 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysscp authorized_keys hadoopHDS02:/home/hadoop/.ssh/scp a

7、uthorized_keys hadoopHDS03:/home/hadoop/.ssh/最終authorized_keys文件要有各個(gè)集群服務(wù)器的信息第五步：驗(yàn)證第一次會要求輸入密碼，完成后測試，每臺機(jī)都要求能聯(lián)通：ssh HDM01ssh HDS02ssh HDS03不輸入密碼 就表示成功了；3.6. 安裝JDK( hadoop用戶) 檢查是否已安裝JDK: rpm -qa|grep jdk 檢查JAVA安裝目錄： whick java 檢查是否配置JAVA_HOME: env|grep JAVA_HOME which java 和 JAVA_HOME 路徑不一致，是做了LINK映射roo

8、tNOAS # su - hadoophadoopNOAS $ rpm -qa|grep jdkhadoopNOAS $ which java/usr/bin/javahadoopNOAS $ ls -l /usr/bin/javalrwxrwxrwx. 1 root root 22 Feb 26 22:26 /usr/bin/java -> /etc/alternatives/javahadoopNOAS $ ls -l /etc/alternatives/javalrwxrwxrwx. 1 root root 46 Feb 26 22:26 hadoopNOAS $ env|grep

9、 JAVA_HOME 在當(dāng)前用戶配置JAVA_HOME,在.bash_profile文件增加藍(lán)色部分，最后 source /home/hadoop/.bash_profile ，使生效hadoopNOAS $ cd /home/hadoop/hadoopNOAS $ more .bash_profile# .bash_profile# Get the aliases and functionsif -f /.bashrc ; then . /.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/bin

10、export PATHPATH=$JAVA_HOME/bin:$PATHCLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOMEexport PATHexport CLASSPATHhadoopNOAS $ 3.7. 安裝Hadoop( root用戶)3.7.1. 安裝rpm包：用rpm包安裝，目錄都是默認(rèn)的比較規(guī)范 用root用戶： 3.7.2. 配置Hadoop配置文件(每臺機(jī)器服務(wù)器都要配置，且都是一樣的，配置完一臺其他的只需要拷貝,每臺機(jī)上的core-site.xml和ma

11、pred-site.xml都是配master服務(wù)器的hostname，因?yàn)槎际桥渲胔adoop的入口) core-site.xml：整個(gè)hadoop入口的配置 vi /etc/hadoop/core-site.xml，配置如下內(nèi)容： <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> <property> <name></name> <va

12、lue>hdfs:/HDM01:9000</value> </property> vi /etc/hadoop/hdfs-site.xml，配置如下內(nèi)容： <property> <name>dfs.replication</name> <value>2</value> </property> vi /etc/hadoop/mapred-site.xml，配置如下內(nèi)容： <property> <name>mapred.job.tracker</name> &l

13、t;value>HDM01:9001</value> </property>配置說明：n core-site.xmlØ hadoop.tmp.dir是hadoop文件系統(tǒng)依賴的基礎(chǔ)配置，很多路徑都依賴它。它默認(rèn)的位置是在/tmp/$user下面，但是在/tmp路徑下的存儲是不安全的，因?yàn)閘inux一次重啟，文件就可能被刪除。修改該參數(shù)后要格式NAMENODE: hadoop namenode -format3.7.3. 配置Hadoop集群配置文件(只需要配置namemode節(jié)點(diǎn)機(jī),這里的HDM01即做namenode也兼datanode，一般情況nam

14、enode要求獨(dú)立機(jī)器，namemode不兼datanode) vi /etc/hadoop/masters，配置如下內(nèi)容： HDM01 vi /etc/hadoop/slaves，配置如下內(nèi)容：HDM01HDS02HDS033.7.4. 配置非ROOT用戶權(quán)限n （包含用非root用戶啟動Hadoop所需的額外項(xiàng)） 將/usr/sbin/下的以下腳本文件的owner設(shè)為testusr，且賦給owner全權(quán)rwx :chown hadoop:hadoop /usr/sbin/hadoop-create-user.shchown hadoop:hadoop /usr/sbin/hadoop-da

15、emon.shchown hadoop:hadoop /usr/sbin/hadoop-daemons.shchown hadoop:hadoop /usr/sbin/hadoop-setup-applications.shchown hadoop:hadoop /usr/sbin/hadoop-setup-conf.shchown hadoop:hadoop /usr/sbin/hadoop-setup-hdfs.shchown hadoop:hadoop /usr/sbin/hadoop-setup-single-node.shchown hadoop:hadoop /usr/sbin/h

16、adoop-validate-setup.shchown hadoop:hadoop /usr/sbin/rccchown hadoop:hadoop /usr/sbin/slaves.shchown hadoop:hadoop /usr/sbin/start-all.shchown hadoop:hadoop /usr/sbin/start-balancer.shchown hadoop:hadoop /usr/sbin/start-dfs.shchown hadoop:hadoop /usr/sbin/start-jobhistoryserver.shchown hadoop:hadoop

17、 /usr/sbin/start-mapred.shchown hadoop:hadoop /usr/sbin/stop-all.shchown hadoop:hadoop /usr/sbin/stop-balancer.shchown hadoop:hadoop /usr/sbin/stop-dfs.shchown hadoop:hadoop /usr/sbin/stop-jobhistoryserver.shchown hadoop:hadoop /usr/sbin/stop-mapred.shchown hadoop:hadoop /usr/sbin/update-hadoop-env.

18、shchmod u+rwx /usr/sbin/hadoop-create-user.shchmod u+rwx /usr/sbin/hadoop-daemon.shchmod u+rwx /usr/sbin/hadoop-daemons.shchmod u+rwx /usr/sbin/hadoop-setup-applications.shchmod u+rwx /usr/sbin/hadoop-setup-conf.shchmod u+rwx /usr/sbin/hadoop-setup-hdfs.shchmod u+rwx /usr/sbin/hadoop-setup-single-no

19、de.shchmod u+rwx /usr/sbin/hadoop-validate-setup.shchmod u+rwx /usr/sbin/rccchmod u+rwx /usr/sbin/slaves.shchmod u+rwx /usr/sbin/start-all.shchmod u+rwx /usr/sbin/start-balancer.shchmod u+rwx /usr/sbin/start-dfs.shchmod u+rwx /usr/sbin/start-jobhistoryserver.shchmod u+rwx /usr/sbin/start-mapred.shch

20、mod u+rwx /usr/sbin/stop-all.shchmod u+rwx /usr/sbin/stop-balancer.shchmod u+rwx /usr/sbin/stop-dfs.shchmod u+rwx /usr/sbin/stop-jobhistoryserver.shchmod u+rwx /usr/sbin/stop-mapred.shchmod u+rwx /usr/sbin/update-hadoop-env.shn 將/usr/bin/下的hadoop設(shè)為所有人（不是其他人）可讀可執(zhí)行。即chmod 555（不是chmod 005）chmod 555 /us

21、r/bin/hadoopn /var/log/hadoop/及其下（循環(huán)）的owner設(shè)為testusr，且賦給owner全權(quán)rwx /var/run/hadoop/及其下（循環(huán)）的owner設(shè)為testusr，且賦給owner全權(quán)rwx/home/hadoop/及其下（循環(huán)）的owner設(shè)為testusr，且owner權(quán)限設(shè)為“rwxr-xr-x”，設(shè)為更大權(quán)限不行，主要是因?yàn)?home/hadoop/tmp/dfs/data的權(quán)限需要為“rwxr-xr-x”chown -R hadoop:hadoop /var/log/hadoop/ chown -R hadoop:hadoop /var

22、/run/hadoop/chown -R hadoop:hadoop /home/hadoop/chmod -R u+rwx /var/log/hadoop/ chmod -R u+rwx /var/run/hadoop/chmod -R u+rwx /home/hadoop/3.7.5. 配置HADOOP的JAVA環(huán)境 配置Hadoop的java環(huán)境與env的JAVA_HOME保持一致,文件/etc/hadoop/hadoop-env.sh # The java implementation to use.#export JAVA_HOME=/usr/java/defaultexport H

23、ADOOP_CONF_DIR=$HADOOP_CONF_DIR:-"/etc/hadoop"3.8. 格式化HDFS( hadoop用戶) hadoop namenode -format（用hadoop用戶） 重新format時(shí)，系統(tǒng)提示如下： Re-format filesystem in /home/hadoop/tmp/dfs/name ? (Y or N) 必須輸入大寫Y，輸入小寫y不會報(bào)輸入錯(cuò)誤，但format出錯(cuò)。chown -R hadoop:hadoop /home/hadoop/chmod -R 755 /home/hadoop/3.9. 啟動Hadoop

24、( hadoop用戶) Hadoop用戶登錄 命令: start-all.sh (記得關(guān)閉所有的防火墻)3.9.1. 驗(yàn)證hadoop （1）驗(yàn)證方法一：用"jps"命令在Master上用 java自帶的小工具jps查看5個(gè)進(jìn)程都在。   在Slave1上用jps查看進(jìn)程。 如果在查看Slave機(jī)器中發(fā)現(xiàn)"DataNode"和"TaskTracker"沒有起來時(shí)，先查看一下日志的，如果是"namespaceID"不一致問題，采用"常見問題FAQ6.2"進(jìn)行解決，如果

25、是"No route to host"問題，采用"常見問題FAQ6.3"進(jìn)行解決。 （2）驗(yàn)證方式二：用"hadoop dfsadmin -report"用這個(gè)命令可以查看Hadoop集群的狀態(tài)。Master服務(wù)器的狀態(tài)：  Slave服務(wù)器的狀態(tài)  4.4 網(wǎng)頁查看集群1）訪問"http:50030"   2）訪問"http: :50070" 3.10.  HADOOP語法3.10.1. 啟動/關(guān)閉

26、16; Start-all.sh / stop-all.shØ3.10.2. 進(jìn)程Ø JpsMaster節(jié)點(diǎn)：namenode/tasktracker（如果Master不兼做Slave, 不會出現(xiàn)datanode/TasktrackerSlave節(jié)點(diǎn)：datanode/Tasktracker說明：JobTracker  對應(yīng)于 NameNodeTaskTracker 對應(yīng)于 DataNodeDataNode 和NameNode 是針對數(shù)據(jù)存放來而言的JobTracker和TaskTracker是對于MapReduce執(zhí)行而言的 mapreduce中幾個(gè)主

27、要概念，mapreduce整體上可以分為這么幾條執(zhí)行線索：jobclient，JobTracker與TaskTracker。1、JobClient會在用戶端通過JobClient類將應(yīng)用已經(jīng)配置參數(shù)打包成jar文件存儲到hdfs，并把路徑提交到Jobtracker,然后由JobTracker創(chuàng)建每個(gè)Task（即MapTask和ReduceTask）并將它們分發(fā)到各個(gè)TaskTracker服務(wù)中去執(zhí)行2、JobTracker是一個(gè)master服務(wù)，軟件啟動之后JobTracker接收J(rèn)ob，負(fù)責(zé)調(diào)度Job的每一個(gè)子任務(wù)task運(yùn)行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就

28、重新運(yùn)行它。一般情況應(yīng)該把JobTracker部署在單獨(dú)的機(jī)器上。3、TaskTracker是運(yùn)行在多個(gè)節(jié)點(diǎn)上的slaver服務(wù)。TaskTracker主動與JobTracker通信，接收作業(yè)，并負(fù)責(zé)直接執(zhí)行每一個(gè)任務(wù)。TaskTracker都需要運(yùn)行在HDFS的DataNode上3.10.3. 文件系統(tǒng)HDFSn 查看文件系統(tǒng)根目錄：Hadoop fs ls / 文件系統(tǒng)的目錄和文件是不能再本地系統(tǒng)查看到的；相當(dāng)于兩個(gè)不同的系統(tǒng)；4. 常見錯(cuò)誤4.1. 錯(cuò)誤 ：(hadoop)could only be replicated to 0 nodes, instead of 1 現(xiàn)象：namen

29、ode端的namenodelog一直報(bào)could only be replicated to 0 nodes, instead of 1  錯(cuò)誤，表示沒有一個(gè)可用的節(jié)點(diǎn) 。datanode端一直報(bào)錯(cuò):Server at /1:54310 not available yet, Zzzzz.2011-03-03 11:33:10,047 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /1:54310,一直嘗試連接master但連接不上 。改正：在namenode中配置maste

30、r 和 jobtracker的ip時(shí)使用的是localhost ，將這兩個(gè)改成namenode以及jobtracker本機(jī)的實(shí)際ip后，問題得以解決 。 具體的原因我也不太明白 。當(dāng)然這個(gè)錯(cuò)誤還有其他的幾個(gè)原因（摘自網(wǎng)上）：dfs的空間不足 。namenode運(yùn)行在safemodel下。namenode所在機(jī)器的防火墻開著是的datanode無法訪問master 。這幾個(gè)問題詳見：Ø HADOOP 重新格式化文件后，要?jiǎng)h除 cd /home/hadop/tmp/data rm rf dataØ Name node is in safe mode.   在分布式文件系統(tǒng)啟動的時(shí)候，開始的時(shí)候會有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下，文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除，直到安全模式結(jié) 束。安全模式主要是為了系統(tǒng)啟動的時(shí)候檢查各個(gè)DataNode上數(shù)據(jù)塊的有效性，同時(shí)根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊。運(yùn)行期通過命令也可以進(jìn)入 安全模式。在實(shí)踐過