hadoop安裝及運行維護匯總小問題

1、windows安裝hadoop博客分類：· hadoopWindowsHadoopJavaJDKMapreducehadoop是什么就不多說了，看這里hadoop推薦部署環(huán)境是在linux，但是我們想要在windows體驗一下還是可以的，followme我的環(huán)境：windowsxp，hadoop安裝包(0.20.1)，cygwin打開cygwinJava代碼1. explorer.把hadoop的包放到這個目錄下然后輸入命令Java代碼1. tarzxfhadoop-0.20.1.tar.gz解壓完成后進入hadoop-0.20.1的配置目錄，打開core-site.xml，加入以下

2、內容。這里是定義namenode運行地址和端口Xml代碼1. <property>2. <name></name>3. <value>hdfs:/localhost:9000</value>4. </property>打開hdfs-site.xml，加入以下內容Java代碼1. <property>2. <name>dfs.replication</name>3. <value>1</value>4. </property>這里把復制因子設置為1是因為

3、我們在windows上做偽分布，只能啟動一個datanode接下來可以定義namenode數(shù)據(jù)目錄，和datanode數(shù)據(jù)目錄。當然這個不是必須的，默認是在/tmp目錄下面Xml代碼1. <property>2. <name></name>3. <value>c:/filesystem/name</value>4. </property>5. <property>6. <name>r</name>7. <value>c:/filesystem/data</value&g

4、t;8. </property>最后修改hadoop-env.sh，把下面注釋的這行打開，并設置為你的jdk路徑。如果你的java在ProgramFiles下，則整個jdk路徑加引號Java代碼exportJAVA_HOME=你的jdk路徑ok，在cygwin下進入bin目錄,首先需要格式化namenodeJava代碼1. ./hadoopnamenode-format然后啟動namenodeJava代碼1. ./hadoopnamenode再打開一個datanode，同樣在bin目錄下Java代碼1. ./hadoopdatanode不出意外，你會看到namenodedatano

5、de我們可以試一下上傳文件Java代碼1. ./hadoopfs-putd:/download/vmware6.03.rar/tt/vm.rarlist一下Java代碼1. ./hadoopfs-lsr/tt結果：Java代碼1. -rw-r-r-1Administratorsupergroup207939702010-01-1815:52/tt/vm.rar有興趣的筒子可以去c:/filesystem/data/current看看哈：）A.當我執(zhí)行./hadoopnamenode-format時為啥會出現(xiàn)下面的錯誤提示，我的hadoop-env.sh中JAVA_HOME配置為：exportJ

6、AVA_HOME=/cygdrive/d/Java/jdk1.6.0_10。出現(xiàn)的問題是：/cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line2:$'r':commandnotfound./cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line52:$'r':commandnotfound/bin/java:Nosuchfileordirect/bin/java:cannotexecute:NOsuchfileordirectory0_10請指教解決了：在conf/目錄下執(zhí)行“dos

7、2unixhadoop-env.sh”就OK了。Lulu_pcB. hadoop錯誤INFO ipc.Client: Retrying connect to server: localhost/ .  2012-05-14 16:23:13|  分類： hadoop|字號 訂閱hadoop安裝完成后，必須要用haddop namenode format格式化后，才能使用，如果重啟機器在啟動hadoop后，用hadoop fs -ls命令老是報 10/09/25 18:35:29 INFO ipc.Client: Re

8、trying connect to server: localhost/:9000. Already tried 0 time(s).的錯誤，用jps命令，也看不不到namenode的進程， 必須再用命令hadoop namenode format格式化后，才能再使用    原因是：hadoop默認配置是把一些tmp文件放在/tmp目錄下，重啟系統(tǒng)后，tmp目錄下的東西被清除，所以報錯    解決方法：在conf/core-site.xml （0.19.2版本的為conf/hadoop-site.xml）中增加以下內

9、容   <property>   <name>hadoop.tmp.dir</name>   <value>/var/log/hadoop/tmp</value>  <description>A base for other temporary directories</description>  </property>  重啟hadoop后，格式化namenode即可 C. 錯誤1. .could

10、only be replicated to 0 nodes,instead of 1這個錯誤主要的解決方法是:1.把 tmp文件全部刪除。3.重新格式化namenode :(bin/hadoop namenode -format)也許你不知道hadoop 的tmp文件在哪里，默認情況下應該才 cygwin根目錄下的tmp文件夾內：如下圖所示：把它們都刪掉。就OK了。 (cd /tmp  ,   rm -rf *)參考博客：錯誤2：name node is in safe mode直接輸入命令： bin/hadoop dfsadmin -safemode leave 離開安全

11、模式-華麗分割-記錄配置過程到此結束，如有錯誤，煩請指出，不勝感激。D. hadoop集群啟動start-all.sh的時候，slave總是無法啟動datanode，并會報錯： could only be replicated to 0 nodes, instead of 1 就是有節(jié)點的標識可能重復（個人認為這個錯誤的原因）。也可能有其他原因，一下解決方法請依次嘗試，我是解決了。解決方法：1. 刪除所有節(jié)點dfs.data.dir和dfs.tmp.dir目錄（默認為tmp/dfs/data和tmp/dfs/tmp）下的數(shù)據(jù)文件；然后重新hadoop namenode -format 格式化節(jié)

12、點；然后啟動。2. 如果是端口訪問的問題，你應該確保所用的端口都打開，比如hdfs:/machine1:9000/、50030、50070之類的。執(zhí)行#iptables -I INPUT -p tcp dport 9000 -j ACCEPT 命令。3. 如果還有報錯：hdfs.DFSClient: Exception in createBlockOutputStream .ConnectException: Connection refused；應該是datanode上的端口不能訪問，到datanode上修改iptables：#iptables -I INPUT -s machine1 -p

13、 tcp -j ACCEPT4. 還有可能是防火墻的限制集群間的互相通信。嘗試關閉防火墻。/etc/init.d/iptables stop5. 最后還有可能磁盤空間不夠了，請查看 df -al6. 我在解決這個問題的時候還有人說：先后啟動namenode、datanode可以解決這個問題（本人嘗試發(fā)現(xiàn)沒用，大家可以試試）$hadoop-daemon.sh start namenode ； $hadoop-daemon.sh start datanodeE.(1) 如果datanode連接不上namenode，導致datanode無法啟動。ERROR org.apache.hadoop.hdf

14、s.server.datanode.DataNode: java.io.IOException: Call to . failed on local exception: .NoRouteToHostException: No route to host(2)報錯 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.EOFException  無法向datanode寫數(shù)據(jù)塊，即表明無法向datanode正常連接解決方法：關閉防火墻：如果

15、是Linux系統(tǒng)復制代碼代碼如下:service iptables stop 禁用selinux:編輯 /etc/selinux/config文件，設置“SELINUX=disabled”如果是在windows平臺，則需要將由cygwin安裝的sshd程序加入被windows防火墻允許通過的程序。 F. 安全模式導致的錯誤org.apache.hadoop.dfs.SafeModeException: Cannot delete ., Name node is in safe mode在分布式文件系統(tǒng)啟動的時候，開始的時候會有安全模式，當分布式文件系統(tǒng)處于安全模式的情況下，

16、文件系統(tǒng)中的內容不允許修改也不允許刪除，直到安全模式結束。安全模式主要是為了系統(tǒng)啟動的時候檢查各個DataNode上數(shù)據(jù)塊的有效性，同時根據(jù)策略必要的復制或者刪除部分數(shù)據(jù)塊。運行期通過命令也可以進入安全模式。在實踐過程中，系統(tǒng)啟動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示，只需要等待一會兒即可。復制代碼代碼如下:hadoop dfsadmin -safemode leave G. hadoop-root-datanode-master.log 中有如下錯誤：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: ja

17、va.io.IOException: Incompatible namespaceIDs in導致datanode啟動不了。原因:每次namenode format會重新創(chuàng)建一個namenodeId,而dfs.data.dir參數(shù)配置的目錄中包含的是上次format創(chuàng)建的id,和.dir參數(shù)配置的目錄中的id不一致。namenode format清空了namenode下的數(shù)據(jù),但是沒有清空datanode下的數(shù)據(jù),導致啟動時失敗,所要做的就是每次fotmat前,清空dfs.data.dir參數(shù)配置的目錄.格式化hdfs的命令復制代碼代碼如下:hadoop namenode -f

18、ormat  關閉安全模式H. 代碼總是不能成功運行,?產生如下錯誤：java.io.FileNotFoundException: FileE:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005020105_0001/attempt_201005020105_0001_m_000002_0/work/tmpdoes not exist.at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:36

19、1)at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)at org.apache.hadoop.mapred.Child.main(Child.java:155)在?Cygwin?下必須設置mapreduce任務的中間暫存目錄mapred.child.tmp，否則會出錯的?在mapred-site.xml中：?添加:?<property

20、>?<name>mapred.child.tmp</name><value>/home/hadoop-0.20.1/temp</value></property>?注：盡量不要使用系統(tǒng)的/tmp，可能因某種原因會丟失文件，然后對namenode進行格式化$ hadoop namenode -format如果報錯無法格式化，存在不可刪除的文件，可能是因為hadoop.tmp.dir的目錄中對應的目錄中的文件沒刪除干凈。即刪除hadoop/tmp/dfs目錄中 data和tmp或者name中的current目錄的數(shù)據(jù)文件如果文件不可

21、刪除，報錯設備忙或者資源忙錯誤，則是被相關的進程所占用，通過ps查看，殺掉相關的進程id。（如果是windows環(huán)境部署hadoop，則java進程需要被任務管理器殺死）。刪除相關的占用進程，即可刪除hadoop/tmp/dfs中的殘存數(shù)據(jù)文件，然后重新對namenode格式化。然后執(zhí)行相關的命令運行hadoop$ start-all.sh$ hadoop dfsadmin -report 查看當前hadoop的配置情況，包括datanode情況$ hadoop jar jar文件 任務 Input目錄 output目錄進行相關的hadoop任務二、hadoop集群啟動start-all.sh的時候，slave總是無法啟動datanode，并會報錯： could only be rep