hadoop1.2.1的詳細(xì)配置

1、1 虛擬機(jī)的安裝（VMware），默認(rèn)就是了2 vmtools的安裝（安裝tool后，方便虛擬機(jī)中系統(tǒng)與當(dāng)前系統(tǒng)相互拷貝文件），有的ubuntu系統(tǒng)會(huì)自動(dòng)的安裝。安裝方法：首先打開自己安裝在虛擬機(jī)中的ubuntu，然后點(diǎn)擊VMware的菜單欄的VM，選擇Install VMware Tools遇到問題： the path “” is not a valid path后的解決方法解決方法：2.1 有可能缺失kernel headers，使用sudo apt-get install linux-headers-#(uname -r)2.2出現(xiàn)Enter the path to the kernel

2、 header files for the 3.5.0-23-generic kernel?時(shí)，輸入/usr/src/linux-headers-3.5.0-23-generic/include2.3出現(xiàn)would you like to change ityes 選擇輸入no， 一直enter3 安裝完ubuntu，root用戶不能使用遇到問題：root密碼認(rèn)證失敗解決方法：在終端輸入命令 sudo passwd，然后輸入當(dāng)前用戶的密碼，最后按照提示輸入給root輸入密碼4 ubuntu更新后，用戶不能登錄遇到問題：fail to load session解決方法：輸入sudo update

3、 manager c-d系統(tǒng)更新，然后安裝其他的桌面sudo apt-get install gnome，然后選用GNOME登錄，用戶名與密碼都是更新前的。5 JDK安裝安裝方法：5.1 把.tar.gz的JDK文件復(fù)制到/usr下面的一個(gè)新建的文件中（mkdir /usr/apps）:注意放到VM中的文件的完整性(使用root用戶解壓文件)5.2使用tar zxvf filename【絕對(duì)路徑或者相對(duì)路徑，后者需要在apps目錄下操作】解壓文件sudo tar zxvf /usr/apps/ jdk-7u45-linux-i586.tar.gz遇到問題：文件解壓中途中斷解決方法：查看復(fù)制到虛

4、擬機(jī)中文件的屬性，看看是不是與當(dāng)前系統(tǒng)中的文件大小一樣，不一樣就反復(fù)復(fù)制，知道一樣大小為止5.3 配置環(huán)境變量sudo vi /etc/profile ，然后按i是插入，按Esc+：，再輸入wq！是退出并保存；也可以使用sudo gedit /etc/profile，前提是已經(jīng)安裝gedit，如果沒有安裝就sudo apt-get install gedit配置文件內(nèi)容：export JAVA_HOME=/usr/apps/jdk1.7.0_45export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jare

5、xport PATH=$PATH:$JAVA_HOME/bin:$HOME/bin5.4 同時(shí)加入ubuntu的sbin的path，因?yàn)橛械南到y(tǒng)的很多命令在sbin下面，不能直接用，配在path中，就可以不用到目錄sbin下執(zhí)行；export PATH=$PATH:/sbin5.5 使配置文件立即生效，如果重啟電腦會(huì)自動(dòng)生效的。輸入命令source /etc/profile或者./etc/profile5.6 測(cè)試jdk是否正確安裝java version，查看是否是自己配置的jdk的版本遇到問題：沒有輸出版本信息（系統(tǒng)已近安裝有，現(xiàn)在有兩個(gè)了，不能識(shí)別）解決方法：輸入： update-alt

6、ernatives -install /usr/bin/java java /usr/apps /jdk1.7.0_45/bin/java 300輸入： update-alternatives -install /usr/bin/javac javac /usr/apps /jdk1.7.0_45/bin/javac 3005.7 網(wǎng)絡(luò)上提供的自動(dòng)安裝方法（不建議，擔(dān)心找不到安裝目錄，對(duì)后面的配置不利）sudo apt-get install python-software-propertiessudo add-apt-repository ppa:webupd8team/javasudo a

7、pt-get updatesudo apt-get install oracle-java6-installer6 ssh的安裝直接執(zhí)行sudo apt-get install openssh-server如果行不通就先升級(jí)部分軟件sudo apt-get updatesudo apt-get upgradesudo apt-get install openssh-server7創(chuàng)建hadoop用戶sudo addgroup hadoopsudo adduser -ingroup hadoop hdusersudo gedit /etc/sudoers編輯文件，在root ALL=(ALL:A

8、LL)ALL行下添加hduser ALL=(ALL:ALL)ALL。如果不添加這行，hduser將不能執(zhí)行sudo操作。8 clone系統(tǒng)為了不破壞模板，都不在原系統(tǒng)上操作了，后面所有的操作都在clone版上做，計(jì)劃三臺(tái)機(jī)器，也就是clone三個(gè)。clone時(shí)需要關(guān)閉模版機(jī)器（sudo shutdown P now）9 網(wǎng)絡(luò)配置9.1使用bridge的方式也是可以的。只要虛擬機(jī)中所有的linux的ip都設(shè)置為靜態(tài)的，使用與主機(jī)同一個(gè)網(wǎng)段的地址中沒有被用過的就行了。9.2使用nat方式，選用Vnet8對(duì)其進(jìn)行配置，其ip地址可以自定義，同時(shí)注意Vnet8的ip地址與其網(wǎng)管不要弄得一樣，dns服務(wù)

9、器就與本機(jī)的設(shè)置為一樣，備用的設(shè)為本機(jī)網(wǎng)段的dns地址。在本地連接中的以太網(wǎng)屬性的共享中，將Vnet8設(shè)置為其共享對(duì)象，同時(shí)打上勾。禁用再啟用Vnet8,網(wǎng)絡(luò)就可用了。特別注意，要在真實(shí)系統(tǒng)的管理中將VMnet的服務(wù)打開。方式一（我使用的，配置后可以訪問internet）9.2.1 打開，選擇配置VMnet8右鍵選擇屬性然后選擇進(jìn)行ip配置注意DNS需要與自己主機(jī)中ip的DNS一樣，我的主機(jī)的配置為關(guān)鍵的一步：將本地連接共享給VMnet8選擇屬性，在網(wǎng)絡(luò)中選中，這樣可以保證即使nat配置不成功，我們也可以選用bridge的方式上網(wǎng)更新系統(tǒng)或者安裝文件。再選擇共享這樣就可以在VMnet8中看到通

10、網(wǎng)了方式二（可以保證nat配通，沒有試過是否可以訪問internet）9.2.2 在VMware Workstation選擇Edit中的Virtual Network Editor現(xiàn)在VMnet8在NAT Settings中配置好網(wǎng)關(guān)9.3在VM中選擇setting，設(shè)置Virtual Machine Settings，選擇Network Adapter,設(shè)置為nat。三臺(tái)clone的機(jī)器都需要這個(gè)操作。接在虛擬機(jī)中ubuntu上設(shè)置靜態(tài)ip，計(jì)劃配置為00 master01 date102 date2 sudo gedit /

11、etc/network/interfaces或者sudo vi /etc/network/interfaces下面是master的配置，data1與data2 的配置一樣，只是address對(duì)應(yīng)自己的就是在auto loiface lo inet loopback后面加上iface eth0 inet staticaddress 00netmask gateway 54dns-nameservers 54auto eth0重啟ubuntu的網(wǎng)卡：/etc/init.d/networking restar

12、t最好是重啟電腦，做完主機(jī)名的修改再重新起動(dòng)9.4 配置主機(jī)名與網(wǎng)絡(luò)名修改 sudo gedit /etc/hostname 下的主機(jī)名；分別為master、data1、data2修改 sudo gedit /etc/hosts 文件masterdata1data29.5 重啟電腦，查看ip地址，輸入命令ifconfig，查看三臺(tái)clone的系統(tǒng)是否可以互訪，例如在master中ping c 4 01，如果網(wǎng)絡(luò)名配置成功，可以直接ping c 4 data110 配置無密碼登錄（使用前面建立的用戶hduser登陸）10.1在/home/hduser下新建文件 mkdir

13、.ssh（shell的工作目錄因該是/home/hduser, 如果不是，調(diào)整方式cd /home/hduser）10.2 echo "" > .ssh/authorized_keys10.3 ssh-keygen(后面全部enter就是了)10.4 cat .ssh/id_rsa.pub >>.ssh/authorized_keys10.5 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys注意：10.1-10.5需要在每臺(tái)機(jī)器上都執(zhí)行，下面的步驟只需要在master上執(zhí)行10.6上面條命令是把其他sl

14、ave節(jié)點(diǎn)的公鑰拷貝到master節(jié)點(diǎn)中的authorized_keys，有幾個(gè)data節(jié)點(diǎn)就執(zhí)行幾次（本文只有兩個(gè)data節(jié)點(diǎn)）ssh 01 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysssh 02 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys10.7把a(bǔ)uthorized_keys文件拷貝回每一個(gè)節(jié)點(diǎn)，同樣，有幾個(gè)data節(jié)點(diǎn)就執(zhí)行幾次scp /.ssh/authorized_keys 01:/.ssh/aut

15、horized_keysscp /.ssh/authorized_keys 02:/.ssh/authorized_keys10.8 測(cè)試（特別小心，需要在每臺(tái)機(jī)器上都測(cè)試是否能與其余的機(jī)器進(jìn)行無密匙登陸，因?yàn)榈谝淮问切枰艽a登陸的，只有用過密碼登陸后，以后才不用密碼的，不然在后面啟動(dòng)hadoop時(shí)，會(huì)提示錯(cuò)誤，導(dǎo)致live node節(jié)點(diǎn)數(shù)為0，也就是說配置不成功）例如在master上測(cè)試data1：ssh data1（如果網(wǎng)絡(luò)名沒有配通，用ssh 01）11 hadoop的安裝11.1 自動(dòng)下載（童謠可以去官網(wǎng)下載好后再放到虛擬機(jī)中）下載Hadoo

16、p1.2.1版本(自動(dòng)下載hadoop)cd /home/hduser$ wget$ tar zxf hadoop-1.2.1.tar.gz$ mv hadoop-1.2.1 hadoop #文件重命名11.2 手動(dòng)配置（只用在master中配置，配置好再復(fù)制就行了）11.2.1把.tar.gz的JDK文件復(fù)制到/home/hduser下面的一個(gè)新建的文件中，使用tar zxvf filename解壓文件，mv hadoop-1.2.1 hadoop #文件重命名（也可以不重新命名）11.2.2配置conf/hadoop-env.sh文件，加入JAVA_HOME（找到自己配置JDK的地點(diǎn)）11

17、.2.3配置/conf/core-site.xml需要在/home/hduser/hadoop/hadoop下新建目錄temp11.2.4配置/conf/mapred-site.xml11.2.5配置/conf/hdfs-site.xml此處的name和data等目錄不能提前創(chuàng)建，如果提前創(chuàng)建會(huì)出問題。11.2.6配置masters和slaves主從節(jié)點(diǎn)（如果網(wǎng)絡(luò)名稱配置正確，可以使用網(wǎng)絡(luò)名稱的，建議直接使用ip地址，免得帶來不必要的麻煩）11.3把配置好的hadoop文件夾拷貝到其他集群的機(jī)器中scp -r /home/hduser/hadoop 01:/home/hd

18、user/scp -r /home/hduser/hadoop 02:/home/hduser/11.4啟動(dòng)+測(cè)試+關(guān)閉11.4.1 在初次運(yùn)行Hadoop的時(shí)候需要初始化Hadoop文件系統(tǒng)，命令如下：cd /home/hduser/hadoop/hadoopbin/hadoop namenode -format #格式化文件系統(tǒng)格式成功界面11.4.2 啟動(dòng)所有節(jié)點(diǎn)bin/start-all.sh11.4.3 查看集群的狀態(tài)hadoop dfsadmin report或者h(yuǎn)ttp:/master:50070/（網(wǎng)絡(luò)名沒有配通請(qǐng)使用00:50070/），在界面中能看到live nodes不是0，或者用輸入jps查看輸出（不建議）（前面的配置是2個(gè)data節(jié)點(diǎn)，所以live nodes是2）11.5 測(cè)試測(cè)試系統(tǒng)吞吐量：使用10個(gè)map任務(wù)寫10個(gè)文件，每個(gè)500m。命令:hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -write -nrFiles 10 -