大數(shù)據(jù)技術(shù)基礎(chǔ)試驗(yàn)報(bào)告-Linux環(huán)境下hadoop集群的搭建與基本配置

大數(shù)據(jù)技術(shù)基礎(chǔ)實(shí)驗(yàn)報(bào)告-Linux環(huán)境下hadoop集群的搭建與基本配置實(shí)驗(yàn)內(nèi)容:（一）安裝和配置CentOS（二）安裝和配置Java環(huán)境（三）啟動(dòng)和配置SSH綿密登錄（四）安裝和配置Hadoop設(shè)置僅主機(jī)連接模式啟動(dòng)Linux虛擬機(jī)，手動(dòng)設(shè)置IP地址，注意和windows下虛擬網(wǎng)卡地址一個(gè)網(wǎng)段；.安裝winscp（windows和linux虛擬機(jī)傳數(shù)據(jù)的小工具）,pieTTY（linux小客戶端），并使用工具連接到虛擬機(jī)linux，通過winscp上傳jdk、hadoop到linux虛擬機(jī)；.永久關(guān)閉防火墻，和Selinux，不然ssh無密碼連接時(shí)可能會(huì)無法連接。執(zhí)行如下命令/etc/init.d/iptablesstopchkconfigiptablesoffvi/etc/sysconfig/selinux設(shè)置SELINUX=disabled.進(jìn)入/etc/hosts添加自己的IP地址和主機(jī)名。如20hadoop.安裝jdk并配置環(huán)境變量。（用RPM包或壓縮包）。rmp安裝命令：rpm-ivhjdk-7u67-linux-x86.rpmmv命令jdk相關(guān)目錄改名進(jìn)入/etc/profile文件，添加Java環(huán)境變量vi/etc/profileexportJAVA_HOME=/usr/local/jdkexportPATH=$PATH:$JAVA_HOME/bin執(zhí)行source/etc/profile刷新配置文件驗(yàn)證jdk是否成功。Java-version.配置用戶免密碼登錄。.安裝hadoop（安裝版本hadoop2.7版本以上）使用ssh上傳文件到linux主機(jī)執(zhí)行了mv命令解壓后更改文件夾名為hadoop在/etc/profile文件下添加環(huán)境變量，如下exportHADOOP_HOME=/home/hadoop/hadoopexportPATH=$PATH:$HADOOP_HOME/bin保存配置文件執(zhí)行source/etc/profile使其立即生效切換到hadoop_home下etc/Hadoop下修改相關(guān)配置文件。.進(jìn)行配置文件的修改，版本不同配置文件位置會(huì)不同。第1頁(yè)共10頁(yè)修改hadoop-env.shViHadoop-env.shExportJAVA-HOME=/usr/local/jdk依賴于前期配置的路徑，如果按照視頻上面的需要這樣設(shè)置。如果按照本文檔，使用下面設(shè)置。修改yarn-env.sh道理一樣.安裝配置結(jié)果NameNode端的進(jìn)程如下：[hadooptaMasteretc]$jps18823Jps18509ResourceManager18183NameNode18350SecondaryNameNode■I ■ ■■ ■IIIDataNode端的進(jìn)程如下：[hadoop@Slavel桌面]$jps7146Jps6991NodeManager6385DataNode[hadoop(asiavel桌面]$|jFhrrie!實(shí)驗(yàn)基本過程：1：環(huán)境：Ubuntu14.0464位2：準(zhǔn)備工作：選定一臺(tái)機(jī)器作為Master在Master節(jié)點(diǎn)上配置hadoop用戶、安裝SSHserver、安裝Java環(huán)境在Master節(jié)點(diǎn)上安裝Hadoop，并完成配置在其他Slave節(jié)點(diǎn)上配置hadoop用戶、安裝SSHserver、安裝Java環(huán)境將Master節(jié)點(diǎn)上的/usr/local/hadoop目錄復(fù)制到其他Slave節(jié)點(diǎn)上在Master節(jié)點(diǎn)上開啟Hadoop3：網(wǎng)絡(luò)配置：第2頁(yè)共10頁(yè)需要更改網(wǎng)絡(luò)連接方式為橋接（Bridge）模式，才能實(shí)現(xiàn)多個(gè)節(jié)點(diǎn)互連，例如在VirturalBox中的設(shè)置如下圖。此外，如果節(jié)點(diǎn)的系統(tǒng)是在虛擬機(jī)中直接復(fù)制的，要確保各個(gè)節(jié)點(diǎn)的Mac地址不同（可以點(diǎn)右邊的按鈕隨機(jī)生成MAC地址，否則IP會(huì)沖突）4:SSH無密碼登陸節(jié)點(diǎn)：這個(gè)操作是要讓Master節(jié)點(diǎn)可以無密碼SSH登陸到各個(gè)Slave節(jié)點(diǎn)上。5：配制path變量：在單機(jī)偽分布式配置教程的最后，說到可以將Hadoop安裝目錄加入PATH變量中，這樣就可以在任意目錄中直接使用hadoo、hdfs等命令了，如果還沒有配置的，需要在Master節(jié)點(diǎn)上進(jìn)行配置。首先執(zhí)行vim?/上3$卜工，加入一行。6：配置集群/分布式環(huán)境：實(shí)驗(yàn)結(jié)果:[root@s202桌面]#jps4336Jps4178NodeMarager3833DataNode4300JobHistoryServer[rooWs202桌面]#adoop/hadoop/lib/native/liLhadoop.sa.1.0.0whichnigiitnavedisatiledstack:guard,TheVMwilltrytofinthestackgyardnow.心寫ter;it'shighly th^LyoufixtheLibraryvith'execstack-c《liborlintitwithT-zncExecstack'.JavaHotspot(TM)ClientVMwamingtYouhaveloadedliijrary/usr/Iocal/haloop/hai&op/lib/Ti3^iv&/libhadoopLso.1.0.0wbichmighthav^Jisabledstackguard.Tk白VMwilltrysfixthe5uckgudrdnow.It'shighlyreconnnendedthatyoufixthelibraryvith'execstack-c3rlinkitwithnoexscstack1.[ro6tflMast5rsbin]/jps6G36ResourceManager633DJobs13d：or/Server5691NaiueNode5S526366[roonSMastersbin]t|第3頁(yè)共10頁(yè)疑難小結(jié)(總結(jié)實(shí)驗(yàn)中遇到的問題)：1： HDFS進(jìn)入安全模式:Namenodeisinsafemodemode退出安全模式，執(zhí)行命令： hadoopdfsadmin-safemodeleave2：INFOutil.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-Javaclasseswhereapplicable--hadoop的本地庫(kù)力□載失敗。檢查native庫(kù)的版本信息，32bit的版本和64bit的版本在不匹配的機(jī)器上會(huì)加載失敗，檢查的命令是file<native-so-file>native庫(kù)依賴的glibc的版本問題。如果在高版本gcc(glibc)的機(jī)器上編譯的native庫(kù)，放到低版本的機(jī)器上使用，會(huì)由于glibc版本不一致導(dǎo)致該錯(cuò)誤。3：mapstolocalhost,butthisdoesnotmapback解決：原因：因?yàn)镈NS服務(wù)器把192.168.x.x的地址都反向解析成localhost,而DNS服務(wù)器不是自己的，不能改。辦法：編輯ssh客戶端的/etc/hosts文件，把出問題的IP地址和主機(jī)名加進(jìn)去，就不會(huì)報(bào)這樣的錯(cuò)了。4：jps命令正常，但是8088端口的WEB頁(yè)面無法訪問解決方案：檢查一下防火墻和selinux狀態(tài)，將防火墻和selinux關(guān)閉防火墻：serviceiptablesstatus永久修改：修改/etc/selinux/config文件中設(shè)置SELINUX=disabled，然后重啟服務(wù)器。5：8088端口訪問正常，但是看不到datanode節(jié)點(diǎn)解決方案：可能出現(xiàn)的問題和解決方案:1.8080端口沒有打開，手動(dòng)啟動(dòng)yarn主要操作過程:1：HDFS進(jìn)入安全模式:Namenodeisinsafemodemode退出安全模式，執(zhí)行命令： hadoopdfsadmin-safemodeleave第4頁(yè)共10頁(yè)2：INFOutil.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-Javaclasseswhereapplicable--hadoop的本地庫(kù)力口載失敗。檢查native庫(kù)的版本信息，32bit的版本和64bit的版本在不匹配的機(jī)器上會(huì)加載失敗，檢查的命令是file<native-so-file>native庫(kù)依賴的glibc的版本問題。如果在高版本gcc(glibc)的機(jī)器上編譯的native庫(kù)，放到低版本的機(jī)器上使用，會(huì)由于glibc版本不一致導(dǎo)致該錯(cuò)誤。3：mapstolocalhost,butthisdoesnotmapback解決：原因：因?yàn)镈NS服務(wù)器把192.168.x.x的地址都反向解析成localhost,而DNS服務(wù)器不是自己的，不能改。辦法：編輯ssh客戶端的/etc/hosts文件，把出問題的IP地址和主機(jī)名加進(jìn)去，就不會(huì)報(bào)這樣的錯(cuò)了。4：jps命令正常，但是8088端口的WEB頁(yè)面無法訪問解決方案：檢查一下防火墻和selinux狀態(tài)，將防火墻和selinux關(guān)閉防火墻：serviceiptablesstatus永久修改：修改/etc/selinux/config文件中設(shè)置SELINUX=disabled，然后重啟服務(wù)器。5：8088端口訪問正常，但是看不到datanode節(jié)點(diǎn)解決方案：可能出現(xiàn)的問題和解決方案：1.8080端口沒有打開，手動(dòng)啟動(dòng)yarn主要操作過程：1先決條件確保在你集群中的每個(gè)節(jié)點(diǎn)上都安裝了所有必需軟件：sun-JDK,ssh,HadoopJavaTM1.5.x,必須安裝，建議選擇Sun公司發(fā)行的Java版本。ssh必須安裝并且保證sshd一直運(yùn)行，以便用Hadoop腳本管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程。2實(shí)驗(yàn)環(huán)境搭建準(zhǔn)備工作操作系統(tǒng)：Ubuntu第5頁(yè)共10頁(yè)部署：Vmvare在vmvare安裝好一臺(tái)Ubuntu虛擬機(jī)后，可以導(dǎo)出或者克隆出另外兩臺(tái)虛擬機(jī)。說明：保證虛擬機(jī)的ip和主機(jī)的ip在同一個(gè)ip段，這樣幾個(gè)虛擬機(jī)和主機(jī)之間可以相互通信。為了保證虛擬機(jī)的ip和主機(jī)的ip在同一個(gè)ip段，虛擬機(jī)連接設(shè)置為橋連。準(zhǔn)備機(jī)器：一臺(tái)master，若干臺(tái)slave，配置每臺(tái)機(jī)器的/etc/hosts保證各臺(tái)機(jī)器之間通過機(jī)器名可以互訪。為保證環(huán)境一致先安裝好JDK和ssh：安裝JDK#安裝JDK$sudoapt-getinstallsun-java6-jdk1.2.3這個(gè)安裝，java執(zhí)行文件自動(dòng)添加到力$「/0門/目錄。驗(yàn)證shell命令：java-version看是否與你的版本號(hào)一致。下載、創(chuàng)建用戶$useraddhadoop$cd/home/hadoop在所有的機(jī)器上都建立相同的目錄，也可以就建立相同的用戶，最好是以該用戶的home路徑來做hadoop的安裝路徑。例如在所有的機(jī)器上的安裝路徑都是：/home/hadoop/hadoop-0.20.203，這個(gè)不需要mkdir，在/home/hadoop/下解壓hadoop包的時(shí)候，會(huì)自動(dòng)生成)(當(dāng)然可以安裝/usr/local/目錄下，例如/usr/local/hadoop-0.20.203/chown-Rhadoop/usr/local/hadoop-0.20.203/chgrp-Rhadoop/usr/local/hadoop-0.20.203/)(最好不要使用root安裝，因?yàn)椴煌扑]各個(gè)機(jī)器之間使用root訪問)安裝ssh和配置安裝：sudoapt-getinstallssh這個(gè)安裝完后，可以直接使用ssh命令了。執(zhí)行$netstat-nat查看22端口是否開啟了。測(cè)試：sshlocalhosto第6頁(yè)共10頁(yè)輸入當(dāng)前用戶的密碼，回車就ok了。說明安裝成功，同時(shí)ssh登錄需要密碼。（這種默認(rèn)安裝方式完后，默認(rèn)配置文件是在/?~/$5卜/目錄下。sshd配置文件是:/etc/ssh/sshd_config）：注意：在所有機(jī)子都需要安裝ssh。配置：3）首先設(shè)置namenode的ssh為無需密碼的、自動(dòng)登錄切換到hadoop用戶（保證用戶hadoop可以無需密碼登錄，因?yàn)槲覀兒竺姘惭b的hadoop屬主是hadoop用戶。）$suhadoopcd/home/hadoop$ssh-keygen-trsa然后一直接回車完成后，在home跟目錄下會(huì)產(chǎn)生隱藏文件夾.ssh測(cè)試：$sshlocalhost發(fā)現(xiàn)鏈接成功，并且無需密碼。4）復(fù)制authorized_keys至Unode2和node3上為了保證node1可以無需密碼自動(dòng)登錄到node2和node3,先在node2和node3上執(zhí)行$suhadoopcd/home/hadoop$ssh-keygen-trsa一路接回車.然后回到node1,復(fù)制authorized_keys至Unode2和node3[hadoop@hadoop.ssh]$scpauthorized_keys node2:/home/hadoop/.ssh/[hadoop@hadoop.ssh]$scpauthorized_keys node3:/home/hadoop/.ssh/這里會(huì)提示輸入密碼,輸入hadoop賬號(hào)密碼就可以了。改動(dòng)你的authorized_keys文件的許可權(quán)限[hadoop@hadoop.ssh]$chmod644authorized_keys測(cè)試：sshnode2或者sshnode3（第一次需要輸入yes）。如果不須要輸入密碼則配置成功，如果還須要請(qǐng)檢查上面的配置能不能正確。安裝Hadoop#切換為hadoop用戶suhadoopwget//hadoop/common/hadoop-/hadoop-rc1.tar.gz第7頁(yè)共10頁(yè)下載安裝包后，直接解壓安裝即可:$tar-zxvfhadoop-rc1.tar.gz6)配置conf/hadoop-env.sh文件配置conf/hadoop-env.sh文件#添力口exportJAVA_HOME=/usr/lib/jvm/java-6-sun/這里修改為你的jdk的安裝位置。測(cè)試hadoop安裝：bin/hadoopjarhadoop-0.20.2-examples.jarwordcountconf//tmp/out.集群配置（所有節(jié)點(diǎn)相同）配置文件：conf/core-site.xml<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name></name><value>hdfs://node1:49000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop_home/var</value></property></configuration>是NameNode的URI。hdfs://主機(jī)名:端口/第8頁(yè)共10頁(yè)hadoop.tmp.dir：Hadoop的默認(rèn)臨時(shí)路徑，這個(gè)最好配置，如果在新增節(jié)點(diǎn)或者其他情況下莫名其妙的DataNode啟動(dòng)不了，就刪除此文件中的tmp目錄即可。不過如果刪除了NameNode機(jī)器的此目錄，那么就需要重新執(zhí)行NameNode格式化的命令。配置masters和slaves主從結(jié)點(diǎn)配置conf/masters和conf/slaves來設(shè)置主從結(jié)點(diǎn)，注意最好使用主機(jī)名，并且保證機(jī)器之間通過主機(jī)名可以互相訪問，每個(gè)主機(jī)名一行。.hadoop啟動(dòng)格式化一個(gè)新的分布式文件系統(tǒng)先格式化一個(gè)新的分布式文件系統(tǒng)$cdhadoop-0.20.203$bin/hadoopnamenode-format查看輸出保證分布式文件系統(tǒng)格式化成功執(zhí)行完后可以至Umaster機(jī)器上看到/home/hadoop〃name1和/home/hadoop//name2兩個(gè)目錄。在主節(jié)點(diǎn)master上面啟動(dòng)hadoop,主節(jié)點(diǎn)會(huì)啟動(dòng)所有從節(jié)點(diǎn)的hadoop。啟動(dòng)所有節(jié)點(diǎn)啟動(dòng)方式1：$bin/start-all.sh（同時(shí)啟動(dòng)HDFS和Map/Reduce）執(zhí)行完后可以到slave（node1,node2）機(jī)器上看到/home/hadoop/hadoopfs/data1ff/home