虛擬機(jī)下基于CentOS的Hadoop單機(jī)偽分布式環(huán)境搭建

1、虛擬機(jī)VMware環(huán)境下基于CentOS的單機(jī)偽分布式Hadoop開發(fā)環(huán)境搭建1.環(huán)境及安裝軟件說明本文所配置的運(yùn)行環(huán)境是在Windows 7操作系統(tǒng)上，通過安裝VMware虛擬機(jī)，在虛擬機(jī)上安裝Linux操作系統(tǒng)Cent OS，在CentOS上安裝Java環(huán)境和Hadoop開發(fā)組件的方式實(shí)現(xiàn)單機(jī)偽分布式Hadoop開發(fā)環(huán)境。Hadoop開發(fā)時(shí)所使用的軟件及工具如下所示：.exe。（2）VMware Tool：（3）Linux操作系統(tǒng)：CentOS-5.6-i386-bin-DVD.iso（4）Java開發(fā)組件（JDK）：（5）Hadoop開發(fā)組件：Hadoop-64-.gz2.安裝VMwar

2、e虛擬機(jī)雙擊VMware軟件，進(jìn)行安裝，根據(jù)自己的情況選擇安裝目錄。注意：在選擇安裝目錄時(shí)該目錄的文件夾必須是已經(jīng)存在的，可以新建一個(gè)文件夾用于安裝VMware。本文的安裝路徑為D:VMware。安裝過程如下圖1-12所示： 圖1 圖2 圖3 圖4 圖5 圖6 圖7 圖8 圖9 圖10 圖11 圖123.安裝Linux操作系統(tǒng)CentOS安裝過程如圖13-21所示。 圖13 圖14 圖15 圖16 圖17 圖18 圖20 圖21圖21在安裝完成虛擬機(jī)之后，會發(fā)現(xiàn)虛擬機(jī)全屏顯示、無法實(shí)現(xiàn)物理機(jī)和虛擬機(jī)之間的復(fù)制文件等導(dǎo)致操作不方便的問題。對此，本文將介紹安裝VMware Tools的方式解決該問

3、題。（1）進(jìn)入虛擬機(jī)界面，打開CentOs，點(diǎn)擊“VM”，點(diǎn)擊安裝“Install VMware Tools”，如圖22所示。圖22（2）待虛擬機(jī)下載VMware Tool后出現(xiàn)如下圖23所示界面。圖23（3）解壓文件VMwareTools-文件夾中，輸入命令./vmware-install.pl。如圖24所示。圖24（4）待安裝完成后，重啟CentOS，即完成VMware Tools的安裝過程。4.安裝和配置JDK（1）首先獲取root權(quán)限，再切換到/usr目錄，并創(chuàng)建java文件夾。如下圖25所示：圖25（2）將復(fù)制到目錄/usr/java中。如圖26所示。圖26然后對該文件進(jìn)行解壓縮，如

4、圖27所示：圖27（3）修改配置文件，如圖28所示。圖28在配置文件的末尾添加如圖29所示的配置信息。圖29然后按esc鍵退出插入模式，輸入“：wq！”，即保存退出。最后，再執(zhí)行一下使該修改有效。如圖30所示。圖30（4）驗(yàn)證JDK環(huán)境是否安裝成功。如圖31所示。圖31如果出現(xiàn)圖19所示的結(jié)果說明JDK環(huán)境配置正確。5.配置SSH該命令主要是為了實(shí)現(xiàn)在機(jī)器之間訪問時(shí)免密碼登錄。配置基本步驟如下。1.生成密鑰對，執(zhí)行如下命令，如圖32所示。圖322.然后一直按<Enter>鍵，就會按照默認(rèn)的選項(xiàng)將生成的密鑰對保存在.ssh/id_rsa文件中，如圖33所示。圖333.進(jìn)入.ssh目錄

5、（.ssh目錄在/root目錄下），執(zhí)行如下命令，如圖34所示。圖344.執(zhí)行如下命令，如圖35所示。圖35如果出現(xiàn)如圖35所示的結(jié)果，說明實(shí)現(xiàn)SSH連接并且不需要輸入密碼。6.配置Hadoop環(huán)境1.將Hadoop-64-.tar.gz復(fù)制到目錄/usr下，如圖36所示。圖362.解壓hadoop-64-.tar.gz，如圖37所示。圖373.修改Hadoop-64-的目錄名稱，如圖38所示。圖384.在/usr/hadoop中創(chuàng)建tmp文件夾，如圖39所示。圖395.配置Hadoop環(huán)境（1）將Hadoop的安裝路徑添加到/etc/profile中，修改/etc/profile文件，并使其

6、有效。如圖40-41所示。圖40圖41配置完成后，在重啟/etc/profile，使之有效。如圖42所示。圖42（2）隨后要開始配置hadoop中各個(gè)節(jié)點(diǎn)的路徑。1）切換到Hadoop安裝路徑找到hadoop下的etc/hadoop/hadoop-env.sh文件夾，使用vi或文本編輯器打開，添加如下語句，如圖43所示。圖432）配置core-site.xml的文檔，如圖44所示。圖443）配置hdfs-site.xml的文檔，如圖45所示。圖454）配置mapred-site.xml的文檔，如圖46所示。圖465）Hadoop的運(yùn)行·格式化HDFS文件系統(tǒng)在初次安裝和使用Hadoo

7、p之前，需要格式化分布式系統(tǒng)HDFS。使用如下命令，如圖47所示。圖47·啟動Hadoop環(huán)境切換到目錄sbin下，啟動Hadoop守護(hù)進(jìn)程，命令如下圖48所示。圖48·停止Hadoop守護(hù)進(jìn)程在sbin目錄下，停止Hadoop守護(hù)進(jìn)程的命令如下圖49所示。圖496）驗(yàn)證Hadoop是否安裝成功。在啟動Hadoop守護(hù)進(jìn)程后，輸入如下圖50所示命令。圖50如果出現(xiàn)這6個(gè)節(jié)點(diǎn)，說明Hadoop安裝配置成功。7）常見問題及解決方案在安裝Hadoop之后，我遇到的一個(gè)問題是SecondaryNameNode節(jié)點(diǎn)無法啟動，在網(wǎng)上查閱了許多資料之后，找到了解決方案，要將hadoop安

8、裝目錄下/etc/hadoop/hadoop-env.sh中添加語句HADOOP-HEAPSIZE=2000，在運(yùn)行發(fā)現(xiàn)SecondaryNameNode節(jié)點(diǎn)可以正常啟動了。如下圖51所示。圖517.運(yùn)行示例程序（1）首先找到Hadoop-的自帶示例程序，其路徑如下圖52-53所示。圖52圖53（2）在HDFS中創(chuàng)建數(shù)據(jù)目錄，進(jìn)行文件上傳等操作。1）先在HDFS中創(chuàng)建數(shù)據(jù)目錄，如圖54-55所示。圖54圖55其中/data/wordcount目錄用來存放Hadoop自帶的WordCount例子的數(shù)據(jù)文件，運(yùn)行這個(gè)MapReduce任務(wù)的結(jié)果輸出到/output/wordcount目錄中。2）新

9、建文件inputWord和inputWord2，輸入如下命令：vi /usr/inputWord和vi /usr/inputWord2,并輸入如下圖56-57所示的內(nèi)容。圖56圖57可以通過輸入命令cat /usr/inputWord 查看其內(nèi)容，如下圖58所示。圖583）將本地文件/usr/inputWord和/usr/inputWord2這兩個(gè)文件都上傳到HDFS中，執(zhí)行命令如下圖59-60所示。圖59圖60從圖中可以看出inputWord成功上傳到HDFS中。通過命令：hadoop fs -text /data/wordcount/inputWord可以查看上傳文件的內(nèi)容，如圖61-62

10、所示。圖61圖624）運(yùn)行Hadoop自帶程序WordCount。執(zhí)行命令如下圖63所示。圖63其控制臺輸出程序的運(yùn)行信息，如圖64-68所示。圖64圖65圖66圖67圖685）執(zhí)行如下命令，查看運(yùn)行結(jié)果，如圖69所示。圖696）登錄到Hadoop Web作業(yè)狀態(tài)查看界面，運(yùn)行狀態(tài)如圖70-78所示。圖70圖71圖72圖73圖74圖75圖76圖77圖788.常見問題及解決方案（1）VMware Tools安裝在安裝完成虛擬機(jī)之后，會發(fā)現(xiàn)虛擬機(jī)全屏顯示、無法實(shí)現(xiàn)物理機(jī)和虛擬機(jī)之間的復(fù)制文件等導(dǎo)致操作不方便的問題。對此，本文將介紹安裝VMware Tools的方式解決該問題。（2）解決CentOS

11、中的中文亂碼問題1）在終端輸入命令：yum install fonts-chinese這時(shí)系統(tǒng)自動會下載24M的 font-chinese包，根據(jù)提示按“y”進(jìn)行下載。2）下載完成后，再輸入命令yum install fonts-ISO8859-2-75dpi進(jìn)行下載安裝3）編輯系統(tǒng)配置文件：vi /etc/sysconfig/i18n 將原文件中的內(nèi)容修改為：LANG="zh_CN.GB18030" LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN" SUPPORTED="zh_CN.UTF-8:zh_CN:zh:en_US.UTF-8:en_US:en" SYSFONT="lat0-sun16" 4）在命令行輸入以下兩條語句： cd /usr/share/fonts/ fc-cache -fv5）重啟系統(tǒng)， shutdown -r now。中文亂碼問題解決。（3）解決Seconda