云計(jì)算-Hadoop單機(jī)及集群配置

1、實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)名稱(chēng)Hadoop單機(jī)及集群配置指導(dǎo)教師實(shí)驗(yàn)類(lèi)型上機(jī)實(shí)驗(yàn)學(xué)時(shí)2實(shí)驗(yàn)時(shí)間一、實(shí)驗(yàn)?zāi)康暮鸵髮?shí)驗(yàn)要求：學(xué)會(huì)Hadoop單機(jī)版及集群的安裝配置實(shí)驗(yàn)?zāi)康模?) 了解Hadoop的安裝及運(yùn)行環(huán)境；)掌握Hadoop的工作原理；) 在此基礎(chǔ)上為Hadoop數(shù)據(jù)分析奠定基礎(chǔ)二、實(shí)驗(yàn)環(huán)境在虛擬機(jī)上運(yùn)行ubuntu系統(tǒng)，hadoop1.2。1三、實(shí)驗(yàn)原理及內(nèi)容.安裝 Ubuntu.hadoop用戶(hù)組創(chuàng)建 hadoop用戶(hù)組:sudo addgroup hadooppublicubijntu:$ sudo addgroup hadoop sudo password for public:Adding g

2、roup L hadoop * (GIO 1061) *iDone.創(chuàng)建 hadoop用戶(hù)：sudo adduser ingroup hadoop hadooppublicgubuntu sudo addujRr - ingroup hadoop hadoop Adding use-r L hadoop*Adding rew user 1hadoop1 (1001) wtth goup hadoop1Creating home directory 1/home/hadoop1 .Copying files from /etc/skel1 Eftter new UNIX password:Ret

3、ype new UNIX password:passed: password updated successfullyChanging the user tnformation for hadoopEnter the new value, or press ENTER for the defaultFull Nne :Room Number :Work Phone :Home Phone 口:Other ;15 the Information correct? Y/n y(3)為hadoop用戶(hù)添加權(quán)限：sudo gedit /etc/sudoers,在打開(kāi)的文件中添加一句 hadoop AL

4、L= (ALL: ALL) ALL,其中 hadoop和 ALL之間的空格使用 TAB鍵.ft User privilege specification root ALL=(ALL;ALL) ALL hadoop ALL=(ALL：ALL) ALL(4)使用hadoop用戶(hù)登錄系統(tǒng)重新打開(kāi)Ubuntu,發(fā)現(xiàn)登陸界面多了一個(gè)hadoop用戶(hù)，用hadoop用戶(hù)登錄系統(tǒng)。3、SSH配置Ubuntu14.04已默認(rèn)安裝ssh的客戶(hù)端，只需要安裝服務(wù)器端即可，但在實(shí)際操作 時(shí)，發(fā)現(xiàn)由于是剛安裝的Ubuntu系統(tǒng)，該系統(tǒng)沒(méi)有更新，還沒(méi)有安裝ssh,因此先使用 系統(tǒng)更新命令 sudo apt get up

5、date 更新系統(tǒng)。hadoopgubuntu:5 sudo aptget update安裝 ssh: sudo apt get install openssh-serverhadoopubjntu:sudo apt get install openssh*server啟動(dòng) ssh： sudo /etc/init.d/ssh start查看服務(wù)是否正確啟動(dòng)：ps e | grep sshhadoopubuntu:$ sudo /etc/tntt.d/ssh start hadoopubijntii:$ ps -e | grep ssh1168 ?sshd(4)設(shè)置免密碼登錄，生成私鑰和公鑰：s

6、shkeygen -t rsa Phadoopgubkintu:ssh-keygen -t rsa -P ,nGenerating publie/private rsa key pair *Enter file in which to save the key (/hone/hadoop/,ssh/id_rsa);(5)將公鑰追加到authorized_keys (authorized_keys用于保存所有允許以當(dāng)前用戶(hù)身份 登錄至U ssh客戶(hù)端用戶(hù)的公鑰內(nèi)容)中：cat/.ssh/id_rsa pub /.ssh/authorized_keyshadoopubuntu:-$ cat -/.

7、ssh/td_rsa,pub -/*ssh/authorized_keys1(6)現(xiàn)在即可免密碼登錄：ssh localhosthadoopubuntu:$ ssh localhostWelcome to Ubuntu 14*04.1 LT (GNU/Linux 3.13.fl-32-generic xS6_64)* Documentation: HYPERLINK / /46。packages can be updated.294 updates security updates.退出：exithadoopubuntu;$ exit logoutConnection toclosed,had

8、oopubuntu:*$ |4、JAVA環(huán)境配置(1)創(chuàng)建 jvm 文件夾：sudo mkdir /usr/lib/jvm(2)將下好的jdk文件解壓，并將解壓后的文件夾重命名為java-7-sun，: sudo tar xzvf jdk-7u45 linux i586.tar 。 gzC /usr/lib/jvm/(由于安裝的 Ubuntu 系統(tǒng)為64位的，學(xué)長(zhǎng)提供的jdk7u79為32位的，安裝之后無(wú)法使用，所以重新下載了一個(gè)jdk, 由于7u79版本官網(wǎng)下載速度太慢，因此下載了一個(gè) 7u45版本的jdk )重命名：sudo mv jdk1。7.0_45/ java 7sun/(3)配置環(huán)

9、境變量：sudo gedit /。bashrc在最后添加如下四行：export JAVA_HOME=/usr/lib/jvm/java-7-sunexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH- $ JAVA_HOMJE/lib:$JRE_HOME/libexport PATH=$JAVA_HOME/bin: $ PATH(4)啟用配置：source /.bashrc(5)酉己置默認(rèn) JDK sudo update alternatives -install /usr/lib/jvm/javajava/usr/lib/jvm/java 7-Sun/

10、bin/java 300 sudo update-alternatives -install /usr/lib/jvm/javac javac /usr/lib/jvm/java 7-sun/bin/javac 300hidocpfubuntu:/mr/lib/jhmo update-alttriMtivn -tmtill /utr/lu/vn/jnijavi /uir/ltb/jVR/javi fl5un/btn/java Meupdate-alternatives: using fusr/Ub/jwn/Java 8-sun/bLn/javd to provide /usr/llb/jvm/

11、jflva ijava)自尊:槨式hadooppubuntu:/usr/tib/j,um$ sudo update alternatives -install /usr/ltb/jvm/javac javac /usr/lib/jvn/java 8-sun/ bln/Javac M附updti-alterndtlve: using /uir / lib/jvn/java - S - &un/bLn/jdvdi to provide /uir/ltb/ jtffl/j wac C javac) Ln 自動(dòng)膜式 hadcopsubuntu:/ur/Vib/jvH |(6)測(cè)試是否已完成：java

12、-versionhadoop0ubunru：-$versionjdvd version .7P*白_45”Dftvs CTM) SE Runtime Envi ronn*nt (hui1 ri 1.7.-hi 8)dV6 HotSpot(TM)Server VM (buildmixed mode)hcidoopubun-t u r |(sudo update alternatives -config java可查看當(dāng)前各種 JDK的版本和配置)hftdooptubuntu; / u sr/li b d wS sudo upditt-alter natives -ccnftgVSStH jwfl

13、 (擅供曲rjitbjlviMjim)中只有一個(gè)集選 ： /usr/Ut/Jvr/ UvS sun/btn/Java 無(wú)重配音。hddoopubuntuT/usr|5、安裝 hadoop(1)將 hadoop1。2.1 解壓至/usr/local下，并將其重命名為 hadoop： sudo tar xzvfhadoop-1.2.1.tar o gz C/usr/local重命名：sudo mv hadoop 1.2.1/ hadoop/(2)授權(quán)(讀寫(xiě)權(quán)限)：sudo chmod 777 hadoop/(3)編輯 hadoop-env.sh 文件：sudo gedit /usr/local/h

14、adoop/conf/hadoop env.sh , 增加如下三行：export JAVA_HOME=/usr/lib/jvm/java-7 sunexport HADOOP_HOME=/usr/local/hadoopexport PATH= $ PATH /usr/local/hadoop/bin如下圖所示：hadoop-cnuh x ft reEot。nodes .w 1 henpenc-ntAt ton to , nequtrerJ.D sxpor t JAVA_HDMt = /U1/llbyJ2sdkl. S-iun Kpnrt JAVA_HiMt- 7 sunrKport i AT

15、 I i .：與，GT” ic 1 /litidoop/b tnv EMt r UgVA CLASSPATH elements QptlondL . ff export HdOOP? H =(4)執(zhí)行命令：source hadoop-env.sh(5)輸入hadoop,出現(xiàn)如下圖所示，說(shuō)明hadoop命令已經(jīng)可以使用:hadoopubuntH；/usr ocal/hdoap/e. nr$ source bddwp - env. &h hadoop$ubuntu: /Lisr/local/hidcop/e&nf5 hAdcopU占agd； hddoop L corfconfdir J COWHA

16、NDwhereis oneranenode - formatfornat the DFS filesystensecarderynanenodrun thr dfs secondary njncnod產(chǎn)rannodprun the &FS n目e/nodeda tarioderun a PFS datanudedfsadnlnrun a dfs ndnin clientmradminrun a M*p-Redtice adntn cLtentfsckrun a DFS ftiesystem checking utilityf srun a generic filesystem user cli

17、entbdldntrrun a cLubtvr bdldrcLng uL11Ltycivdpply the ofTHne f導(dǎo)Img* viewer to 曰n r5Inagefetctdtfetch a dleggtion tokn from the Nn)Nodjobtrdckerrun the MapReduce job Tracker nodeptpr*irun n Pt明雪1obtssktrackerrun a MapReduce t尋與k Trocker nod號(hào)hlstoryser verrun joh history servers ds a standalone ddemon

18、6、測(cè)試 wordcount(1) 創(chuàng)建 input 文件夾：sudo mkdir /usr/local/hadoop/input將 hadoop 文件夾下的 READM Ext 文件拷貝至 input 中：sudo cp README.txtinput(3)執(zhí)行：hadoop jar hadoop - examples-1.2。1。jar wordcount input output1與Ofai 3日INFOma p red * -JobcTiLen t imapiir e d uc -e 10OKLi/Obz-40&：JO：42INFOmapred Jebclten口匕 c&fnpXte

19、: Job_lndlGlL里3。77工&_。工1 5/匕弓“AINFC1r =dl. bCltrn t zCQUfiter 車(chē)：2 &】5/曰aa；3s：。工INFCtrnapr&d / obcXlent:Ftie output Farnait counT&rsLS/OS/24O： 38 ：-4ZINFOmapred 國(guó) JobCTl_en t:Bytes WT1 tten=i32c15/O5/Ze-s 3B ：42INFOmapred,JobGlXen:File input Fornar counters1 5/O!i/243&：3S142INFOmapped.JobCLtent:Ry七色與

20、 Resids L3ee15/05/2406：J8：42INFOmapred,JobclientsFtleSy&tencounters1 5 /0”/406： Jfi ：4ZINFOmapred . ziolbiCTt fnt:F IL E _B T F S_IR E AD a 23401S/O5/24日6:i42INFOmapred . JobCT-xen 11F lLE_BYrES_WRITTEH=3L956561S/DS/246(5： 36 ：42INFOimpred + DcibCTt en t:Hap-Reduce Fr aReworkINFOmapred.JobcllentjRed

21、uce Input groire output: records=1311 5/日0GI 3S l3ZINFOmapr&d . JobcTTenXiNap Input record s=3115/OS/Z4C5O： 38 ；4ZINFOmapred.Jobcltent:Reduce shuTTle bytes=15/05/243BINFOm*pred + JobCltent:PhyslcaL Pienory =15/05/24。呂士 30 42INFOmpredl . JobcTlent:CPU ttmie spent nisj-e15/05/2406：38:42INFOEoprud . Jo

22、bCllcnt;Virtual EUEory fbytes napshot-01 5/0 5/246451： 18 ：4ZINFOmdpred , JobCltent:SPLIT RAW BYTESl15/05/2-4OGI 3B KZINFOmapred . OobcTI-en 11Map outzputz records= 1 791S/C5S/40C： JU 上INFOmapred.Jobcttent:Copibtne Input records = 17515/05/2406：58INFOn-spred . Jobclient;Reduce input records-iai4。查看結(jié)

23、果：cat output/*hadoopubuntu: / us r/locril /hdoop$ c d t output/ 1 (ECCN) 1 (TSU)1 TOC o 1-5 h z Csee15DOO2 * C . 1. ,11 http: / /wwwwas sender , or g/-1Adntnt Stratton 1 Apnchr 1 BEFORE 1 BIS 1 Bureau u Conneret t工 TOC o 1-5 h z Commod i.ty1CoiTtrol 1 Core 1 Department1NC1Except on1Export 2. For 1 I

24、 Foundation工Guvr nncfn t1Hadoop 1 lladoop t 1 ,Industry1七七1說(shuō)明單機(jī)版的hadoop已經(jīng)配置成功。7、偽分布式配置(1)在 hadoop文件夾下創(chuàng)建文件夾：tmp, hdfs,hdfs/nam0 hdfs/data (2)修改 data的權(quán)限：sudo chmod 755 hdfs/data(3)修改 conf/中 core-s讓e.xml 文件p j mrprlt GMiMJ my f hi*iI ver ft= 1 .。明 70- ? jblm 1.-工 t xlusfclhu七七 I y pc1 ,b PTOP=i廠七第A ria

25、nte hindQcip. tmpr門(mén)匚圜-lije ，#1 口喧 TL/hwd3=u，*LpF/i 3G - */proper * *a /icon f igu r t ion (4)修改 conf/中 hdfs-s計(jì)e。xml 文件hdfibRi tyIvslmt c ypp* 工1，w hre,T-,cori fVmjr*ic Lorn .L f 中* I Put t ef te property 也丫也/，同。1 l 外 thl file ac。n * * g L 1_ q kr c H rprbp-r ty - nEcrAQr，.r&i*r，*1 /nm - lue. 1 - /1

26、14歲M，中 $& t* p #a -o p r t y ,* vh由護(hù)3-sJFs- . n -de * D i.r 工 /4-vflI*/ysr，l.QHalfh#400p/、4，/v電1”寸-r upofty Tpr cipwr TV*-ced f r d mt.4111dtiT * /fTi.atne? ，y # l/1 oca I /hadonp / hdF、tn * / va l.ut- -: * pr-o-fxr r fcy :-/con 11Qiur ia 11on (5)修改 mapred site0 xml 文件e 雄 urudi-瞳里.WEI m* Tml vc*r 0

27、4。兩-3 . Q,m J y i 才拓 l - /七yl.Xec更 TYQ十=！2/區(qū)一11rl ihr#fFt 中打 r 環(huán)t i 凸?fàn)?置.i , ? t I Put sitetrie property over r ld I n rht f i lr a * - *y tdi，f t ut -a t (也門(mén) p rop*r ty -PHjspr #!d * Job a t racker /non- C J%Aa-i |_ I4i-rr-Ad ml nlVraionRUNlMlN3JL3wMon J Ml 7/ I T 7 Pmr ij h.yIdun鞋Hlr; ZC 1 OOUOZ王C

28、T-MO1: OFFcluster nummary c a thQ cr I e& C Lot aiLhost En ”trackeriitmiitiizlocaltiost/127.0,0*1:508 : Xsk Tracker Status口 1 口尸“Enn: 1,2.1 r rl503152Compiled； Mon Jul 22 15：23：OE* FLIT 2013 by mattrKiimiiiiy tasksTtfc5k Attjnmptx|窘口i til用PmgimT，| ErrorlI Trlk Xiri-Iipl qg-|rS loc-g Lhost r. -rlocip

29、loc .S比rted:Vnrsilciri：C4mpllvd!：U pq r.tlS 匹工I Er u f-a klue jwn g 21：35 ：Q POT NO 151N IL rloiszMon N“ 22 15-:23：0 PD1 2013 Dy EiiETTrwro at0 m 3pr身q。注 In progircsp.Br*fli”上七一e m口二duut.sfr SurnmehryUb unru Softwn-re -Center9 Ihl4 4f4l 1 MriKk*NK)亡QRif1 口 urucfl 4Ca ipaicirtxDPS U4 Hon DFS Ue。9Six*

30、 l 23 E。/ 乖后石,萬(wàn)中 MB工也與日GQ2nCL KB5 36 GRia.2i w自Q -71.13 %1Fl(10) wordcount 檢測(cè):在 dfs 中創(chuàng)建 input 目錄：hadoop dfs mkdir input將 READM Etxt 拷貝至 input 中：hadoop dfs copyFromLocal README.txt input運(yùn)行 wordcount:hadoop jar hadoopexamples 10 2。1。jar wordcount input output-hadoop(O)uibuntui /u ir/1 ocdL/hdoophjadao

31、pubun1：u /locol/hadlocjipShariloopdfs- iqkdK r inputhdo0pubyritU ： /usr/ 1L0C AX/hdoopShdlo0pdrs- copy Fr0nLOCbL RECiME - twttnpu thadcopubu ntu: /ur / lac dl/hdlOapShadlocpjarhdaop - ex apples -1*2*1 fe j arord 匚立untinput outputisyud/oz 15/u“O2 H 5/06/O2 15/0002 15/O&ZO2 is/ube; H 5/06/O2 15/OG/OZ

32、lOO2 i s/ub/es 15/06/02 15/00/0221i SW： Si INFO 21;5B：51 INFO 2156151 HARN 21 i 58 = 54 i NI=DI 21：EH：” INFO 21:592S INFO ZL：S9：45 INFD t 541 ZNFO21：5：S7 INFO 21：5；57 INFO 21: 59 S S7 INFO Zl： 59 ； 飛卜口 21：S:S7 INFOInput. F11 eldputFo rfliat ： Total 4hpUt path s1 量節(jié) prCe,: ytll. iMstt veCodeLcader -

33、Lded thehadoop llbrarntepredJobCltent ： 1fslpr ed . Jbcx li&rit t napr ed _ 3obiCLlLen1t ： napr ed Jobd tent: Ezor ed-JobClient ： riapr edl . JobCl lent t napred . JobCl le-nt ： napr edl. Jobcl tent: rtapred - JabClle,nt:CIhq artcr reserving slots ns)-0Srvaipjpy naw reduceFiap Iflj日* reduce 1 Q&%J a

34、lb complete; job_zei 5eao2ZiBT_eeeiCouHiters ： Z9Jpt Counter sLaunehedl red nee taisks= 1SLOT 5_MlLLl 5_HAlPi5=35 ieOTotal t ine spent by 通QI reduceswe15/O6/0S 21:55157 q after reservingI 5/H”O(jiān)2 15/002 15/06/02 is/oo/ez 15/口”修之 15/0&221：5：5721:5 57 21i 59157 21:5?S57 2 1 ： 59 ： 5721：5：57INFO napr ed. 3ohCLl_ent i slots (