hadoop實驗報告可編輯范本

PAGEPAGE9基于haｄｏop的大規(guī)模文本處理技術(shù)實驗專業(yè)班級：軟件１10２學生姓名:張國宇學號：２０1116０40２２1ＳetuｐHadooponUｂｕntu１1。0464—ｂiｔ提示：前面的putty軟件安裝省略；直接進入ＪDK的安裝。1.ＩnstallSunＪＤK<安裝JDK〉由于SunJDK在ubｕntu的軟件中心中無法找到,我們必須使用外部的PPＡ。打開終端并且運行以下命令:sudoadd-ａpt—repｏsitoryppａ:ferrａmrｏbeｒto/ｊavaｓudｏａpt-getupdaｔesudｏａpt－getiｎｓtａllsｕｎ-jaｖa６—ｂinsｕｄoapｔ-getｉnstallｓuｎ—java6—jｄkＡｄｄJAVA_ＨOＭＥvaｒiablｅ<配置環(huán)境變量〉：先輸入粘貼下面文字:sudovi／ｅｔc/eｎｖirｏｎment再將下面的文字輸入進去:按i鍵添加，eｓc鍵退出,X保存退出;如下圖:expｏrｔJAVA_HOME=”/usｒ/lib／ｊvｍ／javａ—６—sun－１.6.0。26"ＴestthesuccｅssofiｎｓｔaｌlａｔｉｏnｉnＴeｒmｉnaｌ〈在終端測試安裝是否成功〉：sudo．／ｅtc/enｖironｍeｎｔjaｖａ–verｓioｎ2.ＣhecｋＳＳＨSetting〈檢查ssｈ的設(shè)置>sｓｈｌｏcalhost如果出現(xiàn)“ｃｏnnecｔionｒefusｅd”,你最好重新安裝sｓｈ（如下命令可以安裝):sｕdｏapt—getinsｔallopｅnssh-serveropenssh-client如果你沒有通行證ssｈ到主機，執(zhí)行下面的命令：ssh—keｙgｅｎ—tdsa-Ｐ’'－f～/.ssh／id_dsaｃａt(yī)~/．ssh／id_dsa。pub>〉～／.ssh／authoｒizeｄ＿ｋeys３。SetupHａdｏoｐ<安裝hadoop>安裝apａche2ｓudoａｐt—getｉnstallapacｈｅ2下載haｄoop：sudowgeｔｈｔｔp://apａcｈe。cs。ｕtａｈ.edu/hadoop／cｏmmｏn/hadoop-１．0。４／ｈaｄooｐ-１。0.4.tａr.gｚ解壓hadoｏp所下載的文件包:taｒxvfzhａdoop-1。0。4.ｔar.gz下載最近的一個穩(wěn)定版本，解壓。編輯／hａdooｐ—eｎv。ｓh定義java_homｅ“use／lｉbrａry/jaｖａ-６-sun-1。6。0.2６"Ｓｕdoviｃoｎｆ／ｈａdoｏｐ—ｅnv。sh將以下內(nèi)容加到文件最后:＃Thejaｖａimpｌementａｔｉontouse。Required．expｏrtＪAVA_ＨOMＥ=/usr/ｌｉb/jvm／java—6—sｕn-1.6。0.26Pseudo-DistributｅｄOperation（Sｉｎｇｌe—NodeClustｅr)＜偽分布式操作(單節(jié)點集群)〉:將下面中間部分插入:（得到如圖:)catｃoｎｆ/cｏrｅ－site。xml:＜conｆiｇuratiｏn〉〈property〉〈ｎame>fs．ｄefaｕlt.ｎame〈/naｍe><ｖalue〉ｈdfs://lｏcalhosｔ：９00０</value></properｔｙ〉〈/confｉgｕratｉon〉cａt(yī)ｃonf/ｈdfs—sｉｔｅ。xｍl:<coｎfiguratｉｏn>〈properｔy＞＜ｎame〉dfｓ.replicａt(yī)ion＜／ｎaｍｅ><value〉1</value＞＜/properｔy></coｎｆｉｇｕｒatｉｏn>catｃonf/mapreｄ-siｔe。ｘml:<ｃonfiguration〉〈propｅｒｔy>〈ｎａme〉mapreｄ。jｏb.tｒacｋer〈／name><value>loｃalｈost:900１</vaｌue＞＜/prｏperty>〈/confｉguration〉Switchtohaｄoｏｐrootdｉrectoryａｎdfｏｒmａｔａnewdistrｉbutｅdfｉlesysｔeｍ〈轉(zhuǎn)向根目錄，格式化一個新的文件分布式系統(tǒng)〉:bin/hａdooｐnａｍｅnoｄe–ｆormａｔ注意:這一步一定不能掉，否則后面會出錯！Yｏｕ’llgｅtinfolikｅ“Ｓtoraｇｅdｉrecｔｏry/tmp/hadoop—uｂuntu/dfs/ｎamehaｓbeｅnｓuccessfｕllyfｏrmａt(yī)ｔed?！盧ｅmeｍbｅrtｈispaｔhｉｓtheHＤFＳhomediｒｅcｔoryoｆnameｎodｅ。（你會得到提示：你已經(jīng)成功格式化．）Starｔandstoｐhadoopdaｅｍons（啟動和終止進程.）：bｉn/staｒt—aｌｌ。sh（stａrttheｈａdoｏp）bin/stop—aｌl。sh(stopthehadooｐ)ＷeｂinｔerfacesfｏrｔｈeNameNodｅａndtｈeJobＴrａckｅr:NameNode–HYPＥＲＬINK”http:/／ｌocalhosｔ:5００7０/＂http：//locaｌhｏｓt:500７0/＝〉http://［IＰaddresｓ｜ｄoｍａｉｎname]:500７０提示:如果前面沒有格式化成功,這個網(wǎng)址會出現(xiàn)就不去的現(xiàn)象!!!如果進不去就先結(jié)束進程，重新格式化然后再開始進程。ＪｏｂＴrａckeｒ–HYPERLINK”hｔtp:／/locａlhｏst：50030/”hｔtｐ:/／locａlhoｓt:50０30／=>http：//[IＰaｄｄress|ｄomａｉnnamｅ]:5003０4。DｅployAｎExampleMap－RｅduｃeJob＜布置Ma-ｒｅduceJｏb的一個例子＞創(chuàng)建路徑”/ｈome/ubuntu／mａｐrｅduｃe/ｗordｃｏｕnt/”，并在該目錄下放置文本文件worlｄcoｕｎｔ.tｘt。然后將這些文件復制到HDFS目錄:ｂiｎ/hａdooｐdfｓ—coｐｙFｒomLocａl／home/uｂuntu/ｍapreduce/wordcounｔ/tmp／hadooｐ—ubuntu/dｆs/naｍe/wｏrdcountｂin/hａdｏoｐdfｓ—ｌs/tｍp/hａdoop-ｕｂuntu/dｆs/ｎame／wordｃountRunthejob:ｂin/hａｄoopｊaｒhadｏop*examplｅｓ*。jaｒwｏrdcount/tmｐ／hadoｏp—ubuntu/dfs/ｎaｍe/wordｃount/tｍp/hadoop-ｕbｕntｕ/dｆｓ/namｅ/ｗoｒdcounｔ—ouｔpuｔIftheｏuｔｐｕtiｎｆoｌｏｏｋsnoｐroblem,cｏpytｈeoutｐutfｉlefromＨDＦＳtolocaｌdirectｏry＜如果輸出信息看起來沒有問題，從HＤFＳ輸出復制文件到本地目錄的：〉：bin/hadｏｏpｄfｓ—geｔmeｒｇe/tmｐ/haｄｏｏp-ubuntu/dfs/ｎaｍe/wordcoｕnt—ouｔput/ｈome/ubuｎtu/maprｅduce/wｏrdｃｏunt/Ｎｏwｙｏucanoｐentheoutputfｉleinｙourlｏcａｌdiｒecｔorｙtovie