云計(jì)算基礎(chǔ)第.章

Hadoop：Google云計(jì)算的開(kāi)源實(shí)現(xiàn)

提綱Hadoop簡(jiǎn)介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結(jié)構(gòu)化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

在Linux系統(tǒng)中安裝Hadoop

1．安裝環(huán)境配置1）安裝Linux虛擬機(jī)安裝軟件

2）安裝SSH$sudoapt-getinstallssh3）安裝Java$cd/usr/java/$/mnt/hgfs/share/jdk-6u24-linux-i586.bin4）解壓Hadoop安裝包$tar–5）編輯conf/hadoop-env.sh文件$viconf/hadoop-env.sh2．安裝步驟

1）單機(jī)模式默認(rèn)情況下，Hadoop被配置成一個(gè)以非分布式模式運(yùn)行的獨(dú)立Java進(jìn)程，適合開(kāi)始時(shí)做調(diào)試工作WordCount實(shí)例

$mkdirinput$cdinput$echo"helloworld">test1.txt$echo"hellohadoop">test2.txt$bin/hadoopjarhadoop-mapred-examples-0.20.2.jarwordcountinputoutput

查看執(zhí)行結(jié)果$catoutput/*在Linux系統(tǒng)中安裝Hadoop

2．安裝步驟

2）偽分布式模式用不同的Java進(jìn)程模擬分布式運(yùn)行中各類節(jié)點(diǎn)（1）Hadoop配置在Linux系統(tǒng)中安裝Hadoop

core-site.xml配置文檔hdfs-site.xml配置文檔mapred-site.xml配置文檔

（2）免密碼SSH設(shè)置生成密鑰對(duì)$ssh-keygen-trsa一直按【Enter】鍵，按照默認(rèn)的選項(xiàng)將生成的密鑰對(duì)保存在.ssh/id_rsa文件中進(jìn)入.ssh目錄$cpid_rsa.pubauthorized_keys

執(zhí)行$sshlocalhost，可以實(shí)現(xiàn)用SSH連接并且不需要輸入密碼在Linux系統(tǒng)中安裝Hadoop

將密鑰對(duì)保存在.ssh/id.rsa文件中

在Linux系統(tǒng)中安裝Hadoop

（3）Hadoop運(yùn)行（a）格式化分布式文件系統(tǒng)$bin/hadoopnamenode–format（b）啟動(dòng)Hadoop守護(hù)進(jìn)程$bin/start-all.sh成功執(zhí)行后將會(huì)在本機(jī)上啟動(dòng)NameNode、DataNode、JobTracker、TaskTracker和SecondaryNameNode5個(gè)新的Java進(jìn)程（c）運(yùn)行WordCount實(shí)例

$bin/hadoopdfs–copyFromLocalinputin$bin/hadoopjarhadoop-mapred-examples-0.20.2.jarwordcountinout

查看Hadoop分布式文件系統(tǒng)上數(shù)據(jù)處理的結(jié)果

$bin/hadoopdfs-catout/*

把輸出文件從Hadoop分布式文件系統(tǒng)復(fù)制到本地文件系統(tǒng)查看

$bin/hadoopdfs-getoutoutput$catoutput/*（d）停止Hadoop守護(hù)進(jìn)程。最后需要停止Hadoop守護(hù)進(jìn)程$bin/stop-all.sh3）完全分布式模式（1）配置NameNode和DataNode（2）在所有的機(jī)器上建立相同的用戶grid

$useradd-mgrid$passwdgrid

（3）SSH配置在所有機(jī)器上建立.ssh目錄$mkdir.ssh在ubuntunamenode上生成密鑰對(duì)$ssh-keygen-trsa在Linux系統(tǒng)中安裝Hadoop

配置ubuntunamenode的/etc/hosts

ubuntudata1和ubuntudata2的hosts配置

在Linux系統(tǒng)中安裝Hadoop

（3）SSH配置然后一直按【Enter】鍵，就會(huì)按照默認(rèn)的選項(xiàng)將生成的密鑰對(duì)保存在.ssh/id_rsa文件中$cd~/.ssh$cpid_rsa.pubauthorized_keys$scpauthorized_keysubuntudata1:/home/grid/.ssh$scpauthorized_keysubuntudata2:/home/grid/.ssh最后進(jìn)入所有機(jī)器的.ssh目錄，改變authorized_keys文件的許可權(quán)限$chmod644authorized_keys（4）在所有機(jī)器上配置Hadoop在ubuntunamenode上配置（a）編輯core-site.xml、hdfs-site.xml和mapred-site.xml（b）編輯conf/masters，修改為master的主機(jī)名，每個(gè)主機(jī)名一行，此外即為ubuntunamenode（c）編輯conf/slaves，加入所有slaves的主機(jī)名，即ubuntudata1和ubuntudata2（d）把Hadoop安裝文件復(fù)制到其他機(jī)器上$scp–rhadoop-0.20.2ubuntudata1:/home/grid$scp–rhadoop-0.20.2ubuntudata2:/home/grid（e）編輯所有機(jī)器的conf/hadoop-env.sh文件在Li被nu診x系統(tǒng)淡中安戰(zhàn)裝Ha頓do冊(cè)op（5）Ha輩do逮op運(yùn)行格式余化分串布式叔文件冬系統(tǒng)$b極in斜/h頸ad趣oo淘pna那me辦no撇de-f類or辯ma押t啟動(dòng)Ha星do頂op守護(hù)涼進(jìn)程$明bi蜻n/召st臣ar北t-貴al折l.尖sh格式條化分察布式眉文件運(yùn)系統(tǒng)啟動(dòng)Ha綿do滑op守護(hù)擊進(jìn)程在Li偵nu齊x系統(tǒng)牽中安漏裝Ha膽do稠op用視戶也攔可以設(shè)根據(jù)票自己佛的需塊要來(lái)添執(zhí)行列如下拆命令（a）st囑ar紅t-慌al布l.駱sh：?jiǎn)⒌趧?dòng)所撐有的Ha賠do置op守護(hù)掀進(jìn)程漂，包化括Na片me脆No啞de、Da依ta輩No米de、Jo調(diào)bT櫻ra鼻ck冰er和Ta漂sk郊tr眨ac那k（b）st蒜op呆-a加ll熱.s驅(qū)h：停啟止所漢有的Ha鉛do揀op守護(hù)封進(jìn)程（c）st糠ar脅t-框ma叢pr丘ed廟.s闊h：?jiǎn)⒄n動(dòng)Ma華p/同Re挺du趟ce守護(hù)開(kāi)進(jìn)程檔，包爭(zhēng)括Jo柏bT壁ra團(tuán)ck敗er和Ta伶sk日tr白ac板k（d）st批op筒-m習(xí)ap地re摟d.執(zhí)sh：停吸止Ma趟p/呈Re立du姻ce守護(hù)概進(jìn)程（e）st令ar僵t-群df戀s.籃sh：?jiǎn)⑺雱?dòng)Ha賣do俗o(hù)p攤D暈FS守護(hù)體進(jìn)程丟，包案括Na損me氣No派de和Da原ta劣No石de（f）st毀op逢-d罵fs刺.s呼h：停佛止DF輪S守護(hù)衫進(jìn)程修倆改C:倦\W艘IN瓦DO堆WS漁\s慘ys郊te鞏m3師2\弟dr嚼iv皂er桑s\帳et銹c\閱ho歇st愿s文件摩，加蹤蝶入三茄臺(tái)虛紡擬機(jī)董的IP地址海及其員對(duì)應(yīng)有的主孕機(jī)名并，即明：12戶7.超0.吸0.誓1柿lo呢ca均lh次os繪t19氧2.桶16哄8.駝12預(yù)2.英13射6緊ub雖un擦tu戲na盒me壤no惱de19強(qiáng)2.堪16和8.醫(yī)12拜2.旱14竄0飛ub沫un姑tu筑da庭ta蒜119饅2.調(diào)16廊8.紗12夸2.策14謙1奴ub琴un霜tu針da馳ta曲2在Li琴nu黑x系統(tǒng)詢中安戰(zhàn)裝Ha味do隸opNa場(chǎng)me驕No良de運(yùn)行復(fù)狀態(tài)在Li惰nu賞x系統(tǒng)恢中安頑裝Ha啞do回opJo閣bT坡ra殘ck什er運(yùn)行稀狀態(tài)在Li訊nu晴x系統(tǒng)陶中安衣裝Ha鐮do塑op（g）運(yùn)濁行Wo隸rd吸Co藏un董t實(shí)例$雷bi澇n/新ha褲do漏op鎖d煩fs–pu四t境in釣pu部t喊in$扭bi環(huán)n/諸ha健do稠op們j途ar授h郵ad轉(zhuǎn)oo袋p-蝦0.咱20肅.2伸-e彈xa犬mp挺le口s.桿ja鄙r群wo億rd寸co水un大t脂in類o德ut查看Ha稼do故op分布笨式文濾件系傾統(tǒng)上曬數(shù)據(jù)列處理斗結(jié)果$竄bi峰n/拘ha掩do鬼op黃d凡fs商-稼ca沙t徑ou柜t/銳*從Ha鐵do蒙op分布晃式文蜘件系輪統(tǒng)復(fù)齡制到連本地燭文件勒系統(tǒng)減查看$復(fù)bi甜n/膨ha寧do瓣op亡d渡fs抵-億ge參t項(xiàng)ou門t圣ou求tp皺ut$裁ca騾t故ou孟tp辛ut份/*（h）停席止Ha睛do學(xué)op守護(hù)乖進(jìn)程$嫩bi葵n/殘st板op宵-a敘ll侮.s笛h在Li未nu垃x系統(tǒng)乖中安慕裝Ha穩(wěn)do議op運(yùn)行Wo栗rd蠟Co蝦un拆t實(shí)例查看贊數(shù)據(jù)趕處理各結(jié)果停止Ha渡do碗op守護(hù)弓進(jìn)程悄運(yùn)行雨結(jié)果在Wi歲nd暗ow訊s系統(tǒng)沖中安仁裝Ha尼do卡op1．安毅裝環(huán)凍境配轉(zhuǎn)置1）下包載安浮裝Cy翼gw敬in編輯液系統(tǒng)絞變量晃，新合建系話統(tǒng)變姑量CY捉GW廁IN，變膛量值督為nt葬se搭c組tt噴y，如鼻圖6-悔19所示跡。編發(fā)輯系徐統(tǒng)變馳量里瞇的Pa恥th變量松，加駁入C:智\c取yg趨wi改n\隸bi洋n2）安傳裝Ja獨(dú)va默認(rèn)雜的安每裝目垮錄為新旁建系抖統(tǒng)變背量JA手VA演_H嘴OM巡壽E編仇輯系國(guó)統(tǒng)變消量里池的Pa駐th變量信，加邀入%J蒼AV景A_填HO把ME扔%\棋bi或n;良%J樂(lè)AV蜓A_凳HO鈔ME貪%\椒jr聯(lián)e\澡bi僵n新萬(wàn)建系租統(tǒng)變掉量CL寒AS膏SP勒AT友H，值賴為.;宇%J陸AV赴A_寧HO址ME任%\鍵li雹b;盈%J吧AV仗A_希HO鞏ME映%\預(yù)li著b\最to何ol漏s.盼ja膀r2.安裝嘴步驟1）單括機(jī)模袋式默帥認(rèn)的報(bào)解壓機(jī)縮目蠟錄為懂用戶泰的根殘目錄攜，即C:瓣\c懶yg榆wi奏n\存ho芳me艘\A得dm剝in花is起tr應(yīng)at稱or。編信輯co字nf聽(tīng)/h帝ad憑oo醬p-界en語(yǔ)v.膏sh文件熱，將JA坑VA姥_H引OM屠E變量寸設(shè)置吹為JA屑VA安裝穩(wěn)的根禮目錄惜。例盯如JA霞VA安裝向在目柳錄C:析\P唉ro訪gr務(wù)am北F充il告es少\J補(bǔ)av駕a\快jd額k1錘.6趁.0訓(xùn)_1端3在Wi冶nd著ow日s系統(tǒng)葵中安筐裝Ha埋do倡op配遙置完閉之后笑即可沾運(yùn)行Wo為rd薦Co傻un胳t實(shí)例fi包le拆1.齒tx靠t:窩h席el夜lo品w旨o(jì)r搬ld朱h麻el臺(tái)lo坑h提ad廟oo嚇pfi厚le臉2.閑tx觀t:氏b菠ye帖h粘ad邪oo必p運(yùn)艙行實(shí)很例，剖并將由結(jié)果政輸出濕到指喊定的ou棟tp歪ut目錄杜（執(zhí)行恩之前ou鞏tp支ut目錄享必須涌為空悅，或勤者不興存在臂這個(gè)每目錄答，否川則會(huì)尼出錯(cuò)）$棵bi濕n/哥ha耕do招op秤j感ar同h妹ad申oo糊p-摩0.批20居.2斯-e進(jìn)xa笑mp完le界s.或ja例r賢wo附rd蘇co某un督t俊in證pu克t絮ou光tp吹ut2）偽塔分布大式模塔式（1）編芽輯文孔件co破nf加/c探or陶e-臨si去te角.x顯ml和ma暫pr間ed辣-s抗it錯(cuò)e.謀xm萌l（2）安栗裝配狀置SS藍(lán)H啟悉動(dòng)cy悉gw萍in器$乖s評(píng)sh耀-h忠os即t-塌co惹nf披ig當(dāng)懇詢問(wèn)“Sh竹ou待ld您p懶ri評(píng)vi萬(wàn)le勒ge揚(yáng)s嚷ep何ar臨at面io艙n途be籍u罪se說(shuō)d?”時(shí)，黃輸入no當(dāng)糾詢問(wèn)“Do愉y治ou哈w哈an卷t縣to獄i渠ns籠ta掩ll最s改sh栗d茫as侍a駛s引er齒vi航ce吵?”，選穿擇ye毀s，把ss掩hd作為衰一項(xiàng)建服務(wù)屆安裝當(dāng)枯提示“En騾te基r薪th色e路va頌lu攪e葡of軌C殘YG匪WI延N附fo慘r附th青e引da腥em各on魄:傷[n費(fèi)ts餓ec丟]”時(shí)，羅選擇nt各se膨c輸阿入命致令$宴ne弱t欲st失ar至t較ss寫(xiě)hd，啟俯動(dòng)SS款H或銀通過(guò)揀服務(wù)戶啟動(dòng)CY迷GW趴IN途s典sh和d在Wi弊nd撿ow溪s系統(tǒng)端中安微裝Ha馬do叮op執(zhí)筒行$逝ss望h-癢ke建yg春en來(lái)生去成密群鑰對(duì)鍵，然脖后一升直按【E崗nt碼er岸】鍵，糾就會(huì)亮按照防默認(rèn)做的選顧項(xiàng)將與生成習(xí)的密赤鑰對(duì)針保存爐在.s嘩sh目錄欲下。介將RS誓A公鑰常加入貼到公尚鑰授智權(quán)文未件au從th謀or文iz聲ed座_k蠶ey居s中$仔cd變.余ss慘h$盡ca異t辟id叛_r短sa障.p玩ub悔>富>番au講th慕or側(cè)iz哄e(cuò)d村_k恥ey掛s（3）Ha板do惜op運(yùn)行（a）格悼式化延分布醒式文界件系循統(tǒng)$蠢bi棋n/暫ha街do碑op瘋N腦am仙eN鋼od雅e–fo隙rm報(bào)at（b）啟建動(dòng)Ha秧do臣o(jì)p守護(hù)劈燕進(jìn)程$都bi宿n/裁st媽ar恥t-冊(cè)al寶l.賓sh（c）運(yùn)辱行Wo沒(méi)rd隱Co秋un弟t實(shí)例$孩bi認(rèn)n/踐ha鹿do盒op艦d獸fs–pu思t字in恥pu尾t渾in$允bi院n/常ha撲do車op婚j丑ar淚h覽ad旗oo鑼p-斬0.護(hù)20諸.2歷-e體xa洋mp乏le拴s.亞ja波r高wo墓rd黑co寸un揉t拘in挑o口ut查看Ha修do濱op分布屋式文霞件系鞏統(tǒng)上沒(méi)數(shù)據(jù)吐處理速的結(jié)虛果$絲式bi失n/撓ha煩do單op裹d逗fs幅-國(guó)ca朗t搬ou青t/蒙*從Ha架do棵op分布貢式文還件系噴統(tǒng)復(fù)球制到撫本地產(chǎn)文件莊系統(tǒng)縫查看$川bi折n/顧ha寺do依op石d唇fs奴-侄ge核t襖ou末t悅ou郊tp絹ut$良ca弄t豎ou門tp視ut尤/*（d）停知止Ha敗do液op守護(hù)臟進(jìn)程$懸bi鄰n/細(xì)st蔑op捷-a臺(tái)ll積.s采h在Wi窄nd瞎ow乎s系統(tǒng)憐中安芒裝Ha埋do愛(ài)op3）完冰全分君布式釋模式（1）修克改相茶應(yīng)文哪件修改雪所有礙機(jī)器肢的C:懼\W待IN產(chǎn)DO盒WS攝\s殿ys寬te袖m3察2\聾dr園iv凝er萌s\檔et姻c\胡ho須st院s文件貸，加南入各紹機(jī)器IP地址勵(lì)及其影對(duì)應(yīng)丈的主顯機(jī)名隸，即位：12鈔7.罩0.喬0.卸1償lo劑ca魂lh柱os形t19界2.偶16凈8.及11盟.2嶼54秧c懼en占to登s2擦5419承2.巡壽16邊8.貨11族.2鋒53胃c毅en普to甩s2粒5319擾2.在16悔8.給11順.2慘52算c幸en倆to贏s2需52（2）在閥所有吊機(jī)器咬上建竹立相代同的么賬戶st即on勝y（3）在食所有親機(jī)器霉上進(jìn)滿行SS僚H配置執(zhí)行$羊ss劃h-濫ke桑yg冶en來(lái)生冷成密關(guān)鑰對(duì)疊。然脆后一她直按【E怠nt蔑er?！挎I，危就會(huì)緣瑞按照開(kāi)默認(rèn)翅的選技項(xiàng)生隱成密加鑰對(duì)較，并暈保存征在.s羅sh范/i輪d_帝rs怨a文件架中。迫執(zhí)行矩下面序的命踐令將RS裝A公鑰滅加入代到公生鑰授濤權(quán)文累件au銷th意or茅iz戀ed揀_k鄙ey劃s中：$c蠻d到~/乏.s爸sh$c炒at桃i歌d_續(xù)rs歌a.蜘pu宴b豪>>漢a榮ut秧ho梁ri且ze緩d_傭ke租ys在ce置nt販os緩25療4上執(zhí)鉗行$c腸d威~/隆.s胳sh$s瓣cp概a秒ut沒(méi)ho嬸ri調(diào)ze陸d_濾ke忘ys定s許to跪ny吳@c仰en賤os痰25示3:億/h心om全e/虧st豪on狡y/阻.s驅(qū)sh$s企cp朵a朽ut學(xué)ho辭ri小ze妨d_幼ke女ys脊s瞞to模ny絕@c俗en徹os蛇25猶2:摔/h俱om嫌e/雞st窗on碗y/克.s奔sh在Wi壯nd葡ow機(jī)s系統(tǒng)承中安民裝Ha望do表op分別仇進(jìn)入ce厘nt吹os赤25姑3、ce銅nt葛os尺25賽2和ce蛙nt觸os插25宏1的.s撕sh目錄湖，改賠變au棗th練or莊iz屆ed步_k嫁ey償s文件首的許僵可權(quán)戀限$c今hm懂od纏6釘44畏a達(dá)ut劍ho哀ri肯ze毛d_蜓ke硬ys（4）在藥所有悉機(jī)器壯上配肢置Ha綁do酬op在ce梅nt隊(duì)os扁25踏4上配段置$燃mv卷h立ad越oo今p-昆0.收20機(jī).2繳h豎ad差oo洋p編腎輯co辟nf寄/c匠or疾e-薪si鬼te倚.x木ml編獲輯co燃nf乏/m挎ap羊re殼d-挨si鉆te甲.x比ml編備輯co齊nf翁/h刻df卡s-法si鉆te摘.x議ml在Wi熊nd芒ow酸s系統(tǒng)攻中安閥裝Ha夾do有op編返輯co夾nf木/m貼as朽te盆r，修罵改為ma蘆st仍er的主剩機(jī)名她，每動(dòng)個(gè)ip一行焰，在鄙這里查就是滋。編棗輯co題nf回/s假la厲ve積s，加戒入所挑有sl治av每es的主燥機(jī)名動(dòng)，即答和。層把ha墓do免op復(fù)制播到其線他機(jī)集器，害命令易如下吼：$s伐cp堪~賽/h縣ad郊o(jì)o西p突st柿on線y@伸ce荒nt速os粘25肌3:朋/h罵om碑e/既st立on畫(huà)y/$s駕cp勻~傍/h輕ad綁oo怨p鉤st質(zhì)on否y@梅ce膠nt宅os置25散2:轉(zhuǎn)/h素om到e/殘st痛on命y/編率輯所柱有機(jī)載器的co象nf頑/h窮ad畫(huà)oo米p-均en河v.柿sh文件，將JA顫VA局_H恰OM加E變量葉設(shè)置幕為JA煤VA安裝勿的根給目錄，不同械機(jī)器言可以悲使用忍不同然的JA棋VA版本，但需借要jd煉k1抵.5版本腥以上在Wi久nd切ow厲s系統(tǒng)射中安枕裝Ha亭do簽op（5）Ha叨do肥op運(yùn)行格孕式化吼分布督式文極件系棗統(tǒng)。歲在ce劣nt綢os首25前4上執(zhí)株行如罪下的棋命令脆：$b蹲in誤/h來(lái)ad葉oo橫pna春me公no密de-f鈔or旗ma釋t啟吹動(dòng)Ha浩do兄op守護(hù)豬進(jìn)程$枯bi快n/準(zhǔn)st屑ar脾t-脈al漠l.回sh同樣汪的，卻訪問(wèn)ht蟲(chóng)tp燈:/屆/c陜en庸to移s2依54扣:5怎00鐘70可以路查看Na余me羨No畢de以及長(zhǎng)整個(gè)頓分布暗式文到件系家統(tǒng)的撫狀態(tài)隊(duì)，瀏價(jià)覽分貢布式爸文件應(yīng)系統(tǒng)逐中的谷文件智以及鄰日志淡等；蒜訪問(wèn)ht漁tp鉛:/近/c辯en公to瞧s2還54睛:5混00繞60可以蠢查看Ta苦sk愛(ài)Tr陪ac褲ke喂r的運(yùn)窮行狀獄態(tài)運(yùn)行Wo卵rd幫Co梯un脊t實(shí)例雷：$殲bi間n/擾ha旦do裙op刊d您fs–pu肺t且in利pu矩t酒in$赤bi嘩n/湊ha洗do律op厭j具ar亦h奮ad勾oo閘p-盟.0伏20滋.2旋-e萍xa搭mp鋤le材s.侵ja殿r爬wo鐘rd則co錄un俊t奧in拉o次ut查看H