大數(shù)據(jù)實驗分析報告

1、作者:日期:13%酎界低大學(xué)課程實驗報告專業(yè)年級14級軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名晝勇學(xué) 號 20142205042026實驗日期 2017.05.04實驗地點 篤行樓B棟301實驗成績教務(wù)處制2017年03月09日實驗項目 名稱Liunx基本操作實驗 1. 了解Liunx操作系統(tǒng)發(fā)展歷史。目的及要求 2.學(xué)習(xí)Liunx操作系統(tǒng)基本概念及操作。3 .學(xué)習(xí)Liunx操作系統(tǒng)用戶及文件權(quán)限管理4 . Linux目錄結(jié)構(gòu)及文件基本操作。實驗 1.實驗樓環(huán)境介紹，常用Shell命令及快捷鍵，Linux使用小技巧。內(nèi)容 2.Linux中創(chuàng)建、刪除用戶，及用戶組等操作。 Li

2、nux中的文件權(quán)限設(shè)置。3.Linux的文件組織目錄結(jié)構(gòu)，相對路徑和絕對路徑，對文件的移動、復(fù)制、 重命名、編輯等操作。=_i* J_ L_U_T£-bi. I IfHt!01和 SHE 貨 皿二； M>i£ Efii$ touch file: -/ $ 7 Su改斗hl.”由父匚Nd $ gd8s<3：«11_ / hems/ ill li an I ou/t 口年th t yin 4m rCo4t f 5 |1 1. Liunx輸入輸出命令匚FKL，百2.使用touch命令創(chuàng)建文件夾，后綴都為 txt。3.學(xué)會在命令行中獲取幫助。實驗步驟tflif

3、 aMig； VU&* iw|i *Hi3 回電|Mh(l)干摺升一工具3N*IERift -在幌參考手掰葩接口悔生w (-C ut |-dj 1好-"ft呻n=8Aj| l-R SAI 【7LL!Af &£.-, JK £1K t LA -t £A1 hW口【一燈也"打 f-nMBi-onlK i -u - -flo-tubpifl*J (-P 比頁 LFY1-lt£ 率-TJ I'E ikM 1 o”gf -frO'jyltificittrOft E-P 空在第-tl 'Tjujj -H(i

4、iuu&)-Kdptij7 n盤節(jié)頁.j .*in »k通堂j正則一壯式 ，MR -K 囤間S Lili -ti-i resell【章節(jié)I 詞語 *a* *f *hatlf 迷0).x.w - (-C文性】T7一*-B睥瑪1皿-P 幺更幅L -F 梃鶴】PTJ r-E 設(shè)用 1 -P TH«卜t -Tl£> L町lit蛇41 llflftljj lJ 史性,.M» -IT“ ±E -4J 9溫.Ml y -C ift1 (1 (* A *，2，-?¥P»W iwnfl) Itn* 1 fpr看h F91g hl

5、p (q to quit)4 .輸出圖形字符。5 .查看用戶6.創(chuàng)建新用戶。7.刪除用戶。8.查看文件權(quán)限。9.用ls力/Al/dl/AsSh查看文件。2E2EZ££EQ1a豆怦（D*19 UX) «4H£>WhjfjhhiyanilfiiU：*/ $ H-dlIS:24311 IidrwMr-Mr-x 13 shWanlaui £hAyanlou 4696 !；月 4 10:24 a與卜i/ 1.inlou:«/ $ Is1 l&BK-is5hie；?452 136K-zCQnpdlunp - f Md90£

6、biq 15 - 5.0.2 4.OK.Xauth>drity36K.zcoRipdunp4-.9K*冰i cadhv45K,pydiitutll%.cfg匐，州Code，邨.gitconfig肌BK-confit4, QIC,.£5h-updatedbM席9file*明Desktop9.hushlogin4.Malocalelov_l®_ltniiii. txt園.BK4 flpRe白.BKa oh -imy'zaheI w.limuN B txtq.BK-pipBlove_l_liniJXB txtdl. BKfl£CtF1eSu&Jln

7、uK . txt日-耶.meel0H/=lllnUJG tH舊,0K. baWhreelove_6_llfiuM. tRt.zshrealove_7.llnuxatMt兇.BK.zsbthtsteryBlofr_3_ltnuxatxta. DK.profileBlotfeS'linijx. txtii. BK, JCEuthortt/0黑兆abjfh logaytByongu txt(Ehtjnlau:-/ 5口白：2S：11 910 .變更文件所有者。11 .修改文件權(quán)限。12.目錄路徑。sh: conmjnddhlou:-/ $ Cd., not Found: cd.rS p0d

8、not found: ped $ pwdIittp:/nlrror5 .*lturbcs .co*i http:/nirror http: A/ntrrors .aliyuncs<ccfi http； /ni-rrorg .qliyyncs f C<?m http：/ntrrors.aliyunc.cofl hrtp:/mirrors raTtyunrs rcomtrusty/uoiv<ers* Sources truity/nulttverst Sources trusty/rain «nd64 Pack4gH tr(j5ty/rer.trictmnd54 Pck

9、aci trusty/universe sndM Packay?s trustynultlverse and64 Packages在讀取軟件包列用一完成lUanlou：-/ S sudo aot-get Install Cr«e在攻取較叫但刎表.£成 在分痂軟件包前依幅關(guān)系輔 在讀取狀態(tài)信息完成 的已擰是施斯的版本循了 fi個軟件包,新安裝了 8個軟件包.要加或8個材件包,.有151ie：ss：3fl個林件但未被升ri6：5fl：50(ie：S9tl916:59:29»：S9：3318； W：5113.新建空白文件。rn：eR：?3l14.文件的復(fù)制、刪除、移動、

10、重命名。*輯心 SMil> Sffliyihit di mriijiShlylftloal-/ $ 11 ttxt11?OB：36":無法訪同tnt;設(shè)有那個文情或目錄shiyanLob2"/ $ wutxt11;8B:54zsh ： tQEmnd not found* Hiu . tmt5hLy已nig：-/ $ ejt &n passiMd11:09:20c«t: pn»d:沒有那個文件欣目錄ht«nlou>/ $ cp fstjpa3M111:11 ;d曰Cp：在"EHfg外曠后缺少了期嗦件的目標文沖Try

11、Bcp -"help' for Rore information.shtyanlou:»/ 5 cp /cet/pdssiwd 11:12:65cp:無法荻Ivjcetjp拈$W”的文件狀煲"沒有月&個文件或目錄Ehtydnlou:»/ $ pw 匚豆t Ryftle1112:14ahiyARloH："/ $ rn *f test11:14:0shiydHlon："/ $ |11:14:15實驗環(huán)境Liunx操作系統(tǒng)實驗結(jié)果與 分析通過學(xué)習(xí)Liunx操作系統(tǒng)的發(fā)展歷史、基本操作、用戶及文件權(quán)限管理以及Linux目錄結(jié)構(gòu)

12、及文件基本操作。是得我大致了解Liunx操作系統(tǒng)的使用，并且能夠完成相應(yīng)的練習(xí)。教師評語注：可根據(jù)實際情況加頁%酎界低大學(xué)課程實驗報告專業(yè)年級14級軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名晝勇學(xué) 號 20142205042026實驗日期 2017.05.04實驗地點 篤行樓B棟301實驗成績教務(wù)處制2017年03月09日15實驗項目 名稱Hadoop的基本操作實驗?zāi)康募耙?. Hadoop單機模式女裝.2. Hadoop偽分布模式配置部者.3. Hadoop介紹及1.X偽分布式安裝.4. adoop2.X 64 位編譯.5. Hadoop2.X 64位環(huán)境搭建.實驗 內(nèi)容1

13、. hadoop二種女裝模式紹，hadoop單機模式女裝，測試女裝2. hadoop配置文件介紹及修改，hdfs格式化，啟動hadoop進程，驗證安裝.3. Hadoop1.X偽分布安裝，Hadoop介紹,Hadoop變量配置.4. Hadoop2.X 64 位編譯，編譯 Hadoop2.X 64 位，編譯 Hadoop.5. 搭建環(huán)境,部署Hadooop2.X,啟動Hadoop.1 .用戶及用戶組，添加用戶及用戶組，添加sudo權(quán)限.2 .安裝及配置依賴的軟件包，安裝openssh-server、java、rsync等，配置 ssh免密碼登錄.3 .下載笄女裝 Hadoop,下載Hadoop

14、 2.6.0,解壓并女裝,配置Hadoop.實驗步驟h tdoo - 2. . &/!ih4ir4i/had»pi/H Apr »diKt/«M rctf/hxlaop-rMp3c lltnt，M - pl ,上用曹-2 .單 qfe. ,. j. rh ateop -2«S. Q'/thAfe/hado4p/ndpr rdvct/«gu mJhHto 附-zpcd ucv-c l七”七 jobcl Vnt -2 nfi.O- Mircti«j*rkdd。由口-2.£ .&/shdre/had/nd(

15、?rtduc/sor<esFhw如白9-r-educ-cIterrt-cnrces，口由h iifoep 工 g 由，曲HMdooW”口 r tdvct/sw(/，2口*d uct-c lltnc M * 樂 »tt>t，wurcts d«rh鼻的口32.白 ®，LTCTRfE.Enth adoop-2.fi CQ-/HEA DflE .txtti vdw工工力沖Ulfh»daQ中工.營偉，hd£ . UMdlha(jtoo3*Zu6 0'/lJtn/te5t-conitalnerexecutor h加幻 / B/bln /

16、ciMit jnor kvclit r ”的/ .卸曲iMhdcig,56 hadocD - 2.6 &/btn/r<c hidoofi t/bln/hdfih3疝口口mN . 6 B'/btn/njpred haidop-lG/btn/MdQpp hid»p 2,O/bln/yirn.end h *dg。75. 07 M RfprE * 5cl hddoQp-2r&/btn/yarn hildoo 2 5 .制 MulM*/h 白壯口口>-工.6 . 9/ Llud-fr/Tt tFAC fc'Qf y . hhhaddop 2.6 ,&

17、amp;/ Inclwle/Str IngUtll. hli1)/修£口 工 A a，1mEllM*/hdr，. h h*<dg A 工.卻 LiliC lud«/Pi /工.hh haicJocD-26 &/LnclwJe/5«rtalutHs hhh#$。如 1?*必鼻4Ra二雷Ljrf口 fw h4rk：np/I鼎”的 /u%r/Iqc11 /hiiDDph54： -S eTci ch Rod 777 /u>Er/lac>l/hadi>B0!314口。“曜1上辱曰*1；3*：$ 4.測試驗證.MU-I Ir'： 

18、9;J . flLU <前忖則 128Ga48M5。:-J source-/.bashrc，動：Na，黑h flip or dire;tcr昶m聞虱:副白邨咖*4 source -/tbishrcdW: wport; not a valid idintlherN:，h<w嗝舊口op，.加鉆“：；irc j0: syntaK trrcr ear Lhcxpecttd token 飛TART'esH /hoM/hadnp/itiKhrc; Um SB; "tsxiWOQP START1m址卻內(nèi)2規(guī)%4fi抬巾：，yr /hhadoopy.hrrad 忡諫 K2 割a#

19、&45*:*$dd峋浜 12SOMSH立：4 Mn 伽*，岫如p/kshrwM附照睢耽48MK：d source J.bashrc如：制用H:帕t 曰 valid identifier對"Mn«Jhdmp/ba前亡 H* SB：刖t* error near upKtM token 'SlttV«5l|： /bone/MOQPtHShrc： ItM kIHADQOP 5TMT1Mocjel加a鋤稅:jid附即也2部/5.相關(guān)配置文件修改：修改core-site.xml:6.格式化HDFS文件系統(tǒng).7.Hadoop集群啟動.198 .測試驗證.ff:

20、:0 lp6 mcastp re fixff02：i1 ipG-allndd«ft ft02: ;2 -all routers9 .設(shè)置Host映射文件.151.101,72,133 115+159.21G,235 23 192,30,255,11310.1S7.220 .810.143.3d.200 10,10334.200151.1O1.IS.1G2 09 151.101,36.209 13 10.252.13&,123 192.1G. 14Sassets-cdn.gixhub

21、 rcom g«ms.ruby - china,o rg git T github,hoeLabf lie . dss aliyuncxCDBi mir ror.aliyun,com mir r*gis+ ry,npm j 3,o rg repol.waven.arq r右pnN.h aven.o r0 www. sh iy anl ou . coin 5e2f&aSb704to 5i2f&a9b704b10 .下載并解壓hadoop安裝包11 .在Hadoop-1.1.2目錄下創(chuàng)建子目錄.Shiyarblcu6e2f6ft9b7e4b instsil-pack $

22、td /app/hsdoop- 1 L P 2shiyanlcu(d6»2f6a9b70flb hadoop-1L1 2Smkdir tupshiyanlou5e2f6a9b7G4b hadoop-1.1.2)(nkdur hafsstiiyanloutf42f£*9b7Q4b hadoop-1 r 1.2$nkdxr hashiyanlcu5e2f6a9b7G4b hadoap-1.1.2Srikdir hafs/dataLhiyiVUu西u2fG占gb704b h&doop-1.1.2)5匕binhadoop client-1.1.2, j右 rivysb in

23、buid. xralhadoop-ccre-1r1.2, j arivy.xnlshareC-H+h«doop examples，1,1.2.jarlib5 rcCHANGES.txthadoop-ninicluster-1>1.2.j arlibexectupcanfhadoop-lest 1r1.2 +jarLICENSE.txtMebappscont ribhadoop-tools-1.1.2.jarNOTICE.txthadacp'Ant -LIL ir h-F事REAME.txt12 .啟動 hadoop.13 .編譯 Hadoop2.X 64 位.shiya

24、nlou解c422836e38f instaU-packS source /etc/profile shiyanlou0c422836e38f install-pack$ java -versionjava version "1.5.0"gij (GNU libgcj) version 4.4,7 20120313 (Red Hat 4.4.7*11)Copyright (C) Free SoftMae F口undat工。3 Im14 .使用yum安裝sun.15 .部署 Hadooop2.X.與 Hadoop1.X 類似。實驗環(huán)境hadoop Xfce 終端實驗結(jié)果與 分

25、析通過本次實驗，讓我對Hadoop有所了解，但是在實驗過程中出現(xiàn)許多問題。 例如，不知道該如何卜載java jdk ,甚至如何創(chuàng)建文件夾目錄下的文件，以 及Hadoop的環(huán)境配置原理以及編譯原理和方法。這些都是實驗中出現(xiàn)的問 題，但是通過自己查詢，問同學(xué)，部分問題已經(jīng)得到解決，但是還存在F 分就只能通過課后自學(xué)進行解決！ ！ ！通過上述的學(xué)習(xí)，讓我對Hadoop的基 本操作由J基礎(chǔ)的掌握，包括Hadoop介紹及1.X偽分布式安裝，adoop2.X 64 位編譯，Hadoop2.X 64位環(huán)境搭建等。教師評語注：可根據(jù)實際情況加頁%酎界低大學(xué)27課程實驗報告專業(yè)年級14級軟件工程課程名稱大數(shù)據(jù)技

26、術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名晝勇學(xué) 號 20142205042026實驗日期 2017.06.01實驗地點 篤行樓B棟301實驗成績教務(wù)處制實驗項目 名稱 實驗一 目的及要求HDF麗 MapReduce1. HDFSM理及操作。2. MapReduc掠理及操作。實驗內(nèi)容實驗步驟1. HDFSM理及操作。環(huán)境說明，HDFSM理，HDFSHDFS實操作，HDFST操作，測試例子2. MapReduce理及操作。環(huán)境說明，MapReduce原理，Map過程，Reduce過程，測試例子1 .HDFS原理及操作。1.1 環(huán)境說明。虛擬機操作系統(tǒng)：CentOS6.6 64位，單核，1G內(nèi)存JDK 1

27、.7.0_55 64 位Hadoop HDFSM理。HDFS(Hadoop Distributed File System )是一個分布式文件系統(tǒng)， 是谷歌的GFS山寨版本。它具有高容錯性并提供了高吞吐量的數(shù)據(jù)訪 問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，它提供了一個高度容錯性和高 吞吐量的海量數(shù)據(jù)存儲解決方案。1.3 HDF歐構(gòu)。HDFS1 Master 和 Slave 的結(jié)構(gòu)，分為 NameNodeSecondary NameNod 和DataNode三種角色。1.4 HDFSS操作?？蛻舳送ㄟ^調(diào)用FileSystem對象的open()方法來打開希望讀取的文1.5 HDFSf操作

28、。客戶端通過調(diào)用 DistributedFileSystem 的create()方法創(chuàng)建新文 件。1.6 測試例子1。1.創(chuàng)建代碼目錄(shiyanlou07B5dfc 8fe03bbin J $ cd /app/hadoop-1.1.2I shJLy-Hnlou(fl78Sdf c8f e03b I shiyuainlou(i1785df c8f e0 3b lshzyanlou0705dfc8fe03b lshxyanlouti3785df c0teO3b l&hAyanlou07B5dfc8fe03b bxnhadoop «1k1i 2$ rm * rf mycla5s

29、 hfidoop' 1 .1.2$ rm - rf input hadoop - 1 P 1B 2 $ mkdlir Myclss hadoop-i.1.2j $ mkdur input Hadcip -1.1.2$ Imhadoop-eorel.l*S.jarivy注同附Ibuild.xmlhadoop- examples * 1.1.2.j » rlibC+hadoop-minxcluste r*1.1,2.jar"L IbexecCHANGES-txthadoop test 1.1.2.j a rLICENSE.txtconfhadoop-tools -1.1

30、.2.j a rlogscent ribhdf smyclass-ant -MOTICE.tsthadoop-c Lient- 1.1.2 -j a rivyFlEAOHE.txt2. 建立例子文件上傳到HDFStIshiyanloij07B5dfcBfeG3b irput S hadoop fs -rnkdir /class4 shLyanlcu7B5lfc8feG3b irput5 hatkop fs -Is /:ound 2 it”5irwxr-xrTX shiyanlou supergroup0 2017-06*01 02:54 /«pplrwxr-xr- shiyanlou

31、 supergroup0 2017-06<O1 02:57 /class4&hiyjnLqu'7S5dfrS:M3b input $3. 配置本地環(huán)境4. 編寫代碼5. 編譯代碼shiyanlou<fl785dfcBfe03b myclass$ javar -classpath ./hadoop-c a re -1.1.2.j a f FileSystemfat.shiyanlouESdfcBfeOBb lyclasBjf lltotal 8*rw=!*=- 1 shiyanlou shiyanlou 122s Jun 1 03;01 FLleSy itemCat.

32、*rw-rw-r- 1 shiyanlou shiyanlou 620 Jun 1 039。FiteSystemCat .java6. 使用編譯代碼讀取HDFSfc件2. MapReduce原理及操作。2.1 環(huán)境說明。虛擬機操作系統(tǒng)：CentOS6.6 64位，單核，1G內(nèi)存JDK 1.7.0_55 64 位Hadoop MapReduce®理。Map和Reduce當彳向MapReduce框架提交一個計算作業(yè)時，它會 首先把計算作業(yè)拆分成若干個 Map任務(wù)，然后分配到不同的節(jié)點上 去執(zhí)行，每一個Map任務(wù)處理輸入數(shù)據(jù)中的一部分，當 Map任務(wù)完 成后，它會生成一些

33、中間文件，這些中間文件將會作為 Reduce任務(wù) 的輸入數(shù)據(jù)。Reduce任務(wù)的主要目標就是把前面若干個 Map的輸出 匯總到一起并輸出。2.3 Map過程。每個輸入分片會讓一個 mapff務(wù)來處理，默認情況下，以 HDFS勺一 個塊的大?。J為64M）為一個分片，當然我們也可以設(shè)置塊的大 小。map輸出的結(jié)果會暫且放在一個環(huán)形內(nèi)存緩沖區(qū)中（該緩沖區(qū)的大小默認為100M由io.sort.mb 屬性控制），當該緩沖區(qū)快要溢出 時（默認為緩沖區(qū)大小的80%由io.sort.spill.percent 屬性控制）， 會在本地文件系統(tǒng)中創(chuàng)建一個溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫入這 個文件。2.4 Re

34、duce過程。Reduce會接收到不同mapff務(wù)傳來的數(shù)據(jù)，并且每個 map專來的數(shù) 據(jù)都是有序的。如果reduce端接受的數(shù)據(jù)量相當小，則直接存儲在 內(nèi)存中（緩沖區(qū)大小由 mapred.job.shuffle.input.buffer.percent 屬性控制，表示用作此用途的堆空間的百分比），如果數(shù)據(jù)量超過了 該緩沖區(qū)大/卜的定比例（由 mapred.job.shuffle.merge.percent決定），則對數(shù)據(jù)合并后溢寫到磁盤中 2.5測試例子。1.編寫代碼。shiyanloub9b774d5aab6 myclass$ IsMinTemperature.javaMinTemp e

35、ratu reReduce r + javaMinTempe ratu reMappe r.javaMinTemperatureRe2.編譯代碼616CUMCUOUu un n n n nrtnrlm u u u u-J-36114 £0- I I 4 14 98 1* 11 14 06:50 4 014 Ob:50 4 02：lb 4 Ot：5O 4 06:504 01：554 0 6:50 4 0:48 4 06;50 4 06:49 4 06:50dVdCf i Ipsysrcmcat h cl FileSystemCat.ja Kdfsi. ocaKile,c Hdfs2lo

36、calFile.i Ltxalf i lendfsSl Locab i e2Hdfs.c .Localri 1 c2Hcifs MInTeiperafure *c MinTtimperature. ji-core 1-rw-rw-r- 1-rw*r*w*r* * 1rw . rw = 1-rwrw-r- 1shiyan'tou shiyar 1 ou shiyanou shiyanlou1 shiyaTou 1 shiyanlou 1 shiyari 1 ouR_arr -vj u * rl -打 lydFI IOUWU 393dz (shiyanlouab tot Al 5?rw r

37、w r nrshiyainTcMJ -or-r> r - 1 shiyanlou -rw-rw-r'1 5hiyanlou -rw-rw-r- 1 shiyarlou -(w-rw-r- 1 sh iyanldu L J1 ._LunT « Ri 14 I Gl.*nn ”JC 05 b3 9882 62 51,class57%)57%)LSniyanlcuabS53ald54c1 myc lassjl jar cvt ./MinTeniperature. jar ./ added manifestadding: Fi 1 cSy&i<?nCat,c 1 ass(in 12?5) (out- 664)Cdeflatcd 45*)adding: HdfsZlocalFile. class (in - 1156) (out- 77D(drfiated 43%)adding： LocalFile2HdfsSl.cla$s(in = 566) (out-3.打包編譯文件4.解壓氣象數(shù)