Hadoop云計(jì)算實(shí)驗(yàn)報(bào)告

Hadoop云計(jì)算實(shí)驗(yàn)報(bào)告Hadoop云計(jì)算實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)?zāi)康脑谔摂M機(jī)Ubuntu上安裝Hadoop單機(jī)模式和集群； 編寫一種用Hadoop解決數(shù)據(jù)的程序，在單機(jī)和集群上運(yùn)行程序。實(shí)驗(yàn)環(huán)境虛擬機(jī)：VMware9操作系統(tǒng)：ubuntu—12.04—server—x64（服務(wù)器版），ubuntu—14.10—desktop—amd64(桌面版）Hadoop版本：hadoop1。2.1Jdk版本：jdk—7u80—linux-x64Eclipse版本：eclipse—jee—luna-SR2—linux-gtk—x86_64Hadoop集群：一臺(tái)namenode主機(jī)master,一臺(tái)datanode主機(jī)salve，master主機(jī)IP為10.5。110.223,slave主機(jī)IP為10.5。110.207。實(shí)驗(yàn)設(shè)計(jì)闡明重要設(shè)計(jì)思路在ubuntu操作系統(tǒng)下，安裝必要軟件和環(huán)境搭建,使用eclipse編寫程序代碼.實(shí)現(xiàn)大數(shù)據(jù)的統(tǒng)計(jì)。本次實(shí)驗(yàn)是統(tǒng)計(jì)軟件代理系統(tǒng)操作人員解決的信息量,即每個(gè)操作人員出現(xiàn)的次數(shù)。程序設(shè)計(jì)完畢后，在集成環(huán)境下運(yùn)行該程序并查當(dāng)作果。算法設(shè)計(jì)該算法首先將輸入文獻(xiàn)都包含進(jìn)來，然后交由map程序解決,map程序?qū)⑤斎胱x入后切出其中的顧客名,并標(biāo)記它的數(shù)目為1，形成〈word,1>的形式，然后交由reduce解決，reduce將相似key值（也就是word)的value值收集起來,形成<word，listof1>的形式，之后再將這些1值加起來，即為顧客名出現(xiàn)的個(gè)數(shù)，最后將這個(gè)〈key,value〉對(duì)以TextOutputFormat的形式輸出到HDFS中。程序闡明UserNameCountMap類繼承了org。apache.hadoop.mapreduce.Mapper，4個(gè)泛型類型分別是map函數(shù)輸入key的類型,輸入value的類型，輸出key的類型，輸出value的類型。UserNameCountReduce類繼承了org。apache.hadoop.mapreduce。Reducer，4個(gè)泛型類型含義與map類相似。main函數(shù)通過addInputPath將數(shù)據(jù)文獻(xiàn)引入該類，在通過setOutputPath將生成成果轉(zhuǎn)為一種文獻(xiàn)，實(shí)現(xiàn)生成成果,即統(tǒng)計(jì)成果的查看.FileInputFormat。addInputPath（job，newPath（args［0］）)；FileOutputFormat.setOutputPath(job,newPath（args［1]));程序具體代碼如附件中源程序。實(shí)驗(yàn)過程安裝實(shí)驗(yàn)環(huán)境安裝ubuntu操作系統(tǒng)打開VMware,在Hometab中單擊“CreateaNewVirtualMachine”，選擇custom，選擇虛擬硬件版本W(wǎng)orkstation9.0，選擇ios文獻(xiàn)，next,錄入目的操作系統(tǒng)信息,涉及Fullname、Uername和Password，next，選擇默認(rèn)的選項(xiàng)，普通不做更改，最后確認(rèn)信息，F(xiàn)inish，安裝成功后，會(huì)看到以下畫面,安裝配備Samba安裝samba重要為了實(shí)現(xiàn)與windows操作系統(tǒng)的通訊，由于server版本的ubuntu沒有自帶圖形操作界面，因此下載資料等操作不太方便，這也是安裝samba的目的之一。安裝samba,輸入以下命令：安裝vim創(chuàng)立共享目錄，并修改權(quán)限配備samba。修改samba的配備文獻(xiàn)/etc/samba/smb.conf，將security=share,并在文獻(xiàn)的末尾追加以下內(nèi)容，測試。在windows實(shí)機(jī)中，通過ip訪問ubuntu虛擬機(jī),能夠見到share文獻(xiàn)夾安裝配備JDK首先，下載java開發(fā)工具包JDK.在本次實(shí)驗(yàn)中，我們下載的版本是jdk-7u80-linux-x64。gz.解壓安裝到/usr/lib/jvm/目錄下，改名為java-7—sun。配備環(huán)境變量/etc/environment,使配備生效測試安裝配備成果在單節(jié)點(diǎn)(偽分布式)環(huán)境下運(yùn)行HADOOP添加Hadoop顧客并賦予sudo權(quán)限安裝配備SSH切換至hadoop顧客，配備密鑰，使得hadoop顧客能夠不必輸入密碼,通過SSH訪問localhost，測試成果：安裝配備Hadoop首先下載Hadoop，解壓縮到/opt/hadoop目錄下，本次實(shí)驗(yàn)中我們下載的版本是hadoop-1.2.1-bin.tar。gz,更改目錄名稱為hadoop.修改與hadoop有關(guān)的配備文獻(xiàn)（在/opt/hadoop/conf目錄下），分別是core—site。xml,hadoop-env.sh,hdsf-site.xml,mapred—site.xml.在此不一一列舉。運(yùn)行Hadoop首先格式化HDFS，啟動(dòng)單節(jié)點(diǎn)集群，通過jps查看，masterslave停止單節(jié)點(diǎn)集群，在多節(jié)點(diǎn)（分布式）環(huán)境下運(yùn)行HADOOP設(shè)立/etc/hosts文獻(xiàn)實(shí)驗(yàn)中兩臺(tái)機(jī)器處在同一局域網(wǎng)中，其中一臺(tái)作為master，ip地址為10。5.110。223，一臺(tái)作為slave，ip地址為10.5。110.207,修改兩臺(tái)機(jī)器的/etc/hosts文獻(xiàn),設(shè)立節(jié)點(diǎn)之間無密碼SSH登陸驗(yàn)證配備SSH與否對(duì)的修改集群配備文獻(xiàn)修改master的masters、slaves，修改全部節(jié)點(diǎn)的core—site.xml,hdsf-site.xml,mapred—site.xml,在此不一一列出。在master上格式化HDFS啟動(dòng)和停止集群啟動(dòng)集群,在master上啟動(dòng)HDFS后，jps成果以下:masterslave在master上啟動(dòng)mapreduce后，jps成果以下：masterslave停止集群運(yùn)行程序在單機(jī)上運(yùn)行程序在Eclipse下,新建map/reduce工程新建一種java類UserNameCount，編寫代碼運(yùn)行程序，成果以下：在eclipse中編譯好源代碼后，導(dǎo)出程序的jar包，供在集群上使用。在集群上運(yùn)行程序啟動(dòng)集群，通過jps命令查看master,slave上啟動(dòng)的服務(wù)列表，成果以下：在集群環(huán)境下運(yùn)行該程序jar包（UserNameCount。jar），成果以下：查看集群環(huán)境下啟動(dòng)程序生成的成果,即output文獻(xiàn)，成果以下:數(shù)據(jù)統(tǒng)計(jì)成果在part-r—00000中,具體內(nèi)容以下，附件源代碼以下：packagehadoop；importjava.io.IOException;importjava.util.StringTokenizer;importorg。apache。hadoop.conf。Configuration;importorg。apache.hadoop。fs。Path；importorg。apache。hadoop。io.IntWritable;importorg.apache.hadoop。io。LongWritable；importorg。apache.hadoop.io。Text;importorg.apache.hadoop。mapreduce.Job;importorg.apache.hadoop.mapreduce。Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg。apache。hadoop。mapreduce。lib.input。FileInputFormat；importorg.apache。hadoop.mapreduce.lib。input。TextInputFormat;importorg。apache.hadoop。mapreduce。lib。output。FileOutputFormat;importorg。apache。hadoop。mapreduce。lib。output。TextOutputFormat；publicclassUserNameCount｛ publicstaticclassUserNameCountMapextends Mapper<LongWritable，Text,Text，IntWritable〉｛ privatefinalIntWritableone=newIntWritable（1）； privateTextword=newText(）； publicvoidmap(LongWritablekey,Textvalue，Contextcontext） throwsIOException，InterruptedException{ Stringline=value。toString()； StringTokenizertoken=newStringTokenizer（line）; while(token。hasMoreTokens（）)｛ word。set(token。nextToken（））； context。write(word,one)； } } ｝ publicstaticclassUserNameCountReduceextends Reducer<Text,IntWritable，Text，IntWritable〉{ publicvoidreduce（Textkey,Iterable〈IntWritable〉values， Contextcontext）throwsIOException,InterruptedException{ intsum=0； for(IntWritableval:values){ sum+=val。get（）; ｝ context.write（key,newIntWritable(sum））； ｝ } publicstaticvoidmain(String［］args)throwsException｛ Configurationconf=newConfiguration（); Jobjob=newJob（conf); job。setJarByClass(UserNameCount。class）; job.setJobName（"usernamecount"); job.setOutputKeyClass(Text。class）； job。setOutputValueClass(IntWritable。class）; job.setMapperClass（UserNameCountMap。class); job。setReducerClass(UserNameCountReduce.class); jo