云計算實驗報告書

實驗項目名稱多表關(guān)聯(lián)實驗成績實驗者專業(yè)班級組別同組者實驗日期2016．1．9第一部分：實驗分析與設(shè)計（可加頁）一、實驗內(nèi)容描述（問題域描述）輸入兩個文件：一個代表工廠表，包含工廠名列和地址編號列；另一個代表地址表，包含地址名列和地址編號列。從輸入數(shù)據(jù)中找出工廠名和地址名的對應(yīng)關(guān)系，輸出“工廠名——地址名”表，按工廠名排序輸出；數(shù)據(jù)文件自己設(shè)計樣例。實驗基本原理與設(shè)計（包括實驗方案設(shè)計，實驗手段的確定，試驗步驟等，用硬件邏輯或者算法描述）具體的算法實現(xiàn)如下：publicclassMTjoin{publicstaticinttime=0;/*在map中先區(qū)分輸入行屬于左表還是右表，然后對兩列值進行分割，*保存連接列在key值，剩余列和左右表標志在value中，最后輸出*/publicstaticclassMapextendsMapper<Object,Text,Text,Text>{//實現(xiàn)map函數(shù)publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,InterruptedException{Stringline=value.toString();//每行文件Stringrelationtype=newString();//左右表標識//輸入文件首行，不處理if(line.contains("factoryname")==true||line.contains("addressed")==true){return;}//輸入的一行預(yù)處理文本StringTokenizeritr=newStringTokenizer(line);Stringmapkey=newString();Stringmapvalue=newString();inti=0;while(itr.hasMoreTokens()){//先讀取一個單詞Stringtoken=itr.nextToken();//判斷該地址ID就把存到"values[0]"if(token.charAt(0)>='0'&&token.charAt(0)<='9'){mapkey=token;if(i>0){relationtype="1";}else{relationtype="2";}continue;}//存工廠名mapvalue+=token+"";i++;}//輸出左右表context.write(newText(mapkey),newText(relationtype+"+"+mapvalue));}}/*reduce解析map輸出，將value中數(shù)據(jù)按照左右表分別保存，*然后求出笛卡爾積，并輸出。*/publicstaticclassReduceextendsReducer<Text,Text,Text,Text>{//實現(xiàn)reduce函數(shù)publicvoidreduce(Textkey,Iterable<Text>values,Contextcontext)throwsIOException,InterruptedException{//輸出表頭if(0==time){context.write(newText("factoryname"),newText("addressname"));time++;}intfactorynum=0;String[]factory=newString[10];intaddressnum=0;String[]address=newString[10];Iteratorite=values.iterator();while(ite.hasNext()){Stringrecord=ite.next().toString();intlen=record.length();inti=2;if(0==len){continue;}//取得左右表標識charrelationtype=record.charAt(0);//左表if('1'==relationtype){factory[factorynum]=record.substring(i);factorynum++;}//右表if('2'==relationtype){address[addressnum]=record.substring(i);addressnum++;}}//求笛卡爾積if(0!=factorynum&&0!=addressnum){for(intm=0;m<factorynum;m++){for(intn=0;n<addressnum;n++){//輸出結(jié)果context.write(newText(factory[m]),newText(address[n]));}

}}}}publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration(); //conf.set("mapred.job.tracker",":9001");//String[]ioArgs=newString[]{"MTjoin_in","MTjoin_out"};String[]otherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();if(otherArgs.length!=2){System.err.println("Usage:MultipleTableJoin<in><out>");System.exit(2);}Jobjob=newJob(conf,"MultipleTableJoin");job.setJarByClass(MTjoin.class);//設(shè)置Map和Reduce處理類job.setMapperClass(Map.class);job.setReducerClass(Reduce.class);//設(shè)置輸出類型job.setOutputKeyClass(Text.class);job.setOutputValueClass(Text.class);//設(shè)置輸入和輸出目錄FileInputFormat.addInputPath(job,newPath(otherArgs[0]));FileOutputFormat.setOutputPath(job,newPath(otherArgs[1]));System.exit(job.waitForCompletion(true)?0:1);}}三、主要儀器設(shè)備及耗材Ubuntu、Hadoop、PC第二部分：實驗調(diào)試與結(jié)果分析（可加頁）調(diào)試過程（包括調(diào)試方法描述、實驗數(shù)據(jù)記錄，實驗現(xiàn)象記錄，實驗過程發(fā)現(xiàn)的問題等）調(diào)試方法描述以下是部分核心Hadoop的調(diào)試過程截圖（1）主節(jié)點：namenode（2）配置jdk:

第二部分：實驗調(diào)試與結(jié)果分析（可加頁）一、調(diào)試過程（包括調(diào)試方法描述、實驗數(shù)據(jù)記錄，實驗現(xiàn)象記錄，實驗過程發(fā)現(xiàn)的問題等）1．調(diào)試方法描述（3）配置ssh:配置Hadoop第二部分：實驗調(diào)試與結(jié)果分析（可加頁）一、調(diào)試過程（包括調(diào)試方法描述、實驗數(shù)據(jù)記錄，實驗現(xiàn)象記錄，實驗過程發(fā)現(xiàn)的問題等）2．實驗輸入數(shù)據(jù)記錄輸入兩個txt文件:代表工廠表的文件（factory.txt）和代表地址表的文件（adsress.txt）

第二部分：實驗調(diào)試與結(jié)果分析（可加頁）實驗輸出數(shù)據(jù)記錄運行過程輸入的命令如下所示：刪除已經(jīng)存在的output文件夾（包括子目錄）：hadoopfs-rmroutput在hadoop指定目錄內(nèi)創(chuàng)建新目錄：hadoopfs-mkdirinput將factory.txt文件夾存儲至hadoop:hadoopfs-putfactoryinput將address.txt文件夾存儲至hadoop:hadoopfs-putaddressinput運行已經(jīng)打包好的MTJoin.java文件：hadoopjarMTJoin.jarMTJoininputoutput

查看運行結(jié)果：hadoopfs-catoutput/part-r-00000輸入查看結(jié)果命令就會按要求輸出“工廠名——地址名”表，按工廠名排序輸出。二、實驗結(jié)果及分析（包括結(jié)果描述、實驗現(xiàn)象分析、影響因素討論、綜合分析和結(jié)論等）1．結(jié)果描述輸入工廠表對應(yīng)的文件factory.txt和地址表對應(yīng)的文件address.txt，則按要求輸出了“工廠名——地址名”表。完成了實驗要求。2．實驗現(xiàn)象分析在配置Hadoop的過程中遇到了很多問題，因為對Hadoop的不熟悉導(dǎo)致多次重啟系統(tǒng)，但是最后還是較好的完成了實現(xiàn)，在實驗的規(guī)程中并沒有出現(xiàn)過于嚴重的問題。3．影響因素討論首先我們必須完成Hadoop的集群配置：安裝Linux系統(tǒng)，推薦Ubuntu14.03，建議直接使用hadoop作為用戶安裝、配置jdk、更改環(huán)境變量、配置ssh、用jps驗證集群是否配置成功，使用多臺計算機連接主節(jié)點和多個次節(jié)點完成多臺計算機的并行分布。這些配置的過程對于該實驗是非常重要的，只有搭建好了Hadoop才能完成該實驗。同時設(shè)計好數(shù)據(jù)文件也會直接影響數(shù)據(jù)的輸出。4．算法分析（包括時間和空間）若工廠表長度為N，地址表的長度為M,則時間復(fù)雜度為O(N*M),空間復(fù)雜度為O(1)。第二部分：實驗調(diào)試與結(jié)果分析（可加頁）實驗小結(jié)、建議及體會多表關(guān)聯(lián)和單表關(guān)聯(lián)相似，都類似于數(shù)據(jù)庫中的自然連接。相比單表關(guān)聯(lián)，多表關(guān)聯(lián)的左右表和連接列更加清楚。所以可以采用和單表關(guān)聯(lián)的相同的處理方式，map識別出輸入的行屬于哪