大數(shù)據(jù)實(shí)驗(yàn)報(bào)告

課程試驗(yàn)陳說(shuō)之邯鄲勺丸創(chuàng)作時(shí)間：七月二十九日專業(yè)年級(jí)14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇學(xué)號(hào)試驗(yàn)日期.05.04試驗(yàn)地點(diǎn)篤行樓B棟301試驗(yàn)成績(jī)教務(wù)處制03月09日試驗(yàn)項(xiàng)目名稱Liunx基本操縱試驗(yàn)?zāi)康募耙?guī)定理解Liunx操縱系統(tǒng)成長(zhǎng)歷史.學(xué)習(xí)Liunx操縱系統(tǒng)基本概念及操縱.學(xué)習(xí)Liunx操縱系統(tǒng)顧客及文獻(xiàn)權(quán)限辦理.Linux目錄構(gòu)造及文獻(xiàn)基本操縱.試驗(yàn)內(nèi)容1.試驗(yàn)樓環(huán)境簡(jiǎn)介,常常使用Shell命令及快捷鍵,Linux使用小技巧.2.Linux中創(chuàng)立、刪除顧客,及顧客組等操縱.Linux中的文獻(xiàn)權(quán)限設(shè)置.3.Linux的文獻(xiàn)組織目錄構(gòu)造,相對(duì)途徑和絕對(duì)途徑,對(duì)文獻(xiàn)的移動(dòng)、復(fù)制、重命名、編輯等操縱.試驗(yàn)步調(diào)Liunx輸入輸出命令.使用touch命令創(chuàng)立文獻(xiàn)夾,后綴都為txt.學(xué)會(huì)在命令行中獲取幫忙.輸出圖形字符.檢查顧客.創(chuàng)立新顧客.刪除顧客.檢查文獻(xiàn)權(quán)限.用ls–A/Al/dl/AsSh檢查文獻(xiàn).變動(dòng)文獻(xiàn)所有者.修改文獻(xiàn)權(quán)限.目錄途徑.新建空白文獻(xiàn).文獻(xiàn)的復(fù)制、刪除、移動(dòng)、重命名.試驗(yàn)環(huán)境Liunx操縱系統(tǒng)試驗(yàn)成果與闡發(fā)通過(guò)學(xué)習(xí)Liunx操縱系統(tǒng)的成長(zhǎng)歷史、基本操縱、顧客及文獻(xiàn)權(quán)限辦理以及Linux目錄構(gòu)造及文獻(xiàn)基本操縱.是得我大體理解Liunx操縱系統(tǒng)的使用,并且可以完畢對(duì)應(yīng)的練習(xí).教師評(píng)語(yǔ)注：可按照實(shí)際狀況加頁(yè)課程試驗(yàn)陳說(shuō)專業(yè)年級(jí)14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇學(xué)號(hào)試驗(yàn)日期.05.04試驗(yàn)地點(diǎn)篤行樓B棟301試驗(yàn)成績(jī)教務(wù)處制03月09日試驗(yàn)項(xiàng)目名稱Hadoop的基本操縱試驗(yàn)?zāi)康募耙?guī)定Hadoop單機(jī)模式裝置.Hadoop偽散布模式配置安排.Hadoop簡(jiǎn)介及1.X偽散布式裝置.adoop2.X64位編譯.Hadoop2.X64位環(huán)境搭建.試驗(yàn)內(nèi)容hadoop三種裝置模式簡(jiǎn)介,hadoop單機(jī)模式裝置,測(cè)試裝置hadoop配置文獻(xiàn)簡(jiǎn)介及修改,hdfs格局化,啟動(dòng)hadoop進(jìn)程,驗(yàn)證裝置.Hadoop1.X偽散布裝置,Hadoop簡(jiǎn)介,Hadoop變量配置.Hadoop2.X64位編譯,編譯Hadoop2.X64位,編譯Hadoop.搭建環(huán)境,安排Hadooop2.X,啟動(dòng)Hadoop.試驗(yàn)步調(diào)顧客及顧客組,添加顧客及顧客組,添加sudo權(quán)限.裝置及配置依賴的軟件包,裝置openssh-server、java、rsync等,配置ssh免密碼登錄.下載并裝置Hadoop,下載Hadoop2.6.0,解壓并裝置,配置Hadoop.測(cè)試驗(yàn)證.有關(guān)配置文獻(xiàn)修改:修改core-site.xml:格局化HDFS文獻(xiàn)系統(tǒng).Hadoop集群?jiǎn)?dòng).測(cè)試驗(yàn)證.設(shè)置Host映射文獻(xiàn).下載并解壓hadoop裝置包在Hadoop-1.1.2目錄下創(chuàng)立子目錄.啟動(dòng)hadoop.13.編譯Hadoop2.X64位.14.使用yum裝置sun.15.安排Hadooop2.X.與Hadoop1.X類似.試驗(yàn)環(huán)境hadoopXfce終端試驗(yàn)成果與闡發(fā)通過(guò)本次試驗(yàn),讓我對(duì)Hadoop有所理解,不過(guò)在試驗(yàn)過(guò)程中出現(xiàn)許多問(wèn)題.例如,不懂得該怎樣下載javajdk,甚至怎樣創(chuàng)立文獻(xiàn)夾目錄下的文獻(xiàn),以及Hadoop的環(huán)境配置原理以及編譯原理和措施.這些都是試驗(yàn)中出現(xiàn)的問(wèn)題,不過(guò)通過(guò)自己查詢,問(wèn)同學(xué),部分問(wèn)題已經(jīng)得到處理,不過(guò)還存在一部分就只能通過(guò)課后自學(xué)進(jìn)行處理?。?！通過(guò)上述的學(xué)習(xí),讓我對(duì)Hadoop的基本操縱有了基礎(chǔ)的掌握,包括Hadoop簡(jiǎn)介及1.X偽散布式裝置,adoop2.X64位編譯,Hadoop2.X64位環(huán)境搭建等.教師評(píng)語(yǔ)注：可按照實(shí)際狀況加頁(yè)課程試驗(yàn)陳說(shuō)專業(yè)年級(jí)14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇學(xué)號(hào)試驗(yàn)日期.06.01試驗(yàn)地點(diǎn)篤行樓B棟301試驗(yàn)成績(jī)教務(wù)處制03月09日試驗(yàn)項(xiàng)目名稱HDFS和MapReduce試驗(yàn)?zāi)康募耙?guī)定HDFS原理及操縱.MapReduce原理及操縱.試驗(yàn)內(nèi)容HDFS原理及操縱.環(huán)境闡明,HDFS原理,HDFS架構(gòu),HDFS讀操縱,HDFS寫操縱,測(cè)試?yán)?．MapReduce原理及操縱.環(huán)境闡明,MapReduce原理,Map過(guò)程,Reduce過(guò)程,測(cè)試?yán)釉囼?yàn)步調(diào)1.HDFS原理及操縱.1.1環(huán)境闡明.虛擬機(jī)操縱系統(tǒng)：CentOS6.664位,單核,1G內(nèi)存JDK：1.7.0_5564位Hadoop：1.1.2HDFS原理.HDFS（HadoopDistributedFileSystem）是一種散布式文獻(xiàn)系統(tǒng),是google的GFS山寨版本.它具有高容錯(cuò)性并提供了高吞吐量的數(shù)據(jù)拜訪,很是適合大規(guī)模數(shù)據(jù)集上的應(yīng)用,它提供了一種高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)處理計(jì)劃.HDFS架構(gòu).HDFS是Master和Slave的構(gòu)造,分為NameNode、SecondaryNameNode和DataNode三種角色.HDFS讀操縱.客戶端通過(guò)調(diào)用FileSystem對(duì)象的open()措施來(lái)打開(kāi)但愿讀取的文獻(xiàn).HDFS寫操縱.客戶端通過(guò)調(diào)用DistributedFileSystem的create()措施創(chuàng)立新文獻(xiàn).1.6測(cè)試?yán)?.1.創(chuàng)立代碼目錄2.建立例子文獻(xiàn)上傳到HDFS中3.配置當(dāng)?shù)丨h(huán)境4.編寫代碼5.編譯代碼6.使用編譯代碼讀取HDFS文獻(xiàn)2.MapReduce原理及操縱.2.1環(huán)境闡明.虛擬機(jī)操縱系統(tǒng)：CentOS6.664位,單核,1G內(nèi)存JDK：1.7.0_5564位Hadoop：1.1.2MapReduce原理.Map和Reduce.當(dāng)你向MapReduce框架提交一種計(jì)算作業(yè)時(shí),它會(huì)首先把計(jì)算作業(yè)拆分紅若干個(gè)Map任務(wù),然后分派到不合的節(jié)點(diǎn)上去執(zhí)行,每一種Map任務(wù)處理輸入數(shù)據(jù)中的一部分,當(dāng)Map任務(wù)完畢后,它會(huì)生成某些中間文獻(xiàn),這些中間文獻(xiàn)將會(huì)作為Reduce任務(wù)的輸入數(shù)據(jù).Reduce任務(wù)的重要目的就是把前面若干個(gè)Map的輸出匯總到一起并輸出.Map過(guò)程.每個(gè)輸入分片會(huì)讓一種map任務(wù)來(lái)處理,默認(rèn)狀況下,以HDFS的一種塊的大?。J(rèn)為64M）為一種分片,當(dāng)然我們也可以設(shè)置塊的大小.map輸出的成果會(huì)暫且放在一種環(huán)形內(nèi)存緩沖區(qū)中（該緩沖區(qū)的大小默認(rèn)為100M,由io.sort.mb屬性控制）,當(dāng)該緩沖區(qū)將近溢出時(shí)（默認(rèn)為緩沖區(qū)大小的80%,由io.sort.spill.percent屬性控制）,會(huì)在當(dāng)?shù)匚墨I(xiàn)系統(tǒng)中創(chuàng)立一種溢出文獻(xiàn),將該緩沖區(qū)中的數(shù)據(jù)寫入這個(gè)文獻(xiàn).Reduce過(guò)程.Reduce會(huì)接受到不合map任務(wù)傳來(lái)的數(shù)據(jù),并且每個(gè)map傳來(lái)的數(shù)據(jù)都是有序的.假如reduce端接受的數(shù)據(jù)量相稱小,則直接存儲(chǔ)在內(nèi)存中（緩沖區(qū)大小由mapred.job.shuffle.input.buffer.percent屬性控制,暗示用作此用途的堆空間的比例）,假如數(shù)據(jù)量超過(guò)了該緩沖區(qū)大小的一定比例（由mapred.job.shuffle.merge.percent決定）,則對(duì)數(shù)據(jù)合并后溢寫到磁盤中.2.5測(cè)試?yán)?編寫代碼.2.編譯代碼.3.打包編譯文獻(xiàn).4.解壓氣象數(shù)據(jù)并上傳到HDFS中.5.運(yùn)行程序.6.檢查成果.試驗(yàn)環(huán)境虛擬機(jī)操縱系統(tǒng)：CentOS6.664位,單核,1G內(nèi)存JDK：1.7.0_5564位Hadoop：1.1.2試驗(yàn)成果