大數(shù)據(jù)實(shí)驗(yàn)報(bào)告

1、課 程 實(shí) 驗(yàn) 報(bào) 告專 業(yè) 年 級(jí) 14級(jí)軟件工程 課 程 名 稱 大數(shù)據(jù)技術(shù)原理與應(yīng)用 指 導(dǎo) 教 師 李均濤 學(xué) 生 姓 名 吳勇 學(xué) 號(hào) 實(shí) 驗(yàn) 日 期 2017.05.04 實(shí) 驗(yàn) 地 點(diǎn) 篤行樓B棟301 實(shí) 驗(yàn) 成 績(jī) 教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱Liunx基本操作實(shí)驗(yàn)?zāi)康募耙?. 了解Liunx操作系統(tǒng)發(fā)展歷史。2. 學(xué)習(xí)Liunx操作系統(tǒng)基本概念及操作。3. 學(xué)習(xí)Liunx操作系統(tǒng)用戶及文件權(quán)限管理。4. Linux 目錄結(jié)構(gòu)及文件基本操作。實(shí)驗(yàn)內(nèi)容1.實(shí)驗(yàn)樓環(huán)境介紹，常用 Shell 命令及快捷鍵，Linux 使用小技巧。2.Linux 中創(chuàng)建、刪除用戶，及

2、用戶組等操作。Linux 中的文件權(quán)限設(shè)置。3.Linux 的文件組織目錄結(jié)構(gòu)，相對(duì)路徑和絕對(duì)路徑，對(duì)文件的移動(dòng)、復(fù)制、重命名、編輯等操作。實(shí)驗(yàn)步驟1. Liunx輸入輸出命令。2. 使用touch命令創(chuàng)建文件夾，后綴都為txt。3. 學(xué)會(huì)在命令行中獲取幫助。4. 輸出圖形字符。5. 查看用戶。6. 創(chuàng)建新用戶。7. 刪除用戶。8. 查看文件權(quán)限。9. 用ls A/Al/dl/AsSh查看文件。10. 變更文件所有者。11. 修改文件權(quán)限。12. 目錄路徑。13. 新建空白文件。14. 文件的復(fù)制、刪除、移動(dòng)、重命名。實(shí)驗(yàn)環(huán)境Liunx 操作系統(tǒng)實(shí)驗(yàn)結(jié)果與分析通過(guò)學(xué)習(xí)Liunx操作系統(tǒng)的發(fā)展歷

3、史、基本操作、用戶及文件權(quán)限管理以及Linux 目錄結(jié)構(gòu)及文件基本操作。是得我大致了解Liunx操作系統(tǒng)的使用，并且能夠完成相應(yīng)的練習(xí)。教師評(píng)語(yǔ)注：可根據(jù)實(shí)際情況加頁(yè)課 程 實(shí) 驗(yàn) 報(bào) 告專 業(yè) 年 級(jí) 14級(jí)軟件工程 課 程 名 稱 大數(shù)據(jù)技術(shù)原理與應(yīng)用 指 導(dǎo) 教 師 李均濤 學(xué) 生 姓 名 吳勇 學(xué) 號(hào) 實(shí) 驗(yàn) 日 期 2017.05.04 實(shí) 驗(yàn) 地 點(diǎn) 篤行樓B棟301 實(shí) 驗(yàn) 成 績(jī) 教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱Hadoop的基本操作實(shí)驗(yàn)?zāi)康募耙?. Hadoop單機(jī)模式安裝.2. Hadoop偽分布模式配置部署.3. Hadoop介紹及1.X偽分布式安裝.4. a

4、doop2.X 64位編譯.5. Hadoop2.X 64位環(huán)境搭建.實(shí)驗(yàn)內(nèi)容1. hadoop三種安裝模式介紹,hadoop單機(jī)模式安裝,測(cè)試安裝2. hadoop配置文件介紹及修改,hdfs格式化,啟動(dòng)hadoop進(jìn)程，驗(yàn)證安裝.3. Hadoop1.X偽分布安裝, Hadoop介紹,Hadoop變量配置.4. Hadoop2.X 64位編譯, 編譯Hadoop2.X 64位, 編譯Hadoop.5. 搭建環(huán)境, 部署Hadooop2.X, 啟動(dòng)Hadoop.實(shí)驗(yàn)步驟1. 用戶及用戶組, 添加用戶及用戶組, 添加sudo權(quán)限.2. 安裝及配置依賴的軟件包, 安裝openssh-server

5、、java、rsync等, 配置ssh免密碼登錄.3. 下載并安裝Hadoop, 下載, 解壓并安裝, 配置Hadoop.4. 測(cè)試驗(yàn)證.5. 相關(guān)配置文件修改:修改core-site.xml:6. 格式化HDFS文件系統(tǒng).7. Hadoop集群?jiǎn)?dòng).8. 測(cè)試驗(yàn)證.9. 設(shè)置Host映射文件.10. 下載并解壓hadoop安裝包11. 在目錄下創(chuàng)建子目錄.12. 啟動(dòng)hadoop.13. 編譯Hadoop2.X 64位.14.使用yum安裝sun.15. 部署Hadooop2.X.與Hadoop1.X類似。實(shí)驗(yàn)環(huán)境hadoop Xfce終端實(shí)驗(yàn)結(jié)果與分析通過(guò)本次實(shí)驗(yàn)，讓我對(duì)Hadoop有所了

6、解，但是在實(shí)驗(yàn)過(guò)程中出現(xiàn)許多問(wèn)題。例如，不知道該如何下載java jdk，甚至如何創(chuàng)建文件夾目錄下的文件，以及Hadoop的環(huán)境配置原理以及編譯原理和方法。這些都是實(shí)驗(yàn)中出現(xiàn)的問(wèn)題，但是通過(guò)自己查詢，問(wèn)同學(xué)，部分問(wèn)題已經(jīng)得到解決，但是還存在一部分就只能通過(guò)課后自學(xué)進(jìn)行解決！通過(guò)上述的學(xué)習(xí)，讓我對(duì)Hadoop的基本操作有了基礎(chǔ)的掌握，包括Hadoop介紹及1.X偽分布式安裝，adoop2.X 64位編譯，Hadoop2.X 64位環(huán)境搭建等。教師評(píng)語(yǔ)注：可根據(jù)實(shí)際情況加頁(yè)課 程 實(shí) 驗(yàn) 報(bào) 告專 業(yè) 年 級(jí) 14級(jí)軟件工程 課 程 名 稱 大數(shù)據(jù)技術(shù)原理與應(yīng)用 指 導(dǎo) 教 師 李均濤 學(xué) 生 姓

7、 名 吳勇 學(xué) 號(hào) 實(shí) 驗(yàn) 日 期 2017.06.01 實(shí) 驗(yàn) 地 點(diǎn) 篤行樓B棟301 實(shí) 驗(yàn) 成 績(jī) 教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱HDFS和MapReduce實(shí)驗(yàn)?zāi)康募耙?. HDFS原理及操作。2. MapReduce原理及操作。實(shí)驗(yàn)內(nèi)容1. HDFS原理及操作。環(huán)境說(shuō)明，HDFS原理，HDFS架構(gòu)，HDFS讀操作，HDFS寫(xiě)操作，測(cè)試?yán)?MapReduce原理及操作。 環(huán)境說(shuō)明，MapReduce原理，Map過(guò)程，Reduce過(guò)程，測(cè)試?yán)訉?shí)驗(yàn)步驟1.HDFS原理及操作。1.1 環(huán)境說(shuō)明。虛擬機(jī)操作系統(tǒng)： CentOS6.6 64位，單核，1G內(nèi)存JDK：1.7.0

8、_55 64位1.2 HDFS原理。HDFS（Hadoop Distributed File System）是一個(gè)分布式文件系統(tǒng)，是谷歌的GFS山寨版本。它具有高容錯(cuò)性并提供了高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，它提供了一個(gè)高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)解決方案。1.3 HDFS架構(gòu)。HDFS是Master和Slave的結(jié)構(gòu)，分為NameNode、Secondary NameNode和DataNode三種角色。1.4 HDFS讀操作。客戶端通過(guò)調(diào)用FileSystem對(duì)象的open()方法來(lái)打開(kāi)希望讀取的文件。1.5 HDFS寫(xiě)操作?？蛻舳送ㄟ^(guò)調(diào)用DistributedFil

9、eSystem的create()方法創(chuàng)建新文件。1.6測(cè)試?yán)?。 1.創(chuàng)建代碼目錄 2. 建立例子文件上傳到HDFS中 3. 配置本地環(huán)境 4. 編寫(xiě)代碼 5. 編譯代碼 6. 使用編譯代碼讀取HDFS文件2. MapReduce原理及操作。 2.1環(huán)境說(shuō)明。 虛擬機(jī)操作系統(tǒng)： CentOS6.6 64位，單核，1G內(nèi)存JDK：1.7.0_55 64位2.2 MapReduce原理。Map 和Reduce。當(dāng)你向MapReduce 框架提交一個(gè)計(jì)算作業(yè)時(shí)，它會(huì)首先把計(jì)算作業(yè)拆分成若干個(gè)Map 任務(wù)，然后分配到不同的節(jié)點(diǎn)上去執(zhí)行，每一個(gè)Map 任務(wù)處理輸入數(shù)據(jù)中的一部分，當(dāng)Map 任務(wù)完成后，

10、它會(huì)生成一些中間文件，這些中間文件將會(huì)作為Reduce 任務(wù)的輸入數(shù)據(jù)。Reduce 任務(wù)的主要目標(biāo)就是把前面若干個(gè)Map 的輸出匯總到一起并輸出。2.3 Map過(guò)程。每個(gè)輸入分片會(huì)讓一個(gè)map任務(wù)來(lái)處理，默認(rèn)情況下，以HDFS的一個(gè)塊的大小（默認(rèn)為64M）為一個(gè)分片，當(dāng)然我們也可以設(shè)置塊的大小。map輸出的結(jié)果會(huì)暫且放在一個(gè)環(huán)形內(nèi)存緩沖區(qū)中（該緩沖區(qū)的大小默認(rèn)為100M，由屬性控制），當(dāng)該緩沖區(qū)快要溢出時(shí)（默認(rèn)為緩沖區(qū)大小的80%，由屬性控制），會(huì)在本地文件系統(tǒng)中創(chuàng)建一個(gè)溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫(xiě)入這個(gè)文件。2.4 Reduce過(guò)程。Reduce會(huì)接收到不同map任務(wù)傳來(lái)的數(shù)據(jù)，并且每個(gè)map傳來(lái)的數(shù)據(jù)都是有序的。如果reduce端接受的數(shù)據(jù)量相當(dāng)小，則直接存儲(chǔ)在內(nèi)存中（緩沖區(qū)大小由屬性控制，表示用作此用途的堆空間的百分比），如果數(shù)據(jù)量超過(guò)了該緩沖區(qū)大小的一定比例（由決定），則對(duì)數(shù)據(jù)合并后溢寫(xiě)到磁盤(pán)中。 2.5測(cè)試?yán)印? 編寫(xiě)代碼。2.編譯代碼。3.打包編譯文件。4.解壓氣象數(shù)據(jù)并上傳到HDFS中。 5. 運(yùn)行程序。 6. 查看結(jié)果。實(shí)驗(yàn)環(huán)境虛擬機(jī)操作系統(tǒng)： CentOS6.6 64位，單核，1G內(nèi)存JDK：1.7.0_55