Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ) -教學(xué)大綱、授課計(jì)劃、習(xí)題答案（張軍第2版）及 期末測(cè)試題

《Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)（第2

版）》教學(xué)大綱

課程名稱：Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)

課程類別：必修

適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)

總學(xué)時(shí)：64學(xué)時(shí)（其中理論28學(xué)時(shí)，實(shí)驗(yàn)36學(xué)時(shí)）

總學(xué)分：4.0學(xué)分

一、課程的性質(zhì)

隨著時(shí)代的發(fā)展，大數(shù)據(jù)已經(jīng)成為一個(gè)耳熟能詳?shù)脑~匯。與此同時(shí)，針對(duì)大數(shù)據(jù)處理的新

技術(shù)也在不斷的開(kāi)發(fā)和運(yùn)用中，逐漸成為數(shù)據(jù)處理挖掘行業(yè)廣泛使用的主流技術(shù)之一。Hadoop

分布式集群系統(tǒng)架構(gòu)，具有高可用性、高容錯(cuò)性和高擴(kuò)展性等優(yōu)點(diǎn)，由于它提供了一個(gè)開(kāi)放式

的平臺(tái)，用戶可以在不了解底層實(shí)現(xiàn)細(xì)節(jié)的情形下，開(kāi)發(fā)適合自身應(yīng)用的分布式程序。經(jīng)過(guò)多

年的發(fā)展，目前Hadoop已經(jīng)成長(zhǎng)為一個(gè)全棧式的大數(shù)據(jù)技術(shù)生態(tài)圈，包括了Hive、HBase、

Spark等一系列組件，成為應(yīng)用最廣泛、最具有代表性的大數(shù)據(jù)技術(shù)之一。因此，學(xué)習(xí)Hadoop

技術(shù)是從事大數(shù)據(jù)行業(yè)工作所必不可少的一步。為了滿足企業(yè)的大數(shù)據(jù)人才需求，幫助學(xué)者掌

握相關(guān)技術(shù)知識(shí)解決實(shí)際的業(yè)務(wù)需求，特開(kāi)設(shè)Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)課程。

二、課程的任務(wù)

通過(guò)本課程的學(xué)習(xí)，使學(xué)生掌握Hadoop、Hive和HBase集群的安裝配置，能夠根據(jù)具體

需求編寫MapReduce程序解決實(shí)際業(yè)務(wù)問(wèn)題，使用Hive、HBase進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢余分析，

最后詳細(xì)拆解并學(xué)習(xí)電影網(wǎng)站用戶影評(píng)分析案例，將理論與實(shí)踐相結(jié)合，為將來(lái)從事數(shù)據(jù)分析

挖掘研究、工作奠定基礎(chǔ)。

三、課程學(xué)時(shí)分配

序號(hào)教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)其它

1第1章Hadoop介紹20

2第2章Hadoop集群的搭建及配置26

3第3章Hadoop基礎(chǔ)操作33

4第4章MapReduce入門編程44

5第5章MapReduce進(jìn)階編程57

6第6章Hive數(shù)據(jù)倉(cāng)庫(kù)45

7第7章HBase分布式數(shù)據(jù)庫(kù)45

第8章項(xiàng)目案例：電影網(wǎng)站用戶影

846

評(píng)分析

總計(jì)2836

四、教學(xué)內(nèi)容及學(xué)時(shí)安排

1.理論教學(xué)

序

章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)

號(hào)

1.什么是Hadoop1.了解Hadoop框架及其

2.了解Hadoop的發(fā)展歷史發(fā)展歷史、特點(diǎn)。

3.了解Hadoop的特點(diǎn)2.了解Hadoop核心組

4.了解分布式文件系統(tǒng)一一HDFS件。

1Hadoop介紹2

5.了解分布式計(jì)算框架---M叩Reduce3.了解Hadoop生態(tài)系

6,了解集群資源管理器——YARN統(tǒng)。

7.了解Hadoop生態(tài)系統(tǒng)4.了解Hadoop應(yīng)用場(chǎng)

8.了解Hadoop應(yīng)用場(chǎng)景景。

1.創(chuàng)建Linux虛擬機(jī)

2.設(shè)置固定IP地址

1.掌握虛擬機(jī)的安裝及

3.遠(yuǎn)程連接虛擬機(jī)

配置方法。

4.配置本地YUM源及安裝常用軟件

2.掌握在Linux下JDK

Hadoop集群5.在Linux下安裝Java

的安裝方法。

2的搭建及配6.修改配置文件2

3.掌握Hadoop完全分布

置7.克隆虛擬機(jī)

式集群環(huán)境的搭建過(guò)程。

8.配置SSH免密碼登錄

4.掌握Hadoop集群的監(jiān)

9.配置時(shí)間同步服務(wù)

控方法。

10.啟動(dòng)和關(guān)閉Hadoop集群

11.監(jiān)控Hadoop集群

1.了解Hadoop安全模

式。

2.掌握查看、解除與開(kāi)啟

1.了解Hadoop安全模式Hadoop安全模式的操

2.查看、解除與開(kāi)啟Hadoop安全模式作。

3.查詢集群的存儲(chǔ)系統(tǒng)信息3.掌握查看Hadoop集群

4.查詢集群的計(jì)算資源信息存儲(chǔ)系統(tǒng)和計(jì)算資源信

Hadoop基礎(chǔ)5.了解HDFS息的方法。

33

操作6.HDFS的基本操作4.了解HDFS分布式文

7.了解Hadoop官方的示例程序包件系統(tǒng)。

8.提交MapReduce任務(wù)給集群運(yùn)行5.掌握HDFS的基本操

9,查詢MapReduce任務(wù)作。

10.中斷MapReduce任務(wù)6.掌握提交MapReduce

任務(wù)的基本操作。

7.掌握多個(gè)MapReduce

任務(wù)的管理方法。

1.掌握在Windows下安

裝Java和IntelliJIDEA

1.在Windows下安裝Java

的方法。

2,下載與安裝IntelliJIDEA

2.掌握在IntelliJIDEA中

3.創(chuàng)建MapReduce工程

創(chuàng)建MapReduce工程和

4.配置MapReduce環(huán)境

配置MapReduce環(huán)境的

5.了解MtipReduce工作原理及核心組

方法。

成

3.熟悉MapReduce的工

6.了解MapReduce實(shí)現(xiàn)詞頻統(tǒng)計(jì)的執(zhí)

作原理及執(zhí)行流程。

MapReduce行流程

44.了解Hadoop官方示例4

入門編程7.讀懂官方提供的WordCount源碼

中的WordCount源碼。

8.分析思路與處理邏輯

5.了解MapReduce編程

9.編寫核心模塊代碼

的基本思路。

10.統(tǒng)計(jì)網(wǎng)站每日的訪問(wèn)次數(shù)

6.熟悉map()方法與

11.分析思路與處理邏輯

reduce()方法的處理邏

12.編寫核心模塊代碼

輯。

13.將網(wǎng)站每日訪問(wèn)次數(shù)根據(jù)訪問(wèn)次數(shù)

7.掌握編寫基礎(chǔ)的

進(jìn)行升序排序

M叩Reduce程序處理簡(jiǎn)

單任務(wù)的方法。

1.設(shè)置MapReduce輸入格式

2.設(shè)置MapReduce輸出格式1.掌握MapReduce輸入

3.篩選日志文件并生成序列化文件和輸出格式的設(shè)置方法。

4.使用FileSystemAPI管理文件夾2.掌握HadoopJavaAPI

5.使用FileSystemAPI操作文件的使用方法。

6.使用FileSystemAPI讀/寫數(shù)據(jù)3.掌握自定義鍵值類型

7.使用HadoopJavaAPI讀取序列化文的方法。

件4.了解Combiner的工作

MapReduce8.自定義鍵值類型原理。

55

進(jìn)階編程9.初步探索Combiner5.掌握Combiner、

10.淺析PartitionerPartitioner和自定義計(jì)數(shù)

11.自定義計(jì)數(shù)器器的使用方法。

12.優(yōu)化日志文件統(tǒng)計(jì)程序6,熟悉MapReduce參數(shù)

13.傳遞參數(shù)傳遞流程。

14.使用Hadoop輔助類ToolRunner7.掌握使用IntelliJIDEA

15.自動(dòng)打包并提交MapReduce任務(wù)自動(dòng)打包并提交

16.在IntelliJIDEA中打包并提交MapReduce任務(wù)的方法。

MapReduce程序

1.什么是Hive

2.了解Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比

3.了解Hive系統(tǒng)架構(gòu)

4.了解Hive數(shù)據(jù)模型1.了解Hive的概念及

5.了解Hive執(zhí)行流程Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)

6.設(shè)置內(nèi)嵌模式比。

7.設(shè)置直連數(shù)據(jù)庫(kù)模式2.了解Hive系統(tǒng)架構(gòu)、

8.設(shè)置遠(yuǎn)程模式數(shù)據(jù)模型和執(zhí)行流程。

Hive數(shù)據(jù)倉(cāng)9.了解Hive數(shù)據(jù)定義語(yǔ)言的基本語(yǔ)法3.熟悉3種訪問(wèn)Hive的

64

庫(kù)10.創(chuàng)建表基本操作方式及配置過(guò)程。

11.修改表基本操作4.掌握Hive中數(shù)據(jù)庫(kù)與

12.了解Hive數(shù)據(jù)操作語(yǔ)言的基本語(yǔ)法表的創(chuàng)建、修改操作方

13.向數(shù)據(jù)表中裝載文件法。

14.查詢數(shù)據(jù)5.掌握Hive表數(shù)據(jù)增刪

15.插入數(shù)據(jù)查改的操作方法。

16.刪除表中數(shù)據(jù)

17.分析基本思路

18.掉話率Top20基站統(tǒng)計(jì)

1.了解分布式數(shù)據(jù)庫(kù)

HBaseo

1.什么是HBase

2.熟悉HBase的系統(tǒng)架

2.了解HBase系統(tǒng)架構(gòu)

構(gòu)、數(shù)據(jù)模型和讀/寫流

3.了解HBase數(shù)據(jù)模型

程。

4.了解HBase讀/寫流程

3.了解ZooKeeper的概

5.了解并安裝ZooKeeper

念、集群角色及選舉機(jī)

6.安裝及配置HBase集群

HBase分布制。

77.修改與刪除表4

式數(shù)據(jù)庫(kù)4.掌握Z(yǔ)ooKeeper集群

8.查詢表數(shù)據(jù)

的安裝部署方法。

9.創(chuàng)建Java項(xiàng)目

5.掌握HBase的安裝部

10.實(shí)現(xiàn)表的創(chuàng)建

署方法。

11.向表中插入數(shù)據(jù)

6.掌握HBase常用的

12.設(shè)計(jì)表并分析查詢需求

Shell命令。

13.查詢分析通話記錄數(shù)據(jù)

7.掌握HBaseJavaAPI

的使用方法。

1.了解數(shù)據(jù)字段

2.統(tǒng)計(jì)分析需求描述1.掌握根據(jù)業(yè)務(wù)場(chǎng)景設(shè)

3.創(chuàng)建并配置工程項(xiàng)目計(jì)map()方法和reduce()

4.計(jì)算評(píng)分次數(shù)最多的10部電影及評(píng)方法的計(jì)算邏輯。

項(xiàng)目案例：電分次數(shù)并分析2.掌握編寫MapReduce

8影網(wǎng)站用戶5.計(jì)算不同性別評(píng)分最高的10部電影程序解決常見(jiàn)的數(shù)據(jù)處4

影評(píng)分析及評(píng)分并分析理問(wèn)題。

6.計(jì)算指定電影各年齡段的平均影評(píng)3.掌握編寫MapReduce

并分析程序?qū)崿F(xiàn)電影網(wǎng)站用戶

7.計(jì)算影評(píng)庫(kù)中各種類型電影中評(píng)分影評(píng)分析的方法。

最高的5部電影并分析

學(xué)時(shí)合計(jì)28

2.實(shí)驗(yàn)教學(xué)

序號(hào)實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)要求學(xué)時(shí)

1.創(chuàng)建Linux虛擬機(jī)

安裝及配置虛2.設(shè)置固定IP地址

13

擬機(jī)3.遠(yuǎn)程連接虛擬機(jī)

4.配置本地YUM源及安裝常用軟件

1.在Linux下安裝Java

2.修改配置文件

3.克隆虛擬機(jī)

搭建Hadoop完

24.配置SSH免密碼登錄3

全分布式集群

5.配置時(shí)間同步服務(wù)

6.啟動(dòng)和關(guān)閉Hadoop集群

7.監(jiān)控Hadoop集群

1.查看、解除與開(kāi)啟Hadoop安全模式

2.查詢集群的存儲(chǔ)系統(tǒng)信息

3.查詢集群的計(jì)算資源信息

Hadoop基礎(chǔ)操

34.HDFS的基本操作3

作

5.提交MapReduce任務(wù)給集群運(yùn)行

6.查詢MapReduce任務(wù)

8.中斷MapReduce任務(wù)

1.在Windows下安裝Java

2.下載與安裝IntelliJIDEA

3.創(chuàng)建MapReduce工程

MapReduce入4.配置MapReduce環(huán)境

44

門編程5.編寫核心模塊代碼

6.統(tǒng)計(jì)網(wǎng)站每日的訪問(wèn)次數(shù)

7.編寫核心模塊代碼

8.將網(wǎng)站每日訪問(wèn)次數(shù)根據(jù)訪問(wèn)次數(shù)進(jìn)行升序排序

1.篩選日志文件并生成序列化文件

2.使用FileSystemAPI管理文件夾

3.使用FileSystemAPI操作文件

4.使用FileSystemAPI讀/寫數(shù)據(jù)

5.使用HadoopJavaAPI讀取序列化文件

6.自定義鍵值類型

MapReduce進(jìn)7.初步探索Combiner

57

階編程8.淺析Partitioner

9.自定義計(jì)數(shù)器

10.優(yōu)化日志文件統(tǒng)計(jì)程序

11.傳遞參數(shù)

12.使用Hadoop輔助類ToolRunner

13.自動(dòng)打包并提交MapReduce任務(wù)

14.在IntelliJIDEA中打包并提交MapReduce程序

1.設(shè)置內(nèi)嵌模式

安裝與配置

62.設(shè)置直連數(shù)據(jù)庫(kù)模式2

Hive

3.設(shè)置遠(yuǎn)程模式

1.創(chuàng)建表基本操作

2.修改表基本操作

3.向數(shù)據(jù)表中裝載文件

Hive的基礎(chǔ)操

74.查詢數(shù)據(jù)3

作

5.插入數(shù)據(jù)

6.刪除表中數(shù)據(jù)

7.掉話率Top20基站統(tǒng)計(jì)

安裝與配置1.了解并安裝ZooKeeper

82

HBase集群2.安裝及配置HBase集群

1.修改與刪除表

2.查詢表數(shù)據(jù)

HBase的基礎(chǔ)操3.創(chuàng)建Java項(xiàng)目

93

作4.實(shí)現(xiàn)表的創(chuàng)建

5.向表中插入數(shù)據(jù)

6.查詢分析通話記錄數(shù)據(jù)

1.了解數(shù)據(jù)字段

2.統(tǒng)計(jì)分析需求描述

3.創(chuàng)建并配置工程項(xiàng)目

項(xiàng)目案例：電影

4.計(jì)算評(píng)分次數(shù)最多的10部電影及評(píng)分次數(shù)并分析

10網(wǎng)站用戶影評(píng)6

5.計(jì)算不同性別評(píng)分最高的10部電影及評(píng)分并分析

分析

6.計(jì)算指定電影各年齡段的平均影評(píng)并分析

7.計(jì)算影評(píng)庫(kù)中各種類型電影中評(píng)分最高的5部電影并

分析

學(xué)時(shí)合計(jì)36

五、考核方式

突出學(xué)生解決實(shí)際問(wèn)題的能力，加強(qiáng)過(guò)程性考核。課程考核的成績(jī)構(gòu)成=平時(shí)作業(yè)（10%）

+課堂參與（20%）+期末考核（70%）,期末考試建議采用開(kāi)卷形式，試題應(yīng)包括基本概念、

組件安裝流程、開(kāi)發(fā)環(huán)境搭建流程、MapReduce編程、Hive與HBase的數(shù)據(jù)存儲(chǔ)與查詢操作、

案例分析實(shí)現(xiàn)流程等部分，題型可采用選擇題、判斷題、簡(jiǎn)答題、應(yīng)用題等方式。

六、教材與參考資料

1.教材

張軍，張良均.Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)（第2版）（微課版）[M].北京：人民郵電出版

社.2021.

2.參考資料

[1|余明輝，張良均.Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)[M].北京：人民郵電出版社.2018.

[2]張良均，樊哲，位文超，劉名軍.Hadoop與大數(shù)據(jù)挖掘[M].北京：機(jī)械工業(yè)出版

社.2015.

[3]張良均，樊哲，趙云龍，李成華.Hadoop大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)[MJ.北京：機(jī)械工

業(yè)出版社.2015.

學(xué)院

課程教學(xué)進(jìn)度計(jì)劃表

（20~20學(xué)年第二學(xué)期）

課程名稱Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)

授課學(xué)時(shí)64

主講（責(zé)任）教師

參與教學(xué)教師

授課班級(jí)/人數(shù)

專業(yè)（教研室）

填表時(shí)間

（教研室）主任

教務(wù)處編印

年月

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

七、課程教學(xué)目的

通過(guò)本課程的學(xué)習(xí)，使學(xué)生掌握Hadoop、Hive和HBase集群的安裝配置，能夠根據(jù)具

體需求編寫MapReduce程序解決實(shí)際業(yè)務(wù)問(wèn)題，使用Hive、HBase進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢余

分析，最后詳細(xì)拆解并學(xué)習(xí)電影網(wǎng)站用戶影評(píng)分析案例，將理論與實(shí)踐相結(jié)合，為將來(lái)從事

數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。

八、教學(xué)方法及手段

本課程將采用理論與實(shí)踐相結(jié)合的教學(xué)方法。在理論上，按照解決實(shí)際任務(wù)的工作流程

路線，通過(guò)任務(wù)引入，緊扣任務(wù)需求逐步展開(kāi)介紹相關(guān)的理論知識(shí)點(diǎn)。在實(shí)踐上，充分地利

用現(xiàn)有的硬件資源，發(fā)揮學(xué)生主觀能動(dòng)性，指導(dǎo)學(xué)生搭建Hadoop、Hive、HBase分布式集

群，掌握MapReduce編程與運(yùn)行實(shí)現(xiàn)，并使用Hive、HBase進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢與分析，

著重于學(xué)生解決問(wèn)題時(shí)思路的啟發(fā)與解決方案制定。最后結(jié)合一個(gè)案例實(shí)戰(zhàn)，引導(dǎo)學(xué)生將所

學(xué)知識(shí)與企業(yè)需求相結(jié)合，將知識(shí)活學(xué)活用。

要求學(xué)生自己動(dòng)手分析實(shí)例，學(xué)習(xí)基本理論和方法，結(jié)合已有的知識(shí)，適當(dāng)組織一些討

論，充分調(diào)動(dòng)學(xué)生的主觀能動(dòng)性，以達(dá)到本課程的教學(xué)目的。

九、課程考核方法

突出學(xué)生解決實(shí)際問(wèn)題的能力，加強(qiáng)過(guò)程性考核。課程考核的成績(jī)構(gòu)成=平時(shí)作業(yè)

（10%）+課堂參與（20%）+期末考核（70%）,期末考試建議采用開(kāi)卷形式，試題應(yīng)包

括基本概念、組件安裝流程、開(kāi)發(fā)環(huán)境搭建流程、MapReduce編程、Hive與HBase的數(shù)據(jù)

存儲(chǔ)與查詢操作、案例分析實(shí)現(xiàn)流程等部分，題型可采用選擇題、判斷題、簡(jiǎn)答題、應(yīng)用題

等方式。

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

《Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)》教學(xué)日歷

周次學(xué)時(shí)授課內(nèi)容作業(yè)要求備注

第1章Hadoop介紹第1章課后習(xí)

14

第2章Hadoop集群的搭建及配置（1）題

第2章課后習(xí)

24第2章Hadoop集群的搭建及配置（2）

題

第2章Hadoop集群的搭建及配置（3）

34第2章實(shí)訓(xùn)

第3章Hadoop基礎(chǔ)操作（1）

第3章課后習(xí)

44第3章Hadoop基礎(chǔ)操作（2）題

第3章實(shí)訓(xùn)

第4章課后習(xí)

54第4章MapReduce入門編程（1）

題

64第4章MapReduce入門編程（2）第4章實(shí)訓(xùn)

第5章課后習(xí)

74第5章MapReduce進(jìn)階編程（1）

題

84第5章MapReduce進(jìn)階編程（2）第5章實(shí)訓(xùn)1

84第5章MapReduce進(jìn)階編程（3）第5章實(shí)訓(xùn)2

第6章課后習(xí)

1()4第6章Hive數(shù)據(jù)倉(cāng)庫(kù)（1）

題

114第6章Hive數(shù)據(jù)倉(cāng)庫(kù)（2）第6章實(shí)訓(xùn)1

第6章Hive數(shù)據(jù)倉(cāng)庫(kù)（3）

124第6章實(shí)訓(xùn)2

第7章HBase分布式數(shù)據(jù)庫(kù)（1）

第7章課后習(xí)

134第7章HBase分布式數(shù)據(jù)庫(kù)（2）

題

第7章HBase分布式數(shù)據(jù)庫(kù)（3）

144第7章實(shí)訓(xùn)

第8章項(xiàng)目案例：電影網(wǎng)站用戶影評(píng)分析（1）

154第8章項(xiàng)目案例：電影網(wǎng)站用戶影評(píng)分析（2）

164第8章項(xiàng)目案例：電影網(wǎng)站用戶影評(píng)分析（3）

注：教材：張軍，張良均.Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)（第2版）（微課版）[M].北京:

人民郵電出版社.2021.

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

第一部分Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)（第2

版）（微課版）■習(xí)題答案

第一章

一、選擇題

1、B

2、B

3、C

4、B

5、A

第二章

一、選擇題

1、D

2、B

3、B

4、C

5、A

6、A

7、D

8、A

9、A

10、A

第二早

一、選擇題

1、D

2、B

3、C

4、A

5、D

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

6、D

7、A

8、B

第四章

一、選擇題

1、D

2、C

3、D

4、A

5^A

6、B

7、D

8、C

9、D

10、B

第五章

一、選擇題

1、D

2、A

3、B

4、A

5、D

6、C

7、D

8、D

9、A

10、D

第六章

1、選擇題

1、C

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

2、C

3、D

4、C

5、A

6、C

7、A

8、A

9、B

10、A

第七章

1、選擇題

1、A

2、C

3、B

4、C

5、C

6、A

7、D

8、D

9、C

10、D

打造數(shù)據(jù)智能職業(yè)敕11領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

Hadoop大數(shù)據(jù)期末測(cè)試題

01單選題

1、下面哪個(gè)程序負(fù)責(zé)HDFS數(shù)據(jù)存儲(chǔ)?

a)NameNode

b)Jobtracker

c)Datanode

d)secondaryNameNode

e)tasktracker

答案Cdatanode

2、HDfS中的block默認(rèn)保存幾份？

a)3份

b)2份

c)1份

d)不確定

答案A默認(rèn)3份

3、Hadoop作者？

a)MartinFowler

b)KentBeck

c)Dougcutting

答案CDougcutting

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

4、下列哪個(gè)程序通常與NameNode在一個(gè)節(jié)點(diǎn)啟動(dòng)？

a)SecondaryNameNode

b)DataNodeb)DataNode

c)TaskTracker

d)Jobtracker

答案：D

此題分析：

hadoop的集群是基于master/slave模式，namenode和

jobtracker屬于master,datanode和tasktracker屬于slave,

master只有一個(gè)，而slave有多個(gè)SecondaryNameNode內(nèi)存需求

和NameNode在一個(gè)數(shù)量級(jí)上，所以通常secondary,NameNode

(運(yùn)行在單獨(dú)的物理機(jī)器上)和NameNode運(yùn)行在不同的機(jī)器上。

JobTracker和TaskTracker,JobTracker對(duì)應(yīng)于NameNode,

TaskTracker對(duì)應(yīng)于DataNode,DataNode和NameNode是針對(duì)數(shù)

據(jù)存放來(lái)而言的，JobTracker和TaskTracker是對(duì)于MapReduce

執(zhí)行而言的，mapreduce中幾個(gè)主要概念，mapreduce整體上可以

分為這么幾條執(zhí)行線索：obclient,JobTracker與TaskTracker。

JobClient會(huì)在用戶端通過(guò)JobClient類將應(yīng)用已經(jīng)配置參數(shù)打包

成jar文件存儲(chǔ)到hdfs,并把路徑提交到Jobtracker,然后由

JobTracker創(chuàng)建每一個(gè)Task(即MapTask和ReduceTask)并將

它們分發(fā)到各個(gè)TaskTracker服務(wù)中去執(zhí)行。JobTracker是一個(gè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

master服務(wù)，軟件啟動(dòng)之后JobTracker接收J(rèn)ob,負(fù)責(zé)調(diào)度Job的

每一個(gè)子任務(wù)task運(yùn)行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)

有失敗的task就重新運(yùn)行它。一般情況應(yīng)該把JobTracker部署在單

獨(dú)的機(jī)器上。TaskTracker是運(yùn)行在多個(gè)節(jié)點(diǎn)上的slaver服務(wù)。

TaskTracker主動(dòng)與JobTracker通信，接收作業(yè)，并負(fù)責(zé)直接執(zhí)行

每一個(gè)任務(wù)。TaskTracker都需要運(yùn)行在HDFS的DataNode上。

5、下列哪項(xiàng)通常是集群的最主要瓶頸：

a）CPU

b）網(wǎng)絡(luò)

c）磁盤10

d）內(nèi)存

答案：C磁盤

此題解析：

首先集群的目的是為了節(jié)省成本，用廉價(jià)的pc機(jī)，取代小型機(jī)

及大型機(jī)。小型機(jī)和大型機(jī)有什么特點(diǎn)？

1.cpu處理能力強(qiáng)

2.內(nèi)存夠大。所以集群的瓶頸不可能是a和d

3.網(wǎng)絡(luò)是一種稀缺資源，但是并不是瓶頸。

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

4.由于大數(shù)據(jù)面臨海量數(shù)據(jù)，讀寫數(shù)據(jù)都需要i。，然后還要冗余

數(shù)據(jù)，hadoop

一般備3份數(shù)據(jù)，所以10就會(huì)打折扣。

6、HDFS默認(rèn)BlockSize

a)32MB

b)64MB

c)128MB

答案：B

7、關(guān)于SecondaryNameNode哪項(xiàng)是正確的？

a)它是NameNode的熱備

b)它對(duì)內(nèi)存沒(méi)有要求

c)它的目的是幫助NameNode合并編輯日志，減少NameNode

啟動(dòng)時(shí)間

d)SecondaryNameNode應(yīng)與NameNode部署到一個(gè)節(jié)點(diǎn)。

答案：C

02多選題

1、下列哪項(xiàng)可以作為集群的管理？

a)Puppet

b)Pdsh

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

c)ClouderaManager

d)Zookeeper

答案：ABD

2、配置機(jī)架感知的下面哪項(xiàng)正確：

a)如果一個(gè)機(jī)架出問(wèn)題，不會(huì)影響數(shù)據(jù)讀寫

b)寫入數(shù)據(jù)的時(shí)候會(huì)寫到不同機(jī)架的DataNode中

c)MapReduce會(huì)根據(jù)機(jī)架獲取離自己比較近的網(wǎng)絡(luò)數(shù)據(jù)

答案：ABC

3、Client端上傳文件的時(shí)候下列哪項(xiàng)正確？

a)數(shù)據(jù)經(jīng)過(guò)NameNode傳遞給DataNode

b)Client端將文件切分為Block,依次上傳

c)Client只上傳數(shù)據(jù)到一臺(tái)DataNode,然后由NameNode負(fù)責(zé)

Block復(fù)制工作答案：B

此題分析：

lient向NameNode發(fā)起文件寫入的請(qǐng)求。

NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它

所管理部分DataNode的信息。Client將文件劃分為多個(gè)Block,根

據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。

4、下列哪個(gè)是Hadoop運(yùn)行的模式：

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)

a)單機(jī)版

b)偽分布式

c)分布式

答案：ABC

5、Cloudera提供哪幾種安裝CDH的方法？

a)Clouderamanager

b)Tarball

c)Yum

d)Rpm

答案：ABCD

03判斷題

1、Ganglia不僅可以進(jìn)行監(jiān)控，也可以進(jìn)行告警。

正確

此題分析：此題的目的是考Ganglia的了解。嚴(yán)格意義上來(lái)講是

正確。ganglia作為一款最常用的Unux環(huán)境中的監(jiān)控軟件，它擅長(zhǎng)

的的是從節(jié)點(diǎn)中按照用戶的需求以較低的代價(jià)采集數(shù)據(jù)。但是ganglia

在預(yù)警以及發(fā)生事件后通知用戶上并不擅長(zhǎng)。最新的ganglia已經(jīng)有

了部分這方面的功能。但是更擅長(zhǎng)做警告的還有Nagios。Nagios,就

是一款精于預(yù)警、通知的軟件。通過(guò)將Ganglia和Nagios組合起

打造數(shù)據(jù)智能職業(yè)教育領(lǐng)軍企業(yè)