《Hadoop大數(shù)據(jù)原理與應用》教學教案

教案首頁（第1次課）

（以2課時為單元）

課序授課日期授課班次授課教師批準人

1

《大數(shù)據(jù)技術(shù)原理及應用》是學習大數(shù)據(jù)技術(shù)的入門課程，是計算機科學與

技術(shù)、數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)、人工智能等專業(yè)的一門學科基礎與專業(yè)核心課程。

該課程著重講述大數(shù)據(jù)技術(shù)的知識體系，闡明其基本原理，引導學生進行初級實

踐和了解相關應用，培養(yǎng)學生運用大數(shù)據(jù)平臺搭建、大數(shù)據(jù)收集與預處理、大數(shù)

據(jù)遷移、大數(shù)據(jù)存儲與管理、大數(shù)據(jù)處理與分析、數(shù)據(jù)可視化等方法和技術(shù)工具

完成大數(shù)據(jù)應用的能力，在整個大數(shù)據(jù)課程體系中起著承前啟后重要作用。該課

課程描述程由理論教學和實驗教學兩個部分組成，其先修課程包括面向?qū)ο蟪绦蛟O計、

Python語言程序設計、操作系統(tǒng)、數(shù)據(jù)庫原理等，后續(xù)課程包括數(shù)據(jù)采集與預處

理、大數(shù)據(jù)存儲與管理技術(shù)、數(shù)據(jù)挖掘、大數(shù)據(jù)開發(fā)技術(shù)、大數(shù)據(jù)高級編程、數(shù)

據(jù)可視化技術(shù)等。

總學時理論教學實踐教學周學時學分

483216單4雙23

《大數(shù)據(jù)技術(shù)原理及應用》圍繞“構(gòu)建知識體系、闡明基本原理、引導初級

實踐、了解相關應用”的指導思想，著重講述大數(shù)據(jù)技術(shù)的基本原理、基本方法、

技術(shù)工具和相關應用，幫助學生構(gòu)建完整的大數(shù)據(jù)技術(shù)知識體系，使學生了解大

數(shù)據(jù)技術(shù)在行業(yè)領域中的最新發(fā)展趨勢和前沿知識，熟悉大數(shù)據(jù)應用的整個生命

周期，能夠熟練使用Hadoop、Spark等主流大數(shù)據(jù)平臺及其生態(tài)系統(tǒng)中的技術(shù)工

具完成基本的大數(shù)據(jù)應用閉環(huán)操作，達到知行合一、以用促學的目的。

知識目標：

1.理解大數(shù)據(jù)基本概念，了解大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)、人工智能的關系，

課程教學了解當前大數(shù)據(jù)的崗位及需求、學習路線；

目標2.認識大數(shù)據(jù)處理平臺Hadoop,熟練掌握全分布模式Hadoop集群的部署基

本過程；

3.理解分布式文件系統(tǒng)HDFS的體系架構(gòu)、文件存儲機制和數(shù)據(jù)讀寫過程，

熟練掌握HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS編程；

4.理解分布式計算框架MapReduce的編程思想和作業(yè)執(zhí)行流程，掌握

MapReduce簡單編程，了解當前其他主流的大數(shù)據(jù)計算框架如Spark、Storm、FIink

等；

5.理解YARN體系架構(gòu)和工作原理，掌握YARNWebUI、YARNShell的基本

使用，了解ResourceManager高可用機制的原理與配置，了解HDFSNameNode

高可用機制、HDFSNameNodeFederation,HDFSSnapshots;

6.理解分布式協(xié)調(diào)框架ZooKeeper的執(zhí)行原理和應用場景，掌握ZooKeeper

集群的部署和ZooKeeperShell常用命令的使用；

7.理解NoSQL數(shù)據(jù)庫與關系數(shù)據(jù)庫的區(qū)別、分布式數(shù)據(jù)庫HBase的數(shù)據(jù)模

型、體系架構(gòu)和運行機制，熟練掌握HBase集群的部署、HBaseShell常用命令

的使用；

8.理解Hive的體系架構(gòu)和執(zhí)行流程，掌握Hive的部署和連接方式，熟練

掌握Hive基本操作包括HiveDDL、HiveDML的書寫和HiveShell命令的使用；

9.理解數(shù)據(jù)遷移框架Sqoop、日志采集系統(tǒng)Flume、分布式發(fā)布/訂閱消息

系統(tǒng)Kafka的作用、架構(gòu)和工作原理，掌握Sqoop、Flume、Kafka的部署和使用；

課程教學

10.了解數(shù)據(jù)可視化的概念、作用和過程，理解常用的數(shù)據(jù)可視化圖形，了

目標

解當前主流的數(shù)據(jù)可視化工具。

能力目標：培養(yǎng)學生學以致用，能夠綜合利用Hadoop大數(shù)據(jù)平臺及其生態(tài)中

各個工具解決實際大數(shù)據(jù)應用方面的基本問題，提高學生閱讀外文科技文獻能

力，增強學生發(fā)現(xiàn)問題、分析問題、解決問題能力，與學科競賽和項目緊密結(jié)合，

穩(wěn)步培養(yǎng)和提高學生的動手實踐能力、自主創(chuàng)新能力、團隊協(xié)作能力、寫作表達

能力。

情感目標：通過對我國大數(shù)據(jù)技術(shù)、傳統(tǒng)優(yōu)秀文化的介紹，增強學生的民族

自豪感，提升學生的愛國主義精神，增強文化自信；將專業(yè)知識與服務社會相結(jié)

合，培養(yǎng)學生的社會責任感，樹立正確三觀，使學生更為深刻的理解專業(yè)內(nèi)涵，

提高學習內(nèi)驅(qū)力，培養(yǎng)科學素養(yǎng)，內(nèi)化為道德準則、科學思維和行為規(guī)范。

課題第1講開學第一課&大數(shù)據(jù)樓述

教材：

[1]徐魯輝.Hadoop大數(shù)據(jù)原理與應用[M].西安：西安電子科技大學出版

社，2020年3月.

參考資料：

[2]徐魯輝.Hadoop大數(shù)據(jù)原理與應用實驗教程[M].西安：西安電子科技

大學出版社,2020年1月.

[3]林子雨.大數(shù)據(jù)技術(shù)原理與應用（第2版）[M].北京：人民郵電出版社，

授課教材2017年1月.

參考資料[4]呂林濤.大數(shù)據(jù)技術(shù)及其應用[M].北京：科學出版社，2019年5月.

[5]維克托?邁爾-舍恩伯格，肯尼思?庫克耶.盛楊燕等譯.大數(shù)據(jù)時

代：生活、工作與思維的大變革[M].杭州：浙江人民出版社，2013年1月.

[6]TomWhite.Hadoop:TheDefinitiveGuide（4thEdition）[M].

0'ReillyMedia,April2015.

[7]TomWhite,著.王海，譯.Hadoop權(quán)威指南（第4版）[M].北京：清華

大學出版社，2017年7月.

[8]BiIIChambers,MateiZaharia.Spark：TheDefinitiveGuide[M].

O'ReillyMedia,February2018.

[9]BiIIChambers,MateiZaharia,著.張巖峰，譯.Spark權(quán)威指南[M].

北京：中國電力出版社，2020年4月.

[10]LarsGeorge.HBase:TheDefinitiveGuide[M].O'ReillyMedia,

September2011.

[11]LarsGeorge,著.代志遠，譯.HBase權(quán)威指南[M].北京：人民郵電出

版社，2013.

[12]EdwardCaprioIo,DeanWampIer,JasonRuthergIen.Programming

Hive[M].0,ReillyMedia,September2012.

[13]EdwardCaprioIo,DeanWampIer,JasonRutherglen,著.曹坤，

譯.Hive編程指南[M].北京：人民郵電出版社,2013.

[14]蔡斌.Hadoop技術(shù)內(nèi)幕：深入解析HadoopCommon和HDFS架構(gòu)設計與

實現(xiàn)原理[M].北京：機械工業(yè)出版社，2013年5月.

[15]董西成.Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設計與實現(xiàn)原理

[M].北京：機械工業(yè)出版社，2013年5月.

[16]董西成.Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設計與實現(xiàn)原理[M].

北京：機械工業(yè)出版社，2014年1月.

[17]ApacheHadoopProject,https://hadoop.apache.org.

[18]ApacheSparkProject,https：//spark,apache,org.

[19]TheHadoopEcosystemTabIe.

https://hadoopecosystemtabIe.github.io

[20]高校大數(shù)據(jù)課程公共服務平臺.

http://dbIab.xmu.edu.cn/post/bigdata-teaching-pIatform.

[21]林子雨.中國大學M00C《大數(shù)據(jù)技術(shù)原理與應用》.

https://www.icourse163.org/course/XMU-1002335004.

其它教學

學堂云：大數(shù)據(jù)技術(shù)原理及應用

資源

開學第一課

1.明確該課程的教學目標。

2.明確該課程的教學進度、教材、參考資料、上機軟件。

3.明確該課程的考核方式。

4.熟悉學堂云、雨課堂的使用方法。

目的要求第1章大數(shù)據(jù)概述

1.理解大數(shù)據(jù)的概念（重點），了解大數(shù)據(jù)的內(nèi)涵。

2.理解大數(shù)據(jù)的4V特征：Volume（海量化）、Variety（多樣化）、Value（價值

密度低）、Velocity（快速化）。（重點）

3.了解大數(shù)據(jù)處理關鍵技術(shù)：數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲與管理、數(shù)據(jù)處理與

分析、數(shù)據(jù)可視化。（難點）

4.了解大數(shù)據(jù)產(chǎn)業(yè)。

5.理解大物云智5G技術(shù)，掌握大物云智5G之間的關系。（重點難點）

6.了解大數(shù)據(jù)的崗位。

7.了解大數(shù)據(jù)的學習路線。

開學第一課

1.自我介紹。

2.課程地位、先修及后續(xù)課程。

3.教學目標及知識圖譜。

4.課時分配（理論+實驗）及進度、教材、參考資料、上機軟件。

5.考核方式：平時+實臉+期末。

6.學堂云、雨課堂的使用方法。

教學內(nèi)容第1章大數(shù)據(jù)概述

1.1大數(shù)據(jù)內(nèi)涵（重點）

1.2大數(shù)據(jù)特征（重點）

1.3大數(shù)據(jù)關鍵技術(shù)（難點）

1.4大數(shù)據(jù)產(chǎn)業(yè)

1.5大數(shù)據(jù)與物聯(lián)網(wǎng)、云計算、人工智能、5G的關系（重點，難點）

1.6大數(shù)據(jù)崗位介紹

1.7大數(shù)據(jù)學習路線

重點：大數(shù)據(jù)概念，大數(shù)據(jù)特征，大物云智5G之間的關系。

重點難點

難點：大數(shù)據(jù)關鍵技術(shù)，大物云智5G之間的關系。

教學方法

講授法，討論法，任務驅(qū)動法

手段

開學第一課

1.進行自我介紹。

2.進行頭腦風暴，提問問題，引入為何學習此課程。

3.闡述課程地位、先修及后續(xù)課程。

4.明確該課程教學目標，了解該課程知識思維導圖。

5.介紹該課程的課時分配及進度、教材、參考資料、上機軟件。

教學步驟6.公布考核方式：平時考核30%（在線考勤、課堂表現(xiàn)、作業(yè)、在線測試）+實

驗考核20%（實臉態(tài)度、實驗報告）+期末考核（筆試或大作業(yè)）。

7.介紹學堂云、雨課堂的使用方法。

8.完成在線測試，對先修課程的知識和技能進行綜合測試。

第1章大數(shù)據(jù)概述

1.提問問題引入“大數(shù)據(jù)”。2.精講本節(jié)內(nèi)容。3.進行本節(jié)小結(jié)。

4.布置課后作業(yè)。

1.當今IT界的熱門技術(shù)有哪些？

復習提問

2.你平時用的哪些應用使用到了云計算和大數(shù)據(jù)技術(shù)？

1.章節(jié)測試

完成線上測試“章節(jié)測試1-大數(shù)據(jù)概述”。

2.預習作業(yè)

預習“初識Hadoop”。

作業(yè)

3.思考題

(1)根據(jù)自己的專業(yè)領域和研究興趣，調(diào)研大數(shù)據(jù)技術(shù)在自己所屬領域中的應用

現(xiàn)狀？

(2)調(diào)查分析大數(shù)據(jù)從業(yè)人員常用方法、技術(shù)與工具。

教學環(huán)節(jié)復習提問新課講解課堂討論每課小結(jié)布置作業(yè)

時間分配(以分鐘計算))10701532

教案首頁（第2次課）

（以2課時為單元）

課序授課日期授課班次授課教師批準人

2

課題第2講初識Hadoop

1.理解Hadoop是什么（重點），了解Hadoop的發(fā)展簡史、特點、版本。

2.理解Hadoop生態(tài)系統(tǒng)組成及各組件基本功能。（重點）

3.理解Hadoop體系架構(gòu)。（重點）

4.了解Hadoop在國內(nèi)外應用現(xiàn)狀。

5.理解部署Hadoop集群所需系統(tǒng)環(huán)境、Hadoop運行模式，熟練掌握在Linux

目的要求

下部署全分布模式Hadoop過程：規(guī)劃集群、準備機器及軟件環(huán)境（配置靜態(tài)

IP、修改主機名、編輯域名映射、安裝和配置Java、安裝和配置SSH免密登

錄）、安裝不口酉已置Hadoop集群（hadoop-env.sh>yarn-env.sh、mapred-env.sh^

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、sIaves）>

關閉防火墻、格式化文件系統(tǒng)、啟動和驗證Hadoop、關閉Hadoopo（重點難點）

第2章初識Hadoop

2.1Hadoop概,述（重點）

2.2Hadoop生態(tài)系統(tǒng)（重點）

教學內(nèi)容

2.3Hadoop體系架構(gòu)（重點）

2.4Hadoop應用現(xiàn)狀

2.5部署和運行Hadoop（重點，難點）

重點:Hadoop是什么,Hadoop生態(tài)系統(tǒng)，Hadoop體系架構(gòu)，部署和運行Hadoop。

重點難點

難點：部署和運行Hadoopo

教學方法

講授法，討論法，演示法，案例法

手段

第2章初識Hadoop

1.復習提問，講評章節(jié)測試1,導入本節(jié)內(nèi)容。

教學步驟2.精講本節(jié)內(nèi)容。

3.進行本節(jié)小結(jié)。

4.布置課后作業(yè)。

1.根據(jù)你的理解，何為大數(shù)據(jù)？

復習提問2.大數(shù)據(jù)有哪些特征？

3.大數(shù)據(jù)關鍵技術(shù)有哪些？

1.章節(jié)測試

作業(yè)

w

完成線上測試“章節(jié)測試2-初識Hadoopo

2.思考題

(1)準備Hadoop系統(tǒng)環(huán)境時，安裝SSH是必須的，但是配置SSH免密登錄并

作業(yè)不是必須的，試述為何還要配置SSH免密登錄。

(2)配置Hadoop是部署Hadoop過程中較為繁瑣的步臊，試述配置Hadoop偽

分布模式和全分布式模式的異同。

預習線上資源“實臉指導書-實臉1部署全分布模式Hadoop集群”，了解實臉

預習內(nèi)容

目的和實驗內(nèi)容，準備實驗環(huán)境。

教學環(huán)節(jié)復習提問新課講解課堂討論每課小結(jié)布置作業(yè)

時間分配

10701532

(以分鐘計算)

實驗教學教案首頁（第3次課）

（以2課時為單元）

課序：3實驗日期:實驗教師：****批準人:****

一、實驗名稱

實驗1部署全分布模式Hadoop集群

二、實驗目的、要求

1.熟練掌握Linux基本命令。

2.掌握靜態(tài)IP地址的配置、主機名和域名映射的修改。

3.掌握Linux環(huán)境下Java的安裝、環(huán)境變量的配置、Java基本命令的使用。

4.理解為何需要配置SSH免密登錄，掌握Linux環(huán)境下SSH的安裝、免密登錄的配

置。

5.熟練掌握在Linux環(huán)境下如何部署全分布模式Hadoop集群。

三、實驗重點、難點

重點：配置全分布模式Hadoop集群。

難點:配置SSH免密登錄。

四、實驗器材、設備

本實驗所需的軟硬件環(huán)境包括PC、VMwareWorkstationPro、CentOS安裝包、Oracle

JDK安裝包、Hadoop安裝包。

教學設計：

一、復習提問，回顧部署和運行Hadoop的關鍵點。教師講述本次實驗的先修技能、實

驗步驟和實驗重點難點。

二、采用實驗法教學，學生按照本次實驗的實驗指導書進行實驗，教師指導。實驗步驟

如下：

1?酬?掌握

2.熟練簟提Java基本命令

先修技能3.理解SSH安全通信協(xié)議

4.理解Hadoop艇礎知識：運行環(huán)境、運行模式、生態(tài)系統(tǒng)、體系

架構(gòu)、配M文件等

集群架內(nèi)規(guī)劃：主節(jié)點、從節(jié)點、IPi也址、運行服務、軟硬件配置

1,規(guī)劃部善--------------------------------------------------------------

-------------軟件選擇：虛擬機工具、Linux攆作系統(tǒng)、Java、SSH、Hadoop

2,準母機卷

配置一

修改主機€

3.準省軟件環(huán)境,編場域名映射

,安裝和配置Java

f安裝和配置SSH免堂登錄

4,下新安裝Hadoop

Wrj4hddoop.sh:添1?HADOOP_HOME到系統(tǒng)處PATH

配Mhadoop-env.sh:JAVA_HOME,HADOOP_SSH_OPTS,

HADOOP_PID_DIR^

SKmapred-env.sh:JAVAHOME,

HADOOP_MAPRED_PID_DIR^

gBHyarn-env.sh:JAVA_HOME.YARN_PID_DIR^

￡Kcore-site.xml:fs.defaultFS,io.file.buffer.size,

?5.配置全分布便式Hadoop集群hadoop.tmp.di售

部署全分布模式

實驗步驟fiiRhdfs-sitejcml:.dir,

Hadoop集群dfs.datanode.data.dir.node.checkpointdir,

dfs.replication等

配芭mapred-site*ml:等

gBMyarn-4ite.xml:yarn.re$ourcemanager.hostname,

yam-nodemanager.aux-services等

SBslaves

6.關閉防火墻

7.格式化文件系統(tǒng)

start-dfs.sh

start-yanxsh

啟動Hadoopmr-jobhistory-daemon.shstarthistoryserver

8.啟動和驗證Hadoop方法1：jps查看進程

蹈EHadoop方法2:WebUliS看界面

方法3:向Hadoopffe^提交MapReduce應用?J?JWordCount

mr-jobhistory-daemon.shstophistoryserver

stop-yam.sh

9.關閉Hadoopstop-dfs.sh

圖實驗1部署全分布模式Hadoop集群知識地圖

1.規(guī)劃部署。

2.準備機器。

3.準備軟件環(huán)境：配置靜態(tài)IP；修改主機名；編輯域名映射；安裝和配置Java；安裝

和配置SSH免密登錄。

4.獲取和安裝Hadoop。

5.配置全分布模式Hadoop集群。

6.關閉防火墻。

7.格式化文件系統(tǒng)。

8.啟動和驗證Hadoop。

9.關閉Hadoopo

三、布置課后作業(yè)

1.完成本次實驗的電子版《實驗報告》，并與本周日前上傳至平臺。

2.預習“HDFS體系架構(gòu)和文件存儲機制”。

教案首頁（第4次課）

（以2課時為單元）

課序授課日期授課班次授課教師批準人

4

課題第3講HDFS體系架構(gòu)和文件存儲機制

1.了解大數(shù)據(jù)存儲對文件系統(tǒng)的挑戰(zhàn)，理解HDFS文件系統(tǒng)特點。

2,理解HDFS體系架構(gòu)，掌握NameNode與DataNode的作用與關系，掌握HDFS

目的要求元數(shù)據(jù)文件的組成。（重點）

3.理解HDFS文件存儲機制：塊，副本策略。（重點）

4.掌握HDFS數(shù)據(jù)讀寫過程及涉及到的關鍵類。（重點）

第3章分布式文件系統(tǒng)HDFS

3.1HDFS簡介

教學內(nèi)容3.2HDFS體系架構(gòu)（重點）

3.3HDFS文件存儲機制（重點）

3.4HDFS數(shù)據(jù)讀寫過程（重點）

重點：HDFS體系架構(gòu)，HDFS文件存儲機制，HDFS數(shù)據(jù)讀寫過程。

重點難點

難點：無。

教學方法

講授法，討論法，演示法，案例法

手段

第3章分布式文件系統(tǒng)HDFS

1.復習提問，講評章節(jié)測試2和實驗1,導入本節(jié)內(nèi)容。

教學步驟2.精講本節(jié)內(nèi)容。

3.進行本節(jié)小結(jié)。

4.布置課后作業(yè)。

復習提問簡述部署全分布模式Hadoop集群的基本步驟。

作業(yè)無

預習內(nèi)容預習“實戰(zhàn)HDFS“、"HDFS高可靠性機制

教學環(huán)節(jié)復習提問新課講解課堂討論每課小結(jié)布置作業(yè)

時間分配

10701532

（以分鐘計算）

教案首頁（第5次課）

（以2課時為單元）

課序授課日期授課班次授課教師批準人

5

課題第4講實戰(zhàn)HDFS

1.掌握HDFSWebUI的使用，熟練掌握HDFSShelI常用命令使用和HDFS

JavaAPI編程。（重點，難點）

目的要求

2.了解HDFS高可靠性機制：元數(shù)據(jù)備份、SecondaryNameNode>BackupNode

備份、HDFSNameNodeHA^HDFSNameNodeFederation、HDFSSnapshotso

第3章分布式文件系統(tǒng)HDFS

3.5實戰(zhàn)HDFS（重點,難點）

3.5.1HDFSWebUI

教學內(nèi)容

3.5.2HDFSShelI

3.5.3HDFSJavaAPI編程

3.6HDFS高可靠性機制（了解）

重點：HDFS體系架構(gòu)，HDFS文件存儲機制，HDFS數(shù)據(jù)讀寫過程。

重點難點

難點：無。

教學方法

講授法，討論法，演示法，案例法

手段

第3章分布式文件系統(tǒng)HDFS

教學步驟1.復習提問，導入本節(jié)內(nèi)容。

2.精講本節(jié)內(nèi)容。3.進行本節(jié)小結(jié)。4.布置課后作業(yè)。

1.簡述HDFS是什么。2.簡述HDFS體系架構(gòu)。3.簡述HDFS文件存儲機制。

復習提問

4.簡述HDFS數(shù)據(jù)讀寫過程。

1.章節(jié)測試

完成線上測試“章節(jié)測試3-分布式文件系統(tǒng)HDFS”。

作業(yè)2.思考題

（1）簡述HDFS元數(shù)據(jù)的更新和備份過程Checkpoint。

（2）簡述備份節(jié)點和SecondaryNameNode的區(qū)別是什么？

預習線上資源“實驗指導書-實驗2實戰(zhàn)HDFS”，了解實驗目的和實臉內(nèi)容，

預習內(nèi)容

準備實驗環(huán)境。

教學環(huán)節(jié)復習提問新課講解課堂討論每課小結(jié)布置作業(yè)

時間分配

5751532

（以分鐘計算）

實驗教學教案首頁（第3次課）

（以2課時為單元）

課序：6實驗日期:實驗教師：****批準人:****

一、實驗名稱

實驗2實戰(zhàn)HDFS

二、實驗目的、要求

1.理解HDFS體系架構(gòu)。

2.理解HDFS文件存儲原理和數(shù)據(jù)讀寫過程。

3.熟練掌握HDFSWebUI界面的使用。

4.熟練掌握HDFSShell常用命令的使用。

5.熟練掌握HDFS項目開發(fā)環(huán)境的搭建。

6.掌握使用HDFSJavaAPI編寫HDFS文件操作程序。

三、實驗重點、難點

重點：使用HDFSWebUI、HDFSSheikHDFSJavaAPI編程。

難點：使用HDFSJavaAPI編程。

四、實驗器材、設備

本實驗所需的軟件環(huán)境包括全分布模式Hadoop集群、Eclipse。

教學設計：

一、復習提問，回顧使用HDFSWebUI、HDFSSheikHDFSJavaAPI編程的關鍵點。

教師講述本次實驗的先修技能、實驗步驟和實驗重點難點。

二、采用實驗法教學，學生按照本次實驗的實驗指導書進行實驗，教師指導。實驗步驟

如下:

1熟練掌握Linux基本命令

2.掌握Java編程

3.熟練掌握全分布模式Hadoop集群的使用

先修技能

4.理解HDFS基礎知識：功能、體系架構(gòu)、文件存儲原理HDFS接

口等

1啟動Hadoop集群

會2.使用HDFSShell

★3.蝴HDFSWebUI

4.搭建HDFS開發(fā)環(huán)境Eclipse

在Eelipse中創(chuàng)建Java項目

—

實戰(zhàn)HDFS實驗步驟在項目中添加所需JAR包

F*5.使用HDFSJavaAPI編程的目中新建包

戶編寫Java程序

編譯運行程序

6.關閉Hadoop集群

★童點：使用HDFSWeb5、HDFSShell.HDFSJavaAPI編程

實驗重點難點，難點：使用HDFSJavaAPI編程

rHDFSNameNodeHA高可用環(huán)境搭建

拓展訓練-----------------------------

圖實驗2實戰(zhàn)HDFS知識地圖

1.啟動全分布模式Hadoop集群，守護進程包括NameNode、DalaNode、

SecondaryNameNode、ResourceManager,NodeManager和JobHistoryServer(>

2.查看HDFSWeb界面。

3.練習HDFSShell文件系統(tǒng)命令和系統(tǒng)管理命令。

4.在Hadoop集群主節(jié)點上搭建HDFS開發(fā)環(huán)境Eclipse?

5.使用HDFSJavaAPI編寫HDFS文件操作程序，實現(xiàn)上傳本地文件到HDFS的功能，

采用本地執(zhí)行和集群執(zhí)行的兩種執(zhí)行方式測試，觀察結(jié)果。

6.使用HDFSJavaAPI編寫HDFS文件操作程序，實現(xiàn)查看上傳文件在HDFS集群中

位置的功能，采用本地執(zhí)行和集群執(zhí)行的兩種執(zhí)行方式測試，觀察結(jié)果。

7.關閉全分布模式Hadoop集群。

三、布置課后作業(yè)

1.完成本次實驗的電子版《實驗報告》，并與本周日前上傳至平臺。

2.預習“MapReduce概述和作業(yè)執(zhí)行流程”。

教案首頁（第7次課）

（以2課時為單元）

課序授課日期授課班次授課教師批準人

7

課題第5講MapReduce概述及作業(yè)執(zhí)行流程

1.理解MapReduce編程思想。（重點）

2.掌握MapReduce應用程序WordCount中Mapper類、Reducer類、main。方

法的編寫（重點、難點），并熟練掌握向Hadoop集群提交MR作業(yè)和查看結(jié)果

目的要求的方法（重點）。

3.理解MapReduce作業(yè)執(zhí)行流程的五個階段，理解MapReduce2.0作業(yè)執(zhí)行

時體系架構(gòu)。（重點）

4.理解Shuffle機制。（難點）

第4章分布式計算框架MapReduce

4.1MapReduce簡介（重點）

分而治之：鍵值對〈key,vaIue>

4.2第一個MapReduce案例:WordCount（重點）

教學內(nèi)容

Mapper類、Reducer類、main。方法的編寫

4.3MapReduce作業(yè)執(zhí)行流程（重點）

InputFormat,Map,ShuffIe,Reduce,OutputFormat

4.5Shuffle機制（難點）

重點：MapReduce編程思想；WordCount中Mapper類、Reducer類、main（）方

法的編寫；MapReduce作業(yè)執(zhí)行流程。

重點難點

難點：WordCount中Mapper類、Reducer類、main。方法的編寫；Shuffle機

制。

教學方法

講授法，演示法，案例法

手段

1.復習提問，講評章節(jié)測試3和實驗2,導入本節(jié)內(nèi)容。2.精講教學內(nèi)容。

教學步驟

3.進行本節(jié)小結(jié)。4.布置課后作業(yè)。

復習提問簡述HDFS的體系架構(gòu)和接口。

作業(yè)自行編寫MapReduce程序WordCountDIY,并提交Hadoop集群運行。

預習內(nèi)容預習“MapReduce數(shù)據(jù)類型與格式”、“在MapReduce中自定義組件”。

教學環(huán)節(jié)復習提問新課講解課堂討論每課小結(jié)布置作業(yè)

時間分配

10701532

（以分鐘計算）

教案首頁（第8次課）

（以2課時為單元）

課序授課日期授課班次授課教師批準人

8

課題第6講MapReduce數(shù)據(jù)類型和自定義組件

1.掌握MapReduce數(shù)據(jù)類型（重點），理解序列化和反序列化（難點）。

目的要求2.了解自定義輸入組件、自定義排序組件、自定義分區(qū)組件、自定義輸出組

件的編寫。（難點）

第4章分布式計算框架MapReduce

4.4MapReduce數(shù)據(jù)類型與格式

序列化，反序列化

IntWritable,LongWritable,FloatWritabIe,DoubleWritabIe,ByteWritabIe

BooIeanWritabIe,Text,NuIIWritabIe

4.6在MapReduce中自定義組件

輸入組件：org.apache,hadoop.mapreduce.InputFormat,RecordReader,重

教學內(nèi)容

寫createRecordReader()

排序組件：自定義類實現(xiàn)ComparabIe或WritabIeComparabIe,重寫

compareToO

分區(qū)組件：org.apache.hadoop.mapreduce.Partitioner,重寫

getPartition()

輸出組件：org.apache.hadoop.mapreduce.OutputFormat,RecordWriter,重

寫getRecordWriter()

重點:MapReduce數(shù)據(jù)類型。

重點難點

難點：序列化和反序列化；MapReduce自定義組件編寫。

教學方法

講授法，演示法，案例法

手段

1.復習提問，導入本節(jié)內(nèi)容。

教學步驟

2.精講教學內(nèi)容。3.進行本節(jié)小結(jié)。4.布置課后作業(yè)。

復習提問簡述MapReduce作業(yè)執(zhí)行流程。

作業(yè)重讀MapReduce示例程序WordCount,深入理解其中的數(shù)據(jù)類型。

預習內(nèi)容預習“實戰(zhàn)MapReduce”、“其它主流計算框架

教學環(huán)節(jié)復習提問新課講解課堂討論每課小結(jié)布置作業(yè)

時間分配

5701555

（以分鐘計算）

實驗教學教案首頁（第9次課）

（以2課時為單元）

課序：9實驗日期:實驗教師：****批準人:****

一、實驗名稱

實驗3MapReduce編程（1）

二、實驗目的、要求

1.理解MapReduce編程思想。

2.理解MapReduce作業(yè)執(zhí)行流程。

3.理解MR-App編寫步驟，掌握使用MapReduceJavaAPI進行MapReduce基本編程，

熟練掌握如何在Hadoop集群上