《大數(shù)據(jù)應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)》課程標(biāo)準(zhǔn)

1、課程標(biāo)準(zhǔn)課程名稱：大數(shù)據(jù)應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)課程性質(zhì)：能力拓展課計(jì)劃學(xué)時(shí)：96（其中實(shí)踐學(xué)時(shí)48）適用專業(yè)：大數(shù)據(jù)技術(shù)與應(yīng)用1. 課程定位與思路1.1 課程定位本課程以物聯(lián)網(wǎng)導(dǎo)論、操作系統(tǒng)教程、 Java 編程等先修課程所學(xué)理論知識(shí)和所練實(shí)操技能為教學(xué)基礎(chǔ)， 并為 云計(jì)算 等后繼課程的教學(xué)打 下良好的基礎(chǔ)。本課程是為大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)學(xué)生開(kāi)設(shè)的課程。 隨著時(shí)代的發(fā)展， 大數(shù)據(jù)已經(jīng)成為一個(gè)耳熟能詳?shù)脑~匯。 與此同時(shí)， 針對(duì)大數(shù)據(jù)處理的新技術(shù)也在不斷的開(kāi)發(fā)和運(yùn)用中， 逐漸成為數(shù)據(jù)處理挖掘行業(yè)廣泛使用的主流技術(shù)之一。 Hadoop 作為處理大數(shù)據(jù)的分布式存儲(chǔ)和計(jì)算框架，得到了國(guó)內(nèi)外大小型企業(yè)廣泛的應(yīng)用。

2、Hadoop 是一個(gè)可以搭建在廉價(jià)服務(wù)器上的分布式集群系統(tǒng)架構(gòu)，它具有可用性高、 容錯(cuò)性高和可擴(kuò)展性高等優(yōu)點(diǎn)。 由于它提供了一個(gè)開(kāi)放式的平臺(tái)， 用戶可以在完全不了解底層實(shí)現(xiàn)細(xì)節(jié)的情形下， 開(kāi)發(fā)適合自身應(yīng)用的分布式程序。 經(jīng)過(guò)十多年的發(fā)展，目前Hadoop已經(jīng)成長(zhǎng)為一個(gè)全棧式的大數(shù)據(jù)技術(shù)生態(tài)圈，并 在事實(shí)上成為應(yīng)用最廣泛最具有代表性的大數(shù)據(jù)技術(shù)。因此，學(xué)習(xí) Hadoop技術(shù) 是從事大數(shù)據(jù)行業(yè)工作所必不可少的一步。1.2 設(shè)計(jì)思路本課程主要理論結(jié)合實(shí)踐， 每個(gè)章節(jié)講解理論的同時(shí)以各種軟件實(shí)操和案例作為論證和鞏固， 提高學(xué)生學(xué)習(xí)的趣味。 此外本課程包含眾多實(shí)操分析案例， 在案例操作的過(guò)程中， 一方面

3、需要指導(dǎo)學(xué)生完成案例操作的任務(wù)， 利用分析工具魔鏡掌握數(shù)據(jù)分析的技能，另一方面需要激發(fā)學(xué)生主動(dòng)學(xué)習(xí)、深入研究的熱情。本課程立足于實(shí)際能力培養(yǎng)， 打破以知識(shí)傳授為主要特征的傳統(tǒng)學(xué)科課程模式，轉(zhuǎn)變?yōu)橐詫?shí)際操作任務(wù)為中心組織課程內(nèi)容和課程教學(xué)，整合理論和實(shí)踐，讓學(xué)生在完成具體案例的過(guò)程中來(lái)構(gòu)建和了解相關(guān)理論知識(shí)體系， 并發(fā)展大數(shù)據(jù) 分析基礎(chǔ)的職業(yè)能力。本課程實(shí)施項(xiàng)目教學(xué)以改變學(xué)與教的行為。2. 課程目標(biāo)本課程旨在培養(yǎng)能夠?yàn)槠笫聵I(yè)單位提供大數(shù)據(jù)系統(tǒng)的搭建、 管理和運(yùn)維技術(shù)的學(xué)生。 學(xué)生通過(guò)大量的案例與實(shí)踐操作， 可以熟練掌握大數(shù)據(jù)系統(tǒng)管理所需的各種專業(yè)知識(shí)和能力， 具備一定的職業(yè)素養(yǎng)， 為他們從事大數(shù)

4、據(jù)這個(gè)尖端行業(yè)的系統(tǒng)管理工作奠定堅(jiān)實(shí)的基礎(chǔ)。2.1 總體目標(biāo)通過(guò)本課程的學(xué)習(xí)，使學(xué)生學(xué)會(huì)搭建 Hadoop 完全分布式集群，熟練HDFS的原理和基礎(chǔ)操作，能夠在理解 MapReduce原理架構(gòu)的基礎(chǔ)上，進(jìn)行 MapReduce 程序的編寫。為將來(lái)從事大數(shù)據(jù)挖掘研究工作以及后續(xù)課程的學(xué)習(xí)奠定基礎(chǔ)。 2.2 具體目標(biāo) (能力目標(biāo)、知識(shí)目標(biāo)、素質(zhì)目標(biāo))1. 能力目標(biāo)( 1)會(huì)搭建Hadoop 的環(huán)境( 2)能夠掌握相關(guān)的數(shù)據(jù)管理、存儲(chǔ)、分析計(jì)算等的技術(shù)基礎(chǔ)(3)通過(guò)對(duì)數(shù)據(jù)庫(kù)的學(xué)習(xí)和編程設(shè)計(jì)，掌握 MapReduce勺編程模型(4)會(huì)使用MapReducel成常用的功能(5)會(huì)搭建 HDFS Name

5、 NodM境(6)會(huì)進(jìn)行Hive的部署，及Hive中DDL與DMU勺操作(7)會(huì)使用Sqoop,知道常用的SQL on Hadoop框架2. 知識(shí)目標(biāo)：(1) 了解Hadoop的來(lái)源與特點(diǎn)；(2)掌握Hadoop分布式文件系統(tǒng)HDFS勺重要概念、體系結(jié)構(gòu)、存儲(chǔ)原理 和讀寫過(guò)程，并熟練掌握分布式文件系統(tǒng)HDFS勺使用方法；(3)掌握MapReduce勺原理；(4)掌握Hadoop分布式數(shù)據(jù)庫(kù)( 5)了解大數(shù)據(jù)處理中常用的實(shí)時(shí)流處理框架有哪些3. 素質(zhì)目標(biāo)( 1)培養(yǎng)學(xué)生的團(tuán)隊(duì)分工協(xié)作精神；(2)培養(yǎng)學(xué)生的溝通表達(dá)能力；(3)培養(yǎng)學(xué)生的工作責(zé)任意識(shí)；(4)培養(yǎng)學(xué)生的質(zhì)量至上觀念；4.課程思政目標(biāo)(

6、1)培養(yǎng)學(xué)生自主學(xué)習(xí)能力和知識(shí)應(yīng)用能力;(2)培養(yǎng)學(xué)生的職業(yè)道德和職業(yè)規(guī)范。3 .課程內(nèi)容與要求在舁 廳P任務(wù)或項(xiàng)目名稱課程內(nèi)容及教學(xué)要求學(xué)習(xí)目標(biāo)活動(dòng)設(shè)計(jì)學(xué)時(shí)1Hadoop初體驗(yàn)任務(wù)1初識(shí)大數(shù)據(jù)任務(wù)2初識(shí)Hadoop 任務(wù)3安裝Hadoop 平臺(tái)1. 了解大數(shù)據(jù) 和 Hadoop2. 掌握 Hadoop的核心組件內(nèi)容3. 了解 Hadoop 生態(tài)圈多媒體機(jī) 房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：安裝Hadoop平臺(tái)掌握虛擬機(jī)、CentOS和Hadoop的安裝上機(jī)操作32Hadoop分布式乂件系統(tǒng)任務(wù)1 HDFS入門任務(wù)2 HDFSg本操作任務(wù)3 HDFS行原理任務(wù)4 HDFSW級(jí)知識(shí)1 .掌握 HDFS 文

7、件系統(tǒng)的訪 問(wèn)方式2 .掌握 HDFS 的體系結(jié)構(gòu)3 .掌握 HDFS 數(shù)據(jù)的讀寫流 程4 . 了 解 HDFS 的序列化使用多媒體機(jī) 房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：開(kāi)發(fā)一個(gè)應(yīng)用程序來(lái)對(duì)小文件進(jìn)行 合并掌握使用HDFS shell 以及JavaAPI 操作 HDFS上機(jī)操作33Hadoop分布式計(jì)算框架任務(wù) 1 MapReduce 編 程模型任務(wù) 2 MapReduce 應(yīng) 用開(kāi)發(fā)任務(wù) 3 MapReduce 高 級(jí)應(yīng)用1 .了解 MapReduce 是 什么2 .掌 握 MapReduce 編 程模型3 .掌 握 MapReduce 中 常見(jiàn)核心API多媒體機(jī) 房講解知 識(shí)9實(shí)戰(zhàn)項(xiàng)目：使用MapR

8、educe按要求完成相應(yīng)的功能掌握MapReduce 開(kāi) 發(fā)常用的功能上機(jī)操作34Hadoop新特性任務(wù)1初識(shí)YARN任務(wù)2 了解HDFS新特性任務(wù)3 了解YARN所特性1 .了解 YARN勺 架構(gòu)2 .掌握 HDFSNN 局可用機(jī)制的 原理及搭建3 . 了解 HDFS Federation 機(jī) 制4 . 了解其他 新特性J多媒體機(jī)房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：完成舊 DS NameNode 高可用機(jī)制以及YA陽(yáng) ResourceManager 高可用機(jī)制環(huán) 境的搭建。掌握YARN RM 局可用機(jī)制的 原理及搭建上機(jī)操作35Hadoop分體式數(shù)據(jù)庫(kù)任務(wù)1認(rèn)識(shí)HBase任務(wù) 2 HBase Shell

9、操作任務(wù)3 Hbase編程1 .了解 HBase 體系結(jié)構(gòu)2 .理解 HBase 數(shù)據(jù)模型3 .掌握 HBase 的安裝4 .熟練使用HBase Java API 操彳HBase多媒體機(jī) 房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：使用 HBase Java API 刪除scores 表中 jason 的math課程 成績(jī)。熟練使用HBase Shell 操 作 HBase上機(jī)操作36Hadoop綜合實(shí)戰(zhàn)一一音樂(lè)排行榜任務(wù) 1 Map Reduce 與HBase的集成環(huán)境 任務(wù) 2 HBase Map Reduce API任務(wù)3實(shí)現(xiàn)音樂(lè)排 行榜1 .理解HDFS HBase 和 Map Reduce的集成 使用2

10、 .掌握快速導(dǎo) 入數(shù)據(jù)到 HBase的方法多媒體機(jī) 房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：實(shí)現(xiàn)音樂(lè)排行榜1 .掌握利用Map Reduce 接 收HBase數(shù)據(jù) 輸入2 .掌握利用Map Reduce 輸 出到HBase上機(jī)操作97數(shù)據(jù)倉(cāng)庫(kù)Hive任務(wù)1 Hive基礎(chǔ)任務(wù)2掌握Hive操作任務(wù)3 Hive高級(jí)應(yīng)用1 .了解 Hive 的 產(chǎn)生背景及環(huán) 境部署2 .認(rèn)知Hive 中常見(jiàn)的優(yōu)化 策略多媒體機(jī) 房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：使用Hive完成用戶訪問(wèn)量Top5統(tǒng)計(jì)1 .掌握Hive中 DDL和DML勺使 用2 .掌握Hive中 函數(shù)的使用上機(jī)操作38大數(shù)據(jù)離線處理輔 助系統(tǒng)任務(wù)l :認(rèn)識(shí)并使用 數(shù)據(jù)遷移框

11、架 S qoop 任務(wù)2:使用 Azkaban 實(shí)現(xiàn)工作流調(diào)度1 .使用 Sqoop 導(dǎo)入MySQL到 HDFS 和 Hive2 .使用 Sqoop 導(dǎo)出HDFS數(shù) 據(jù)到MySQL令3 .使 用 Azkaban 調(diào)度 MR/Hive 作業(yè)多媒體機(jī) 房講解知 識(shí)6實(shí)戰(zhàn)項(xiàng)目：使用Sqoop以增量的方式導(dǎo)入數(shù)據(jù)：只導(dǎo)入 empno 7788（不包括7788 ）的 數(shù)據(jù)到HDFS文件系統(tǒng)上。掌握使用Azkaban 完成 HDFS 、 Map Reduce、Hive 作業(yè)的調(diào)度上機(jī)操作69Spark基礎(chǔ)任務(wù)1: Spark入門 任務(wù)2: Scala基礎(chǔ) 任務(wù)3:編譯Spark 任務(wù) 4： Spark初體

12、驗(yàn)1 .掌握 Scale 的基本使用2 .獲取 Spark 源碼并根據(jù)指定Hadoop版本 編譯多媒體機(jī) 房講解知 識(shí)6實(shí)戰(zhàn)項(xiàng)目：在Spark詞頻統(tǒng)計(jì) 的基礎(chǔ)上對(duì)統(tǒng)計(jì)結(jié)果 按照單詞出現(xiàn)的次數(shù) 降序排列（自行查閱資料完成）會(huì)使用Spark完成詞頻統(tǒng)計(jì)上機(jī)操作610Spark Core任務(wù) 1: Spark RDD任務(wù)2: RDD高級(jí)應(yīng) 用任務(wù)3:基于RDD的 Spark應(yīng)用程序開(kāi)發(fā)1.掌握 Spark應(yīng)用程序的開(kāi) 發(fā)令多媒體機(jī) 房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：使用Spark Core 完 成用戶訪問(wèn)量 Tops 統(tǒng)計(jì)。掌握Spark的運(yùn)行架構(gòu)上機(jī)操作311Spark SQL任務(wù)1:認(rèn)識(shí)Spark SQL

13、任務(wù) 2: Spark SQL 編 程基礎(chǔ)任務(wù) 3: Spark SQL 編 程進(jìn)階1.掌握使用Spark SQL 完 成各種數(shù)據(jù)源 的操作令多媒體機(jī) 房講解知 識(shí)3實(shí)戰(zhàn)項(xiàng)目：編寫UDF函數(shù)實(shí)現(xiàn) 添加10以內(nèi)的隨機(jī) 前綴的功能，比如輸 入：SP成K ,輸出： xxx SPARK。掌握 Spark UDF函數(shù)的開(kāi)發(fā)上機(jī)操作3任務(wù)1:流處理框架 及 Spark Streaming 任務(wù)2 :使用Spark Streaming 編程任務(wù) 3: Spark Streaming 高級(jí)應(yīng) 用1.掌握 Spark Streaming 核 心概念多媒體機(jī) 房講解知 識(shí)312Spark Streaming實(shí)戰(zhàn)項(xiàng)

14、目：使用 mW WithState算子實(shí)現(xiàn)有狀態(tài)的統(tǒng) 計(jì)分析，mapWithState的性能高于updateStateBy Key 。掌握 Spark Streaming 進(jìn) 行流處理應(yīng)用 的開(kāi)發(fā)上機(jī)操作3合計(jì)學(xué)時(shí)964 .實(shí)施建議4.1 教材選用和編寫建議(1)教材選用建議：使用國(guó)家級(jí)規(guī)劃教材或高職高專專用教材，同時(shí)選用 的教材還必須符合本專業(yè)人才培養(yǎng)目標(biāo)及課程教學(xué)的要求，取材合適，深度適宜，要有數(shù)字化內(nèi)容，要符合高職學(xué)生的認(rèn)知規(guī)律，有利于激發(fā)學(xué)生學(xué)習(xí)興趣，有利 于學(xué)生知識(shí)、能力和素質(zhì)的培養(yǎng)。(2)使用教材：基于Hadoop與Spark的大數(shù)據(jù)開(kāi)發(fā)實(shí)戰(zhàn)，人民郵電出 版社，肖睿、丁科、吳剛山(

15、主編)。(3)教材編寫建議：教材編寫可以采用章節(jié)小項(xiàng)目 +理論知識(shí)+案例導(dǎo)入的 方式展開(kāi)，注重突出核心內(nèi)容，注重實(shí)踐和理論之間的相互聯(lián)系，在突出內(nèi)容階 段性的同時(shí)提高學(xué)生的動(dòng)手能力。4.2 教學(xué)建議教師主要采用傳統(tǒng)的課堂講授方式結(jié)合多媒體教學(xué)，直觀、學(xué)生注意力不易 分散，學(xué)生與教師的互動(dòng)與共鳴效果好。案例教學(xué)過(guò)程中采用多媒體演示，在演示過(guò)程中，將案例的分析思路、分析 方法、可視化展現(xiàn)等穿插進(jìn)去，為學(xué)生創(chuàng)設(shè)一個(gè)生動(dòng)、形象、活潑的學(xué)習(xí)情景，有效突破了教學(xué)難點(diǎn)。引導(dǎo)學(xué)生發(fā)散思維，通過(guò)案例提供的數(shù)據(jù)，自己設(shè)計(jì)問(wèn)題來(lái)進(jìn)行數(shù)據(jù)分析。運(yùn)用空間進(jìn)行教學(xué)，教、學(xué)、做都在空間上體現(xiàn)：作業(yè)評(píng)價(jià)、考核結(jié)果、教學(xué)資源、學(xué)習(xí)討論、在線答疑，構(gòu)建一個(gè)立體的空間互動(dòng)教學(xué)形式。4.3 教學(xué)考核評(píng)價(jià)建議本課程的考核評(píng)價(jià)分為平時(shí)成績(jī)考核與期末考試成績(jī)考核兩部分， 考核成績(jī)總分 100 分。1 .平時(shí)成績(jī)：平時(shí)成績(jī)主要根據(jù)學(xué)生平時(shí)作業(yè)、 期中檢測(cè)和學(xué)習(xí)態(tài)度等方面進(jìn)行評(píng)價(jià)， 其中學(xué)習(xí)態(tài)度根據(jù)平時(shí)作業(yè)上交的及時(shí)性與獨(dú)立性、 考勤情況和課堂紀(jì)律等方面進(jìn)行綜合評(píng)分，占考核總成績(jī)的30%。2 . 期末考試成績(jī)：期末考試成績(jī)考核分為理論與實(shí)操兩部分進(jìn)行考核，占考核總成績(jī)的 70%理論考核：由教師根據(jù)各章節(jié)的知識(shí)目標(biāo)，在試題庫(kù)中進(jìn)行組卷并采取閉卷筆試的方式進(jìn)行考核，占期末考試成績(jī)的30%。實(shí)操考核：是評(píng)價(jià)學(xué)生對(duì)