Hadoop大數(shù)據(jù)分析課程標(biāo)準(zhǔn)

Hadoop大數(shù)據(jù)分析課程標(biāo)準(zhǔn)一、課程概況課程名稱Hadoop大數(shù)據(jù)分析課程代碼20116002適用專業(yè)信息與計(jì)算科學(xué)開課學(xué)期第6學(xué)期課程性質(zhì)專業(yè)任選課程學(xué)時/學(xué)分51/2預(yù)修課程《Java高級編程》《Python語言程序設(shè)計(jì)》二、課程目標(biāo)課程目標(biāo)1：認(rèn)識Hadoop，并了解Hadoop的核心組件、生態(tài)系統(tǒng)與應(yīng)用場景。掌握安裝及配置虛擬機(jī)，掌握安裝JDK，學(xué)會搭建Hadoop完全分布式集群。課程目標(biāo)2：學(xué)會查看Hadoop集群的基本信息，掌握HDFS的原理和基礎(chǔ)操作，掌握MapReduce原理架構(gòu)、MapReduce程序的編寫，能夠編寫MapReduce程序來處理簡單任務(wù)。課程目標(biāo)3：掌握MapReduce框架中的進(jìn)階應(yīng)用，包括自定義鍵值對、Combiner、Partitioner等，了解KNN算法與案例需求，通過MapReduce實(shí)現(xiàn)數(shù)據(jù)預(yù)處理以及KNN算法。三、課程目標(biāo)與畢業(yè)要求的關(guān)系1、課程目標(biāo)與畢業(yè)要求的對應(yīng)關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)3.

軟件開發(fā)3.1

具有熟練的計(jì)算機(jī)算法設(shè)計(jì)與軟件開發(fā)能力，能夠熟練掌握高級程序設(shè)計(jì)語言的語法,并設(shè)計(jì)適當(dāng)?shù)臄?shù)據(jù)結(jié)構(gòu)和算法，編程解決實(shí)際問題。課程目標(biāo)1課程目標(biāo)24.

數(shù)據(jù)分析4.3

具有一定的大數(shù)據(jù)處理能力，能夠在大數(shù)據(jù)中挖掘有用信息。課程目標(biāo)2課程目標(biāo)35.外語體育5.2

掌握資料查詢、文獻(xiàn)檢索以及運(yùn)用現(xiàn)代化技術(shù)獲取相關(guān)信息的基本方法。課程目標(biāo)3

2、課程目標(biāo)與畢業(yè)要求的矩陣關(guān)系圖思想政治數(shù)學(xué)基礎(chǔ)軟件開發(fā)數(shù)據(jù)分析外語體育人文發(fā)展1.11.21.32.12.22.33.13.23.34.14.24.35.15.25.36.16.26.3課程目標(biāo)1M課程目標(biāo)2MH課程目標(biāo)3HM注：H

表示高支撐，M

表示中支撐，L

表示低支撐。

四、課程教學(xué)要求與重難點(diǎn)序號課程內(nèi)容框架教學(xué)要求教學(xué)重點(diǎn)教學(xué)難點(diǎn)1Hadoop介紹了解Hadoop的概念和特點(diǎn)；了解Hadoop的三大核心組件；了解Hadoop的生態(tài)系統(tǒng)；了解Hadoop的應(yīng)用場景。Hadoop的特點(diǎn)；Hadoop核心組件HDFS和MapReduce。Hadoop的分布式思想；MapReduce分布式計(jì)算框架的運(yùn)行流程；

YARN資源管理器的運(yùn)行原理。2Hadoop集群的搭建及配置掌握安裝配置虛擬機(jī)；掌握如何在本地和Linux虛擬機(jī)中安裝JDK；掌握搭建Hadoop完全分布式集群環(huán)境。設(shè)置固定IP的方法；Hadoop集群的安裝和配置；Hadoop集群的啟動和關(guān)閉方法。Hadoop集群的安裝和配置。3Hadoop集群基礎(chǔ)操作掌握查看存儲系統(tǒng)的基本信息；掌握查看Hadoop集群的計(jì)算資源；掌握HDFS文件系統(tǒng)的基本操作；掌握以hadoopjar方式提交MapReduce任務(wù)；能夠管理MapReduce多任務(wù)。HDFS文件系統(tǒng)操作方法；如何提交MapReduce任務(wù)。HDFS基礎(chǔ)操作；提交和中斷MapReduce任務(wù)。4MapReduce入門編程掌握如何搭建MapReduce開發(fā)環(huán)境；掌握以Eclipse創(chuàng)建MapReduce工程；理解MapReduce的基本原理及執(zhí)行流程；讀懂Hadoop官方示例WordCount的源碼；掌握MapReduce編程的基本思路；理解map函數(shù)與reduce函數(shù)的處理邏輯；能夠編寫MapReduce程序處理簡單任務(wù)。MapReduce處理邏輯和編程；MapReduce程序打包和運(yùn)行。MapReduce框架的運(yùn)行流程；MapReduce程序的編程邏輯。5MapReduce進(jìn)階編程掌握HadoopJavaAPI的使用；理解Combiner的工作原理；掌握使用Combiner對MapReduce工作流程進(jìn)行優(yōu)化；了解Hadoop內(nèi)置數(shù)據(jù)類型；掌握編寫和使用自定義數(shù)據(jù)類型；掌握編寫和使用Partitioner設(shè)置分區(qū)；掌握MapReduce參數(shù)傳遞方式；學(xué)會使用ToolRunner提交MapReduce任務(wù)；掌握使用Eclipse提交MapReduce任務(wù)。自定義鍵值對；Combiner和Partitioner的原理和編程；參數(shù)傳遞的方式。自定義鍵值對類型的方式；Combiner與Partitioner的應(yīng)用場景和編程邏輯。6項(xiàng)目案例：電影網(wǎng)站用戶性別預(yù)測理解KNN算法的原理；掌握以MapReduce編程實(shí)現(xiàn)KNN算法；掌握以MapReduce編程實(shí)現(xiàn)KNN分類器評價。MapReduce實(shí)現(xiàn)數(shù)據(jù)預(yù)處理；MapReduce實(shí)現(xiàn)KNN算法。MapReduce實(shí)現(xiàn)KNN算法的處理邏輯；MapReduce實(shí)現(xiàn)分類結(jié)果評價；MapReduce實(shí)現(xiàn)模型。

五、課程教學(xué)內(nèi)容、教學(xué)方式、學(xué)時分配及對課程目標(biāo)的支撐情況序號課程內(nèi)容框架教學(xué)內(nèi)容教學(xué)方式學(xué)時支撐課程目標(biāo)1Hadoop介紹1.Hadoop的發(fā)展歷史2.Hadoop的特點(diǎn)3.Hadoop的核心組件4.Hadoop的生態(tài)系統(tǒng)5.Hadoop的應(yīng)用場景講授、PPT

輔助、課堂討論、實(shí)驗(yàn)4課程目標(biāo)12Hadoop集群的搭建及配置1.

設(shè)置固定IP的方法2.

設(shè)置遠(yuǎn)程連接虛擬機(jī)3.Linux在線安裝軟件的方法4.

在Window和Linux下安裝Java5.

了解Hadoop集群相關(guān)配置文件6.SSH免密碼登錄配置7.

時間同步服務(wù)配置8.

啟動關(guān)閉Hadoop集群以及查看Hadoop集群監(jiān)控講授、PPT

輔助、課堂討論、實(shí)驗(yàn)12課程目標(biāo)13Hadoop集群基礎(chǔ)操作1.

解HDFS的操作方法2.MapReduce任務(wù)的運(yùn)行和中斷方法3.

集群監(jiān)控的查看方法講授、PPT

輔助、課堂討論、實(shí)驗(yàn)6課程目標(biāo)24MapReduce入門編程1.Eclipse安裝2.MapReduce原理3.MapReduce的編程邏輯講授、PPT

輔助、課堂討論、實(shí)驗(yàn)9課程目標(biāo)25MapReduce進(jìn)階編程1.MapReduce的輸入及輸出格式2.HadoopJavaAPI使用方法3.

自定義鍵值對方法4.Combiner及Partitioner的原理與編程5.

在Eclipse中提交MapReduce任務(wù)的方法講授、PPT

輔助、課堂討論、實(shí)驗(yàn)12課程目標(biāo)36項(xiàng)目案例：電影網(wǎng)站用戶性別預(yù)測1.KNN算法原理與實(shí)現(xiàn)步驟2.

案例要求與任務(wù)3.MapReduce編程邏輯4.

分類算法的評價指標(biāo)講授、PPT

輔助、課堂討論、實(shí)驗(yàn)8課程目標(biāo)3

六、課程目標(biāo)與考核內(nèi)容課程目標(biāo)考核內(nèi)容評價依據(jù)課程目標(biāo)1：認(rèn)識Hadoop，并了解Hadoop的核心組件、生態(tài)系統(tǒng)與應(yīng)用場景。掌握安裝及配置虛擬機(jī)，掌握安裝JDK，學(xué)會搭建Hadoop完全分布式集群。(支撐畢業(yè)要求指標(biāo)點(diǎn)3.1)了解Hadoop的特點(diǎn)，Hadoop的核心組件，Hadoop的生態(tài)系統(tǒng)，Hadoop的應(yīng)用場景。會安裝虛擬機(jī)，設(shè)置固定IP的方法，設(shè)置遠(yuǎn)程連接虛擬機(jī)，Linux在線安裝軟件的方法，在Window和Linux下安裝Java。了解Hadoop集群相關(guān)配置文件，SSH免密碼登錄配置，時間同步服務(wù)配置，啟動關(guān)閉Hadoop集群以及查看Hadoop集群監(jiān)控。課堂表現(xiàn)；平時作業(yè)；平時測驗(yàn)；期末考試。課程目標(biāo)2：學(xué)會查看Hadoop集群的基本信息，掌握HDFS的原理和基礎(chǔ)操作，掌握MapReduce原理架構(gòu)、MapReduce程序的編寫，能夠編寫MapReduce程序來處理簡單任務(wù)。(支撐畢業(yè)要求指標(biāo)點(diǎn)3.1,4.3)了解HDFS的操作方法，MapReduce任務(wù)的運(yùn)行和中斷方法，集群監(jiān)控的查看方法。會Eclipse安裝，MapReduce開發(fā)環(huán)境的搭建。了解MapReduce原理和運(yùn)行流程，理解MapReduce的編程邏輯。課堂表現(xiàn)；平時作業(yè)；平時測驗(yàn)；期末考試。課程目標(biāo)3：掌握MapReduce框架中的進(jìn)階應(yīng)用，包括自定義鍵值對、Combiner、Partitioner等，了解KNN算法與案例需求，通過MapReduce實(shí)現(xiàn)數(shù)據(jù)預(yù)處理以及KNN算法。(支撐畢業(yè)要求指標(biāo)點(diǎn)4.3，5.2)掌握MapReduce的輸入及輸出格式，HadoopJavaAPI使用方法，

自定義鍵值對方法。理解并掌握Combiner及Partitioner的原理與編程，掌握在Eclipse中提交MapReduce任務(wù)的方法。理解KNN算法原理，MapReduce編程邏輯，分類算法的評價指標(biāo)。課堂表現(xiàn)；平時作業(yè)；平時測驗(yàn)；期末考試。七、考核方式與評價細(xì)則考核方式比例考核/評價細(xì)則課堂表現(xiàn)10%評價標(biāo)準(zhǔn)：根據(jù)學(xué)生上課出勤情況和課堂討論，回答問題等情況。基礎(chǔ)分90分；曠課一次扣

10

分，遲到、早退、事假一次扣

5

分；有效參與討論并正確回答問題一次加5分，最高100分。作業(yè)20%評價標(biāo)準(zhǔn)：根據(jù)學(xué)生提交的實(shí)驗(yàn)報告和作業(yè)情況。一學(xué)期一個學(xué)生大約上交10次左右作業(yè)。如果作業(yè)給出A、B、C、D等級，則全部為A計(jì)100分；兩次及以上為A計(jì)90分；一次為A計(jì)85分；三次及以上為D計(jì)60分；其他80分。如果給出百分制的分值，則計(jì)為平均分。在此標(biāo)準(zhǔn)下，少交一次作業(yè)扣5分。平時測驗(yàn)10%評價標(biāo)準(zhǔn)：1-2

次階段性檢測成績；如果是2次階段性測試，則每次成績各占百分之五十）期末考試60%評價標(biāo)準(zhǔn)：嚴(yán)格按照《Hadoop大數(shù)據(jù)分析》期末試題參考答案及評分細(xì)則進(jìn)行閱卷。綜合成績100%課堂表現(xiàn)（10%）+

作業(yè)（20%）+平時測驗(yàn)（10%）+期末考試（60%）八、課程目標(biāo)達(dá)成度評價參考《數(shù)學(xué)學(xué)院課程目標(biāo)達(dá)成度評價方法》進(jìn)行評價。九、本課程各個課程目標(biāo)的權(quán)重依據(jù)第八部分中的課程目標(biāo)達(dá)成度評價方法，計(jì)算得到本課程的各個課程目標(biāo)的權(quán)重如下：課程目標(biāo)課程目標(biāo)-1課程目標(biāo)-2課程目標(biāo)-3權(quán)值0.160.420.42十、持續(xù)改進(jìn)根據(jù)學(xué)生的課堂表現(xiàn)、作業(yè)、平時測驗(yàn)和期末考試情況及教學(xué)督導(dǎo)的反饋，檢驗(yàn)學(xué)生對本課程涉及的學(xué)科素養(yǎng)和學(xué)會反思的達(dá)成情況，及時對教學(xué)中的不足之處進(jìn)行改進(jìn)，調(diào)整教學(xué)指導(dǎo)策略；根據(jù)學(xué)生的課堂表現(xiàn)、作業(yè)、平時測驗(yàn)及期末考試成績，檢驗(yàn)本課程所支撐的畢業(yè)要求分解指標(biāo)點(diǎn)的達(dá)成度情況；根