職業(yè)技術(shù)學(xué)院《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)》課程教學(xué)大綱

13/14《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)》教學(xué)大綱課程基本信息課程代碼課程名稱（中/英）Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)開課學(xué)院智能制造與信息工程學(xué)院適用專業(yè)大數(shù)據(jù)技術(shù)學(xué)分2分總學(xué)時32學(xué)時理論學(xué)時16實踐學(xué)時16課程性質(zhì)必修課程類別考核方式考查先修課程計算機(jī)應(yīng)用基礎(chǔ)、數(shù)據(jù)庫技術(shù)及應(yīng)用（MySQL)選用教材1.《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)》張軍張良均主編人民郵電出版社2021.11,ISBN978-7-115-57562-3網(wǎng)絡(luò)課程超星創(chuàng)建課程課程簡介本課程是大數(shù)據(jù)技術(shù)專業(yè)的必修課程。隨著時代的發(fā)展，大數(shù)據(jù)已經(jīng)成為一個耳熟能詳?shù)脑~匯。與此同時，針對大數(shù)據(jù)處理的新技術(shù)也在不斷的開發(fā)和運用中，逐漸成為數(shù)據(jù)處理挖掘行業(yè)廣泛使用的主流技術(shù)之一。Hadoop分布式集群系統(tǒng)架構(gòu)，具有高可用性、高容錯性和高擴(kuò)展性等優(yōu)點，由于它提供了一個開放式的平臺，用戶可以在不了解底層實現(xiàn)細(xì)節(jié)的情形下，開發(fā)適合自身應(yīng)用的分布式程序。經(jīng)過多年的發(fā)展，目前Hadoop已經(jīng)成長為一個全棧式的大數(shù)據(jù)技術(shù)生態(tài)圈，包括了Hive、HBase、Spark等一系列組件，成為應(yīng)用最廣泛、最具有代表性的大數(shù)據(jù)技術(shù)之一。因此，學(xué)習(xí)Hadoop技術(shù)是從事大數(shù)據(jù)行業(yè)工作所必不可少的一步。為了滿足企業(yè)的大數(shù)據(jù)人才需求，幫助學(xué)者掌握相關(guān)技術(shù)知識解決實際的業(yè)務(wù)需求，特開設(shè)Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)課程。通過本課程的學(xué)習(xí)，使學(xué)生掌握Hadoop、Hive和HBase集群的安裝配置，能夠根據(jù)具體需求編寫MapReduce程序解決實際業(yè)務(wù)問題，使用Hive、HBase進(jìn)行數(shù)據(jù)存儲、查詢、分析，最后詳細(xì)拆解并學(xué)習(xí)電影網(wǎng)站用戶影評分析案例，將理論與實踐相結(jié)合，為將來從事數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。課程目標(biāo)課程目標(biāo)1：課程思政目標(biāo)——用審辯思維（criticalthinking）理性看待事物，明辨是非；引導(dǎo)學(xué)生形成積極向上的世界觀、價值觀和人生觀。課程目標(biāo)2：依據(jù)階段練習(xí)與維護(hù)典型工作任務(wù)的能力要求，確定各教學(xué)單元的能力、知識和素質(zhì)目標(biāo)，并以此進(jìn)一步進(jìn)行教學(xué)單元設(shè)計，使學(xué)生掌握Hadoop基本原理與架構(gòu)、集群安裝及配置，MapReduce編程等，能夠理論結(jié)合實踐，運用相關(guān)技術(shù)解決實際的業(yè)務(wù)需求。全書按照解決實際任務(wù)的工作流程路線，逐步展開介紹相關(guān)的理論知識點，推導(dǎo)生成可行的解決方案，最后落實任務(wù)實現(xiàn)環(huán)節(jié)。培養(yǎng)學(xué)生分析問題和解決問題的能力。課程目標(biāo)3：掌握Hadoop的相關(guān)知識，包括Hadoop集群的搭建及配置、基礎(chǔ)操作、MapReduce入門編程、MapReduce進(jìn)階編程、Hive數(shù)據(jù)倉庫和HBase分布式數(shù)據(jù)庫等等，能夠獨立完成電影網(wǎng)站用戶影評分析。課程內(nèi)容與教學(xué)要求第一章Hadoop介紹（一）課程內(nèi)容1.通過直接引入的方式導(dǎo)入新課、補(bǔ)充線上學(xué)習(xí)的相關(guān)習(xí)題和背景知識。在大數(shù)據(jù)時代，Hadoop作為處理大數(shù)據(jù)的分布式存儲和計算框架，在國內(nèi)外大、中、小型企業(yè)中已得到廣泛應(yīng)用，掌握Hadoop技術(shù)是從事大數(shù)據(jù)行業(yè)工作必不可少的一步。本章主要介紹Hadoop框架的理論知識，包括Hadoop框架及其發(fā)展歷史、特點；然后重點講解Hadoop的三大核心組件HDFS、MapReduce和YARN；接著對Hadoop生態(tài)系統(tǒng)中常用的組件進(jìn)行簡單的介紹，包括組件的特點和應(yīng)用；最后簡要介紹Hadoop的應(yīng)用場景。2.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。3.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。4.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.了解Hadoop框架及其發(fā)展歷史、特點；2.了解Hadoop核心組件；3.了解Hadoop生態(tài)系統(tǒng)；4.了解Hadoop應(yīng)用場景；5.掌握Hadoop的三大核心組件HDFS、MapReduce和YARN；重點：1.掌握Hadoop生態(tài)系統(tǒng)；2.掌握Hadoop的三大核心組件HDFS、MapReduce和YARN。難點：1.掌握Hadoop的三大核心組件HDFS、MapReduce和YARN。第二章數(shù)據(jù)Vue.js開發(fā)基礎(chǔ)（一）課程內(nèi)容1.復(fù)習(xí)鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進(jìn)行再次鞏固講解。2.教學(xué)導(dǎo)入。為了更好的學(xué)習(xí)Hadoop，我們要先搭建好Hadoop集群環(huán)境。本章將詳細(xì)講解Hadoop集群的搭建及配置。3.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。4.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。5.前面的示例是按照源代碼練習(xí)，最后的代碼只給部分代碼學(xué)生，自己在運行過程中補(bǔ)齊補(bǔ)全代碼。6.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.掌握虛擬機(jī)的安裝及配置方法2.掌握在Linux下JDK的安裝方法3.掌握Hadoop完全分布式集群環(huán)境的搭建過程4.掌握Hadoop集群的監(jiān)控方法重點：Hadoop集群的搭建及配置成功。難點：Hadoop集群的搭建及配置成功。第三章Hadoop基礎(chǔ)操作（一）課程內(nèi)容1.復(fù)習(xí)鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進(jìn)行再次鞏固講解。2.教學(xué)導(dǎo)入。在學(xué)習(xí)完第2章的基礎(chǔ)知識后，Hadoop集群的環(huán)境搭配好了，Hadoop框架的核心設(shè)計為HDFS和MapReduce，HDFS負(fù)責(zé)數(shù)據(jù)的存儲，MapReduce則負(fù)責(zé)數(shù)據(jù)的計算。對海量數(shù)據(jù)進(jìn)行計算前，數(shù)據(jù)的存儲是一步必要的操作，因此，需要先掌握HDFS的基本操作方法。3.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。4.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。5.前面的示例是按照源代碼練習(xí)，最后的代碼只給部分代碼學(xué)生，自己在運行過程中補(bǔ)齊補(bǔ)全代碼。6.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.了解Hadoop安全模式2.掌握查看、解除與開啟Hadoop安全模式的操作3.掌握查看Hadoop集群存儲系統(tǒng)和計算資源信息的方法4.了解HDFS分布式文件系統(tǒng)5.掌握HDFS的基本操作6.掌握提交MapReduce任務(wù)的基本操作7.掌握多個MapReduce任務(wù)的管理方法重點：掌握如何查看Hadoop集群存儲系統(tǒng)和計算資源信息的方法；掌握提交MapReduce任務(wù)的基本操作難點：掌握多個MapReduce任務(wù)的管理方法第四章MapReduce入門編程（一）課程內(nèi)容1.復(fù)習(xí)鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進(jìn)行再次鞏固講解。2.教學(xué)導(dǎo)入。隨著互聯(lián)網(wǎng)的發(fā)展，加入互聯(lián)網(wǎng)的用戶越來越多，互聯(lián)網(wǎng)的用戶規(guī)模已不容小覷?；ヂ?lián)網(wǎng)市場潛力巨大，各大網(wǎng)站的運營商都在積極采取措施，分析用戶的特征，根據(jù)不同的用戶群體向其提供差異化的服務(wù)，進(jìn)而達(dá)到精準(zhǔn)營銷的目的。接下來，本章編寫基礎(chǔ)的MapReduce程序處理簡單任務(wù)的方法。3.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。4.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。5.前面的示例是按照源代碼練習(xí)，最后的代碼只給部分代碼學(xué)生，自己在運行過程中補(bǔ)齊補(bǔ)全代碼。6.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.掌握在Windows下安裝Javat和IntelliJIDEA的方法2.掌握IntelliJIDEA中創(chuàng)建MapReduce工程和配置MapReduce環(huán)境的方法3.熟練掌握MapReduce的工作原理及執(zhí)行流程4.了解Hadoop官方示例中的WordCount源碼5.了解MapReduce編程的基本思路6.掌握map()方法與reduce()方法的處理邏輯7.掌握編寫基礎(chǔ)的MapReduce程序處理簡單任務(wù)的方法重點：掌握編寫基礎(chǔ)的MapReduce程序處理簡單任務(wù)的方法難點：掌握MapReduce編程的基本思路第五章MapReduce進(jìn)階編程（一）課程內(nèi)容1.復(fù)習(xí)鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進(jìn)行再次鞏固講解。2.教學(xué)導(dǎo)入。通過對MapReduce入門編程的學(xué)習(xí)，我們實現(xiàn)了對某競賽網(wǎng)站每日訪問次數(shù)的統(tǒng)計任務(wù)。本章將繼續(xù)學(xué)習(xí)MapReduce編程，通過一些高級的編程技巧，使得整個編程過程更加高效。3.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。4.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。5.前面的示例是按照源代碼練習(xí)，最后的代碼只給部分代碼學(xué)生，自己在運行過程中補(bǔ)齊補(bǔ)全代碼。6.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.掌握MapReduce輸入和輸出格式的設(shè)置方法2.掌握HadoopJavaAPI的使用方法3.掌握自定義鍵值類型的方法4.了解Combiner的工作原理5.掌握Combiner、Partitioner和自定義計數(shù)器的使用方法6.掌握MapReduce參數(shù)傳遞流程7.掌握使用IntelliJIDEA自動打包并提交MapReduce任務(wù)的方法重點：掌握MapReduce輸入和輸出格式的設(shè)置方法；掌握HadoopJavaAPI的使用方法；掌握自定義鍵值類型的方法；掌握Combiner、Partitioner和自定義計數(shù)器的使用方法。難點：掌握MapReduce參數(shù)傳遞流程；掌握使用IntelliJIDEA自動打包并提交MapReduce任務(wù)的方法。第六章Hive數(shù)據(jù)倉庫（一）課程內(nèi)容1.復(fù)習(xí)鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進(jìn)行再次鞏固講解。2.教學(xué)導(dǎo)入。隨著信息技術(shù)的普及和企業(yè)信息化建設(shè)步伐的加快，企業(yè)逐步認(rèn)識到建立企業(yè)范圍內(nèi)的統(tǒng)一數(shù)據(jù)存儲的重要性，越來越多的企業(yè)已經(jīng)建立或正著手建立企業(yè)數(shù)據(jù)倉庫。為了保證較高的處理效率與靈活性，選用Hive數(shù)據(jù)倉庫對基站數(shù)據(jù)進(jìn)行存儲與處理分析。本章將詳細(xì)講解如何通過Hive編程解決實際問題，首先介紹Hive數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程；其次講解訪問Hive的3種試及其配置過程；接著介紹Hive數(shù)據(jù)倉庫中表的創(chuàng)建與修改的基本語法，并結(jié)合官方的示例介紹Hive表數(shù)據(jù)的增刪查改；最后通過編寫Hive語句實現(xiàn)基站掉話率的統(tǒng)計分析。3.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。4.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。5.前面的示例是按照源代碼練習(xí)，最后的代碼只給部分代碼學(xué)生，自己在運行過程中補(bǔ)齊補(bǔ)全代碼。6.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.了解Hive的概念及Hive與傳統(tǒng)數(shù)據(jù)庫的對比2.了解Hive系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程3.熟悉3種訪問Hive的方式及配置過程4.掌握Hive中數(shù)據(jù)庫與表的創(chuàng)建、修改操作方法5.掌握Hive表數(shù)據(jù)增刪查改的操作方法重點：Hive系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程；掌握Hive中數(shù)據(jù)庫與表的創(chuàng)建、修改操作方法；掌握Hive表數(shù)據(jù)增刪查改的操作方法。難點：熟悉3種訪問Hive的方式及配置過程。第七章HBase分布式數(shù)據(jù)庫（一）課程內(nèi)容1.復(fù)習(xí)鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進(jìn)行再次鞏固講解。2.教學(xué)導(dǎo)入。對于推動企業(yè)發(fā)展新動能而言，大數(shù)據(jù)的價值表現(xiàn)在掌握業(yè)務(wù)戰(zhàn)略決策，提高服務(wù)水平，提高商品購買率，研發(fā)創(chuàng)新產(chǎn)品等，不斷塑造發(fā)展新動能新優(yōu)勢。為了保證較高的處理效率與靈活性，一般選擇使用HBase分布式數(shù)據(jù)庫存儲通話記錄，并采用HBaseJavaAPI實現(xiàn)通話記錄數(shù)據(jù)的查詢分析。本章首先詳細(xì)講解HBase分布式數(shù)據(jù)庫的系統(tǒng)架構(gòu)、數(shù)據(jù)模型、讀/寫流程；其次介紹HBaser的安裝及配置過程和HBase常用的Shell命令；接著重點介紹采用HBaseJavaAPI實現(xiàn)表創(chuàng)建、表數(shù)據(jù)導(dǎo)入；最后通過編寫HBaseJavaAPI實現(xiàn)通話記錄數(shù)據(jù)表的創(chuàng)建與查詢分析。3.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。4.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。5.前面的示例是按照源代碼練習(xí)，最后的代碼只給部分代碼學(xué)生，自己在運行過程中補(bǔ)齊補(bǔ)全代碼。6.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.了解分布式數(shù)據(jù)庫HBase2.熟悉HBase的系統(tǒng)架構(gòu)、數(shù)據(jù)模型和讀/寫流程3.了解ZooKeeper的概念、集群角色及選舉機(jī)選4.了解ZooKeeper集群的安裝部署方法5.掌握HBase的安裝部署方法6.掌握HBase常用的Shell命令7.掌握HBaseJavaAPI的使用方法重點：HBase常用的Shell命令；掌握HBaseJavaAPI的使用方法。難點：掌握HBaseJavaAPI的使用方法。第八章項目案例——電影網(wǎng)站用戶影評分析（一）課程內(nèi)容1.復(fù)習(xí)鞏固。教師通過上節(jié)課作業(yè)的完成情況，對學(xué)生吸收不好的知識點進(jìn)行再次鞏固講解。2.教學(xué)導(dǎo)入。常規(guī)的數(shù)據(jù)分析工具在大數(shù)據(jù)場景下，處理數(shù)據(jù)的效率低，顯然不選用于大數(shù)據(jù)處理分析。分析式計算框架的出現(xiàn)，為分析處理大數(shù)據(jù)提供了很好的解決方案。本章將使用Hadoop框架并結(jié)合電影評分?jǐn)?shù)據(jù)，編寫MapReduce程序?qū)崿F(xiàn)對用戶影評的分析，從多維度分析用戶的觀影興趣偏好。3.通過講解知識點，然后提出問題，讓學(xué)生分析問題并獨立解決問題，然后將自己理解的答案分享給同學(xué)們。4.示例操作部分，通過教師先演示，學(xué)生接著完成的方式，學(xué)生遇到問題及時解決，可以找老師幫忙，也可以同學(xué)之間相互幫忙。5.前面的示例是按照源代碼練習(xí)，最后的代碼只給部分代碼學(xué)生，自己在運行過程中補(bǔ)齊補(bǔ)全代碼。6.課程思政：鍛煉學(xué)生工匠精神，一個標(biāo)點符號都會影響整個代碼的輸出。還要鍛煉團(tuán)隊合作精神，同學(xué)間相互幫助，完成代碼的效果會更高。（二）教學(xué)要求1.掌握根據(jù)業(yè)務(wù)場景設(shè)計map()方法和reduce()方法的計算邏輯2.掌握編寫MapReduce程序解決常見的數(shù)據(jù)處理問題3.掌握編寫MapReduce程序?qū)崿F(xiàn)電影網(wǎng)站用戶影評分析的方法重點：掌握根據(jù)業(yè)務(wù)場景設(shè)計map()方法和reduce()方法的計算邏輯；掌握編寫MapReduce程序解決常見的數(shù)據(jù)處理問題；掌握編寫MapReduce程序?qū)崿F(xiàn)電影網(wǎng)站用戶影評分析的方法。難點：掌握根據(jù)業(yè)務(wù)場景設(shè)計map()方法和reduce()方法的計算邏輯；掌握編寫MapReduce程序解決常見的數(shù)據(jù)處理問題；掌握編寫MapReduce程序?qū)崿F(xiàn)電影網(wǎng)站用戶影評分析的方法。五、學(xué)時分配、教學(xué)方法及支撐課程目標(biāo)序號教學(xué)單元名稱學(xué)時主要教學(xué)方法支撐的課程目標(biāo)1第一章Hadoop介紹4講授法、演示法、討論法、練習(xí)課課程目標(biāo)1，2，32第二章Hadoop集群的搭建及配置6講授法、演示法、討論法、練習(xí)課