Spark大數(shù)據(jù)技術與應用教案（人郵）第1-3章Spark概述教案、基礎教案、編程教案

Word-9-Spark大數(shù)據(jù)技術與應用教案（人郵）第1--3章Spark概述教案、基礎教案、編程教案

第1章Spark概述教案課程名稱Spark大數(shù)據(jù)技術與應用課程類別必修適用專業(yè)大數(shù)據(jù)技術類相關專業(yè)總學時64學時（其中理論40學時，試驗24學時）總學分

4.0學分本章學時4學時

一、材料清單

（1）《Spark大數(shù)據(jù)技術與應用》教材

（2）配套PPT

（3）引領性提問

（4）探索性問題

（5）拓展性問題

二、教學任務與基本要求

1.教學任務主要介紹Spark的進展歷史，Spark的特征、Spark的生態(tài)圈和Spark的應用場景以及介紹Spark的環(huán)境配置，包括搭建單機版環(huán)境、單機偽分布式環(huán)境和徹低分布式環(huán)境最后重點介紹Spark的架構，Spark作業(yè)的運行流程和Spark的核心數(shù)據(jù)集RDD

2.基本要求

九、問題

17.引領性提問引領性提問需要老師按照教材內容和同學實際水平，提出問題，引發(fā)引領同學去解決問題，提問，從而達到理解、掌控學問，進展各種本事和提升思想覺悟的目的9普通期末考試的成果是如何保留的？10Spark適用于什么類型的計算？11Spark計算有什么特征？12是否了解過Spark中的RDD是一個什么樣的類型？

18.探索性問題探索性問題需要老師深化鉆研教材的基礎上細心設計，提問的角度或者在引領性提問的基礎上，從重點、難點問題切入，舉行插入式提問或者是對引領式提問中尚未涉及但在課文中又是重要的問題加以設問14RDD是一個什么樣的集合？15有哪些創(chuàng)建RDD的辦法？16RDD的轉換操作和行動操作有什么區(qū)分？17什么是鍵值對RDD,有哪些特征？18針對一般RDD的常用操作有哪些，針對鍵值對RDD的操作有哪些？19文本文件的存儲和讀取利用什么辦法？

19.拓展性問題拓展性問題需要老師深刻理解教材的意義，同學的學習動態(tài)后，按照同學學習層次，提出切實可行的關乎實際的可操作問題亦能夠提供拓展資料供同學研習探討，完成拓展性問題5CSV文件利用讀取文本文件的辦法讀取和利用CSV讀取器讀取有區(qū)分嗎？假如有，有什么區(qū)分？6你還知道哪些Spark讀取和存儲文件的辦法

十、主要學問點、重點與難點

20.主要學問點12從內存中已有數(shù)據(jù)創(chuàng)建RDDo13從外部存儲創(chuàng)建RDD14RDD轉化操作和行動操作辦法15RDD鍵值對操作16文件讀取與存儲

21.重點7RDD創(chuàng)建8RDD轉化操作和行動操作9鍵值對RDD的基本操作

22.難點6如何創(chuàng)建鍵值對類型的RDDo7操作鍵值對類型RDD的辦法

十一、教學過程設計

23.理論教學過程7從內存中已有數(shù)據(jù)創(chuàng)建RDD8從外部存儲創(chuàng)建RDD9RDD轉化操作和行動操作10RDD鍵值對操作

（11）文件讀取與存儲

24.試驗教學過程

（1）以同學成果數(shù)據(jù)創(chuàng)建RDD

（2）查詢同學成果表中的前5名

（3）輸出單科成果為100分的同學IDo

（4）輸出每位同學全部科目的總成果

（5）輸出每位同學的平均成果

（6）將匯總后的同學成果存儲為文本文件

（7）統(tǒng)計文本中性別為“男”用戶數(shù)

（8）單詞計數(shù)

十二、教材與參考資料

25.教材肖芳，張良均.Spark大數(shù)據(jù)技術與應用（第2版）（微課版）[M].北京人民郵電出版社.

2022.

26.參考資料

[1]肖芳，張良均.Spark大數(shù)據(jù)技術與應用[M].北京人民郵電出版社.

2022.

[2]王哲，張良均.Hadoop與大數(shù)據(jù)挖掘（第2版）[M].北京機械工業(yè)出版社.

2022.

[3]張軍，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎（第2版）（微課版）[M].北京人民郵電出版社.

2022.2學會搭建Spark環(huán)境1了解Spark的運行架構與原理

三、問題

1.引領性提問引領性提問需要老師按照教材內容和同學實際水平，提出問題，引發(fā)引領同學去解決問題，提問，從而達到理解、掌控學問，進展各種本事和提升思想覺悟的目的1你了解Spark的進展歷史及特征嗎？2你了解Spark的應用場景嗎？3你自己搭建過Spark環(huán)境嗎？4你使用過Spark嗎？

2、探索性問題探索性問題需要老師深化鉆研教材的基礎上細心設計，提問的角度或者在引領性提問的基礎上，從重點、難點問題切入，舉行插入式提問或者是對引領式提問中尚未涉及但在課文中又是重要的問題加以設問1為什么需要Spark2Spark有哪些特征？3Spark生態(tài)圈包含哪些環(huán)境？4Spark有哪些部署模式，有什么區(qū)分？5“RDD”是怎樣的數(shù)據(jù)集？6Spark的運行流程是怎么樣的？

2.拓展性問題拓展性問題需要老師深刻理解教材的意義，同學的學習動態(tài)后，按照同學學習層次，提出切實可行的關乎實際的可操作問題亦能夠提供拓展資料供同學研習探討，完成拓展性問題按照Spark的安裝配置過程，假如想要為Spark集群多加一個子節(jié)點，需要舉行哪些操作？

四、主要學問點、重點與難點

1.主要學問點1Spark基本概念2Spark進展和應用3Spark環(huán)境配置辦法4Spark架構及原理

2.重點1如何搭建Spark環(huán)境2Spark徹低分布式集群特征3了解Spark運行架構與原理

3.難點1搭建Spark徹低分布式集群2Spark的原理

五、教學過程設計

1.理論教學過程1Spark簡介2搭建Spark環(huán)境3了解Spark運行架構與原理

2.試驗教學過程搭建Spark偽分布式與徹低分布式集群

六、教材與參考資料

1.教材肖芳，張良均.Spark大數(shù)據(jù)技術與應用（第2版）（微課版）[M].北京人民郵電出版社.

2022.

2.參考資料

[1]肖芳，張良均.Spark大數(shù)據(jù)技術與應用[M].北京人民郵電出版社.

2022.

[2]王哲，張良均.Hadoop與大數(shù)據(jù)挖掘（第2版）[M].北京機械工業(yè)出版社.

2022.

[3]張軍，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎（第2版）（微課版）[M].北京人民郵電出版社.

2022.第2章Spark基礎教案課程名稱Spark大數(shù)據(jù)技術與應用課程類別必修適用專業(yè)大數(shù)據(jù)技術類相關專業(yè)總學時64學時（其中理論40學時，試驗24學時）總學分

4.0學分本章學時8學時

一、材料清單1《Spark大數(shù)據(jù)技術與應用》教材2配套PPT3引領性提問4探索性問題5拓展性問題

二、教學任務與基本要求

3.教學任務Scala語言是Spark平臺常用的一種語言，為了學習Spark,需要先學習Scala首先介紹了Scala的特性及安裝，接著介紹的是Scala的函數(shù)、表述式、循環(huán)、數(shù)據(jù)結構和類利用本章的學習，能夠體味到Scala函數(shù)式編程的便捷、容易

4.基本要求1了解Scala基本特性并學會安裝Scalao2掌控定義Scala的常量、變量及函數(shù)的辦法3掌控Scala的if推斷和for循環(huán)4掌控Scala的Collections集合操作5掌控Scala的樣例類與模式匹配6了解Scala類及讀取文件

三、問題

5.引領性提問引領性提問需要老師按照教材內容和同學實際水平，提出問題，引發(fā)引領同學去解決問題，提問，從而達到理解、掌控學問，進展各種本事和提升思想覺悟的目的5Scala是一門函數(shù)式編程語言，你了解什么是函數(shù)式編程嗎？6結合Spark的特征，你覺得Scala可能具備哪些特性？7你了解Scala編程的常量，變量及函數(shù)嗎？8你了解Scala的循環(huán)與推斷嗎？

6.探索性問題探索性問題需要老師深化鉆研教材的基礎上細心設計，提問的角度或者在引領性提問的基礎上，從重點、難點問題切入，舉行插入式提問或者是對引領式提問中尚未涉及但在課文中又是重要的問題加以設問7為什么使用Scala編寫了Spark8Scala具有哪些特性？9Scala原始類型有哪些？10Scala的循環(huán)能夠有哪些表現(xiàn)形式？11Scala各種數(shù)據(jù)類型的應用？12你能利用不同的方式讀取文件嗎？13什么是函數(shù)式編程？

7.拓展性問題拓展性問題需要老師深刻理解教材的意義，同學的學習動態(tài)后，按照同學學習層次，提出切實可行的關乎實際的可操作問題亦能夠提供拓展資料供同學研習探討，完成拓展性問題1假如你學習過Java語言，你認為Scala與Java相比有哪些比較大的不同之處？2Scala變量能否使用自增或自減？3Scala有沒有可變數(shù)組？假如有，可變數(shù)組與不行變數(shù)組的區(qū)分是什么？4Scala的列表與數(shù)組有何區(qū)分？

四、主要學問點、重點與難點

8.主要學問點5Scala簡介6Scala特性7Scala的環(huán)境設置及安裝辦法8Scala類的定義和運行辦法9Scala數(shù)據(jù)類型、函數(shù)、表述式的應用10Scalaif推斷和for循環(huán)11Scala集合應用

9.重點4了解Scala的基礎內容及特性5掌控Scala的安裝6掌控Scala函數(shù)式編程

10.難點3Scala的集合操作4Scala的類定義5Scala的模式匹配

五、教學過程設計1L理論教學過程6Scala簡介與安裝5函數(shù)式編程特征6Scala編程學習

12.試驗教學過程

（1）安裝Scala編程環(huán)境

（2）定義Scala函數(shù)識別名碼類型

（3）統(tǒng)計廣州號碼段數(shù)量

（4）按照歸屬地對手機號碼段分組

（5）編寫手機號碼歸屬地查詢程序

（6）編寫函數(shù)過濾文本中的回文單詞

（7）使用Scala編程實現(xiàn)楊輝三角

六、教材與參考資料

13.教材肖芳，張良均.Spark大數(shù)據(jù)技術與應用（第2版）（微課版）[M].北京人民郵電出版社.

2022.

14.參考資料

[1]肖芳，張良均.Spark大數(shù)據(jù)技術與應用[M].北京人民郵電出版社.

2022.

[2]王哲，張良均.Hadoop與大數(shù)據(jù)挖掘（第2版）[M].北京機械工業(yè)出版社.

2022.

[3]張軍，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎（第2版）（微課版）[M].北京人民郵電出版社.

2022.第3章Spark編程教案課程名稱Spark大數(shù)據(jù)技術與應用課程類別必修適用專業(yè)大數(shù)據(jù)技術類相關專業(yè)總學時64學時其中理論40學時，試驗24學時總學分

4.0學分本章學時10學時

七、材料清單6《Spark大數(shù)據(jù)技術與應用》教材7配套PPT8引領性提問9探索性問題10拓展性問題

八、教學任務與基本要求

15.教學任務主要介紹Spark的基