Spark大數據技術與應用教案（人郵）第4、5章Spark編程進階、SparkSQL：結構化數據文件處理

Word-8-Spark大數據技術與應用教案（人郵）第4、5章Spark編程進階、SparkSQL：結構化數據文件處理

第4章Spark編程進階教案課程名稱Spark大數據技術與應用課程類別必修適用專業(yè)大數據技術類相關專業(yè)總學時64學時（其中理論40學時，試驗24學時）總學分

4.0學分本章學時6學時

一、材料清單

（1）《Spark大數據技術與應用》教材

（2）配套PPT

（3）引領性提問

（4）探索性問題

（5）拓展性問題

二、教學任務與基本要求

1.教學任務主要介紹如何使用IntelliJIDEA搭建Spark開發(fā)環(huán)境，以及如何在開發(fā)環(huán)境中編程和運行程序運行程序主要介紹兩種辦法一種是在IntelliJIDEA中設置masterURL運行，一種是打包程序在集群中運行對spark-submit提交集群運行的辦法著重描述，并且分析常用的參數設置為了提升運行效率，介紹數據持久化以及數據分區(qū)辦法最后再以比賽網站用戶拜訪目標為例，對所學學問舉行實踐操作

2.基本要求

（1）掌控配置Spark開發(fā)環(huán)境

（2）掌控如何新建工程和運行工程

（3）掌控運行Spark程序的辦法

（4）了解數據分區(qū)與持久化的辦法

一、問題L引領性提問引領性提問需要老師按照教材內容和同學實際水平，提出問題，引發(fā)引領同學去解決問題，提問，從而達到理解?、掌控學問，進展各種本事和提升思想覺悟的目的

（1）之前的編程都是在spark-shell中，過程中有沒有碰到什么問題？

（2）假如要寫入一個類，用spark-shell環(huán)境你覺得會碰到哪些問題？

（3）RDD是一個分區(qū)數據集合，是否了解過查看分區(qū)的辦法？

（4）有沒有碰到過需要自己定義RDD分區(qū)的狀況？

（5）了解過持久化的概念嗎？

2.探索性問題探索性問題需要老師深化鉆研教材的基礎上細心設計，提問的角度或者在引領性提問的基礎上，從重點、難點問題切入，舉行插入式提問或者是對引領式提問中尚未涉及但在課文中乂是重要的問題加以設問

（1）在IDEA中搭建Spark編程環(huán)境有哪些需要配置的內容？

（2）如何在IDEA中編寫Spark程序？

（3）如何打包程序并提交到Spark集群中運行？

（4）持久化RDD的辦法有哪些？

（5）自定義數據分區(qū)方式需要繼承哪個類，實現哪些辦法？

（6）程序運行時有哪些集群參數能夠優(yōu)化？

3.拓展性問題拓展性問題需要老師深刻理解教材的意義，同學的學習動態(tài)后，按照同學學習層次，提出切實可行的關乎實際的可操作問題亦能夠提供拓展資料供同學研習探討，完成拓展性問題

（1）repartition分區(qū)與自定義分區(qū)之間有什么異同點？

（2）在一個spark程序類中，利用SparkConf設置了appName,假如在使用spark-submit提交目標到集群中時再次設置appName,那么根據參數的優(yōu)先級，終于使用了哪一個appName

二、主要學問點、重點與難點

1.主要學問點

（1）下載與安裝IntelliJIDEA

（2）Scala插件安裝與使用

（3）配置Spark運行環(huán)境的辦法

（4）運行Spark程序的辦法

（5）持久化辦法

（6）數據分區(qū)辦法

2.重點

（1）配置Spark運行環(huán)境

（2）運行Spark程序的方式

（3）持久化（緩存）實現

（4）數據分區(qū)

3.難點

（1）自定義數據分區(qū)

（2）打包Spark工程并運行

（3）Spark-submit提交程序的命令及參數設置

三、教學過程設計

1.理論教學過程

（1）搭建IDEA開發(fā)環(huán)境

（2）配置Spark運行環(huán)境

（3）運行Spark程序的方式

（4）持久化（緩存）實現

（5）數據分區(qū)

2.試驗教學過程

（1）搭建開發(fā)環(huán)境

（2）自定義分區(qū)

（3）比賽網站拜訪日志分析

四、教材與參考資料

1.教材肖芳，張良均.Spark大數據技術與應用（第2版）（微課版）［M］.北京人民郵電出版社.

2022.

2.參考資料11］肖芳，張良均.Spark大數據技術與應用［M］.北京人民郵電出版社.

2022.［2］王哲，張良均.Hado叩與大數據挖掘（第2版）［M］.北京機械工業(yè)出版社.

2022.［3］張軍，張良均.Hadoop大數據開發(fā)基礎（第2版）（微課版）［M］.北京人民郵電出版社.

2022.第5章SparkSQL結構化數據文件處理教案課程名稱Spark大數據技術與應用課程類別必修適用專業(yè)大數據技術類相關專業(yè)總學時64學時（其中理論40學時，試驗24學時）總學分

4.0學分本章學時6學時

五、材料清單

（1）《Spark大數據技術與應用》教材

（2）配套PPT“

（3）引領性提問

（4）探索性問題

（5）拓展性問題

六、教學任務與基本要求

3.教學任務主要介紹Spark四大組件之一SparkSQL,首先對SparkSQL的基本概念舉行簡要概述，并且講解如何配置SparkSQL以及SparkSQL與Shell交互，接著具體介紹SparkSQL的核心抽象編程模型DataFrame,包括創(chuàng)建DataFrame對象、DataFrame上的Action操作、DataFramc對象上的查詢操作以及DataFrame對■象上的輸出操作，最后使用SparkSQL對法律服務網站數據舉行探究分析

4.基本要求

（5）了解SparkSQL的基本概念

（6）掌控SparkSQL與Shell交互

（7）掌控創(chuàng)建DataFrame對象的辦法

（8）掌控DataFrame查看數據的辦法

（9）掌控DataFrame的查詢及輸出操作

七、問題

5.引領性提問引領性提問需要老師按照教材內容和同學實際水平，提出問題，引發(fā)引領同學去解決問題，提問，從而達到理解、掌控學問，進展各種本事和提升思想覺悟的目的

（6）你學過MySQL嗎？是否了解MySQL的基本語法？

（7）你了解SparkSQL的基本概念嗎？

（8）是否接觸過DataFrame類型是否了解DataFrame類型的基本操作辦法？

（9）對于SparkSQL的使用方式，你知道有哪些？

6.探索性問題探索性問題需要老師深化鉆研教材的基礎上細心設計，提問的角度或者在引領性提問的基礎上，從重點、難點問題切入，舉行插入式提問或者是對引領式提問中尚未涉及但在課文中乂是重要的問題加以設問77）SparkSQL能夠拜訪哪些數據庫？88）SparkSQL如何讀取json格式的數據？99）SparkDataFrame與RDD有何區(qū)分？100）SparkSQL查詢一個DataFrame中的某個字段有哪些辦法？（IDSparkSQL如何注冊一個暫時表？

7.拓展性問題拓展性問題需要老師深刻理解教材的意義，同學的學習動態(tài)后，按照同學學習層次，提出切實可行的關乎實際的可操作問題亦能夠提供拓展資料供同學研習探討，完成拓展性問題3RDD是一個數據存放在多個分區(qū)的集合,DataFrame是否也是相同的存儲方式？4SparkSQL支持自定義函數嗎？5你認為SparkSQL能否徹低取代Hive技術？

八、主要學問點、重點與難點

8.主要學問點7SparkSQL簡介8SparkSQL配置9SparkSQL與Shell交互實現10DataFrame基礎操作辦法

9.重點5SparkSQL與Shell交互實現6創(chuàng)建DataFrame對象的辦法7DataFrame查看數據的辦法8DataFrame的查詢及輸出操作

10.難點4創(chuàng)建DataFrame對象的辦法5將DataFrame舉行存儲

（6）DataFrame查詢數據操作

九、教學過程設計1L理論教學過程

（6）熟悉SparkSQL

（7）SparkSQL配置

（8）SparkSQL與Shell交互實現

（9）DataFrame基礎操作辦法

12.試驗教學過程

（1）配置SparkSQL

（2）掌控DalaFrame基礎操作

（3）探究分析房屋售價數據

（4）統(tǒng)計分析顧客對某城市餐飲店的點評數據

十、教材與參考資料

13.教材肖芳，張良均.Spark大數據技術與應用（笫2版）（微課版）