PySpark大數(shù)據(jù)技術(shù)與應(yīng)用 教案 第3章 基于PySpark的DataFrame操作

第3章基于PySpark的DataFrame操作教案課程名稱：PySpark大數(shù)據(jù)分析與應(yīng)用課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：64學(xué)時（其中理論32學(xué)時，實驗32學(xué)時）總學(xué)分：4.0學(xué)分本章學(xué)時：10學(xué)時材料清單《PySpark大數(shù)據(jù)分析與應(yīng)用》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標與基本要求教學(xué)目標（1）了解SparkSQL的發(fā)展歷程和主要功能。（2）了解DataFrame概念。（3）了解pyspark.sql模塊及其核心類。（4）掌握基于PySparkSQL的DataFrame的創(chuàng)建方法。（5）掌握基于PySparkSQL的DataFrame的基礎(chǔ)操作。2.基本要求學(xué)習(xí)并理解SparkSQL的基本概念和功能。掌握DataFrame的創(chuàng)建、查詢和操作方法。學(xué)會使用pyspark.sql模塊進行數(shù)據(jù)分析和預(yù)處理。能夠通過實例應(yīng)用所學(xué)知識解決實際問題。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。SparkSQL是如何集成關(guān)系數(shù)據(jù)庫和數(shù)據(jù)倉庫的查詢分析功能的？DataFrame在SparkSQL中扮演什么樣的角色？它有哪些優(yōu)勢？PySpark中的pyspark.sql模塊可以完成哪些任務(wù)？它的核心類有哪些？SparkSQL編程從創(chuàng)建什么對象開始？并說明如何創(chuàng)建該對象。探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。SparkSQL與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫相比有哪些優(yōu)勢和不足？在什么情況下應(yīng)該選擇使用DataFrame而不是RDD？為什么？如何利用PySparkSQL進行數(shù)據(jù)預(yù)處理？請舉例說明。拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。除了SparkSQL，還有哪些其他工具或框架可以用于處理結(jié)構(gòu)化數(shù)據(jù)？它們與SparkSQL有何異同？在SparkSQL中，如何實現(xiàn)對數(shù)據(jù)進行復(fù)雜的轉(zhuǎn)換和清洗操作？請舉例說明。在實施大數(shù)據(jù)分析項目時，如何確定數(shù)據(jù)的存儲格式和處理框架？有哪些因素需要考慮？主要知識點、重點與難點主要知識點SparkSQL的起源與發(fā)展歷程。SparkSQL主要功能。SparkSQL的數(shù)據(jù)抽象DataFrame。pyspark.sql模塊及其核心類。SparkSQL編程步驟。pyspark.sql創(chuàng)建SparkSession對象。pyspark.sqlDataFrame的創(chuàng)建方法。pyspark.sqlDataFrame基本操作的各類API。重點pyspark.sql創(chuàng)建SparkSession對象。pyspark.sqlDataFrame的創(chuàng)建方法。pyspark.sqlDataFrame基本操作的各類API。難點（1）pyspark.sqlDataFrame的創(chuàng)建方法。（2）pyspark.sqlDataFrame基本操作的各類API。教學(xué)過程設(shè)計理論教學(xué)過程SparkSQL的起源與發(fā)展歷程。SparkSQL主要功能。SparkSQL數(shù)據(jù)核心抽象DataFrame。pyspark.sql模塊簡介。pyspark.sql模塊核心類。創(chuàng)建DataFrame對象。DataFrame基礎(chǔ)操作（數(shù)據(jù)查看、數(shù)據(jù)處理、排序統(tǒng)計、合并、列操作等）。DataFrame輸出操作。實驗教學(xué)過程網(wǎng)站搜索熱詞統(tǒng)計分析。大數(shù)據(jù)崗位招聘信息統(tǒng)計分析教材與參考資料教材戴剛，張良均．《PySpark大數(shù)據(jù)分析與應(yīng)用》[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M]．北京：人民郵電出版社．2022．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機械工業(yè)出版社．2022．[3] 曾文權(quán)，張良均．Pyt