Spark大數(shù)據(jù)分析實(shí)務(wù) 教案 項(xiàng)目4 基于Spark SQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)探索分析 教案

項(xiàng)目4基于SparkSQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)探索分析教案課程名稱：Spark大數(shù)據(jù)技術(shù)實(shí)務(wù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論32學(xué)時(shí)，實(shí)驗(yàn)32學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《Spark大數(shù)據(jù)技術(shù)實(shí)務(wù)》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)首先介紹SparkSQL的功能及運(yùn)行過程，并介紹SparkSQLCLI的配置方法和SparkSQL與Shell交互；接著詳細(xì)介紹通過結(jié)構(gòu)化數(shù)據(jù)文件、外部數(shù)據(jù)庫(kù)、RDD及Hive中的表4種方式創(chuàng)建DataFrame對(duì)象；最后介紹DataFrame數(shù)據(jù)的查看以及DataFrame的行列表查詢操作。基于知識(shí)介紹，根據(jù)廣告流量檢測(cè)數(shù)據(jù)創(chuàng)建DataFrame，通過DataFrame的查詢操作對(duì)廣告流量檢測(cè)數(shù)據(jù)進(jìn)行基本數(shù)據(jù)查詢、缺失值分析以及特征字段進(jìn)行探索分析。基于本項(xiàng)目數(shù)據(jù)探索分析的結(jié)果，能夠更好地開展后續(xù)的數(shù)據(jù)挖掘與數(shù)據(jù)建模工作?；疽罅私釹parkSQL框架的功能及運(yùn)行過程。了解SparkSQL與Shell交互。掌握SparkSQL的可編程數(shù)據(jù)模型DataFrame的創(chuàng)建、查詢等操作方法。能夠配置SparkSQLCLI，提供SparkSQL與Shell交互環(huán)境。能夠通過不同數(shù)據(jù)源創(chuàng)建DataFrame。能夠?qū)崿F(xiàn)DataFrame數(shù)據(jù)及行列表的查詢操作。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。SparkSQL和HiveSQL有什么區(qū)別？什么是DataFrame？DataFrame的相關(guān)操作有哪些？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。如何實(shí)現(xiàn)SparkSQL跟Hive的交互？DataFrame行列式是什么？有些查詢操作？數(shù)據(jù)探索分析有哪些要點(diǎn)？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。Scala語言中的DataFrame和Python語言中的DataFrame有何區(qū)別？能否使用Python語言實(shí)現(xiàn)Spark分析操作？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)SparkSQL簡(jiǎn)介。配置SparkSQLCLI。SparkSQL與Shell交互。通過結(jié)構(gòu)化數(shù)據(jù)文件創(chuàng)建DataFrame。通過外部數(shù)據(jù)庫(kù)創(chuàng)建DataFrame。通過RDD創(chuàng)建DataFrame。通過Hive表創(chuàng)建DataFrame。printSchema()：輸出數(shù)據(jù)模式。show()：查看數(shù)據(jù)。first(head(take(takeAsList()：獲取若干行記錄。條件查詢。查詢指定字段的數(shù)據(jù)信息。查詢指定行數(shù)的數(shù)據(jù)。排序查詢。分組查詢。讀取數(shù)據(jù)創(chuàng)建DataFrame對(duì)象。簡(jiǎn)單查詢DataFrame數(shù)據(jù)。探索分析日流量特征。探索分析IP地址的訪問次數(shù)特征。探索分析虛假流量數(shù)據(jù)特征。重點(diǎn)配置SparkSQLCLI。DataFrame的創(chuàng)建、數(shù)據(jù)查看、行列表查詢操作。難點(diǎn)DataFrame的創(chuàng)建、數(shù)據(jù)查看、行列表查詢操作。教學(xué)過程設(shè)計(jì)理論教學(xué)過程SparkSQL簡(jiǎn)介。配置SparkSQLCLI。SparkSQL與Shell交互。通過結(jié)構(gòu)化數(shù)據(jù)文件創(chuàng)建DataFrame。通過外部數(shù)據(jù)庫(kù)創(chuàng)建DataFrame。通過RDD創(chuàng)建DataFrame。通過Hive表創(chuàng)建DataFrame。printSchema()：輸出數(shù)據(jù)模式。show()：查看數(shù)據(jù)。first(head(take(takeAsList()：獲取若干行記錄。條件查詢。查詢指定字段的數(shù)據(jù)信息。查詢指定行數(shù)的數(shù)據(jù)。排序查詢。分組查詢。實(shí)踐教學(xué)過程創(chuàng)建數(shù)據(jù)庫(kù)語法格式。配置SparkSQLCLI。SparkSQL與Shell交互。通過結(jié)構(gòu)化數(shù)據(jù)文件創(chuàng)建DataFrame。通過外部數(shù)據(jù)庫(kù)創(chuàng)建DataFrame。通過RDD創(chuàng)建DataFrame。通過Hive表創(chuàng)建DataFrame。查看DataFrame數(shù)據(jù)。printSchema()：輸出數(shù)據(jù)模式。show()：查看數(shù)據(jù)。first(head(take(takeAsList()：獲取若干行記錄。條件查詢。查詢指定字段的數(shù)據(jù)信息。查詢指定行數(shù)的數(shù)據(jù)。排序查詢。分組查詢。讀取數(shù)據(jù)創(chuàng)建DataFrame對(duì)象。查詢數(shù)據(jù)記錄數(shù)。查詢數(shù)據(jù)缺失值。探索分析日流量特征。探索分析IP地址的訪問次數(shù)特征。探索分析虛假流量數(shù)據(jù)特征。教材與參考資料教材鄭浩森，張榮．Spark大數(shù)據(jù)技術(shù)分析[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M]．北京：人民郵電出