大數(shù)據(jù)分析及應(yīng)用項目教程(Spark SQL)（微課版） 授課計劃

學(xué)期授課計劃課程名稱：大數(shù)據(jù)挖掘與分析二級學(xué)院：信息工程學(xué)院專業(yè)：大數(shù)據(jù)技術(shù)年級：班次：；年2月13日~年6月19日課內(nèi)總學(xué)時：64講課：32實驗：0上機：32實踐環(huán)節(jié)名稱：共周教材名稱：編者：出版社：出版年份：優(yōu)秀（重點）教材：授課教師：主講：許慧輔導(dǎo)：許慧教研室主任：年3月13日填寫

周次星期授課內(nèi)容提要時數(shù)教輔活動備注11.1關(guān)于大數(shù)據(jù)分析1.1.1什么是大數(shù)據(jù)分析1.1.2大數(shù)據(jù)分析工具1.1.3大數(shù)據(jù)分析可視化2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房1.2認(rèn)識SparkSQL1.2.1SparkSQL背景簡介1.2.2SparkSQL運行原理2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房22.1Hadoop集群環(huán)境搭建2.1.1環(huán)境準(zhǔn)備2.1.2安裝Hadoop 2.1.3啟動Hadoop集群2.1.4運行經(jīng)典案例wordcount2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房2.2Spark集群部署與使用2.2.1Spark安裝2.2.2啟動Spark2.2.3Spark集群測試2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房32.3Scala安裝3.1.1下載安裝包3.1.2安裝配置2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房3.1班級基本情況分析3.1.1學(xué)生所屬班級和男女生數(shù)量Scala數(shù)據(jù)類型、常量與變量、運算符、數(shù)組2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房4Scala判斷與循環(huán)2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房Scala函數(shù)式編程案例分析——學(xué)生所屬班級和男女生數(shù)量2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房53.1.2以班級為單位整理學(xué)生信息Scala列表與Set集合2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房Scala元組與Map映射2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房6Scala函數(shù)組合器2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房3.2學(xué)生基本情況獲取3.2.1學(xué)生特長情況Scala類和對象Scala模式匹配2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房73.2.2學(xué)生成績情況分析2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房4.1某房產(chǎn)公司銷售人員業(yè)績分析4.1.1數(shù)據(jù)集處理RDD的創(chuàng)建方法2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房84.1.2數(shù)據(jù)操作分析RDD的操作（一）count、map、flatmap、sortby、take，first、collect2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房RDD的操作（二）filter、distinct、union2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房9RDD的操作（三）min()、max()、mean()、sum()、variance()、stdev()函數(shù)2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房PairRDD的操作（一）創(chuàng)建PairRDD、keys()、values()轉(zhuǎn)換操作reducebykey()2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房10PairRDD的操作（二）groupbykey()、sortByKey()轉(zhuǎn)換操作數(shù)據(jù)結(jié)果存儲方法2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房4.2某城市近年房產(chǎn)銷售狀況分析4.2.1數(shù)據(jù)準(zhǔn)備4.2.2數(shù)據(jù)探索與分析（一）2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房11數(shù)據(jù)探索與分析（二）4.2.3總結(jié)分析2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房5.1女裝電子商務(wù)評論情況分析5.1.1數(shù)據(jù)準(zhǔn)備5.1.2數(shù)據(jù)清洗drop(cols)、dropDuplicates(subset=None)、na.drop、na.fill()2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房125.1.3數(shù)據(jù)轉(zhuǎn)換withColumn()、withColumnRename()、定義UDF、na.replace2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房5.1.4數(shù)據(jù)分析注冊臨時表的方法、數(shù)據(jù)分析（一）2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房13數(shù)據(jù)分析（二）5.1.5數(shù)據(jù)輸出2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房5.2在線銷售訂單數(shù)據(jù)分析5.2.1數(shù)據(jù)查詢操作（一）查看、過濾、指定列查詢、排序操作、2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房14數(shù)據(jù)查詢操作（二）分組聚合、聚合函數(shù)、連接操作2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房5.2.2數(shù)據(jù)分析探索2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房156.1Zepplin安裝部署6.1.1安裝包下載6.1.2安裝配置6.1.3測試運行Zeppelin2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機房6.2女裝電子商務(wù)評論情況數(shù)據(jù)可視化6.2.1加載數(shù)據(jù)注冊視圖6.2.2執(zhí)行