大數(shù)據(jù)分析及應用項目教程(Spark SQL)（微課版） 課程教學大綱、授課計劃

課程名稱大數(shù)據(jù)挖掘與分析課程代號課程類型eq\o\ac(□,√)授課教師許慧修讀方式必修eq\o\ac(□,√)必選選修學分2開課學期第4學期總學時(授課)64實踐學時32辦公地點720課外答疑時間周三中午聯(lián)系方課程描述本課程旨在引領(lǐng)學生掌握SparkSQL的基礎(chǔ)語法與基本思想，通過課堂演示、實操訓練、分組實訓、小組匯報等實踐活動，提升學生數(shù)據(jù)挖掘與分析的能力，養(yǎng)成良好的自我管理素養(yǎng)，提升學生溝通協(xié)作能力。B課程教學目標(標注能力指標)知識大數(shù)據(jù)分析相關(guān)概念C1SparkSQL的基礎(chǔ)知識C1能力會Spark集群部署與使用D1掌握Scala編程語言基礎(chǔ)D1掌握SparkSQL各操作和算子在數(shù)據(jù)分析中的使用方法。D1掌握數(shù)據(jù)準備、清洗、轉(zhuǎn)換、分析、輸出、查詢過程中用到的DataFrame操作方法。D2掌握基于Web的notebook開發(fā)工具——ZepplinD2素養(yǎng)3.1養(yǎng)成良好的自我管理素養(yǎng)B13.2提升學生溝通交流、小組協(xié)作能力E2C核心能力A尚德弘毅B健康關(guān)懷C專業(yè)知識D熟用技能E溝通協(xié)作F問題解決備注D課程權(quán)重A1A2B1B2C1C2D1D2E1E2F1F2合計100%10%20%40%10%10%10%E學分數(shù)分配權(quán)重數(shù)學及基礎(chǔ)科學等相關(guān)課程專業(yè)課程-理論專業(yè)課程-專業(yè)/務(wù)實專業(yè)課程-實踐/實作通識或共同科目（不含數(shù)學）其他總學分數(shù)/1.52.54.5F教材內(nèi)容大綱章節(jié)教材內(nèi)容(能力指標代碼)學時分配理論(實務(wù))實踐合計1.大數(shù)據(jù)分析概述C1、D1、F22242.實踐環(huán)境準備C1、D13363.學生信息處理分析C1、D188164.房產(chǎn)大數(shù)據(jù)分析與探索C1、D1、D288165.電商大數(shù)據(jù)分析與探索D1、D2、F277146.Zepplin數(shù)據(jù)可視化D1、D2、F2448323264G教學方式eq\o\ac(□,√)講授討論或座談問題導向?qū)W習eq\o\ac(□,√)分組合作學習專題學習eq\o\ac(□,√)實作學習發(fā)表學習實習參觀訪問其它()H學習評價成績項目配分評價方式(呼應能力指標)細項配分說明平時成績30表現(xiàn)性評價（觀察）（C1、D1）10出席率10分：基本分6分，缺課、遲到、上課玩游戲等，每次酌情扣0.5-1分實作評價（觀察）（D1、D2、C1）20各單元表現(xiàn)（含學習態(tài)度、溝通合作、專業(yè)技能、專業(yè)能力等）期中成績30實作評價（D1、D2、F1、F2）30期中測驗期末成績40實作評價（F2、B2、D1、D2）40期末測驗I進度表次別單元名稱與內(nèi)容能力指標代碼1第1章大數(shù)據(jù)分析概述任務(wù)1.1關(guān)于大數(shù)據(jù)分析情境導入學習目標和要求1.1.1什么是大數(shù)據(jù)分析1.1.2大數(shù)據(jù)分析工具1.1.3大數(shù)據(jù)分析可視化任務(wù)1.2認識SparkSQL情境導入學習目標和要求1.2.1SparkSQL背景簡介1.2.2SparkSQL運行原理C1、D1、F22第2章實踐環(huán)境準備任務(wù)2.1Hadoop集群環(huán)境搭建情境導入學習目標和要求2.1.1環(huán)境準備2.1.2安裝Hadoop2.1.3啟動Hadoop集群2.1.4運行經(jīng)典案例wordcount任務(wù)2.2Spark集群部署與使用情境導入學習目標和要求2.2.1Spark安裝2.2.2啟動Spark2.2.3Spark集群測試任務(wù)2.3Scala安裝情境導入學習目標和要求3.1.1下載安裝包3.1.2安裝配置腦圖小結(jié)章節(jié)練習C1、D13第3章學生信息處理分析任務(wù)3.1班級基本情況分析情境導入學習目標和要求3.1.1學生所屬班級和男女生數(shù)量3.1.2以班級為單位整理學生信息任務(wù)3.2學生基本情況獲取情境導入學習目標和要求3.2.1學生特長情況3.2.2學生成績情況分析腦圖小結(jié)章節(jié)練習C1、D14第4章房產(chǎn)大數(shù)據(jù)分析與探索任務(wù)4.1某房產(chǎn)公司銷售人員業(yè)績分析情境導入學習目標和要求4.1.1數(shù)據(jù)集處理4.1.2數(shù)據(jù)操作分析任務(wù)4.2某城市近年房產(chǎn)銷售狀況分析情境導入學習目標和要求4.2.1數(shù)據(jù)準備4.2.2數(shù)據(jù)探索與分析4.2.3總結(jié)分析腦圖小結(jié)章節(jié)練習C1、D1、D25第5章電商大數(shù)據(jù)分析與探索任務(wù)5.1女裝電子商務(wù)評論情況分析情境導入學習目標和要求5.1.1數(shù)據(jù)準備5.1.2數(shù)據(jù)清洗5.1.3數(shù)據(jù)轉(zhuǎn)換5.1.4數(shù)據(jù)分析5.1.5數(shù)據(jù)輸出任務(wù)5.2在線銷售訂單數(shù)據(jù)分析情境導入學習目標和要求5.2.1數(shù)據(jù)查詢操作5.2.2數(shù)據(jù)分析探索腦圖小結(jié)章節(jié)練習D1、D2、F26第6章Zepplin數(shù)據(jù)可視化任務(wù)6.1Zepplin安裝部署情境導入學習目標和要求6.1.1安裝包下載6.1.2安裝配置6.1.3測試運行Zeppelin任務(wù)6.2女裝電子商務(wù)評論情況數(shù)據(jù)可視化情境導入學習目標和要求6.2.1加載數(shù)據(jù)注冊視圖6.2.2執(zhí)行SQL數(shù)據(jù)可視化任務(wù)6.3在線銷售訂單數(shù)據(jù)分析可視化情境導入學習目標和要求執(zhí)行SparkSQL數(shù)據(jù)可視化腦圖小結(jié)章節(jié)練習D1、D2、F2J建議教材自編教材K參考書籍《基于Hadoop與Spark的大數(shù)據(jù)開發(fā)實戰(zhàn)》，人民郵電出版社，肖睿等主編。《SparkSQL入門與數(shù)據(jù)分析實踐》，人民郵電出版社，楊虹等主編。《Spark大數(shù)據(jù)處理技術(shù)》，機械工業(yè)出版社，辛立偉等主編。L先修課程大數(shù)據(jù)基礎(chǔ)運維M教學資源多媒體課件、網(wǎng)上教學資源、精品課網(wǎng)站N注意事項1、本課程大綱進度表部分可根據(jù)教學需要進行調(diào)整2、請尊重知識產(chǎn)權(quán)，不得非法影印O課程分析與評估平均成績及格率修課人數(shù)1.學習成效分析1-1總體目標：通過本課程的學習，多數(shù)學生能掌握SparkSQL的基礎(chǔ)語法與數(shù)據(jù)挖掘分析能力。1-2知識目標：多數(shù)學生能夠掌握SparkSQL的基礎(chǔ)語法，多數(shù)學生能夠掌握數(shù)據(jù)挖掘分析的基本概念和基本方法。1-3能力目標:多數(shù)學生會Spark集群部署與使用、Scala編程語言基礎(chǔ)、SparkSQL各操作和算子在數(shù)據(jù)分析中的使用方法、數(shù)據(jù)準備、清洗、轉(zhuǎn)換、分析、輸出、查詢過程中用到的DataFrame操作方法、掌握基于Web的notebook開發(fā)工具——Zepplin。符合本門課程以實作為主的性質(zhì)。1-4素質(zhì)目標：大多數(shù)學生能養(yǎng)成良好的自我管理素養(yǎng)，提升溝通交流、小組協(xié)作能力。1-5整體分析：本課程的教學策略，通過課堂講授及編程操作演示講授SparkSQL的基礎(chǔ)語法知識，并通過課堂實訓以及實踐操作，增強學生能熟練應用SparkSQL進行數(shù)據(jù)挖掘分析的能力。2.核心能力檢討2-1各項核心能力指標分析：本課程與核心能力指標C1（掌握SparkSQL的基礎(chǔ)語法）、D1（具備較強的SparkSQL程序設(shè)計技能）、D2（具備一定的構(gòu)思、設(shè)計、開發(fā)技能）、E2（具備團隊協(xié)作能力）、B1（具備良好的自我管理素養(yǎng)）之培養(yǎng)有關(guān)。C1（掌握SparkSQL的基礎(chǔ)語法）、E2（具備團隊協(xié)作能力）、B1（具備良好的自我管理素養(yǎng)）達成度較高，D1（具備較強的SparkSQL程序設(shè)計技能）、D2（具備一定的構(gòu)思、設(shè)計、開發(fā)技能）尚需加強。2-2核心能力整體分析：通過本課程的學習，學生具有熟練應用SparkSQL的能力，具有較強的程序設(shè)計技能，能養(yǎng)成良好的自我管理素養(yǎng)，提升溝通交流、小組協(xié)作能力。3.其他3-1學習成效之評析與改善：通過實踐項目任務(wù)引領(lǐng)、小組討論提升學生學習動機，因此學生學習的興趣和主動性普遍高，課堂上的互動較為活躍；此外，平時作業(yè)和實體作品制作的表現(xiàn)大致不錯，但是有個別學生由于學習態(tài)度不夠端正，不認真完成作業(yè)，導致不能通過本門課程的最終考核。對這些同學，將給予學習上的預警，并安排集中輔導，同時要注意與全班同學的溝通與交流，增加平時在線的輔導工作。3-2核心能力(指標)之評析與改善：綜合學生本學期之各項表現(xiàn)，可以得知核心能力指標D1、D2需再加強，或許可以通過學習社團或競賽活動的形式增強項目的開發(fā)能力。備注：1.課程大綱A—F項由所在部門和相關(guān)課程委員會編寫并審核通過，教師不能自行更改；2.本課程大綱G—O項同一課程不同授課教師應協(xié)同討論研究達成共同核心內(nèi)涵，教師不宜自行更改；3.TAC工程認證專業(yè)課程之學分數(shù)分配權(quán)重分三大類數(shù)學及基礎(chǔ)科學等相關(guān)課程、專業(yè)課程-專業(yè)/實務(wù)(含理論)、專業(yè)課程-實踐/實作；4.評價方式，可參酌下例方式：(1)紙筆測驗：小考、期中紙筆測驗、期末紙筆測驗。(2)實作評價：作業(yè)、實作成品、日常表現(xiàn)、表演、觀察、軼事記錄。(3)檔案袋評價：書面報告、專題檔案。(4)口語評價：口頭報告、口試。附件1:階段實作表現(xiàn)評量表學生姓名:____________學號:____________班級:____________組別:第__組評量日期:年月日各位同學：請針對下列評價項目并參酌「評價規(guī)準」，于自評、評議員字段打「A、B、C、D、E」其中一項后，再請老師復評。評量項目自評、評議員與老師復評（A至E）自評（20%）評議員（30%）老師（50%）1.學習態(tài)度（10%）2.語言表達能力（20%）3.任務(wù)分析和程序邏輯設(shè)計能力（20%）4.編程實操（40%）5.項目完成與時間控制（10%）合計階段實作表現(xiàn)評量標準符號ABCDE1.學習態(tài)度（10%）虛心求教、積極參與小組討論、緊跟授課教師的進度和思路、具有很強的團隊合作能力和溝通能力虛心求教、參與小組討論、認真聽講、思考，具有團隊合作能力和溝通能力較主動、態(tài)度上表現(xiàn)尚可，參與小組討論；團隊合作能力和溝通能力較好學習態(tài)度尚可，參與小組討論；團隊合作能力和溝通能力尚可出言頂撞，服裝儀容待加強2.語言表達能力（20%）語言流暢，速度得宜，用字精準，注重聽眾反應、很有應變能力。講述通暢，用字尚可，有注意聽眾反應、有應變能力。講述尚可，用字需要斟酌，未注意聽眾反應、應變能力較好講述欠通順，用字不佳，未注意聽眾反應、應變能力一般講述混亂，沒有任何重點3.任務(wù)分析和程序邏輯設(shè)計能力（20%）明確任務(wù)需求，程序流程邏輯清晰，算法新穎明確任務(wù)需求，程序流程基本清楚，算法正確。明確任務(wù)需求，程序設(shè)計邏輯需加強。不能明確任務(wù)需求，邏輯欠佳。無法說明任何問題4.編程實操（40%）能夠率先在組內(nèi)完成前面單元的上機實訓，并編譯成功。能夠在規(guī)定時間內(nèi)完成前面單元的上機實訓，并編譯成功。能在組員的幫助下完成前面單元的上機實訓，并編譯成功。在組員的幫助下只能完成部分的上機實訓。不動手上機實踐。5.項目完成與時間控制（10%）時間控制疏緊適宜、能認真按時完成項目的各項需求、完成質(zhì)量杰出時間控制緊湊、能認真按時完成項目的大部分需求、完成質(zhì)量優(yōu)良時間分配不合理、按時完成項目的大部分需求、完成質(zhì)量尚可時間分配混論、按時完成項目的一部分需求、完成質(zhì)量欠佳基本無時間分配階段實作表現(xiàn)綜合成績項目實作表現(xiàn)（50%）階段測試（50%）總分分數(shù)評語和建議

附件2：表1《Illustrator圖形制作》期中上機操作測驗各單元配分教材內(nèi)容(章)(期中考范圍)單元一（第1-5章）單元二（第6-8章）單元三（第9章）單元四（第10-14章）教學時間（學時）2028420占分比例預設(shè)30351025實際表2《Illustrator圖形制作》期中上機操作測驗之雙向細目表教學目標記憶了解應用分析評鑒創(chuàng)作合計教材內(nèi)容試題形式第一單元（共20節(jié)課）圖形制作30()第二單元（共28節(jié)課）圖形制作35()第三單元（共4節(jié)課）圖形制作10()第四單元（共20節(jié)課）圖形制作25()注:1.試題形式中，()內(nèi)的數(shù)字為題數(shù)，()前的數(shù)字為配分2.本表得視教學目標、實際教學及命題需要調(diào)整之學期授課計劃課程名稱：大數(shù)據(jù)挖掘與分析二級學院：信息工程學院專業(yè)：大數(shù)據(jù)技術(shù)年級：班次：；年2月13日~年6月19日課內(nèi)總學時：64講課：32實驗：0上機：32實踐環(huán)節(jié)名稱：共周教材名稱：編者：出版社：出版年份：優(yōu)秀（重點）教材：授課教師：主講：許慧輔導：許慧教研室主任：年3月13日填寫

周次星期授課內(nèi)容提要時數(shù)教輔活動備注11.1關(guān)于大數(shù)據(jù)分析1.1.1什么是大數(shù)據(jù)分析1.1.2大數(shù)據(jù)分析工具1.1.3大數(shù)據(jù)分析可視化2預警輔導答疑解惑720辦公室或者理北機房1.2認識SparkSQL1.2.1SparkSQL背景簡介1.2.2SparkSQL運行原理2預警輔導答疑解惑720辦公室或者理北機房22.1Hadoop集群環(huán)境搭建2.1.1環(huán)境準備2.1.2安裝Hadoop 2.1.3啟動Hadoop集群2.1.4運行經(jīng)典案例wordcount2預警輔導答疑解惑720辦公室或者理北機房2.2Spark集群部署與使用2.2.1Spark安裝2.2.2啟動Spark2.2.3Spark集群測試2預警輔導答疑解惑720辦公室或者理北機房32.3Scala安裝3.1.1下載安裝包3.1.2安裝配置2預警輔導答疑解惑720辦公室或者理北機房3.1班級基本情況分析3.1.1學生所屬班級和男女生數(shù)量Scala數(shù)據(jù)類型、常量與變量、運算符、數(shù)組2預警輔導答疑解惑720辦公室或者理北機房4Scala判斷與循環(huán)2預警輔導答疑解惑720辦公室或者理北機房Scala函數(shù)式編程案例分析——學生所屬班級和男女生數(shù)量2預警輔導答疑解惑720辦公室或者理北機房53.1.2以班級為單位整理學生信息Scala列表與Set集合2預警輔導答疑解惑720辦公室或者理北機房Scala元組與Map映射2預警輔導答疑解惑720辦公室或者理北機房6Scala函數(shù)組合器2預警輔導答疑解惑720辦公室或者理北機房3.2學生基本情況獲取3.2.1學生特長情況Scala類和對象Scala模式匹配2預警輔導答疑解惑720辦公室或者理北機房73.2.2學生成績情況分析2預警輔導答疑解惑720辦公室或者理北機房4.1某房產(chǎn)公司銷售人員業(yè)績分析4.1.1數(shù)據(jù)集處理RDD的創(chuàng)建方法2預警輔導答疑解惑720辦公室或者理北機房84.1.2數(shù)據(jù)操作分析RDD的操作（一）count、map、flatmap、sortby、take，first、collect2預警輔導答疑解惑720辦公室或者理北機房RDD的操作（二）filter、distinct、union2預警輔導答疑解惑720辦公室或者理北機房9RDD的操作（三）min()、max()、mean()、sum()、variance()、stdev()函數(shù)2預警輔導答疑解惑720辦公室或者理北機房PairRDD的操作（一）創(chuàng)建PairRDD、keys()、values()轉(zhuǎn)換操作reducebykey()2預警輔導答疑解惑720辦公室或者理北機房10PairRDD的操作（二）groupbykey()、sortByKey()轉(zhuǎn)換操作數(shù)據(jù)結(jié)果存儲方法2預警輔導答疑解惑720辦公室或