《大數(shù)據(jù)開發(fā)案例實訓》教學大綱

《大數(shù)據(jù)開發(fā)案例實訓》教學大綱課程編號：13220705英文名稱：CaseAnalysisofBigDataDevelopment學分：3學時：總學時64學時，其中理論32學時，實踐32學時先修課程：云計算與大數(shù)據(jù)基礎、數(shù)據(jù)挖掘與應用課程類別：選修授課對象：數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)學生教學單位：機械與電氣工程學院修讀學期：第6學期一、課程描述和目標本課程是數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)、計算機科學與技術專業(yè)中一門綜合性很強的實戰(zhàn)開發(fā)課程，通過本課程，學生能夠對云計算的由來、概念、原理和實現(xiàn)技術有個基本的認識，了解支持云計算的主要產品和工具以及掌握其技術原理和應用方法，了解云計算的主要研究熱點與應用領域，認清云計算的發(fā)展趨勢和前景；另外，通過基于ApacheHadoop等開源工具的相關實驗，讓學生親身體驗分布式文件系統(tǒng)、分布式計算和分布式數(shù)據(jù)庫的應用及實現(xiàn)，從而加深所學的理論知識的理解，為今后處理實際的問題打下基礎。課程目標1從云計算和大數(shù)據(jù)的基本概念入手，由淺入深學習大數(shù)據(jù)實戰(zhàn)技術平臺軟件的各種相關知識，讓學生掌握大數(shù)據(jù)的相關常用技能。課程目標2學會云計算和大數(shù)據(jù)的相關技術和大數(shù)據(jù)模式，以及云計算和大數(shù)據(jù)處理機制，以梳理知識脈絡和要點的方式把握新技術。要求學生學會分析問題的思想和方法，為更深入地學習和今后的實踐打下良好的基礎。課程目標3：要求學生了解大數(shù)據(jù)實戰(zhàn)技術的發(fā)展方向，根據(jù)具體問題能選擇合適數(shù)據(jù)，選擇和探索相關的新算法進行數(shù)據(jù)處理分析。二、課程目標對畢業(yè)要求的支撐關系畢業(yè)要求指標點課程目標權重指標點2.2:能夠通過文獻檢索、資料查詢的基本方法以及網絡等現(xiàn)代信息技術獲得可用的知識、技術或方法，輔助進行復雜大數(shù)據(jù)工程問題的識別、分析與表達。課程目標1H指標點3.4：針對大數(shù)據(jù)實戰(zhàn)，能夠設計評價和實施復雜工程問題的解決方案。課程目標2H指標點5.1：能夠針對大數(shù)據(jù)實戰(zhàn)，為構建復雜工程問題的模擬環(huán)境選擇和使用合適的現(xiàn)代工程工具和信息技術工具，并能理解其局限性。課程目標3M三、教學內容、基本要求、實驗項目與學時分配序號教學內容基本要求及重、難點（含德育要求）學時教學方式對應課程目標1大數(shù)據(jù)服務推薦系統(tǒng)項目內容包括：推薦系統(tǒng)可幫助用戶從海量信息中高效地獲得自己所需的信息，不同的推薦方法以及推薦系統(tǒng)在電子商務、在線音樂等網站中的具體應用重點：協(xié)同過濾算法、推薦算法難點：計算用戶和物品的相似度度德育：積極向上、自主學習、團隊合作、探索創(chuàng)新。6講授演示練習課程目標1課程目標2課程目標32大數(shù)據(jù)個性化隱私保護項目內容包括：學習大數(shù)據(jù)的個人隱私保護的相關概念，研究相關的隱私保護技術。重點：數(shù)據(jù)脫敏、匿名化難點：隱私度量模型，隱私保護強度衡量德育：積極向上、自主學習、團隊合作、探索創(chuàng)新。6講授演示練習課程目標1課程目標2課程目標33大數(shù)據(jù)網站用戶購物行為分析項目內容包括：從網絡業(yè)務出發(fā),通過數(shù)據(jù)分析得出結論并提出改進業(yè)務的方式方法,提升業(yè)務的銷售額和盈利,為公司創(chuàng)造價值重點：數(shù)據(jù)集的預處理分析消費者對商品的行為難點：消費者的習慣挖掘分析搜索德育：積極向上、自主學習、團隊合作、探索創(chuàng)新。；4講授演示案例課程目標1課程目標2課程目標34大數(shù)據(jù)物聯(lián)網應用項目內容包括：學習大數(shù)據(jù)物聯(lián)網的體系架構與相關概念，研究相關的技術應用。重點：物聯(lián)網傳感器的數(shù)據(jù)實時處理和存儲難點：將種類繁多傳感數(shù)據(jù)的進行及時歸一化處理德育：積極向上、自主學習、團隊合作、探索創(chuàng)新。4講授演示案例課程目標1課程目標2課程目標35大數(shù)據(jù)審計應用項目內容包括：學習大數(shù)據(jù)在審計方面平臺相關概念，學習相關的審計子系統(tǒng)數(shù)據(jù)處理。重點：多元大數(shù)據(jù)的整合、檢驗分析技術難點：相似性度量方法，數(shù)據(jù)知識檢驗算法與指標提取德育：積極向上、自主學習、團隊合作、探索創(chuàng)新。4講授演示案例課程目標1課程目標2課程目標36大數(shù)據(jù)智能交通應用項目內容包括：學習智能交通應用相關概念，研究車聯(lián)網等智能交通大數(shù)據(jù)技術應用。重點：交通大數(shù)據(jù)采集和處理難點：車輛軌跡數(shù)據(jù)處理德育：積極向上、自主學習、團隊合作、探索創(chuàng)新。4講授演示案例課程目標1課程目標2課程目標37大數(shù)據(jù)社交網絡應用項目內容包括：學習大數(shù)據(jù)的在線社交網絡相關概念，研究相關的應用技術。重點：社交網絡知識以及相應的要素建模難點：社交數(shù)據(jù)量化以及數(shù)據(jù)開放和隱私平衡德育：積極向上、自主學習、團隊合作、探索創(chuàng)新。4講授演示案例課程目標1課程目標2課程目標3合計32序號實驗項目實驗內容與要求學時類型對應課程目標1大數(shù)據(jù)服務推薦系統(tǒng)分析服務推薦系統(tǒng)中的數(shù)據(jù)，利?Hive?具完成對推薦物品的統(tǒng)計，包含協(xié)同過濾算法、用戶物品相似度等，同時將統(tǒng)計結果輸出??頁。實驗要求：必修6設計討論驗證綜合課程目標1課程目標2課程目標32大數(shù)據(jù)個性化隱私保護分析大數(shù)據(jù)中的多樣化個性化數(shù)據(jù)，利?相關?具完成隱私數(shù)據(jù)處理，包含數(shù)據(jù)脫敏、隱私度量等，同時將統(tǒng)計結果輸出??頁。實驗要求：必修6設計討論驗證綜合課程目標1課程目標2課程目標33大數(shù)據(jù)網站用戶購物行為分析分析商務網絡中客戶的消費數(shù)據(jù)，利?Hive?具完成對客戶購物記錄的統(tǒng)計，包含商品種類排?、?戶購物時間等，同時將統(tǒng)計結果輸出??頁。實驗要求：必修4設計討論驗證綜合課程目標1課程目標2課程目標34大數(shù)據(jù)物聯(lián)網應用分析物聯(lián)網中多傳感器數(shù)據(jù)，利?Hive?具完成對多個種類數(shù)據(jù)的進行及時歸一化處理，同時將統(tǒng)計結果輸出??頁。實驗要求：必修4設計討論驗證綜合課程目標1課程目標2課程目標35大數(shù)據(jù)審計平臺應用對審計方面數(shù)據(jù)進?實踐分析，利?Hive?具以及相關工具完成對多元大數(shù)據(jù)的整合、檢驗和分析，同時將統(tǒng)計結果輸出??頁。實驗要求：必修4設計討論驗證綜合課程目標1課程目標2課程目標36大數(shù)據(jù)智能交通應用分析智能交通中的數(shù)據(jù)，利?Hive?具完成對交通數(shù)據(jù)的統(tǒng)計，包含車輛出行方向、軌跡數(shù)據(jù)等，同時將統(tǒng)計結果輸出??頁。實驗要求：選修4設計討論驗證綜合課程目標1課程目標2課程目標37大數(shù)據(jù)社交網絡應用分析社交網絡中用戶?志的數(shù)據(jù)，利?Hive?具完成對社交用戶出現(xiàn)頻率的統(tǒng)計，包含關鍵詞排?、?戶習慣點擊、訪問?標等，同時將統(tǒng)計結果輸出??頁。實驗要求：選修4設計討論驗證綜合課程目標1課程目標2課程目標3合計32注：實驗要求包括必修、選修；實驗類型包括演示、驗證、綜合、設計等，后兩類占比大于80%。四、課程教學方法如集中講授、演示、學習、案例等教學方式五、學業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內容、考核標準、成績占比等，考核方法、內容應突出“學生中心、產出導向”。（一）考核方式及具體要求序號教學環(huán)節(jié)課程目標1（分值）課程目標2（分值）課程目標3（分值）合計1平時作業(yè)32272課堂表現(xiàn)33393實驗操作121010324實驗報告22201052課程目標對應分值403525100（二）考核與評價標準1.平時成績考核與評價標準分值觀測點90-100分70-89分60-69分0-59分作業(yè)按時完成，90%以上的作業(yè)內容齊全，基本知識點理解、掌握到位。能夠利用理論知識識別、分析大數(shù)據(jù)領域相關專業(yè)問題。按時完成，70%以上的作業(yè)內容齊全，基本知識點理解、掌握較到位。能夠較好利用理論知識識別、分析大數(shù)據(jù)相關專業(yè)問題。延時完成，60%以上的作業(yè)內容齊全，基本知識點理解、掌握基本到位。利用理論知識對大數(shù)據(jù)有一定的識別、分析。不交和補交，50%以下的作業(yè)內容齊全，基本知識點理解、掌握有偏差。不能利用理論知識對大數(shù)據(jù)領域相關專業(yè)問題進行識別、分析。2.課堂表現(xiàn)評價標準出勤，遲到1次扣0.5分，無故曠課1次扣1分；上課玩手機1次扣1分，擾亂課堂秩序1次扣1分；參與課堂討論加1分。3.實驗評價標準分值觀測點90-100分70-89分60-69分0-59分課程論文獨立正確完成實驗內容，方法具有一定的創(chuàng)新性，認真撰寫實驗報告和實驗心得和總結。實驗報告內容完整。能根據(jù)實驗要求自主設計實驗方案，代碼比較規(guī)范，實驗完成度高，效果比較好。實驗報告內容比較完整。獨立正確完成實驗，方法沒有太多創(chuàng)新，提交實驗報告和總結。實驗報告基本完整。基本能根據(jù)實驗要求自主設計實驗方案，實驗完成度較差，效果較差。實驗報告不完整。4.期末試卷考核與評價標準根據(jù)期末考試及評分標準評分（百分制）。六、教材與參考書（一）推薦教材1．《大數(shù)據(jù)基礎編程、實驗和案例教程》，林子雨主編，清華大學出版社第二版，2020年10月出版；2．《實戰(zhàn)大數(shù)據(jù)（Hadoop+S