《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教學(xué)大綱

1、大數(shù)據(jù)技術(shù)導(dǎo)論課程教學(xué)大綱Techno Iogy of Cloud Comput i ng and Big Data一、課程基本情況課程編號：課程類別：專業(yè)基礎(chǔ)課課程學(xué)分：3學(xué)分課程總學(xué)時：48學(xué)時，其中講課：32學(xué)時，實驗（含上機(jī)）：16學(xué)時課程性質(zhì)：考試開課學(xué)期：第1學(xué)期先修課程：大學(xué)生計算機(jī)基礎(chǔ)適用專業(yè)：大數(shù)據(jù)技術(shù)、計算機(jī)應(yīng)用技術(shù)、人工智能技術(shù)應(yīng)用相關(guān)專業(yè)教 材：大數(shù)據(jù)技術(shù)導(dǎo)論（第2版），程顯毅任越美主編，機(jī)械工業(yè)出版社，2022.8 開課單位：計算機(jī)科學(xué)與技術(shù)學(xué)院二、課程性質(zhì)、教學(xué)目標(biāo)和任務(wù)大數(shù)據(jù)技術(shù)導(dǎo)論課程是計算機(jī)應(yīng)用技術(shù)專業(yè)、大數(shù)據(jù)技術(shù)專業(yè)、人工智能技術(shù)應(yīng)用 專業(yè)必修的一門基礎(chǔ)課程

2、，具有很強(qiáng)的實踐性和應(yīng)用性。主要培養(yǎng)學(xué)生大數(shù)據(jù)平臺運(yùn)維、大 數(shù)據(jù)分析和數(shù)據(jù)可視化基本思想和基本技能，為后續(xù)的數(shù)據(jù)挖掘應(yīng)用性課程和數(shù)據(jù)產(chǎn)品開發(fā) 課程的學(xué)習(xí)打好編程基礎(chǔ)。本課程設(shè)置的目的是通過對Hadoop, HDFS, MapReduce, HBase, Hive的學(xué)習(xí)，較好地訓(xùn)練 學(xué)生大數(shù)據(jù)平臺運(yùn)維、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)，使學(xué)生具有數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)的能力，為培 養(yǎng)學(xué)生有較強(qiáng)數(shù)據(jù)開發(fā)能力打下良好基礎(chǔ)。本課程的思政目標(biāo)1）理解全量思維源自量變到質(zhì)變，大事業(yè)都是從點(diǎn)滴小事情積累起來的。2）理解相關(guān)思維是善于抓機(jī)遇，良機(jī)只有一次，錯過就不再來。3）理解容錯思維源理解和大度，學(xué)習(xí)別人的優(yōu)點(diǎn)，完善自身。4

3、）理解數(shù)據(jù)分析源自發(fā)現(xiàn)人生價值，在有限生命中實現(xiàn)無限價值的人生。5）理解數(shù)據(jù)敏感源自用數(shù)據(jù)講故事，用數(shù)據(jù)展現(xiàn)祖國的開展，感受祖國的強(qiáng)大。6）理解分布式處理源自協(xié)作，合作可以充實你的人生。7）理解數(shù)據(jù)清洗源自質(zhì)量第一，保證在激烈競爭中利于不敗之地。8）理解業(yè)務(wù)理解源自知己知彼，莫愁前路無知己，天下誰人不識君。9）理解數(shù)據(jù)平安源自責(zé)任重于泰山，少年智那么國智，少年強(qiáng)那么國強(qiáng)。10）理解大數(shù)據(jù)讓世界變得透明源自自知者明，最難了解的自己。三、教學(xué)內(nèi)容和要求L概論（8學(xué)時）（1） 了解大數(shù)據(jù)技術(shù)產(chǎn)生的歷史必然；（2）理解大數(shù)據(jù)的特征；（3）理解大數(shù)據(jù)生命周期；（4）理解大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)之間的相互關(guān)

4、系；（5） 了解大數(shù)據(jù)帶來的變革；（6）理解大數(shù)據(jù)思維的基本原理；(7)理解數(shù)據(jù)的價值；(8)熟練安裝部署虛擬機(jī)；(9)掌握Linux常用操作；目的：通過上述知識的學(xué)習(xí)，使學(xué)生了解大數(shù)據(jù)基本概念、特征、思維、工具和技術(shù)。重點(diǎn)：Linux操作；難點(diǎn)：虛擬機(jī)部署。2.大數(shù)據(jù)生態(tài)系統(tǒng)(8學(xué)時)(1)理解大數(shù)據(jù)生態(tài)Hadoop；(2)部署偽分布式Iladoop環(huán)境；(3)掌握HDFS分布式文件系統(tǒng)的結(jié)構(gòu)；(4)掌握HDFS Shell基本操作;(5)理解HDFS讀寫原理；(6)理解MapReduce結(jié)構(gòu)及原理(7)掌握MapReduce編程模型(8)理解詞頻統(tǒng)計經(jīng)典案例的MapReduce思想；(9)

5、理解 zookeeper 原理；(10)部署 zookeeper；目的：通過上述知識的學(xué)習(xí)，使學(xué)生了解大數(shù)據(jù)生態(tài)組件，認(rèn)識Hadoop,熟練IIDFS基 本操作、基本掌握Mapreduce編程。重點(diǎn):Hadoop組件，HDFS操作;難點(diǎn)：Mapreduce編程。.大數(shù)據(jù)采集與預(yù)處理(6學(xué)時)(1)了解數(shù)據(jù)分類、度量和維度；了解數(shù)據(jù)采集及其分類；(3)掌握日志采集組件Flume部署及其應(yīng)用；了解數(shù)據(jù)清洗的作用及其方法；(5)理解缺失值、異常值；(6)掌握數(shù)據(jù)規(guī)范化方法；(7)掌握數(shù)據(jù)透視表原理；(8)掌握列聯(lián)表、聚合表的應(yīng)用；了解特征編碼的作用及其方法；目的：通過上述知識的學(xué)習(xí)，使學(xué)生了解數(shù)據(jù)清

6、洗相關(guān)技術(shù)和過程，了解數(shù)據(jù)變換相關(guān) 技術(shù)和過程，掌握日志采集組件Flume部署及其應(yīng)用。重點(diǎn)：日志采集組件Flume部署及其應(yīng)用，數(shù)據(jù)清洗，數(shù)據(jù)變換；難點(diǎn)：數(shù)據(jù)清洗，數(shù)據(jù)變換。.大數(shù)據(jù)管理(4學(xué)時)(1)理解 NoSQL 與 RDBMS；(2)認(rèn)識HBase數(shù)據(jù)庫;(3)理解 NoSQL 與 NewSQL；(4)掌握HBase數(shù)據(jù)模型；(5)熟練基于HBase的表操作；目的：通過上述知識的學(xué)習(xí)，使學(xué)生掌握HBase表操作及數(shù)據(jù)結(jié)構(gòu)，了解NoSQL分類。重點(diǎn)：HBase表操作;難點(diǎn)：HBase數(shù)據(jù)結(jié)構(gòu)。.大數(shù)據(jù)可視化技術(shù)（6學(xué)時）了解數(shù)據(jù)可視化概念和作用（2）理解可視化建議；（3） 了解圖表的作

7、用；（4）能用圖表講故事；5） 了解可視化工具FineReport；目的：通過上述知識的學(xué)習(xí)，使學(xué)生了解常用圖表的使用方法。重點(diǎn)：繪制散點(diǎn)圖、直方圖、氣泡圖、面積圖、密度圖等。難點(diǎn)：FineReporto.大數(shù)據(jù)分析（8學(xué)時）（1）理解數(shù)據(jù)分析師素養(yǎng)；（2）理解大數(shù)據(jù)分析流程；了解數(shù)據(jù)分析要素；了解業(yè)務(wù)理解的意義；（5）掌握數(shù)據(jù)認(rèn)知方法；（6）掌握Spark機(jī)構(gòu)及其基本原理；（7）部署 Spark；（8）掌握scale編程及其應(yīng)用；（9）掌握Hive基本原理和基本操作；目的：通過上述知識的學(xué)習(xí)，使學(xué)生掌握大數(shù)據(jù)分析流程和相關(guān)技術(shù)；重點(diǎn)：scale編程及其應(yīng)用，hive的基本操作；難點(diǎn)：業(yè)務(wù)理解

8、。.大數(shù)據(jù)應(yīng)用（6學(xué)時）（1）理解電商大數(shù)據(jù)及應(yīng)用場景；（2）理解交通大數(shù)據(jù)及應(yīng)用場景；（3）理解醫(yī)療大數(shù)據(jù)及應(yīng)用場景；了解農(nóng)業(yè)大數(shù)據(jù)及應(yīng)用場景；了解環(huán)保大數(shù)據(jù)及應(yīng)用場景；了解教育大數(shù)據(jù)及應(yīng)用場景；了解政府大數(shù)據(jù)及應(yīng)用場景；了解工業(yè)大數(shù)據(jù)及應(yīng)用場景；目的：通過上述知識的學(xué)習(xí)，使學(xué)生在遇到實際問題時該如何分析和建模。重點(diǎn)：場景認(rèn)知。難點(diǎn)：能根據(jù)具體應(yīng)用場景給出數(shù)據(jù)分析基本思路。.大數(shù)據(jù)平安（2學(xué)時）（1）了解大數(shù)據(jù)平安的意義和面臨的挑戰(zhàn)；（2）理解平安威脅的種類和特征；了解大數(shù)據(jù)平安技術(shù)；了解大數(shù)據(jù)平安架構(gòu)；四、課程考核（1）作業(yè)和報告：作業(yè)：至少5次（2）考核方式：筆試（3）總評成績計算方式：平時成績30% （考勤、實驗報告、期中考試各占10%），期