《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教學(xué)大綱

1、大數(shù)據(jù)技術(shù)導(dǎo)論課程教學(xué)大綱Techno Iogy of Cloud Comput i ng and Big Data一、課程基本情況課程編號(hào)：課程類(lèi)別：專業(yè)基礎(chǔ)課課程學(xué)分：3學(xué)分課程總學(xué)時(shí)：48學(xué)時(shí)，其中講課：32學(xué)時(shí)，實(shí)驗(yàn)（含上機(jī)）：16學(xué)時(shí)課程性質(zhì)：考試開(kāi)課學(xué)期：第1學(xué)期先修課程：大學(xué)生計(jì)算機(jī)基礎(chǔ)適用專業(yè)：大數(shù)據(jù)技術(shù)、計(jì)算機(jī)應(yīng)用技術(shù)、人工智能技術(shù)應(yīng)用相關(guān)專業(yè)教 材：大數(shù)據(jù)技術(shù)導(dǎo)論（第2版），程顯毅任越美主編，機(jī)械工業(yè)出版社，2022.8 開(kāi)課單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院二、課程性質(zhì)、教學(xué)目標(biāo)和任務(wù)大數(shù)據(jù)技術(shù)導(dǎo)論課程是計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)、大數(shù)據(jù)技術(shù)專業(yè)、人工智能技術(shù)應(yīng)用 專業(yè)必修的一門(mén)基礎(chǔ)課程

2、，具有很強(qiáng)的實(shí)踐性和應(yīng)用性。主要培養(yǎng)學(xué)生大數(shù)據(jù)平臺(tái)運(yùn)維、大 數(shù)據(jù)分析和數(shù)據(jù)可視化基本思想和基本技能，為后續(xù)的數(shù)據(jù)挖掘應(yīng)用性課程和數(shù)據(jù)產(chǎn)品開(kāi)發(fā) 課程的學(xué)習(xí)打好編程基礎(chǔ)。本課程設(shè)置的目的是通過(guò)對(duì)Hadoop, HDFS, MapReduce, HBase, Hive的學(xué)習(xí)，較好地訓(xùn)練 學(xué)生大數(shù)據(jù)平臺(tái)運(yùn)維、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)，使學(xué)生具有數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)的能力，為培 養(yǎng)學(xué)生有較強(qiáng)數(shù)據(jù)開(kāi)發(fā)能力打下良好基礎(chǔ)。本課程的思政目標(biāo)1）理解全量思維源自量變到質(zhì)變，大事業(yè)都是從點(diǎn)滴小事情積累起來(lái)的。2）理解相關(guān)思維是善于抓機(jī)遇，良機(jī)只有一次，錯(cuò)過(guò)就不再來(lái)。3）理解容錯(cuò)思維源理解和大度，學(xué)習(xí)別人的優(yōu)點(diǎn)，完善自身。4

3、）理解數(shù)據(jù)分析源自發(fā)現(xiàn)人生價(jià)值，在有限生命中實(shí)現(xiàn)無(wú)限價(jià)值的人生。5）理解數(shù)據(jù)敏感源自用數(shù)據(jù)講故事，用數(shù)據(jù)展現(xiàn)祖國(guó)的開(kāi)展，感受祖國(guó)的強(qiáng)大。6）理解分布式處理源自協(xié)作，合作可以充實(shí)你的人生。7）理解數(shù)據(jù)清洗源自質(zhì)量第一，保證在激烈競(jìng)爭(zhēng)中利于不敗之地。8）理解業(yè)務(wù)理解源自知己知彼，莫愁前路無(wú)知己，天下誰(shuí)人不識(shí)君。9）理解數(shù)據(jù)平安源自責(zé)任重于泰山，少年智那么國(guó)智，少年強(qiáng)那么國(guó)強(qiáng)。10）理解大數(shù)據(jù)讓世界變得透明源自自知者明，最難了解的自己。三、教學(xué)內(nèi)容和要求L概論（8學(xué)時(shí)）（1） 了解大數(shù)據(jù)技術(shù)產(chǎn)生的歷史必然；（2）理解大數(shù)據(jù)的特征；（3）理解大數(shù)據(jù)生命周期；（4）理解大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)之間的相互關(guān)

4、系；（5） 了解大數(shù)據(jù)帶來(lái)的變革；（6）理解大數(shù)據(jù)思維的基本原理；(7)理解數(shù)據(jù)的價(jià)值；(8)熟練安裝部署虛擬機(jī)；(9)掌握Linux常用操作；目的：通過(guò)上述知識(shí)的學(xué)習(xí)，使學(xué)生了解大數(shù)據(jù)基本概念、特征、思維、工具和技術(shù)。重點(diǎn)：Linux操作；難點(diǎn)：虛擬機(jī)部署。2.大數(shù)據(jù)生態(tài)系統(tǒng)(8學(xué)時(shí))(1)理解大數(shù)據(jù)生態(tài)Hadoop；(2)部署偽分布式Iladoop環(huán)境；(3)掌握HDFS分布式文件系統(tǒng)的結(jié)構(gòu)；(4)掌握HDFS Shell基本操作;(5)理解HDFS讀寫(xiě)原理；(6)理解MapReduce結(jié)構(gòu)及原理(7)掌握MapReduce編程模型(8)理解詞頻統(tǒng)計(jì)經(jīng)典案例的MapReduce思想；(9)

5、理解 zookeeper 原理；(10)部署 zookeeper；目的：通過(guò)上述知識(shí)的學(xué)習(xí)，使學(xué)生了解大數(shù)據(jù)生態(tài)組件，認(rèn)識(shí)Hadoop,熟練IIDFS基 本操作、基本掌握Mapreduce編程。重點(diǎn):Hadoop組件，HDFS操作;難點(diǎn)：Mapreduce編程。.大數(shù)據(jù)采集與預(yù)處理(6學(xué)時(shí))(1)了解數(shù)據(jù)分類(lèi)、度量和維度；了解數(shù)據(jù)采集及其分類(lèi)；(3)掌握日志采集組件Flume部署及其應(yīng)用；了解數(shù)據(jù)清洗的作用及其方法；(5)理解缺失值、異常值；(6)掌握數(shù)據(jù)規(guī)范化方法；(7)掌握數(shù)據(jù)透視表原理；(8)掌握列聯(lián)表、聚合表的應(yīng)用；了解特征編碼的作用及其方法；目的：通過(guò)上述知識(shí)的學(xué)習(xí)，使學(xué)生了解數(shù)據(jù)清

6、洗相關(guān)技術(shù)和過(guò)程，了解數(shù)據(jù)變換相關(guān) 技術(shù)和過(guò)程，掌握日志采集組件Flume部署及其應(yīng)用。重點(diǎn)：日志采集組件Flume部署及其應(yīng)用，數(shù)據(jù)清洗，數(shù)據(jù)變換；難點(diǎn)：數(shù)據(jù)清洗，數(shù)據(jù)變換。.大數(shù)據(jù)管理(4學(xué)時(shí))(1)理解 NoSQL 與 RDBMS；(2)認(rèn)識(shí)HBase數(shù)據(jù)庫(kù);(3)理解 NoSQL 與 NewSQL；(4)掌握HBase數(shù)據(jù)模型；(5)熟練基于HBase的表操作；目的：通過(guò)上述知識(shí)的學(xué)習(xí)，使學(xué)生掌握HBase表操作及數(shù)據(jù)結(jié)構(gòu)，了解NoSQL分類(lèi)。重點(diǎn)：HBase表操作;難點(diǎn)：HBase數(shù)據(jù)結(jié)構(gòu)。.大數(shù)據(jù)可視化技術(shù)（6學(xué)時(shí)）了解數(shù)據(jù)可視化概念和作用（2）理解可視化建議；（3） 了解圖表的作

7、用；（4）能用圖表講故事；5） 了解可視化工具FineReport；目的：通過(guò)上述知識(shí)的學(xué)習(xí)，使學(xué)生了解常用圖表的使用方法。重點(diǎn)：繪制散點(diǎn)圖、直方圖、氣泡圖、面積圖、密度圖等。難點(diǎn)：FineReporto.大數(shù)據(jù)分析（8學(xué)時(shí)）（1）理解數(shù)據(jù)分析師素養(yǎng)；（2）理解大數(shù)據(jù)分析流程；了解數(shù)據(jù)分析要素；了解業(yè)務(wù)理解的意義；（5）掌握數(shù)據(jù)認(rèn)知方法；（6）掌握Spark機(jī)構(gòu)及其基本原理；（7）部署 Spark；（8）掌握scale編程及其應(yīng)用；（9）掌握Hive基本原理和基本操作；目的：通過(guò)上述知識(shí)的學(xué)習(xí)，使學(xué)生掌握大數(shù)據(jù)分析流程和相關(guān)技術(shù)；重點(diǎn)：scale編程及其應(yīng)用，hive的基本操作；難點(diǎn)：業(yè)務(wù)理解

8、。.大數(shù)據(jù)應(yīng)用（6學(xué)時(shí)）（1）理解電商大數(shù)據(jù)及應(yīng)用場(chǎng)景；（2）理解交通大數(shù)據(jù)及應(yīng)用場(chǎng)景；（3）理解醫(yī)療大數(shù)據(jù)及應(yīng)用場(chǎng)景；了解農(nóng)業(yè)大數(shù)據(jù)及應(yīng)用場(chǎng)景；了解環(huán)保大數(shù)據(jù)及應(yīng)用場(chǎng)景；了解教育大數(shù)據(jù)及應(yīng)用場(chǎng)景；了解政府大數(shù)據(jù)及應(yīng)用場(chǎng)景；了解工業(yè)大數(shù)據(jù)及應(yīng)用場(chǎng)景；目的：通過(guò)上述知識(shí)的學(xué)習(xí)，使學(xué)生在遇到實(shí)際問(wèn)題時(shí)該如何分析和建模。重點(diǎn)：場(chǎng)景認(rèn)知。難點(diǎn)：能根據(jù)具體應(yīng)用場(chǎng)景給出數(shù)據(jù)分析基本思路。.大數(shù)據(jù)平安（2學(xué)時(shí)）（1）了解大數(shù)據(jù)平安的意義和面臨的挑戰(zhàn)；（2）理解平安威脅的種類(lèi)和特征；了解大數(shù)據(jù)平安技術(shù)；了解大數(shù)據(jù)平安架構(gòu)；四、課程考核（1）作業(yè)和報(bào)告：作業(yè)：至少5次（2）考核方式：筆試（3）總評(píng)成績(jī)計(jì)算方式：平時(shí)成績(jī)30% （考勤、實(shí)驗(yàn)報(bào)告、期中考試各占10%），期