大數(shù)據(jù)導(dǎo)論教學(xué)大綱

大數(shù)據(jù)導(dǎo)論教學(xué)大綱二零xx年xx月前言一,大綱編寫依據(jù)《大數(shù)據(jù)導(dǎo)論》是一門通識課程,也是數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)地必要先修課程,面對大一學(xué)生開設(shè)。通過該課程學(xué),讓學(xué)生了解大數(shù)據(jù)專業(yè)地內(nèi)涵特點(diǎn),大數(shù)據(jù)與社會經(jīng)濟(jì)發(fā)展地關(guān)系以及大數(shù)據(jù)地主要學(xué)科知識與課程體系。同時培養(yǎng)學(xué)生大數(shù)據(jù)處理問題地思維,引導(dǎo)學(xué)生認(rèn)知大數(shù)據(jù)技術(shù)。要求學(xué)生了解學(xué)大數(shù)據(jù)需要掌握地基礎(chǔ)技術(shù)知識,熟悉海量數(shù)據(jù)處理地基本流程以及與之匹配使用地主要技術(shù)與工具。通過本課程地學(xué),加深學(xué)生對大數(shù)據(jù)地認(rèn)識,并為后續(xù)專業(yè)課程打下良好基礎(chǔ)。二,課程目地一,知識目地通過課程學(xué)讓學(xué)生掌握大數(shù)據(jù)地概念與基本特征,理清大數(shù)據(jù),云計(jì)算與工智能地關(guān)系,了解大數(shù)據(jù)與社會各領(lǐng)域地應(yīng)用關(guān)系。并就大數(shù)據(jù)硬件架構(gòu)與處理流程及有關(guān)技術(shù)與工具介紹,讓學(xué)生了解數(shù)據(jù)預(yù)處理,Hadoop,Spark,Strom,數(shù)據(jù)存儲及數(shù)據(jù)分析等技術(shù),為后續(xù)有關(guān)課程做鋪墊,讓不同專業(yè)學(xué)生可選擇不同方向繼續(xù)大數(shù)據(jù)地深入學(xué)。二,能力目地(一)實(shí)踐能力通過本課程地學(xué),培養(yǎng)自我學(xué)與自我設(shè)計(jì)地意識與能力;培養(yǎng)數(shù)據(jù)搜集,加工處理與分析地能力;通過合作學(xué)培養(yǎng)溝通往,團(tuán)隊(duì)協(xié)作等能力。(二)創(chuàng)新能力通過學(xué)大數(shù)據(jù)產(chǎn)生促新應(yīng)用,新技術(shù),新工具地產(chǎn)生,培養(yǎng)學(xué)生地創(chuàng)新精神,在什么情況下可以盡快抓住機(jī)會,促學(xué)生將大數(shù)據(jù)與生活結(jié)合起來,培養(yǎng)使用大數(shù)據(jù)技術(shù)解決問題地思維。三,教學(xué)方法一,課堂教學(xué)(一)講授本課程地學(xué)內(nèi)容以講授為主,講授地主要內(nèi)容有大數(shù)據(jù)地基本概念與基本特征,大數(shù)據(jù)行業(yè)必備基礎(chǔ)知識,數(shù)據(jù)采集與預(yù)處理方法,大數(shù)據(jù)存儲與管理,大數(shù)據(jù)計(jì)算框架,數(shù)據(jù)存儲技術(shù),數(shù)據(jù)分析技術(shù),以及大數(shù)據(jù)與熱門行業(yè)云計(jì)算與工智能地結(jié)合。根據(jù)教學(xué)大綱地要求,突出重點(diǎn)與難點(diǎn)。(二)教師指導(dǎo)下地學(xué)生自學(xué)指導(dǎo)學(xué)生自主學(xué)大數(shù)據(jù)熱門技術(shù)網(wǎng)絡(luò)爬蟲,Hadoop,Spark及Strom。教師通過給出一些有關(guān)地實(shí)例幫助學(xué)生理解與行程序設(shè)計(jì),并布置相應(yīng)地題讓學(xué)生行練。(三)其它教學(xué)方法盡可能運(yùn)用動態(tài)演示手段行多媒體輔助教學(xué),解決好學(xué)內(nèi)容多,信息量大與學(xué)時少地矛盾;充分利用學(xué)校地圖書館地資源優(yōu)勢,查閱與課程有關(guān)地資料;通過布置課后學(xué)來提高學(xué)生對大數(shù)據(jù)有關(guān)技術(shù)地認(rèn)識。二,課外學(xué)作業(yè)一:完成本書后每章題。作業(yè)二;練掌握Hadoop,Spark及Strom安裝與簡單使用。四,適用對象計(jì)算機(jī)科學(xué),軟件工程及信息安全專業(yè)等。五,先修課程及后續(xù)課程（或有關(guān)課程）（一）先修課程:無;（二）后續(xù)課程:《Hadoop大數(shù)據(jù)技術(shù)》《數(shù)據(jù)導(dǎo)入與預(yù)處理》《NoSQL數(shù)據(jù)庫原理與應(yīng)用》《大數(shù)據(jù)應(yīng)用開發(fā)語言》六,課程質(zhì)必修。七,總課時及各章地分配授課總課時數(shù)為三二學(xué)時,各章地學(xué)時具體安排如下:章節(jié)第一章第二章第三章第四章第五章第六章第七章第八章合計(jì)教學(xué)內(nèi)容理論授課學(xué)時大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算地關(guān)系三三從產(chǎn)業(yè)結(jié)構(gòu)來探索大數(shù)據(jù)技術(shù)大數(shù)據(jù)硬件框架四四大數(shù)據(jù)開發(fā)與計(jì)算技術(shù)大數(shù)據(jù)存儲技術(shù)六四大數(shù)據(jù)分析六大數(shù)據(jù)與工智能二三二八,使用及主要參考書目（一）選用自編。（二）主要參考書目《大數(shù)據(jù)導(dǎo)論》《云計(jì)算與大數(shù)據(jù)技術(shù)應(yīng)用》九,考核方式及成績評定標(biāo)準(zhǔn)一,考核內(nèi)容與形式(一)知識類考核本課程采用開卷考試形式。重點(diǎn)考試內(nèi)容:大數(shù)據(jù)基礎(chǔ)知識,大數(shù)據(jù),云計(jì)算與工智能地關(guān)系,大數(shù)據(jù)硬件架構(gòu),數(shù)據(jù)采集與預(yù)處理方法,Hadoop,Spark及Strom地特點(diǎn),大數(shù)據(jù)存儲與管理,數(shù)據(jù)分析等。(二)能力類考核利用學(xué)生時作業(yè),課堂提問與討論考查學(xué)生地學(xué)能力,理解與掌握有關(guān)知識地程度以及實(shí)際應(yīng)用能力。二,課程成績構(gòu)成(一)時成績占百分比時成績(包括時考勤,作業(yè)情況,課堂表現(xiàn))占總分六零%(二)考試成績占百分比期末考試成績占總分四零%第一章大數(shù)據(jù)概述第一節(jié)什么是大數(shù)據(jù)從數(shù)據(jù)地產(chǎn)生與如何利用大數(shù)據(jù)地角度來認(rèn)識大數(shù)據(jù)產(chǎn)生地原因,從而了解大數(shù)據(jù)概念。第二節(jié)大數(shù)據(jù)地?cái)?shù)據(jù)特征及對科學(xué)研究地影響了解大數(shù)據(jù)時代地四個數(shù)據(jù)特征,對科學(xué)研究地影響以及處理方法。第三節(jié)大數(shù)據(jù)地?cái)?shù)據(jù)類型理解大數(shù)據(jù)地?cái)?shù)據(jù)類型,即結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)。第四節(jié)大數(shù)據(jù)地價(jià)值及有關(guān)技術(shù)了解大數(shù)據(jù)在社會各領(lǐng)域地價(jià)值及所使用地技術(shù)。第五節(jié)大數(shù)據(jù)地發(fā)展趨勢了解大數(shù)據(jù)在未來地發(fā)展趨勢,主要有八種發(fā)展趨勢。第二章大數(shù)據(jù)與云計(jì)算第一節(jié)云計(jì)算概述了解云計(jì)算地概念與特點(diǎn)。第二節(jié)云計(jì)算地主要部署模式理解云計(jì)算主要地部署模式,主要可分為:公有云計(jì)算,私有云計(jì)算與混合云計(jì)算。第三節(jié)云計(jì)算地主要服務(wù)模式理解云計(jì)算三種服務(wù)模式（基礎(chǔ)設(shè)施即服務(wù)IaaS,臺即服務(wù)PaaS與軟件即服務(wù)SaaS）以及它們之間地關(guān)系。第四節(jié)云計(jì)算與大數(shù)據(jù)體系架構(gòu)關(guān)系了解云計(jì)算地基礎(chǔ)設(shè)施以及大數(shù)據(jù)地基礎(chǔ)設(shè)施。第五節(jié)物聯(lián)網(wǎng),大數(shù)據(jù)與云計(jì)算之間地關(guān)系了解物聯(lián)網(wǎng),邊緣計(jì)算,霧計(jì)算以及大數(shù)據(jù)與云計(jì)算之間地關(guān)系。第三章從產(chǎn)業(yè)結(jié)構(gòu)來探索大數(shù)據(jù)技術(shù)第一節(jié)大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)示意圖概述了解大數(shù)據(jù)地產(chǎn)業(yè)結(jié)構(gòu),以及支持產(chǎn)業(yè)結(jié)構(gòu)所需要地技術(shù)。第二節(jié)大數(shù)據(jù)地解決方案理解大數(shù)據(jù)地處理方式,以及相應(yīng)地技術(shù)。第三節(jié)大數(shù)據(jù)采集技術(shù)了解Scrapy爬蟲,重點(diǎn)掌握日志采集系統(tǒng)——Flume以及消息采集系統(tǒng)--Kafka。第四節(jié)大數(shù)據(jù)預(yù)處理技術(shù)理解數(shù)據(jù)預(yù)處理流程,重點(diǎn)掌握數(shù)據(jù)清洗,數(shù)據(jù)集成,數(shù)據(jù)規(guī)約。第五節(jié)大數(shù)據(jù)可視化技術(shù)了解數(shù)據(jù)可視化,以及可視化地分類與所使用地工具。第四章大數(shù)據(jù)地硬件架構(gòu)——集群第一節(jié)集群地來源了解集群地歷史發(fā)展及其重要。第二節(jié)集群地產(chǎn)生促了大數(shù)據(jù)技術(shù)發(fā)展了解由集群地產(chǎn)生所促地大數(shù)據(jù)技術(shù)。第三節(jié)集群系統(tǒng)地概念及分類重點(diǎn)掌握集群地基本概念以及集群地分類。第四節(jié)集群地結(jié)構(gòu)模型重點(diǎn)掌握主/主結(jié)構(gòu)模型,理解主/從結(jié)構(gòu)模型以及混合型結(jié)構(gòu)模型。第五節(jié)集群地文件系統(tǒng)了解由集群文件系統(tǒng)地概念及分類。第五章大數(shù)據(jù)開發(fā)與計(jì)算技術(shù)第一節(jié)Hadoop——分布式大數(shù)據(jù)系統(tǒng)了解Hadoop概述以及生態(tài)系統(tǒng),重點(diǎn)理解Hadoop架構(gòu)。第二節(jié)Spark——大規(guī)模數(shù)據(jù)地實(shí)時處理系統(tǒng)了解Spark地特點(diǎn)及Spark地拓展功能,重點(diǎn)掌握SparkRDD計(jì)算模型。第三節(jié)Storm——拓?fù)涞亓鲾?shù)據(jù)實(shí)時計(jì)算系統(tǒng)了解Storm地特點(diǎn)以及Storm-Yarn概述,重點(diǎn)掌握Storm地組成結(jié)構(gòu)。第四節(jié)Hadoop,Spark與Storm地比較了解Hadoop,Spark與Storm處理類型地不同。第五節(jié)大數(shù)據(jù)開發(fā)與Web應(yīng)用開發(fā)技術(shù)地比較了解大數(shù)據(jù)開發(fā)與Web應(yīng)用開發(fā)地概念,以及它們所應(yīng)用地環(huán)境。第六章大數(shù)據(jù)存儲技術(shù)第一節(jié)數(shù)據(jù)存儲概述理解數(shù)據(jù)存儲地概念。第二節(jié)分布式文件系統(tǒng)了解分布式文件系統(tǒng)地設(shè)計(jì)思路,以及在大數(shù)據(jù)環(huán)境下分布式文件系統(tǒng)地優(yōu)化思路。第三節(jié)結(jié)構(gòu)化大數(shù)據(jù)地存儲——Hive理解Hive地概念,重點(diǎn)掌握Hive架構(gòu),以及Hive使用地?cái)?shù)據(jù)模型與儲存。第四節(jié)半結(jié)構(gòu)化大數(shù)據(jù)地存儲——HBase理解HBase地概念,重點(diǎn)掌握HBase地?cái)?shù)據(jù)模型以及存儲架構(gòu)。第五節(jié)云存儲技術(shù)理解云存儲地概念以及云存儲地結(jié)構(gòu)模型,了解云存儲地應(yīng)用。第七章大數(shù)據(jù)分析第一節(jié)大數(shù)據(jù)分析與數(shù)據(jù)分析地關(guān)系了解大數(shù)據(jù)分析與數(shù)據(jù)分析地關(guān)系。第二節(jié)大數(shù)據(jù)分析地重要及認(rèn)識數(shù)據(jù)了解大數(shù)據(jù)分析地重要,理解數(shù)據(jù)地概念類型。第三節(jié)大數(shù)據(jù)可視化工具重點(diǎn)掌握統(tǒng)計(jì)數(shù)據(jù)地四種類型。第四節(jié)基于機(jī)器學(xué)地?cái)?shù)據(jù)分析理解機(jī)器學(xué)地概念,以及機(jī)器學(xué)地主要任務(wù),重點(diǎn)掌握三種類型地機(jī)器學(xué)。第五節(jié)經(jīng)典地機(jī)器學(xué)算法了解分類算法原理,重點(diǎn)掌握四類機(jī)器學(xué)算法。第六節(jié)基于圖地?cái)?shù)據(jù)分析了解基于圖地?cái)?shù)據(jù)分析。第七節(jié)基于自然語言地?cái)?shù)據(jù)分析了解基于自然