《大數(shù)據(jù)平臺(tái)核心技術(shù)》教學(xué)大綱

《大數(shù)據(jù)平臺(tái)核心技術(shù)》教學(xué)大綱課程編號(hào)：13220704英文名稱：CoreTechnologyOfBigDataPlatform學(xué)分：3學(xué)時(shí)：總學(xué)時(shí)64學(xué)時(shí)，其中理論32學(xué)時(shí)，實(shí)踐32學(xué)時(shí)先修課程：程序設(shè)計(jì)、Hadoop核心技術(shù)課程類別：專業(yè)拓展課程授課對(duì)象：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生教學(xué)單位：機(jī)械與電氣工程學(xué)院修讀學(xué)期：第6學(xué)期一、課程描述和目標(biāo)大數(shù)據(jù)平臺(tái)核心技術(shù)主要針對(duì)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、計(jì)算機(jī)科學(xué)與技術(shù)、電子信息等專業(yè)學(xué)生，是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)拓展性課程，它擔(dān)負(fù)著系統(tǒng)、全面地理解大數(shù)據(jù)，提高大數(shù)據(jù)應(yīng)用技能的重任。主要講解大數(shù)據(jù)平臺(tái)涉及到的大數(shù)據(jù)構(gòu)架、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)可視化等內(nèi)容，并通過(guò)實(shí)踐力圖覆蓋大數(shù)據(jù)處理平臺(tái)的主要核心技術(shù)，幫助學(xué)生了解大數(shù)據(jù)平臺(tái)設(shè)計(jì)中的關(guān)鍵挑戰(zhàn)，提出實(shí)際的解決方案，為學(xué)生未來(lái)就業(yè)及研究方向提供參考。通過(guò)本課程教學(xué)，使學(xué)生對(duì)大數(shù)據(jù)平臺(tái)涉及的核心技術(shù)有一個(gè)全面的了解，掌握基本的大數(shù)據(jù)采集、存儲(chǔ)和分析方法，并且具備一定對(duì)具體實(shí)際問(wèn)題的處理能力。本課程擬達(dá)到的課程目標(biāo):通過(guò)本課程的學(xué)習(xí)，讓學(xué)生接觸并了解大數(shù)據(jù)平臺(tái)的基本原理和核心技術(shù)，使學(xué)生具有較強(qiáng)的分析問(wèn)題和解決問(wèn)題的能力，為將來(lái)從事大數(shù)據(jù)相關(guān)領(lǐng)域的工作打下堅(jiān)實(shí)的基礎(chǔ)。具體的課程目標(biāo)如下：課程目標(biāo)1：能夠理解大數(shù)據(jù)平臺(tái)的基本原理和涉及的相關(guān)主要技術(shù)。課程目標(biāo)2：掌握數(shù)據(jù)采集、清洗、存儲(chǔ)技術(shù)，能夠設(shè)計(jì)并優(yōu)化模型，熟練調(diào)度和使用主要資源庫(kù)。課程目標(biāo)3：理解大數(shù)據(jù)分析處理技術(shù)方法，能針對(duì)具體實(shí)際問(wèn)題設(shè)計(jì)可行解決方案并實(shí)現(xiàn)。二、課程目標(biāo)對(duì)畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)權(quán)重3-1：能夠設(shè)計(jì)針對(duì)大數(shù)據(jù)系統(tǒng)工程問(wèn)題的解決方案，包括滿足特定需求的系統(tǒng)架構(gòu)、數(shù)據(jù)庫(kù)設(shè)計(jì)、數(shù)據(jù)挖掘方法、系統(tǒng)實(shí)現(xiàn)、測(cè)試與驗(yàn)證等，并在設(shè)計(jì)環(huán)節(jié)中體現(xiàn)創(chuàng)新意識(shí)。課程目標(biāo)10.44-2：能夠基于數(shù)據(jù)科學(xué)的方法和原理，就大數(shù)據(jù)工程應(yīng)用中涉及的信息處理、數(shù)據(jù)關(guān)聯(lián)、模型預(yù)測(cè)等數(shù)據(jù)挖掘問(wèn)題進(jìn)行研究，設(shè)計(jì)相關(guān)的實(shí)驗(yàn)方案，并對(duì)結(jié)果或數(shù)據(jù)進(jìn)行分析與總結(jié)，得到合理有效的結(jié)論。課程目標(biāo)20.45-2：能夠針對(duì)大數(shù)據(jù)工程問(wèn)題，為預(yù)測(cè)與分析工程模型選擇和使用合適的現(xiàn)代工程工具和信息技術(shù)工具，并能理解其局限性。課程目標(biāo)30.2三、教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容基本要求學(xué)時(shí)教學(xué)方式對(duì)應(yīng)課程目標(biāo)1大數(shù)據(jù)概述1. 了解大數(shù)據(jù)的概述2. 掌握大叔的特征3. 理解大數(shù)據(jù)的意義2講授演示練習(xí)課程目標(biāo)12云計(jì)算基礎(chǔ)1. 了解云計(jì)算概述2. 掌握云計(jì)算類型、層次、服務(wù)模式3. 了解云計(jì)算關(guān)鍵技術(shù)4. 理解云計(jì)算與大數(shù)據(jù)的關(guān)系5. 了解云計(jì)算平臺(tái)2講授演示練習(xí)課程目標(biāo)13大數(shù)據(jù)架構(gòu)1. 了解大數(shù)據(jù)架構(gòu)概述2. 掌握Hadoop架構(gòu)3. 掌握HDFS架構(gòu)4. 掌握MapReduce架構(gòu)4講授演示練習(xí)課程目標(biāo)24數(shù)據(jù)采集1. 了解數(shù)據(jù)采集概述2. 了解數(shù)據(jù)采集平臺(tái)3. 掌握數(shù)據(jù)采集基礎(chǔ)4. 掌握網(wǎng)絡(luò)爬蟲(chóng)Scrapy框架5. 掌握Python爬蟲(chóng)實(shí)現(xiàn)4講授演示練習(xí)課程目標(biāo)25數(shù)據(jù)清洗1. 了解數(shù)據(jù)清洗概述2. 掌握數(shù)據(jù)清洗常用方法3. 掌握數(shù)據(jù)質(zhì)量和數(shù)據(jù)倉(cāng)庫(kù)4. 掌握數(shù)據(jù)清洗環(huán)境和常用工具4講授演示練習(xí)課程目標(biāo)26大數(shù)據(jù)存儲(chǔ)1. 了解大數(shù)據(jù)存儲(chǔ)概述2. 掌握大數(shù)據(jù)存儲(chǔ)方式3. 掌握NoSQL數(shù)據(jù)庫(kù)4. 掌握NewSQL數(shù)據(jù)庫(kù)5. 掌握云數(shù)據(jù)庫(kù)4講授演示練習(xí)課程目標(biāo)27大數(shù)據(jù)分析與挖掘1. 了解大數(shù)據(jù)分析概述2. 了解大數(shù)據(jù)挖掘概述3. 掌握各種數(shù)據(jù)挖掘算法原理及優(yōu)化4講授演示練習(xí)課程目標(biāo)28大數(shù)據(jù)可視化1. 了解大數(shù)據(jù)可視化概述2. 掌握大數(shù)據(jù)可視化方法3. 掌握大數(shù)據(jù)可視化常用工具4. 了解大數(shù)據(jù)可視化技術(shù)的應(yīng)用4講授演示練習(xí)課程目標(biāo)39綜合案例——大數(shù)據(jù)行業(yè)應(yīng)用1. 了解工業(yè)大數(shù)據(jù)概述2. 了解工業(yè)大數(shù)據(jù)特點(diǎn)及內(nèi)涵3. 了解工業(yè)大數(shù)據(jù)與行業(yè)關(guān)系4. 掌握工業(yè)大數(shù)據(jù)的應(yīng)用4講授演示練習(xí)課程目標(biāo)3合計(jì)32序號(hào)實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容與要求學(xué)時(shí)類型對(duì)應(yīng)課程目標(biāo)1云計(jì)算基礎(chǔ)在window系統(tǒng)中安裝虛擬機(jī)安裝；熟悉基本操作；用CentOS7部署openstack。必修2驗(yàn)證課程目標(biāo)12Hadoop平臺(tái)安裝和配置安裝并配置Hadoop平臺(tái)；熟悉基本操作，并演示。必修2驗(yàn)證課程目標(biāo)13基于簡(jiǎn)易軟件數(shù)據(jù)采集安裝八爪魚(yú)軟件；了解網(wǎng)絡(luò)爬蟲(chóng)的特點(diǎn)；熟悉大數(shù)據(jù)采集有關(guān)的操作。選修2驗(yàn)證課程目標(biāo)24數(shù)據(jù)清洗常用工具利用Excel的數(shù)據(jù)清洗；利用Kettle的數(shù)據(jù)清洗；利用DataCleaner的數(shù)據(jù)清洗。必修4驗(yàn)證課程目標(biāo)25Redis數(shù)據(jù)庫(kù)和MongoDB數(shù)據(jù)庫(kù)安裝并運(yùn)行Redis數(shù)據(jù)庫(kù)，熟悉Redis數(shù)據(jù)庫(kù)基本操作并演示；安裝并運(yùn)行MongoDB數(shù)據(jù)庫(kù)，熟悉相關(guān)操作并演示。必修4驗(yàn)證課程目標(biāo)26常用機(jī)器學(xué)習(xí)算法編程實(shí)現(xiàn)K-means算法，并實(shí)現(xiàn)對(duì)數(shù)據(jù)聚類分析；編程實(shí)現(xiàn)SVM算法，實(shí)現(xiàn)對(duì)數(shù)據(jù)分類分析；編程實(shí)現(xiàn)回歸算法，分析房?jī)r(jià)關(guān)系。必修6驗(yàn)證課程目標(biāo)27大數(shù)據(jù)可視化實(shí)現(xiàn)詞云制作；大數(shù)據(jù)可視化應(yīng)用調(diào)研分析；利用Excel進(jìn)行可視化；利用Echarts進(jìn)行可視化；利用Tableau進(jìn)行可視化。必修4驗(yàn)證課程目標(biāo)38綜合案例交通大數(shù)據(jù)應(yīng)用實(shí)現(xiàn)；教育大數(shù)據(jù)應(yīng)用實(shí)現(xiàn)。必修8綜合課程目標(biāo)3合計(jì)32注：實(shí)驗(yàn)要求包括必修、選修；實(shí)驗(yàn)類型包括演示、驗(yàn)證、綜合、設(shè)計(jì)等。四、課程教學(xué)方法理論教學(xué)：主要采用課堂講授、程序演示、小組討論等方式。實(shí)驗(yàn)教學(xué)：項(xiàng)目講解、學(xué)生自主實(shí)驗(yàn)、個(gè)別輔導(dǎo)、程序分析等方式。五、學(xué)業(yè)評(píng)價(jià)和課程考核推行多元評(píng)價(jià)，對(duì)本課程所采用的評(píng)價(jià)和考核方式作具體說(shuō)明，若采用多種考核方法請(qǐng)分別列出考核評(píng)價(jià)的方法、內(nèi)容、考核標(biāo)準(zhǔn)、成績(jī)占比等，考核方法、內(nèi)容應(yīng)突出“學(xué)生中心、產(chǎn)出導(dǎo)向”。（一）考核方式及具體要求1.課程成績(jī)構(gòu)成與要求課程考核注重形成性和終結(jié)性評(píng)價(jià)相結(jié)合，考核內(nèi)容主要由平時(shí)作業(yè)、章節(jié)測(cè)試、實(shí)驗(yàn)、期末考核組成，均按百分制計(jì)分，其中期末考核成績(jī)占50%、平時(shí)作業(yè)成績(jī)占10%、課堂表現(xiàn)成績(jī)占10%、實(shí)驗(yàn)成績(jī)占30%。2.課程目標(biāo)達(dá)成考核與評(píng)價(jià)序號(hào)教學(xué)環(huán)節(jié)課程目標(biāo)1（分值）課程目標(biāo)2（分值）課程目標(biāo)3（分值）合計(jì)1平時(shí)作業(yè)334102課堂表現(xiàn)334103實(shí)驗(yàn)10155304期末考試20201050課程目標(biāo)對(duì)應(yīng)分值364123100（二）考核與評(píng)價(jià)標(biāo)準(zhǔn)1.平時(shí)成績(jī)考核與評(píng)價(jià)標(biāo)準(zhǔn)分值觀測(cè)點(diǎn)90-100分70-89分60-69分0-59分作業(yè)按時(shí)完成，90%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握到位。能夠利用理論知識(shí)識(shí)別、分析領(lǐng)域相關(guān)專業(yè)問(wèn)題。按時(shí)完成，70%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握較到位。能夠較好利用理論知識(shí)識(shí)別、分析領(lǐng)域相關(guān)專業(yè)問(wèn)題。延時(shí)完成，60%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握基本到位。利用理論知識(shí)對(duì)領(lǐng)域相關(guān)專業(yè)問(wèn)題有一定的識(shí)別、分析。不交和補(bǔ)交，50%以下的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握有偏差。不能利用理論知識(shí)對(duì)領(lǐng)域相關(guān)專業(yè)問(wèn)題進(jìn)行識(shí)別、分析。2.課堂表現(xiàn)評(píng)價(jià)標(biāo)準(zhǔn)出勤，遲到1次扣0.5分，無(wú)故曠課1次扣1分；上課玩手機(jī)1次扣1分，擾亂課堂秩序1次扣1分；參與課堂討論加1分。3.實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)分值觀測(cè)點(diǎn)90-100分70-89分60-69分0-59分實(shí)驗(yàn)獨(dú)立正確完成實(shí)驗(yàn)內(nèi)容，方法具有一定的創(chuàng)新性，認(rèn)真撰寫(xiě)實(shí)驗(yàn)報(bào)告和實(shí)驗(yàn)心得和總結(jié)。獨(dú)立正確完成實(shí)驗(yàn)，方法沒(méi)有太多創(chuàng)新，提交實(shí)驗(yàn)報(bào)告和總結(jié)。完成實(shí)驗(yàn)，結(jié)果基本正確，實(shí)驗(yàn)報(bào)告和總結(jié)比較隨意。實(shí)驗(yàn)沒(méi)有完成，或結(jié)果不正確，沒(méi)有提交實(shí)驗(yàn)報(bào)告和實(shí)驗(yàn)總結(jié)。4.期末大作業(yè)考核與評(píng)價(jià)標(biāo)準(zhǔn)期末考試成績(jī)采用項(xiàng)目大作業(yè)的考核方式，在規(guī)定時(shí)間內(nèi)完成一個(gè)小型項(xiàng)目，提交項(xiàng)目代碼，同時(shí)附項(xiàng)目的解決思路、實(shí)施步驟、結(jié)果、個(gè)人體會(huì)等內(nèi)容。優(yōu)秀：思路正確，方案很好，步驟清楚，實(shí)現(xiàn)了所有功能，。良好：思路正確，方案可行，步驟清楚，實(shí)現(xiàn)了大部分功能。中等：思路正確，方案復(fù)雜，實(shí)現(xiàn)了大部分功能，但方法不簡(jiǎn)潔。及格