大數(shù)據(jù)處理技術(shù)教學(xué)大綱

1、大數(shù)據(jù)處理技術(shù)一、課程說(shuō)明課程編號(hào)： 390144Z10課程名稱（中/英文）：大數(shù)據(jù)處理技術(shù)/ Big Data Processing Technology課程類別：專業(yè)選修課學(xué)時(shí)/學(xué)分：32/2先修課程：Java面向?qū)ο蟪绦蛟O(shè)計(jì)、算法分析與設(shè)計(jì)、Linux程序設(shè)計(jì)環(huán)境、大型數(shù)據(jù)庫(kù)技術(shù)、云計(jì)算及應(yīng)用、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖據(jù)適用專業(yè)：軟件工程 教材、教學(xué)參考書：1 云計(jì)算（第三版）. 劉鵬, 北京：電子工業(yè)出版社，20152 Hadoop: The Definitive Guide, Fourth Edition, Tom White, O'Reilly3 Data-Intensive Te

2、xt Processing with MapReduce, Jimmy Lin and Chris Dyer, Morgan & Claypool4 Big Data: Algorithms, Analytics, and Applications. Kuan-Ching Li, Hai Jiang, Laurence T. Yang, Alfredo Cuzzocrea. Chapman and Hall/CRC二、課程設(shè)置的目的意義大數(shù)據(jù)處理技術(shù)是軟件工程專業(yè)選修課程之一，是一門前沿性和實(shí)踐性較強(qiáng)的課程。本課程主要講解大數(shù)據(jù)存儲(chǔ)、分析處理與挖掘相關(guān)技術(shù)，使學(xué)生了解大規(guī)模數(shù)據(jù)處理常用

3、的技術(shù)、算法和應(yīng)用系統(tǒng)領(lǐng)域的主要現(xiàn)狀，掌握大規(guī)模數(shù)據(jù)處理相關(guān)的常用算法，熟悉Hadoop和Spark系統(tǒng)的設(shè)計(jì)與應(yīng)用，了解大數(shù)據(jù)處理方向的前沿發(fā)展，為今后從事科研或?qū)嵺`工作打下良好的基礎(chǔ)。三、課程的基本要求通過(guò)本課程的學(xué)習(xí)，要求學(xué)生能夠了解大數(shù)據(jù)處理的基本理論、方法和技術(shù)，初步掌握基于Hadoop和Spark的數(shù)據(jù)處理技術(shù)。具體要求如下：（一）知識(shí)學(xué)習(xí)要求1.掌握基于Hadoop的大數(shù)據(jù)處理架構(gòu);掌握MapReduce計(jì)算模式;掌握基于HDFS的大數(shù)據(jù)存儲(chǔ)方法; 對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”1-D；1.了解大數(shù)據(jù)處理的概念；了解HBase大數(shù)據(jù)庫(kù)；了解大數(shù)據(jù)的分析處理技術(shù)；了解基于MapReduc

4、e的數(shù)據(jù)挖掘；了解Spark的架構(gòu)及編程方法；了解大數(shù)據(jù)處理的前沿發(fā)展；對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”1-。（二）能力培養(yǎng)要求1. 能運(yùn)用大數(shù)據(jù)處理相關(guān)計(jì)算和方法分析處理特定領(lǐng)域的問題，可以針對(duì)不同問題的特點(diǎn)選擇合適的大數(shù)據(jù)處理算法并進(jìn)行改進(jìn)，對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-A；2. 能就大數(shù)據(jù)處理問題獨(dú)立撰寫綜合實(shí)驗(yàn)報(bào)告，并通過(guò)小組協(xié)作共同撰寫項(xiàng)目解決方案，對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-C；3. 能針對(duì)大數(shù)據(jù)處理行業(yè)發(fā)展的需要，不斷探索和緊跟大數(shù)據(jù)發(fā)展前沿，掌握自主學(xué)習(xí)和終身學(xué)習(xí)的方法，對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-D；4. 初步獲得對(duì)于大數(shù)據(jù)的獲取、存儲(chǔ)和分析能力；能夠設(shè)計(jì)和部署大數(shù)據(jù)處理平臺(tái)（Hado

5、op或Spark）；能夠設(shè)計(jì)和運(yùn)用數(shù)據(jù)挖掘算法來(lái)分析處理大數(shù)據(jù)；對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-。（三）素質(zhì)培養(yǎng)要求1. 能夠針對(duì)軟件項(xiàng)目設(shè)計(jì)方案，使用批判性思維方法，不斷完善和豐富工程設(shè)計(jì)，對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”3-；2. 培養(yǎng)團(tuán)隊(duì)協(xié)作精神和責(zé)任意識(shí)，理解團(tuán)隊(duì)合作的作用和意義，善于在團(tuán)隊(duì)中運(yùn)用軟件工程知識(shí)解決工程實(shí)踐問題，對(duì)應(yīng)培養(yǎng)方案“培養(yǎng)要求”3-。四、教學(xué)內(nèi)容、重點(diǎn)難點(diǎn)及教學(xué)設(shè)計(jì)章節(jié)教學(xué)內(nèi)容總學(xué)時(shí)學(xué)時(shí)分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計(jì)（含教學(xué)方法、教學(xué)手段）講課(含研討)實(shí)踐第1章大數(shù)據(jù)的概念、大數(shù)據(jù)處理平臺(tái)的基礎(chǔ)架構(gòu)、大數(shù)據(jù)處理的存儲(chǔ)、大數(shù)據(jù)處理的計(jì)算模式、大數(shù)據(jù)處理系統(tǒng)的容錯(cuò)性、大數(shù)據(jù)與

6、云計(jì)算的關(guān)系220大數(shù)據(jù)的存儲(chǔ)與計(jì)算大數(shù)據(jù)與云計(jì)算關(guān)系教學(xué)思路：通過(guò)我校醫(yī)療大數(shù)據(jù)和貴陽(yáng)大數(shù)據(jù)中心的案例講述大數(shù)據(jù)的概念，然后引出大數(shù)據(jù)處理的基礎(chǔ)架構(gòu)、存儲(chǔ)、計(jì)算模式和特性，并課堂討論大數(shù)據(jù)和云計(jì)算的關(guān)系。教學(xué)方法：調(diào)查分析、講授、課堂討論教學(xué)手段：PPT、視頻、課程學(xué)習(xí)網(wǎng)站第2章基于Hadoop的大數(shù)據(jù)處理架構(gòu)：Hadoop的由來(lái)、Hadoop原理與運(yùn)行機(jī)制、Hadoop相關(guān)技術(shù)及簡(jiǎn)介、Hadoop技術(shù)的發(fā)展與演進(jìn)642Hadoop架構(gòu)Hadoop的部署配置教學(xué)思路：通過(guò)開源項(xiàng)目Hadoop創(chuàng)始人的故事講述Hadoop的由來(lái)，運(yùn)用對(duì)比的方法講述Hadoop的原理和相關(guān)技術(shù)，并要求學(xué)生組成項(xiàng)目

7、組，研究安裝使用Hadoop平臺(tái)，進(jìn)行展示交流。教學(xué)方法：講授、項(xiàng)目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)網(wǎng)站第3章MapReduce計(jì)算模式：MapReduce原理、工作機(jī)制、應(yīng)用開發(fā)、設(shè)計(jì)模式和算法實(shí)踐642MapReduce計(jì)算模型MadpReduce的實(shí)際應(yīng)用教學(xué)思路：通過(guò)文本字符串統(tǒng)計(jì)和圖書館圖書數(shù)量統(tǒng)計(jì)兩個(gè)案例講述MapReduce的原理，分析MapReduce的工作機(jī)制，并要求學(xué)生組成項(xiàng)目組，在Hadoop平臺(tái)上運(yùn)用MapReduce設(shè)計(jì)和實(shí)現(xiàn)大數(shù)據(jù)處理程序，并進(jìn)行展示交流。教學(xué)方法：講授、項(xiàng)目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)網(wǎng)站第4章使用HDF

8、S存儲(chǔ)大數(shù)據(jù)：大數(shù)據(jù)的云存儲(chǔ)需求、HDFS架構(gòu)與流程、文件訪問與控制、HDFS性能優(yōu)化、HDFS的小文件存儲(chǔ)問題、HDFS的高可用性問題422HDFS存儲(chǔ)架構(gòu)HDFS的文件存儲(chǔ)教學(xué)思路：以分布式數(shù)據(jù)存儲(chǔ)需求為出發(fā)點(diǎn)，討論分布式存儲(chǔ)系統(tǒng)HDFS的技術(shù)原理，探討HDFS的問題和優(yōu)化方向，要求學(xué)生組成項(xiàng)目組，在Hadoop平臺(tái)上運(yùn)用HDFS進(jìn)行文件存儲(chǔ)，并進(jìn)行展示交流。教學(xué)方法：講授、項(xiàng)目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)網(wǎng)站第5章大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫(kù)、HBase大數(shù)據(jù)庫(kù)架構(gòu)與原理、管理HBase中的數(shù)據(jù)、從RDBMS到HBase、在HBase上運(yùn)行MapReduce、 HBase

9、性能優(yōu)化440Hbase的 架構(gòu)基于HBase的應(yīng)用開發(fā)教學(xué)思路：通過(guò)闡述關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)的關(guān)系，討論大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫(kù)HBase的技術(shù)原理，要求學(xué)生在HBase上運(yùn)行MapReduce程序，并進(jìn)行展示交流。教學(xué)方法：講授、項(xiàng)目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)平臺(tái)第6章數(shù)據(jù)挖掘及其分布式并行化、基于MapReduce的數(shù)據(jù)挖掘與Mahout、經(jīng)典數(shù)據(jù)挖掘算法的MapReduce實(shí)例、 基于云計(jì)算的數(shù)據(jù)挖掘?qū)嵺`及面臨的挑戰(zhàn)440基于MapReduce的經(jīng)典數(shù)據(jù)挖掘算法基于MapReduce的數(shù)據(jù)挖掘算法的實(shí)現(xiàn)專題式教學(xué)第7章Spark生態(tài)和安裝部署、Spark運(yùn)行架

10、構(gòu)和解析、Spark監(jiān)控和調(diào)優(yōu)、Spark編程模型和解析、Spark機(jī)器學(xué)習(xí)入門422Spark架構(gòu)Spark編程專題式教學(xué)第8章下一代計(jì)算框架YARN、大數(shù)據(jù)的實(shí)時(shí)交互式分析、Google Dremel、Cloudera Impala、大數(shù)據(jù)的圖計(jì)算、Apache Hama開源項(xiàng)目220大數(shù)據(jù)處理新技術(shù)大數(shù)據(jù)處理前沿發(fā)展專題式教學(xué)注：實(shí)踐包括實(shí)驗(yàn)、上機(jī)等五、實(shí)踐教學(xué)內(nèi)容和基本要求要求通過(guò)完成課內(nèi)實(shí)驗(yàn)作業(yè)，搭建Hadoop和Spark大數(shù)據(jù)處理平臺(tái)，熟悉基于Hadoop和Spark的大數(shù)據(jù)分析技術(shù)，提交實(shí)驗(yàn)報(bào)告。課內(nèi)實(shí)驗(yàn)內(nèi)容如下表所示。實(shí)驗(yàn)名稱實(shí)驗(yàn)內(nèi)容學(xué)時(shí)基本要求Hadoop安裝與配置云平臺(tái)配置2掌握Hadoop安裝、HDFS文件讀寫方法。利用MapReduce算法處理數(shù)據(jù)MapReduce算法設(shè)計(jì)2利用MapReduce算法設(shè)計(jì)一個(gè)程序統(tǒng)計(jì)文檔中字符串的數(shù)量。Spark安裝和使用Spark安裝及性能評(píng)估4完成Spark的安裝，并編程測(cè)試Spark的性能。六、考核方式及成績(jī)?cè)u(píng)定考核方式考核內(nèi)容成績(jī)