大數(shù)據(jù)采集與預(yù)處理課程教學(xué)大綱

1、大數(shù)據(jù)采集與預(yù)處理課程教學(xué)大綱（ 2019版 ）一、課程基本信息 1課程名稱：大數(shù)據(jù)分析及可視化2課程編號(hào)：19020262b3學(xué)分學(xué)時(shí)：2學(xué)分，32學(xué)時(shí)4考核方式：考查5適用專業(yè)：人工智能專業(yè)6先修課程：Python程序設(shè)計(jì)、Hadoop與Spark7后續(xù)課程：大數(shù)據(jù)分析及可視化課程實(shí)踐8開課單位：計(jì)算機(jī)學(xué)院二、課程目標(biāo)本課程旨在培養(yǎng)學(xué)生學(xué)會(huì)使用的大數(shù)據(jù)分析工具與方法及可視化工具與技術(shù)，包括Hive、HBase大數(shù)據(jù)存儲(chǔ)技術(shù)，分類與預(yù)測、聚類、關(guān)聯(lián)規(guī)則、推薦等大數(shù)據(jù)分析方法，基于JavaScript、Python的可視化分析工具應(yīng)用等，提升大數(shù)據(jù)分析和可視化應(yīng)用能力。通過本課程的理論教學(xué)與課

2、內(nèi)實(shí)驗(yàn)訓(xùn)練（尤其是自主學(xué)習(xí)），學(xué)生應(yīng)取得如下學(xué)習(xí)成果：1.了解Hive、HBase等大數(shù)據(jù)存儲(chǔ)技術(shù)，理解Hive、HBase架構(gòu)、數(shù)據(jù)模型、訪問接口。2.理解常用分類與預(yù)測算法、聚類分析方法、關(guān)聯(lián)規(guī)則算法、協(xié)同過濾推薦等大數(shù)據(jù)分析方法，掌握Mahout大數(shù)據(jù)分析工具，能夠通過編程語言接口進(jìn)行實(shí)驗(yàn)的模擬和仿真。3.理解大數(shù)據(jù)可視化的重要性，大數(shù)據(jù)可視化技術(shù)及類型，掌握大數(shù)據(jù)可視化工具，能夠使用JavaScript或Python進(jìn)行可視化實(shí)驗(yàn)程序的模擬和仿真。4結(jié)合人工智能中的具體應(yīng)用，利用大數(shù)據(jù)分析與可視化技術(shù)進(jìn)行模擬和預(yù)測，并理解技術(shù)的局限性。三、課程目標(biāo)與畢業(yè)要求的關(guān)系 支撐的畢業(yè)要求支撐的

3、指標(biāo)點(diǎn)課程目標(biāo)（權(quán)重）4研究：能夠基于科學(xué)原理并采用科學(xué)方法對復(fù)雜工程問題進(jìn)行研究，包括設(shè)計(jì)實(shí)驗(yàn)、分析與解釋數(shù)據(jù)、并通過信息綜合得到合理有效的結(jié)論。4-3能夠根據(jù)實(shí)驗(yàn)方案構(gòu)建實(shí)驗(yàn)系統(tǒng)，進(jìn)行實(shí)驗(yàn)課程目標(biāo)1（0.2）課程目標(biāo)2（0.4）課程目標(biāo)3（0.4）5使用現(xiàn)代工具：能夠針對復(fù)雜工程問題，開發(fā)、選擇與使用恰當(dāng)?shù)募夹g(shù)、資源、現(xiàn)代工程工具和信息技術(shù)工具，包括對復(fù)雜工程問題的預(yù)測與模擬，并能夠理解其局限性。5-1能夠針對人工智能領(lǐng)域的復(fù)雜工程問題，選擇恰當(dāng)?shù)募夹g(shù)、資源和開發(fā)工具。課程目標(biāo)1（0.2）課程目標(biāo)2（0.4）課程目標(biāo)3（0.4）5-2能夠使用恰當(dāng)?shù)募夹g(shù)、資源和開發(fā)工具對數(shù)據(jù)科學(xué)領(lǐng)域的復(fù)雜工

4、程問題進(jìn)行預(yù)測與模擬，并能夠理解其局限性。課程目標(biāo)2（0.2）課程目標(biāo)3（0.2）課程目標(biāo)4（0.6）四、教學(xué)內(nèi)容及學(xué)習(xí)要求第一單元 Hadoop大數(shù)據(jù)組件：Hive支撐目標(biāo)：課程目標(biāo)1教學(xué)內(nèi)容：1Hive簡介；2Hive安裝與配置；3Hive架構(gòu)；4Hive數(shù)據(jù)模型。學(xué)習(xí)要求：1了解Hive；2理解Hive架構(gòu)與數(shù)據(jù)模型；2掌握Hive安裝與配置。第二單元 Hadoop大數(shù)據(jù)組件：HBase支撐目標(biāo)：課程目標(biāo)1教學(xué)內(nèi)容：1HBase簡介；2HBase架構(gòu)；3HBase數(shù)據(jù)模型與訪問接口；4HBase安裝與配置。實(shí)驗(yàn)1Hadoop大數(shù)據(jù)組件實(shí)踐。學(xué)習(xí)要求：1了解HBase；2理解HBase架構(gòu)

5、、數(shù)據(jù)模型與訪問接口；3掌握HBase安裝與配置。第三單元 大數(shù)據(jù)分析技術(shù)支撐目標(biāo)：課程目標(biāo)2教學(xué)內(nèi)容：1常用分類與預(yù)測算法；2常用聚類分析算法；3. 常用關(guān)聯(lián)規(guī)則算法；4. 常用推薦算法；5. 大數(shù)據(jù)分析工具M(jìn)ahout。實(shí)驗(yàn)2大數(shù)據(jù)分析技術(shù)實(shí)踐。學(xué)習(xí)要求：1理解常用分類與預(yù)測算法；2理解常用聚類分析算法；3理解常用關(guān)聯(lián)規(guī)則算法；4理解常用推薦算法；第四單元 大數(shù)據(jù)可視化概述支撐目標(biāo)：課程目標(biāo)3教學(xué)內(nèi)容：1大數(shù)據(jù)可視化的重要性；2大數(shù)據(jù)可視化技術(shù)；3大數(shù)據(jù)可視化工具；4大數(shù)據(jù)可視化應(yīng)用。學(xué)習(xí)要求：1理解大數(shù)據(jù)可視化的重要性；2了解大數(shù)據(jù)可視化技術(shù)；3掌握大數(shù)據(jù)可視化工具；4了解大數(shù)據(jù)可視化應(yīng)

6、用。第五單元 大數(shù)據(jù)可視化編程支撐目標(biāo)：課程目標(biāo)3教學(xué)內(nèi)容：1可視化圖表繪制； 2和圖表進(jìn)行交互； 3在頁面中整合圖表。 4特殊數(shù)據(jù)的可視化；實(shí)驗(yàn)3大數(shù)據(jù)可視化編程實(shí)踐。學(xué)習(xí)要求：1掌握可視化圖表繪制編程技術(shù)；2掌握和圖表進(jìn)行交互的編程技術(shù)；3掌握在頁面中整合圖表的編程技術(shù)；4掌握特殊數(shù)據(jù)的可視化編程技術(shù)。第六單元 大數(shù)據(jù)分析及可視化應(yīng)用支撐目標(biāo)：課程目標(biāo)4教學(xué)內(nèi)容：1評論數(shù)據(jù)的情感分析應(yīng)用； 2分布式協(xié)同過濾的推薦應(yīng)用； 3日志大數(shù)據(jù)分析及可視化應(yīng)用。實(shí)驗(yàn)4大數(shù)據(jù)分析及可視化應(yīng)用實(shí)踐。學(xué)習(xí)要求：1掌握評論數(shù)據(jù)的情感分析應(yīng)用；2掌握分布式協(xié)同過濾的推薦應(yīng)用；3掌握日志大數(shù)據(jù)分析及可視化應(yīng)用。五

7、、學(xué)時(shí)分配本課程各單元建議學(xué)時(shí)分配如下表，具體實(shí)施時(shí)應(yīng)根據(jù)學(xué)生學(xué)習(xí)效果做適當(dāng)調(diào)整。教學(xué)內(nèi)容課堂講授實(shí)驗(yàn)習(xí)題課研討小計(jì)第一單元 Hadoop大數(shù)據(jù)組件：Hive44第二單元 Hadoop大數(shù)據(jù)組件：HBase426第三單元 大數(shù)據(jù)分析技術(shù)426第四單元 大數(shù)據(jù)可視化概述44第五單元 大數(shù)據(jù)可視化編程426第六單元 大數(shù)據(jù)分析及可視化應(yīng)用426小 計(jì)24832六、課內(nèi)實(shí)驗(yàn)安排序號(hào)實(shí)驗(yàn)項(xiàng)目學(xué)時(shí)性質(zhì)類型每組生數(shù)備注1Hadoop大數(shù)據(jù)組件實(shí)踐2必做設(shè)計(jì)12大數(shù)據(jù)分析技術(shù)實(shí)踐2必做設(shè)計(jì)13大數(shù)據(jù)可視化編程實(shí)踐2必做設(shè)計(jì)14大數(shù)據(jù)分析及可視化應(yīng)用實(shí)踐2必做設(shè)計(jì)1注：具體實(shí)驗(yàn)內(nèi)容及要求見相應(yīng)實(shí)驗(yàn)教學(xué)大綱。七

8、、教學(xué)方法本課程強(qiáng)調(diào)理論與實(shí)踐相結(jié)合，通過理論學(xué)習(xí)、實(shí)踐運(yùn)用、課程實(shí)驗(yàn)、課后動(dòng)手，使學(xué)生獲得知識(shí)運(yùn)用能力、實(shí)驗(yàn)分析能力和工程設(shè)計(jì)能力。教學(xué)中應(yīng)注重工程實(shí)例的引入和分析，引導(dǎo)學(xué)生獨(dú)立思考和自主分析，并因材施教；應(yīng)結(jié)合授課內(nèi)容，適當(dāng)安排不同難度的復(fù)習(xí)思考題（建議分成基本/提高/綜合三個(gè)層次）或?qū)嵺`項(xiàng)目題（貫穿整個(gè)教學(xué)過程，分階段檢查推進(jìn)），使學(xué)生及時(shí)鞏固學(xué)習(xí)成果。實(shí)踐項(xiàng)目應(yīng)有一定工程背景和復(fù)雜度，盡量覆蓋本課程主要內(nèi)容；項(xiàng)目具體名稱和設(shè)計(jì)目標(biāo)可由學(xué)生自定、教師把關(guān)，也可由教師推薦、學(xué)生選擇。本課程建議采用以下教學(xué)方法：課堂講授（24學(xué)時(shí)）：引入新概念或新實(shí)例，講解重點(diǎn)和難點(diǎn)，以便學(xué)生課后學(xué)習(xí)；上機(jī)

9、實(shí)驗(yàn)（8學(xué)時(shí)）：按照實(shí)驗(yàn)任務(wù)開展上機(jī)實(shí)踐操作，提升程序開發(fā)技能；學(xué)生自主學(xué)習(xí)（不少于32學(xué)時(shí)）：不計(jì)入課程總學(xué)時(shí)。利用視頻公開課、微課、MOOC等網(wǎng)絡(luò)教學(xué)資源自主學(xué)習(xí)相關(guān)內(nèi)容，預(yù)習(xí)復(fù)習(xí)課堂教學(xué)內(nèi)容，完成思考題和實(shí)踐項(xiàng)目等。八、課程考核 課程考核由平時(shí)考核（20%）、實(shí)驗(yàn)考核（20%）和期末考核（60%）三部分組成，加強(qiáng)過程考核?？己诉^程中，應(yīng)注意學(xué)生個(gè)體差異，可以適當(dāng)制定個(gè)性化評定方式，并適時(shí)進(jìn)行評定。1平時(shí)考核。平時(shí)考核的重點(diǎn)是學(xué)生自主學(xué)習(xí)的意識(shí)和成效，主要考查點(diǎn)包括預(yù)習(xí)復(fù)習(xí)情況、作業(yè)完成情況、課堂出勤情況等。2實(shí)驗(yàn)考核。依據(jù)學(xué)生實(shí)驗(yàn)準(zhǔn)備、實(shí)施效果、實(shí)驗(yàn)報(bào)告等情況對每個(gè)課內(nèi)實(shí)驗(yàn)進(jìn)行單獨(dú)考核，

10、并按評分標(biāo)準(zhǔn)打分。所有實(shí)驗(yàn)成績平均后形成實(shí)驗(yàn)課程考核成績，計(jì)入課程總成績。實(shí)驗(yàn)考核的具體要求見實(shí)驗(yàn)教學(xué)大綱。3期末考核。采用大作業(yè)考核形式，主要根據(jù)項(xiàng)目選題的難易程度、設(shè)計(jì)方案的合理性、程序?qū)崿F(xiàn)的正確性和完整性、用戶界面的美觀性和易操作性、演示文稿的制作和答辯匯報(bào)情況以及課程考核報(bào)告質(zhì)量等6個(gè)考查點(diǎn)進(jìn)行綜合評定。九、課程目標(biāo)達(dá)成評價(jià) 1. 總評成績各考核環(huán)節(jié)評價(jià)參考分值考核環(huán)節(jié)課程目標(biāo)對 應(yīng)教學(xué)單元考 核 環(huán) 節(jié) 及 分 值平時(shí)考核實(shí)驗(yàn)考核實(shí)踐項(xiàng)目期末考核合 計(jì)課程目標(biāo)1第1、2單元651526課程目標(biāo)2第3單元451524課程目標(biāo)3第4、5單元651526課程目標(biāo)4第6單元451524總 計(jì)

11、2020601002. 課程目標(biāo)達(dá)成度測算課程分目標(biāo)達(dá)成度 = 總評成績中支撐該課程分目標(biāo)各相關(guān)考核環(huán)節(jié)學(xué)生平均得分之和 總評成績中支撐該課程分目標(biāo)各相關(guān)考核環(huán)節(jié)合計(jì)分課程總目標(biāo)達(dá)成度 = 本課程所有學(xué)生總評成績平均值 本課程總評成績總分（100分） 3. 畢業(yè)要求指標(biāo)點(diǎn)達(dá)成度測算 某畢業(yè)要求指標(biāo)點(diǎn)達(dá)成度 = （相關(guān)課程分目標(biāo)達(dá)成度相應(yīng)權(quán)重系數(shù)）十、教學(xué)反饋與持續(xù)改進(jìn)教學(xué)開始前，教師應(yīng)根據(jù)本大綱制定詳細(xì)的授課計(jì)劃（教學(xué)日歷），向?qū)W生解釋本大綱，尤其是課程目標(biāo)、教學(xué)內(nèi)容和教學(xué)進(jìn)程、考核方法和考核節(jié)點(diǎn)，并將聯(lián)系方式和工作時(shí)間告知學(xué)生，以便其出現(xiàn)問題時(shí)及時(shí)取得聯(lián)系。教學(xué)過程中，學(xué)生應(yīng)及時(shí)向教師反饋學(xué)

12、習(xí)情況，教師應(yīng)了解學(xué)生學(xué)習(xí)效果并適當(dāng)回應(yīng)：1. 學(xué)生可以通過電子郵件、QQ等形式，及時(shí)向教師反饋學(xué)習(xí)情況，教師應(yīng)據(jù)此適時(shí)修改、調(diào)整和彈性回應(yīng)學(xué)生的學(xué)習(xí)要求。2. 每次作業(yè)批改后，教師應(yīng)及時(shí)向?qū)W生反饋其作業(yè)情況，并適當(dāng)講評。作業(yè)批改應(yīng)不少于1/3，每名學(xué)生至少批改一次。3. 教師應(yīng)適時(shí)采用恰當(dāng)形式（如課堂練習(xí)等）階段性檢查學(xué)生學(xué)習(xí)效果，并適當(dāng)調(diào)整教學(xué)安排。階段性檢查應(yīng)不少于2次。教學(xué)結(jié)束后，教師應(yīng)認(rèn)真分析本次教學(xué)活動(dòng)的課程目標(biāo)達(dá)成情況（尤其是不同評價(jià)方法下的不一致情況），并在下一輪教學(xué)活動(dòng)中持續(xù)改進(jìn)。建議任課教課適當(dāng)跟蹤學(xué)生在后續(xù)課程學(xué)習(xí)中以及工作后運(yùn)用本課程知識(shí)解決相關(guān)工程問題的能力，關(guān)注與本課程相關(guān)的社會(huì)需求及技術(shù)發(fā)展，并用于本課程的持續(xù)改進(jìn)，適時(shí)修訂本教學(xué)大綱。十一、推薦學(xué)習(xí)資料1. Spark大數(shù)據(jù)分析實(shí)戰(zhàn)，高彥杰著，機(jī)械工業(yè)出版社，2015.122Hadoop大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)，張良均著，機(jī)械工業(yè)出版社，2015.123JavaScript數(shù)據(jù)可視化編程，翟東方譯，人民郵電出版社，2017.44中國大學(xué)MOOC：可視化導(dǎo)論，/cou