《大數(shù)據(jù)導論》-理論課程-教學大綱

《大數(shù)據(jù)導論》教學大綱課程名稱：大數(shù)據(jù)導論課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學時：32學時（其中理論32學時）總學分：2.0學分課程的性質(zhì)發(fā)展數(shù)字經(jīng)濟已經(jīng)在全球形成廣泛共識，因為當前社會經(jīng)濟生活的生產(chǎn)要素發(fā)生了巨大改變，數(shù)據(jù)已經(jīng)成為一種新的且十分重要的生產(chǎn)要素。建立在數(shù)據(jù)基礎(chǔ)上的數(shù)字經(jīng)濟則成為一種新的經(jīng)濟社會發(fā)展形態(tài)，并形成新動能，重塑經(jīng)濟發(fā)展結(jié)構(gòu)和深刻改變生產(chǎn)生活方式。在數(shù)字時代，數(shù)據(jù)量呈現(xiàn)爆炸式增長，數(shù)據(jù)的采集和處理方式也發(fā)生了巨大改變，如何保證數(shù)據(jù)的安全性、如何合理地展示數(shù)據(jù)內(nèi)容、如何管理和存儲數(shù)據(jù)等成了亟待解決的問題。隨著數(shù)據(jù)量的增長，在數(shù)據(jù)中發(fā)現(xiàn)隱藏的價值信息成為可能，大數(shù)據(jù)技術(shù)成為研究的熱點。大數(shù)據(jù)算法可以對數(shù)據(jù)進行處理和分析，給出智能決策，幫助行業(yè)人員解決傳統(tǒng)方法無法解決的問題。本課程系統(tǒng)介紹了大數(shù)據(jù)技術(shù)的發(fā)展歷史，大數(shù)據(jù)技術(shù)的主要算法及相關(guān)技術(shù)。課程的任務通過本課程的學習，使學生了解大數(shù)據(jù)的出現(xiàn)及發(fā)展歷史，了解大數(shù)據(jù)的采集算法、存儲管理，以及主要的數(shù)據(jù)存儲架構(gòu)，詳細介紹了幾種分布式存儲框架，學會大數(shù)據(jù)分析算法，重點介紹掌握數(shù)據(jù)可視化的各種工具，了解大數(shù)據(jù)的安全知識，如何在數(shù)據(jù)處理中保護個人隱私，并詳細拆解大數(shù)據(jù)技術(shù)在城市管理，金融領(lǐng)域，和互聯(lián)網(wǎng)行業(yè)的具體案例，將理論與實踐相結(jié)合，為將來從事大數(shù)據(jù)分析研究、工作奠定基礎(chǔ)。課程學時分配序號教學內(nèi)容理論學時其它1第1章大數(shù)據(jù)概述22第2章大數(shù)據(jù)采集43第3章大數(shù)據(jù)存儲與管理64第4章大數(shù)據(jù)分析65第5章數(shù)據(jù)可視化66第6章數(shù)據(jù)安全、隱私保護與開放共享47第7章大數(shù)據(jù)技術(shù)應用案例4總計32教學內(nèi)容及學時安排理論教學序號章節(jié)名稱主要內(nèi)容教學目標學時1大數(shù)據(jù)概述了解三次信息化浪潮的內(nèi)容了解大數(shù)據(jù)技術(shù)的發(fā)展歷史了解大數(shù)據(jù)技術(shù)的起源和概念掌握大數(shù)據(jù)的特點了解大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展現(xiàn)狀了解大數(shù)據(jù)產(chǎn)業(yè)的應用領(lǐng)域和應用價值了解大數(shù)據(jù)的產(chǎn)業(yè)鏈了解大數(shù)據(jù)的技術(shù)體系了解大數(shù)據(jù)技術(shù)相關(guān)的崗位需求掌握大數(shù)據(jù)的概念和五個特點了解大數(shù)據(jù)技術(shù)發(fā)展的歷史和重要作用了解大數(shù)據(jù)技術(shù)的應用領(lǐng)域和產(chǎn)業(yè)鏈構(gòu)成了解大數(shù)據(jù)的技術(shù)體系和相關(guān)崗位22大數(shù)據(jù)采集了解數(shù)據(jù)采集技術(shù)在大數(shù)據(jù)中的重要作用掌握大數(shù)據(jù)采集技術(shù)掌握主流的大數(shù)據(jù)采集框架Flume和Sqoop掌握大數(shù)據(jù)采集包含的內(nèi)容和過程掌握大數(shù)據(jù)的數(shù)據(jù)來源和采集方法掌握大數(shù)據(jù)的批量采集技術(shù)掌握網(wǎng)絡數(shù)據(jù)日志數(shù)據(jù)的采集內(nèi)容和方法掌握大數(shù)據(jù)采集框架43大數(shù)據(jù)存儲與管理了解大數(shù)據(jù)存儲的用途了解傳統(tǒng)的大數(shù)據(jù)存儲技術(shù)掌握大數(shù)據(jù)時代的數(shù)據(jù)存儲技術(shù)掌握分布式存儲和云存儲掌握主流的分布式存框架掌握大數(shù)據(jù)存儲的基本概念掌握傳統(tǒng)大數(shù)據(jù)存儲技術(shù)掌握大數(shù)據(jù)時代的數(shù)據(jù)存儲技術(shù)，與傳統(tǒng)數(shù)據(jù)存儲技術(shù)的區(qū)別掌握分布式存儲和云存儲技術(shù)掌握主流的分布式存儲框架64大數(shù)據(jù)分析了解什么是用戶畫像了解個性化用戶畫像的作用了解如何進行用戶畫像掌握大數(shù)據(jù)分析技術(shù)的基本概念掌握數(shù)據(jù)分析與數(shù)據(jù)挖掘的關(guān)系掌握數(shù)據(jù)認知的概念掌握數(shù)據(jù)處理的方法掌握數(shù)據(jù)建模的方法掌握模型評估的方法掌握主流的大數(shù)據(jù)分析框架掌握用戶個性化畫像的作用和方法掌握大數(shù)據(jù)分析技術(shù)掌握大數(shù)據(jù)分析框架的概念和使用方法65數(shù)據(jù)可視化了解數(shù)據(jù)可視化的概念掌握數(shù)據(jù)可視化的作用掌握數(shù)據(jù)可視化的設計方法掌握數(shù)據(jù)可視化設計工具了解數(shù)據(jù)可視化技術(shù)內(nèi)容了解數(shù)據(jù)可視化的發(fā)展方向了解數(shù)據(jù)可視化方法的分類掌握數(shù)據(jù)可視化的作用掌握數(shù)據(jù)可視化的設計思路和方法掌握數(shù)據(jù)可視化的主要設計工具掌握數(shù)據(jù)可視化的發(fā)展方向66數(shù)據(jù)安全、隱私保護與開放共享了解數(shù)據(jù)安全的概念了解數(shù)據(jù)安全和隱私保護的必要性掌握數(shù)據(jù)安全和隱私保護的技術(shù)體系了解大數(shù)據(jù)安全和隱私保護的關(guān)鍵技術(shù)內(nèi)容掌握數(shù)據(jù)安全的基本技術(shù)了解數(shù)據(jù)開放和共享的概念了解數(shù)據(jù)開放和共享的重要作用掌握數(shù)據(jù)開放和共享的的實施方法掌握大數(shù)據(jù)安全的概念和意義掌握大數(shù)據(jù)安全的方法掌握大數(shù)據(jù)開放共享的意義掌握數(shù)據(jù)開放共享的方法47大數(shù)據(jù)技術(shù)應用案例分析大數(shù)據(jù)技術(shù)在城市管理中的現(xiàn)狀了解城市公共出行數(shù)據(jù)的分析過程了解城市管理中環(huán)保數(shù)據(jù)的分析方法分析大技術(shù)在金融領(lǐng)域的現(xiàn)狀掌握大數(shù)據(jù)分析技術(shù)對金融系統(tǒng)的作用了解大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域的作用掌握大數(shù)據(jù)推薦系統(tǒng)的作用和方法了解大數(shù)據(jù)技術(shù)在零售業(yè)的作用掌握大數(shù)據(jù)技術(shù)在零售業(yè)中的具體使用方法熟悉大數(shù)據(jù)技術(shù)對城市管理的作用和分析過程了解大數(shù)據(jù)技術(shù)在金融領(lǐng)域的作用和應用技術(shù)掌握大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域的技術(shù)方法掌握大數(shù)據(jù)技術(shù)在零售業(yè)中的作用4學時合計32考核方式突出學生解決實際問題的能力，加強過程性考核。課程考核的成績構(gòu)成=平時作業(yè)（10%）+課堂參與（20%）+期末考核（70%），期末考試建議采用開卷形式，試題應包括基本概念、大數(shù)據(jù)采集算法描述、采集算法框架配置、大數(shù)據(jù)存儲系統(tǒng)、分布式存儲框架、大數(shù)據(jù)分析框架、數(shù)據(jù)可視化工具等部分，題型可采用判斷題、選擇、簡答、應用題等方式。教材與參考資料教材林濤，張良均．大數(shù)據(jù)導論[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應用[M]．北京：人民郵電