《大數(shù)據(jù)分析與挖掘》課程教學大綱

1、大數(shù)據(jù)分析與挖掘課程教學大綱一、課程基本信息課程代碼：課程名稱：大數(shù)據(jù)分析與挖掘英文名稱：Big data analysis and mining課程類別：專業(yè)課 學 時：48 學 分：3適用對象: 軟件工程，計算機科學與技術(shù)，大數(shù)據(jù)管理考核方式：考核先修課程：數(shù)理統(tǒng)計與概率論，算法設(shè)計，JAVA/Python程序設(shè)計二、課程簡介 大數(shù)據(jù)分析與挖掘是軟件工程，計算機科學與技術(shù)，大數(shù)據(jù)管理專業(yè)必修課，它集理論，技術(shù)和應(yīng)用性一身，不僅是當前計算機，軟件工程領(lǐng)域最熱門高級前沿應(yīng)用技術(shù)，并且涉及跨學科領(lǐng)域知識和概率論，數(shù)學及算法理論知識，是計算機，軟件工程的重要課程模塊，同時是大數(shù)據(jù)管理專業(yè)的核心理論

2、課程。 當前在新基建和數(shù)字化革命大潮下，各行各業(yè)都在應(yīng)用大數(shù)據(jù)分析與挖掘技術(shù)，并緊密結(jié)合機器學習深度學習算法，可為行業(yè)帶來巨大價值。數(shù)據(jù)分析與挖掘是當前最熱的技術(shù)與職業(yè)方向，在未來幾年都將獲得飛速發(fā)展，前景非常廣闊，是學生未來進入社會成才求職的重要核心技能，可以說學好大數(shù)據(jù)分析與挖掘原理，概念與技術(shù)，必將使得學生未來計算機專業(yè)發(fā)展和職業(yè)生涯獲得高起點和巨大發(fā)展?jié)摿εc競爭力。本課程從實戰(zhàn)出發(fā)，學習大數(shù)據(jù)分析與挖掘理論算法與編程工具，圍繞真實案例學習并掌握數(shù)據(jù)分析與挖掘的關(guān)鍵任務(wù)和方法。包括主要的數(shù)據(jù)分析全流程任務(wù)：數(shù)據(jù)探索，數(shù)據(jù)預(yù)處理，數(shù)據(jù)可視化展示，數(shù)據(jù)建模，模型驗證與評估，分析結(jié)果展示與應(yīng)用

3、；同時針對不同的數(shù)據(jù)分析階段任務(wù)在講解原理同時，介紹大量當前最新的學術(shù)界，業(yè)界研究方法，技術(shù)與模型。課程在講解數(shù)據(jù)分類，數(shù)據(jù)預(yù)測模型，及復(fù)雜數(shù)據(jù)分析場景時，引入了華為網(wǎng)絡(luò)產(chǎn)品線產(chǎn)品數(shù)據(jù)部多個經(jīng)典數(shù)據(jù)分析與挖掘案例，并且引入阿里數(shù)據(jù)中臺架構(gòu)，天池AI實訓平臺，及應(yīng)用典型案例。讓學生學以致用，緊跟行業(yè)最領(lǐng)先技術(shù)水平，同時，面對我國民族企業(yè)，頭部公司在大數(shù)據(jù)分析與挖掘領(lǐng)域取得的巨大商業(yè)成功與前沿技術(shù)成果應(yīng)用產(chǎn)生強烈民族自豪感，為國家數(shù)字化經(jīng)濟與技術(shù)發(fā)展努力奮斗，勇攀知識高峰立下志向。Big data analysis and mining is a required course for softw

4、are engineering, computer science and technology, and big data management. It integrates theory, technology, and application. It is not only the most popular advanced application technology in the field of computer and software engineering, but also involves interdisciplinary knowledge, probability

5、theory, mathematics, and algorithm theory. It is an important course model of computer and software engineering At the same time, it is the core theoretical course of big data management major.At present, in the tide of new infrastructure and digital revolution, all walks of life are applying big da

6、ta analysis and mining technology, and closely combined with machine learning deep learning algorithm, which can bring great value to the industry. Data analysis and mining is the hottest technology and career direction at present. It will get rapid development in the next few years, and has a very

7、broad prospect. It is an important core skill for students to enter the society and become talents in the future. It can be said that learning the principle, concept and technology of big data analysis and mining well will make the future computer professional development and career of students obta

8、in a high starting point and great development potential Strength and competitiveness.Starting from the actual combat, this course will introduce the theoretical algorithm and programming tools of big data analysis and mining, and introduce the key tasks and methods of data analysis and mining aroun

9、d real cases. Including the main data analysis tasks: data exploration, data preprocessing, data visualization display, data modeling, model validation and evaluation, analysis results display and application; at the same time, according to different data analysis tasks in the stage of explaining th

10、e principle, at the same time, introduce a large number of the latest academic, industry research methods, technologies and models. In explaining data classification, data prediction model, and complex data analysis scenarios, the course introduces several classic data analysis and mining cases from

11、 the product data Department of Huawei network product line, and introduces typical cases of Alibaba data platform architecture，Tianchi AI training platform and typical application. Let students apply what they have learned and keep up with the most advanced technology level in the industry. At the

12、same time, in the face of China's national enterprises, the head company's huge business success and the application of cutting-edge technology achievements in the field of big data analysis and mining generate a strong sense of national pride, and strive for the national digital economic an

13、d Technological Development and set up the ambition to climb the peak of knowledge bravely.      三、課程性質(zhì)與教學目的大數(shù)據(jù)分析挖掘是高級數(shù)據(jù)處理和分析技術(shù)。本課程包括數(shù)據(jù)挖掘的理論和實踐兩部分。本課程是專業(yè)課，屬于高年級專業(yè)技術(shù)基礎(chǔ)應(yīng)用課程，注重理論和編程實踐及應(yīng)用結(jié)合，強調(diào)理論和應(yīng)用性，同時要把數(shù)據(jù)分析技術(shù)應(yīng)用到不同場景和領(lǐng)域，需要跨領(lǐng)域知識，是一門綜合性較強，應(yīng)用類課程。通過本課程學習，使學生了解大數(shù)據(jù)分析和挖掘方法的思想和技術(shù)，掌握重要數(shù)據(jù)挖掘技術(shù)的基本原理，

14、并能熟練使用Python語言實現(xiàn)主流的數(shù)據(jù)挖掘算法。能夠運用最先進的計算機信息技術(shù)，即基于數(shù)學原理，算法理論的數(shù)據(jù)分析和挖掘技術(shù)去應(yīng)用到祖國經(jīng)濟政治建設(shè)方方面面，從海量的歷史和現(xiàn)實大量社會、經(jīng)濟、生產(chǎn)、生活數(shù)據(jù)中分析，挖掘出有價值的知識與規(guī)律，為進一步提升全社會信息化，數(shù)字化，智能化水平，創(chuàng)造更多新的信息化智能化產(chǎn)品和系統(tǒng)，向?qū)W生傳授造福人類共同命運體而奠定技術(shù)基礎(chǔ)和儲備的學習理念與目的。四、教學內(nèi)容及要求 第一部分：Python語言程序設(shè)計第一章 Python基本語法元素（一） 目的與要求1 掌握基本Python語法元素，包括程序基本結(jié)構(gòu)，注釋，數(shù)據(jù)類型，語句，函數(shù)等概念。 2 通過學習簡單

15、程序例子，可以編寫簡單python程序。 （二） 教學內(nèi)容1 程序設(shè)計基本方法。掌握IPO，輸入-處理-輸出的程序設(shè)計方法。 2 Python開發(fā)環(huán)境配置。 會搭建windows和linux等多系統(tǒng)下Python開發(fā)環(huán)境。3 簡單Python程序?qū)嵗簻囟绒D(zhuǎn)換4 Python程序語法元素分析 （三） 思考與實踐通過溫習程序設(shè)計基本方法，學習搭建Python開發(fā)環(huán)境及簡單程序?qū)嵗?，對比Python與學過的java，C+等語言的語法，環(huán)境，程序結(jié)構(gòu)不同，快速掌握python簡單程序開發(fā)，并可以完成10行左右簡單程序編寫。（四） 教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐等手

16、段提高教學效果。第2章 基本數(shù)據(jù)類型（1） 目的與要求 掌握基本python數(shù)據(jù)類型，并能在程序中靈活應(yīng)用。（2） 教學內(nèi)容 數(shù)字類型及操作，程序?qū)嵗?。字符串類型及操作，程序?qū)嵗ime庫使用。（3） 思考與實踐利用數(shù)字類型，字符串類型實現(xiàn)簡單程序?qū)嵗?。?） 教學方法與手段課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐等手段提高教學效果。第3章 函數(shù)和代碼復(fù)用（1） 目的與要求 掌握Python函數(shù)與代碼復(fù)用，可編程應(yīng)用。（2） 教學內(nèi)容 函數(shù)定義與使用，實例七段數(shù)碼管繪制。代碼復(fù)用與函數(shù)遞歸，Pyinstaller打包庫使用，科赫雪花小包裹實例。（3） 思考與實踐 利用函數(shù)，代碼復(fù)用

17、，遞歸等功能實現(xiàn)簡單程序?qū)嵗?。?） 教學方法與手段課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐等手段提高教學效果。第4章 組合數(shù)據(jù)類型（1） 目的與要求 掌握Python組合數(shù)據(jù)類型，可編程應(yīng)用。（2） 教學內(nèi)容 集合數(shù)據(jù)類型及操作，序列類型及操作，基本統(tǒng)計值計算程序?qū)嵗?，字典類型及操作，jieba庫的使用，文本詞頻統(tǒng)計實例。（三）思考與實踐利用組合數(shù)據(jù)類型實現(xiàn)簡單程序?qū)嵗?。（四）教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐等手段提高教學效果。第二部分：數(shù)據(jù)分析挖掘?qū)崙?zhàn)第5章 數(shù)據(jù)挖掘引言（1） 目的與要求 掌握數(shù)據(jù)挖掘的概念，了解基本的數(shù)據(jù)挖掘分析步驟流程，方法

18、。（二）教學內(nèi)容 數(shù)據(jù)挖掘產(chǎn)生的背景，定義，和基本流程。數(shù)據(jù)挖掘的主要方法。數(shù)據(jù)挖掘的應(yīng)用場景與案例。（三）思考與實踐 掌握數(shù)據(jù)挖掘主要概念，流程，方法，并與現(xiàn)實應(yīng)用場景相聯(lián)系，找到可能的數(shù)據(jù)挖掘問題，應(yīng)用場景。（四）教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，調(diào)查研究，案例討論等手段提高教學效果。第6章 認識數(shù)據(jù)（1） 目的與要求 介紹數(shù)據(jù)探索的背景，概念，掌握數(shù)據(jù)探索的主要方法，步驟。（二）教學內(nèi)容 數(shù)據(jù)對象與屬性類型，數(shù)據(jù)基本統(tǒng)計描述方法，數(shù)據(jù)可視化方法，數(shù)據(jù)相似性和相異性度量方法。（三）思考與實踐會利用Python等編程工具進行數(shù)據(jù)探索，包括數(shù)據(jù)統(tǒng)計描述，可視化展示，相似

19、性與相異性度量實現(xiàn)。（四）教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐等手段提高教學效果。第7章 數(shù)據(jù)預(yù)處理 （1） 目的與要求 掌握數(shù)據(jù)預(yù)處理的主要方法。（二）教學內(nèi)容 數(shù)據(jù)預(yù)處理的基本思想和數(shù)據(jù)規(guī)范化，數(shù)據(jù)離散化，數(shù)據(jù)清洗，特征提取與特征選擇。（三）思考與實踐 會利用python等工具進行數(shù)據(jù)清洗，離散化，規(guī)范化，特征提取等數(shù)據(jù)預(yù)處理工作，為數(shù)據(jù)分析與挖掘做好高質(zhì)量數(shù)據(jù)準備。（四）教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐等手段提高教學效果。第8章 關(guān)聯(lián)規(guī)則挖掘 （1） 目的與要求 掌握數(shù)據(jù)挖掘經(jīng)典方法，關(guān)聯(lián)規(guī)則挖掘方法及應(yīng)用。（二）教學內(nèi)容

20、關(guān)聯(lián)規(guī)則挖掘背景，概念，頻繁模式與關(guān)聯(lián)規(guī)則概念，頻繁項集的典型挖掘方法，關(guān)聯(lián)規(guī)則的生成方法，關(guān)聯(lián)規(guī)則的其他類型，關(guān)聯(lián)規(guī)則模型的度量。（三）思考與實踐 分析具體應(yīng)用場景是否是關(guān)聯(lián)規(guī)則挖掘，可以利用Python工具進行適合場景的關(guān)聯(lián)規(guī)則挖掘，并進行模型評估，和應(yīng)用關(guān)聯(lián)挖掘結(jié)果。（四）教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐等手段提高教學效果。第9章 數(shù)據(jù)分類 （1） 目的與要求 掌握數(shù)據(jù)挖掘經(jīng)典方法，數(shù)據(jù)分類方法及應(yīng)用。（2） 教學內(nèi)容 分類的概念，決策樹分類，樸素貝葉斯分類，K近鄰分類，分類性能的度量方法。介紹華為全球存儲解決方案分析案例，即根據(jù)服務(wù)器生產(chǎn)線全球存儲服務(wù)

21、器現(xiàn)網(wǎng)運行性能和配置數(shù)據(jù)，進行現(xiàn)網(wǎng)應(yīng)用分類分析及網(wǎng)絡(luò)擴容方案生成在線報告，支持一線市場方案決策。這里利用隨機森林，支持向量機等經(jīng)典模型改進算法進行海量全球存儲器性能和配置數(shù)據(jù)的分析與應(yīng)用類型分類，并獲取了極高性能，取得巨大商業(yè)價值。通過該案例，一方面將數(shù)據(jù)分類技術(shù)應(yīng)用到實際的生產(chǎn)實踐，檢驗理論與知識學習，同時可以了解到民族企業(yè)華為的巨大商業(yè)體系運轉(zhuǎn)一角，增強民族自豪感，激發(fā)斗志與學習熱情。（三）思考與實踐 分析具體應(yīng)用場景是否是分類任務(wù)，可以利用Python工具進行適合場景的分類預(yù)測，并進行模型評估，和應(yīng)用分類分析結(jié)果。（四）教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐，

22、調(diào)查研究，案例分析等手段提高教學效果。第10章 數(shù)值預(yù)測 （1） 目的與要求 掌握數(shù)據(jù)挖掘經(jīng)典方法，數(shù)據(jù)預(yù)測方法及應(yīng)用。（2） 教學內(nèi)容 數(shù)值預(yù)測概念，回歸方法，回歸樹與模型樹，K近鄰數(shù)值預(yù)測和預(yù)測誤差的度量。介紹華為無線市場部為解決華為全球無線產(chǎn)品線市場計劃與供應(yīng)鏈供備貨壓力大，備貨成本及損失過大問題，采用機器學習與大數(shù)據(jù)分析技術(shù)根據(jù)歷史市場計劃，供備貨，銷售行情等關(guān)鍵數(shù)據(jù)進行未來中長期無線市場計劃預(yù)測。該項目通過Hadoop/Spark集群大數(shù)據(jù)處理與開發(fā)，基于Python的機器學習算法開發(fā)，基于市場計劃關(guān)鍵特征向量采用ARIMA時間序列預(yù)測算法進行中長期無線關(guān)鍵備件趨勢預(yù)測與定量預(yù)測，并

23、采用了華為云GPU大型集群進行神經(jīng)網(wǎng)絡(luò)算法加速，獲得巨大商業(yè)利潤。通過該案例，一方面將數(shù)據(jù)預(yù)測技術(shù)應(yīng)用到實際的生產(chǎn)實踐，檢驗理論與知識學習，同時可以了解到民族企業(yè)華為的巨大商業(yè)體系運轉(zhuǎn)一角，了解無線市場部5G 4G運營體制一角，了解華為云GPU集群強大性能，增強民族自豪感，激發(fā)斗志與學習熱情。（三）思考與實踐 分析具體應(yīng)用場景是否是數(shù)值預(yù)測任務(wù)，可以利用Python工具進行適合場景的數(shù)值預(yù)測，并進行模型評估，和應(yīng)用數(shù)值預(yù)測結(jié)果。（四）教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐，調(diào)查研究，案例分析等手段提高教學效果。第十一章 聚類分析 （一）目的與要求 掌握數(shù)據(jù)挖掘經(jīng)典方

24、法，聚類分析方法及應(yīng)用。（3） 教學內(nèi)容 介紹聚類分析概念，相似度度量方法，K均值聚類法，層次聚類方法，DBSCAN方法，聚類效果衡量方法。至此學完所有經(jīng)典數(shù)據(jù)分析與挖掘模型，介紹阿里天池AI實訓平臺（具體訪問網(wǎng)址見參考資料）。該平臺免費向高校開放AI實訓解決方案，公開天池經(jīng)典賽事課程，代碼及計算資源，實驗工具，經(jīng)典案例，數(shù)據(jù)集，和在線交互式數(shù)據(jù)分析工具notebook。介紹相關(guān)使用方案，在線編程工具，并以一個天池數(shù)據(jù)分析案例為例全程在線進行數(shù)據(jù)分析開發(fā)演示。課上選定天池競賽題目，進行分組討論與實踐，演示。通過天池AI數(shù)據(jù)分析實訓平臺介紹與使用，使同學們獲得業(yè)內(nèi)最先進的大數(shù)據(jù)分析挖掘開發(fā)平臺技

25、術(shù)，并接觸企業(yè)第一手數(shù)據(jù)分析案例和賽事，實現(xiàn)高質(zhì)量的理論實踐，提高動手能力，同時也可了解國內(nèi)頂尖大數(shù)據(jù)分析技術(shù)發(fā)展現(xiàn)狀，增強民族自豪感，激發(fā)學習熱情。（三）思考與實踐 分析具體應(yīng)用場景是否是聚類任務(wù)，可以利用Python工具進行適合場景的聚類分析，并進行模型評估，和應(yīng)用聚類分析結(jié)果。學會利用阿里的天池AI實訓平臺進行數(shù)據(jù)分析與挖掘項目開發(fā)，應(yīng)用。（四)教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，編程實踐，調(diào)查研究，案例分析，分組討論等手段提高教學效果。第十二章 挖掘復(fù)雜的數(shù)據(jù)類型 （一）目的與要求 掌握復(fù)雜數(shù)據(jù)類型挖掘方法，及應(yīng)用。了解當前業(yè)內(nèi)大數(shù)據(jù)分析與挖掘技術(shù)發(fā)展前沿，了解最

26、新最熱的商業(yè)化大數(shù)據(jù)分析與挖掘產(chǎn)品和系統(tǒng)。（3） 教學內(nèi)容 復(fù)雜數(shù)據(jù)類型挖掘方法，包括序列類型，網(wǎng)絡(luò)類型，時間空間數(shù)據(jù)，地理數(shù)據(jù)，移動對象和物聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)，多媒體數(shù)據(jù)，文本數(shù)據(jù)，Web數(shù)據(jù)，流數(shù)據(jù)等。介紹阿里數(shù)據(jù)智能最佳實踐，阿里數(shù)據(jù)中臺，介紹其定義，頂層設(shè)計，策略與建設(shè)實踐，與傳統(tǒng)數(shù)據(jù)倉庫差異，與數(shù)據(jù)湖的區(qū)別聯(lián)系，面臨的主要技術(shù)挑戰(zhàn)，及其行業(yè)應(yīng)用。通過對阿里數(shù)據(jù)中臺介紹，了解當前業(yè)內(nèi)大數(shù)據(jù)分析與挖掘，數(shù)據(jù)智能技術(shù)發(fā)展前沿，了解最新最熱的商業(yè)化大數(shù)據(jù)分析與挖掘產(chǎn)品和系統(tǒng)，同時了解國內(nèi)行業(yè)巨頭在數(shù)字化和智能化方面最新進展豐碩成果，增強民族自豪感，激發(fā)學習熱情。（三）思考與實踐 了解復(fù)雜數(shù)據(jù)類型數(shù)據(jù)挖掘方法，并會利用Python工具等進行應(yīng)用。（四)教學方法與手段 課堂講授為主，結(jié)合網(wǎng)絡(luò)課程輔助，課堂討論，調(diào)查研究，案例分析等手段提高教學效果。 五、各教學環(huán)節(jié)學時分配教學環(huán)節(jié)教學時數(shù)課程內(nèi)容講課習題課討論課實驗實習其他教學環(huán)節(jié)小計第一章 Python基本語法元素213第二章