C02 利用Python實(shí)現(xiàn)大數(shù)據(jù)分析與數(shù)據(jù)挖掘技術(shù)培訓(xùn)(5天)

Python實(shí)現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)【課程目標(biāo)】Python已經(jīng)成為數(shù)據(jù)分析和數(shù)據(jù)挖掘的首選語(yǔ)言，作為除了Java、C/C++/C#外最受歡迎的語(yǔ)言。本課程基于Python工具來(lái)實(shí)現(xiàn)大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘項(xiàng)目?；跇I(yè)務(wù)問(wèn)題，在數(shù)據(jù)挖掘標(biāo)準(zhǔn)過(guò)程指導(dǎo)下，采用Python分析工具，實(shí)現(xiàn)數(shù)據(jù)挖掘項(xiàng)目的每一步操作，從數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模、數(shù)據(jù)可視化，到最終數(shù)據(jù)挖掘結(jié)束，幫助學(xué)員掌握Python用于數(shù)據(jù)挖掘，提升學(xué)員的數(shù)據(jù)化運(yùn)營(yíng)及數(shù)據(jù)挖掘的能力。通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：1、全面掌握Python語(yǔ)言以及其編程思想。2、掌握常用擴(kuò)展庫(kù)的使用，特別是數(shù)據(jù)挖掘相關(guān)庫(kù)的使用。3、學(xué)會(huì)使用Python完成數(shù)據(jù)挖掘項(xiàng)目整個(gè)過(guò)程。4、掌握利用Python實(shí)現(xiàn)可視化呈現(xiàn)。5、掌握數(shù)據(jù)挖掘常見(jiàn)算法在Python中的實(shí)現(xiàn)?！臼谡n時(shí)間】5天時(shí)間（全部模塊講完需要5天時(shí)間，可以根據(jù)時(shí)間需求拆分內(nèi)容模塊）。【授課對(duì)象】業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。【學(xué)員要求】課程為實(shí)戰(zhàn)課程，要求：1、每個(gè)學(xué)員自備一臺(tái)便攜機(jī)（必須）。2、便攜機(jī)中事先安裝好Excel2010版本及以上。3、便攜機(jī)中事先安裝好Python3.6版本及以上。注：講師現(xiàn)場(chǎng)提供開(kāi)源的安裝程序、擴(kuò)展庫(kù)，以及現(xiàn)場(chǎng)分析的數(shù)據(jù)源。【授課方式】語(yǔ)言基礎(chǔ)+挖掘模型+案例演練+開(kāi)發(fā)實(shí)踐+可視化呈現(xiàn)采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問(wèn)題，展開(kāi)數(shù)據(jù)分析過(guò)程，全過(guò)程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過(guò)程中獲得能力提升。【課程大綱】第一部分：Python語(yǔ)言基礎(chǔ)目的：掌握基本的Python編程思想與編程語(yǔ)句，熟悉常用數(shù)據(jù)結(jié)構(gòu)的操作1、Python簡(jiǎn)介2、開(kāi)發(fā)環(huán)境搭建＞Python的安裝＞擴(kuò)展庫(kù)的安裝3、掌握Python的簡(jiǎn)單數(shù)據(jù)類型＞字符串的使用及操作＞整數(shù)、浮點(diǎn)數(shù)4、掌握基本語(yǔ)句：＞if＞while＞for^print等＞基本運(yùn)算：＞函數(shù)定義、參數(shù)傳遞、返回值5、掌握復(fù)雜的數(shù)據(jù)類型：列表/元組＞列表操作：訪問(wèn)、添加、修改、刪除、排序＞列表切片、復(fù)制等＞列表相關(guān)的函數(shù)、方法＞元組的應(yīng)用6、復(fù)雜數(shù)據(jù)類型：字典創(chuàng)建、訪問(wèn)、修改、刪除、遍歷字典函數(shù)和方法7、復(fù)雜數(shù)據(jù)類型：集合8、掌握面向?qū)ο缶幊趟枷雱?chuàng)建類、繼承類模塊9、函數(shù)定義、參數(shù)傳遞、返回值標(biāo)準(zhǔn)庫(kù)與擴(kuò)展庫(kù)的導(dǎo)入異常處理：try-except塊演練：基本的Python編程語(yǔ)句第二部分：Python語(yǔ)言與數(shù)據(jù)挖掘庫(kù)目的：掌握數(shù)據(jù)集結(jié)構(gòu)及基本處理方法，進(jìn)一步鞏固Python語(yǔ)言1、數(shù)據(jù)挖掘常用擴(kuò)展庫(kù)介紹Numpy數(shù)組處理支持Scipy矩陣計(jì)算模塊Matplotlib數(shù)據(jù)可視化工具庫(kù)Pandas數(shù)據(jù)分析和探索工具StatsModels統(tǒng)計(jì)建模庫(kù)Scikit-Learn機(jī)器學(xué)習(xí)庫(kù)Keras深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）庫(kù)Gensim文本挖掘庫(kù)2、數(shù)據(jù)集讀取與操作：讀取、寫(xiě)入讀寫(xiě)文本文件讀寫(xiě)csv文件讀寫(xiě)Excel文件從數(shù)據(jù)庫(kù)獲取數(shù)據(jù)集3、數(shù)據(jù)集的核心數(shù)據(jù)結(jié)構(gòu)（Pandas數(shù)據(jù)結(jié)構(gòu)）>DataFrame對(duì)象及處理方法＞Series對(duì)象及處理方法演練：用Python實(shí)現(xiàn)數(shù)據(jù)的基本統(tǒng)計(jì)分析功能第三部分：數(shù)據(jù)可視化處理目的：掌握作圖擴(kuò)展庫(kù)，實(shí)現(xiàn)數(shù)據(jù)可視化1、常用的Python作圖庫(kù)＞Matplotlib庫(kù)＞Pygal庫(kù)2、實(shí)現(xiàn)分類匯總演練：按性別統(tǒng)計(jì)用戶人數(shù)演練：按產(chǎn)品+日期統(tǒng)計(jì)各產(chǎn)品銷售金額3、各種圖形的畫(huà)法＞直方圖＞餅圖＞折線圖＞散點(diǎn)圖4、繪圖的美化技巧演練：用Python庫(kù)作圖來(lái)實(shí)現(xiàn)產(chǎn)品銷量分析，并可視化第四部分：數(shù)據(jù)挖掘基礎(chǔ)目的：掌握數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程1、數(shù)據(jù)挖掘概述2、數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程(CRISP-DM)＞商業(yè)理解＞數(shù)據(jù)準(zhǔn)備＞數(shù)據(jù)理解＞模型建立＞模型評(píng)估＞模型應(yīng)用3、數(shù)據(jù)挖掘常用任務(wù)與算法案例：用大數(shù)據(jù)實(shí)現(xiàn)精準(zhǔn)營(yíng)銷的項(xiàng)目過(guò)程第五部分：數(shù)據(jù)理解和數(shù)據(jù)準(zhǔn)備目的：掌握數(shù)據(jù)預(yù)處理的基本環(huán)節(jié)，以及Python的實(shí)現(xiàn)1、數(shù)據(jù)預(yù)處理＞異常值處理：3。準(zhǔn)則，IQR準(zhǔn)則＞缺失值插補(bǔ)：均值、拉格朗日插補(bǔ)＞數(shù)據(jù)篩選/抽樣＞數(shù)據(jù)的離散化處理＞變量變換、變量派生2、數(shù)據(jù)的基本分析＞相關(guān)分析：原理、公式、應(yīng)用＞方差分析：原理、公式、應(yīng)用＞卡方分析：原理、公式、應(yīng)用＞主成分分析：降維案例：用Python實(shí)現(xiàn)數(shù)據(jù)預(yù)處理及數(shù)據(jù)準(zhǔn)備第四部分：分類預(yù)測(cè)模型實(shí)戰(zhàn)1、常見(jiàn)分類預(yù)測(cè)的模型與算法2、如何評(píng)估分類預(yù)測(cè)模型的質(zhì)量＞查準(zhǔn)率＞查全率＞R0C曲線3、邏輯回歸分析模型＞邏輯回歸的原理＞邏輯回歸建模的步驟＞邏輯回歸結(jié)果解讀案例：用sklearn庫(kù)實(shí)現(xiàn)銀行貸款違約預(yù)測(cè)4、決策樹(shù)模型＞決策樹(shù)分類的原理＞決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題＞決策樹(shù)算法與實(shí)現(xiàn)案例：電力竊漏用戶自動(dòng)識(shí)別5、人工神經(jīng)網(wǎng)絡(luò)模型（ANN）＞神經(jīng)網(wǎng)絡(luò)概述＞神經(jīng)元工作原理＞常見(jiàn)神經(jīng)網(wǎng)絡(luò)算法（BP、LM、RBF、FNN等）案例：神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)產(chǎn)品銷量6、支持向量機(jī)（SVM）＞SVM基本原理＞維災(zāi)難與核心函數(shù)案例：基于水質(zhì)圖像的水質(zhì)評(píng)價(jià)7、貝葉斯分析＞條件概率＞常見(jiàn)貝葉斯網(wǎng)絡(luò)第五部分：數(shù)值預(yù)測(cè)模型實(shí)戰(zhàn)1、常用數(shù)值預(yù)測(cè)的模型＞通用預(yù)測(cè)模型：回歸模型＞季節(jié)性預(yù)測(cè)模型：相加、相乘模型＞新產(chǎn)品預(yù)測(cè)模型：珀?duì)柷€與龔伯茲曲線2、回歸分析概念3、常見(jiàn)回歸分析類別第六部分：聚類分析（客戶細(xì)分）實(shí)戰(zhàn)1、客戶細(xì)分常用方法2、聚類分析（Clustering）＞聚類方法原理介紹及適用場(chǎng)景＞常用聚類分析算法＞聚類算法的評(píng)價(jià)案例：使用SKLearn實(shí)現(xiàn)K均值聚類案例：使用TSNE實(shí)現(xiàn)聚類可視化3、RFM模型分析＞RFM模型，更深入了解你的客戶價(jià)值＞RFM模型與市場(chǎng)策略案例：航空公司客戶價(jià)值分析第七部分：關(guān)聯(lián)規(guī)則分析實(shí)