Spark大數(shù)據(jù)分析實(shí)務(wù) 課件 項(xiàng)目8 基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)廣告流量檢測(cè)違規(guī)識(shí)別-知識(shí)準(zhǔn)備V1.0

基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)廣告流量檢測(cè)違規(guī)識(shí)別知識(shí)準(zhǔn)備教學(xué)目標(biāo)知識(shí)目標(biāo)了解TipDM大數(shù)據(jù)挖掘建模平臺(tái)的相關(guān)概念和特點(diǎn)。技能目標(biāo)能夠使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)完成廣告流量檢測(cè)違規(guī)識(shí)別項(xiàng)目總體流程的設(shè)計(jì)、配置。能夠使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)完成項(xiàng)目流程的實(shí)現(xiàn)。教學(xué)目標(biāo)素質(zhì)目標(biāo)具備快速學(xué)習(xí)能力，能夠快速上手使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)。具有總結(jié)概括信息能力，能夠根據(jù)項(xiàng)目4~7的項(xiàng)目流程，配置可用于TipDM大數(shù)據(jù)挖掘建模平臺(tái)的總體流程。具有學(xué)以致用的實(shí)踐能力，能夠使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)的組件實(shí)現(xiàn)具體問(wèn)題。思維導(dǎo)圖項(xiàng)目背景在本書(shū)中介紹了使用Spark來(lái)實(shí)現(xiàn)廣告流量檢查違規(guī)識(shí)別項(xiàng)目，相較于傳統(tǒng)Spark解析器，TipDM大數(shù)據(jù)挖掘建模平臺(tái)具有流程化、去編程化等特點(diǎn)，滿(mǎn)足不懂編程的用戶(hù)使用數(shù)據(jù)分析技術(shù)的需求。本項(xiàng)目將介紹如何使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)，然后通過(guò)該平臺(tái)實(shí)現(xiàn)廣告流量檢查違規(guī)識(shí)別。項(xiàng)目目標(biāo)根據(jù)項(xiàng)目4~7的內(nèi)容，設(shè)計(jì)廣告流量檢測(cè)違規(guī)識(shí)別項(xiàng)目的總體流程，通過(guò)TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)廣告流量檢測(cè)的違規(guī)識(shí)別。目標(biāo)分析使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)的獲取。使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)的處理。使用TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)模型的構(gòu)建與評(píng)估。平臺(tái)簡(jiǎn)介T(mén)ipDM大數(shù)據(jù)挖掘建模平臺(tái)是由廣東泰迪智能科技股份有限公司自主研發(fā)，面向大數(shù)據(jù)挖掘項(xiàng)目的工具。平臺(tái)使用Java語(yǔ)言開(kāi)發(fā)，采用B/S結(jié)構(gòu)（Browser/Server，瀏覽器/服務(wù)器模式），用戶(hù)不需要下載客戶(hù)端，可通過(guò)瀏覽器進(jìn)行訪問(wèn)。平臺(tái)簡(jiǎn)介平臺(tái)具有支持多種語(yǔ)言、操作簡(jiǎn)單、無(wú)須編程語(yǔ)言基礎(chǔ)等特點(diǎn)，以流程化的方式將數(shù)據(jù)輸入/輸出、統(tǒng)計(jì)分析、數(shù)據(jù)預(yù)處理、挖掘與建模等環(huán)節(jié)進(jìn)行連接，從而實(shí)現(xiàn)大數(shù)據(jù)挖掘的目的。平臺(tái)界面如下圖。平臺(tái)簡(jiǎn)介讀者可通過(guò)訪問(wèn)平臺(tái)查看具體的界面情況。微信搜索公眾號(hào)“泰迪學(xué)社”或“TipDataMining”，關(guān)注公眾號(hào)。關(guān)注公眾號(hào)后，回復(fù)“建模平臺(tái)”，獲取平臺(tái)訪問(wèn)方式。平臺(tái)簡(jiǎn)介在介紹如何使用平臺(tái)實(shí)現(xiàn)項(xiàng)目分析之前，需要引入平臺(tái)的幾個(gè)概念，其基本介紹如下表。概念基本介紹組件將建模過(guò)程中涉及的輸入/輸出、數(shù)據(jù)探索、數(shù)據(jù)預(yù)處理、繪圖、建模等操作分別進(jìn)行封裝，每一個(gè)封裝好的模塊稱(chēng)之為組件。組件分為系統(tǒng)組件和個(gè)人組件。（1）系統(tǒng)組件可供所有用戶(hù)使用（2）個(gè)人組件由個(gè)人用戶(hù)編輯，僅供個(gè)人賬號(hào)使用工程為實(shí)現(xiàn)某一數(shù)據(jù)挖掘目標(biāo)，將各組件通過(guò)流程化的方式進(jìn)行連接，整個(gè)數(shù)據(jù)流程稱(chēng)為一個(gè)工程參數(shù)每個(gè)組件都有提供給用戶(hù)進(jìn)行設(shè)置的內(nèi)容，這部分內(nèi)容稱(chēng)為參數(shù)共享庫(kù)用戶(hù)可以將配置好的工程、數(shù)據(jù)集，分別公開(kāi)到模型庫(kù)、數(shù)據(jù)集庫(kù)中作為模板，分享給其他用戶(hù)，其他用戶(hù)可以使用共享庫(kù)中的模板，創(chuàng)建一個(gè)無(wú)須配置組件便可運(yùn)行的工程平臺(tái)簡(jiǎn)介T(mén)ipDM大數(shù)據(jù)挖掘建模平臺(tái)主要有以下幾個(gè)特點(diǎn)。平臺(tái)組件基于Python、R以及Hadoop/Spark分布式引擎，用于數(shù)據(jù)分析。Python、R以及Hadoop/Spark是常見(jiàn)的用于數(shù)據(jù)分析的語(yǔ)言或工具，高度契合行業(yè)需求。用戶(hù)可在沒(méi)有Python、R或Hadoop/Spark編程基礎(chǔ)的情況下，使用直觀的拖曳式圖形界面構(gòu)建數(shù)據(jù)分析流程，無(wú)須編程。提供公開(kāi)可用的數(shù)據(jù)分析示例實(shí)訓(xùn)，一鍵創(chuàng)建，快速運(yùn)行。支持挖掘流程每個(gè)節(jié)點(diǎn)的結(jié)果在線(xiàn)預(yù)覽。平臺(tái)包含Python、Spark、R三種工具的組件包，用戶(hù)可以根據(jù)實(shí)際需求靈活選擇不同的語(yǔ)言進(jìn)行數(shù)據(jù)挖掘建模。平臺(tái)簡(jiǎn)介下面將對(duì)平臺(tái)的這5個(gè)模塊進(jìn)行介紹：共享庫(kù)數(shù)據(jù)連接數(shù)據(jù)集我的工程個(gè)人組件共享庫(kù)登錄平臺(tái)后，用戶(hù)即可看到“共享庫(kù)”模塊系統(tǒng)提供的示例工程（模板）?！肮蚕韼?kù)”模塊主要用于標(biāo)準(zhǔn)大數(shù)據(jù)挖掘建模案例的快速創(chuàng)建和展示。通過(guò)“共享庫(kù)”模塊，用戶(hù)可以創(chuàng)建一個(gè)無(wú)須導(dǎo)入數(shù)據(jù)及配置參數(shù)就能夠快速運(yùn)行的工程。用戶(hù)可以將自己搭建的工程公開(kāi)到“共享庫(kù)”模塊，作為工程模板，供其他用戶(hù)一鍵創(chuàng)建。同時(shí)，每一個(gè)模板的創(chuàng)建者都具有模板的所有權(quán)，能夠?qū)δ０暹M(jìn)行管理。數(shù)據(jù)連接“數(shù)據(jù)連接”模塊支持從DB2、SQLServer、MySQL、Oracle、PostgreSQL等常用關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)，導(dǎo)入數(shù)據(jù)時(shí)的“新建連接”對(duì)話(huà)框如下圖。數(shù)據(jù)集“數(shù)據(jù)集”模塊主要用于數(shù)據(jù)挖掘建模工程中數(shù)據(jù)的導(dǎo)入與管理。支持從本地導(dǎo)入任意類(lèi)型的數(shù)據(jù)。導(dǎo)入數(shù)據(jù)時(shí)的“新增數(shù)據(jù)集”對(duì)話(huà)框如下圖。我的工程“我的工程”模塊主要用于數(shù)據(jù)挖掘建模流程化的創(chuàng)建與管理，工程示例流程如下圖。通過(guò)單擊“工程”欄下的（“新建工程”）按鈕，用戶(hù)可以創(chuàng)建空白工程并通過(guò)“組件”欄下的組件進(jìn)行工程配置，將數(shù)據(jù)輸入/輸出、預(yù)處理、挖掘建模、模型評(píng)估等環(huán)節(jié)通過(guò)流程化的方式進(jìn)行連接，達(dá)到數(shù)據(jù)挖掘與分析的目的。對(duì)于完成度優(yōu)秀的工程，可以將其公開(kāi)到“共享庫(kù)”中，作為模板讓其他使用者學(xué)習(xí)和借鑒。我的工程在“組件”欄下，平臺(tái)提供了輸入/輸出組件、Python組件、R語(yǔ)言組件、Spark組件等算法系統(tǒng)組件，如下圖，用戶(hù)可直接使用。輸入/輸出組件提供工程輸出與輸出組件，包括輸入源、輸出源、輸出到數(shù)據(jù)庫(kù)等。我的工程1.Python組件Python組件包含Python腳本、預(yù)處理、統(tǒng)計(jì)分析、時(shí)間序列、分類(lèi)、模型評(píng)估、模型預(yù)測(cè)、回歸、聚類(lèi)、關(guān)聯(lián)規(guī)則、文本分析、深度學(xué)習(xí)和繪圖，共13大類(lèi)。Python組件的類(lèi)別介紹如下表。類(lèi)別介紹Python腳本“Python腳本”類(lèi)提供一個(gè)Python代碼編輯框。用戶(hù)可以在代碼編輯框中粘貼已經(jīng)寫(xiě)好的程序代碼并直接運(yùn)行，無(wú)須再額外配置成算法預(yù)處理“預(yù)處理”類(lèi)提供對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的組件，包括數(shù)據(jù)標(biāo)準(zhǔn)化、缺失值處理、表堆疊、數(shù)據(jù)篩選、行列轉(zhuǎn)置、修改列名、衍生變量、數(shù)據(jù)拆分、主鍵合并、新增序列、數(shù)據(jù)排序、記錄去重和分組聚合等統(tǒng)計(jì)分析“統(tǒng)計(jì)分析”類(lèi)提供對(duì)數(shù)據(jù)整體情況進(jìn)行統(tǒng)計(jì)的常用組件，包括因子分析、全表統(tǒng)計(jì)、正態(tài)性檢驗(yàn)、相關(guān)性分析、卡方檢驗(yàn)、主成分分析和頻數(shù)統(tǒng)計(jì)等我的工程類(lèi)別介紹時(shí)間序列“時(shí)間序列”類(lèi)提供常用的時(shí)間序列組件，包括ARCH、AR模型、MA模型、灰色預(yù)測(cè)、模型定階和ARIMA等分類(lèi)“分類(lèi)”類(lèi)提供常用的分類(lèi)組件，包括樸素貝葉斯、支持向量機(jī)、CART分類(lèi)樹(shù)、邏輯回歸、神經(jīng)網(wǎng)絡(luò)和K最近鄰等模型評(píng)估“模型評(píng)估”類(lèi)提供了用于模型評(píng)價(jià)的組件，包括模型評(píng)估模型預(yù)測(cè)“模型預(yù)測(cè)”類(lèi)提供了用于模型預(yù)測(cè)的組件，包括模型預(yù)測(cè)回歸“回歸”類(lèi)提供常用的回歸組件，包括CART回歸樹(shù)、線(xiàn)性回歸、支持向量回歸和K最近鄰回歸等我的工程類(lèi)別介紹聚類(lèi)“聚類(lèi)”類(lèi)提供常用的聚類(lèi)組件，包括層次聚類(lèi)、DBSCAN密度聚類(lèi)和K-Means等關(guān)聯(lián)規(guī)則“關(guān)聯(lián)規(guī)則”類(lèi)提供常用的關(guān)聯(lián)規(guī)則組件，包括Apriori和FP-Growth等文本分析“文本分析”類(lèi)提供對(duì)文本數(shù)據(jù)進(jìn)行清洗、特征提取與分析的常用組件，包括情感分析、文本過(guò)濾、TF-IDF、Word2Vec等深度學(xué)習(xí)“深度學(xué)習(xí)”類(lèi)提供常用的深度學(xué)習(xí)組件，包括循環(huán)神經(jīng)網(wǎng)絡(luò)、ALS（AlternatingLeastSquares，交替最小二乘）和卷積神經(jīng)網(wǎng)絡(luò)繪圖“繪圖”類(lèi)提供常用的畫(huà)圖組件，可以繪制柱形圖、折線(xiàn)圖、散點(diǎn)圖、餅圖和詞云圖等我的工程2.R語(yǔ)言組件R語(yǔ)言組件包含R語(yǔ)言腳本、預(yù)處理、統(tǒng)計(jì)分析、分類(lèi)、時(shí)間序列、聚類(lèi)、回歸和關(guān)聯(lián)分析，共8大類(lèi)。R語(yǔ)言組件的類(lèi)別介紹如下表。類(lèi)別介紹R語(yǔ)言腳本“R語(yǔ)言腳本”類(lèi)提供一個(gè)R語(yǔ)言代碼編輯框。用戶(hù)可以在代碼編輯框中粘貼已經(jīng)寫(xiě)好的代碼并直接運(yùn)行，無(wú)須額外配置組件預(yù)處理“預(yù)處理”類(lèi)提供對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的組件，包括缺失值處理、異常值處理、表連接、表合并、數(shù)據(jù)標(biāo)準(zhǔn)化、記錄去重、數(shù)據(jù)離散化、排序、數(shù)據(jù)拆分、頻數(shù)統(tǒng)計(jì)、新增序列、字符串拆分、字符串拼接、修改列名等統(tǒng)計(jì)分析“統(tǒng)計(jì)分析”類(lèi)提供對(duì)數(shù)據(jù)整體情況進(jìn)行統(tǒng)計(jì)的常用組件，包括卡方檢驗(yàn)、因子分析、主成分分析、相關(guān)性分析、正態(tài)性檢驗(yàn)和全表統(tǒng)計(jì)等我的工程類(lèi)別介紹分類(lèi)“分類(lèi)”類(lèi)提供常用的分類(lèi)組件，包括樸素貝葉斯、CART分類(lèi)樹(shù)、C4.5分類(lèi)樹(shù)、BP神經(jīng)網(wǎng)絡(luò)、KNN、SVM和邏輯回歸等時(shí)間序列“時(shí)間序列”類(lèi)提供常用的時(shí)間序列組件，包括ARIMA和指數(shù)平滑等聚類(lèi)“聚類(lèi)”類(lèi)提供常用的聚類(lèi)組件，包括K-Means、DBSCAN密度聚類(lèi)和系統(tǒng)聚類(lèi)等回歸“回歸”類(lèi)提供常用的回歸組件，包括CART回歸樹(shù)、C4.5回歸樹(shù)、線(xiàn)性回歸、嶺回歸和KNN回歸等關(guān)聯(lián)分析“關(guān)聯(lián)分析”類(lèi)提供常用的關(guān)聯(lián)規(guī)則組件，包括Apriori等我的工程3.Spark組件Spark組件包含預(yù)處理、統(tǒng)計(jì)分析、分類(lèi)、聚類(lèi)、回歸、降維、協(xié)同過(guò)濾和頻繁模式挖掘，共8大類(lèi)。Spark組件的類(lèi)別介紹如下表。類(lèi)別介紹預(yù)處理“預(yù)處理”類(lèi)提供對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的組件，包括數(shù)據(jù)去重、數(shù)據(jù)過(guò)濾、數(shù)據(jù)映射、數(shù)據(jù)反映射、數(shù)據(jù)拆分、數(shù)據(jù)排序、缺失值處理、數(shù)據(jù)標(biāo)準(zhǔn)化、衍生變量、表連接、表堆疊和數(shù)據(jù)離散化等統(tǒng)計(jì)分析“統(tǒng)計(jì)分析”類(lèi)提供對(duì)數(shù)據(jù)整體情況進(jìn)行統(tǒng)計(jì)的常用組件，包括行列統(tǒng)計(jì)、全表統(tǒng)計(jì)、相關(guān)性分析和重復(fù)值缺失值探索分類(lèi)“分類(lèi)”類(lèi)提供常用的分類(lèi)組件，包括邏輯回歸、決策樹(shù)、梯度提升樹(shù)、樸素貝葉斯、隨機(jī)森林、線(xiàn)性支持向量機(jī)和多層感知神經(jīng)網(wǎng)絡(luò)等我的工程類(lèi)別介紹聚類(lèi)“聚類(lèi)”類(lèi)提供常用的聚類(lèi)組件，包括K-Means、二分K-Means聚類(lèi)和混合高斯模型等回歸“回歸”類(lèi)提供常用的回歸組件，包括線(xiàn)性回歸、廣義線(xiàn)性回歸、決策樹(shù)回歸、梯度提升樹(shù)回歸、隨機(jī)森林回歸和保序回歸等降維