玩轉大數(shù)據(jù)：深入淺出大數(shù)據(jù)挖掘技術(Apriori算法Tanagra工具決策樹)

1、個人資料整理僅限學習使用本課程是怎么樣的一門課程< 全面介紹）1.1 、課程的背景“大數(shù)據(jù)”作為時下最火熱的IT 行業(yè)的詞匯，隨之而來的數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞大數(shù)據(jù)的商業(yè)價值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點。 “大數(shù)據(jù)” 其實離我們的生活并不遙遠，大到微博的海量用戶信息，小到一個小區(qū)超市的月銷售清單，都蘊含著大量潛在的商業(yè)價值。 b5E2RGbCAP正是由于數(shù)據(jù)量的快速增長，并且已經(jīng)遠遠超過了人們的數(shù)據(jù)分析能力。因此，科學、商用等領域都迫切需要智能化、自動化的數(shù)據(jù)分析工具。在這樣的背景下，數(shù)據(jù)挖掘技術應用而生，使得海量數(shù)據(jù)的分析變得易如反掌。 p1EanqFDPw1

2、.2 、課程內容簡介本課程名為深入淺出數(shù)據(jù)挖掘技術。所謂“深入”，指得是從數(shù)據(jù)挖掘的原理與經(jīng)典算法入手。其一是要了解算法，知道什么場景應當應用什么樣的方法；其二是學習算法的經(jīng)典思想，可以將它應用到其他的實際工程之中；其三是理解算法，讓數(shù)據(jù)挖掘的算法能夠應用到您的工程開發(fā)之中去。所謂“淺出”，指得是將數(shù)據(jù)挖掘算法的應用落實到實際的應用中。課程會通過三個不同的方面來講解算法的應用：一是微軟公司的 SQL Server 與 Excel 等工具實現(xiàn)的數(shù)據(jù)挖掘；二是著名開源算法的數(shù)據(jù)挖掘，如 Weka 、KNIMA 、Tanagra 等開源工具；三是利用 C# 語言做演示來完成數(shù)據(jù)挖掘算法的實現(xiàn)。 DX

3、DiTa9E3d根據(jù)實際的引用場景，數(shù)據(jù)挖掘技術通常分為分類器、關聯(lián)分析、聚類算法等三大類別。本課程主要介紹這三大算法的經(jīng)典思想以及部分著名的實現(xiàn)形式，并結合一些商業(yè)分析工具、開源工具或編程等方式來講解具體的應用方法。 RTCrpUDGiT1.3 、課程大綱1>數(shù)據(jù)挖掘概述與數(shù)據(jù)本章講解了數(shù)據(jù)挖掘技術的起源、應用場景以及基本的處理方法，并對于數(shù)據(jù)集、數(shù)據(jù)等基本的概念做了闡釋。更多免費共享視頻資料加群1065376712> 可視化與多維數(shù)據(jù)分析< 實踐課）本章講解了數(shù)據(jù)可視化的基本方法，并分別演示了Excel 數(shù)據(jù)透視表與SQL Server AnalysisService 對

4、于多維數(shù)據(jù)的可視化處理。<OLAP ） 5PCzVD7HxA1 / 7個人資料整理僅限學習使用3>分類器與決策樹本章講解了分類器的基本概念與應用方法，并具體分析了分類器經(jīng)典算法之一決策樹的實現(xiàn)方法。4> 其他分類器 < 上）本章講解了另外兩種經(jīng)典的分類器算法：基于規(guī)則的分類器與基于距離的分類器。5>其他分類器 < 下）本章講解了其他一些常見的分類器算法，如基于距離的分類器的改良算法、貝葉斯分類器、人工神經(jīng)網(wǎng)絡、支持向量機與組合方法等。 jLBHrnAILg6>決策樹的應用 < 實踐課）本章演示了利用 Weka Explorer 、 KNIME、T

5、anagra 等開源工具進行的數(shù)據(jù)挖掘處理。演示中對比了幾類數(shù)據(jù)挖掘算法，如 Cart 決策樹、 C4.5決策樹、 KNIME 決策樹、簡單貝葉斯分類、組合方法 < 裝袋）、人工神經(jīng)網(wǎng)絡、基于規(guī)則的分類等。 xHAQX74J0X7>關聯(lián)分析本章講解了關聯(lián)分析的常見算法，即Apriori 算法與 FP增長算法。8>購物車數(shù)據(jù)分析 < 實踐課）本章主要演示了利用微軟的解決方案來進行購物車數(shù)據(jù)的關聯(lián)分析，包括SQL ServiceAnalysis Service 的關聯(lián)分析與Excel 結合 SSAS 外接程序等方法。最后還利用Weka KnowledgeFlow工具來進行關

6、聯(lián)分析，以便對比第六章的實踐。LDAYtRyKfE9>聚類算法本章講解了聚類算法的基本原理與常見算法，包含K 均值算法、層次聚類、基于密度的聚類算法。10>聚類算法 C# 源代碼實現(xiàn) < 實踐課）本章演示如何通過C#源代碼實現(xiàn)聚類算法。1.5 、講師介紹艾倫：世界 500 強頂級企業(yè) 2年云計算工作經(jīng)驗，擁有多年的開發(fā)經(jīng)歷，擅長SQL Server 數(shù)據(jù)庫并對數(shù)據(jù)處理有一定的研究，同時也有許多C/C+ 、C# 、 Jquery 等網(wǎng)頁與桌面應用開發(fā)經(jīng)驗。Zzz6ZB2Ltk2 / 7個人資料整理僅限學習使用二、為什么需要這么套課程？2.1 、企業(yè)需要什么？數(shù)據(jù)挖掘是一門比較新

7、的技術，而數(shù)據(jù)挖掘的需求并沒有完全的挖掘出來。在這樣的情形下，我們依然看到很多企業(yè)對這樣的新技術有著強烈的需求。dvzfvkwMI1< 說明：以下企業(yè)需求職位均來自于 51job. ）職位 1、數(shù)據(jù)庫工程師職位 2、軟件開發(fā)工程師職位 3、市場分析員更多企業(yè)招聘信息請參考：2.2 、課程學習目標 < 我們提供什么？）目標一 . 可以讓學員了解與理解主要的數(shù)據(jù)挖掘技術。目標二 . 可以讓學員迅速掌握各類數(shù)據(jù)挖掘技術的應用場景。目標三 . 可以讓學員迅速掌握常見的數(shù)據(jù)挖掘工具的使用方法。目標四 . 可以讓有一定基礎的學員對數(shù)據(jù)挖掘的代碼實現(xiàn)入門。2.3 、課程特色特點一、講師講求深入淺

8、出，從理論、原理出現(xiàn)但是會回歸到實際的應用。既照顧到希望提高理解與認識的學員，也照顧到關注實踐應用的學員。rqyn14ZNXI3 / 7個人資料整理僅限學習使用特點二、實踐應用各有側重，會從幾種不同風格的軟件或工具入手來演示。如主流軟件公司的數(shù)據(jù)挖掘產(chǎn)品< 微軟公司的SQL Service Analysis Service ）、開源軟件與工具<Weka 、 KNIME 、Tanagra）以及挖掘算法通過C# 代碼的實現(xiàn)。充分照顧到學員對于應用軟件的偏好。EmxvxOtOco特點三、學習的過程中理論和實踐相結合，案例數(shù)據(jù)具備一定的代表性。并且課程提供所有的案例數(shù)據(jù)供學員自行修改和調試

9、，以鞏固加深學習效果SixE2yXPq52.4 、課程亮點亮點一、數(shù)據(jù)挖掘本身就是前沿的技術，中文的教材、課程數(shù)量非常少，如此的課程在國內也不常見。亮點二、理論與實戰(zhàn)相結合，深入淺出。即照顧到基礎學員，又照顧到有一定經(jīng)驗的學員，即講解細致，又一針見血，對技術絕不含糊。 6ewMyirQFL亮點三、代碼的實現(xiàn)是一行一行手工敲入，手把手一步步帶領學員從入門到精通。亮點四、實踐演示涉及到的軟件、工具數(shù)目眾多，照顧不同使用習慣的學員。亮點五、整個課程雖短，但“麻雀雖小，五臟倶全”。講解過程節(jié)奏緊湊且內容充實。3. 課程真心不錯，我可以學嗎？本課程會涉及到不少數(shù)據(jù)挖掘的算法。為了更好地理解算法，建議學員

10、可以有一定的基本算法的基礎。除了SQL Service Analysis Service 的應用實踐，大部分的演示都避免了使用數(shù)據(jù)庫來導入數(shù)據(jù)，因此對于數(shù)據(jù)庫的知識沒有特別要求。若學員希望理解最后一章的代碼實現(xiàn)，需要具備C# 的基本知識。 kavU42VRUs1 、 學習基本算法在Java 的實現(xiàn)，推薦您學習2 、 學習基本算法在C# 的實現(xiàn)，推薦您學習3 、 學習 C# 的基本知識，推薦您學習4 / 7個人資料整理僅限學習使用4. 我該怎么學 ,如何才能學好這門課程，給些建議。4.1 、時間上的安排建議本課程共 10 講，由于內容比較緊湊，建議每天一講，深入理解課程內容。4.2 、學習要求建

11、議按照課程進度仔細觀看學習，并利用課程的測試數(shù)據(jù)在相應的軟件或工具中自己實踐一遍。 < 由于版權原因， Excel 、SQL Server 與 Visual Studio 未提供下載地址，但其他開源軟件均提供了下載地址） y6v3ALoS89如果您有基礎，建議學習算法后可以嘗試利用代碼實現(xiàn)算法，并學會舉一反三4.3 、講師建議 < 講師給學員的建議）建議：1. 最好看完視頻之后，拋開視頻，仔細想想每個算法的原理與思想；若記憶不深刻，可以回過頭看再看下視頻，如此反復，達到真正理解和熟練掌握的目的。M2ub6vSTnP2. 對于工程實戰(zhàn)部分，一定要自己親自動手做一遍，不要聽完就結束。3

12、. 很多知識在開源社區(qū)中都有不同的見解，要學會使用搜索引擎，多逛逛相關社區(qū)。4. 最后祝您學有所成。5. 學完這門課程后能做什么？學會該課程后，嘗試著問自己幾個問題：1. 在您的生活中、工作中是否有尚未開發(fā)的數(shù)據(jù)？2. 那些尚未開發(fā)的數(shù)據(jù)與數(shù)據(jù)挖掘哪一個模型能夠匹配？3. 能否嘗試使用數(shù)據(jù)挖掘的方法來發(fā)現(xiàn)一些潛在的規(guī)律？本課程是針對數(shù)據(jù)、數(shù)據(jù)分析與挖掘方向，可以幫助您學會數(shù)據(jù)挖掘的思想，并不限定于某個5 / 7個人資料整理僅限學習使用特定的專業(yè)技術。掌握該技術后，一定能使您對于自己的業(yè)務數(shù)據(jù)的分析方法與能力更上一層樓。0YujCfmUCw6. 學員常見問題：常見問題一：學習該教程會使用哪些軟件

13、？軟件有沒有隨教程提供，沒有提供的話，軟件的的下載地址，及他們所使用的版本如何？ eUts8ZQVRd講師回答：本課程的軟件分為兩個部分：第一個部分是微軟公司的Office Excel、 SQL Server Analysis Service(SSAS> 、Visual Studio 。Visual Studio 主要用于演示層次聚類算法的C# 實現(xiàn)，并不限制于特定的版本。Excel與 SQL Server 結合所需的版本如下：sQsAEJkW5TExcel 2007與 SQL Server 2005Excel 2007與 SQL Server 2008Excel 2018與 SQL S

14、erver 2018第二部分是一些開源軟件與工具，課程中會提供工具下載的鏈接。常見問題二：學這個課程需要什么基礎？講師回答：適合對數(shù)據(jù)分析有興趣的學員。建議對基本算法、數(shù)據(jù)庫等知識有一定了解。開源軟件與工具界面為英文，主要以單詞為主，對英文沒有特別要求。GMsIasNXkA常見問題三：這種技術一般可用在什么場合？講師回答：本數(shù)據(jù)是數(shù)據(jù)分析領域的一個技術點，不是一個特定的工具。首先，數(shù)據(jù)分析與挖掘的思想可以借鑒到生活中或者工作中的任意數(shù)據(jù)分析場景；其次，分析與挖掘的方法可以廣泛用于市場定位、客戶關系分析、工程開發(fā)等領域。掌握它后可以讓你對數(shù)據(jù)的把控能力更得心應手，前< 錢）途無限。 TIrRGchYzg常見問題