大數(shù)據(jù)技術(shù)與應(yīng)用 第2版 課件 第5章 大數(shù)據(jù)分析與挖掘

第5章大數(shù)據(jù)分析與挖掘大數(shù)據(jù)為人服務(wù)，為企業(yè)和個人提供決策參考，讓人少犯錯，更聰明。這方面主要體現(xiàn)在精準(zhǔn)營銷、用戶需求、市場拓展、趨勢預(yù)測、資源配置、產(chǎn)品升級。大數(shù)據(jù)為機器服務(wù)。大數(shù)據(jù)可以訓(xùn)練機器設(shè)備、人工智能，讓機器更聰明。這方面主要體現(xiàn)在物聯(lián)設(shè)備、人工智能訓(xùn)練、搜索引擎、信息分發(fā)平臺的推送機制。大數(shù)據(jù)分析概述

數(shù)據(jù)分析是大數(shù)據(jù)價值鏈中的一個重要環(huán)節(jié)，其目標(biāo)是提取海量數(shù)據(jù)中的有價值的內(nèi)容，找出內(nèi)在的規(guī)律，從而幫助人們作出最正確的決策。1、認(rèn)清事實2、找出規(guī)律3、預(yù)測未來4、洞悉關(guān)系

大數(shù)據(jù)分析的主要任務(wù)主要有：第一類是預(yù)測任務(wù)，第二類是描述任務(wù)，具體可分為分類、回歸、關(guān)聯(lián)分析、聚類分析、推薦系統(tǒng)、異常檢測、鏈接分析等幾種。

大數(shù)據(jù)分析主要有描述性統(tǒng)計分析、探索性數(shù)據(jù)分析以及驗證性數(shù)據(jù)分析等。

描述性統(tǒng)計，是指運用制表和分類，圖形以及計算概括性數(shù)據(jù)來描述數(shù)據(jù)特征的各項活動。

驗證性數(shù)據(jù)分析注重對數(shù)據(jù)模型和研究假設(shè)的驗證，側(cè)重于已有假設(shè)的證實或證偽。假設(shè)檢驗是根據(jù)數(shù)據(jù)樣本所提供的證據(jù)，肯定或否定有關(guān)總體的聲明。

探索性數(shù)據(jù)分析是指為了形成值得假設(shè)的檢驗而對數(shù)據(jù)進(jìn)行分析的一種方法，是對傳統(tǒng)統(tǒng)計學(xué)假設(shè)檢驗手段的補充。

大數(shù)據(jù)分析的內(nèi)容主要有數(shù)據(jù)挖掘算法、大數(shù)據(jù)預(yù)測性分析以及可視化分析等。數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法。

預(yù)測性分析

大數(shù)據(jù)分析最終要應(yīng)用的領(lǐng)域之一就是預(yù)測性分析，從大數(shù)據(jù)中挖掘出特點，通過科學(xué)的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預(yù)測未來的數(shù)據(jù)。

可視化分析大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時還有普通用戶，但是他們二者對于大數(shù)據(jù)分析最基本的要求都是能夠可視化分析，因為可視化分析能夠直觀地呈現(xiàn)大數(shù)據(jù)特點。大數(shù)據(jù)分析的方法

分類分類是一種重要的數(shù)據(jù)挖掘技術(shù)。分類的目的是根據(jù)數(shù)據(jù)集的特點構(gòu)造一個分類函數(shù)或分類模型（也常常稱作分類器），該模型能把未知類別的樣本映射到給定類別中的某一個。

簡言之，確定對象屬于哪個預(yù)定義的目標(biāo)類。

學(xué)術(shù)一點：通過學(xué)習(xí)得到一個目標(biāo)函數(shù)f（分類模型），把每個屬性集x映射到一個預(yù)先定義的類標(biāo)號y。

雖然我們?nèi)祟惗疾幌矚g被分類，被貼標(biāo)簽，但數(shù)據(jù)研究的基礎(chǔ)正是給數(shù)據(jù)“貼標(biāo)簽”進(jìn)行分類。類別分得越精準(zhǔn)，我們得到的結(jié)果就越有價值。

例如，在家長眼里乖巧的小明是一個好孩子，同時家長也想確保他會在學(xué)校做一名“好學(xué)生”而不是“壞學(xué)生”。這里的區(qū)分“好學(xué)生”和“壞學(xué)生”就是一個分類任務(wù)。

分類是一個有監(jiān)督的學(xué)習(xí)過程，目標(biāo)數(shù)據(jù)庫中有哪些類別是已知的，分類過程需要做的就是把每一條記錄歸到對應(yīng)的類別之中。由于必須事先知道各個類別的信息，并且所有待分類的數(shù)據(jù)條目都默認(rèn)有對應(yīng)的類別，因此分類算法也有其局限性。常用的分類算法包括：NBC（NaiveBayesianClassifier，樸素貝葉斯分類）算法、LR（LogisticRegress，邏輯回歸）算法、ID3（IterativeDichotomiser3迭代二叉樹3代）決策樹算法、C4.5決策樹算法、C5.0決策樹算法、SVM（SupportVectorMachine，支持向量機）算法、KNN(K-NearestNeighbor，K最近鄰近)算法、ANN（ArtificialNeuralNetwork，人工神經(jīng)網(wǎng)絡(luò)）算法等。

“別和其他壞學(xué)生在一起，否則你也會和他們一樣?！?/p>

——家長這句話通常來自家長的勸誡，但它透露著不折不扣的近鄰思想。在分類算法中，K最近鄰是最普通也是最好理解的算法。它的主要思想是通過離待預(yù)測樣本最近的K個樣本的類別來判斷當(dāng)前樣本的類別。家長們希望孩子成為好學(xué)生，可能為此不惜重金購買學(xué)區(qū)房或者上私立學(xué)校，一個原因之一是這些優(yōu)秀的學(xué)校里有更多的優(yōu)秀學(xué)生。與其他優(yōu)秀學(xué)生走的更近，從K最近鄰算法的角度來看，就是讓目標(biāo)樣本與其他正樣本距離更近、與其他負(fù)樣本距離更遠(yuǎn)，從而使得其近鄰中的正樣本比例更高，更大概率被判斷成正樣本。條件概率是指事件A在另外一個事件B已經(jīng)發(fā)生條件下的發(fā)生概率，記P（A|B）左邊為一個布袋，里邊裝有5個球，其中2個藍(lán)色球，3個紅色球。每次隨機從布袋里拿一顆球（不放回），求連續(xù)2次拿到籃球的概率是多少？拿到2個籃球的概率即P（AB），事件A為第一次拿到籃球的概率，這里為P（A）=2/5；事件B為第二次拿到籃球的概率，這里為在第一次拿到籃球的條件下，第二次拿到籃球的條件概率P（B|A）。貝葉斯定理是關(guān)于隨機事件A和B的條件概率（或邊緣概率）的一則定理。貝葉斯定理之所以有用，是因為我們在生活中經(jīng)常遇到這種情況：我們可以很容易直接得出P(A|B)，P(B|A)則很難直接得出，但我們更關(guān)心P(B|A)，貝葉斯定理就為我們打通從P(A|B)獲得P(B|A)的道路。

樸素貝葉斯的思想基礎(chǔ)是這樣的：對于給出的待分類項，求解在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最大，就認(rèn)為此待分類項屬于哪個類別。

通俗來說，在街上看到一個黑人，猜這哥們哪里來的，十有八九猜非洲。為什么呢？因為黑人中非洲人的比率最高。

“根據(jù)以往抓獲的情況來看，十個壞學(xué)生有九個愛打架?！?/p>

——教導(dǎo)主任說這句話的訓(xùn)導(dǎo)主任很有可能就是通過樸素貝葉斯算法來區(qū)分好、壞學(xué)生?！笆畟€壞學(xué)生有九個愛打架”就意味著“壞學(xué)生”打架的概率P(打架|壞學(xué)生)=0.9，假設(shè)根據(jù)訓(xùn)導(dǎo)處歷史記錄壞學(xué)生占學(xué)生總數(shù)P(壞學(xué)生)=0.1、打架發(fā)生的概率是P(打架)=0.09，那么這時如果發(fā)生打架事件，就可以通過貝葉斯公式判斷出當(dāng)事學(xué)生是“壞學(xué)生”的概率P(壞學(xué)生|打架)=P(打架|壞學(xué)生)×P(壞學(xué)生)÷P(打架)=1.0，即該學(xué)生100%是“壞學(xué)生”。某人身高6英尺、體重130磅，腳掌8英寸，請問該人是男是女？樸素貝葉斯分類常用于文本分類，尤其是對于英文等語言來說，分類效果很好。它常用于垃圾文本過濾、情感預(yù)測、推薦系統(tǒng)等。

“上課講話扣1分，不交作業(yè)扣2分，比賽得獎加5分?！?/p>

——紀(jì)律委員班上的紀(jì)律委員既勤懇又嚴(yán)格，總是在小本本上記錄同學(xué)們的每一項行為得分。在完成對每一項行為的評分后，紀(jì)律委員根據(jù)最終加總得到的總分來判斷每位同學(xué)的表現(xiàn)好壞。上述的過程就非常類似于邏輯回歸的算法原理。我們稱邏輯回歸為一種線性分類器，其特征就在于自變量x和因變量y之間存在類似y=ax+b的一階的、線性的關(guān)系。假設(shè)“上課講話”、“不交作業(yè)”和“比賽得獎”的次數(shù)分別表示為x1、x2、和x3，且每個學(xué)生的基礎(chǔ)分為0，那么最終得分y=-1*x1-2*x2+5*x3+0。其中-1、-2和5分別就對應(yīng)于每種行為在“表現(xiàn)好”這一類別下的權(quán)重。

““我想個辦法把表現(xiàn)差的學(xué)生都調(diào)到最后一排?！?/p>

——班主任即使學(xué)生們再不情愿，班主任也有一萬個理由對他們的座位作出安排。對于“壞學(xué)生”，一些班主任的采取的做法是盡量讓他們與“好學(xué)生”保持距離，即將“壞學(xué)生”們都調(diào)到教室的最后一排。這樣一來，就相當(dāng)于在學(xué)生們之間畫了一條清晰的分割界線，一眼就能區(qū)分出來。支持向量機的思想就是如此。支持向量機致力于在正負(fù)樣本的邊界上找到一條分割界線（超平面），使得它能完全區(qū)分兩類樣本的同時，保證劃分出的間隔盡量的大。對于班主任來講，調(diào)換學(xué)生們的座位就相當(dāng)于使用了核函數(shù)，讓原本散落在教室里的“好”、“壞”學(xué)生從線性不可分變得線性可分了。人工神經(jīng)網(wǎng)絡(luò)，簡稱神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型或計算模型，用于對函數(shù)進(jìn)行估計或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)由很多的層組成，最前面這一層叫輸入層，最后面一層叫輸出層，最中間的層叫隱層，并且每一層有很多節(jié)點，節(jié)點之間有邊相連的，每條邊都有一個權(quán)重。對于文本來說輸入值是每一個字符，對于圖片來說輸入值就是每一個像素。垃圾郵件過濾器是一個機器學(xué)習(xí)程序，通過學(xué)習(xí)用戶標(biāo)記好的垃圾郵件和常規(guī)非垃圾郵件示例，它可以學(xué)會標(biāo)記垃圾郵件。系統(tǒng)用于學(xué)習(xí)的示例稱為訓(xùn)練集。在此案例中，任務(wù)（T）是標(biāo)記新郵件是否為垃圾郵件，經(jīng)驗（E）是訓(xùn)練數(shù)據(jù)，性能度量（P）需要定義?；貧w在統(tǒng)計學(xué)中，回歸分析指的是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。

線性回歸是最為人熟知的建模技術(shù)之一。線性回歸通常是人們在學(xué)習(xí)預(yù)測模型時首選的少數(shù)幾種技術(shù)之一。在該技術(shù)中，因變量是連續(xù)的，自變量（單個或多個）可以是連續(xù)的，也可以是離散的。線性回歸用于根據(jù)連續(xù)變量估算實際值（房屋成本，通話成本，總銷售額等）。在這里，我們通過擬合一條直線來建立自變量和因變量之間的關(guān)系。該最佳擬合線稱為回歸線，并由線性方程Y=a*X+b表示。我們確定了線性方程y=0.2811x+13.9的最佳擬合線?，F(xiàn)在使用這個方程，我們可以求出重量，而知道一個人的身高。回歸問題根據(jù)先前觀察到的數(shù)據(jù)預(yù)測數(shù)值；回歸的例子包括房價預(yù)測、股價預(yù)測、身高-體重預(yù)測等。線性回歸主要有兩種類型：簡單線性回歸和多元線性回歸。簡單線性回歸的特征在于一個自變量。而多元線性回歸（顧名思義）的特征是多個（超過1個）的自變量。在找到最佳擬合線時，可以擬合多項式或曲線回歸。這些被稱為多項式或曲線回歸。

聚類聚類分析指將物理或抽象對象的集合分組為由類似的對象組成的多個類的分析過程。聚類自動尋找并建立分組規(guī)則的方法，通過判斷樣本之間的相似性，把相似樣本劃分在一個簇中。

與分類不同，聚類的目的就是實現(xiàn)對樣本的細(xì)分，使得同組內(nèi)的樣本特征較為相似，不同組的樣本特征差異較大。聚類是一種無監(jiān)督的學(xué)習(xí)，在事先不知道數(shù)據(jù)分類的情況下，根據(jù)數(shù)據(jù)之間的相似程度進(jìn)行劃分，目的是使同類別的數(shù)據(jù)對象之間的差別盡量小，不同類別的數(shù)據(jù)對象之間的差別盡量大。

聚類的商業(yè)領(lǐng)域應(yīng)用包括：按照不同主題對文檔、音樂、電影進(jìn)行分組，或基于常見的購買行為，發(fā)現(xiàn)有相同興趣愛好的顧客，并以此構(gòu)建推薦引擎。

實現(xiàn)給定一個n個對象的合集，劃分方法構(gòu)建數(shù)據(jù)的k個分區(qū)，其中每個分區(qū)代表一個簇，并且k《n，也就是說把數(shù)據(jù)劃分為k個組，使的每個組至少包含一個對象。換就話說就是劃分方法在數(shù)據(jù)集上進(jìn)行一層劃分，典型的，基本劃分方法采取互斥的簇劃分，即每個對象的必須恰好屬于一組。

聚類的商業(yè)領(lǐng)域應(yīng)用包括：按照不同主題對文檔、音樂、電影進(jìn)行分組，或基于常見的購買行為，發(fā)現(xiàn)有相同興趣愛好的顧客，并以此構(gòu)建推薦引擎。

在生物上，聚類分析被用來對動植物和基因進(jìn)行分類，以獲取對種群固有結(jié)構(gòu)的認(rèn)識。

在保險行業(yè)上，聚類分析可以通過平均消費來鑒定汽車保險單持有者的分組，同時可以根據(jù)住宅類型、價值、地理位置來鑒定城市的房產(chǎn)分組。

在電子商務(wù)上，聚類分析通過分組聚類出具有相似瀏覽行為的客戶，并分析客戶的共同特征，從而幫助電子商務(wù)企業(yè)了解自己的客戶，向客戶提供更合適的服務(wù)。

與分類不同，聚類所要求劃分的類是未知的。

關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則就是由關(guān)聯(lián)的規(guī)則，它的定義是：兩個不相交的非空集合X、Y，如果由X->Y，就說X->Y是一條關(guān)聯(lián)規(guī)則。其中X表示的是兩個互斥事件，X稱為前因(antecedent)，Y稱為后果(consequent)，上述關(guān)聯(lián)規(guī)則表示X會導(dǎo)致Y。

在實際應(yīng)用中，“商品銷售”講述了產(chǎn)品之間的關(guān)聯(lián)性，如果大量的數(shù)據(jù)表明，消費者購買A產(chǎn)品的同時，也會同時購買B產(chǎn)品。那么A和B之間存在關(guān)聯(lián)性，記為A->B。

使用關(guān)聯(lián)規(guī)則的過程主要包含以下四個步驟：（1）數(shù)據(jù)篩選，首先對數(shù)據(jù)進(jìn)行清洗，清洗掉那些公共的項目，比如：熱門詞，通用詞（此步依據(jù)具體項目而定）。（2）根據(jù)支持度（support），從事務(wù)集合中找出頻繁項集（使用算法：Apriori算法，F(xiàn)P-Growth算法）。（3）根據(jù)置信度（confidence），從頻繁項集中找出強關(guān)聯(lián)規(guī)則（置信度閾值需要根據(jù)實驗或者經(jīng)驗而定）。（4）根據(jù)提升度（lift），從強關(guān)聯(lián)規(guī)則中篩選出有效的強關(guān)聯(lián)規(guī)則（提升度的設(shè)定需要經(jīng)過多次試驗確定）。大數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是指在大量的數(shù)據(jù)中挖掘出有用信息，通過分析來揭示數(shù)據(jù)之間有意義的聯(lián)系、趨勢和模式。

數(shù)據(jù)挖掘是一門交叉學(xué)科。

數(shù)據(jù)挖掘可以分為兩類：直接數(shù)據(jù)挖掘和間接數(shù)據(jù)挖掘。（1）直接數(shù)據(jù)挖掘直接數(shù)據(jù)挖掘的目標(biāo)是利用可用的數(shù)據(jù)建立一個模型，利用這個模型對剩余的數(shù)據(jù)，對一個特定的變量進(jìn)行描述。（2）間接數(shù)據(jù)挖掘間接數(shù)據(jù)挖掘的目標(biāo)中沒有選出某一具體的變量，也不是用模型進(jìn)行描述，而是在所有的變量中建立起某種關(guān)系。

數(shù)據(jù)挖掘技術(shù)

指為了完成數(shù)據(jù)挖掘任務(wù)所需要的全部技術(shù)，是數(shù)據(jù)挖掘方法的集合。在金融、零售等企業(yè)已廣泛采用數(shù)據(jù)挖掘技術(shù)，分析用戶的可信度和購物偏好等。數(shù)據(jù)挖掘應(yīng)用在當(dāng)今大數(shù)據(jù)時代下，數(shù)據(jù)挖掘應(yīng)用到各種各樣的領(lǐng)域中，成為高科技發(fā)展的熱點問題。在軟件開發(fā)、醫(yī)療衛(wèi)生、金融、教育等方面都可以隨處看到數(shù)據(jù)挖掘的影子，可以使用數(shù)據(jù)挖掘技術(shù)發(fā)現(xiàn)大數(shù)據(jù)的內(nèi)在的巨大價值。（1）電子郵件系統(tǒng)中垃圾郵件的判斷（2）金融領(lǐng)域中金融產(chǎn)品的推廣營銷（3）商品銷售（4）疾病診斷（5）電子商務(wù)中的推薦系統(tǒng)數(shù)據(jù)挖掘算法K-Means算法

K-Means算法也叫作k均值聚類算法，它是最著名的劃分聚類算法，由于簡潔和效率使得它成為所有聚類算法中最廣泛使用的。決策樹算法決策樹算法是一種能解決分類或回歸問題的機器學(xué)習(xí)算法，它是一種典型的分類方法，最早產(chǎn)生于上世紀(jì)60年代。決策樹算法首先對數(shù)據(jù)進(jìn)行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對新數(shù)據(jù)進(jìn)行分析。

決策樹的原理如下：（1）找到劃分?jǐn)?shù)據(jù)的特征，作為決策點。（2）利用找到的特征對數(shù)據(jù)進(jìn)行劃分成n個數(shù)據(jù)子集。（3）如果同一個子集中的數(shù)據(jù)屬于同一類型就不再劃分，如果不屬于同一類型，繼續(xù)利用特征進(jìn)行劃分。（4）指導(dǎo)每一個子集的數(shù)據(jù)屬于同一類型停止劃分。

決策樹算法

某女，26歲，相親，提出的見面條件如下：

（1）年齡在30歲以下；

（2）長相中等以上；

（3）收入高，或者職業(yè)是公務(wù)員。KNN算法

KNN算法也叫作K最近鄰算法，是數(shù)據(jù)挖掘分類技術(shù)中最簡單的方法之一。所謂K最近鄰，就是k個最近的鄰居的意思，說的是每個樣本都可以用它最接近的k個鄰居來代表。

KNN算法的實現(xiàn)主要有三個步驟：（1）給定待分類樣本，計算它與已分類樣本中的每個樣本的距離。（2）圈定與待分類樣本距離最近的K個已分類樣本，作為待分類樣本的近鄰。（3）根據(jù)這K個近鄰中的大部分樣本所屬的類別來決定待分類樣本該屬于哪個分類。遺傳算法遺傳算法模擬了自然選擇和遺傳中發(fā)生的繁殖、交配和基因突變現(xiàn)象，是一種采用遺傳結(jié)合、遺傳交叉變異及自然選擇等操作來生成實現(xiàn)規(guī)則的、基于進(jìn)化理論的機器學(xué)習(xí)方法。遺傳算法的實現(xiàn)步驟如下：（1）隨機產(chǎn)生種群。（2）根據(jù)策略判斷個體的適應(yīng)度，是否符合優(yōu)化準(zhǔn)則，若符合，輸出最佳個體及其最優(yōu)解，結(jié)束；否則，進(jìn)行下一步。（3）依據(jù)適應(yīng)度選擇父母，適應(yīng)度高的個體被選中的概率高，適應(yīng)度低的個體被淘汰。（4）用父母的染色體按照一定的方法進(jìn)行交叉，生成子代。（5）對子代染色體進(jìn)行變異。（6）由交叉和變異產(chǎn)生新一代種群，返回步驟2，直到最優(yōu)解產(chǎn)生。神經(jīng)網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)可以指向兩種，一個是生物神經(jīng)網(wǎng)絡(luò)，一個是人工神經(jīng)網(wǎng)絡(luò)。在這里專指人工神經(jīng)網(wǎng)絡(luò)。它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)算法的原理基于以下兩點：1.信息是通過神經(jīng)元上的興奮模式分布存儲在網(wǎng)絡(luò)上；2.信