大數(shù)據(jù)算法綜述課件

數(shù)據(jù)挖掘算法綜述張嫻162107201332017.04.28數(shù)據(jù)挖掘算法綜述張嫻CONTENTS大數(shù)據(jù)概述數(shù)據(jù)挖掘算法分類經(jīng)典算法簡介123CONTENTS大數(shù)據(jù)概述數(shù)據(jù)挖掘算法分類經(jīng)典算法簡介123PART

ONE大數(shù)據(jù)概述PARTONE大數(shù)據(jù)概述大數(shù)據(jù)概述大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)的軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。是由于目前存儲和計算模式與能力不能滿足存儲與處理現(xiàn)有數(shù)據(jù)集規(guī)模的需求而產(chǎn)生的相對概念。

大數(shù)據(jù)概述大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)的軟件大數(shù)據(jù)平臺的設(shè)計大數(shù)據(jù)分布式存儲系統(tǒng)：研究大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲問題，突破大數(shù)據(jù)的存儲、管理和高效訪問關(guān)鍵技術(shù)

平臺層高可擴(kuò)展性大數(shù)據(jù)挖掘算法：

基于云計算的分布式大數(shù)據(jù)處理與挖掘算法，構(gòu)建高可擴(kuò)展的大數(shù)據(jù)處理與挖掘算法庫

功能層基于Web的大數(shù)據(jù)挖掘技術(shù)：

Web的大數(shù)據(jù)挖掘方法和流程，實現(xiàn)易于使用的基于Web的大數(shù)據(jù)挖掘技術(shù)，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境。

服務(wù)層大數(shù)據(jù)平臺的設(shè)計大數(shù)據(jù)分布式存儲系統(tǒng)：研究大規(guī)模、非結(jié)構(gòu)PART

TWO數(shù)據(jù)挖掘算法分類PARTTWO數(shù)據(jù)挖掘算法分類數(shù)據(jù)挖掘

大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機(jī)的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。大數(shù)據(jù)的挖掘常用的方法有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)方法、Web數(shù)據(jù)挖掘等。這些方法從不同的角度對數(shù)據(jù)進(jìn)行挖掘。

數(shù)據(jù)挖掘大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模數(shù)據(jù)挖掘算法分類找出數(shù)據(jù)庫中的一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到摸個給定的類別中。分類反映了數(shù)據(jù)庫中數(shù)據(jù)的屬性值的特性，通過函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系。回歸分析針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。屬于同一類別的數(shù)據(jù)間的相似性很大，但不同類別之間數(shù)據(jù)的相似性很小，跨類的數(shù)據(jù)關(guān)聯(lián)性很低。聚類數(shù)據(jù)挖掘算法分類找出數(shù)據(jù)庫中的一組數(shù)據(jù)對象的共同特點數(shù)據(jù)挖掘算法分類隱藏在數(shù)據(jù)項之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個數(shù)據(jù)項的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項的出現(xiàn)。關(guān)聯(lián)一種先進(jìn)的人工智能技術(shù)，具有自行處理、分布存儲和高度容錯等特性。非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識或數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)

Web從文檔結(jié)構(gòu)和使用的集合C中發(fā)現(xiàn)隱含的模式P，如果將C看做是輸入，P看做是輸出，那么Web挖掘過程就可以看做是從輸入到輸出的一個映射過程。Web數(shù)據(jù)挖掘數(shù)據(jù)挖掘算法分類隱藏在數(shù)據(jù)項之間的關(guān)聯(lián)或相互關(guān)系，即PART

THREE經(jīng)典算法簡介PARTTHREE經(jīng)典算法簡介ID3算法決策樹是一種依托決策而建立起來的一種樹。在機(jī)器學(xué)習(xí)中，決策樹是一種預(yù)測模型，代表的是一種對象屬性與對象值之間的一種映射關(guān)系，每一個節(jié)點代表某個對象，樹中的每一個分叉路徑代表某個可能的屬性值，而每一個葉子節(jié)點則對應(yīng)從根節(jié)點到該葉子節(jié)點所經(jīng)歷的路徑所表示的對象的值。決策樹僅有單一輸出，如果有多個輸出，可以分別建立獨立的決策樹以處理不同的輸出。

ID3算法決策樹是一種依托決策而建立起來的一種樹。在ID3算法

ID3算法是決策樹的一種，它是基于奧卡姆剃刀原理的，即用盡量用較少的東西做更多的事。在信息論中，期望信息越小，那么信息增益就越大，從而純度就越高。ID3算法的核心思想就是以信息增益來度量屬性的選擇，選擇分裂后信息增益最大的屬性進(jìn)行分裂。該算法采用自頂向下的貪婪搜索遍歷可能的決策空間。

ID3算法ID3算法是決策樹的一種，它是基于奧卡姆剃ID3算法

ID3算法

ID3算法

ID3算法

ID3算法

ID3算法

C4.5算法C4.5相比于ID3改進(jìn)的地方有：1、用信息增益率來選擇屬性。2、在樹構(gòu)造過程中進(jìn)行剪枝，在構(gòu)造決策樹的時候，那些掛著幾個元素的節(jié)點，不考慮最好，不然容易導(dǎo)致overfitting。3、對非離散數(shù)據(jù)也能處理。4、能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。

C4.5算法C4.5相比于ID3改進(jìn)的地方有：K-Means算法K-Means算法是聚類算法，k在在這里指的是分類的類型數(shù)，所以在開始設(shè)定的時候非常關(guān)鍵，算法的原理是首先假定k個分類點，然后根據(jù)歐式距離計算分類，然后取同分類的均值作為新的聚簇中心，循環(huán)操作直到收斂。

K-Means算法K-Means算法是聚類算法，k在K-Means算法K-Means算法Apriori關(guān)聯(lián)算法Apriori算法學(xué)習(xí)數(shù)據(jù)的關(guān)聯(lián)規(guī)則(associationrules)，適用于包含大量事務(wù)（transcation）的數(shù)據(jù)庫。關(guān)聯(lián)規(guī)則學(xué)習(xí)是學(xué)習(xí)數(shù)據(jù)庫中不同變量中的相互關(guān)系的一種數(shù)據(jù)挖掘技術(shù)。Apriori關(guān)聯(lián)算法Apriori算法學(xué)習(xí)數(shù)據(jù)的Apriori關(guān)聯(lián)算法基本的Apriori算法有三步：

1、參與：掃描一遍整個數(shù)據(jù)庫，計算1-itemsets出現(xiàn)的頻率。

2、剪枝：滿足支持度和可信度的這些1-itemsets移動到下一輪流程，再尋找出現(xiàn)的2-it