大數(shù)據(jù)算法綜述

1、數(shù)據(jù)挖掘算法綜述張嫻162107201332017.04.28CONTENTS大數(shù)據(jù)概述數(shù)據(jù)挖掘算法分類經(jīng)典算法簡介123PART ONE大數(shù)據(jù)概述大數(shù)據(jù)概述 大數(shù)據(jù)是指無法在一定時(shí)間范圍內(nèi)用常規(guī)的軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。是由于目前存儲(chǔ)和計(jì)算模式與能力不能滿足存儲(chǔ)與處理現(xiàn)有數(shù)據(jù)集規(guī)模的需求而產(chǎn)生的相對(duì)概念。大數(shù)據(jù)平臺(tái)的設(shè)計(jì)大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)： 研究大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問題，突破大數(shù)據(jù)的存儲(chǔ)、管理和高效訪問關(guān)鍵技術(shù)平臺(tái)層高可擴(kuò)展性大數(shù)據(jù)挖掘算法：基于云計(jì)算的分布式大數(shù)據(jù)處理與挖掘算法，構(gòu)建高可擴(kuò)展的大數(shù)據(jù)處理與挖掘算法庫功能層基于 Web 的大數(shù)據(jù)挖掘技術(shù)：Web 的大數(shù)

2、據(jù)挖掘方法和流程，實(shí)現(xiàn)易于使用的基于Web 的大數(shù)據(jù)挖掘技術(shù)，構(gòu)建基于 Web 的大數(shù)據(jù)分析環(huán)境。 服務(wù)層PART TWO數(shù)據(jù)挖掘算法分類數(shù)據(jù)挖掘 大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機(jī)的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價(jià)值的、潛在有用的信息和知識(shí)的過程，也是一種決策支持過程。 大數(shù)據(jù)的挖掘常用的方法有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)方法、Web 數(shù)據(jù)挖掘等。這些方法從不同的角度對(duì)數(shù)據(jù)進(jìn)行挖掘。數(shù)據(jù)挖掘算法分類 找出數(shù)據(jù)庫中的一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項(xiàng)映射到摸個(gè)給定的類別中。分類 反映了數(shù)據(jù)庫中數(shù)據(jù)的屬性

3、值的特性，通過函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系?；貧w分析 針對(duì)數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個(gè)類別。屬于同一類別的數(shù)據(jù)間的相似性很大，但不同類別之間數(shù)據(jù)的相似性很小，跨類的數(shù)據(jù)關(guān)聯(lián)性很低。聚類數(shù)據(jù)挖掘算法分類 隱藏在數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個(gè)數(shù)據(jù)項(xiàng)的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項(xiàng)的出現(xiàn)。關(guān)聯(lián) 一種先進(jìn)的人工智能技術(shù)，具有自行處理、分布存儲(chǔ)和高度容錯(cuò)等特性。非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識(shí)或數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò) Web 從文檔結(jié)構(gòu)和使用的集合C 中發(fā)現(xiàn)隱含的模式P，如果將C看做是輸入，P 看做是輸出，那么Web 挖掘過程就可以看做是從輸入到輸出的一個(gè)

4、映射過程。Web數(shù)據(jù)挖掘PART THREE經(jīng)典算法簡介ID3算法 決策樹決策樹是一種依托決策而建立起來的一種樹。在機(jī)機(jī)器學(xué)習(xí)器學(xué)習(xí)中，決策樹是一種預(yù)測(cè)模型，代表的是一種對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系，每一個(gè)節(jié)點(diǎn)代表某個(gè)對(duì)象，樹中的每一個(gè)分叉路徑代表某個(gè)可能的屬性值，而每一個(gè)葉子節(jié)點(diǎn)則對(duì)應(yīng)從根節(jié)點(diǎn)到該葉子節(jié)點(diǎn)所經(jīng)歷的路徑所表示的對(duì)象的值。決策樹僅有單一輸出，如果有多個(gè)輸出，可以分別建立獨(dú)立的決策樹以處理不同的輸出。ID3算法 ID3算法是決策樹的一種，它是基于奧卡姆剃刀原理的，即用盡量用較少的東西做更多的事。在信息論中，期望信息越小，那么信息增益就越大，從而純度就越高。ID3算法的核心思想

5、就是以信息增益來度量屬性的選擇，選擇分裂后信息增益最大的屬性進(jìn)行分裂。該算法采用自頂向下的貪婪搜索遍歷可能的決策空間。ID3算法ID3算法ID3算法C4.5算法C4.5相比于ID3改進(jìn)的地方有： 1、用信息增益率來選擇屬性。 2、在樹構(gòu)造過程中進(jìn)行剪枝，在構(gòu)造決策樹的時(shí)候，那些掛著幾個(gè)元素的節(jié)點(diǎn)，不考慮最好，不然容易導(dǎo)致overfitting。 3、對(duì)非離散數(shù)據(jù)也能處理。 4、能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。K-Means算法 K-Means算法是聚類算法，k在在這里指的是分類的類型數(shù)，所以在開始設(shè)定的時(shí)候非常關(guān)鍵，算法的原理是首先假定k個(gè)分類點(diǎn)，然后根據(jù)歐式距離計(jì)算分類，然后取同分類的均值作為新的聚簇中心，循環(huán)操作直到收斂。K-Means算法Apriori 關(guān)聯(lián)關(guān)聯(lián)算算法法 Apriori算法學(xué)習(xí)數(shù)據(jù)的關(guān)聯(lián)規(guī)則(association rules)，適用于包含大量事務(wù)（transcation）的數(shù)據(jù)庫。 關(guān)聯(lián)規(guī)則學(xué)習(xí)是學(xué)習(xí)數(shù)據(jù)庫中不同變量中的相互關(guān)系的一種數(shù)據(jù)挖掘技術(shù)。Apriori 關(guān)聯(lián)關(guān)聯(lián)算算法法基本的 Apriori 算法有三步： 1、參與：掃描一遍整個(gè)數(shù)據(jù)庫，計(jì)算1-itemsets 出現(xiàn)的頻率。 2、剪枝：滿足支持度和可信度的這些1-itemsets移動(dòng)到