大數(shù)據(jù)算法綜述.ppt

數(shù)據(jù)挖掘算法綜述 張嫻162107201332017 04 28 大數(shù)據(jù)概述 數(shù)據(jù)挖掘算法分類 經(jīng)典算法簡介 1 2 3 大數(shù)據(jù)概述 大數(shù)據(jù)概述 大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)的軟件工具進(jìn)行捕捉 管理和處理的數(shù)據(jù)集合 是由于目前存儲和計算模式與能力不能滿足存儲與處理現(xiàn)有數(shù)據(jù)集規(guī)模的需求而產(chǎn)生的相對概念 大數(shù)據(jù)平臺的設(shè)計 數(shù)據(jù)挖掘算法分類 數(shù)據(jù)挖掘 大數(shù)據(jù)的挖掘是從海量 不完全的 有噪聲的 模糊的 隨機的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價值的 潛在有用的信息和知識的過程 也是一種決策支持過程 大數(shù)據(jù)的挖掘常用的方法有分類 回歸分析 聚類 關(guān)聯(lián)規(guī)則 神經(jīng)網(wǎng)絡(luò)方法 Web數(shù)據(jù)挖掘等 這些方法從不同的角度對數(shù)據(jù)進(jìn)行挖掘 數(shù)據(jù)挖掘算法分類 數(shù)據(jù)挖掘算法分類 經(jīng)典算法簡介 ID3算法 決策樹是一種依托決策而建立起來的一種樹 在機器學(xué)習(xí)中 決策樹是一種預(yù)測模型 代表的是一種對象屬性與對象值之間的一種映射關(guān)系 每一個節(jié)點代表某個對象 樹中的每一個分叉路徑代表某個可能的屬性值 而每一個葉子節(jié)點則對應(yīng)從根節(jié)點到該葉子節(jié)點所經(jīng)歷的路徑所表示的對象的值 決策樹僅有單一輸出 如果有多個輸出 可以分別建立獨立的決策樹以處理不同的輸出 ID3算法 ID3算法是決策樹的一種 它是基于奧卡姆剃刀原理的 即用盡量用較少的東西做更多的事 在信息論中 期望信息越小 那么信息增益就越大 從而純度就越高 ID3算法的核心思想就是以信息增益來度量屬性的選擇 選擇分裂后信息增益最大的屬性進(jìn)行分裂 該算法采用自頂向下的貪婪搜索遍歷可能的決策空間 ID3算法 ID3算法 ID3算法 C4 5算法 C4 5相比于ID3改進(jìn)的地方有 1 用信息增益率來選擇屬性 2 在樹構(gòu)造過程中進(jìn)行剪枝 在構(gòu)造決策樹的時候 那些掛著幾個元素的節(jié)點 不考慮最好 不然容易導(dǎo)致overfitting 3 對非離散數(shù)據(jù)也能處理 4 能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理 K Means算法 K Means算法是聚類算法 k在在這里指的是分類的類型數(shù) 所以在開始設(shè)定的時候非常關(guān)鍵 算法的原理是首先假定k個分類點 然后根據(jù)歐式距離計算分類 然后取同分類的均值作為新的聚簇中心 循環(huán)操作直到收斂 K Means算法 Apriori關(guān)聯(lián)算法 Apriori算法學(xué)習(xí)數(shù)據(jù)的關(guān)聯(lián)規(guī)則 associationrules 適用于包含大量事務(wù) transcation 的數(shù)據(jù)庫 關(guān)聯(lián)規(guī)則學(xué)習(xí)是學(xué)習(xí)數(shù)據(jù)庫中不同變量中的相互關(guān)系的一種數(shù)據(jù)挖掘技術(shù) Apriori關(guān)聯(lián)算法 基本的Apriori算法有三步 1 參與 掃描一遍整個數(shù)據(jù)庫 計算1 itemsets出現(xiàn)的頻率 2 剪枝 滿足支持度和可信度的這些1 itemsets移動到下一輪流程 再尋找出現(xiàn)的2 itemsets 3 重