hadoo項目實戰(zhàn)教程 mahou數(shù)據(jù)挖掘工具

Hadoop大數(shù)據(jù)解決方案進階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）Mahout數(shù)據(jù)挖掘工具(3)數(shù)據(jù)分析工具常見算法的Map-Reduce化Mahout的起源和特點課程目標頻繁模式挖掘數(shù)據(jù)分析工具常用傳統(tǒng)數(shù)據(jù)分析工具排行傳統(tǒng)數(shù)據(jù)分析工具的困境R，SAS，SPSS等典型應(yīng)用場景為實驗室工具處理數(shù)據(jù)量受限于內(nèi)存，因此無法處理海量數(shù)據(jù)使用Oracle數(shù)據(jù)庫等處理海量數(shù)據(jù)，但缺乏有效快速專業(yè)的分析功能可以采用抽樣等方法，但有局限性，比如對于聚類，推薦系統(tǒng)則無法使用抽樣解決方向：Hadoop集群和Map-Reduce并行計算常見算法的Map-Reduce化常見算法的Map-Reduce化Mahout起源ApacheMahout起源于2008年，當(dāng)時是ApacheLucene的子項目使用Hadoop庫，可以將其功能有效地擴展到ApacheHadoop云平臺ApacheLucene是一個著名的開源搜索引擎，實現(xiàn)了先進的信息搜索、文本挖掘功能一些ApacheLucene的開發(fā)者最終轉(zhuǎn)而開發(fā)機器學(xué)習(xí)算法，這些算法也就形成了最初的ApacheMahoutMahout不久又吸收了名為Taste的開源協(xié)同過濾算法的項目2010年4月ApacheMahout最終成為Apache的頂級項目Ma流ho稼ut特點Ma墻ho庫ut的主素要母爽的是膜實現(xiàn)究針對天大規(guī)亮模數(shù)美據(jù)集債的可掀伸縮級的機熊器學(xué)羞習(xí)算艘法（波就是老算法白的M-跌R化）Ma觸ho糧ut的算乞法運猛行在Ha咬do重op平臺設(shè)下，女通過Ma葬pR話ed辜uc騾e模式勵實現(xiàn)寧。但并笑不嚴水格要昌求算敘法的胖實現(xiàn)恐基于Ha喜do爺op平臺暑，單菊個節(jié)英點或駕非Ha黎do凍op平臺自也可喜以目標俱是幫凡助開孤發(fā)人害員快什速建臣立具橋有機裂器智郊能的衛(wèi)應(yīng)用噴程序目前網(wǎng)比較浴成熟衣和活浸躍的微主要靠包括聚類分類推薦玻引擎頻繁足項集妄的挖勺掘Ma府ho石ut算法悉集算法類算法名中文名分類算法LogisticRegression邏輯回歸

Bayesian貝葉斯

SVM支持向量機

Perceptron感知器算法

NeuralNetwork神經(jīng)網(wǎng)絡(luò)

RandomForests隨機森林

RestrictedBoltzmannMachines有限波爾茲曼機聚類算法CanopyClusteringCanopy聚類

K-meansClusteringK均值算法

FuzzyK-means模糊K均值

ExpectationMaximizationEM聚類（期望最大化聚類）

MeanShiftClustering均值漂移聚類

HierarchicalClustering層次聚類

DirichletProcessClustering狄里克雷過程聚類

LatentDirichletAllocationLDA聚類

SpectralClustering譜聚類關(guān)聯(lián)規(guī)則挖掘ParallelFPGrowthAlgorithm并行FPGrowth算法回歸LocallyWeightedLinearRegression局部加權(quán)線性回歸降維/維約簡SingularValueDecomposition奇異值分解

PrincipalComponentsAnalysis主成分分析

IndependentComponentAnalysis獨立成分分析

GaussianDiscriminativeAnalysis高斯判別分析進化算法并行化了Watchmaker框架

推薦/協(xié)同過濾Non-distributedrecommendersTaste(UserCF,ItemCF,SlopeOne）

DistributedRecommendersItemCF向量相似度計算RowSimilarityJob計算列間相似度

VectorDistanceJob計算向量間距離非Map-Reduc