hadoo學(xué)習(xí)視頻教程Mahou數(shù)據(jù)挖掘工具

Hadoop大數(shù)據(jù)解決方案進階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）Mahout數(shù)據(jù)挖掘工具(5)Mahout測試

聚類算法實戰(zhàn)-K-means課程目標Mahout測試查看hdfs的輸出結(jié)果轉(zhuǎn)換成普通文本Mahout測試查看轉(zhuǎn)換的結(jié)果轉(zhuǎn)換原始數(shù)據(jù)聚類算法實戰(zhàn)-K-meansK-means計算步驟步驟一：提取feature步驟二：將feature向量化步驟三：利用K-means算法實現(xiàn)聚類實例有1TB的新聞網(wǎng)頁數(shù)據(jù)，如何使用K-mean對其分成若干類？步驟一：提取feature步驟1：提取新聞?wù)?，并分詞步驟2：對詞編碼，從1開始步驟3：每個新聞文檔是一個向量，每個元素為0或者1比如：步驟二：將feature向量化向量的表示形式DenseVector：元素數(shù)目即為feature總數(shù)，不管是0還是1RandomAccessSparseVector：采用hashmap保存，更省空間SequentialAccessSparseVector：經(jīng)優(yōu)化，便于隨機存取向量轉(zhuǎn)化方式通過Lucene相關(guān)庫

$mahoutlucenevector…通過mahout自帶工具

$mahoutseqdirectory…

$mahoutseq2sparse…自己編寫程序?qū)?shù)據(jù)保存成SequenceFile格式步驟三：利用K-means算法實現(xiàn)聚類-i：指定待分類數(shù)據(jù)集所在的路徑-c：指定初始類別所在路徑-o：輸出聚類后的結(jié)果存放路徑-k：隨機選取的類別數(shù)目-dm：采用的向量距離計算方法，在此指定實現(xiàn)類-x：最多迭代終止次數(shù)-cd：聚集偏移量，即本輪迭代次數(shù)與上一輪迭代相比，變動點總量變化值-ow：結(jié)果目錄已經(jīng)存在時是否對其覆蓋-cl：是否首先通過canopy選取k個點，然后再運行k-means聚類-xm：sequential或者mapreduce，順序執(zhí)行還是分布式執(zhí)行Mahout自帶的向量距離計算類位于java包org.apache.mahout.distance中比如：org.apache.mahout.distance.CosineDistanceMeasureK-means聚類實例步驟1：下載測試數(shù)據(jù)（格式為SGML）：

$wget/resources/testcollections/reuters21578/reuters21578.tar.gz步驟2：將數(shù)據(jù)解壓

$mkdir–p~/dataset/reuters-sgm~/dataset/reuters-out

$cddataset/reuters-sgm&&t