創(chuàng)智數(shù)據(jù)挖掘平臺(tái)手冊(cè).docx

1、創(chuàng)智數(shù)據(jù)挖掘平臺(tái)手冊(cè)1、平臺(tái)描述創(chuàng)智數(shù)據(jù)挖掘平臺(tái)是一個(gè)基于Hadoop2和Mahout開(kāi)發(fā)的數(shù)據(jù)挖掘平臺(tái)，用于為客戶(hù)提供公共挖掘算法服務(wù)。目前平臺(tái)己支持推薦、聚類(lèi)、分類(lèi)算法，能支持常用大數(shù)據(jù)挖掘的服務(wù)。平臺(tái)作為在服務(wù)端運(yùn)行的一個(gè)服務(wù)，將有關(guān)數(shù)據(jù)挖掘方面的運(yùn)算放在了服務(wù)端的集群上運(yùn)行，僅將最終結(jié)果返回給用戶(hù)的客戶(hù)端。因此為用戶(hù)在只擁有少量運(yùn)算和存儲(chǔ)資源的客戶(hù)端上提供了大數(shù)據(jù)挖掘的可能。平臺(tái)與用戶(hù)的客戶(hù)端之間僅通過(guò)消息進(jìn)行通訊，極大程度上降低了客戶(hù)端和服務(wù)端之間的耦合，使客戶(hù)端幾乎不會(huì)感知到服務(wù)端集群的擴(kuò)展和更新。2、平臺(tái)架構(gòu)平臺(tái)設(shè)計(jì)分為接口層、業(yè)務(wù)邏輯層、數(shù)據(jù)層，架構(gòu)圖如下：平臺(tái)設(shè)計(jì)分為接口層、

2、業(yè)務(wù)邏輯層、數(shù)據(jù)層，架構(gòu)圖如下：客戶(hù)端故摳挖拐任務(wù)及布1客戶(hù)端哉*戶(hù)玲故&。詼2挖拇乎臺(tái)13心中心平臺(tái)戈掙院接口層用于與客戶(hù)端進(jìn)行消息交互。目前平臺(tái)采用Rest消息格式，消息參數(shù)支持Json格式。業(yè)務(wù)邏輯層是平臺(tái)進(jìn)行消息調(diào)度、系統(tǒng)資源監(jiān)控、實(shí)現(xiàn)數(shù)據(jù)挖掘運(yùn)算和進(jìn)行用戶(hù)管理的地方，平臺(tái)需要擴(kuò)展新的數(shù)據(jù)挖掘算法的時(shí)候，也是在這一層加入新算法。數(shù)據(jù)層用于持久保存數(shù)據(jù)，包括用戶(hù)提交的原始數(shù)據(jù)、作為挖掘運(yùn)算輸入的預(yù)處理數(shù)據(jù)以及挖掘運(yùn)算的結(jié)果。目前數(shù)據(jù)保存在Hadoop2的HDFS文件系統(tǒng)中，今后將支持?jǐn)?shù)據(jù)保存到HBase非關(guān)系型數(shù)據(jù)庫(kù)以及Oracle等關(guān)系型數(shù)據(jù)庫(kù)中。3、平臺(tái)已支持的算法目前平臺(tái)己支持推薦

3、、聚類(lèi)、分類(lèi)三類(lèi)共六個(gè)數(shù)據(jù)挖掘算法，算法如下表描述:算法分類(lèi)算法名稱(chēng)算法介紹推薦算法協(xié)同過(guò)濾算法(DistributedItem-Based)屬于推薦算法的一種，根據(jù)用戶(hù)己有的信息推算出用戶(hù)可能會(huì)感興趣的信息。比如根據(jù)用戶(hù)在超市的購(gòu)買(mǎi)記錄推算出該用戶(hù)可能會(huì)對(duì)其他感興趣的商品，并將這些商品推薦給該用戶(hù)。FP樹(shù)挖掘算法(FPTree)屬于推薦算法的一種，用于從大量數(shù)據(jù)集中發(fā)現(xiàn)有價(jià)值的項(xiàng)目之間的關(guān)聯(lián)。比如超市商家從產(chǎn)品銷(xiāo)售信息里找出一種產(chǎn)品的銷(xiāo)量會(huì)帶動(dòng)其他哪些產(chǎn)品的銷(xiāo)量。支持分布式計(jì)算。聚類(lèi)算法Canopy算法屬于聚類(lèi)算法的一種，用于將一組未分類(lèi)的數(shù)據(jù)分成多組相似的數(shù)據(jù)，該算法不需要指定分成多少組數(shù)

4、據(jù)，適合對(duì)數(shù)據(jù)了解較少的情況。支持分布式計(jì)算。K-Means算法屬于聚類(lèi)算法的一種，與Canopy算法一樣用于將一組數(shù)據(jù)分成多組相似的數(shù)據(jù)，該算法區(qū)分結(jié)果更精確，但需指定分組數(shù)量，這在一定程度上限制了算法的使用。平臺(tái)調(diào)用K-Means算法時(shí)將分為兩步，第一步調(diào)用Canopy算法計(jì)算出聚類(lèi)中心(分組)個(gè)數(shù)，第二步再調(diào)用K-Means算法，有效提高了運(yùn)算效率。支持分布式計(jì)算。支持分布式計(jì)算。分類(lèi)算法貝葉斯算法(Bayesian)統(tǒng)計(jì)學(xué)分類(lèi)算法，是一種根據(jù)已有數(shù)據(jù)的分類(lèi)信息來(lái)將新數(shù)據(jù)歸類(lèi)的算法，分類(lèi)準(zhǔn)確率高，速度快，通常用于數(shù)據(jù)預(yù)測(cè)方向。支持分布式計(jì)算。隨機(jī)森林算法(RandomForests)分類(lèi)

5、算法的一種，通過(guò)創(chuàng)建決策樹(shù)的方式來(lái)根據(jù)現(xiàn)有數(shù)據(jù)的分類(lèi)信息將新數(shù)據(jù)歸類(lèi)，優(yōu)點(diǎn)是即使有很大一部分?jǐn)?shù)據(jù)遺失，該方法仍然能比較準(zhǔn)確的實(shí)現(xiàn)數(shù)據(jù)分類(lèi)。通常也用于數(shù)據(jù)預(yù)測(cè)。支持分布式計(jì)算。4、平臺(tái)使用為減少平臺(tái)與客戶(hù)端之間的耦合，平臺(tái)僅支持通過(guò)Rest消息與客戶(hù)端進(jìn)行通訊，不需要向用戶(hù)提供sdk開(kāi)發(fā)包。所有的交互均通過(guò)異步Rest消息實(shí)現(xiàn)，消息格式為：消息類(lèi)型消息格式消息說(shuō)明數(shù)據(jù)挖掘消息ip:8080/DMP/rest/DMPImplService/dm/消息名稱(chēng)/消息參數(shù)用于調(diào)用對(duì)應(yīng)的數(shù)據(jù)挖掘算法數(shù)據(jù)使用消ip:8080/DMP/rest/DMPImplService/query/用于獲取挖掘結(jié)果，需要該

6、預(yù)處息消息名稱(chēng)/消息參數(shù)理數(shù)據(jù)已執(zhí)行過(guò)對(duì)應(yīng)的數(shù)據(jù)挖掘算法并己經(jīng)產(chǎn)生了挖掘結(jié)果數(shù)據(jù)分類(lèi)消息ip:8080/DMP/rest/DMPImplService/classify/消息名稱(chēng)/消息參數(shù)僅分類(lèi)算法提供，用于根據(jù)己有分類(lèi)結(jié)果將新數(shù)據(jù)歸類(lèi)平臺(tái)調(diào)用挖掘算法的方式首先是通過(guò)接口將數(shù)據(jù)保存到平臺(tái)。因?yàn)橛脩?hù)對(duì)數(shù)據(jù)要求各不相同，因此平臺(tái)暫時(shí)沒(méi)有提供數(shù)據(jù)預(yù)處理的處理，這需要用戶(hù)先將數(shù)據(jù)預(yù)處理后再保存到平臺(tái)，作為算法的輸入數(shù)據(jù)，然后再調(diào)用挖掘算法消息進(jìn)行計(jì)算。由于目前平臺(tái)數(shù)據(jù)輸入接曰尚未實(shí)現(xiàn)，因此目前平臺(tái)主要是通過(guò)Ftp方式將預(yù)處理數(shù)據(jù)存放到平臺(tái)。預(yù)處理數(shù)據(jù)存放到平臺(tái)后，就可以開(kāi)始挖掘算法調(diào)用了。平臺(tái)各個(gè)挖掘

7、算法使用方式如下:算法名稱(chēng)消息名稱(chēng)和參數(shù)消息使用說(shuō)明協(xié)同過(guò)濾算法(DistributedItem-Based)/dm/dib/ds&(para)協(xié)同過(guò)濾算法調(diào)用接口，用于啟動(dòng)推薦該推薦算法ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字就是預(yù)處理數(shù)據(jù)所在的文件央路徑para-協(xié)同過(guò)濾算法參數(shù)/query/dib/(ds&(numRec|&userFeature)&userStart&userStop協(xié)同過(guò)濾算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱(chēng)numRec-每條記錄推薦的物品個(gè)數(shù)userFeature-用戶(hù)特征（包含指定名字的用戶(hù)）userStart-起始用戶(hù)號(hào)（從0開(kāi)始）userStop-結(jié)束用戶(hù)

8、號(hào)（包含該下標(biāo)的用戶(hù)）FP樹(shù)挖掘算法（FPTree）/dm/fp/(ds)¶FP樹(shù)挖掘算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para-算法參數(shù)/query/fp/(ds)&(numRe1ation&feature)&(type)&numRecordersFP樹(shù)挖掘算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱(chēng)nuniRelation-每條記錄返回的關(guān)聯(lián)組個(gè)數(shù)，-1表小全部feature-記錄特征（選取記錄的Key的包含了指定字符串的記錄），NULL表示參數(shù)為空type-返回記錄方式，ALL|MAX|MIN（ALL-返問(wèn)全部關(guān)聯(lián)信息，此時(shí)numRela

9、lion不起作用;MAX-從關(guān)聯(lián)度最大的開(kāi)始返回;MIN-從關(guān)聯(lián)度最小的開(kāi)始返回）numRecorders返叵1記錄條數(shù)Canopy算法/dm/canopy/ds¶Canopy算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para-算法參數(shù)/query/canopy/ds¶mCanopy算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱(chēng)paraM查詢(xún)參數(shù)，格式為:-op:true/false,-cn:聚類(lèi)中心名稱(chēng),p:true/falseop表示是否只查詢(xún)聚類(lèi)中心點(diǎn)，默認(rèn)為真；-cn為null時(shí)表示查詢(xún)?nèi)烤垲?lèi)中心;-op為false時(shí)，查詢(xún)聚類(lèi)中心全匹

10、配設(shè)定字符串的類(lèi)別下的所有記錄,-op為nie時(shí)，查詢(xún)聚類(lèi)中心全匹配設(shè)定字符串的聚類(lèi)中心；-P表示是否返回記錄屬性，默認(rèn)為false;K-Means算法/dm/kmcans/ds)¶1¶2K-Means算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑paral-用來(lái)計(jì)算聚類(lèi)中心個(gè)數(shù)的Canopy算法的參數(shù)paral-K-Means算法的參數(shù)/query/kmeans/(ds¶mK-Means算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱(chēng)para查詢(xún)參數(shù)，格式為-op:true/false,cn:聚類(lèi)中心名稱(chēng)，-p:lrue/false-op表示

11、是否只查詢(xún)聚類(lèi)中心點(diǎn)，默認(rèn)為真；-cn為null時(shí)表示查詢(xún)?nèi)烤垲?lèi)中心;-op為false時(shí)，查詢(xún)聚類(lèi)中心全匹配設(shè)定字符串的類(lèi)別下的所有記錄,-op為true時(shí)，查詢(xún)聚類(lèi)中心全匹配設(shè)定字符串的聚類(lèi)中心；-P表示是否返回記錄屬性，默認(rèn)為false;貝葉斯算法(Bayesian)/dm/bayes/ds)¶3貝葉斯算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para3-算法參數(shù)/classify/bayes/model&ds)貝葉斯算法分類(lèi)新數(shù)據(jù)消息，這條消息在調(diào)用貝葉斯挖掘算法后調(diào)用，作用是根據(jù)挖掘算法結(jié)果來(lái)分類(lèi)新數(shù)據(jù)model-已按貝葉斯算法分類(lèi)的數(shù)據(jù)集名稱(chēng)ds-待分類(lèi)的數(shù)據(jù)集名稱(chēng)/query/bayes/ds&nstart&nstop貝葉斯算法挖掘結(jié)果獲取ds-需要獲取的數(shù)據(jù)集名稱(chēng)nstart-待查詢(xún)的數(shù)據(jù)起始行，如果該項(xiàng)值為0,表示從最開(kāi)始查詢(xún)nstop-待查詢(xún)的數(shù)據(jù)結(jié)束行，如果該項(xiàng)值為0,表示一直查到分類(lèi)結(jié)果結(jié)束隨機(jī)森林算法(RandomForests)/dm/rf/(ds&pdesc)&(pbuild隨機(jī)森林算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑pdesc-輸入生成描述文件的參數(shù)pbuild-輸入建立隨機(jī)森林模型的參數(shù)/classify/rf/(model&ds隨機(jī)森林算法分類(lèi)新數(shù)據(jù)消息，這條消息