星環(huán)科技-用戶(hù)操作手冊(cè)

引 .....................................2.....................................2.....................................2 簡(jiǎn) Midas介 Quick MidasQuickStart- MidasQuickStart- 前期準(zhǔn) ................................................................................18寫(xiě) 數(shù)據(jù)預(yù)處 分 回 聚 深度學(xué) 統(tǒng)計(jì)相 系 關(guān)聯(lián)規(guī) 驗(yàn)證與評(píng) 實(shí)用工 自定 端口解 客戶(hù)服 免本說(shuō)明書(shū)依據(jù)現(xiàn)有信息制作,其內(nèi)容更改,恕不另行通知。星環(huán)信息科技（）有限公司在編寫(xiě)該說(shuō)明書(shū)的時(shí)候已盡最大努力保證期內(nèi)容準(zhǔn)確可靠,但星環(huán)信息科技（海）不對(duì)本說(shuō)明遺漏、確或印刷錯(cuò)誤導(dǎo)致的損失和損害承擔(dān)責(zé)任。具體產(chǎn)品使用請(qǐng)以實(shí)際使用為準(zhǔn)注釋:Hadoop?和SPARK?是ApacheTM在 商標(biāo)。Java?是Oracle公司在和其他國(guó)家的商標(biāo)或 的商標(biāo)。In 和Xeon?是英特爾公司在、中國(guó)和其他國(guó)家的商標(biāo) 的商標(biāo)?2013年-2016年星環(huán)信息科技（）。保留所利。?星環(huán)信息科技（） 修改權(quán)。本說(shuō)明書(shū)的歸星環(huán)信息科技（）所有。未得到星環(huán)信息科技（）的,任何人不得以任何方式或形式對(duì)本說(shuō)明書(shū)內(nèi)的任何部分進(jìn)行、摘錄、備份、修改、、翻譯成其他語(yǔ)言、或?qū)⑵淙炕虿糠钟糜谏绦抻啔v史日版說(shuō)作2016-08-2016-12-2017-1-

為MidasV2.0。1SupportVector2客戶(hù)端PCUbuntuApplejava環(huán)境要OracleJRE7Midas QuickMidasQuickStart-在算子視圖中本地文件夾中找到數(shù)據(jù)算子，雙擊該算子或者左鍵拖拽該算子，可將數(shù)據(jù)添加到流程視圖中，可以看到需要輸入一個(gè)repositoryentry ，這里選擇在添加了數(shù)據(jù)庫(kù)連接（添加數(shù)據(jù)庫(kù)連接可查看charp4Midas詳細(xì)使用說(shuō)明）在簡(jiǎn)介中對(duì)Midas有了初步了解，下面詳細(xì)說(shuō)明Midas的具體操作（僅包含的算子操作）。在Midas→midas服務(wù)器進(jìn)行設(shè)置；本地和的算子不能混本地立本地的，具體步驟如下：點(diǎn) 選擇創(chuàng)建子文件夾，在內(nèi)建立多個(gè)文件夾對(duì)本地?cái)?shù)據(jù)以及建立的流程進(jìn)行分門(mén)別類(lèi)的存放。數(shù)據(jù)庫(kù)連 如何獲取inceptor-driver請(qǐng)參考《Midas安裝手冊(cè)》架構(gòu)分隔符（Schema/ 驅(qū)動(dòng)類(lèi)（Driver27（根據(jù)給定的IP可自行更改10000（根據(jù)給定的端口可自行更改default（根據(jù)給定的名稱(chēng)可自行更改123456（根據(jù)給定的可自行更改配置完成后，可以點(diǎn)擊右下角的測(cè)試，查看連接狀態(tài)，如果設(shè)置正確，連接狀態(tài)會(huì)顯示connectOK，最后點(diǎn)擊確認(rèn)。就可以在視圖中的DB項(xiàng)的下拉菜單中看到的數(shù)據(jù)庫(kù)227了，該數(shù)據(jù)庫(kù)能夠顯示放在數(shù)CSV數(shù)例如：UTF-Json數(shù)字前帶有0讀模 mod讀模型 mod寫(xiě)入root（給定outres寫(xiě)入HDFS文outres寫(xiě)入CSV文默認(rèn)為默認(rèn)為outres寫(xiě)入Jsonoutres寫(xiě)模含），文件位置在server端的對(duì)應(yīng)中mod寫(xiě)模型 mod重命就可以將名為user的屬性名稱(chēng)替換為USER了若是要改變多個(gè)屬性的名稱(chēng)，可以在renameadditionalattributes中繼續(xù)填寫(xiě)新舊名替換重命id:idlabel:prediction:屬性,即一個(gè)學(xué)習(xí)方案的cluster:weight:batch:就可以將名為user的屬性的角色設(shè)置為label若是要改變多個(gè)屬性的角色，可以在EditList中繼續(xù)填寫(xiě)屬性和角色One-Hot當(dāng)為all當(dāng)為single當(dāng)為subset需要的屬性；還有一個(gè)useexceptexpression,點(diǎn)選后填寫(xiě)一個(gè)正則表達(dá)式，表示從匹配regularexpressionexceptregularexpression生成ID詞頻反文檔頻文檔中詞記為t，文檔記為dDTF(t,d)tdDF(t,D)t的文檔數(shù)。如果使用詞在文檔中出現(xiàn)的頻次表示詞的重要程度，那么很容易取,”a”“the”“of”庫(kù)中出現(xiàn)頻率高，說(shuō)明它在特定文檔集中信息量很低。逆文檔頻次（inversefrequency）是詞所能提供的信息量的一種度量。對(duì)于TFIDFspark.mllibTFIDF使用特征hash的方式實(shí)現(xiàn)詞頻率統(tǒng)計(jì)，原始的特征通過(guò)hash函數(shù)，到一個(gè)索引值。后面只需要統(tǒng)計(jì)這些索引值的頻率，就可以知道對(duì)應(yīng)詞的頻率。這種方式避免設(shè)計(jì)一個(gè)全局1對(duì)1的詞到索引的，這個(gè)在大量語(yǔ)料庫(kù)時(shí)需要花費(fèi)更長(zhǎng)的時(shí)間。*是NLP領(lǐng)域的重要算法，它的功能是將word用K維的densevector來(lái)表達(dá)，訓(xùn)練集是語(yǔ)料庫(kù)，不含標(biāo)點(diǎn)，設(shè)置wordwindow，只有wordhierarchicalsoftmaxnegative輸出向量字符串索當(dāng)為all當(dāng)為single當(dāng)為subset需要的屬性；還有一個(gè)useexceptexpression,點(diǎn)選后填寫(xiě)一個(gè)正則表達(dá)式，表示從匹配regularexpressionexceptregularexpression以權(quán)重選當(dāng)為greater當(dāng)為topk當(dāng)為toppdeselectuseabsoluteLiLiuser等于/不等于LiLeiLii如LiLei就包含i如LiLei就不能前匹配ei如LiLei就后匹配eiLicondition動(dòng)選擇符合條件的樣本，不需要設(shè)置filter參數(shù)，其中missing表示選擇有缺失值的樣本，missing_attributelabel的屬性有缺失值的樣本，missing_label此算子只將值為?的視為缺失值，空值不視作采withbalance不點(diǎn)選此參數(shù)，那么有sampleratio一個(gè)子參數(shù)，填寫(xiě)一個(gè)0到1之間的值，表示采樣的概率，balancecolumnsampleratioperclassEditList，左邊classbalancecolumn中填寫(xiě)的屬性的性result,，1，2alancecolmns為resul，且samleratioclass[0,0.]和[1,08],rsult的值為05進(jìn)行隨esult1.8resul的值為2withsample過(guò)采欠采默認(rèn)為（例如SQL已知的SUM,COUNT之類(lèi)的）的group-bySQLHAVING子句可以通過(guò)在此算子之后添加額外的過(guò)濾樣本算子來(lái)模擬.aggregationattributesum:groupbyattributescountallonlyignore按主鍵分鍵值groupindexaggregate根據(jù)groupattribute和index作為indexattribute，aggregateattributes輸入的屬性必須連前支持內(nèi)連接，左連接，右連接，外連接。如果勾選useidattributeaskey，則自動(dòng)選擇兩表中rolejoinuseidattributeasOrderMultipleOrder在AttributeFilterTypeexa：oriDrop當(dāng)為求兩個(gè)數(shù)據(jù)集的并集。CABSet按id列來(lái)做差集。最終結(jié)果CAB。A為exa輸入端的輸入，B為subReplace=標(biāo)準(zhǔn)歸一Min-Max歸一Max_Abs歸一SQL轉(zhuǎn)SQLTransformer使用自定義的sql語(yǔ)句來(lái)對(duì)輸入數(shù)據(jù)進(jìn)行轉(zhuǎn)換.當(dāng)前算子僅僅支持"SELECT…FROM …"這樣的語(yǔ)法.其中"THIS"表示輸入數(shù)據(jù)集所代表的底層表.select語(yǔ)法塊指定字段,常量和表達(dá)式.例如SELECTa,a+bASa_b SELECTa,SQRT(b)ASb_sqrtFROM wherea>5SELECTa,b,SUM(c)ASc_sumFROM GROUPBYa,b替換缺失當(dāng)為性二值當(dāng)為時(shí),表示選擇全部屬性;當(dāng)為當(dāng)為lits定義為[-0.5,0.0,-0.3,0.0,1.0,1.0].它表示-0.5.如splits為[-0.5,0.0,實(shí)際的splits為[-inf0.0,0.5,分位數(shù)離當(dāng)為計(jì)算準(zhǔn)確的分位數(shù)(注意:離散余弦主成分分none當(dāng)為keepVariance當(dāng)為fixedNumberk，填寫(xiě)一個(gè)不小于0的整數(shù)，表示按順序輸出指定維度的主成分向量（最多為輸入數(shù)奇異值分當(dāng)為none時(shí):當(dāng)為keepVariancepercent,填寫(xiě)一個(gè)0到1之間的數(shù)字，若SVD的累計(jì)方差不大于該值個(gè)數(shù)有m個(gè)，那么輸當(dāng)為fixedNumberk，填寫(xiě)一個(gè)不小于0的整數(shù)，表示按順序輸出指定數(shù)目的奇異值（最多為輸入數(shù)據(jù)的數(shù)據(jù)類(lèi)型當(dāng)為喬列斯基modexa異常檢測(cè)mod樸素貝葉 modexa決策樹(shù)分modexa隨機(jī)森林（假設(shè)有d個(gè)屬性）中選擇有information_gain和gini_indexmodexa梯度提升樹(shù)分梯度提升樹(shù)同樣也是一個(gè)組裝（ensemblemodel）模型，的模型使用決策樹(shù)。與隨機(jī)森林不同的modexaBoost分.默認(rèn)是范圍在[0,1大于0,大于0,大于0,大于0,(0,1](0,1](0,1]大于等于0,大于等于0,大于等于0,vecases)/sum(positivemodexa和，然后使用函數(shù)g(z)將最為假設(shè)函數(shù)來(lái)。g(z)可以將連續(xù)值到0和1上。它與線性回歸的不同點(diǎn)在于：為了將線性回歸輸出的很大范圍的數(shù)，例如從負(fù)無(wú)窮到正無(wú)窮，壓縮到0和1modexa支持向量便是間隔最大化，最終可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問(wèn)題的求解。本算子只能處理二分類(lèi)問(wèn)題.stepnumregminibatchmodexak近鄰分k默認(rèn)為默認(rèn)為默認(rèn)為modexaLiu,Ting,CharlesRosenberg,andHenryRowley."Clusteringbillionsofimageswithlargescalenearestneighborsearch."ApplicationsofComputerVision,2007.WACV'07.IEEEWorkshopon.IEEE,2007.多層感知層uselocalrandommodexa決策樹(shù)回有information_gain和gini_indexmodexa隨機(jī)森林有information_gain和gini_indexmodexa梯度提升樹(shù)回有information_gain和gini_indexmodexamodexa保序回歸是一類(lèi)回歸算法.保序回歸是這樣一個(gè)問(wèn)題:給定有限實(shí)數(shù)集Y{y_1,y_2,y_n},Y表示已知觀察數(shù)據(jù),X={x_1,x_2,…,x_n}代表未知的值,的目的是找到函數(shù)f(x)=sum_{i=1}^nw_i(y_i-x_i)^2的極小值,并且保證x_1到x_n遞增.modexa默認(rèn)是modexa廣義線性kk"在k-cluclu隱式狄利克雷分kmodout二分K均kmodexak度modexa人工神經(jīng)擇Adam或者GradientDescentmodDensethr:接上一個(gè)神經(jīng)網(wǎng)絡(luò)層的端thr:接下一個(gè)神經(jīng)網(wǎng)絡(luò)層的端輸入U(xiǎn)nresolveddirectiveinoperator_deeplearning.adoc-輸出thr:接上一個(gè)神經(jīng)網(wǎng)絡(luò)層的端thr:接下一個(gè)神經(jīng)網(wǎng)絡(luò)層的端基本RNN子應(yīng)當(dāng)被使用在一個(gè)深度絡(luò)算子的子流程中。作為一個(gè)單獨(dú)的RNN單元算子，該算子也可被使用thr:接上一個(gè)神經(jīng)網(wǎng)絡(luò)層的端thr:接下一個(gè)神經(jīng)網(wǎng)絡(luò)層的端GRU當(dāng)被使用在一個(gè)深度絡(luò)算子的子流程中。作為一個(gè)單獨(dú)的RNN單元算子，該算子也可被使用在一thr:接上一個(gè)神經(jīng)網(wǎng)絡(luò)層的端thrthr基本LSTM單基本LSTM單元算子，是一種RNNRNN算子應(yīng)當(dāng)被使用在一個(gè)深度絡(luò)算子的子流程中。作為一個(gè)單獨(dú)的RNN單元算子，該算子也可被使thr:接上一個(gè)神經(jīng)網(wǎng)絡(luò)層的端thr:接下一個(gè)神經(jīng)網(wǎng)絡(luò)層的端組合RNN深度學(xué)習(xí)組合RNNRNNRNN單元算子的子流成中加入單獨(dú)的RNN單RNNRNNthr:接上一個(gè)神經(jīng)網(wǎng)絡(luò)層的端thr:接下一個(gè)神經(jīng)網(wǎng)絡(luò)層的端多個(gè)RNN的多個(gè)RNNRNNthr:接上一個(gè)神經(jīng)網(wǎng)絡(luò)層的端應(yīng)用深度labmod單變量數(shù)值特征統(tǒng)column單變量類(lèi)別特征統(tǒng)column二變量數(shù)值特征統(tǒng)columnPearson’scorrelation二變量類(lèi)別特征統(tǒng)column度Cramér’s二變量類(lèi)別與數(shù)值特征統(tǒng)columnEtaF通過(guò)卡方統(tǒng)計(jì)計(jì)算權(quán)weiexa通過(guò)相關(guān)系數(shù)計(jì)算權(quán)weiexa通過(guò)信息增益計(jì)算權(quán)熵減去已知屬性后的信息熵得到。Ent(D)=-\sum_{k=1}^{|y|}p_klog_2p_kGain(D,a)=Ent(D)-\sum_{v=1}^Vweiexa通過(guò)信息增益率計(jì)算權(quán)以IV\text{Gain_ratio}(D,a\frac{\text{Gain}(D,a)}{\text{IV}(atext{IV}(a)\-\sum_{v=1}^V\frac{|D^v|}{|D|}log_2weiexa通過(guò)基尼系數(shù)計(jì)算權(quán)量原有基尼系數(shù)減去已知屬性后的基尼系數(shù)得到。\text{Gini}(D)=\sum_{k=1}^{|y|}\sum_{k'\nek}p_kp_{k'}=\sum_{k=1}^K\hatp_k(1-\hatp_k)\text{Gini_index}(D,a)=\sum_{v=1}^V\frac{|D^v|}{|D|}\text{Gini}(D^v)weiexa通過(guò)主成分分析計(jì)算權(quán)weiexa通過(guò)權(quán)重創(chuàng)建數(shù)exa交換最小秩列checkpointmodexa因子分解modexaFP-Growth該算子通過(guò)在交換數(shù)據(jù)庫(kù)上建立一個(gè)FPFP樹(shù)中導(dǎo)出所有頻繁項(xiàng)集.對(duì)比Apriori算法,FPGrowth的主要優(yōu)勢(shì)在于,它只使用兩個(gè)數(shù)據(jù)掃描并且經(jīng)常使用于大數(shù)據(jù)集.些字符型值.如果使用樣本源算子的屬性描述文件（.aml）,這對(duì)應(yīng)于通過(guò)類(lèi)的屬性或內(nèi)在價(jià)值定positive_value設(shè)定.只有屬性包min_support（默認(rèn)）,查找具有minnumexafre創(chuàng)建關(guān)聯(lián)FPGrowth的算此算子只有minconfidencerulitePrefixSpan算customer顧客timeminmaxpatternmaxlocalprojdbpatpatternexa:輸入的樣本集Apriori算minmaxminmaxfreexa應(yīng)用關(guān)聯(lián)exa:ass轉(zhuǎn)換事務(wù)數(shù)據(jù)customer客戶(hù)time性能（分類(lèi)測(cè)試樣本集,這個(gè)樣本集包含一個(gè)具有l(wèi)abel角色的屬性以及一個(gè)具有角色的屬性。并基于這兩個(gè)變。否則,輸出的值為新標(biāo)準(zhǔn)值和舊值之間的平均。maincriterionperexa性能（二分類(lèi)此性能評(píng)估算子應(yīng)被用于分類(lèi)任務(wù),即當(dāng)屬性具有二分變量值類(lèi)型時(shí).此算子希望輸入一個(gè)元素具有真實(shí)和的樣本集,并且根據(jù)一列性能標(biāo)準(zhǔn)計(jì)算并輸出一列性能值.如果已經(jīng)給定性能矢量,它可用來(lái)保持性能值不變.主標(biāo)準(zhǔn)是用來(lái)進(jìn)行比較的,并且需要被指定只用于性能矢量進(jìn)行比較的流程。maincriterionperexa性能（回歸此性能評(píng)估算子應(yīng)被用于分類(lèi)任務(wù),即當(dāng)屬性具有數(shù)字型值類(lèi)型時(shí)。此算子希望輸入一個(gè)元素實(shí)和的測(cè)試樣本集,并且根據(jù)一列性能標(biāo)準(zhǔn)計(jì)算并輸出一列性能值。如果已經(jīng)給定性能矢量,它可用來(lái)保持性能值不變.主標(biāo)準(zhǔn)是用來(lái)進(jìn)行比較的,并且需要被指定只用于性能矢量進(jìn)行比較的流程。maincriterionperexa性能（聚類(lèi)per:model:（當(dāng)前僅支持K-maincriterionDavies–BouldinindexperexaX執(zhí)行了一個(gè)交叉驗(yàn)證流程.輸入的樣本集S被分割成驗(yàn)證次數(shù)子集S_i。子流程運(yùn)行驗(yàn)證次數(shù)S_i作為測(cè)試集（）,S\S_i（訓(xùn)練子流程的輸入）。訓(xùn)練子流程必須返回一個(gè)模型,該模型通常對(duì)輸入樣本集做訓(xùn)練.測(cè)試子流程必須返回一個(gè)性能矢量。通常是通過(guò)應(yīng)用模型并測(cè)量模型的性能得到的。額外的對(duì)象可以通過(guò)使用通過(guò)端口從訓(xùn)練子流程傳遞確計(jì)算。正是那個(gè)建立在完整輸入數(shù)據(jù)的模型,將被傳遞到相應(yīng)的端口用來(lái)為該模型提供方便。點(diǎn)擊算子設(shè)置參數(shù)，并添加算averageperformancesnumofmodtraave優(yōu)化參數(shù)（網(wǎng)格搜索點(diǎn)擊編輯參數(shù)設(shè)置，左側(cè)operators表示在此算子所包含的所有子算子，會(huì)根據(jù)流程的布局自動(dòng)生成，點(diǎn)擊某個(gè)算子后，會(huì)在中間的Parameters內(nèi)出現(xiàn)此算子的所有參數(shù)，右側(cè)SelectParameterserrorhandlingperthr點(diǎn)擊EditEnumeration,點(diǎn)擊添加條目,輸入0到1之間的實(shí)數(shù)（含邊界），點(diǎn)擊確定,有多少個(gè)條目表示用戶(hù)exa：thr:labmodinpout：out：inp隨機(jī)數(shù)生out：自定義算子管板，然后進(jìn)行配置。CustomOp自定義算CustomOpEntry。在Midas客戶(hù)端安裝根 packageio.transwarp.midas.custom.sample .apache.spark.sql.types.{StructField,DataTypes,StructType} .apache.spark.sql.{DataFrame,Row}caseclass(name:String,age://繼承CustomOpEntry類(lèi)，實(shí)現(xiàn)execute方法即classSimpleCustomOpextendsCustomOpEntryoverridedefexecute(inputs:Seq[DataFrame],params:Map[String,String]):Array[DataFrame]{vald1=valrdd=d1.rdd.map(_=>("name",30)).map(p=>Row(,p.age))valschema=StructType(Array(StructField("age",DataTypes.IntegerType)valoutput=d1.sqlContext.createDataFrame(rdd,schema)Array(output,d1)}}的依賴(lài)類(lèi)，不要將custom 現(xiàn)在，可以使用這個(gè)類(lèi)了。新建一個(gè)自定義算子類(lèi)，選擇class參數(shù)剛才實(shí)現(xiàn)的類(lèi)SimpleCustomOp,parameters參數(shù)根據(jù)需要填寫(xiě)，因?yàn)榈淖远x類(lèi)中沒(méi)有使用參數(shù)，所有不用填執(zhí)行在普通的SparkPython中，會(huì)通過(guò)frompysparkimportSparkContext導(dǎo)在Session中生成了，不需要再初始化。Midas通過(guò)entry對(duì)象將已有的SparkContextsc=entry.sc#SparkContextspark=entry.spark#SparkSession而輸入端和輸出端的數(shù)據(jù)傳輸同樣通過(guò)entry來(lái)獲得。entry.get_df(index方法獲取第index個(gè)數(shù)entry.put_df(df則依次將數(shù)據(jù)集放入輸出端口。將獲取SparkSession、獲取數(shù)據(jù)、傳遞結(jié)果結(jié)合到一起，基本的Python流程大致如下：frompyspark.sqlimportdfentry.get_df(0獲得第一個(gè)端口的輸paramsentry.get_parameters獲得所有填寫(xiě)的參col=params["p1"]#獲取參數(shù)p1out1df.select(col執(zhí)行邏輯sc=entry.sc#獲取SparkContextsparkentry.spark獲取SparkSessionrdd=sc.parallelize(