調(diào)度綜合數(shù)據(jù)平臺(tái)-操作手冊(cè)

當(dāng)前版本日期：20140708IE6.01024x768系統(tǒng)基本操 系統(tǒng)地 系統(tǒng)登 外部系統(tǒng)管 2.1系統(tǒng)拓?fù)鋱D系統(tǒng)拓?fù)?元數(shù)據(jù)管 管 元數(shù)據(jù)DB元數(shù) ETL元數(shù) 元數(shù)據(jù)自動(dòng)導(dǎo) DB元數(shù)據(jù)導(dǎo) BI業(yè)務(wù)元數(shù)據(jù)導(dǎo) BI報(bào)表元數(shù)據(jù)導(dǎo) 元數(shù)據(jù)變 元數(shù)據(jù)實(shí)體關(guān)系版本管 血統(tǒng)分析管 元數(shù)據(jù)血統(tǒng)分 自定義血統(tǒng)分 參與血統(tǒng)元數(shù)據(jù)設(shè) 數(shù)據(jù)治理管 規(guī)則介 規(guī)則配置管 DB元數(shù)據(jù)規(guī) 規(guī)則執(zhí)行計(jì) 數(shù)據(jù)質(zhì)量分 數(shù)據(jù)瀏 問題數(shù)據(jù)修 ETL 普通 讀組 SQL組 寫組 javaBean組 參數(shù)配 調(diào)度任 ETL任務(wù)ETL任務(wù)ETL執(zhí)行日 規(guī)則任務(wù)報(bào)表任務(wù)調(diào)度服務(wù)器節(jié)點(diǎn)調(diào)度服務(wù)器節(jié)點(diǎn)管 報(bào)表分析及挖 綜合分析報(bào) 系統(tǒng)相關(guān)設(shè) 分 視圖配 系統(tǒng)基本操系統(tǒng)地用戶名：admin系統(tǒng)登輸入用戶名和登錄系統(tǒng)，登錄界面如下外部系統(tǒng)管每個(gè)元數(shù)據(jù)（ETL）都有一個(gè)所屬系統(tǒng)，這個(gè)屬性為元數(shù)據(jù)定義了獲取數(shù)是FTP的話，那么它也許是IP和端口，用戶名和等。這個(gè)類別下。菜單樹中的應(yīng)用系統(tǒng)，顯示界面如下：點(diǎn)擊應(yīng)用系統(tǒng)庫菜單樹節(jié)點(diǎn)后，可對(duì)其下的系統(tǒng)進(jìn)行管理，顯示界面如下系統(tǒng)資源的新增包括數(shù)據(jù)庫、FTP對(duì)象、WebServiceFTP系統(tǒng)拓?fù)湓谀K主界面中，可進(jìn)行系統(tǒng)全景圖，顯示界面如下系統(tǒng)拓元數(shù)據(jù)管 為了便于元數(shù)據(jù)的管理把類型分為三類，分別為數(shù)據(jù)對(duì)象節(jié)點(diǎn)（DB元數(shù)元數(shù)元數(shù)據(jù)主要包括對(duì)元數(shù)據(jù)的新增、導(dǎo)入、編輯、查看、啟用、停用和刪除功能。點(diǎn)擊菜單樹中的元數(shù)據(jù)，顯示界面如下DB元數(shù)據(jù)、文件元數(shù)據(jù)、ETLDB元數(shù)據(jù)說明：表名可以添加動(dòng)態(tài)參數(shù)，如：CALC_DAY_E$[YEAR]，其中$[YEAR]中的YEARETL參數(shù)管理中的參數(shù)（6ETL建模，根據(jù)年份代表文件元數(shù)據(jù)類型分為：E語言文件（可能有多個(gè)實(shí)體、TXT文件（只有一個(gè)實(shí)體）和中所添加的FTP系統(tǒng)；文件路徑為文件的FTP存放路徑；文件解析模板只適用于E語言文E語言模板。可以根據(jù)年份動(dòng)態(tài)生成文件，其中$[YEAR]YEARETL參數(shù)管理中的參數(shù)（6ETL建模/eFile/2013.NB、/eFile/自動(dòng)化2014.NB。.EE語言模板中的所有實(shí)體包括其字段相關(guān)的信EEXCELEEXCELExcelSheet頁的名稱；從第幾行讀起一般為第二行因?yàn)榈谝恍袨榱忻?；字Excel（Excel文件。TxtTxtTabDB報(bào)表連接URL為展示報(bào)表的JSP頁面；包路徑為報(bào)表文件路徑（/WebContent/reportFiles下DB元數(shù)據(jù)如上圖中的電廠ETLETLETL新增頁面如下：6部分。ETLETLETLETLETL添加執(zhí)行計(jì)劃，執(zhí)行計(jì)劃有三種配置方法，分別的用于簡單的某個(gè)時(shí)間段的執(zhí)行配置中的服務(wù)器選項(xiàng)可以選擇在哪臺(tái)調(diào)度任務(wù)服務(wù)25ETL元數(shù)據(jù)自動(dòng)導(dǎo)元數(shù)據(jù)自動(dòng)導(dǎo)入包括導(dǎo)入DB元數(shù)據(jù)、BI業(yè)務(wù)元數(shù)據(jù)和BI報(bào)表元數(shù)據(jù)，導(dǎo)入成功后元DBBI元數(shù)據(jù)其中包含DB元數(shù)據(jù)、BI業(yè)務(wù)元數(shù)BI報(bào)表元數(shù)據(jù)三類，其中BI業(yè)務(wù)元數(shù)據(jù)和BICongosBICongos制作所有可以暫時(shí)不用；同步BI元數(shù)據(jù)（Congos服務(wù)器開啟的情況下才有用BI模DB元數(shù)據(jù)不需要使用。DBBI業(yè)務(wù)元數(shù)據(jù)導(dǎo)BI報(bào)表元數(shù)據(jù)導(dǎo)元數(shù)據(jù)變?cè)獢?shù)據(jù)實(shí)體關(guān)DB元數(shù)據(jù)實(shí)體關(guān)系在字段的主外鍵關(guān)系上，界面如下上圖黃色部分為關(guān)系，界面如下BI元數(shù)據(jù)實(shí)體關(guān)系在導(dǎo)入時(shí)在進(jìn)行了面功能版本管點(diǎn)擊版本行上的查看按鈕，顯示界面3.2章節(jié)中元數(shù)據(jù)中 樹結(jié)構(gòu)雷同血統(tǒng)分析管元數(shù)據(jù)血統(tǒng)分當(dāng)數(shù)據(jù)由外部系統(tǒng)抽取到ODS區(qū)再由ETL進(jìn)行和轉(zhuǎn)換后存入數(shù)據(jù)倉庫或者數(shù)據(jù)集市ETL血統(tǒng)和數(shù)彈出新的界面后，左上角是元數(shù)據(jù)的結(jié)構(gòu)，左下角是元數(shù)據(jù)的預(yù)覽圖，右邊的空白區(qū)域4-2所示：ETL4-3所示ETL血統(tǒng)中，系統(tǒng)會(huì)展示每個(gè)環(huán)節(jié)所用到的元數(shù)據(jù)以及該環(huán)節(jié)所依賴的條件，當(dāng)數(shù)據(jù)移自定義血統(tǒng)分ETLETL參與血統(tǒng)元數(shù)據(jù)設(shè)通過在左 樹中進(jìn)入相應(yīng) 數(shù)據(jù)治理管規(guī)則介元數(shù)據(jù)規(guī)則主要用于對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)，規(guī)則分為元數(shù)據(jù)級(jí)規(guī)則（DB、報(bào)表）和級(jí)規(guī)則配置管DB非空值域BeanSehll字段規(guī)importcom.returnrunResultBean;}JavaBean字段規(guī)說明需要實(shí)現(xiàn)com. import publicclassJavaBeanFieldCheckImplimplementsIJavabeanFieldCheckpublicRunResultBeancheckField(ObjectfieldValue){RunResultBeanresultBean=newRunResultBean();Doublefdl=(Double)fieldValue;if(fdl<=6000){}return}}列內(nèi)容是否重復(fù)元數(shù)據(jù)是否按時(shí)ETL是否在指定的時(shí)間范圍內(nèi)執(zhí)行，時(shí)間指定依次為年月日21210ETL是否正常執(zhí)行。時(shí)間格式說明 1(2014年10月10日凌晨2點(diǎn)1分 1（101021分 1（1021分 1（21分報(bào)表規(guī)6DBDB另外還有規(guī)則和JavaBean規(guī)則（不同于字段規(guī)DB元數(shù)據(jù)（可以選擇多個(gè)）SQLDBSQLimportimportcom. Stringsql="select[電廠日發(fā)電量.廠站名] from("+"selectsum([電廠日發(fā)電量.發(fā)電量])[電廠日發(fā)電量.發(fā)電量],[電廠日發(fā)電量.廠站名][電廠日發(fā)電量where電廠日發(fā)電量.日期to_date('2013/12/13','yyyy/mm/dd'groupby電廠日發(fā)電量.廠站名where電廠日發(fā)電量.發(fā)電量0";Listls=metaDataManager.getResultList(sql);StringBufferremarks=newStringBuffer();for(inti=0;i<ls.size();i++){DataRowdataRow=ls.get(i);if(i==0){"]"));"+]"));}}runResultBean.setRemark(""+ls.size()+""}return說明：中使用的都是DB元數(shù)據(jù)的語義，如[電廠日發(fā)電量.廠站名JavaBean規(guī)需要實(shí)現(xiàn) package importimport publicclassJavaBeanCheckTestimplementspublicRunResultBeancheck(MappipParams){RunResultBeanrs=newRunResultBean();List<Map<String,Object>>dbResultList=returnrs;}}級(jí)規(guī)則（多元數(shù)據(jù)間的規(guī)則級(jí)規(guī)則中規(guī)則、JavaBean規(guī)則和元數(shù)據(jù)是否按時(shí)執(zhí)行規(guī)則與報(bào)表規(guī)則配置表間記錄對(duì)比規(guī)全表逐字段內(nèi)容規(guī)則執(zhí)行計(jì)數(shù)據(jù)質(zhì)量分 數(shù)據(jù)瀏通過在左側(cè)的元數(shù)據(jù)樹上選擇需要瀏覽原始數(shù)據(jù)的文件/DB問題數(shù)據(jù)修按鈕可對(duì)元數(shù)據(jù)的原始問題數(shù)據(jù)進(jìn)行手工修正（DB數(shù)據(jù)。ETLETLETLETLETLETLETLETLETLETLETL元數(shù)據(jù)，如下圖所示：ETLETLETLETL組的參數(shù)，如下所示，由于所ETLyesterdayyearETL組也需要配置這兩個(gè)參數(shù)，配ETL（6.3章節(jié)）ETL再在迭代器的中配置循環(huán)ETL讀組DB輸入DB輸入組件是DB類型的數(shù)據(jù)源通常作為ETL配置的第一個(gè)組件提供為下面的SQL語句進(jìn)行編輯修改，在特定需求中可配置同表比對(duì)及自定義字段功能對(duì)數(shù)據(jù)進(jìn)SQLSQLwhere條件、添加表別名、同表比對(duì)、A、BAB表狀態(tài)位SQL語句，設(shè)置選取目標(biāo)表字段，再對(duì)目標(biāo)表字段進(jìn)行主鍵設(shè)置，最后編輯相SQLSQLSQL語句字段的總個(gè)自定義字段是由現(xiàn)有的選取字段所生成，此時(shí)可點(diǎn)擊關(guān)聯(lián)字段并選取所的字段。SQLE文件輸入E文件輸入組件是E文件類型的ETL組件，并作為數(shù)據(jù)源傳遞給下一環(huán)節(jié)進(jìn)行處ESQLSQL組SQL執(zhí)行器義sql；2：原生sql語句；推薦使用第一種模式，當(dāng)?shù)谝环N模式不能實(shí)現(xiàn)，例如同表連接查SQLDB輸入，先點(diǎn)擊獲取元數(shù)據(jù)按鈕，在獲取元數(shù)據(jù)界面中選取需要操作的DB元數(shù)據(jù)對(duì)象，點(diǎn)擊確定后自動(dòng)生成基礎(chǔ)SQL，在基礎(chǔ)SQL上編輯修改為最SQL語句，點(diǎn)擊保存既可。sqlsqlsql過程執(zhí)行器過程執(zhí)行器有兩種配置過程：1、點(diǎn)擊獲取過程按鈕進(jìn)行選擇，如下圖所示2、在系統(tǒng)資源下拉框中選擇過程所在的系統(tǒng)，然后再在過程輸入框中填寫存轉(zhuǎn)換組轉(zhuǎn)換器如需現(xiàn)有字段，需將字段的語義表達(dá)式寫入字段表達(dá)式的文本框中進(jìn)行器字段前面的復(fù)選框可勾選多個(gè)分組字段在字段表達(dá)式中可對(duì)需要進(jìn)行操作的字進(jìn)行編輯，如圖所示即為對(duì)ID分組，計(jì)算總行轉(zhuǎn)列A列一行的值作為新增列，B列轉(zhuǎn)行標(biāo)列的集合A,B(可以)的每個(gè)列，將除目標(biāo)列的集合的其他列與之組合形成新的一行數(shù)流向控路由器合并器寫組DB輸出DB輸出可將上一環(huán)節(jié)傳遞的結(jié)果集信息輸出到數(shù)據(jù)庫，配置如下：DB在左上角TabE文件輸出E文件輸出可將上一環(huán)節(jié)傳遞的結(jié)果集信息輸出到E文件中，配置如下：E文件元數(shù)據(jù)，javaBean組javaBean組件javabeanETLETL圖形不好配置的情況，此JavaBeanETL操作；配置界面如下：javabenJavaBean需要接收的參數(shù)，參數(shù)值中可填寫全局變量，也參數(shù)配在普通ETL和ETL組配置界面右上角Tab頁中，都有一個(gè)參數(shù)管理配置界面，在此界面中可配置整個(gè)ETL過程中需要用到的參數(shù)，參數(shù)的配置根據(jù)參數(shù)的被使用順序進(jìn)行順序配置；如下圖所示，year的參數(shù)值配置了參數(shù)yesterday，故應(yīng)先配置yesterday。定義變量：dateDateDate類型的變量，dateString為"%1$tY%1$tm%1$td"類型的字符串變量，datetimeString為"%1$tY-%1$tm-%1$td%1$tH:%1$tM:%1$tS"類型的字符串變量。ij個(gè)字符串：substring(dateString,i,.1ETL

調(diào)度任ETL主要用于控制ETL的執(zhí)行，查看ETL的執(zhí)行狀態(tài)和他的執(zhí)行計(jì)劃，其主界面如ETL任ETL執(zhí)行時(shí)主要有四種狀態(tài)：1234ETL的生命周1執(zhí)行完該次任務(wù)后就進(jìn)入暫停狀態(tài)20秒以內(nèi)（可配置ETL的執(zhí)行3ETL4、執(zhí)行任務(wù)。該操作為手工觸發(fā)，如果ETL上配置了參數(shù)的話，在任務(wù)執(zhí)行前，會(huì)彈出參7-2所示，點(diǎn)擊確定后會(huì)出現(xiàn)以下幾種情況：《1》如果一切OKETL《2》假如ETL正處于執(zhí)行狀態(tài)，那么頁面上會(huì)彈出提示框，提示您是否繼續(xù)執(zhí)行，《3》如果ETL5、除了以上手工操作會(huì)改變ETL的執(zhí)行狀態(tài)外，在調(diào)度引擎內(nèi)部也會(huì)自動(dòng)改變ETL的執(zhí)ETLETLETL任務(wù)列表中，我們可以看到任務(wù)的一些狀態(tài)信息，這些信息包括：ETL任務(wù)將在哪和下次執(zhí)行時(shí)間都在什么時(shí)間點(diǎn)，注意如果沒有上次執(zhí)行時(shí)間的話，默認(rèn)是1970-01-0100:00:00；狀態(tài)就是待執(zhí)行、執(zhí)行中、暫停；執(zhí)行日志是接，下一個(gè)章節(jié)將介紹這部ETL執(zhí)行日7-1ETL的執(zhí)行日志，ETL的執(zhí)行ETLETLETLETL，那么我們看到的日志是普通ETL的執(zhí)行日志，普通ETL的執(zhí)行日志是不能查看子日志的，如ETLETLETLETL是個(gè)組ETL，如圖7-4所示點(diǎn)擊查看子ETL執(zhí)行情況后可以查看這個(gè)組ETL中每個(gè)子ETL7-5ETL4ETL。7-4《1ETL的執(zhí)行時(shí)長、執(zhí)行軌跡，這樣我們可以對(duì)ETL任務(wù)的執(zhí)行頻率進(jìn)行調(diào)整、以帶到ETL的最佳執(zhí)行狀態(tài)。如果ETL正在執(zhí)行或者ETL在執(zhí)行過程中，調(diào)度任務(wù)宕機(jī)的話，會(huì)