調(diào)度綜合數(shù)據(jù)平臺-操作手冊

當(dāng)前版本日期：20140708IE6.01024x768系統(tǒng)基本操 系統(tǒng)地 系統(tǒng)登 外部系統(tǒng)管 2.1系統(tǒng)拓?fù)鋱D系統(tǒng)拓?fù)?元數(shù)據(jù)管 管 元數(shù)據(jù)DB元數(shù) ETL元數(shù) 元數(shù)據(jù)自動導(dǎo) DB元數(shù)據(jù)導(dǎo) BI業(yè)務(wù)元數(shù)據(jù)導(dǎo) BI報表元數(shù)據(jù)導(dǎo) 元數(shù)據(jù)變 元數(shù)據(jù)實體關(guān)系版本管 血統(tǒng)分析管 元數(shù)據(jù)血統(tǒng)分 自定義血統(tǒng)分 參與血統(tǒng)元數(shù)據(jù)設(shè) 數(shù)據(jù)治理管 規(guī)則介 規(guī)則配置管 DB元數(shù)據(jù)規(guī) 規(guī)則執(zhí)行計 數(shù)據(jù)質(zhì)量分 數(shù)據(jù)瀏 問題數(shù)據(jù)修 ETL 普通 讀組 SQL組 寫組 javaBean組 參數(shù)配 調(diào)度任 ETL任務(wù)ETL任務(wù)ETL執(zhí)行日 規(guī)則任務(wù)報表任務(wù)調(diào)度服務(wù)器節(jié)點(diǎn)調(diào)度服務(wù)器節(jié)點(diǎn)管 報表分析及挖 綜合分析報 系統(tǒng)相關(guān)設(shè) 分 視圖配 系統(tǒng)基本操系統(tǒng)地用戶名：admin系統(tǒng)登輸入用戶名和登錄系統(tǒng)，登錄界面如下外部系統(tǒng)管每個元數(shù)據(jù)（ETL）都有一個所屬系統(tǒng)，這個屬性為元數(shù)據(jù)定義了獲取數(shù)是FTP的話，那么它也許是IP和端口，用戶名和等。這個類別下。菜單樹中的應(yīng)用系統(tǒng)，顯示界面如下：點(diǎn)擊應(yīng)用系統(tǒng)庫菜單樹節(jié)點(diǎn)后，可對其下的系統(tǒng)進(jìn)行管理，顯示界面如下系統(tǒng)資源的新增包括數(shù)據(jù)庫、FTP對象、WebServiceFTP系統(tǒng)拓?fù)湓谀K主界面中，可進(jìn)行系統(tǒng)全景圖，顯示界面如下系統(tǒng)拓元數(shù)據(jù)管 為了便于元數(shù)據(jù)的管理把類型分為三類，分別為數(shù)據(jù)對象節(jié)點(diǎn)（DB元數(shù)元數(shù)元數(shù)據(jù)主要包括對元數(shù)據(jù)的新增、導(dǎo)入、編輯、查看、啟用、停用和刪除功能。點(diǎn)擊菜單樹中的元數(shù)據(jù)，顯示界面如下DB元數(shù)據(jù)、文件元數(shù)據(jù)、ETLDB元數(shù)據(jù)說明：表名可以添加動態(tài)參數(shù)，如：CALC_DAY_E$[YEAR]，其中$[YEAR]中的YEARETL參數(shù)管理中的參數(shù)（6ETL建模，根據(jù)年份代表文件元數(shù)據(jù)類型分為：E語言文件（可能有多個實體、TXT文件（只有一個實體）和中所添加的FTP系統(tǒng)；文件路徑為文件的FTP存放路徑；文件解析模板只適用于E語言文E語言模板?？梢愿鶕?jù)年份動態(tài)生成文件，其中$[YEAR]YEARETL參數(shù)管理中的參數(shù)（6ETL建模/eFile/2013.NB、/eFile/自動化2014.NB。.EE語言模板中的所有實體包括其字段相關(guān)的信EEXCELEEXCELExcelSheet頁的名稱；從第幾行讀起一般為第二行因為第一行為列名；字Excel（Excel文件。TxtTxtTabDB報表連接URL為展示報表的JSP頁面；包路徑為報表文件路徑（/WebContent/reportFiles下DB元數(shù)據(jù)如上圖中的電廠ETLETLETL新增頁面如下：6部分。ETLETLETLETLETL添加執(zhí)行計劃，執(zhí)行計劃有三種配置方法，分別的用于簡單的某個時間段的執(zhí)行配置中的服務(wù)器選項可以選擇在哪臺調(diào)度任務(wù)服務(wù)25ETL元數(shù)據(jù)自動導(dǎo)元數(shù)據(jù)自動導(dǎo)入包括導(dǎo)入DB元數(shù)據(jù)、BI業(yè)務(wù)元數(shù)據(jù)和BI報表元數(shù)據(jù)，導(dǎo)入成功后元DBBI元數(shù)據(jù)其中包含DB元數(shù)據(jù)、BI業(yè)務(wù)元數(shù)BI報表元數(shù)據(jù)三類，其中BI業(yè)務(wù)元數(shù)據(jù)和BICongosBICongos制作所有可以暫時不用；同步BI元數(shù)據(jù)（Congos服務(wù)器開啟的情況下才有用BI模DB元數(shù)據(jù)不需要使用。DBBI業(yè)務(wù)元數(shù)據(jù)導(dǎo)BI報表元數(shù)據(jù)導(dǎo)元數(shù)據(jù)變元數(shù)據(jù)實體關(guān)DB元數(shù)據(jù)實體關(guān)系在字段的主外鍵關(guān)系上，界面如下上圖黃色部分為關(guān)系，界面如下BI元數(shù)據(jù)實體關(guān)系在導(dǎo)入時在進(jìn)行了面功能版本管點(diǎn)擊版本行上的查看按鈕，顯示界面3.2章節(jié)中元數(shù)據(jù)中 樹結(jié)構(gòu)雷同血統(tǒng)分析管元數(shù)據(jù)血統(tǒng)分當(dāng)數(shù)據(jù)由外部系統(tǒng)抽取到ODS區(qū)再由ETL進(jìn)行和轉(zhuǎn)換后存入數(shù)據(jù)倉庫或者數(shù)據(jù)集市ETL血統(tǒng)和數(shù)彈出新的界面后，左上角是元數(shù)據(jù)的結(jié)構(gòu)，左下角是元數(shù)據(jù)的預(yù)覽圖，右邊的空白區(qū)域4-2所示：ETL4-3所示ETL血統(tǒng)中，系統(tǒng)會展示每個環(huán)節(jié)所用到的元數(shù)據(jù)以及該環(huán)節(jié)所依賴的條件，當(dāng)數(shù)據(jù)移自定義血統(tǒng)分ETLETL參與血統(tǒng)元數(shù)據(jù)設(shè)通過在左 樹中進(jìn)入相應(yīng) 數(shù)據(jù)治理管規(guī)則介元數(shù)據(jù)規(guī)則主要用于對數(shù)據(jù)進(jìn)行校驗，規(guī)則分為元數(shù)據(jù)級規(guī)則（DB、報表）和級規(guī)則配置管DB非空值域BeanSehll字段規(guī)importcom.returnrunResultBean;}JavaBean字段規(guī)說明需要實現(xiàn)com. import publicclassJavaBeanFieldCheckImplimplementsIJavabeanFieldCheckpublicRunResultBeancheckField(ObjectfieldValue){RunResultBeanresultBean=newRunResultBean();Doublefdl=(Double)fieldValue;if(fdl<=6000){}return}}列內(nèi)容是否重復(fù)元數(shù)據(jù)是否按時ETL是否在指定的時間范圍內(nèi)執(zhí)行，時間指定依次為年月日21210ETL是否正常執(zhí)行。時間格式說明 1(2014年10月10日凌晨2點(diǎn)1分 1（101021分 1（1021分 1（21分報表規(guī)6DBDB另外還有規(guī)則和JavaBean規(guī)則（不同于字段規(guī)DB元數(shù)據(jù)（可以選擇多個）SQLDBSQLimportimportcom. Stringsql="select[電廠日發(fā)電量.廠站名] from("+"selectsum([電廠日發(fā)電量.發(fā)電量])[電廠日發(fā)電量.發(fā)電量],[電廠日發(fā)電量.廠站名][電廠日發(fā)電量where電廠日發(fā)電量.日期to_date('2013/12/13','yyyy/mm/dd'groupby電廠日發(fā)電量.廠站名where電廠日發(fā)電量.發(fā)電量0";Listls=metaDataManager.getResultList(sql);StringBufferremarks=newStringBuffer();for(inti=0;i<ls.size();i++){DataRowdataRow=ls.get(i);if(i==0){"]"));"+]"));}}runResultBean.setRemark(""+ls.size()+""}return說明：中使用的都是DB元數(shù)據(jù)的語義，如[電廠日發(fā)電量.廠站名JavaBean規(guī)需要實現(xiàn) package importimport publicclassJavaBeanCheckTestimplementspublicRunResultBeancheck(MappipParams){RunResultBeanrs=newRunResultBean();List<Map<String,Object>>dbResultList=returnrs;}}級規(guī)則（多元數(shù)據(jù)間的規(guī)則級規(guī)則中規(guī)則、JavaBean規(guī)則和元數(shù)據(jù)是否按時執(zhí)行規(guī)則與報表規(guī)則配置表間記錄對比規(guī)全表逐字段內(nèi)容規(guī)則執(zhí)行計數(shù)據(jù)質(zhì)量分 數(shù)據(jù)瀏通過在左側(cè)的元數(shù)據(jù)樹上選擇需要瀏覽原始數(shù)據(jù)的文件/DB問題數(shù)據(jù)修按鈕可對元數(shù)據(jù)的原始問題數(shù)據(jù)進(jìn)行手工修正（DB數(shù)據(jù)。ETLETLETLETLETLETLETLETLETLETLETL元數(shù)據(jù)，如下圖所示：ETLETLETLETL組的參數(shù)，如下所示，由于所ETLyesterdayyearETL組也需要配置這兩個參數(shù)，配ETL（6.3章節(jié)）ETL再在迭代器的中配置循環(huán)ETL讀組DB輸入DB輸入組件是DB類型的數(shù)據(jù)源通常作為ETL配置的第一個組件提供為下面的SQL語句進(jìn)行編輯修改，在特定需求中可配置同表比對及自定義字段功能對數(shù)據(jù)進(jìn)SQLSQLwhere條件、添加表別名、同表比對、A、BAB表狀態(tài)位SQL語句，設(shè)置選取目標(biāo)表字段，再對目標(biāo)表字段進(jìn)行主鍵設(shè)置，最后編輯相SQLSQLSQL語句字段的總個自定義字段是由現(xiàn)有的選取字段所生成，此時可點(diǎn)擊關(guān)聯(lián)字段并選取所的字段。SQLE文件輸入E文件輸入組件是E文件類型的ETL組件，并作為數(shù)據(jù)源傳遞給下一環(huán)節(jié)進(jìn)行處ESQLSQL組SQL執(zhí)行器義sql；2：原生sql語句；推薦使用第一種模式，當(dāng)?shù)谝环N模式不能實現(xiàn)，例如同表連接查SQLDB輸入，先點(diǎn)擊獲取元數(shù)據(jù)按鈕，在獲取元數(shù)據(jù)界面中選取需要操作的DB元數(shù)據(jù)對象，點(diǎn)擊確定后自動生成基礎(chǔ)SQL，在基礎(chǔ)SQL上編輯修改為最SQL語句，點(diǎn)擊保存既可。sqlsqlsql過程執(zhí)行器過程執(zhí)行器有兩種配置過程：1、點(diǎn)擊獲取過程按鈕進(jìn)行選擇，如下圖所示2、在系統(tǒng)資源下拉框中選擇過程所在的系統(tǒng)，然后再在過程輸入框中填寫存轉(zhuǎn)換組轉(zhuǎn)換器如需現(xiàn)有字段，需將字段的語義表達(dá)式寫入字段表達(dá)式的文本框中進(jìn)行器字段前面的復(fù)選框可勾選多個分組字段在字段表達(dá)式中可對需要進(jìn)行操作的字進(jìn)行編輯，如圖所示即為對ID分組，計算總行轉(zhuǎn)列A列一行的值作為新增列，B列轉(zhuǎn)行標(biāo)列的集合A,B(可以)的每個列，將除目標(biāo)列的集合的其他列與之組合形成新的一行數(shù)流向控路由器合并器寫組DB輸出DB輸出可將上一環(huán)節(jié)傳遞的結(jié)果集信息輸出到數(shù)據(jù)庫，配置如下：DB在左上角TabE文件輸出E文件輸出可將上一環(huán)節(jié)傳遞的結(jié)果集信息輸出到E文件中，配置如下：E文件元數(shù)據(jù)，javaBean組javaBean組件javabeanETLETL圖形不好配置的情況，此JavaBeanETL操作；配置界面如下：javabenJavaBean需要接收的參數(shù)，參數(shù)值中可填寫全局變量，也參數(shù)配在普通ETL和ETL組配置界面右上角Tab頁中，都有一個參數(shù)管理配置界面，在此界面中可配置整個ETL過程中需要用到的參數(shù)，參數(shù)的配置根據(jù)參數(shù)的被使用順序進(jìn)行順序配置；如下圖所示，year的參數(shù)值配置了參數(shù)yesterday，故應(yīng)先配置yesterday。定義變量：dateDateDate類型的變量，dateString為"%1$tY%1$tm%1$td"類型的字符串變量，datetimeString為"%1$tY-%1$tm-%1$td%1$tH:%1$tM:%1$tS"類型的字符串變量。ij個字符串：substring(dateString,i,.1ETL

調(diào)度任ETL主要用于控制ETL的執(zhí)行，查看ETL的執(zhí)行狀態(tài)和他的執(zhí)行計劃，其主界面如ETL任ETL執(zhí)行時主要有四種狀態(tài)：1234ETL的生命周1執(zhí)行完該次任務(wù)后就進(jìn)入暫停狀態(tài)20秒以內(nèi)（可配置ETL的執(zhí)行3ETL4、執(zhí)行任務(wù)。該操作為手工觸發(fā)，如果ETL上配置了參數(shù)的話，在任務(wù)執(zhí)行前，會彈出參7-2所示，點(diǎn)擊確定后會出現(xiàn)以下幾種情況：《1》如果一切OKETL《2》假如ETL正處于執(zhí)行狀態(tài)，那么頁面上會彈出提示框，提示您是否繼續(xù)執(zhí)行，《3》如果ETL5、除了以上手工操作會改變ETL的執(zhí)行狀態(tài)外，在調(diào)度引擎內(nèi)部也會自動改變ETL的執(zhí)ETLETLETL任務(wù)列表中，我們可以看到任務(wù)的一些狀態(tài)信息，這些信息包括：ETL任務(wù)將在哪和下次執(zhí)行時間都在什么時間點(diǎn)，注意如果沒有上次執(zhí)行時間的話，默認(rèn)是1970-01-0100:00:00；狀態(tài)就是待執(zhí)行、執(zhí)行中、暫停；執(zhí)行日志是接，下一個章節(jié)將介紹這部ETL執(zhí)行日7-1ETL的執(zhí)行日志，ETL的執(zhí)行ETLETLETLETL，那么我們看到的日志是普通ETL的執(zhí)行日志，普通ETL的執(zhí)行日志是不能查看子日志的，如ETLETLETLETL是個組ETL，如圖7-4所示點(diǎn)擊查看子ETL執(zhí)行情況后可以查看這個組ETL中每個子ETL7-5ETL4ETL。7-4《1ETL的執(zhí)行時長、執(zhí)行軌跡，這樣我們可以對ETL任務(wù)的執(zhí)行頻率進(jìn)行調(diào)整、以帶到ETL的最佳執(zhí)行狀態(tài)。如果ETL正在執(zhí)行或者ETL在執(zhí)行過程中，調(diào)度任務(wù)宕機(jī)的話，會