《KETTLE基礎(chǔ)培訓(xùn)》

1、Kettle 基礎(chǔ)基礎(chǔ)培訓(xùn)培訓(xùn) .目錄一、一、ETL介紹介紹二、二、 Kettle 介紹介紹三、三、 Kettle的要求環(huán)境（的要求環(huán)境（JDK版本）、安裝、基本操作。版本）、安裝、基本操作。四、四、 Kettle的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）五、基于表對表的同步五、基于表對表的同步六、基于文件到表的同步六、基于文件到表的同步七、基于表到文件的同步七、基于表到文件的同步八、八、 JAVASCRIPT的基本應(yīng)用的基本應(yīng)用九、文件九、文件FTP下載、上傳。下載、上傳。十、作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換。十、作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換。十一、啟動腳本說明。十一、啟動腳本說明。十二、

2、十二、 JAVA調(diào)用作業(yè)、轉(zhuǎn)換調(diào)用作業(yè)、轉(zhuǎn)換十三、使用原則十三、使用原則.簡介ETL ETL(即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)作為BI/DW（Business Intelligence）的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實(shí)施數(shù)據(jù)倉庫的重要步驟。 ETL是數(shù)據(jù)抽取（Extract）、清洗（Cleaning）、轉(zhuǎn)換（Transform）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。.簡介Kettle Kettle是一款國外

3、開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle 中文名稱叫水壺。 Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。 Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。.KETTLE的要求環(huán)境（的要求環(huán)境（JDK版本）、安裝、基本操作版本）、安裝、基本操作 KETTLE要求先安裝版本或以上 無需安裝下載后直接運(yùn)行即可5.KETTLE的組件

4、的類型基本說明（作業(yè)與轉(zhuǎn)換） Kettle中有兩種腳本文件，transformation（轉(zhuǎn)換，后綴為.ktr）和job（作業(yè), 后綴為.kjb），transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，好比工廠里的生產(chǎn)流水線，每個組件相當(dāng)于一個員工；job則完成整個工作流的控制，好比工廠里的管理。 如果用記事本打開文件可發(fā)現(xiàn)轉(zhuǎn)換和作業(yè)都是xml類型文件。6.KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）7 作業(yè)：分串行執(zhí)行和并行執(zhí)行，串行執(zhí)行是先執(zhí)行完其中一條線再執(zhí)行另一條線，并行是兩條線同時(shí)執(zhí)行，同一條線上的兩個步聚會先執(zhí)行前面的再執(zhí)行后面的，每個步驟執(zhí)行結(jié)果分兩種：true(成功)/fals

5、e(失敗),根據(jù)返回結(jié)果可以控制流程走向。.KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）8 作業(yè)流程圖說明.KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）9 轉(zhuǎn)換：一傳遞分復(fù)制和分發(fā)兩種模式。開始所有步驟同時(shí)運(yùn)行，記錄會從最前端的步驟向后傳遞，傳遞到相應(yīng)步驟則該記錄被該步驟作相應(yīng)處理，處理完成再把記錄往后傳遞，記錄.KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）10 復(fù)制：把一份數(shù)據(jù)復(fù)制成多份，后面步驟各占一份。 分發(fā)：把一份數(shù)據(jù)平均分配給后面步驟。.基于表對表的同步11 表對表同步是最基本的同步方式之一 實(shí)現(xiàn)步驟：一、建立源庫連接和目標(biāo)庫連接二、使用表輸入組件進(jìn)行源表數(shù)據(jù)讀取三、對記錄進(jìn)行

6、適配整理四、使用表輸出組件輸出到目標(biāo)表.KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）12 新建一個轉(zhuǎn)換：文件新建轉(zhuǎn)換.基于表對表的同步13.基于表對表的同步14.基于表對表的同步15.基于表對表的同步16.基于文件到表的同步17 新建一個轉(zhuǎn)換 流程：從文件讀取記錄插入到數(shù)據(jù)庫中.基于文件到表的同步18.基于文件到表的同步19.基于文件到表的同步20.基于表到文件的同步21 新建一個轉(zhuǎn)換 實(shí)現(xiàn)從表里讀取記錄生成文件.基于表到文件的同步22.基于表到文件的同步23.基于表到文件的同步24.JAVASCRIPT的基本應(yīng)用25.文件FTP下載、上傳26 作業(yè)：FTP下載 從FTP上下載相應(yīng)文件到指定

7、目錄下.文件FTP下載、上傳27.文件FTP下載、上傳28.文件FTP下載、上傳29 作業(yè)：FTP上傳 上傳本地文件到相應(yīng)FTP指定目錄上.文件FTP下載、上傳30.作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換31 文件新建作業(yè) 作業(yè)可以調(diào)用作業(yè)，這樣方便流程控制。.作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換32.作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換33 作業(yè)也可以調(diào)用轉(zhuǎn)換.作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換34.啟動腳本說明35 KETTLE程序啟動分兩種，一種是作業(yè)、一種是轉(zhuǎn)換。 作業(yè)調(diào)用啟動腳本：（） 轉(zhuǎn)換調(diào)用啟動腳本：（ pan.bat).啟動腳本說明36 （）說明.啟動腳本說明37 Kitchen.bat(span.bat)說明.啟動腳本說明38 WINDOWS系統(tǒng)

8、下的作業(yè)啟動腳本寫法 /file 作業(yè)入口路徑 /level 日志輸出等級 /logfile 日志輸出文件.啟動腳本說明39 LINUX系統(tǒng)下的啟動腳本寫法.啟動腳本說明40 轉(zhuǎn)換調(diào)動腳本寫法 WINDOWS和LINUX系統(tǒng)的啟動腳本的寫法基本一樣，就是的區(qū)別.Java調(diào)用 引用Kettle jar包.Java調(diào)用JOB傳入變量傳入變量JOB文件設(shè)置變量：變量變量傳遞：傳遞：Variable substitution 選中.Java調(diào)用JOB調(diào)用JOBJobMeta jobMeta = new JobMeta(jobPath, null);JVM設(shè)置變量：System.getPropertie

9、s().setProperty(key, value);Job job=new Job(null, jobMeta);job.start();job.waitUntilFinished();.Java調(diào)用KTR 傳入變量.Java調(diào)用KTR 調(diào)用ktrTransMeta localTransMeta = localTransMeta = new TransMeta(ktrPath);設(shè)置變量localTransMeta.setVariable(key,value)Trans tran=new Trans(localTransMeta )tran.execute(null);tran.waitUntilFinished();.使用原則 可以使用sql 來做的一些操作盡量用sql ； Group , merge , stream lookup ,split field 這些操作都是比較慢的，想辦法避免它用sql 就用sql 盡量避免使用update , delete 操作，尤其是update , 如果可以把update 變成先delete , 后insert . 盡量不要用kettle 的calculate 計(jì)算步驟，能用數(shù)據(jù)庫本身的sql 就用sql ,不能用sql 就盡量想辦法用procedure , 實(shí)在不行才是calculate 步驟. 能使用truncate tab