自己總結(jié)的Kettle使用方法和成果

本文格式為Word版，下載可任意編輯——自己總結(jié)的Kettle使用方法和成果KETTLE使用自己總結(jié)的Kettle使用方法和成果說明

簡介

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中文名稱叫水壺，該項目的主程序員MATT希望把各種數(shù)據(jù)放到一個壺里，然后以一種指定的格式流出。Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。

Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。

Kettle可以在/網(wǎng)站下載到。

注：ETL，是英文Extract-Transform-Load的縮寫，用來描述將數(shù)據(jù)從來源端經(jīng)過萃?。╡xtract）、轉(zhuǎn)置（transform）、加載（load）至目的端的過程。ETL一詞較常用在數(shù)據(jù)倉庫，但其對象并不限于數(shù)據(jù)倉庫。

下載和安裝

首先，需要下載開源免費的pdi-ce軟件壓縮包，當(dāng)前最新版本為5.20.0。下載網(wǎng)址：/projects/pentaho/files/DataIntegration/然后，解壓下載的軟件壓縮包：pdi-ce--209.zip，解壓后會在當(dāng)前目錄下上傳一個目錄，名為data-integration。由于Kettle是使用Java開發(fā)的，所以系統(tǒng)環(huán)境需要安裝并且配置好JDK。?Kettle可以在/網(wǎng)站下載

?下載kettle壓縮包，因kettle為綠色軟件，解壓縮到任意本地路徑即可。

運行Kettle

進(jìn)入到Kettle目錄，假使Kettle部署在windows環(huán)境下，雙擊運行spoon.bat或Kettle.exe文件。Linux用戶需要運行spoon.sh文件，進(jìn)入到Shell提醒行窗口，進(jìn)入到解壓目錄中執(zhí)行下面的命令：

#chmod+xspoon.sh

#nohup./spoon.sh&后臺運行腳本

這樣就可以開啟配置Kettle腳本的UI界面。

Kettle的簡單使用

首先，點擊“文件—新建—轉(zhuǎn)換〞菜單創(chuàng)立一個轉(zhuǎn)換。

我們可以看到轉(zhuǎn)換的主對象數(shù)和核心對象區(qū)域，然后我們添加一個DB連接。選擇“注對象數(shù)〞，雙擊“轉(zhuǎn)換2〞標(biāo)簽下的“DB連接〞會彈出一個設(shè)置窗口。填入連接名稱，選擇連接類型，配置數(shù)據(jù)庫設(shè)置，然后測試下配置是否正確。

由于Kettle沒有將所有的數(shù)據(jù)庫的Driver文件集成，所以假使想連接指定的數(shù)據(jù)庫，需要自己下載JDBC驅(qū)動，放入到解壓目錄下的lib目錄中。添加完JDBC驅(qū)動后，必需重啟下Kettle才能加載驅(qū)動。1）Oracle的JDBC驅(qū)動：ojdbc6.jar

2）MySQL的JDBC驅(qū)動：mysql-connector-java-5.1.32.jar

注：在轉(zhuǎn)換之前需要創(chuàng)立轉(zhuǎn)換所需的表，原始表和轉(zhuǎn)換的目標(biāo)表。

點擊“核心對象〞標(biāo)簽頁中的“輸入〞，選擇“表輸入〞拖到“轉(zhuǎn)換〞區(qū)域。雙擊“表輸入〞圖標(biāo)彈出表輸入對話框，填入步驟名稱，選擇數(shù)據(jù)庫連接，點擊“獲取SQL查詢語句〞，或者直接寫入SQL語句，填寫附件信息，點擊“預(yù)覽〞按鈕查看執(zhí)行結(jié)果，沒有錯誤，點擊“確認(rèn)〞關(guān)閉對話框。

點擊“核心對象〞—“輸出〞，選擇“Excel輸出〞拖入到轉(zhuǎn)換區(qū)，雙擊Excel輸出圖標(biāo)，彈出對話框，選擇文件名和其它附加參數(shù)，點擊確認(rèn)。

點擊輸入表的圖標(biāo)，同時按下shift鍵，再點擊輸出文件，將兩者連接起來。然后雙擊Excel輸出進(jìn)行配置。

最終一步就是執(zhí)行kettle腳本，點擊工具欄上的綠色箭頭即可。

點擊“啟動〞開始轉(zhuǎn)換，在轉(zhuǎn)換過程中會出現(xiàn)轉(zhuǎn)換的信息，如下圖所示。

完成轉(zhuǎn)換后，我們可以Excel輸出目錄中查看轉(zhuǎn)換結(jié)果。注：時間字段換到Excel為空，修改SELECT語句中使用TO_CHAR轉(zhuǎn)換成字符串，例如：TO_CHAR(START_TIM