KETTLE安裝以及學(xué)習(xí)筆記

本文格式為Word版，下載可任意編輯——KETTLE安裝以及學(xué)習(xí)筆記文檔名稱

Windows/linux下的KETTLE安裝

1Windows下安裝

1.1安裝JDK

1.下載JDK82.設(shè)置環(huán)境變量

JAVA_HOME為C:\\ProgramFiles\\Java\\jdk1.8.0_60在PATH中增加;%JAVA_HOME%\\bin

1.2安裝KETTLE

1.官網(wǎng)下載data-integration52.解壓到指定目錄中3.安裝完畢

1.3運(yùn)行KETTLE

開啟data-integration，找到spoon.bat,雙擊運(yùn)行，進(jìn)入kettle可視化界面

2LINUX下安裝

2.1安裝jdk

2.1.1在/usr/local新建文件夾javamkdir/usr/local/java

把jdk安裝文件jdk-8u60-linux-x64.tar.gz傳入到/usr/local/java下2.1.2安裝jdk

cd/usr/local/java

tar-zxvfjdk-8u60-linux-x64.tar.gz

2.1.3配置環(huán)境變量

vi/etc/profile在最末行參與

第1頁(yè)共10頁(yè)

文檔名稱

exportJAVA_HOME=/usr/local/java/jdk1.8.0_60

exportCLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin然后保存退出

執(zhí)行source/etc/profile使之環(huán)境變量馬上生效

2.1.4測(cè)試

可以小測(cè)一把jdk是否配置好了執(zhí)行命令java–versionjavaversion\

Java(TM)SERuntimeEnvironment(build1.8.0_60-b27)

JavaHotSpot(TM)64-BitServerVM(build25.60-b23,mixedmode)

出現(xiàn)這個(gè)則說明jdk環(huán)境變量配置OK

2.1.5刪除安裝包

rm/usr/local/java/jdk-8u60-linux-x64.tar.gz

2.2Kettle部署

新建文件夾

mkdir–p/usr/local/kettle

將kettle的軟件包data-interation.zip上傳到/usr/local/kettle文件夾解壓

unzipdata-interation.zip

另外將相關(guān)kettle程序代碼拷貝到/usr/local/scripts目錄下[root@ada~]#mkdir.kettle

第2頁(yè)共10頁(yè)

文檔名稱

[root@ada~]#chmod775.kettle[root@ada~]#ll-d.kettle/

drwxrwxr-x2rootroot4096Oct920:24.kettle/

另外把其中的pertiesshared.xml文件拷貝到/root/.kettle目錄下[root@ada.kettle]#chmod664*[root@ada.kettle]#lltotal20

-rw-rw-r--1rootroot365Sep1719:58perties-rw-rw-r--1rootroot14854Sep1719:59shared.xml

修改perties文件infilepath=/data/collect_dir/csv/outfilepath=/data/di_dir/csv/shellpath=/usr/local/scripts/

假使文件夾不存在建立

[root@adadata]#mkdir-p/data/collect_dir/csv/[root@adadata]#chmod777-R/data/collect_dir/[root@adadata]#mkdir-p/data/di_dir/csv/[root@adadata]#chmod777-R/data/di_dir

第3頁(yè)共10頁(yè)

文檔名稱

2.3Shell腳本布置

將scripts.zip解壓到/usr/local/scriptsChmod775/usr/local/scripts增加可執(zhí)行權(quán)限Cd/usr/local/scripts/Chmoda+x*.sh

3常見問題

3.1新建數(shù)據(jù)庫(kù)連接，點(diǎn)擊測(cè)試報(bào)錯(cuò)

默認(rèn)安裝包中不帶對(duì)應(yīng)JDBC的連接驅(qū)動(dòng)程序，需要下載對(duì)應(yīng)數(shù)據(jù)庫(kù)的連接程序(Oracle/Mysql/PostgreSQL),將驅(qū)動(dòng)庫(kù)放在在lib文件夾下

Mysql驅(qū)動(dòng)：mysql-connector-java-5.1.32-bin.jarPostgreSQL驅(qū)動(dòng)：postgresql-9.4-1203.jdbc42.jarOracle驅(qū)動(dòng)：ojdbc6_g.jar

3.2相關(guān)配置文件說明

windows文件路徑：C:\\Users\\[用戶名]\\.kettlelinux文件路徑:~/.kettle/perties：配置變量shared.xml：配置公共數(shù)據(jù)庫(kù)連接

3.2.1perties

infilepath=C:\\\\outfilepath=C:\\\\

3.3增加日志

1.雙擊空白處-->跳出對(duì)話框-->選擇日志選項(xiàng)卡-->選擇日志通道-->選擇日志數(shù)據(jù)庫(kù)連接，填入對(duì)應(yīng)的表，點(diǎn)擊SQL，然后按確認(rèn)就可以創(chuàng)立

3.4Kitchen執(zhí)行說明

Kitchen——作業(yè)執(zhí)行器

是一個(gè)作業(yè)執(zhí)行引擎，用來執(zhí)行作業(yè)。這是一個(gè)命令行執(zhí)行工具，沒啥

第4頁(yè)共10頁(yè)

文檔名稱

可講的，就把它的參數(shù)說明列一下。

-rep:Repositoryname任務(wù)包所在存儲(chǔ)名-user:Repositoryusername執(zhí)行人-pass:Repositorypassword執(zhí)行人密碼

-job:Thenameofthejobtolaunch任務(wù)包名稱

-dir:Thedirectory(don''tforgettheleading/or\\)-file:Thefilename(JobXML)tolaunch

-level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志級(jí)別

-log:Theloggingfiletowriteto指定日志文件-listdir:Listthedirectoriesintherepository列出指定存儲(chǔ)中的目錄結(jié)構(gòu)。

-listjobs:Listthejobsinthespecifieddirectory列出指定目錄下的所有任務(wù)

-listrep:Listthedefinedrepositories列出所有的存儲(chǔ)-norep:Don''tlogintotherepository不寫日志例如：Linux:

./kitchen.sh-file=/Users/xuyongbo/Documents/kettle/kaoqintongbu/main_kaoqin.kjb-level=Basic-log=/tmp/run_kettle.logWindows

Z:\\shell\\data-integration\\kitchen.bat/file:Z:\\Documents\\kettle\\kaoqintongbu\\main_kaoqin.kjb/level:Basic/log:E:\\run_kettle.log3.5常用內(nèi)置參數(shù)

Internal.Job.Filename.Directory：當(dāng)前作業(yè)程序所在路徑

Internal.Transformation.