《Kettle使用培訓(xùn)》ppt課件

1、shenxianglKettle運(yùn)用-ETL&KettleETLExtract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程，對于金融IT來說，經(jīng)常會遇到大數(shù)據(jù)量的處置，轉(zhuǎn)換，遷移，所以了解并掌握一種etl工具的運(yùn)用，必不可少。Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的根底轉(zhuǎn)換，job那么完成整個任務(wù)流的控制。Kettle運(yùn)用-下載&部署Kettle可以在/網(wǎng)站

2、下載下載kettle緊縮包，因kettle為綠色軟件，解緊縮到恣意本地途徑即可Kettle運(yùn)用-運(yùn)轉(zhuǎn)進(jìn)入到Kettle目錄，假設(shè)Kettle部署在windows環(huán)境下，雙擊運(yùn)轉(zhuǎn)spoon.bat文件，出現(xiàn)如下界面Kettle運(yùn)用-運(yùn)轉(zhuǎn)Kettle提供了資源庫方式的方式來整合一切的任務(wù)，但是由于資源庫移植不方便，所以選擇沒有資源庫Kettle運(yùn)用-ktr&kjb點(diǎn)擊頁面左上角的 創(chuàng)建一個新的transformation，點(diǎn)擊 保管到本地途徑，例如保管到D:/etltest下，保管文件名為EtltestTrans，kettle默許transformation文件保管后后綴名為ktr點(diǎn)擊頁面

3、左上角的 創(chuàng)建一個新的job，點(diǎn)擊 保管到本地途徑，例如保管到D:/etltest下，保管文件名為EtltestJob，kettle默許job文件保管后后綴名為kjbKettle運(yùn)用-transformation菜單引見Main Tree菜單列出的是一個transformation中根本的屬性，可以經(jīng)過各個節(jié)點(diǎn)來查看。DB銜接：顯示當(dāng)前transformation中的數(shù)據(jù)庫銜接，每一個transformation的數(shù)據(jù)庫銜接都需求單獨(dú)配置。Steps：一個transformation中運(yùn)用到的環(huán)節(jié)列表Hops：一個transformation中運(yùn)用到的節(jié)點(diǎn)銜接列表Kettle運(yùn)用-transf

4、ormation菜單引見Core Objects菜單列出的是transformation中可以調(diào)用的環(huán)節(jié)列表，可以經(jīng)過鼠標(biāo)拖動的方式對環(huán)節(jié)進(jìn)展添加。Input：輸入環(huán)節(jié)Output：輸出環(huán)節(jié)Lookup：查詢環(huán)節(jié)Transform：轉(zhuǎn)化環(huán)節(jié)Joins：銜接環(huán)節(jié)Scripting：腳本環(huán)節(jié)Kettle運(yùn)用-Transformation每一個環(huán)節(jié)可以經(jīng)過鼠標(biāo)拖動來將環(huán)節(jié)添加到主窗口中。并可經(jīng)過shift+鼠標(biāo)拖動，實(shí)現(xiàn)環(huán)節(jié)之間的銜接。Kettle運(yùn)用-Transformation常用環(huán)節(jié)引見類別類別 環(huán)節(jié)稱號環(huán)節(jié)稱號 功能闡明功能闡明 Input 文本文件輸入 從本地文本文件輸入數(shù)據(jù) 表輸入 從數(shù)

5、據(jù)庫表中輸入數(shù)據(jù) 獲取系統(tǒng)信息 讀取系統(tǒng)信息輸入數(shù)據(jù) Output 文本文件輸出 將處置結(jié)果輸出到文本文件 表輸出 將處置結(jié)果輸出到數(shù)據(jù)庫表 插入/更新 根據(jù)處置結(jié)果對數(shù)據(jù)庫表機(jī)型插入更新，假設(shè)數(shù)據(jù)庫中不存在相關(guān)記錄那么插入，否那么為更新。會根據(jù)查詢條件中字段進(jìn)展判別 更新 根據(jù)處置結(jié)果對數(shù)據(jù)庫進(jìn)展更新，假設(shè)需求更新的數(shù)據(jù)在數(shù)據(jù)庫表中無記錄，那么會報錯停頓 刪除 根據(jù)處置結(jié)果對數(shù)據(jù)庫記錄進(jìn)展刪除，假設(shè)需求刪除的數(shù)據(jù)在數(shù)據(jù)庫表中無記錄，那么會報錯停頓Lookup 數(shù)據(jù)庫查詢 根據(jù)設(shè)定的查詢條件，對目的表進(jìn)展查詢，前往需求的結(jié)果字段 流查詢 將目的表讀取到內(nèi)存，經(jīng)過查詢條件對內(nèi)存中數(shù)據(jù)集進(jìn)展查詢

6、調(diào)用DB存儲過程 調(diào)用數(shù)據(jù)庫存儲過程 Transform 字段選擇 選擇需求的字段，過濾掉不要的字段，也可做數(shù)據(jù)庫字段對應(yīng)過濾記錄 根據(jù)條件對記錄進(jìn)展分類排序記錄 將數(shù)據(jù)根據(jù)某以條件，進(jìn)展排序空操作 無操作添加常量 添加需求的常量字段Scripting Modified Java Script Value 擴(kuò)展功能，編寫JavaScript腳本，對數(shù)據(jù)進(jìn)展相應(yīng)處置Mapping 映射子轉(zhuǎn)換 數(shù)據(jù)映射Job Sat Variables設(shè)置環(huán)境變量Get Variables獲取環(huán)境變量Kettle運(yùn)用-Job菜單引見Main Tree菜單列出的是一個Job中根本的屬性，可以經(jīng)過各個節(jié)點(diǎn)來查看。DB

7、銜接：顯示當(dāng)前Job中的數(shù)據(jù)庫銜接，每一個Job的數(shù)據(jù)庫銜接都需求單獨(dú)配置。Job entries：一個Job中援用的環(huán)節(jié)列表Kettle運(yùn)用-Job菜單引見Job entries菜單列出的是Job中可以調(diào)用的環(huán)節(jié)列表，可以經(jīng)過鼠標(biāo)拖動的方式對環(huán)節(jié)進(jìn)展添加。每一個環(huán)節(jié)可以經(jīng)過鼠標(biāo)拖動來將環(huán)節(jié)添加到主窗口中。并可經(jīng)過shift+鼠標(biāo)拖動，實(shí)現(xiàn)環(huán)節(jié)之間的銜接。Kettle運(yùn)用-Job常用環(huán)節(jié)引見類別類別環(huán)節(jié)稱號環(huán)節(jié)稱號功能闡明功能闡明Job entriesSTART開場DUMMY終了Transformation援用Transformation流程Job援用Job流程Shell調(diào)用Shell腳本SQ

8、L執(zhí)行sql語句FTP經(jīng)過FTP下載Table exists檢查目的表能否存在，前往布爾值File exists檢查文件能否存在，前往布爾值Javascript執(zhí)行JavaScript腳本Create file創(chuàng)建文件Delete file刪除文件Wait for file等待文件，文件出現(xiàn)后繼續(xù)下一個環(huán)節(jié)File Compare文件比較，前往布爾值Wait for等待時間，設(shè)定一段時間，kettle流程處于等待形狀Zip file緊縮文件為ZIP包Kettle運(yùn)用-作業(yè)作業(yè)：作業(yè)：根據(jù)客戶，帳戶，買賣表中的數(shù)據(jù)，生根據(jù)客戶，帳戶，買賣表中的數(shù)據(jù)，生成對應(yīng)的數(shù)據(jù)文件，將數(shù)據(jù)文件可以導(dǎo)成對應(yīng)的數(shù)

9、據(jù)文件，將數(shù)據(jù)文件可以導(dǎo)入到對應(yīng)表中，并且可以用入到對應(yīng)表中，并且可以用jobjob來調(diào)用整來調(diào)用整個流程。個流程。成果：成果：1 1，提交對應(yīng)的，提交對應(yīng)的KettleKettle文件文件2 2，KettleKettle流程可以正確執(zhí)行，不報錯流程可以正確執(zhí)行，不報錯3 3，對應(yīng)的數(shù)據(jù)文件生成并格式無誤，對，對應(yīng)的數(shù)據(jù)文件生成并格式無誤，對應(yīng)表中有數(shù)據(jù)并格式無誤應(yīng)表中有數(shù)據(jù)并格式無誤Kettle運(yùn)用-作業(yè)闡明：數(shù)據(jù)庫中存在四張表：表名表名字段名字段名闡明闡明關(guān)系關(guān)系CUSTCustno客戶號Custname客戶姓名Custid客戶證件號Custtype客戶類型1是對公，2是對私ACCOUNTAcctno帳號Custno帳戶對應(yīng)的客戶號和CUST.CUSTNO對應(yīng)Amt帳戶余額TRADETradeid買賣流水號Acctno買賣發(fā)生的帳號和ACCOUNT.ACCTNO對應(yīng)Amt買賣金額Kettle運(yùn)用-作業(yè)表名表名字段名字段名闡明闡明關(guān)系關(guān)系TRADE_ALLTradeid買賣流水號Acctno帳號Amt買賣金額Custno客戶號Custname客戶姓名Custid客戶證件號Custtype_cn客戶類別對公/對私Value_買賣闡明假設(shè)是對公客戶發(fā)生的買賣，填寫“這是一