Kettle基本知識交流PPT課件

1、2021/3/91Kettle 培訓(xùn)培訓(xùn) 飛牛運(yùn)營部商務(wù)智能朱勝2021/3/92Kettle 培訓(xùn)內(nèi)容nKettle 功能與產(chǎn)品介紹nKettle 控件介紹nKettle 案例演示nKettle 調(diào)度2021/3/93Kettle介紹nKettle 是一款開源的、元數(shù)據(jù)驅(qū)動的ETL工具集，是開源 ETL 工具里功能比較強(qiáng)大的一個。 nKettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的縮寫，這意味著它被設(shè)計用來幫助你實現(xiàn)你的ETTL 需要：抽取、轉(zhuǎn)換、裝入和加載數(shù)據(jù)；翻譯成中文名稱應(yīng)該叫水壺，名字的起源正如該項目的主程序員MATT 在一個論壇里說的哪樣：希

2、望把各種數(shù)據(jù)放到一個壺里然后以一種指定的格式流出。2021/3/94Pentaho 產(chǎn)品線nPantaho產(chǎn)品線nReporting：可集成Jasper和BIRTnData Mining:WekanAnalysis:MondriannDashboards：nData Integration:Kettle2021/3/95Kettle 家族nKettle 5.0家族目前包括幾個產(chǎn)品：Spoon轉(zhuǎn)換(transform)設(shè)計工具 (GUI方式) Pan轉(zhuǎn)換(transform)執(zhí)行器 (命令行方式) Kitchen工作(job)執(zhí)行器 (命令行方式)Carte 基于Jetty的，監(jiān)聽Http請求E

3、ncr 用戶加密密碼2021/3/96Kettle 四大家族n Spoon允許你通過圖形界面來設(shè)計ETL轉(zhuǎn)換過程（Transformation）和作業(yè)。例如，從一個SAP系統(tǒng)抽取數(shù)據(jù)，并把這些數(shù)據(jù)存儲到一個文件里的轉(zhuǎn)換任務(wù)如下：n Pan允許批量運(yùn)行由Spoon設(shè)計的ETL轉(zhuǎn)換（例如使用時間調(diào)度器）。Pan是一個后臺執(zhí)行的程序，沒有圖形界面。nKitchen允許批量使用由Chef設(shè)計的任務(wù)（例如使用一個時間調(diào)度器）。KITCHEN是一個后臺運(yùn)行程序。Job和Transformation的差別：Transformation專注于數(shù)據(jù)的ETL，而Job的范圍比較廣，可以是Transformatio

4、n，也可以是Mail、SQL、Shell、FTP等，甚至可以是另外一個Job。 2021/3/97Kettle 的安裝n要運(yùn)行此工具你必須安裝Sun 公司的JAVA 運(yùn)行環(huán)境1.4 或者更高版本，相關(guān)資源你可以到網(wǎng)絡(luò)上搜索JDK 進(jìn)行下載n綠色免安裝，解壓即可用。n在不同的平臺上運(yùn)行Spoon 所支持的腳本：nSpoon.bat: 在windows 平臺運(yùn)行Spoon。nSpoon.sh: 在Linux、Apple OSX、Solaris 平臺運(yùn)行Spoon。2021/3/98Kettle轉(zhuǎn)化功能介紹 1nKettle 中有兩種腳本文件，transformation (.ktr)和 job(.

5、kjb)，transformation 完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job 則完成整個工作流的控制。n所有功能支持控件化，使用簡單n支持多樣化數(shù)據(jù)源類型：n基本的文本文件nAccess、Excel、XML、Property文件格式nMDX查詢語言、 Cube文件、Streaming XML數(shù)據(jù)流n自動產(chǎn)生空記錄或者行n從XBase類型文件(DBF)讀取數(shù)據(jù)n關(guān)系型數(shù)據(jù)庫n獲取系統(tǒng)信息如文件名稱、系統(tǒng)時間等2021/3/99Kettle轉(zhuǎn)化功能介紹 2n特殊目標(biāo)數(shù)據(jù)源支持n把數(shù)據(jù)寫入到Cuben把數(shù)據(jù)寫入XMLn支持多種查詢n調(diào)用數(shù)據(jù)庫存儲過程n基本的數(shù)據(jù)庫查詢n判斷表以及列、操作系統(tǒng)文件是否存在n

6、從URL接收查詢n使用Web服務(wù)查詢信息n使用數(shù)據(jù)流中的值作為參數(shù)來執(zhí)行一個數(shù)據(jù)庫查詢n流查詢：從轉(zhuǎn)換中其他流里查詢值n轉(zhuǎn)換功能n值映射、分組、去重、拆分字段、行列轉(zhuǎn)換n復(fù)制行2021/3/910Kettle轉(zhuǎn)化功能介紹n支持的腳本nJS腳本nSQL腳本n正則表達(dá)式n支持漸變維度更新n批量加載：nGreenplum Bulk LoadernOracle Bulk LoadernMSSQL Bulk LoadernMYSQL Bulk LoadernPostgreSQL Bulk Loadern支持分區(qū)表和集群2021/3/911Kettle作業(yè)功能介紹 1n可以執(zhí)行操作系統(tǒng)命令和操作：nPin

7、g 主機(jī)n寫日志n發(fā)送郵件n從POP Server獲取郵件并保存在本地n比較文件夾、文件n創(chuàng)建、復(fù)制、移動、刪除、壓縮文件n從HTTP獲取或者上傳文件n操作延遲等待2021/3/912Kettle作業(yè)功能介紹 2n判斷文件是否存在n執(zhí)行JavaScript、SQL、Shell腳本n支持安全FTP獲取、上傳文件n刪除遠(yuǎn)程文件n支持SSH2上傳下載2021/3/913數(shù)據(jù)庫連接類型和訪問類型n支持的數(shù)據(jù)庫連接類型，截圖如下，n有些數(shù)據(jù)庫類型需要完善jar包，以確保數(shù)據(jù)庫能夠正確連接2021/3/914訪問類型n數(shù)據(jù)庫訪問類型支持如下幾種：nJDBCnOCInODBCnJNDI2021/3/915K

8、ettle實施步驟n雙擊運(yùn)行 kettle 文件夾下的 Kettle 文件，出現(xiàn) kettle 歡迎界面。n創(chuàng)建資料庫(可省略)n創(chuàng)建數(shù)據(jù)庫連接n創(chuàng)建轉(zhuǎn)換n創(chuàng)建Jobs，進(jìn)行流程化控制2021/3/916Kettle案例n案例描述：n把文本文件中的格式化數(shù)據(jù)導(dǎo)入到oracle數(shù)據(jù)庫的指定表中2021/3/917n打開Kettle 選擇沒有資料庫2021/3/918創(chuàng)建數(shù)據(jù)庫連接n創(chuàng)建數(shù)據(jù)庫連接2021/3/919n輸入數(shù)據(jù)源連接名稱，選擇數(shù)據(jù)源類型和訪問方式2021/3/920n輸入服務(wù)器主機(jī)名和數(shù)據(jù)庫名稱2021/3/921n輸入數(shù)據(jù)表空間和索引表空間名稱2021/3/922n輸入用戶名和密

9、碼2021/3/923n測試數(shù)據(jù)庫連接2021/3/924n數(shù)據(jù)源建立成功2021/3/925n右擊轉(zhuǎn)換，新建出現(xiàn)如下界面創(chuàng)建轉(zhuǎn)換2021/3/926n從左側(cè)輸入欄目中選擇文本文件輸入控件，拖拽到右側(cè)工作空間中2021/3/927n從輸出欄目拖拽表輸出控件到左側(cè)工作區(qū)2021/3/928n選中兩個控件，在其中一個控件上右擊，選擇新建節(jié)點(diǎn)連接2021/3/929n選擇起始步驟2021/3/930n雙擊文本文件輸入控件，進(jìn)行編輯2021/3/931n文本文件“內(nèi)容”標(biāo)簽編輯2021/3/932n點(diǎn)擊獲取字段按鈕，可自動獲取字段名稱，然后編輯相關(guān)屬性，預(yù)覽記錄。2021/3/933n編輯輸出表控件屬

10、性2021/3/934n然后點(diǎn)擊綠色按鈕，啟動轉(zhuǎn)換2021/3/935n保存轉(zhuǎn)換2021/3/936n可以查看執(zhí)行結(jié)果2021/3/937n可以加入執(zhí)行SQL腳本2021/3/938在核心對象中有很多控件可用來實現(xiàn)數(shù)據(jù)的ETL功能。2021/3/939創(chuàng)建作業(yè)n從左側(cè)通用欄目中拖拽兩個控件2021/3/940n雙擊Transformation 1進(jìn)行編輯2021/3/9412021/3/942n保存保存jobs后執(zhí)行任務(wù)后執(zhí)行任務(wù)2021/3/943Kettle 調(diào)度n利用Kitchen工具實現(xiàn)作業(yè)的調(diào)用nKitchen.bat /file:D:job_name.kjb /level:Basic2