Kettle基本知識培訓(xùn)

Kettle基本知識培訓(xùn)Kettle基本知識培訓(xùn)Kettle培訓(xùn)內(nèi)容Kettle功能Kettle控件介紹Kettle案例演示2Kettle培訓(xùn)內(nèi)容Kettle功能2Kettle介紹Kettle是一款開源的、元數(shù)據(jù)驅(qū)動的ETL工具集，是開源ETL工具里功能比較強大的一個。Kettle是”KettleE.T.T.L.Envirnonment”只取首字母的縮寫，這意味著它被設(shè)計用來幫助你實現(xiàn)你的ETL需要：抽取、轉(zhuǎn)換、裝入和加載數(shù)據(jù)；翻譯成中文名稱應(yīng)該叫水壺，名字的起源正如該項目的主程序員MATT在一個論壇里說的哪樣：希望把各種數(shù)據(jù)放到一個壺里然后以一種指定的格式流出。3Kettle介紹Kettle是一款開源的、元數(shù)據(jù)驅(qū)動的ETKettle家族Kettle5.0家族目前包括幾個產(chǎn)品：Spoon—轉(zhuǎn)換(transform)設(shè)計工具(GUI方式)Pan—轉(zhuǎn)換(transform)執(zhí)行器(命令行方式)Kitchen—工作(job)執(zhí)行器(命令行方式)

4Kettle家族Kettle5.0家族目前包括幾個產(chǎn)品：Kettle的安裝要運行此工具你必須安裝Sun公司的JAVA運行環(huán)境1.4或者更高版本，相關(guān)資源你可以到網(wǎng)絡(luò)上搜索JDK進行下載綠色免安裝，解壓即可用。在不同的平臺上運行Spoon所支持的腳本：Spoon.bat:在windows平臺運行Spoon。Spoon.sh:在Linux、AppleOSX、Solaris平臺運行Spoon。5Kettle的安裝要運行此工具你必須安裝Sun公司的JAKettle轉(zhuǎn)化功能介紹1Kettle中有兩種腳本文件，transformation(.ktr)和job(.kjb)，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。所有功能支持控件化，使用簡單支持多樣化數(shù)據(jù)源類型：基本的文本文件Access、Excel、XML、Property文件格式MDX查詢語言、Cube文件、StreamingXML數(shù)據(jù)流自動產(chǎn)生空記錄或者行從XBase類型文件(DBF)讀取數(shù)據(jù)關(guān)系型數(shù)據(jù)庫獲取系統(tǒng)信息如文件名稱、系統(tǒng)時間等6Kettle轉(zhuǎn)化功能介紹1Kettle中有兩種腳本文件，Kettle轉(zhuǎn)化功能介紹2特殊目標(biāo)數(shù)據(jù)源支持把數(shù)據(jù)寫入到Cube把數(shù)據(jù)寫入XML支持多種查詢調(diào)用數(shù)據(jù)庫存儲過程基本的數(shù)據(jù)庫查詢判斷表以和列、操作系統(tǒng)文件是否存在從URL接收查詢使用Web服務(wù)查詢信息使用數(shù)據(jù)流中的值作為參數(shù)來執(zhí)行一個數(shù)據(jù)庫查詢流查詢：從轉(zhuǎn)換中其他流里查詢值轉(zhuǎn)換功能值映射、分組、去重、拆分字段、行列轉(zhuǎn)換復(fù)制行7Kettle轉(zhuǎn)化功能介紹2特殊目標(biāo)數(shù)據(jù)源支持7Kettle轉(zhuǎn)化功能介紹３支持的腳本JS腳本SQL腳本正則表達式支持漸變維度更新批量加載：GreenplumBulkLoaderOracleBulkLoaderMSSQLBulkLoaderMYSQLBulkLoaderPostgreSQLBulkLoader支持分區(qū)表和集群8Kettle轉(zhuǎn)化功能介紹３支持的腳本8Kettle作業(yè)功能介紹1可以執(zhí)行操作系統(tǒng)命令和操作：Ping主機寫日志發(fā)送郵件從POPServer獲取郵件并保存在本地比較文件夾、文件創(chuàng)建、復(fù)制、移動、刪除、壓縮文件從HTTP獲取或者上傳文件操作延遲等待9Kettle作業(yè)功能介紹1可以執(zhí)行操作系統(tǒng)命令和操作：9Kettle作業(yè)功能介紹2判斷文件是否存在執(zhí)行JavaScript、SQL、Shell腳本支持安全FTP獲取、上傳文件刪除遠程文件支持SSH2上傳下載10Kettle作業(yè)功能介紹2判斷文件是否存在10數(shù)據(jù)庫連接類型和訪問類型支持的數(shù)據(jù)庫連接類型，截圖如下，有些數(shù)據(jù)庫類型需要完善jar包，以確保數(shù)據(jù)庫能夠正確連接11數(shù)據(jù)庫連接類型和訪問類型支持的數(shù)據(jù)庫連接類型，截圖如下，11訪問類型數(shù)據(jù)庫訪問類型支持如下幾種：JDBCOCIODBCJNDI12訪問類型數(shù)據(jù)庫訪問類型支持如下幾種：12Kettle實施步驟雙擊運行kettle文件夾下的Kettle

文件，出現(xiàn)kettle歡迎界面。創(chuàng)建資料庫(可省略)創(chuàng)建數(shù)據(jù)庫連接創(chuàng)建轉(zhuǎn)換創(chuàng)建Jobs，進行流程化控制13Kettle實施步驟雙擊運行kettle文件夾下的KeKettle案例案例描述：從oracle數(shù)據(jù)庫中導(dǎo)出數(shù)據(jù)到文本文件中14Kettle案例案例描述：14創(chuàng)建轉(zhuǎn)換選擇”文件”,選擇”新建”---->”轉(zhuǎn)換”15創(chuàng)建轉(zhuǎn)換選擇”文件”,選擇”新建”---->”轉(zhuǎn)換”15從左側(cè)輸入欄目中選擇”表輸入”控件和”文本文件輸出”控件，拖拽到右側(cè)工作空間中16從左側(cè)輸入欄目中選擇”表輸入”控件和”文本文件輸出”控件，拖選中兩個控件，在其中一個控件上右擊，選擇”新建節(jié)點連接”17選中兩個控件，在其中一個控件上右擊，選擇”新建節(jié)點連接”17選擇”起始步驟”18選擇”起始步驟”18雙擊”表輸入”控件，進行編輯在SQL中輸入：SELECT*FROMEMPWHEREENAME='${ENAME}‘其中${ENAME}是參數(shù)。19雙擊”表輸入”控件，進行編輯19數(shù)據(jù)庫連接點擊”新建”，并測試連接。點擊確認(rèn)保存改步驟。20數(shù)據(jù)庫連接點擊”新建”，并測試連接。點擊確認(rèn)保存改步驟。20雙擊”文本文件輸出”控件，進行編輯。瀏覽選擇文件存儲的位置。21雙擊”文本文件輸出”控件，進行編輯。瀏覽選擇文件存儲的位置。選擇”內(nèi)容”編輯文本的輸出格式22選擇”內(nèi)容”編輯文本的輸出格式22點擊”字段”選擇需要輸出的內(nèi)容。點擊”獲取字段”，自動生成字段。點擊”確定”，保存。23點擊”字段”選擇需要輸出的內(nèi)容。23添加參數(shù)鼠標(biāo)點擊右鍵,選擇”轉(zhuǎn)換設(shè)置”。在”命名參數(shù)”填寫參數(shù):ENAME24添加參數(shù)24測試轉(zhuǎn)換點擊”運行”按鈕,填寫參數(shù)內(nèi)容,并點擊”啟動”25測試轉(zhuǎn)換25查看測試結(jié)果26查看測試結(jié)果26查看導(dǎo)出的數(shù)據(jù)文件27查看導(dǎo)出的數(shù)據(jù)文件27Kettle調(diào)用利用Pan工具實現(xiàn)轉(zhuǎn)換的調(diào)用pan-fileC:\TEST.ktr-levelBasic-logfileC:\TEST.log"-param:ENAME=ADAMS"28Kettle調(diào)用利用Pan工具實現(xiàn)轉(zhuǎn)換的調(diào)用28Kettle調(diào)用利用Kitchen工具實現(xiàn)作業(yè)的調(diào)用Kitchen-fileC:\TEST.kjb-levelDetailed-logfileC:\TEST_JOB.log"-param:EN