Kettle產(chǎn)品詳細(xì)介紹.doc

282Kettle產(chǎn)品詳細(xì)介紹 晴天云2017-12-9晴天云 Kettle產(chǎn)品詳細(xì)介紹目錄Kettle產(chǎn)品詳細(xì)介紹0Kettle產(chǎn)品詳細(xì)介紹21.Kettle簡介22.Kettle 的安裝23.Kettle 的詳細(xì)介紹33.1Kettle 資源庫管理33.1.1新建資源庫43.1.1新建資源庫43.1.2更新資源庫73.1.3資源庫登陸和用戶管理83.1.4資源庫登錄和沒有資源庫登錄的區(qū)別93.2菜單欄介紹113.2.1文件113.2.2 編輯142.2.3 視圖202.2.4 資源庫213.2.5 轉(zhuǎn)換233.2.6 作業(yè)293.2.7 向?qū)?23.2.8 幫助343.3工具欄介紹353.3.1 transformation的工具欄353.3.2 Jobs工具欄363.4主對象樹介紹373.4.1Transformation的主對象樹373.4.2Jobs主對象樹523.5核心對象介紹593.5.1Transformation核心對象593.5.2Jobs核心對象2203.6 transformation功能2813.7 Jobs功能2824 Kettle 優(yōu)點(diǎn)2825 Kettle 缺點(diǎn)282Kettle產(chǎn)品詳細(xì)介紹1.Kettle簡介簡單地說，Kettle 就是國外一個開源的ETL工具。其主要功能就是對源數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、裝入和加載數(shù)據(jù)。也就是將源數(shù)據(jù)整合為目標(biāo)數(shù)據(jù)。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。Spoon 是一個圖形用戶界面，它允許運(yùn)行轉(zhuǎn)換或者任務(wù)，其中轉(zhuǎn)換是用pan工具來運(yùn)行，任務(wù)是用Kitchen來運(yùn)行。Pan 是一個數(shù)據(jù)轉(zhuǎn)換引擎，它可以執(zhí)行很多功能。例如從不同的數(shù)據(jù)源讀取、操作和寫入數(shù)據(jù)。Kitchen 是一個可以運(yùn)行利用xml或數(shù)據(jù)資源庫描述的任務(wù)，通常任務(wù)是在規(guī)定的時間間隔內(nèi)用批處理的模式自動運(yùn)行。Kettle主要包括以下三大塊：一、Spoon轉(zhuǎn)換/工作(transform/job)設(shè)計工具 (GUI方式)；二、Kitchen工作(job)執(zhí)行器 (命令行方式) ；三、Span轉(zhuǎn)換(trasform)執(zhí)行器 (命令行方式)。2.Kettle 的安裝首先，必須先安裝Sun 公司的JAVA 運(yùn)行環(huán)境1.4以上的版本（包括1.4），并配置好環(huán)境變量；然后，將下載的Kettle軟件解壓到目標(biāo)目錄，就可以看到Kettle的啟動文件Kettle.exe或Spoon.bat；最后，運(yùn)行啟動文件。Windows 平臺的啟動：雙擊spoon.bat。Linux 平臺的啟動：雙擊Spoon.sh。3.Kettle 的詳細(xì)介紹3.1Kettle 資源庫管理登陸時可以選擇”沒有資源庫”即可進(jìn)入Kettle，此時所定義的轉(zhuǎn)換和工作將只能存儲在本地磁盤上，以.ktr文件和.kjb文件的方式。若使用資源庫登錄，則所有定義的轉(zhuǎn)換和工作將會存儲到資源庫里。實(shí)際上，資源庫就是一個數(shù)據(jù)庫，比如SQL SERVER數(shù)據(jù)庫，里面存儲了Kettle定義的元素的相關(guān)元數(shù)據(jù)，簡單而言，就是元數(shù)據(jù)庫。如果資源庫創(chuàng)建完畢，則資源庫的相關(guān)信息將存儲在文件 “reposityries.xml”中，它位于你的缺省home 目錄的隱藏目錄“.kettle”中。如果是windows 系統(tǒng)，這個路徑就是 c:Documents andSettings.kettle。3.1.1新建資源庫第一步：點(diǎn)擊登錄時彈出界面的中的“新建”按鈕，即會彈出以下界面：3.1.1新建資源庫第一步：點(diǎn)擊登錄時彈出界面的中的“新建”按鈕，即會彈出以下界面：第二步：再繼續(xù)點(diǎn)擊第一步中界面的“新建”按鈕，即可彈出一下界面：第二步：再繼續(xù)點(diǎn)擊第一步中界面的“新建”按鈕，即可彈出一下界面：第三步：填寫完以上對話框后，點(diǎn)擊“Test”按鈕，如果出現(xiàn)下圖中的提示的“正確連接到數(shù)據(jù)庫”，及創(chuàng)建成功，然后點(diǎn)擊“OK”即可進(jìn)入下一步。第四步：完善資源庫信息后，點(diǎn)擊“確定”即可完成資源庫信息創(chuàng)建。3.1.2更新資源庫創(chuàng)建了資源庫后我們可以更新資源庫，點(diǎn)擊首頁的“編輯” 、 “新建”按鈕均可以進(jìn)入到創(chuàng)建資源庫界面。當(dāng)數(shù)據(jù)庫連接選擇后，就可以開始創(chuàng)建資源庫了，單擊“創(chuàng)建或更新”按鈕可以創(chuàng)建新資源庫或者更新原來已有的資源庫，彈出：選擇“是”，彈出：輸入 Admin用戶 的密碼（資源庫登陸和用戶管理中描述） ，確定，更新資源庫的步驟類似創(chuàng)建資源庫，不同的是它是創(chuàng)建索引。3.1.3資源庫登陸和用戶管理R_User 和 R_Profile 兩個表存儲了資源庫的用戶信息，包括登錄名、密碼和用戶權(quán)限。展開兩個表分別做以下說明： R_Profile 表它說明有 3 種權(quán)限的用戶： 1）Administrator 權(quán)限超級管理員，可以管理其它用戶 ；2）User 權(quán)限普通用戶，可以使用所有工具；3）Read-only只讀用戶，理解為只可讀不可寫，即可以使用工具，但是不能保存信息。后面再進(jìn)一步研究R_User 表：LOGIN 是登錄名，PASSWORD 是密碼（注意密碼是經(jīng)過加密的，所以在此才會以 16 進(jìn)制顯示，在這里我們不研究加密算法），ENABLED 表示用戶是否可用，Y 是可用，N 是不可用，在工具里體現(xiàn)為： 我們從表中可以看出密碼是經(jīng)過加密的， 由于我們不知道他的加密算法， 我們不知道原密碼。但是我們想通過資源庫登錄 Kettle，如果用 admin（具有超級管理員權(quán)限）能登陸，則可以創(chuàng)建其它權(quán)限的用戶，從而不再需要這些初始化的用戶信息。3.1.4資源庫登錄和沒有資源庫登錄的區(qū)別使用資源庫登錄后在 Kettle 中定義的轉(zhuǎn)換和 Job 均存儲到資源庫的相關(guān)表中， 若沒有資源庫登錄，則會以.ktr 和.kjb 格式存儲在硬盤上。此外兩者登錄后菜單欄顯示的將不同，并且有些選項(xiàng)功能也不一樣。 1）菜單欄顯示不同 沒有資源庫：有資源庫：2）文件菜單欄相關(guān)選項(xiàng)功能不同l 沒有資源庫： “打開”、“從 url 文件打開”均是打開硬盤目錄下的 .kjb 和 .ktr 文件。 “保存”和“另存為”是把轉(zhuǎn)換和工作以 .ktr 和 .kjb 文件存儲到硬盤上。 l 資源庫登錄： “打開”是打開存儲在資源庫里的轉(zhuǎn)換和工作 ?！皬?url 文件打開”是打開硬盤目錄下的 .kjb 和 .ktr 文件。 “保存”是把相關(guān)轉(zhuǎn)換存儲到資源庫。 “另存為”是把轉(zhuǎn)換和工作以 .kjb 和 .ktr 文件存儲到硬盤上。 把本地的轉(zhuǎn)換和工作存儲到資源庫只用先打開本地的轉(zhuǎn)換和工作， 點(diǎn)擊保存即可以保存到資源庫中。第五步：填寫登錄密碼后點(diǎn)擊“確定”，即可進(jìn)入主界面：3.2菜單欄介紹3.2.1文件新建：新建包括新建轉(zhuǎn)換和新建作業(yè)，如下圖所示： 點(diǎn)擊上圖中的轉(zhuǎn)換或作業(yè)，都可以彈出新建轉(zhuǎn)換或新建作業(yè)的窗口。打開：打開已經(jīng)存在的轉(zhuǎn)換或作業(yè)。l 在連接資源后點(diǎn)擊打開，是選擇打開資源庫中已經(jīng)存在的對象。 例如：l 在不連接資源庫的情況下點(diǎn)擊打開時，是選擇存放在硬盤上的轉(zhuǎn)換或作業(yè)打開。例如：從URL打開文件：從URL地址打開已經(jīng)存在硬盤上的轉(zhuǎn)換或作業(yè)。例如：導(dǎo)出到 XML 文件：將定義的轉(zhuǎn)換和 Job 導(dǎo)出到 xml 文件：從 XML 文件導(dǎo)入：從導(dǎo)出的 xml 文件中導(dǎo)入定義的轉(zhuǎn)換或 Jobs。 Export all linked resources to XML:導(dǎo)出所有相關(guān)的資源保存為.Zip文件。目前解壓后再次導(dǎo)入時報錯。保存：保存當(dāng)前的轉(zhuǎn)換或作業(yè)（Jobs）。另存為（VFS） ：VFS 的作用就是采用標(biāo)準(zhǔn)的 Unix 系統(tǒng)調(diào)用讀寫位于不同物理介質(zhì)上的不同文件系統(tǒng)。關(guān)閉：關(guān)閉當(dāng)前轉(zhuǎn)換或當(dāng)前作業(yè)。打?。捍蛴‘?dāng)前轉(zhuǎn)換或當(dāng)前作業(yè)。退出：退出應(yīng)用程序，即閉Kettle的運(yùn)行程序。3.2.2 編輯l 撤銷：撤銷前一步操作 。l 搜索元數(shù)據(jù)：搜索當(dāng)前轉(zhuǎn)換或 Jobs 的相關(guān)元數(shù)據(jù)，可以過濾，可以查看所有，資源庫實(shí)際上就是元數(shù)據(jù)庫。這個選項(xiàng)將在可用的字段、連接器、注釋以及所有加載的任務(wù)和轉(zhuǎn)換中搜索，并展示搜索的結(jié)果。l 設(shè)置環(huán)境變量： 添加設(shè)置環(huán)境變量的功能，使動態(tài)的測試轉(zhuǎn)換變?yōu)榭赡堋ＭǔＷ兞勘灰粋€任務(wù)中不同的轉(zhuǎn)換設(shè)置。不管怎么樣，在開發(fā)或者測試期間，你可能需要手動的設(shè)置變量?？梢酝ㄟ^“編輯/Set Environment variables”或者CTRL+J來使用這個特性。當(dāng)運(yùn)行一個未定義的變量時將出現(xiàn)這個窗口，可以在執(zhí)行的時候去定義它。變量最先的使用是設(shè)置環(huán)境變量。例如很容易指定臨時文件的位置，可以使用變量： $java.io.tepdir，這個變量在/Unix/Linux/OSX 機(jī)器上的位置是：directory/tmp，在 Windows 機(jī)器上的目錄是： c: Documents and SettingsLocal Settings Temp。 l 顯示環(huán)境變量：見變量敘述 。l 顯示參數(shù)： l 清除選擇： 清除所選的轉(zhuǎn)換或作業(yè)等的步驟，即取消選擇的步驟。l 選擇所有的步驟：全選定義的轉(zhuǎn)換或 jobs 的所有步驟。 l 復(fù)制所選的步驟到剪貼板：復(fù)制當(dāng)前所選擇的轉(zhuǎn)換步驟到剪切板。 l 從剪貼板復(fù)制步驟：相當(dāng)于粘貼步驟。 l 瀏覽數(shù)據(jù)庫：單擊瀏覽數(shù)據(jù)庫，彈出選擇對話框選中一個連接，確定，查看數(shù)據(jù)庫表和視圖等。數(shù)據(jù)庫瀏覽器允許你瀏覽你連接的數(shù)據(jù)庫。在這個時候，它僅僅顯示可用的表、目錄或者表模式。可以利用右邊的按鈕最低限度的展示表或者視圖。你可以選擇下面的選項(xiàng)： Preview first 100 rows of the table（顯示表最開始的100行） Preview first rows of the table（根據(jù)你輸入的行數(shù)展示表） Number of rows of the table（顯示表的行數(shù)） Show layout out of the table（顯示表結(jié)構(gòu)） Generate the DDL（生成該表的DDL語句） Generate the DDL for another connection（在其它的數(shù)據(jù)庫連接中生成該表的DDL語句） Open for SQLthe table(in SQL Editor)（在SQL編輯器中生成讀取該表的SQL語法） Truncate table （生成“Truncate table”的語句）l 一般項(xiàng)：Kettle的一般屬性配置選擇，可以改變很多選項(xiàng)來增強(qiáng)圖形用戶界面的個性化。l 觀感：Kettle界面外觀的設(shè)置，例如設(shè)置窗體字體大小、顏色以及背景顏色等等。此選項(xiàng)在 編輯選項(xiàng)觀感中設(shè)置。2.2.3 視圖工作區(qū)大小設(shè)定，如下圖所示：放大(I)：放大工作區(qū)?？s小(O)：縮小工作區(qū)。等比例(P)：回到最開始的工作區(qū)。2.2.4 資源庫l 連接資源庫：進(jìn)入登錄首頁連接資源庫。 輸入資源庫名稱、登錄的用戶、密碼等信息后，點(diǎn)擊“確定”按鈕進(jìn)行登錄，如果點(diǎn)擊“取消”，則退出連接資源庫界面；如果點(diǎn)擊“沒有資源庫”，則自動進(jìn)入沒有連接資源庫的界面。l 斷開資源庫連接： 斷開當(dāng)前已經(jīng)連接上的資源庫。l 探索資源庫：管理轉(zhuǎn)換、工作、用戶、檔案等。詳情見資源庫中 Administrator 權(quán)限。l 編輯當(dāng)前用戶：編輯密碼和權(quán)限3.2.5 轉(zhuǎn)換l 運(yùn)行：執(zhí)行當(dāng)前轉(zhuǎn)換。l 預(yù)覽：預(yù)覽本次轉(zhuǎn)換的結(jié)果。l 調(diào)試：和預(yù)覽類似。l 重放：重新運(yùn)行轉(zhuǎn)換 l 校驗(yàn)：檢驗(yàn)轉(zhuǎn)換的輸出l 影響分析：分析轉(zhuǎn)換的影響l 獲取 SQL：l 顯示最近一次影響分析： 例如：l 顯示最近一次影響結(jié)果： 例如：l 復(fù)制轉(zhuǎn)換到剪貼板： 將當(dāng)前的轉(zhuǎn)換復(fù)制到剪切板。l 從剪貼板粘貼轉(zhuǎn)換： 將復(fù)制到剪切板的轉(zhuǎn)換粘貼到新的轉(zhuǎn)換中。如果在同一個開發(fā)界面，則需要關(guān)閉復(fù)制的那個轉(zhuǎn)換，才能對其復(fù)制操作。l 復(fù)制轉(zhuǎn)換圖片到剪貼板： 類似于將當(dāng)前轉(zhuǎn)換截圖，可將其圖保存到需要的地方。l 設(shè)置：設(shè)置轉(zhuǎn)換的屬性3.2.6 作業(yè)l 運(yùn)行：運(yùn)行本作業(yè) 。l 復(fù)制job到剪切板： 將當(dāng)前job復(fù)制到剪切板。l 從剪切板粘貼Paste job：將復(fù)制到剪切板的job粘貼到新的job中。l 設(shè)置：設(shè)置 JOB 的屬性， “日志”可以存儲日志信息到數(shù)據(jù)庫表中。3.2.7 向?qū) 創(chuàng)建數(shù)據(jù)庫連接向?qū)В簂 復(fù)制表向?qū)В簂 拷貝表向?qū)В?.2.8 幫助l 每天提示：l 顯示歡迎屏幕：l 顯示步驟的插件信息：l 顯示作業(yè)項(xiàng)插件：l 關(guān)于：3.3工具欄介紹3.3.1 transformation的工具欄 Transformation的工具欄如下圖所示：功能對應(yīng)菜單欄里的轉(zhuǎn)換、文件、視圖等。l 新建：新建轉(zhuǎn)換、工作等。l 打開：打開轉(zhuǎn)換或作業(yè)。l 保存當(dāng)前轉(zhuǎn)換或工作。l 以不同名字保存當(dāng)前轉(zhuǎn)換或工作，即另存為。l 運(yùn)行當(dāng)前工作或轉(zhuǎn)換。l 暫停當(dāng)前運(yùn)行的工作或者轉(zhuǎn)換。l 停止當(dāng)前運(yùn)行的工作或轉(zhuǎn)換。l 預(yù)覽這個轉(zhuǎn)換。l debug 這個轉(zhuǎn)換。l 重放這個轉(zhuǎn)換。l 校驗(yàn)這個轉(zhuǎn)換。l 分析這個轉(zhuǎn)換在數(shù)據(jù)庫中的影響。l 獲取 SQL：產(chǎn)生需要運(yùn)行這個轉(zhuǎn)換的 SQL。l 相當(dāng)于編輯下的瀏覽數(shù)據(jù)庫。l 隱藏、顯示執(zhí)行結(jié)果面板。l 相當(dāng)與菜單欄里的視圖，放大、縮小工作區(qū)。3.3.2 Jobs工具欄l 新建：新建轉(zhuǎn)換、工作等。l 打開：打開轉(zhuǎn)換或作業(yè)。l 保存當(dāng)前轉(zhuǎn)換或工作。l 以不同名字保存當(dāng)前轉(zhuǎn)換或工作，即另存為。l 運(yùn)行當(dāng)前工作或轉(zhuǎn)換。l 停止當(dāng)前運(yùn)行的工作或轉(zhuǎn)換。l 獲取 SQL：產(chǎn)生需要運(yùn)行這個轉(zhuǎn)換的 SQL。l 相當(dāng)于編輯下的瀏覽數(shù)據(jù)庫。l 隱藏、顯示執(zhí)行結(jié)果面板。l 相當(dāng)與菜單欄里的視圖，放大、縮小工作區(qū)。3.4主對象樹介紹主對像樹包括轉(zhuǎn)換transformation和作業(yè)Jobs，如下圖所示：3.4.1Transformation的主對象樹3.4.1.1新建transformation雙擊“轉(zhuǎn)換”或右擊“轉(zhuǎn)換”再選擇“新建”，都可以創(chuàng)建一個transformation。創(chuàng)建后的轉(zhuǎn)換transformation界面如下所示：3.4.1.2 transformation設(shè)置右鍵單擊“設(shè)置”屬性：單擊“設(shè)置”轉(zhuǎn)換屬性后界面如下圖所示：轉(zhuǎn)換transformation的屬性設(shè)置界面分別如下所示：l 轉(zhuǎn)換：l paramenters：l 日志：l 日期：l 依賴：l 雜項(xiàng)：l 分區(qū)：l 監(jiān)控：設(shè)置中各選項(xiàng)說明如下：選項(xiàng)描述轉(zhuǎn)換名稱轉(zhuǎn)換的名稱，如果你想保存到資源庫中，就需要指定一個名稱。描述轉(zhuǎn)換的簡短描述，將在資源庫瀏覽器中展示。擴(kuò)展描述轉(zhuǎn)換的詳細(xì)描述。狀態(tài)草稿或者產(chǎn)品狀態(tài)版本描述版本目錄你想保存轉(zhuǎn)換到資源庫的目錄創(chuàng)建者（Created by）創(chuàng)建轉(zhuǎn)換的用戶名稱轉(zhuǎn)換創(chuàng)建的時間(Last modified at)轉(zhuǎn)換創(chuàng)建的時間轉(zhuǎn)換最后修改者的姓名(Last modified by)轉(zhuǎn)換最后修改的用戶轉(zhuǎn)換最后修改的時間(Last modified at)轉(zhuǎn)換最后修改的時間READ日志步驟將當(dāng)前步驟讀取行的編號寫入日志表。READ含義：從源步驟讀取INPUT日志步驟將當(dāng)前步驟輸入行的編號寫入日志表。INPUT含義：從文件或者數(shù)據(jù)庫輸入WRITE日志步驟將當(dāng)前步驟寫入行的編號寫入日志表。WRITE含義：寫入到目標(biāo)步驟OUTPUT日志步驟將當(dāng)前步驟輸出行的編號寫入日志表。OUTPUT含義：輸出到文件或者數(shù)據(jù)庫UPDATE日志步驟將當(dāng)前步驟更新行的編號寫入日志表。UPDATE含義：在數(shù)據(jù)庫更新日志數(shù)據(jù)庫連接使用這個連接寫到日志表日志表指定日志表的名稱使用批處理-ID如果想使用批處理-ID，選中此選項(xiàng)使用日志表來記錄登錄用CLOB字段在日志表中存儲登錄文本最大日期數(shù)據(jù)庫連接通過這個連接獲取日期范圍最大日期表通過這個表獲取日期范圍最大日期字段通過這個字段獲取日期范圍最大日期偏移用這個數(shù)量來增長日期最大日期區(qū)別根據(jù)日期圍范獲取最大日期差異依賴這個表允許你輸入所有的依賴記錄集合里面的記錄數(shù)這個選項(xiàng)允許你改變一個轉(zhuǎn)換中兩個步驟緩沖區(qū)的尺寸打開日志視圖：打開歷史視圖：3.4.1.3 DB 連接右鍵 “DB連接”屬性選擇“新建”，或雙擊“DB連接”，都能彈出創(chuàng)建窗口：Kettle支持多種Connection Type,現(xiàn)以oracle為例，創(chuàng)建DB連接，具體如下圖所示：3.4.1.4 Steps(步驟)顯示當(dāng)前轉(zhuǎn)換或者工作的所有步驟：l Edit：編輯該步驟的屬性 。l Duplicate：副本，復(fù)制步驟 。l 刪除：刪除步驟 。l Share：共享步驟。3.4.1.5 Hops(節(jié)點(diǎn)連接)顯示當(dāng)前轉(zhuǎn)換或工作的所有節(jié)點(diǎn)連接（即各步驟之間的數(shù)據(jù)連接，表示數(shù)據(jù)流向） 。 一個連接連接兩個步驟。數(shù)據(jù)流的方向使用箭頭來指定。連接可以使它可用或者禁用。l Edit：可以對改節(jié)點(diǎn)進(jìn)行編輯操作。l 刪除：即刪除該節(jié)點(diǎn)。3.4.1.6 數(shù)據(jù)庫分區(qū) schems右鍵數(shù)據(jù)庫分區(qū)：選擇“新建”菜單：3.4.1.7 子服務(wù)器右鍵單擊“子服務(wù)器 ”，如下圖所示：選擇“新建”菜單，進(jìn)入子服務(wù)器新建界面：服務(wù)：代理：3.4.1.8 Kettle 集群 schems右鍵“Kettle集群schems”：雙擊“Kettle集群schems”或右鍵“Kettle集群schems”后，再選擇“新建”，都會彈出新建“Kettle集群schems”的新建界面：3.4.2Jobs主對象樹Jobs主對象樹包括DB連接、作業(yè)項(xiàng)目、子服務(wù)器，具體如下圖所示：3.4.2.1 新建 Job右鍵“Jobs”后選擇“新建”菜單或直接雙擊“Jobs”菜單，都可以實(shí)現(xiàn)Job的新增：3.4.2.2 設(shè)置 Job 屬性右鍵“Jod”，可選擇“設(shè)置”菜單：單擊“設(shè)置”菜單，即會彈出job設(shè)置界面，可以對其屬性進(jìn)行修改：打開日志視圖：打開歷史視圖：3.4.2.3 DB 連接一個連接描述了Kettle連接數(shù)據(jù)庫的方法，在左邊樹菜單的頂部展示了所有可用的連接。右鍵 DB 連接屬性：新建、編輯數(shù)據(jù)庫連接：l Connection name：定義轉(zhuǎn)換或者任務(wù)訪問的連接的唯一名稱。l Connection type：連接的數(shù)據(jù)類型。l Method of access：可以是Native(JDBC)，ODBC，或者OCI。l Server host name：指定數(shù)據(jù)庫部署的主機(jī)或者服務(wù)器的名稱，也可以指定IP地址。l Database name：指定連接的數(shù)據(jù)庫的名稱，如果是ODBC方式就指定DSN名稱。l Port number：設(shè)定數(shù)據(jù)庫監(jiān)聽的TCP/IP端口號。l User name/password：指定連接數(shù)據(jù)庫的用戶名和密碼。數(shù)據(jù)庫的用法如下：數(shù)據(jù)庫訪問方法服務(wù)器名稱/地址數(shù)據(jù)庫名稱端口(缺省)用戶名/密碼OracleNative需要Oracle database SID需要(1521)需要ODBCODBC DSN name需要OCIDatabase TNS name需要MySQLNative需要MySQL database name可選(3306)密碼可選ODBCODBC DSN name密碼可選MS AccessODBCODBC DSN name可選MS SQL ServerNative需要Database name需要(1433)需要ODBCODBC DSN name需要IBM DB2Native需要Database name需要(50000)需要ODBCODBC DSN name需要AS/400Native需要AS/400 Library name可選需要ODBCODBC DSN name需要SybaseNative需要Database name需要(5001)需要ODBCODBC DSN name需要3.4.2.4 作業(yè)項(xiàng)目顯示該作業(yè)中的所有項(xiàng)目：3.4.2.5 子服務(wù)器右鍵單擊“子服務(wù)器”選擇“新建”或雙擊“子服務(wù)器”都可新建子服務(wù)器：新建“子服務(wù)器”的界面如下所示：3.5核心對象介紹核心對象包括轉(zhuǎn)換transformation和作業(yè)Jobs的核心對象。即轉(zhuǎn)換和作業(yè)中用到的各種組件。3.5.1Transformation核心對象Transformation核心對象是Kettle中轉(zhuǎn)換的所有組件。具體如下圖所示：3.5.1.1 TransformTransform：轉(zhuǎn)換。Dummy Plugin：空操作，即是一個空的測試步驟。3.5.1.2 InputInput：導(dǎo)入數(shù)據(jù)。3.5.1.2.1 ESRI Shapefile ReaderESRI Shapefile Reader：讀取矢量數(shù)據(jù)，即從SHP文件中讀取圖形數(shù)據(jù)和屬性數(shù)據(jù)。Shapefile是ESRI以矢量數(shù)據(jù)表達(dá)和儲存地圖要素的數(shù)據(jù)文件格式；1）shp文件：它是shapefiles的主體文件，用來儲存地圖要素坐標(biāo)數(shù)據(jù)及幾何數(shù)據(jù)。2）shx文件：它是用來儲存地圖要素之間隸屬關(guān)系的索引文件 。 3）dbf文件它是以DBase關(guān)系數(shù)據(jù)文件的方式儲存各地圖要素的屬性。3.5.1.2.2 S3 CSV InputS3 CSV Input：CSV文件輸入，即將讀取的CSV文件數(shù)據(jù)并行存儲到Amazon中。3.5.1.3 輸入Kettle支持以下各種數(shù)據(jù)輸入選項(xiàng):3.5.1.3.1 Access InputAccess Input：導(dǎo)入數(shù)據(jù)庫文件，即從微軟數(shù)據(jù)庫文件中讀取數(shù)據(jù)。右鍵單擊或者直接雙擊圖標(biāo)，選擇“編輯步驟”開始配置：（1）先選擇源 ACCESS 文件 文件中先點(diǎn)擊瀏覽，定位到已存在的 ACCESS 數(shù)據(jù)庫文件：當(dāng)點(diǎn)擊“增加”按鈕后，即可將文件路徑添加到選中的文件筐中：（2）內(nèi)容中選擇表（3）字段選擇 選擇輸入數(shù)據(jù)的字段3.5.1.3.2 CSV file inputCSV file input：導(dǎo)入CSV文件，即導(dǎo)入簡單的CSV文件。CSV 逗號分隔值文件（Comma Separated value） ，是一種用來存儲數(shù)據(jù)的純文本文件格式，通常用于電子表格或數(shù)據(jù)庫軟件。l Step name:步驟名稱。l File name:文件名稱。l Delimiter:分隔符。l Endosure:l NIO buffer size:NIO 緩存大小。l Lazy conversion:l Header row present:l Add filename to result:l The row number field name(optional):l Running in parallel:并行運(yùn)行。l File encoding: 字符集選擇。3.5.1.3.3 Cube 輸入 Cube 輸入：導(dǎo)入Cube文件，即從一個cube文件中讀取數(shù)據(jù)。在 BI 領(lǐng)域，CUBE 是多維立方體的簡稱，主要用于支持聯(lián)機(jī)分析應(yīng)用（OLAP） ，為企業(yè)決策提供支持。Cube 文件擴(kuò)展名是.cube。3.5.1.3.4 Excel 輸入Excel 輸入：導(dǎo)入Excel文件，即從微軟的Excel文件中讀取數(shù)據(jù)，兼容Excel 95，97，2000。(1)文件 瀏覽并選擇 Excel 文件，然后點(diǎn)擊增加按鈕增加選中的文件到列表中。(2)工作表 選擇 EXCEL 文件中的工作表：(3)內(nèi)容 以下設(shè)置會在輸出表中顯示：（4）錯誤處理如果選擇忽略錯誤選項(xiàng)后，上圖中的灰色部分變?yōu)榭捎?，如下圖所示：(5)字段 輸入數(shù)據(jù)的相關(guān)字段，例如：選項(xiàng)內(nèi)容說明如下：l 頭部:檢查是否工作表指定了一個頭部行。l 非空記錄：檢查是否不需要空行輸出。l 停在空記錄：當(dāng)步驟在讀取工作表遇到一個空行的時候停止讀取。l 文件名稱字段：步驟輸出指定一個包含文件名的字段。l 工作表名稱字段：步驟輸出指定一個包含工作表名稱的字段。l Sheet row nr field：步驟輸出指定一個包含工作表行數(shù)的字段。工作表行數(shù)是實(shí)際的EXCEL工作表的行數(shù)。l Row nr written field: 步驟輸出指定一個包含行數(shù)的字段。l 限制:限制輸出的行數(shù)，0代表輸出所有行。3.5.1.3.5 Fixed file inputFixed file input：導(dǎo)入文本文件，即導(dǎo)入文本文件。固定長度的數(shù)據(jù)輸入，編輯步驟：3.5.1.3.6 Generate random valueGenerate random value：生成隨機(jī)數(shù)，即隨機(jī)數(shù)生成器。產(chǎn)生一個某類型的隨機(jī)值，編輯步驟：3.5.1.3.7 Get file NamesGet file Names：獲得文件名稱，即從系統(tǒng)中獲得文件并將其發(fā)送到下一步。得到硬盤上文件的詳細(xì)信息: 文件：過濾：3.5.1.3.8 Get Files Rows CountGet files Rows Count：獲取文件行數(shù)，即獲取文件行數(shù)。文件：內(nèi)容：3.5.1.3.9 Get SubFolder namesGet SubFolder names：獲取子文件夾名稱，即讀取一個主文件夾獲取所有的子文件。文件：設(shè)置：3.5.1.3.10 Get data from XMLGet data from XML：從xml文件中獲取數(shù)據(jù)，即使用XPath路徑讀取xml文件，這個步驟也允許你解析以前字段定義的xml文件。選擇.xml文件后點(diǎn)擊“Add”按鈕后如下圖所示：文件：內(nèi)容：字段：3.5.1.3.11 LDAP Input使用LDAP協(xié)議讀取遠(yuǎn)程數(shù)據(jù)，即利用LDAP協(xié)議連接遠(yuǎn)程主機(jī)讀取數(shù)據(jù)。一般：內(nèi)容：字段：3.5.1.3.12 LDIF InputLDIF Input：導(dǎo)入LDIF文件，即從LDIF文件中讀取數(shù)據(jù)。文件：內(nèi)容：字段：3.5.1.3.13 Mondrian InputMondrian Input：導(dǎo)入MDX文件，即用MDX查詢語句執(zhí)行和審核數(shù)據(jù)，分析LDAP服務(wù)器。3.5.1.3.14 Property InputProperty Input：導(dǎo)入屬性文件，即從屬性文件中讀入鍵值對。從 properties 文件中輸入數(shù)據(jù):文件：內(nèi)容：字段：3.5.1.3.15 RSS InputRSS Input：導(dǎo)入RSS訂閱，即讀取RSS訂閱信息。一般：內(nèi)容：字段：3.5.1.3.16 SalesForce InputSalesForce Input：導(dǎo)入salesforce服務(wù)，即讀取slaseforce模塊服務(wù)，并將其轉(zhuǎn)換成數(shù)據(jù)，并把這些數(shù)據(jù)寫入多個輸出流。設(shè)置：內(nèi)容：字段：3.5.1.3.17 XBase 輸入XBase輸入：導(dǎo)入DBF文件，即從一個XBase類型的DBF文件中讀取記錄。使用這一步可以讀取大多數(shù)被稱為XBase family 派生的 DBF 文件:l 步驟名稱：步驟的名稱，在單個轉(zhuǎn)換中必須唯一。l 文件名：用變量支持。l Limit size：讀取行的數(shù)量，0表示不限制。l 增加記錄行數(shù)：用包含行號的指定名稱，添加一個字段到輸出中。3.5.1.3.18 文本文件輸入從文本文件中讀取數(shù)據(jù)出來，編輯步驟 (1) 文件增加文件，包括路徑：(2)內(nèi)容：按照文本內(nèi)容的分隔樣式來輸入數(shù)據(jù)（3）錯誤處理當(dāng)錯誤發(fā)生的時候錯誤處理標(biāo)簽允許你指定這個步驟將重新做些什么。選項(xiàng)描述忽略錯誤如果在解析的時候忽略錯誤，就指定這個選項(xiàng)跳過錯誤行使用這個選項(xiàng)來跳過那些出現(xiàn)錯誤的行。你可以生成另外的文件來包含發(fā)生錯誤的行號。如果不跳過錯誤行，解析錯誤字段將是空的錯誤計數(shù)字段在輸出流行中增加一個字段，這個字段將包含錯誤發(fā)生的行數(shù)錯誤字段字段名在輸出流行中增加一個字段，這個字段將包含錯誤發(fā)生的字段名稱錯誤文本字段名在輸出流行中增加一個字段，這個字段將包含解析錯誤發(fā)生字段的描述警告文件目錄當(dāng)警告發(fā)生的時候，它們將被放進(jìn)這個目錄。文件名將是/文件名.錯誤文件目錄當(dāng)錯誤發(fā)生的時候，它們將被放進(jìn)這個目錄。文件名將是/文件名.失敗行數(shù)文件目錄當(dāng)解析行的時候發(fā)生錯誤，行號將被放到這個目錄。文件名將是/文件名.（4）過濾在“過濾”標(biāo)簽中，你可以指定文本文件中要過濾的：選項(xiàng)描述過濾字符搜索字符串過濾位置在行中過濾字符串必須存在的位置。0是起始位置，如果你指定一個小于0的值，過濾器將搜索整個字符停止在過濾器如果你想在文本文件遇到過濾字符的時候，停止處理，就指定Y（5）字段選項(xiàng)描述名稱字段名稱類型字段類型（String、Date、Number等）格式長度對于Number：有效數(shù)的數(shù)量對于String：字符的長度對于Date：打印輸出字符的長度（例如4代表返回年份）精度對于Number：浮點(diǎn)數(shù)的數(shù)量對于String,Date,Boolean：未使用貨幣類型用來解釋如$10,000.00的數(shù)字小數(shù)小數(shù)點(diǎn)可以是”.”(10;000.00)或者”,”(5.000,00)分組分組可以是”.”(10;000.00)或者”,”(5.000,00)如果為空空值處理為默認(rèn)字段為空的時候的默認(rèn)值去空字符串處理之前先去空重復(fù)Y/N:如果在當(dāng)前行中對應(yīng)的值為空，則重復(fù)最后一次不為空的值3.5.1.3.19 生成記錄生成一些空記錄或相等的行，編輯步驟，例如：點(diǎn)擊“預(yù)覽”后，則出現(xiàn)以下界面3.5.1.3.20 獲取系統(tǒng)信息獲取系統(tǒng)的相關(guān)信息，編輯步驟：輸入名稱，點(diǎn)擊類型，選擇信息的類型，有以下類型的數(shù)據(jù)：3.5.1.3.21 表輸入從數(shù)據(jù)庫表中讀取信息：這一步常常用來利用連接和SQL，從數(shù)據(jù)庫中讀取信息。自動生成基本的SQL語句。選項(xiàng)描述步驟名稱步驟的名稱，在單一的步驟中，名稱必需唯一連接讀取數(shù)據(jù)的數(shù)據(jù)庫連接SQLSQL語句用來從數(shù)據(jù)庫連接中讀取數(shù)據(jù)從步驟插入數(shù)據(jù)指定我們期待讀取數(shù)據(jù)的步驟名稱。這些信息能被插入到SQL語句限制設(shè)置從數(shù)據(jù)庫中讀取的行數(shù)。0所有行(1) 若選中，會發(fā)現(xiàn)中文內(nèi)容會顯示為亂碼 。(2) 記錄數(shù)限制為 0 時即無限制 。(3) 意為從前面步驟插入數(shù)據(jù)到此 （4）點(diǎn)擊按鈕，彈出數(shù)據(jù)庫內(nèi)容對話框：點(diǎn)擊左邊的表，右邊呈現(xiàn)可用狀態(tài)選擇輸入表后，點(diǎn)擊“確認(rèn)”按鈕，會提示：再點(diǎn)擊“是”按鈕，機(jī)會出現(xiàn)以下界面：再點(diǎn)擊上圖中的“確定”按鈕后，即完成輸入表的配置。3.5.1.4 輸出Kettle支持以下各種形式的數(shù)據(jù)輸出，具體如下圖所示：3.5.1.4.1 Access OutputAccess Output:導(dǎo)出數(shù)據(jù),即記錄存儲到微軟的數(shù)據(jù)庫表中。Database filename 直接輸入名字即可，不需要首先創(chuàng)建，最好不要用中文 Target table 直接輸入名字即可，不要用中文，轉(zhuǎn)換運(yùn)行過程中自動創(chuàng)建 ACCESS 數(shù)據(jù)庫文件和表。Access 輸出是輸出從前面來的所有字段信息，若要選擇相關(guān)字段，則在之前用到以下控件：3.5.1.4.2 Cube 輸出Cube輸出：導(dǎo)出Cube文件，即數(shù)據(jù)寫入Cube文件中。在 BI 領(lǐng)域，CUBE 是多維立方體的簡稱，主要用于支持聯(lián)機(jī)分析應(yīng)用（OLAP） ，為企業(yè)決策提供支持。輸出數(shù)據(jù)到 Cube 文件中：3.5.1.4.3 Excel OutputExcel Output：導(dǎo)出Excel文件，即儲記錄到Excel格式化文檔中。（1） 文件Excel輸出中文件選項(xiàng)設(shè)置界面如下圖所示：（2） 內(nèi)容（3） 字段3.5.1.4.4 Properties OutputProperties Output：導(dǎo)出屬性信息，即數(shù)據(jù)寫入屬性文件。Properties 格式文件是 Java 中的文件，類似 XML 文件，都是用來按一定結(jié)構(gòu)保存數(shù)據(jù)的，一般用于資源文件、配置文件，xml 也多用于數(shù)據(jù)傳輸。具體干什么用要看業(yè)務(wù)需求。使用 MyEclipse Text Editor 可以編輯、打開此格式文件：編輯步驟： 選擇字段名稱和字段值：一般：Content（內(nèi)容） ：選擇輸出文件路徑3.5.1.4.5 RSS OutputRSS Output：導(dǎo)出RSS訂閱信息，即讀RSS訂閱信息流。Chanel：Item：項(xiàng)。 custom output：自定義輸出。Custom Namespace：自定義命名空間。Output File：出文件。3.5.1.4.6 SQL File OutputSQL File Output：導(dǎo)出SQL文件，即QL INSERT語句輸出到文件。把“數(shù)據(jù)輸入到相關(guān)數(shù)據(jù)庫表”這個過程的 SQL 插入語句輸出到 Sql 腳本文件，但是并不完成數(shù)據(jù)到數(shù)據(jù)庫表的插入，只是生成 Sql 操作腳本。 編輯步驟： General（通用） ：一般。內(nèi)容：3.5.1.4.7 Synchronize after mergeSynchronize after merge：并后同步信息，即根據(jù)某個字段值的條件插入，刪除，更新數(shù)據(jù)庫表。一般：Advanced： 3.5.1.4.8 XML 輸出輸出數(shù)據(jù)到 XML 文件中選擇文件路徑： 文件： 選擇 XML 文件存儲路徑內(nèi)容： 設(shè)置輸出 xml 文件的相關(guān)屬性，具體如何體現(xiàn)可以在 xml 文件中看出， 分割每一個記錄： 意思為每一個 xml 文件中的記錄數(shù)， 比如共有 50 行記錄， 則會產(chǎn)生 50/5=10個 xml 文件，若為 0 表示無限制，只產(chǎn)生一個 xml 文件，存儲所有輸入的數(shù)據(jù)：字段： 選擇相關(guān)字段，點(diǎn)擊可以獲得所有字段XML輸出各選項(xiàng)說明如下：選項(xiàng)描述步驟名稱步驟的名稱，在單一轉(zhuǎn)換中必須唯一。文件名稱指定輸出文件的名稱和位置。擴(kuò)展名添加一個點(diǎn)和擴(kuò)展到文件名的后面（.xml）文件名中包含步驟號碼如果你在多個拷貝中運(yùn)行一個步驟，在文件擴(kuò)展名的前面，將包含拷貝的號碼文件名中包含日期文件名中包含系統(tǒng)日期（_20061231）文件名中包含時間文件名中包含系統(tǒng)時間（_235959）分割每一個行在其它的XML文件被創(chuàng)建之前，放入XML文件中的最大行數(shù)已壓縮是否想把XML文件存儲在一個歸檔文件中正在編碼正在使用的編碼。編碼在XML文件的頭部指定父XML元素XML文檔的根元素的名稱記錄XML元素XML文檔的記錄元素的名稱字段l 字段名：字段的名稱l 元素名稱：XML文件使用的元素的名稱l 類型：字段的類型l 格式：請參照9、6、1、5格式化l 長度：輸出字符串將填補(bǔ)為指定的長度l 精度：使用的精度l 貨幣：代表目前的貨幣符號如$10,000.00l 十進(jìn)制：小數(shù)點(diǎn)可以是“.”或者“,”l 分組：分組符可以是“,”或者“.”l NULL：如果字段值為空將被此值替換3.5.1.4.9 刪除基于關(guān)鍵字刪除目的表記錄：表字段：目的表里的字段。流里的字段：前面輸入數(shù)據(jù)流中的字段，首先選擇目的表 stu，然后選擇關(guān)鍵字。刪除符合一定條件的目的表里的數(shù)據(jù)， 條件即為： 目的表中關(guān)鍵字段值與輸入數(shù)據(jù)中的關(guān)鍵字段值相等。 如以上就是刪除 stu 表中 BJDM 存在于輸入數(shù)據(jù)流中 bjdm 字段的學(xué)生記錄，相當(dāng)于 sql 語句： Delete from stu where bjdm in (select bjdm from 輸入表)，若是多個條件則條件為 and 形式，如： Delete from stu where bjdm in (select bjdm from 輸入表) and bjmc in (select bj dm from 輸入表)。3.5.1.4.10 插入/更新基于關(guān)鍵字更新或插入記錄到數(shù)據(jù)庫,編輯步驟：這個步驟利用查詢關(guān)鍵字在表中搜索行。如果行沒有找到，就插入行；如果能被找到，并且要被更新的字段沒有任何改變，就什么也不做，如果有不同，行就會被更新。 解釋： l 步驟名稱：步驟的名稱，在單個轉(zhuǎn)換中必須唯一。 l 連接：目標(biāo)表所在的數(shù)據(jù)庫連接名稱。 l 目標(biāo)模式:要寫入數(shù)據(jù)的表的Schema 名稱。允許表名中包含“.”是很重要的。 l 目標(biāo)表：想插入或者更新的表的名稱。 l Commit size:提交之前要改變（插入/更新）的行數(shù)。 l 不執(zhí)行任何更新：如果被選擇，數(shù)據(jù)庫的值永遠(yuǎn)不會被更新，僅僅可以插入。 l 用來查詢的關(guān)鍵字：可以指定字段值或者比較符。可以用以下比較符：=，,LIKE,BETWEEN,IS NULL,IS NOT NULL。 l 更新字段：指定你想要插入/更新的字段 l “獲取字段”按鈕：從輸入流中獲取字段，并且把他們填充到關(guān)鍵字網(wǎng)格中。 l “獲取更新字段”按鈕：從輸入流中獲取更新字段，并且把他們填充到更新網(wǎng)格中。 l “Check”按鈕：檢查目標(biāo)表中是否所有的字段都可用。 l “SQL”按鈕：為正確操作，生成創(chuàng)建表和索引的SQL 腳本。3.5.1.4.11 文本文件輸出輸入數(shù)據(jù)到文本文件中：文件中可以寫入文本名字，擴(kuò)展名 txt，以及其它信息； 內(nèi)容中可以定義分隔符； 字段中可以選擇前面數(shù)據(jù)流來的字段。3.5.1.4.12 更新基于關(guān)鍵字更新記錄到數(shù)據(jù)庫，這個步驟類似于插入/更新步驟，除了對數(shù)據(jù)表不作插入操作之外。它僅僅執(zhí)行更新操作。 編輯步驟：3.5.1.4.13 表輸出輸出數(shù)據(jù)到數(shù)據(jù)庫表中，如 ACCESS、Oracle、sql server 等表中，一般表示的是 Oracle、sql等表，因?yàn)橛袑ｉT的。 如果要選擇輸入到表中的數(shù)據(jù)的相關(guān)字段，可以做如下操作: (1) 先勾選 (2) 設(shè)置映射:（3）提交記錄數(shù)沒什么作用,選擇 1 也可以，但是如果不填數(shù)字就會使轉(zhuǎn)換一直處于終止?fàn)顟B(tài)。表輸出中各選項(xiàng)說明如下：選項(xiàng)描述步驟名稱步驟名稱，在單個轉(zhuǎn)換中必須唯一連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接目標(biāo)模式要寫數(shù)據(jù)的表的模式的名稱。允許表名中包含“.”對數(shù)據(jù)源來說是很重要的。目標(biāo)表要寫數(shù)據(jù)的表名提交記錄數(shù)量在數(shù)據(jù)表中用事務(wù)插入行。如果N比0大，每N行提交一次連接。否則，不使用事務(wù)，速度會慢一些。裁減表在第一行數(shù)據(jù)插入之前裁減表忽略插入錯誤使Kettle忽略比喻違反主鍵約束之類的插入錯誤，最多20個警告將被日志記錄。在批量插入的時候這個功能不可用。使用批量插入如果你想批量插入的話，就使用這個選項(xiàng)。這個選項(xiàng)的速度最快，默認(rèn)被選上。表分區(qū)數(shù)據(jù)使用這個選項(xiàng)可以在多個表之間拆分?jǐn)?shù)據(jù)。例如用把數(shù)據(jù)放到表SALES_200510, SALES_200511，SALES_200512，中來代替直接插入數(shù)據(jù)到表SALES中。以下的視圖SALES展示完整的訂單：表名定義在一個字段里使用這