Kettle插表操作說明文檔V1112

1、kettle插表操作說明1.配置Java環(huán)境變量安裝JDK后，然后配置Java環(huán)境變量。新建系統(tǒng)變量變量名：JAVA_HOME變量值：C:Program FilesJavajdk1.5.0_17（該目錄為JDK安裝的目錄）編輯CLASSPATH，如果沒有該變量則新建變量名：CLASSPATH變量值：%JAVA_HOME%libdt.jar;%JAVA_HOME%libtools.jar;編輯PATH，如果沒有則新建變量名：PATH 變量值：.;%JAVA_HOME%bin; （注：該變量值置于PATH前面，如果你只有一個(gè)JDK版本，可以不用編輯PATH，如果為了區(qū)別版本，那還是配置PATH變量

2、值）。2.編寫QueryQuery分為Query的定義、Execute、Fetch、Close四部分，其中定義和Execute部分需要根據(jù)具體需要編寫和擬定，F(xiàn)etch和Close部分為固定結(jié)構(gòu)，只需要和Query的定義對(duì)應(yīng)即可。詳見Query示例.txt，其中以取科室字典信息為例3.Spoon工具的使用3.1建資源庫資源庫可以看做是Kettle使用和運(yùn)行的環(huán)境和緩存庫，Kettle的資源庫可以用數(shù)據(jù)庫來充當(dāng)，也可以用文件夾來充當(dāng)，我們這里推薦使用后者。所以，下圖中，選擇第二個(gè)類型的資源庫進(jìn)行新建。當(dāng)然，需要首先先新建個(gè)文件夾來供其使用。瀏覽選定相應(yīng)的文件夾即可，ID和名稱可以自定義。3.2新

3、建轉(zhuǎn)換3.3 在轉(zhuǎn)換中新建數(shù)據(jù)庫連接并測(cè)試數(shù)據(jù)庫連接，保證連接正確。下一步，共享這個(gè)轉(zhuǎn)換里面的數(shù)據(jù)庫連接，保證其他以后新建的轉(zhuǎn)換也可以共用。3.4 在轉(zhuǎn)換中新建單元實(shí)現(xiàn)功能在“核心對(duì)象”頁簽中有Kettle提供的輸入輸出以及其他操作單元，可以根據(jù)具體需要拖拽到轉(zhuǎn)換的空白處使用。主要的流程分為：“表輸入”-數(shù)據(jù)轉(zhuǎn)換操作-“表輸出” 這三大部分。表輸入和表輸出需要用到我們前面建好的數(shù)據(jù)庫連接，用來指明調(diào)用的哪個(gè)庫哪個(gè)Query程序、以及插入哪個(gè)庫的哪張表。如上圖，“HIS”為調(diào)用的query所在的庫。調(diào)用Query的寫法如上圖方框中所示。call為關(guān)鍵字，各個(gè)包之間用“下劃線”連接，包名和類名之間

4、用“點(diǎn)”，類名和query名之間用“下劃線”連接。可以用“表輸入”界面下方的“預(yù)覽”按鈕對(duì)所調(diào)用的Query進(jìn)行數(shù)據(jù)預(yù)覽，確保成功從HIS端取到數(shù)據(jù)。上圖為“表輸出”的配置界面。第二張圖中，點(diǎn)擊“獲取字段”，可以自動(dòng)獲取到從HIS取到的數(shù)據(jù)變量和要插入的表的字段名。紅色箭頭所指為要插入的表的字段，藍(lán)色為獲取到的數(shù)據(jù)變量，點(diǎn)擊“輸入字段映射”，對(duì)他們進(jìn)行對(duì)應(yīng)賦值。根據(jù)以上步驟，就已經(jīng)可以完成對(duì)表的插入，只需要點(diǎn)擊位于“轉(zhuǎn)換”框左上角的綠色三角“運(yùn)行”按鈕運(yùn)行轉(zhuǎn)換即可。但存在一個(gè)問題，一般的，我們是批量插入數(shù)據(jù)，比如插入1000條，第500條的時(shí)候，遇到一條不合規(guī)范的數(shù)據(jù)插入出錯(cuò)了，那后面的數(shù)據(jù)就

5、會(huì)停止繼續(xù)插入。所以，就需要我們?cè)诒磔敵鲋筇砑右粋€(gè)“文本文件輸出”。在添加“文本文件輸出”前，需要對(duì)表輸出進(jìn)行配置。如下圖。為了對(duì)所有取到的數(shù)據(jù)字段進(jìn)行錯(cuò)誤排查和保護(hù)，“字段”這個(gè)頁簽，我們選擇獲取全部字段。這時(shí)，會(huì)發(fā)現(xiàn)新定義的那四列也出現(xiàn)在了這里。這樣，遇到不合格數(shù)據(jù)，kettle會(huì)將他們存在文本中，將合格的數(shù)據(jù)插入表中，并將出錯(cuò)的列和錯(cuò)誤展示在txt中.。3.5 轉(zhuǎn)換中常用到的其他操作單元以“值映射”為代表說明。值映射是用來實(shí)現(xiàn)數(shù)據(jù)值域轉(zhuǎn)換的單元。如上圖，紅色箭頭所示為需要對(duì)照的變量名，藍(lán)色箭頭所示為對(duì)照后定義的變量名（可以新定義一個(gè)，也可以是原來的變量名，表示覆蓋），褐色箭頭所示為不在對(duì)照范圍內(nèi)時(shí)候，藍(lán)色箭頭所指的變量的值。紅色方框部分為對(duì)照數(shù)據(jù)，支持從excel中的兩列直接復(fù)制粘貼進(jìn)來。3.6 新建一個(gè)作業(yè)作業(yè)可以用來將已經(jīng)完成的轉(zhuǎn)換進(jìn)行引用，并設(shè)置調(diào)用的時(shí)機(jī)和頻率。添加開始、轉(zhuǎn)換、結(jié)束單元。引用寫好的轉(zhuǎn)換設(shè)置調(diào)用的時(shí)機(jī)和頻率上圖表示開啟作業(yè)后，每天晚上23點(diǎn)會(huì)開始上傳數(shù)據(jù)。3.7 運(yùn)行作業(yè)以上說到如何新建一個(gè)作業(yè)，下面介紹兩種運(yùn)行作業(yè)的方法。1） 在spoon工具里打開這個(gè)作業(yè)，點(diǎn)擊左上角的綠色三角按鈕，一直放著運(yùn)行。2） 編寫bat批處理文件，打開命令行一直掛著運(yùn)行作業(yè)。批處理文件里