數(shù)據抽取操作實例(ETLDataStage)

1、ETL操作實例1、建立項目1.1、建項目在下建立項目 “NWSJJH”,該項目用于全部的內外網的數(shù)據，（若存在則不用建立）。1.2、設置全項目參數(shù)過程為：項目à屬性à環(huán)境à用戶定義，設置對應參數(shù)。將公示系統(tǒng)（xxgsxt）數(shù)據庫作為SID參數(shù)設置步驟1：在選中項目界面點擊屬性步驟2：點擊環(huán)境(V) 步驟3：點擊用戶定義步驟4：設置對應參數(shù)名稱：DB_XXGSDB_NAME（參照對應命名規(guī)則）類型：選擇字符串提示：公示系統(tǒng)SID值 ：xxgsdb（服務器配置的數(shù)據庫sid名稱）配置完成后點擊確定保存2、設計打開輸入用戶名登錄,打開一個空白并行job2.1、設置參數(shù)2

2、.1.1、設置該job參數(shù)步驟1：點擊工具蘭上作業(yè)屬性，打開作業(yè)屬性界面步驟2：點擊作業(yè)屬性界面上 參數(shù)P 步驟3：在編輯地方配置參數(shù)，參數(shù)配置好后，點擊確定保存。在開發(fā)過程中，也可以再補充加入參數(shù)設置步驟3.1：若在參數(shù)中用到全項目參數(shù)，點擊作業(yè)屬性上，引入全項目參數(shù)步驟3.2：選擇配置好的全項目參數(shù)，單擊即可加入全項目參數(shù)名以美元$符號開頭。步驟3.3：若參數(shù)添加或者書寫錯誤，選擇對應參數(shù)，點擊右鍵，選擇刪除行，即可刪除該參數(shù)備注:全項目參數(shù)在 作業(yè)屬性界面 不可更改參數(shù)設置完成后，在job中就可以使用2.1.2、設置參數(shù)集 參數(shù)集設置，使作業(yè)屬性界面看起來更加簡潔步驟1：將要設置為參數(shù)集

3、的SID、用戶、密碼選中，點擊進入參數(shù)集配置界面步驟2：在參數(shù)集界面常規(guī)頁面上，填寫參數(shù)集名稱、簡短描述，詳細描述，填寫完成后點擊，配置參數(shù)集步驟3：設置參數(shù)集中參數(shù)在步驟1中選中的三個參數(shù)顯示到界面中，修改參數(shù)名稱點擊確定保存步驟4：選擇保存參數(shù)集位置將保存位置選擇為：Table DefinitionsDatabaseDistributed Transaction 保存即可2.1.3、添加參數(shù)集步驟1：在作業(yè)屬性，參數(shù)界面點擊步驟2：在彈出界面中選擇要添加的參數(shù)集，點擊確定在作業(yè)屬性，參數(shù)界面可以看到加入的參數(shù)集2.2、設計job2.2.1、導入表定義步驟1：在項目下建文件夾取名表定義步驟2

4、：選中表定義à右鍵導入表定義à點擊啟動連接導入向導步驟3：選擇數(shù)據庫類型，點擊步驟4：選擇數(shù)據庫，輸入用戶名、密碼，點擊步驟5：選擇數(shù)據庫所在位置、名稱，點擊步驟6：對表、視圖等進行選擇，本次選擇表，點擊步驟7：選擇要導入的表（按Shit可以多選），點擊下一步步驟8：選擇表，點擊導入步驟9：選擇表定義存放位置，點擊確定完成。存放結果如下：2.2.2、設計作業(yè)步驟1：在打開的job中拖入sql server 、oracle數(shù)據源的stageSql server stage為：ODBC_Connector Oracle stage 為：Oracle_Connector 數(shù)據處理

5、 stage：Copy 選中一個stage右鍵拖拉一條線到令一個stage，將導數(shù)據流向連接起來步驟2：選擇sql server odbc_connector數(shù)據源stage進行配置，默認屬性界面該界面配置數(shù)據庫SID、用戶名、密碼以及表或者sql語句· 提示為必填項，填寫方式有三種步驟3：配置SID、用戶、密碼（3種方式）方式1：點擊選擇數(shù)據庫，點擊確定在Username、Password項手動輸入用戶名密碼方式2：點擊來選擇配置好的參數(shù)（可以選擇定義好的參數(shù)集）方式3：點擊 “裝入”，直接導入保存好的數(shù)據連接配置好后點擊測試，可查看是否連接成功。步驟4:配置表或者sqlGener

6、ate SQL 選擇“是”時，Table name* 位置寫入表明。Generate SQL 選擇“否”時，Select statement *位置寫入sql語句。步驟5：點擊“列(C)”裝入列字段點擊裝入， 在彈出頁面中選擇對應表，點擊確定選擇對應的列，點擊確定列裝入后，點擊確定。Odbc_connector配置完成重復步驟2到步驟5完成 oracle_connector配置步驟6：點擊copy stage可以查看輸入輸出列步驟7：點擊“輸出”>“映射”可以手動拖動、左邊列內容放入右邊進行映射也可以點擊“自動匹配”進行映射根據需要選擇對應的匹配方法，選擇好后點擊確定，完成點擊確定，完成整個job的設計2.2.3、作業(yè)編譯及運行設計完成一個job保存