DW DataStage ETL 培訓(xùn)_DataStage介紹

1、DWDataStageETL培訓(xùn)_DataStage介紹v1.0廣州賽意科技有限公司深圳項(xiàng)目部1.DataStage介紹WebsphereDataStage是一套專門對多種操作數(shù)據(jù)源的數(shù)據(jù)抽取、轉(zhuǎn)換和維護(hù)過程進(jìn)行簡化和自動化，并將其輸入數(shù)據(jù)集市或數(shù)據(jù)中心（數(shù)據(jù)倉庫）目標(biāo)數(shù)據(jù)庫的集成工具。DataStage能夠處理多種數(shù)據(jù)源的數(shù)據(jù)，包括主機(jī)系統(tǒng)的大型數(shù)據(jù)庫、開放系統(tǒng)上的關(guān)系數(shù)據(jù)庫和普通的文件系統(tǒng)等，以下列出它所能處理的主要數(shù)據(jù)源：大型主機(jī)系統(tǒng)數(shù)據(jù)庫：IMS,DB2,ADABAS,VSAM等開放系統(tǒng)的關(guān)系數(shù)據(jù)庫：Informix,Oracle,Sybase,DB2,SQLServer等ERP系統(tǒng)：

2、SAP/R3,PeopleSoft系統(tǒng)等普通文件和復(fù)雜文件系統(tǒng)，F(xiàn)TP文件系統(tǒng)，XML等IIS,Netscape,Apache等Web服務(wù)器系統(tǒng)Outlook等Email系統(tǒng)DataStage可以從多個(gè)不同的業(yè)務(wù)系統(tǒng)中，從多個(gè)平臺的數(shù)據(jù)源中抽取數(shù)據(jù)，完成轉(zhuǎn)換和清洗，裝載到各種系統(tǒng)里面。其中每步都可以在圖形化工具里完成，同樣可以靈活的被外部系統(tǒng)調(diào)度，提供專門的設(shè)計(jì)工具來設(shè)計(jì)轉(zhuǎn)換規(guī)則和清洗規(guī)則等，實(shí)現(xiàn)了增量抽取、任務(wù)調(diào)度等多種復(fù)雜而實(shí)用的功能。其中簡單的數(shù)據(jù)轉(zhuǎn)換可以通過在界面上拖拉操作和調(diào)用一些DataStage預(yù)定義轉(zhuǎn)換函數(shù)來實(shí)現(xiàn)，復(fù)雜轉(zhuǎn)換可以通過編寫腳本或結(jié)合其他語言的擴(kuò)展來實(shí)現(xiàn)，并且Data

3、Stage提供調(diào)試環(huán)境，可以極大提高開發(fā)和調(diào)試抽取、轉(zhuǎn)換程序的效率。使用DataStage可以進(jìn)行：1、設(shè)計(jì)JOB用來抽取、整合、聚合、加載和轉(zhuǎn)換數(shù)據(jù)倉庫或數(shù)據(jù)集市中的數(shù)據(jù)。2、創(chuàng)建和重用元數(shù)據(jù)和JOB的構(gòu)成。3、創(chuàng)建、設(shè)計(jì)、開發(fā)、運(yùn)行、調(diào)度以及監(jiān)控JOB。4、管理DataStage的運(yùn)行環(huán)境。2.工作原理DataStage使用了Client-server架構(gòu)，如下所示。Client-MierasoftWindowsNT/2000ZXPDesignerDnctorAtkninishitarkfanagerServer一UNIX軒厲Solaris,TRU64,HP-UX,Linux);Windo

4、ws(comingsoon)圖一、DataState企業(yè)版Client-Server架構(gòu)如圖一所示，DataSage的服務(wù)器組件運(yùn)行在一系列的流行服務(wù)器上，如Unix、Windows等。3.組件介紹用戶通過四個(gè)客戶端工具實(shí)現(xiàn)DataStage的開發(fā)、配置和維護(hù)功能。這些工具包括：3.1Administrator第一步：登陸Adminstrator第二步：選擇Project回區(qū)GeneralSIEDEVDataStageAdinistration-6l/uOI/dsadm/Ascential/DataStage/Projects/SIE-DEV擊按鈕進(jìn)入ject的屬性配置一PropertiesI

5、US.|匚口珂日nd|Projectpathn日me:Rojects第三步：進(jìn)入Project的屬性配置Administrator:用來執(zhí)行管理任務(wù)，如建立DataStage用戶、建立和刪除工程以及配置用戶權(quán)限、環(huán)境參數(shù)等基本設(shè)置。使用Adminstrator的“ProjectProperties工程屬性的窗口，可以進(jìn)行：1、在“General”頁框中，設(shè)置Job監(jiān)控的一些限制信息和Direct中的其它信息。定義環(huán)境（工程）參數(shù)：在General”頁框中，點(diǎn)擊“Environment”按鈕即可進(jìn)入界面，一般是在“UserDefined”類別定義數(shù)據(jù)庫名稱、用戶名稱、口令以及ETL文件路徑等參數(shù)

6、。2、在“Permission頁框中，設(shè)置并分配開發(fā)人員組的權(quán)限。3、在“Tracing”頁框中，設(shè)置或取消服務(wù)端進(jìn)行跟蹤。4、在“Schedule”頁框中，設(shè)置調(diào)度時(shí)運(yùn)行Job所用到的用戶名和口令。5、在“Tunables”頁框中，指定Hash文件Stage的讀寫的緩存大小。另外，在Adminstrator中還可以設(shè)置常用服務(wù)器的默認(rèn)值:1、改變License信息：2、設(shè)置服務(wù)器端連接超時(shí)時(shí)間3、3.2DesignerDesigner：創(chuàng)建、設(shè)計(jì)、開發(fā)DataStage應(yīng)用程序，包括Job、JobSequencer等，以及編譯、運(yùn)行這些DS應(yīng)用程序。第一步：登陸Designer第二步：選擇P

7、roject奄AttachtoProjectHostsystem:|172.10.1S.26Username:I-OmitgmquanPassword:*料第三步：進(jìn)入Designer中間偏右是Designer的設(shè)計(jì)區(qū)域，可以將Stage和Link從工具的板塊上拖動過來放在上面。左邊是Repository窗口，顯示的是Manger中的分支。Manger中的分支，就像Jobs和表定義一樣可以直接拖曳到設(shè)計(jì)區(qū)域。點(diǎn)擊View-Repository來顯示Repository窗口。點(diǎn)擊View-PropertyBrowser來顯示Job屬性窗口。Designer的工具欄:1冏格對齊ft18*1pH口、

8、I鴉顯示莽買議.注釋、結(jié)曲加載標(biāo)圭電直打開Job性Designer提供一個(gè)數(shù)據(jù)流程的模式，輕松將設(shè)置和Job的設(shè)計(jì)有機(jī)的組成。Designer的功能：1、指定數(shù)據(jù)如何抽取。2、制定數(shù)據(jù)的轉(zhuǎn)換規(guī)則和進(jìn)行轉(zhuǎn)換。3、使用參考性質(zhì)的Lookup到數(shù)據(jù)集市中編輯數(shù)據(jù)。例如，如果銷售的記錄集包括Customer_ID，可以在Customer_Master表中使用Lookup查找到Customer名稱。當(dāng)需要連接數(shù)據(jù)集市并使用查詢，可以快速的進(jìn)行訪問。4、對數(shù)據(jù)進(jìn)行整合和聚合。5、在定義的約束條件中將基礎(chǔ)數(shù)據(jù)分割成為多個(gè)輸出的連接。Job類型：ParallelJob:這是最常用的Job類型，適用于DataS

9、tage的EE版本，它運(yùn)行于安裝了SMP、MPP等系統(tǒng)的服務(wù)器上，最大特點(diǎn)是在Job內(nèi)部可以并行處理數(shù)據(jù)。ServerJob:適用于DataStage的SE版本，它與ParallelJob最大的區(qū)別是在Job內(nèi)部不能并行處理數(shù)據(jù)，只能串行，這就使到它在處理大數(shù)據(jù)量ETL時(shí)的效率遠(yuǎn)遠(yuǎn)低于ParallelJob。MainFrameJob:大型機(jī)Job,它只適用于企業(yè)MVS版本。另外，除了上面幾種類型的Job,DataStage還提供了兩個(gè)實(shí)體給開發(fā)人員提高開發(fā)效率和設(shè)置Job的運(yùn)行順序：1)SharedContainer:共享容器，它有一系列的Stage和Link組成，在同一個(gè)Project里，它

10、可以被不同的Job重用，類似于PL/SQL里的函數(shù)。與SharedContainer相對應(yīng)的，DataStage還提供了LocalContainer，它只能在一個(gè)Job里使用，不能跨Job重用。根據(jù)Job類型的不同，它分為ParalledSharedContainer和ServerSharedContainer。2)JobSequence：Job序列，它可以圭寸裝了多個(gè)Job,配置各個(gè)Job的調(diào)度順序，以及指定前置Job運(yùn)行失敗或成功后的動作等。在Tools菜單中可以輕松的于Director、Designer和Manger之間切換。Manager：3.3Manager用來維護(hù)DataStage

11、的元數(shù)據(jù)，包括Job、表定義等,以及元數(shù)據(jù)的導(dǎo)入和導(dǎo)出。在Designer的Tool菜單下選擇Manager即可快速進(jìn)入Manager界面:使用DataStage中的Manager來管理Job的元數(shù)據(jù)，使之可以在DataStage中的Designer中重用。元數(shù)據(jù)包括表單和文件結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的Routines的轉(zhuǎn)換等。Manager是DataStage存儲的一個(gè)重要部分，可以用來加入表單和文件的結(jié)構(gòu)，在左側(cè)的分支樹中顯示Rountines、Transforms和Jobs。自定義的Routines和Transforms也在DataStage中的Manager里創(chuàng)建。3.4Director用來校驗(yàn)

12、、調(diào)度、運(yùn)行以及監(jiān)控）ataStage應(yīng)用程序。在Designer的Tool菜單下選擇Director即可快速進(jìn)入Director界面ProjectViewSearchJobToolsHelpusaitw寫a11ISQgmquanaHESHAOLINJnhLinHuiMingQiuzhilong0Base.JobnamePJob_1PJob_11PJob_1254淵刪博PJob_3|Status|StartedFinished(seelog)03:28NotcompiledNotcompiledFinished(seelog)Notcompiled05:25|Ondate|Lastran2006-11-3003:282006-11-3005:25|Ondate|Elapsedtime|Description2006-11-3000:00:03Author:高棉泉Date:Func:Author:高棉泉Date:Func:Author:高彳$索Date:Func:STG-ODSDIR2006-11-3000:00:04Author:高棉泉Date:Func:生成在庫庫存Author:高福寂Date:Func:生成在庫庫呑DataStageDirector-6SIE_DEVSCetlti