Datastage控件使用指南

Datastage控件使用指南MACROBUTTONAcceptChangesSelected目錄Datastage 11.引言 12.常用Stage使用闡明 12.1.SequentialFileStage 12.2.Annotation 52.3.ColumnExportStage 72.4.ChangeCaptureStage 92.5.CopyStage 122.6.FilterStage 132.7.FunnelStage 142.8.TansformerStage 152.9.SortStage 172.10.LookUpStage 182.11.JoinStage 192.12.MergeStage 212.13.ModifyStage 222.14.DataSetStage 232.15.FileSetStage 252.16.LookupFileSetStage 272.17.OracleEnterpriseStage 302.18.AggregatorStage 332.19.RemoveDuplicatesStage 352.20.CompressStage 362.21.ExpandStage 382.22.DifferenceStage 402.23.CompareStage 432.24.SwitchStage 442.25.ColumnImportStage 463.DataStageManager使用 493.1.導(dǎo)入導(dǎo)出Job及其他組件 493.2.管理配置文獻(xiàn) 504.DataStageAdministrator常用配置 514.1.設(shè)置TimeOut時(shí)間 514.2.設(shè)置Project的屬性 524.3.更新DataStageServer的License和當(dāng)?shù)谻lient的License 535.DataStageDirector使用 545.1.察看Job的狀態(tài)，運(yùn)行已經(jīng)編譯好的Job 545.2.將編譯好的Job加入計(jì)劃任務(wù) 575.3.監(jiān)控Job的運(yùn)行狀況 58引言DataStageEE的開發(fā)重要由DataStageDesigner完畢?，F(xiàn)對(duì)常用部分加以闡明，詳細(xì)使用措施請(qǐng)查閱在線協(xié)助文檔。常用Stage使用闡明DataStage的基本邏輯處理單位是Job，每個(gè)Job由許多Stage構(gòu)成；由Stage來完畢對(duì)數(shù)據(jù)的抽取，轉(zhuǎn)換，加載等，現(xiàn)對(duì)常用的Stage做闡明SequentialFileStage功能特點(diǎn)：合用于一般次序文獻(xiàn)（定長或不定長），可識(shí)別文本文獻(xiàn)或IBM大機(jī)ebcdic文獻(xiàn)。使用要點(diǎn)：按照命名規(guī)范命名點(diǎn)住文獻(xiàn)，雙擊鼠標(biāo)，在general闡明此文獻(xiàn)內(nèi)容，格式，存儲(chǔ)目錄等修改文獻(xiàn)屬性，文獻(xiàn)名稱，reject方式等到修改文獻(xiàn)格式，例如記錄結(jié)束符是什么，字段分隔符，字符串是用什么區(qū)別等輸入此文獻(xiàn)字段內(nèi)容Annotation功能特點(diǎn)：一般用于注釋，可運(yùn)用其背景顏色在job中分顏色區(qū)別不一樣功能塊使用要點(diǎn)：ColumnExportStageStage類型：RestructureStage功能闡明：與ColumnImportStage相反，將多種類型不一樣的字段合并成一種string或者binary類型的字段。詳細(xì)使用方法：StagePage：關(guān)鍵是properties的配置，選擇將哪些字段合并，合并后的新字段在Output下的column中直接定義。InputsPage：對(duì)輸入數(shù)據(jù)字段的描述，這里關(guān)鍵是Format的配置，決定合并后的字段的格式OupputsPage：對(duì)最終合并后的輸出數(shù)據(jù)字段的描述通過stage的前后數(shù)據(jù)的對(duì)比合并字段后：ChangeCaptureStage功能特點(diǎn)：ChangeCaptureStage有兩個(gè)輸入，分別標(biāo)識(shí)為beforelink及afterlink。輸出的數(shù)據(jù)表達(dá)beforelink和afterlink的區(qū)別，我們稱作changeset。ChangeCaptureStage可以和ChangeApplyStage配合使用來計(jì)算afterset。key及value的闡明key值是比較的關(guān)鍵值，value是當(dāng)key值相似是作深入比較用的。changemode選項(xiàng)闡明：Allkeys，ExplicitValues需要指定value，其他字段為keyExplicitKeys&Valueskey及value都需要指定ExplicitKeys，AllValues需要指定key，其他的字段為value輸出方略闡明DropOutputForCopyFalse：保留before及aftelink中key值相似的行True：刪除before及aftelink中key值相似的行DropOutputForDeleteFalse：保留beforelink中有不過afterlink中沒有的key值所在的行True：刪除beforelink中有不過aftelink中沒有的key值所在的行DropOutputForEditFalse：保留key值相似,value不一樣的行True：刪除key值相似,value不一樣的行DropOutputForInsertFalse：保留beforelink中沒有但aftelink中有的key值所在的行True：刪除beforelink中沒有但aftelink中有的key值所在的行CopyStage功能闡明：CopyStage可以有一種輸入，多種輸出。它可以在輸出時(shí)變化字段的次序，不過不能變化字段類型。注意：當(dāng)只有一種輸入及一種輸出時(shí)最佳將Force設(shè)置為True，這樣可以在Designer里看到運(yùn)行結(jié)束，否則將無法標(biāo)識(shí)運(yùn)行結(jié)束，但不會(huì)影響運(yùn)行成果數(shù)據(jù)。FilterStage功能闡明：FilterStage只有一種輸入，可以有多種輸出。根據(jù)不一樣的篩選條件，可以將數(shù)據(jù)輸出到不一樣的outputlink。FunnelStage功能闡明：將多種字段相似的數(shù)據(jù)文獻(xiàn)合并為一種單獨(dú)的文獻(xiàn)輸出合并方略闡明ContinuousFunnel：從每一種inputlink中循環(huán)取一條記錄SortFunnel：按照Key值排序合并輸出Sequence：先輸出第一種inputlink的數(shù)據(jù)，輸出完畢后再輸出第二個(gè)inputlink的數(shù)據(jù)，依此類推，直到結(jié)束。(此時(shí)可以通過調(diào)整linkOrdering調(diào)整輸出次序)TansformerStage功能闡明：一種功能極為強(qiáng)大的Stage。有一種inputlink，多種outputlink，可以將字段進(jìn)行轉(zhuǎn)換，也可以通過條件來指定數(shù)據(jù)輸出到那個(gè)outputlink。在開發(fā)過程中可以使用拖拽。Constraint及Derivation的區(qū)別Constraint通過限定條件使符合條件的數(shù)據(jù)輸出到這個(gè)outputlink。Derivation通過定義體現(xiàn)式來轉(zhuǎn)換字段值。在Constraint及Derivation中可以使用Jobparameters及StageVariables。注意：TransformerStage功能強(qiáng)大，但在運(yùn)行過程中是以犧牲速度為代價(jià)的。在只有簡(jiǎn)樸的變換，拷貝等操作時(shí)，最佳用ModifyStage，CopyStage，F(xiàn)ilterStage等來替代TransformerStage。SortStage功能闡明：只能有一種輸入及一種輸出，按照指定的Key值進(jìn)行排列。可以選擇升序還是降序，與否清除反復(fù)的數(shù)據(jù)等等。Option詳細(xì)闡明AllowDuplicates：與否清除反復(fù)數(shù)據(jù)。為False時(shí)，只選用一條數(shù)據(jù)，當(dāng)StableSort為True時(shí)，選用第一條數(shù)據(jù)。當(dāng)SortUnility為UNIX時(shí)此選項(xiàng)無效。SortUtility：選擇排序時(shí)執(zhí)行應(yīng)用程序，可以選擇DataStage內(nèi)建的命令或者Unix的Sort命令OutputStatistics：與否輸出排序記錄信息到j(luò)ob日志StableSort：與否對(duì)數(shù)據(jù)進(jìn)行二次整頓CreateClusterKeyChangeColumn：與否為每條記錄創(chuàng)立一種新的字段：clusterKeyChange。當(dāng)SortKeyMode為Don’tSort(PreviouslySorted)或Don’tSort(PreviouslyGrouped)時(shí)，對(duì)于第一條記錄該字段被設(shè)置為1，其他的記錄設(shè)置為0。CreateKeyChangeColumn：與否為每一條記錄創(chuàng)立一種新的字段KeyChange。LookUpStage功能闡明：LookUpStage把數(shù)據(jù)讀入內(nèi)存執(zhí)行查詢操作，將匹配的字段輸出，或者在在符合條件的記錄中修改或加入新的字段。JoinStage功能闡明：將多種表連接后輸出LookUpStage和JoinStage的區(qū)別LookUpStage將數(shù)據(jù)讀入到內(nèi)存中，因此效率很高，不過占用了較多的物理內(nèi)存。因此當(dāng)referencedata比較小的時(shí)候，我們推薦用LookUpStage；當(dāng)referencedata比較大的時(shí)候，我們推薦用JoinStage。MergeStage功能闡明：將MergeKey值相似的記錄合并。將其中的一種輸入設(shè)定為Master，其他的為Update。把Update中MergeKey相似的記錄合并入Master。ModifyStage功能闡明：Modifystage只能有一種輸入及一種輸出，它可以修改表構(gòu)造：刪除，保留一種字段；給字段更名；修改字段的數(shù)據(jù)類型。Specification的詳細(xì)使用方法：刪除一種字段：DROPcolumnname[,columnname]保留一種字段： KEEPcolumnname[,columnname]變化字段：new_columnname[:new_type]=[explicit_conversion_function]old_columnname可用的explicit_conversion_function請(qǐng)參看《ParallelJobDeveloper’sGuide》7DataSetStageStage類型：Filestage功能闡明：從dataset文獻(xiàn)中讀取數(shù)據(jù)或者寫數(shù)據(jù)到dataset文獻(xiàn)中，一種DateSetStage只能有一種輸入連接（inputlink）或者一種輸出連接（outputlink）。詳細(xì)使用方法：包括StagePage，InputsPage，OutputsPageStagePage一般描述了stage的一般信息，諸如名稱等；InputsPage描述了即要寫入信息的dataset文獻(xiàn)的詳細(xì)信息；重要是Properties和Column的定義Properties中配置了文獻(xiàn)的寄存途徑和更新方略Column詳細(xì)定義文獻(xiàn)中的各個(gè)字段OutputsPage描述了讀取信息的dataset文獻(xiàn)的詳細(xì)信息；操作過程與InputsPage類似。FileSetStageStage類型：Filestage功能闡明：從fileset文獻(xiàn)中讀取數(shù)據(jù)或者寫數(shù)據(jù)到fileset文獻(xiàn)中，一種FileSetStage只能有一種輸入連接（inputlink）、一種輸出連接（outputlink）和一種拒絕連接（rejectslink）。并且只能在并行模式下執(zhí)行。詳細(xì)使用方法：StagePage：對(duì)Stage的基本定義InputsPage：重要是Properties和Format的配置Properties的配置：定義文獻(xiàn)的存取途徑及其他讀寫的有關(guān)的參數(shù)。尤其要闡明的是Options下的RejectMode的選擇，當(dāng)stage有rejectlink的時(shí)候，必須選擇Output；沒有rejectlink時(shí)，可選擇其他兩個(gè)選項(xiàng)。Format的配置：定義了數(shù)據(jù)寫到文獻(xiàn)中的格式OutputsPage：對(duì)stage輸出的數(shù)據(jù)字段的描述，此外，rejectlink的輸出系統(tǒng)將默認(rèn)，不需要顧客自己定義字段。LookupFileSetStageStage類型：Filestage功能闡明：為執(zhí)行查找操作而創(chuàng)立的參照文獻(xiàn)。作為查找的參照數(shù)據(jù)，一般在參照數(shù)據(jù)比較大量或者反復(fù)使用率較高的狀況下，將參照數(shù)據(jù)生成專門的LookupFileSet文獻(xiàn)，以便提高查找的效率詳細(xì)使用方法：StagePageInputsPage：重要定義了查找關(guān)鍵字和寄存途徑等重要信息創(chuàng)立一種LookupFileSet文獻(xiàn)：OutputsPage：當(dāng)作為參照數(shù)據(jù)進(jìn)行查找操作時(shí)，由于文獻(xiàn)是已經(jīng)生成好的，因此在這里不需要再做詳細(xì)的定義，只要引入即可。OracleEnterpriseStageStage類型：DatabaseStage功能闡明：從Oracle數(shù)據(jù)庫中讀取數(shù)據(jù)或者寫數(shù)據(jù)到Oracle數(shù)據(jù)庫中。一般完畢的操作：使用INSERT或UPDATWE命令更新數(shù)據(jù)庫表裝入數(shù)據(jù)庫表讀取數(shù)據(jù)庫表從數(shù)據(jù)庫表中刪除行在庫表中直接執(zhí)行查詢操作將庫表裝入內(nèi)存，然后執(zhí)行查詢操作詳細(xì)使用方法：InputsPage向數(shù)據(jù)庫中寫數(shù)據(jù)，關(guān)鍵是對(duì)Properties的配置OutputsPage：與InputsPage類似，只是完畢的是從數(shù)據(jù)庫中讀取數(shù)據(jù)。AggregatorStageStage類型：ProcessingStage功能闡明：將輸入的數(shù)據(jù)分組，計(jì)算各組數(shù)據(jù)的總和或者按組進(jìn)行其他的操作，最終將成果數(shù)據(jù)輸出到其他的stage。詳細(xì)使用方法：StagePage：描述stage的一般信息以及字段的分組信息和選擇分組計(jì)算函數(shù)InputsPage：詳細(xì)描述輸入數(shù)據(jù)信息，一般直接反應(yīng)輸入數(shù)據(jù)字段信息OupputsPage：詳細(xì)描述輸出數(shù)據(jù)信息，即通過度組計(jì)算后的數(shù)據(jù)字段信息RemoveDuplicatesStageStage類型：ProcessingStage功能闡明：輸入根據(jù)關(guān)鍵字分好類的有序數(shù)據(jù)，清除所有記錄中關(guān)鍵字反復(fù)的記錄，一般與sortstage配合使用詳細(xì)使用方法：StagePage：Properties中的key值與之前sortstage的分類key值相似InputsPage：對(duì)輸入數(shù)據(jù)字段的描述OupputsPage：對(duì)輸出數(shù)據(jù)字段的描述CompressStageStage類型：ProcessingStage功能闡明：將dataset文獻(xiàn)壓縮成二進(jìn)制文獻(xiàn)（與expenddatastage相對(duì)應(yīng)）詳細(xì)使用方法：StagePage運(yùn)行成果InputsPage：對(duì)輸入數(shù)據(jù)字段的描述OupputsPage：對(duì)輸出數(shù)據(jù)字段的描述ExpandStageStage類型：ProcessingStage功能闡明：將壓縮的二進(jìn)制文獻(xiàn)解壓縮（解壓縮compressstage生成的壓縮文獻(xiàn)）詳細(xì)使用方法：StagePage運(yùn)行成果：InputsPage：對(duì)輸入數(shù)據(jù)字段的描述OupputsPage：對(duì)輸出數(shù)據(jù)字段的描述DifferenceStageStage類型：ProcessingStage功能闡明：按字段比較兩個(gè)文獻(xiàn)，找出不一樣的記錄。（兩個(gè)文獻(xiàn)before和after，以before為準(zhǔn)，與after文獻(xiàn)中的記錄進(jìn)行比較，找出before在after文獻(xiàn)中沒有或者有的記錄）詳細(xì)使用方法：StagePage比較方略闡明DropOutputForCopyFalse：保留before及aftelink中key值相似的行True：刪除before及aftelink中key值相似的行DropOutputForDeleteFalse：保留beforelink中有不過aftelink中沒有的key值所在的行True：刪除beforelink中有不過aftelink中沒有的key值所在的行DropOutputForEditFalse：保留key值相似,value不一樣的行True：刪除key值相似,value不一樣的行DropOutputForInsertFalse：保留beforelink中沒有但aftelink中有的key值所在的行True：刪除beforelink中沒有但aftelink中有的key值所在的行調(diào)整before和after的次序：InputsPage：對(duì)輸入數(shù)據(jù)字段的描述OupputsPage：對(duì)輸出數(shù)據(jù)字段的描述CompareStageStage類型：ProcessingStage功能闡明：按字段對(duì)比兩個(gè)已經(jīng)分類的有序的文獻(xiàn)詳細(xì)使用方法：StagePageInputsPage：對(duì)輸入數(shù)據(jù)字段的描述OupputsPage：對(duì)輸出數(shù)據(jù)字段的描述SwitchStageStage類型：ProcessingStage功能闡明：將文獻(xiàn)按照一定的條件（一般為字段的值）分割成多種子文獻(xiàn)。詳細(xì)是將輸入的每一條記錄按照各自符合的條件（關(guān)鍵字的值）分派到不一樣的輸出（SwitchStage有一種inputlink和多種outputlink，一種rejectlink，outputlink最多可達(dá)128個(gè)；此功能很類似與C函數(shù)中的switch函數(shù)）。詳細(xì)使用方法：StagePage定義分派記錄的關(guān)鍵字及其值InputsPage：對(duì)輸入數(shù)據(jù)字段的描述OupputsPage：對(duì)輸出數(shù)據(jù)字段