Informatica -組件使用介紹及優(yōu)化

Informatica_組件使用及優(yōu)化PowerCenterDesigner組件研究組件分為Passive組件和Active組件，Passive組件流入流出組件的行數(shù)不會(huì)發(fā)生變化，expression組件就屬于Passive組件；Active組件流入流出組件的行數(shù)會(huì)發(fā)生變化，例如aggre組件。Passive組件流入流出組件的行數(shù)不發(fā)生變化例如：Expression、Lookup組件Active組件流入流出組件的行數(shù)會(huì)發(fā)生變化例如：Aggregator、Router、Filter組件流入組件的數(shù)據(jù)項(xiàng)在日志中顯示詳細(xì)級(jí)別SourceQualifier組件中的過濾條件設(shè)置SourceQualifier組件作用：如果添加了關(guān)系數(shù)據(jù)庫(kù)中的表或平文件作為Source，需要連接SourceQualifier組件，才能從源表中讀取出數(shù)據(jù)(非XML)。SourceQualifier代表了PowerCenterServer在運(yùn)行會(huì)話時(shí)讀取的數(shù)據(jù)行。常用屬性：SqlQuery屬性：編輯SQL腳本，該屬性將會(huì)覆蓋默認(rèn)查詢，即會(huì)覆蓋以下幾個(gè)屬性。UserDefinedJoin屬性：定義內(nèi)連接或外連接SourceFilter屬性：即添加WHERE條件子句至默認(rèn)的SQL查詢，實(shí)現(xiàn)過濾數(shù)據(jù)。NumberOfSortedPorts屬性：排序的字段個(gè)數(shù)，大于0時(shí)即添加orderby子句至默認(rèn)的SQL查詢。TracingLevel屬性：共有四級(jí)，表示log的復(fù)雜程度。SelectDistinct屬性：選中表示去除重復(fù)記錄，即添加SELECTDISTINCT語句至默認(rèn)的SQL查詢。PreSQL屬性：讀取源之前在源數(shù)據(jù)庫(kù)上運(yùn)行的會(huì)話前SQL命令。PostSQL屬性：寫入目標(biāo)之后在源數(shù)據(jù)庫(kù)上運(yùn)行的會(huì)話后SQL命令。Expression組件

作用：

基于行級(jí)的數(shù)據(jù)項(xiàng)賦值、修改、計(jì)算

在同行記錄中可新增、減少數(shù)據(jù)項(xiàng)

應(yīng)用范圍：

數(shù)據(jù)類型轉(zhuǎn)換，例如Expression：to_date(Port1,’yyyymmdd’)

數(shù)據(jù)項(xiàng)計(jì)算，例如Expression：(Port1+Port2)/Port3

新增變量，例如Expression：i=i+1

創(chuàng)建Expression組件后，將需要用的字段從上一端口拖曳到Expression組件，雙擊組

件，打開編輯，新增創(chuàng)建所需的輸出端口，只勾選“O”為只輸出端口，在“Expression”中

編輯表達(dá)式，確保分配與表達(dá)式返回值相匹配的端口數(shù)據(jù)類型。輸出端口的命名慣例為

OUT_PORTNAME。

可以利用一個(gè)Expression組件實(shí)現(xiàn)多個(gè)表達(dá)式轉(zhuǎn)換工作，只要為多個(gè)輸出端口輸入一個(gè)

表達(dá)式，就可以在轉(zhuǎn)換中創(chuàng)建任意多個(gè)輸出端口

Aggregator組件作用：對(duì)多組記錄執(zhí)行聚合計(jì)算。用法：將需要聚合運(yùn)行的字段拖曳到Aggregator組件，雙擊組件，在Port選項(xiàng)卡中，勾選要分組的列，新增輸出端口，編輯聚合運(yùn)算表達(dá)式。與sort組件聯(lián)合使用可提高性能。對(duì)于聚合組件來講，肯定是要有至少一個(gè)分組的字段，對(duì)此字段勾選【GroupBy】選項(xiàng)，對(duì)于要進(jìn)行聚合計(jì)算的數(shù)值型表達(dá)式，選中【Expression】，點(diǎn)擊向下的箭頭，會(huì)出現(xiàn)標(biāo)記表達(dá)式的對(duì)話框，在這個(gè)對(duì)話框中可以進(jìn)行sum、avg、max、min等聚合運(yùn)算?？梢允褂迷摻M件可以進(jìn)行匯總計(jì)算，如平均值和求和等。Aggregatortransformation和Expressiontransformation不一樣，在Aggregatortransformation中執(zhí)行計(jì)算是要分組的。Expressiontransformation只允許你執(zhí)行計(jì)算在row-by-row的基礎(chǔ)上的。當(dāng)你使用transformation建立匯總表達(dá)式的時(shí)候，使用條件語句來過濾行，比SQL語句要靈活的多。例如：你使用如下的表達(dá)式來計(jì)算出所有commissions大于QUOTA的員工總的commissions：SUM(COMMISSION,COMMISSION>QUOTA)你也可以使用非匯總函數(shù)在匯總表達(dá)式中。例如下面的表達(dá)式：IIF(MAX(QUANTITY)>0,MAX(QUANTITY),0))您可以輸入任何有效的轉(zhuǎn)換表達(dá)式。例如，以下表達(dá)式將計(jì)算所有收入超過50,000美元的員工的平均薪水：SUM(SALARY,SALARY>50000)Union組件作用：合并多個(gè)數(shù)據(jù)源到一個(gè)結(jié)果集。與執(zhí)行“UNIONALL”SQL語句結(jié)果相似，聯(lián)合轉(zhuǎn)換不會(huì)刪除重復(fù)行。使用規(guī)則：可以創(chuàng)建多個(gè)輸入組，但只能創(chuàng)建一個(gè)輸出組。所有輸入組和輸出組均必須具有匹配的端口。所有組中的精度、數(shù)據(jù)類型和標(biāo)度必須相同。聯(lián)合轉(zhuǎn)換不會(huì)刪除重復(fù)行。要?jiǎng)h除重復(fù)行，您必須添加另一個(gè)轉(zhuǎn)換，例如Router或Filter轉(zhuǎn)換。不能使用以Union組件作為上游的序列生成器或更新策略轉(zhuǎn)換。聯(lián)合轉(zhuǎn)換不會(huì)生成事務(wù)。選項(xiàng)卡設(shè)置：“Groups”選項(xiàng)卡。您可以創(chuàng)建和刪除輸入組。在“Ports”選項(xiàng)卡上能顯示創(chuàng)建了的組?！癎roupPorts”選項(xiàng)卡。您可以創(chuàng)建和刪除輸入組的端口。在“Ports”選項(xiàng)卡上能顯示創(chuàng)建了的端口。Joiner組件作用：連接查詢指定非重復(fù)值少的表作為Master表可以提升性能，默認(rèn)情況下，第一個(gè)加入的數(shù)據(jù)源是Detail；只支持相等連接，當(dāng)使用多個(gè)連接端口時(shí)，連接的順序?qū)π阅苡杏绊?；連接端口如果含有NULL值，連接不會(huì)成功；Joiner一次只能連接兩個(gè)數(shù)據(jù)源，如果有多個(gè)數(shù)據(jù)源要進(jìn)行連接，使用多個(gè)Joiner；Joiner可以連接來自同一個(gè)Source的數(shù)據(jù)流（自連），有兩個(gè)方法：如果Joiner選擇了SortedInput屬性，可以用一個(gè)SourceInstance來實(shí)現(xiàn)，否則就需要Source的兩個(gè)Instance；注意：在JoinType中選擇好你需要的類型。如果你選擇NormalJoin將會(huì)嚴(yán)格匹配記錄。如果你選擇MasterOuterJoin會(huì)把DetailSource表中的記錄全部選出來。如果你選擇DetailOuterJoin會(huì)把MasterSource表中的記錄全部選出來本組件一次只能連接兩個(gè)源，如果有多個(gè)源就使用多個(gè)該種組件，直到你把所有你想的都連接了為止。SequenceGenerator組件作用：生成序列數(shù)值。可以使用它創(chuàng)建唯一的主鍵值、替代缺失的主鍵或在一定有序數(shù)字范圍內(nèi)循環(huán)。SequenceGenerator控件提供兩個(gè)輸出端口：NEXTVAL和CURRVAL：NEXTVAL連接NEXTVAL至多個(gè)轉(zhuǎn)換，從而為每個(gè)轉(zhuǎn)換中的每行生成唯一的值。通過將NEXTVAL端口連接至轉(zhuǎn)換或目標(biāo)以生成序列號(hào)。連接NEXTVAL端口至下游轉(zhuǎn)換，從而生成基于當(dāng)前值和增量屬性的序列。

CURRVALCURRVAL是NEXTVAL加上“增量”值。當(dāng)NEXTVAL端口已連接下游轉(zhuǎn)換時(shí)，您通常只需要連接CURRVAL端口。當(dāng)行輸入連接到CURRVAL端口的轉(zhuǎn)換時(shí)，PowerCenterServer會(huì)傳遞最后創(chuàng)建的NEXTVAL值加1。常用屬性介紹：StartValue屬性：已生成序列的開始值。如果勾選“Cycle”，當(dāng)序列達(dá)到結(jié)束值時(shí)循環(huán)回此值。IncrementBy屬性：增量值。默認(rèn)值為1。EndValue屬性：結(jié)束值。如果序列值達(dá)到此值，但未勾選“Cycle”，則Session將失敗。CurrentValue屬性：序列的當(dāng)前值。

Cycle屬性：是否循環(huán)。(勾選后會(huì)按順序生成序列，重新執(zhí)行序列不會(huì)重復(fù)，未勾選時(shí)，重新執(zhí)行序列會(huì)產(chǎn)生重復(fù)值)NumberofCachedValues屬性：一次高速緩存的序列值數(shù)。當(dāng)多個(gè)會(huì)話使用相同的可再用序列生成器時(shí)，使用此選項(xiàng)可以確保每個(gè)會(huì)話收到唯一的值。Reset屬性：如果勾選，則每個(gè)Session會(huì)初始當(dāng)前值。Rank組件作用：排序記錄，只輸出最頂層或最底層的一定記錄數(shù)。用法：在Port選項(xiàng)卡中，在“R”列選擇要排序的列。類似于Aggregator組件，Rank組件允許您對(duì)信息分組Rank組件會(huì)自動(dòng)創(chuàng)建RANKINDEX端口，僅為輸出端口，存儲(chǔ)組中每行的等級(jí)位置。常用屬性：Top/Button:選擇是取最大值還是最小值NumberofRanks：選擇排名位數(shù)，即需要進(jìn)行等級(jí)排序的行的數(shù)量Router組件作用：與Filter組件相似，能按照條件執(zhí)行過濾，不同的是能分組過濾數(shù)據(jù)。Router可以用一或多個(gè)Filter來取代，不同的是用Router來生成多個(gè)組時(shí)輸入數(shù)據(jù)只需處理一次，所以效率更高；Router由一個(gè)輸入組，一到多個(gè)用戶定義的輸出組和一個(gè)默認(rèn)組組成，每一個(gè)用戶定義的輸出組含一個(gè)測(cè)試條件，滿足條件的輸入數(shù)據(jù)會(huì)進(jìn)入相應(yīng)的用戶定義組，不滿足所有用戶定義條件的數(shù)據(jù)會(huì)進(jìn)入默認(rèn)組。如果某一行符合多個(gè)輸出組的評(píng)估條件，則出現(xiàn)在多個(gè)組的輸出數(shù)中；可以將一個(gè)輸出組的端口連到多個(gè)Transformation或者Target上，但不能將多個(gè)輸出組的端口連到一個(gè)Transformation或者Target上；Lookup組件作用：從關(guān)系型的表、視圖或者同義詞中根據(jù)lookup條件查詢lookupport，返回查詢結(jié)果，供mapping中的其他控件使用或者插入到目標(biāo)表。包括已連接和未連接查找兩種方式。從數(shù)據(jù)庫(kù)表中，按條件查找相關(guān)的值并且傳送給其他的對(duì)象。Connected：直接從其他控件獲得輸入信息；可以使用靜態(tài)或者動(dòng)態(tài)的Cache；只緩沖mapping中用到的port；每條記錄可以返回多個(gè)column，并且能夠插入到動(dòng)態(tài)Cache中；查詢條件無匹配時(shí)，返回所有輸出port的默認(rèn)值，如果使用動(dòng)態(tài)Cache，InformaticaServer把記錄毫無改變的保留在Cache中；支持用戶定義的默認(rèn)值；返回多個(gè)輸出值到另一個(gè)控件中Unconnected：間接的從其他控件的:LKP表達(dá)式的結(jié)果來獲得輸入信息；只能使用靜態(tài)Cache；緩沖所有的port；每條記錄只能返回一列；查詢條件無匹配時(shí)，返回NULL；不支持用戶定義的默認(rèn)值；將返回值輸出到定義:LKP表達(dá)式的控件中常用屬性：LookupSQLOverride：

只能在cacheenable的情況下才能用，另外不要輸入ORDERBY子句，即使輸入INFORMATICA也會(huì)產(chǎn)生ORDERBY子句LookupCachingEnabled：如果選中，查詢一次表，以后的記錄都從緩沖中去查詢；如果不選，每條記錄都從數(shù)據(jù)庫(kù)中查詢一次LookupPolicyonMultipleMatch：確定在uncached和staticcache的情況下如何處理查詢得到的多條記錄，可以取得第一條、最后一條或者是報(bào)錯(cuò)；在dynamiccached的情況下，如果查詢得到多條記錄，會(huì)報(bào)錯(cuò)DynamicLookupCache：當(dāng)把經(jīng)過的