PowerCenter學習文檔+說明+手冊

InformaticaPowerCenter

培訓李婧2010-04電話SN：xiche@第一天產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據轉換調試INFA產品線INFA支持情況PowerCenter選件豐富的ETL功能Real-Time實時功能

Partitioning分區(qū)功能

HighAvailability高可靠性功能

Pushdown功能

EnterpriseGrid網格功能

Team-basedDevelopment團隊開發(fā)功能

MetadataExchange元數(shù)據交換功能

UnstructuredData非結構化數(shù)據功能

Visio模板Mapping生成器功能

DataFederation數(shù)據聯(lián)邦功能

DataProfiling數(shù)據質量探查功能

異構數(shù)據源，異構目標實現(xiàn)多種緩慢變化維全局變量及參數(shù)，參數(shù)文件局部變量，前后記錄比較條件匯總異構數(shù)據源關聯(lián)行/列轉換靜態(tài)、動態(tài)Lookup支持

ETL事務處理自定義SQLPreSQL和PostSQL

復用組件復用Mapping

調用存儲過程調用外部用戶自定義過程可視化Debug

強大函數(shù)支持、豐富轉換語言

數(shù)據源為文件列表

SessionRecovery

基于多目標表約束裝載錯誤數(shù)量控制

FTP源和FTP目標

ETL任務分區(qū)增量匯總測試裝載

BulkLoadingExternalLoader(Oracle、DB2.)

復用Workflow

功能豐富的Workflow控制任務串行、并行控制基于時間、事件和指示文件觸發(fā)任務

Workflow中調用OS外部命令

Workflow中調用Email

多ETLServer協(xié)同工作

……Informatica8INFA8系列產品功能情況InformaticaPowerCenter應用架構Informatica客戶端數(shù)據源ODBCNATIVE目標ODBCNATIVEDomainAdministratorConsoleUNIX(AIX,HPUX,Solaris,Linux)WindowsIntegrationServiceRepositoryService----------------------------RepositoryAgentPowerCenter服務端TCP/IPTCP/IPTCP/IPNATIVENATIVEPowerCenterServer和數(shù)據移動數(shù)據源源數(shù)據目標已轉換數(shù)據資料庫PowerCenterServer來自元數(shù)據的指令PowerCenterServer、資料庫、源和目標之間的處理路徑PowerCenter產品組件服務端組件客戶端組件InformaticaService：PowerCenter服務引擎IntegrationService：數(shù)據抽取、轉換、裝載服務引擎RepositoryService：知識庫Service，管理ETL過程中產生的元數(shù)據AdministratortionConsole：用于知識庫的建立與維護RepositoryManager：知識庫管理，包括安全性管理等Desinger：設計開發(fā)環(huán)境，定義源及目標數(shù)據結構；設計轉換規(guī)則，生成ETL映射WorkflowManager：合理地實現(xiàn)復雜的ETL工作流，基于時間、事件的作業(yè)調度WorkflowMonitor：監(jiān)控Workflow和Session運行情況，生成日志和報告第一天產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據轉換調試產品安裝與樣例安裝產品安裝服務器安裝客戶端安裝詳見安裝手冊樣例安裝數(shù)據庫準備RDBU （資料庫數(shù)據庫）SDBU （樣例源數(shù)據庫）TDBU （樣例目標數(shù)據庫）BDBU （樣例參考數(shù)據庫）樣例數(shù)據準備樣例參考導入第一天產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據轉換調試系統(tǒng)管理InformaticaServer管理http://localhost:6001DomainManagerNodeManagerRepositoryServiceManagerIntegrationServiceManagerLicenseManager資料庫內容管理RepositoryManagerFolderManagerPrivilegeManager……第一天產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據轉換調試開發(fā)六大步驟示意圖①S③②T④ST⑤WF⑥M定義源定義目標創(chuàng)建映射定義任務創(chuàng)建工作流工作流調度監(jiān)控Designer: ①~③WorkflowManager:④~⑤WorkflowMonitor: ⑥第一步：定義源引入源的類型

RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication源分析器InformaticaServiceODBCMappedDriveNFSMountingLocalDirectorySaveMetaDataofSources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_……第二步：定義目標引入目標的類型

RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication目標分析器SaveMetaDataofTargets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_……ODBCMappedDriveNFSMountingLocalDirectoryInformaticaService第三步：創(chuàng)建映射目標源轉換組件第四步：定義任務SessionTask工作目錄Task工作區(qū)第五步：定義工作流第六步：工作流調度監(jiān)控第一天產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據轉換調試數(shù)據轉換調試目標裝載情況經過每個調試的數(shù)據流FlashingyellowSQLindicatorDebugger模式SolidyellowarrowCurrentTransformationindicator調試日志組件介紹Expression組件Filter與RouterJoiner與LookupAggregator組件第二天組件列表SourceQualifier:從數(shù)據源讀取數(shù)據Expression:行級轉換Filter:數(shù)據過濾Sorter:數(shù)據排序Aggregator:聚合Joiner:異構數(shù)據關接連接Lookup:查詢連接UpdateStrategy:對目標編輯insert,update,delete,rejectRouter:條件分發(fā)SequenceGenerator:序列號生成器組件列表Normalizer:記錄規(guī)范化Rank:對記錄進行TOPxUnion:數(shù)據合并TransactionControl:對裝載數(shù)據按條件進行事務控制StoredProcedure:存儲過程組件Custom:用戶自定義組件HTTP:WWW組件Java:Java自編程組件其它應用組件組件類型Passive組件流入流出組件的行數(shù)不發(fā)生變化例如：Expression、Lookup、HTTP組件Active組件流入流出組件的行數(shù)會發(fā)生變化例如：Aggregator、Router、Filter組件×PA√函數(shù)分類聚合函數(shù)字符串函數(shù)轉換函數(shù)數(shù)據清洗函數(shù)日期函數(shù)編碼函數(shù)財務函數(shù)數(shù)值函數(shù)數(shù)學函數(shù)特有函數(shù)判斷函數(shù)用戶自定義函數(shù)函數(shù)列表組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件第二天Expression組件組件功能基于行級的數(shù)據項賦值、修改、計算在同行記錄中可新增、減少數(shù)據項組件類型Passive組件應用范圍數(shù)據類型轉換，例如Expression：to_date(Port1,’yyyymmdd’)數(shù)據項計算，例如Expression：(Port1+Port2)/Port3新增變量，例如Expression：i=i+1Expression組件當數(shù)據項為空時的默認值流入組件的數(shù)據項流出組件的數(shù)據項組件中定義的變量練習一：Expression組件描述將原始客戶信息記錄轉換成合格標準的數(shù)據導入到暫存區(qū)。源表：customer_east.txtcustomer_west.txtcustomer_central.txt目標：TDBU.STG_CUSTOMERS要點姓與名合并為姓名；電話號碼轉換成易讀格式的電話號碼，如：(466)766-283；性別轉換，將F轉換成FEMALE、M轉換成MALE、其它轉換成UNK；年齡分段，20歲以下、20~29、30~39、40~49、50~60、60歲以上；解決方案詳見m_LAB_01組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件第二天SourceQualifier、Filter組件組件功能對流入組件中的記錄數(shù)據進行過濾類似于關系型數(shù)據庫Where應用與SourceQualifier的過濾功能區(qū)別在執(zhí)行位置上組件類型Active組件應用范圍數(shù)據過濾SourceQualifier、Filter組件流入組件的數(shù)據項在日志中顯示詳細級別SourceQualifier組件中的過濾條件設置注意：在SourceQualifier中的UserDefinedJoin、SourceFilter、NumberofSortedPorts中定義了SQL條件，那么，在SqlQuery中就不要在重寫相關的SQL條件，否則，將不會生效。Router組件組件功能對流入組件中的記錄數(shù)據按照條件進行分發(fā)類似于Java語言中的Switch語句組件類型Active組件應用范圍數(shù)據分發(fā)Router組件流入組件的數(shù)據項練習二描述將暫存區(qū)的客戶信息按照性別分別導入到男、女、性別不明三張表內。源表：TDBU.STG_CUSTOMERS目標：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點償試用Filter組件多種方法對目標進行裝載解決方案詳見m_LAB_02練習三描述將暫存區(qū)的客戶信息按照性別分別導入到男、女、性別不明三張表內。源表：TDBU.STG_CUSTOMERS目標：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點使用Router組件對數(shù)據進行分發(fā)比較Filter與Router各種方法的應用特點、性能解決方案詳見m_LAB_03組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件第二天Joiner組件組件功能對異構數(shù)據進行關聯(lián)（同構關聯(lián)用SourceQualify組件）類似于SQL中的Join語句組件類型Active組件應用范圍2個異構數(shù)據類型的表關聯(lián)同構Joins與異構Joins同構Joins同種結構數(shù)據SourceQualify組件從源直接Joinsn個源可用1個SQ組件在源中先定義連接關系異構Joins不同DB或Flat與Flat之間Joiner組件在PowerCenter中Joinsn-1個Joiner組件在Joiner中定義連接條件Joiner組件MasterDetailMasterSourceDetailSourceJoinerJoinResultsJoin條件：Master.ProductID=Detail.ProductIDJoin條件Join類型流入組件的數(shù)據項MasterDetail=+MasterDetail=MasterDetail+=MasterDetail++練習四描述將員工信息與員工工資2個異構表關聯(lián)后，將關聯(lián)結果數(shù)據倒入到暫存區(qū)。源表：Employees_layout結構Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用Joiner組件進行Mapping設計注意Master與Detail的設置選擇(關聯(lián)時建議將數(shù)據量少的設置為Master.)解決方案詳見m_LAB_04練習五描述將員工信息與員工工資2個同構表關聯(lián)后，將關聯(lián)結果數(shù)據倒入到暫存區(qū)。源表：SDBU.EMPLOYEESSDBU.SALARY目標：TDBU.STG_EMPLOYEES要點用SourceQualify組件進行Mapping設計注意關聯(lián)關系設置建議N個同構數(shù)據源只需用1個SourceQualifier組件關聯(lián)，關聯(lián)時建議將在Source設計區(qū)將需要關聯(lián)的源表手工用連線關聯(lián)起來，在Mapping設計區(qū)刪除各個源所帶的SourceQualifier組件，用一個新的SourceQualifier組件包含所有源的字段內容。解決方案詳見m_LAB_05Lookup組件組件功能對FlatFile或數(shù)據庫根據關聯(lián)的條件進行查詢返回符合條件的值，否則為空連接關聯(lián)與非連接關聯(lián)類似于SQL中的Join語句組件類型Passive組件應用范圍查詢文本文件的關聯(lián)數(shù)據查詢數(shù)據庫的關聯(lián)數(shù)據連接Lookup與非連接LookupLookup源Lookup組件查詢條件：ITEM_ID=IN_ITEM_ID PRICE<=IN_PRICE流入值查詢輸出值流入值查詢到的值Lookup組件組件查詢條件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id)是否查詢Y返回查詢到的值Lookup組件查詢的數(shù)據項，返回關聯(lián)的值

返回值練習六描述將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結果數(shù)據倒入到暫存區(qū)。源表：Employees_layout結構Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用連接Lookup組件進行Mapping設計注意Salary（FlatFile）的設置解決方案詳見m_LAB_06練習七描述將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結果數(shù)據倒入到暫存區(qū)。源表：Employees_layout結構Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用非連接Lookup組件進行Mapping設計注意Salary（FlatFile）的設置注意數(shù)據查詢的條件解決方案詳見m_LAB_07組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件第二天Aggregator組件組件功能對數(shù)據集進行聚合聚合分有SUM、AVG、Count、Max、Min……組件類型Active組件應用范圍分組匯總平均值、最大值Aggregator組件GroupBy選項變量和流出數(shù)據項的表達式Aggregator組件函數(shù)注意區(qū)別：SUM(IN_count,IIF(ID<20,IN_count))－－將不符合條件的值默認賦值為nullIIF(ID<20,SUM(IN_count))－－將不符合條件的值默認賦值為0Aggregator組件屬性參與GroupBy的字段是否經過排序參與聚集匯總的變量和輸出數(shù)據項的表達式所占內存參與GroupBy的字段所占用的內存Aggregator組件排序的區(qū)別IDNAMEQUANTITY1北京1002上海803北京904江蘇905北京120IDNAMEQUANTITY1北京1003北京905北京1202上海904江蘇90按北京分組指針按北京分組指針不對流入到Aggregator組件的數(shù)據進行排序對流入到Aggregator組件的數(shù)據進行排序練習八描述將采購清單按照數(shù)據倉庫星型設計原則進行標準化存儲，對貨物庫存量、訂單量和貨物費用按照采購編號、貨物品名、代理商、訂單日期、接收日期和發(fā)貨日期進行匯總。源表：TDBU.STG_INVENTORY目標：TDBU.FACT_INVENTORYLOOKUP表：產品維表為DIM_PRODUCT日期維表為DIM_DATE要點訂單文本文件與產品表的關聯(lián)匯總前排序分組匯總解決方案詳見m_LAB_08第三天UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件UpdateStrategy組件組件功能對流過組件的每一條記錄賦一個操作標志根據操作標志對目標關系型數(shù)據庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT組件類型Active組件應用范圍數(shù)據增量更新對目標編輯UpdateStrategy組件對記錄標記記錄是在當前丟棄還是到下個組件丟棄練習九描述將暫存區(qū)的發(fā)生變更了的員工信息倒入到員工維表中。源表：TDBU.STG_EMPLOYEES目標：TDBU.DIM_EMPLOYEES要點使用Router組件對數(shù)據按不同要求進行編輯操作償試用一個UpdateStrategy組件完成上述功能解決方案詳見m_LAB_09第三天UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件UserDefinedFunction函數(shù)介紹用戶自定義函數(shù)可以在Designer中定義，在Expression中使用可以使用任何有效的函數(shù)（除了Aggregation函數(shù)），也可以使用在同一個文件夾里的其它UDFs在FCS中UDFs不支持快捷鍵，也就是說它們只能在自己被創(chuàng)建的文件夾中被訪問組件類型用戶自定義函數(shù)UDFs是文件夾級別的對象應用范圍較少的字段形成的比較復雜的函數(shù)邏輯此函數(shù)邏輯在多個mapping中都使用UserDefinedFunction第三天UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件JavaTransformation組件組件功能調用現(xiàn)有的java程序，提供java接口對java程序進行編譯，并提供編譯結果組件類型Active

orPassive應用范圍對復雜的業(yè)務邏輯如果有寫好的java程序對于用infa實現(xiàn)比較麻煩的業(yè)務邏輯JavaTransformation組件第三天UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件

StoredProcedure組件組件功能調用現(xiàn)有的存儲過程被調用的存儲過程有無參數(shù)都可一個mapping中可調用多個存儲過程，并可設定執(zhí)行順序組件類型Active

orPassive應用范圍對復雜的業(yè)務邏輯如果有寫好的存儲過程對于用infa實現(xiàn)比較麻煩的業(yè)務邏輯StoredProcedure組件可以選擇執(zhí)行時間目標表插入數(shù)據后執(zhí)行練習十實例描述將原始客戶信息記錄轉換成合格標準的數(shù)據倒入到暫存區(qū)，轉換處理在存儲過程中完成源表：customer_east.txtcustomer_west.txtcustomer_central.txt目標：TDBU.STG_CUSTOMERS解決方案見存儲過程EMP_INFA_TRANSFORM詳見m_LAB_13第四天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉換實例增量抽取實例實例描述對流過組件的每一條記錄賦一個操作標志根據操作標志對目標關系型數(shù)據庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解決方案全表比較方法時間戳方法 詳見m_LAB_10字段壓縮比較PowerExchange第四天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉換實例參數(shù)與變量存在的三種形式系統(tǒng)級變量SYSDATE 系統(tǒng)日期SESSSTARTTIME SESSION啟動時間$$$SessStartTime 返回Session啟動時間的字符串值Mapping級參數(shù)與變量SETMAXVARIABLE($$Variable,value) 設置最大值變量SETMINVARIABLE($$Variable,value) 設置最小值變量SETVARIABLE($$Variable,value) 設置變量值SETCOUNTVARIABLE($$Variable) 設置遞增、減變量文件級參數(shù)與變量固定格式Mapping參數(shù)與變量形式從Designer中的Mappings/Mapplets菜單中進行定義在相應的Mapping或Mapplet中進行引用即可設置變量變化類型

初始值設置變量或參數(shù)名稱定義：$$類型設置參數(shù)文件形式全局變量域級服務變量節(jié)點級服務處理變量Workflow級變量優(yōu)先于前幾級定義的變量參數(shù)文件設置Task參數(shù)文件設置Workflow參數(shù)文件設置參數(shù)文件的級別規(guī)則GLOBALSERVICESERVICEPROCESSWORKFLOWSESSION使用范圍執(zhí)行優(yōu)先權高低低高Mapping與Workflow/Worklet之間進行變量傳遞使用不同參數(shù)文件并行運行同一個Workflow參數(shù)文件實例實例描述對源文本文件名進行參數(shù)化對源表名進行參數(shù)化對目標輸出文本文件名進行參數(shù)化對源與目標的數(shù)據庫連接進行參數(shù)化對日志文件及路徑進行參數(shù)化解決方案詳見m_LAB_11注意事項注意變量的命名規(guī)則：特別是固定的前綴第四天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉換實例斷點續(xù)傳實例實例描述當在數(shù)據抽取時，因意外致使數(shù)據抽取發(fā)生中斷，重新啟動服務時仍可從斷點執(zhí)行數(shù)據抽取解決方案通過表pm_recovery和PM_TGT_RUN_ID記載最近提交點的位置，當session失敗(或停止)后可從斷點處接著裝載數(shù)據，在monitor中，recovertask。在源表數(shù)據未發(fā)生變化的前提下詳見m_LAB_12監(jiān)控腳本select*frompm_recovery;selectrow_countfrompm_recovery;select*fromPM_TGT_RUN_ID;selectcount(*)fromSessionRecovery_Target;truncatetableSessionRecovery_Target;斷點續(xù)傳實例第四天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉換實例列行轉換實例實例描述源數(shù)據一條記錄有多個字段格式一樣，經過格式化，到目標生成多條記錄，并且只保留一個該格式字段。解決方案使用Normalizer組件，實現(xiàn)列/行轉變詳見m_LAB_14_1行列轉轉用Aggregator組件實現(xiàn)，詳見m_LAB_14_2第五天系統(tǒng)性能調優(yōu)Partition功能瓶頸類型Source瓶頸Target瓶頸Mapping瓶頸Session瓶頸System瓶頸Source調優(yōu)源為文本文件調優(yōu)LineSequentialBufferLength(1024)源為關系型數(shù)據庫在SourceQualify優(yōu)化SQL在源數(shù)據增加索引增加DatabasenetworkPacketsize當DB跟Informatica在同一