數(shù)據(jù)倉庫及ETL介紹

數(shù)據(jù)倉庫及ETL介紹目錄基礎概念Informatica組件詳解InformaticaKB介紹ETL系統(tǒng)介紹1、數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個：面向主題的（SubjectOriented）集成的（Integrate）相對穩(wěn)定的（Non-Volatile）反映歷史變化（TimeVariant）的數(shù)據(jù)集合1、數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個：面向主題的（SubjectOriented）集成的（Integrate）相對穩(wěn)定的（Non-Volatile）反映歷史變化（TimeVariant）的數(shù)據(jù)集合1、數(shù)據(jù)倉庫的特點面向主題的（SubjectOriented）數(shù)據(jù)是面向應用程序事務的，而數(shù)據(jù)倉庫中數(shù)據(jù)的是按商業(yè)主題存放的，商業(yè)主題會隨著企業(yè)的不同而不同。集成的（Integrate）在將不同來源的數(shù)據(jù)存入數(shù)據(jù)倉庫中之前，必須把這些不同的數(shù)據(jù)元素標準化，對數(shù)據(jù)進行清洗、轉換等集成操作。相對穩(wěn)定的（Non-Volatile）一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。反映歷史變化（TimeVariant）數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點到目前的各個階段的信。主題與主題域主題面向主題的數(shù)據(jù)組織方式，就是在較高層次上對分析對象數(shù)據(jù)的一個完整并且一致的描述，能刻畫各個分析對象所涉及的企業(yè)各項數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系。主題域主題域是對某個主題進行分析后確定的主題的邊界主題與主題域主題與主題域：財務：資金籌集、資金配置、資本結構、現(xiàn)金創(chuàng)造、現(xiàn)金管理資產(chǎn)質量、盈利能力、債務風險、成本、費用、差旅人力資源：人員、薪酬、職位、員工關懷、人員流動、技能提升資產(chǎn)：固定資產(chǎn)、資產(chǎn)使用、資產(chǎn)維護、折舊、殘值經(jīng)營分析：流量、生產(chǎn)保障、精細化管理、運營效率、設施效率主題與主題域2023/12/13維度建模2023/12/13維度建模：其最簡單的描述就是，按照事實表、維度表來構建數(shù)據(jù)倉庫、數(shù)據(jù)集市。維度表：

維度表可以看作是用戶來分析數(shù)據(jù)的窗口，緯度表中包含事實數(shù)據(jù)表中事實記錄的特性，有些特性提供描述性信息，有些特性指定如何匯總事實數(shù)據(jù)表數(shù)據(jù)，以便為分析者提供有用的信息，維度表包含幫助匯總數(shù)據(jù)的特性的層次結構。事實表：在多維數(shù)據(jù)倉庫中，保存度量值的詳細值或事實的表稱為“事實表”。維度建模2023/12/13簡單的說：

1、事實表就是你要關注的內容；

2、維表就是你觀察該事務的角度，是從哪個角度去觀察這個內容的。

星形模型與雪花模型2023/12/13雪花模型2023/12/13星形模型與雪花模型2023/12/13星形模型

一種使用關系數(shù)據(jù)庫實現(xiàn)多維分析空間的模式，稱為星型模式。星型模式的基本形式必須實現(xiàn)多維空間（常常被稱為方塊），以使用關系數(shù)據(jù)庫的基本功能。雪花模式不管什么原因，當星型模式的維度需要進行規(guī)范化時，星型模式就演進為雪花模式。星形模型缺點2023/12/13Benefits：SimplerqueriesSimplifiedbusinessreportinglogicQueryperformancegainsExpansibilityDisadvantagesredundancydataHarderComplexQueries

緩慢變化維2023/12/13Supplier_KeySupplier_CodeSupplier_NameSupplier_State123ABCAcmeSupplyCoCASupplier_KeySupplier_CodeSupplier_NameSupplier_State123ABCAcmeSupplyCoILoriginalNow緩慢變化維處理方式2023/12/13Type0:retainoriginalType1:overwriteType2:addnewrowType3:addnewattributeType4:addhistorytableType6:hybridType2&TYPE32023/12/13Supplier_KeySupplier_CodeSupplier_NameSupplier_StateStart_DateEnd_Date123ABCAcmeSupplyCoCA01-Jan-200021-Dec-2004124ABCAcmeSupplyCoIL22-Dec-2004NULLSupplier_KeySupplier_CodeSupplier_NameOriginal_Supplier_StateEffective_DateCurrent_Supplier_State123ABCAcmeSupplyCoCA22-Dec-2004ILType4:addhistorytable

2023/12/13Supplier_keySupplier_CodeSupplier_NameSupplier_State124ABCAcme&JohnsonSupplyCoILSupplier_keySupplier_CodeSupplier_NameSupplier_StateCreate_Date123ABCAcmeSupplyCoCA14-June-2003124ABCAcme&JohnsonSupplyCoIL22-Dec-2004Type62023/12/13Supplier_KeySupplier_CodeSupplier_NameCurrent_StateHistorical_StateStart_DateEnd_DateCurrent_Flag123ABCAcmeSupplyCoNYCA01-Jan-200021-Dec-2004N124ABCAcmeSupplyCoNYIL22-Dec-200403-Feb-2008N125ABCAcmeSupplyCoNYNY04-Feb-200831-Dec-2009Y代理主鍵2023/12/13代理主鍵：

維度建模理論中，維表里使用原業(yè)務中的主鍵作為主鍵就是業(yè)務鍵（BusinessKey）；建立新的主鍵就是代理鍵（SurrogateKey）為什么使用代理主鍵：性能主鍵重復一致性維度2023/12/13一致性維度：當不同的維度表的屬性具有相同列名和領域內容時，稱維度表具有一致性。利用一致性維度屬性與每個事實表關聯(lián)，可將來自不同事實表的信息合并到同一報表中。建模四步驟:總線架構2023/12/13數(shù)據(jù)倉庫架構2023/12/13快速判斷數(shù)據(jù)倉庫水平2023/12/13有沒有帶緩慢變化維度一致性維度有沒有跨層取數(shù)的現(xiàn)象ETL34個子系統(tǒng)抽取在ETL環(huán)境中從源系統(tǒng)收集原始數(shù)據(jù)并且在任何對數(shù)據(jù)的重要重構發(fā)生之前都將數(shù)據(jù)寫入磁盤。子系統(tǒng)1到子系統(tǒng)3都支持抽取過程。清洗和一致化通過ETL系統(tǒng)中的一系列處理步驟發(fā)送源數(shù)據(jù)，這些步驟提高了從源系統(tǒng)接收數(shù)據(jù)的質量，并且對兩個或多個源系統(tǒng)中的數(shù)據(jù)進行了合并，創(chuàng)建并強化了一致性維度和一致性度量。子系統(tǒng)4到子系統(tǒng)8描述了支持清洗和一致化過程所需的架構。ETL34個子系統(tǒng)提交從物理上將數(shù)據(jù)組織和裝載到呈現(xiàn)服務器的目標維度模型中。子系統(tǒng)9到子系統(tǒng)21提供了若干種將數(shù)據(jù)提交到服務器上的功能。管理用一致的方式來管理ETL環(huán)境中的相關系統(tǒng)和過程。子系統(tǒng)22到子系統(tǒng)34都描述了支持ETL系統(tǒng)現(xiàn)行管理所需的組件。27抽取子系統(tǒng)1--數(shù)據(jù)探查子系統(tǒng)2--變化數(shù)據(jù)捕捉系統(tǒng)審計列定時抽取完全差異比較數(shù)據(jù)庫日志刮取消息隊列監(jiān)視28抽取子系統(tǒng)3--抽取系統(tǒng)文件FTPWEBSERVICE數(shù)據(jù)庫接口數(shù)據(jù)的清洗和一致化子系統(tǒng)4--數(shù)據(jù)清洗系統(tǒng)對數(shù)據(jù)質量問題的早期診斷和鑒別分類：

完整性、一致性、準確性、及時性讓源系統(tǒng)和集成工作提供更優(yōu)質的數(shù)據(jù)具有為ETL過程中遇到的數(shù)據(jù)錯誤提供特定描述的功能具有能夠隨著時間推移捕捉所有數(shù)據(jù)質量錯誤和度量數(shù)據(jù)質量的框架對最終數(shù)據(jù)的質量可信度進行度量的附加功能數(shù)據(jù)的清洗和一致化2023/12/13子系統(tǒng)5--錯誤事件模式子系統(tǒng)6--審計維裝配器數(shù)據(jù)的清洗和一致化2023/12/13子系統(tǒng)7--重復數(shù)據(jù)刪除系統(tǒng)子系統(tǒng)8--一致化系統(tǒng)子系統(tǒng)9--向呈現(xiàn)層交付數(shù)據(jù)子系統(tǒng)9--緩慢變化維管理器子系統(tǒng)10--代理鍵生成器子系統(tǒng)11--層次管理器數(shù)據(jù)的清洗和一致化2023/12/13子系統(tǒng)12--專用維度管理器日期/時間維雜項維微型維（視圖維度）小型靜態(tài)維用戶維護的維度子系統(tǒng)13--事實表構建器事務處理粒度事實表裝載器周期快照事實表裝載器累積快照事實表裝載器數(shù)據(jù)的清洗和一致化2023/12/13子系統(tǒng)14--代理鍵管道子系統(tǒng)15--多值維度橋接表構建器子系統(tǒng)16--延遲到達數(shù)據(jù)處理器子系統(tǒng)17--維度管理系統(tǒng)子系統(tǒng)18--事實提供系統(tǒng)子系統(tǒng)19--聚集構建器子系統(tǒng)20--OLAP多維數(shù)據(jù)集構建器子系統(tǒng)21--數(shù)據(jù)傳播管理器管理ETL環(huán)境子系統(tǒng)22--作業(yè)調度器子系統(tǒng)23--備份系統(tǒng)子系統(tǒng)24--恢復和重啟系統(tǒng)子系統(tǒng)25--版本控制系統(tǒng)子系統(tǒng)26--版本遷移系統(tǒng)子系統(tǒng)27--工作流監(jiān)視器子系統(tǒng)28--排序系統(tǒng)？子系統(tǒng)29--沿襲和依賴分析器子系統(tǒng)30--問題自動調整系統(tǒng)子系統(tǒng)31--并行/管道系統(tǒng)子系統(tǒng)32--安全系統(tǒng)子系統(tǒng)33--合規(guī)性管理器管理ETL環(huán)境子系統(tǒng)34--元數(shù)據(jù)知識庫管理器技術元數(shù)據(jù)業(yè)務元數(shù)據(jù)運行元數(shù)據(jù)Informatica整體架構兩個服務器端和五個客戶端組件服務器端RepositoryServerInformatcaServer客戶端RepositoryManagerDesignerWorkflowManagerWorkflowMonitorRepositoryServerAdministrationConsole五個客戶端組件的作用RepositoryManager

元數(shù)據(jù)資料庫，依賴分析，安全性管理等。Designer定義源和目標數(shù)據(jù)結構，設計轉換規(guī)則，生成ETL映射。WorkflowManager

合理地實現(xiàn)復雜的ETL工作流，基于時間或事件的作業(yè)調度。WorkflowMonitor監(jiān)控workflow和session,生成工作日志及報告。RepositoryServerAdministrationConsole

Repository的建立與維護INFA安裝配置依賴：OracleDB2或SQLSERVER的DBA權限安裝配置過程：點擊Server軟件包setup.exe完成安裝登錄控制臺創(chuàng)建RS，IS，把RS由獨占模式改為普通模式點擊Client軟件包setup.exe配置連接信息，連接到服務器端客戶端和服務端端組件服務器端RepositoryServerInformatcaServer客戶端RepositoryManagerDesignerWorkf