數(shù)據(jù)倉庫架構(gòu)培訓

1、目 錄公司的數(shù)據(jù)倉庫架構(gòu)2數(shù)據(jù)存儲與ETL3廠商的數(shù)據(jù)倉庫架構(gòu)1前端業(yè)務(wù)應(yīng)用與管理系統(tǒng)4實施過程5案例6廠商的數(shù)數(shù)據(jù)倉庫庫架構(gòu)IBM數(shù)據(jù)倉庫庫架構(gòu)NCR數(shù)據(jù)倉庫庫架構(gòu)SAP的數(shù)據(jù)倉倉庫兩級數(shù)據(jù)據(jù)倉庫架架構(gòu)公司的數(shù)數(shù)據(jù)倉庫庫架構(gòu)業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)據(jù)倉庫庫應(yīng)用平平臺應(yīng)用服務(wù)層元數(shù)據(jù)訪問服務(wù) BI工具引擎報表查詢決策支持應(yīng)用層（Portal）EDWDDS對外接口口數(shù)據(jù)交換換平臺數(shù)據(jù)挖掘掘與分析系系統(tǒng)其它應(yīng)用用元數(shù)據(jù)管理OLAPADSDM系統(tǒng)總體體架構(gòu)圖圖歷史數(shù)據(jù)據(jù)存儲（HDS）操作數(shù)據(jù)據(jù)存儲（ODS）主數(shù)據(jù)ETL數(shù)據(jù)質(zhì)量管理業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)據(jù)倉庫庫應(yīng)用平平臺應(yīng)用服務(wù)層元數(shù)據(jù)訪問服務(wù)

2、 BI工具引擎報表查詢決策支持應(yīng)用層（Portal）EDWDDS對外接口口數(shù)據(jù)交換換平臺數(shù)據(jù)挖掘掘與分析系系統(tǒng)其它應(yīng)用用元數(shù)據(jù)管理OLAPADS公司實施施常用架架構(gòu)歷史數(shù)據(jù)據(jù)存儲（HDS）DMETL數(shù)據(jù)質(zhì)量管理數(shù)據(jù)存儲儲與ETL11數(shù)據(jù)存儲儲主數(shù)據(jù)存存儲模型特點點ER模型：與與業(yè)務(wù)系系統(tǒng)中代代碼信息息存放方方式類似似數(shù)據(jù)標準準：在企企業(yè)中采采用統(tǒng)一一的編碼碼規(guī)則和和標準保留歷史史：保留留主數(shù)據(jù)據(jù)變化的的版本ODS數(shù)據(jù)存儲儲模型特點點ER模型：與與業(yè)務(wù)系系統(tǒng)中模模型基本本一致，盡量減減少由于于數(shù)據(jù)處處理帶來來的時間間消耗實時性：保存實實時變化化的數(shù)據(jù)據(jù)EDW數(shù)據(jù)存儲儲模型特點點采用3NF方式建模

3、模，采用用面向?qū)ο蟮慕ń７绞绞綇臉I(yè)務(wù)模模型入手手，結(jié)合合實際的的業(yè)務(wù)系系統(tǒng)的數(shù)數(shù)據(jù)，使使用主題題域?qū)?shù)數(shù)據(jù)進行行抽象建模原則則全面性：最終應(yīng)應(yīng)該能夠夠覆蓋到到客戶經(jīng)經(jīng)營活動動中所有有的業(yè)務(wù)務(wù)數(shù)據(jù)抽象性：從業(yè)務(wù)務(wù)的角度度把客戶戶的所有有業(yè)務(wù)要要素抽象象成若干干對象，采用面面向?qū)ο笙蟮脑O(shè)計計方法擴展性：其體系系結(jié)構(gòu)應(yīng)應(yīng)該能夠夠適應(yīng)客客戶今后后業(yè)務(wù)的的發(fā)展高效性：應(yīng)該注注意不要要使對象象之間的的關(guān)系過過于復雜雜，導致致在實際際查詢時時的速度度過慢DDS數(shù)據(jù)存儲儲模型特點點星型模型型：以維維度表和和事實表表的方式式對數(shù)據(jù)據(jù)進行組組織和存存放面向需求求：從滿滿足應(yīng)用用需求的的角度進進行設(shè)計計，從中中

4、找出維維度，維維和分析析變量粒度較粗粗：從明明細數(shù)據(jù)據(jù)匯總得得到數(shù)據(jù)抽取取數(shù)據(jù)加載載數(shù)據(jù)映射射數(shù)據(jù)轉(zhuǎn)換換數(shù)據(jù)清洗洗從HDS或ODS中獲取所所需數(shù)據(jù)據(jù)清除錯誤誤的、不不符合業(yè)業(yè)務(wù)邏輯輯的數(shù)據(jù)據(jù)將業(yè)務(wù)系系統(tǒng)的數(shù)數(shù)據(jù)字段段對應(yīng)到到主數(shù)據(jù)據(jù)的數(shù)據(jù)據(jù)字段將數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)換成主主數(shù)據(jù)的的模型將轉(zhuǎn)換完完畢的數(shù)數(shù)據(jù)寫入入物理數(shù)數(shù)據(jù)庫數(shù)據(jù)標準準化按照數(shù)據(jù)據(jù)的標準準，對數(shù)數(shù)據(jù)進行行統(tǒng)一主數(shù)據(jù)加加載數(shù)據(jù)抽取取數(shù)據(jù)加載載數(shù)據(jù)映射射數(shù)據(jù)轉(zhuǎn)換換數(shù)據(jù)清洗洗從HDS或ODS中獲取所所需數(shù)據(jù)據(jù)清除錯誤誤的、不不符合業(yè)業(yè)務(wù)邏輯輯的數(shù)據(jù)據(jù)將業(yè)務(wù)系系統(tǒng)的數(shù)數(shù)據(jù)字段段對應(yīng)到到EDW的數(shù)據(jù)字字段將數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)換成EDW的模型將轉(zhuǎn)換完完畢的數(shù)數(shù)據(jù)寫

5、入入物理數(shù)數(shù)據(jù)庫數(shù)據(jù)標準準化按照數(shù)據(jù)據(jù)的標準準，對數(shù)數(shù)據(jù)進行行統(tǒng)一EDW數(shù)據(jù)加載載數(shù)據(jù)抽取取數(shù)據(jù)加載載數(shù)據(jù)轉(zhuǎn)換換數(shù)據(jù)匯總總數(shù)據(jù)映射射從EDW數(shù)據(jù)存儲儲中獲取取所需數(shù)數(shù)據(jù)將EDW存儲模型型的字段段，對應(yīng)應(yīng)到DDS存儲模型型的字段段把數(shù)據(jù)從從EDW的ER模型轉(zhuǎn)換換為DDS的多維存存儲模型型把EDW中的數(shù)據(jù)據(jù)進行一一定程度度的匯總總將轉(zhuǎn)換完完畢的數(shù)數(shù)據(jù)寫入入物理數(shù)數(shù)據(jù)庫DDS數(shù)據(jù)加載載前端業(yè)務(wù)務(wù)應(yīng)用與與管理系系統(tǒng)應(yīng)用服務(wù)務(wù)層數(shù)據(jù)中心心存儲平平臺DDSOLAPDMMeta Data數(shù)據(jù)服務(wù)務(wù)層OLAP引擎元數(shù)據(jù)管管理服務(wù)務(wù)管理和審審計服務(wù)務(wù)BI引擎統(tǒng)一的安全管理EDS數(shù)據(jù)訪問層代理WebServer瀏

6、覽器GUI應(yīng)用程序序ODS數(shù)據(jù)交換換服務(wù)主數(shù)據(jù)管管理服務(wù)務(wù)分析人員使用決策層使用管理人員使用業(yè)務(wù)人員使用分析型應(yīng)應(yīng)用企業(yè)績效效KPI業(yè)務(wù)報務(wù)、業(yè)務(wù)應(yīng)用跨部門、跨業(yè)務(wù)應(yīng)用應(yīng)用層次次規(guī)劃資產(chǎn)分析析成本分析析業(yè)務(wù)分類類財務(wù) 生產(chǎn)銷售KPI庫存物流盈利產(chǎn)量原料質(zhì)檢銷量市場競爭對手手市場生產(chǎn)指標標財務(wù)指標標銷售指標標庫存分析析應(yīng)用分類類管理系統(tǒng)統(tǒng)：元數(shù)數(shù)據(jù)管理理主數(shù)據(jù)數(shù)據(jù)中心心ODSEDSDDS DM應(yīng)用系統(tǒng)統(tǒng)ETL元數(shù)據(jù)數(shù)數(shù)據(jù)源元數(shù)據(jù)存存儲平臺臺業(yè)務(wù)元數(shù)數(shù)據(jù)業(yè)務(wù)指標標維度技術(shù)元數(shù)數(shù)據(jù)維度ADSETL信息應(yīng)用系統(tǒng)統(tǒng)信息管理元數(shù)數(shù)據(jù)ETL日志應(yīng)用系統(tǒng)統(tǒng)日志權(quán)限元數(shù)據(jù)應(yīng)應(yīng)用平臺臺維護功能能業(yè)務(wù)元數(shù)數(shù)據(jù)維護護

7、技術(shù)元數(shù)數(shù)據(jù)維護護查詢功能能分類導航航全文檢索索日志查詢詢權(quán)限查詢詢展現(xiàn)功能能動態(tài)指標標解釋信息展示示血緣關(guān)系系OLAP業(yè)務(wù)指標標/需求主數(shù)據(jù)管管理商務(wù)智能能工具SOA技術(shù)WEB技術(shù)實施技術(shù)術(shù)實施過程程數(shù)據(jù)倉庫庫實施方方法自下而上上從業(yè)務(wù)數(shù)數(shù)據(jù)入手手，建立立數(shù)據(jù)模模型建立完整整的后臺臺數(shù)據(jù)自上而下下完全基于于業(yè)務(wù)需需求分析析的結(jié)果果以需求確確定后臺臺的數(shù)據(jù)據(jù)范圍迭代開發(fā)發(fā)整個建設(shè)設(shè)過程分分為多個個迭代過過程從關(guān)鍵的的業(yè)務(wù)入入手，即即考慮后后臺數(shù)據(jù)據(jù)，又提提供前端端展現(xiàn)28項目組架架構(gòu)項目管理組客戶方項目組系統(tǒng)架構(gòu)組ETL組數(shù)據(jù)建模組應(yīng)用開發(fā)組質(zhì)量管理組項目管理委員會需求分析組售后與服務(wù)組系統(tǒng)測

8、試組實施流程程項目準備備項目規(guī)劃劃需求定義技術(shù)需求業(yè)務(wù)需求技術(shù)架構(gòu)構(gòu)源數(shù)據(jù)分分析數(shù)據(jù)建模模應(yīng)用設(shè)計計開發(fā)ETL設(shè)計開發(fā)集成測試試系統(tǒng)上線線運行維護護系統(tǒng)演進進項目目管管理理實施案例例業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)據(jù)倉庫庫應(yīng)用平平臺應(yīng)用服務(wù)層元數(shù)據(jù)訪問服務(wù) BI工具引擎報表查詢決策支持應(yīng)用層（Portal）EDWDDS對外接口口數(shù)據(jù)交換換平臺數(shù)據(jù)挖掘掘與分析系系統(tǒng)其它應(yīng)用用元數(shù)據(jù)管理OLAPADSDM數(shù)據(jù)中心心-案例1歷史數(shù)據(jù)據(jù)存儲（HDS）操作數(shù)據(jù)據(jù)存儲（ODS）主數(shù)據(jù)ETL數(shù)據(jù)質(zhì)量管理業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)據(jù)倉庫庫應(yīng)用平平臺應(yīng)用服務(wù)層元數(shù)據(jù)訪問服務(wù) BI工具引擎報表查詢決策支持應(yīng)用層（Por

9、tal）EDWDDS對外接口口數(shù)據(jù)交換換平臺數(shù)據(jù)挖掘掘與分析系系統(tǒng)其它應(yīng)用用元數(shù)據(jù)管理OLAPADSDM數(shù)據(jù)倉庫庫-案例2歷史數(shù)據(jù)據(jù)存儲（HDS）操作數(shù)據(jù)據(jù)存儲（ODS）主數(shù)據(jù)ETL數(shù)據(jù)質(zhì)量管理業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)據(jù)倉庫庫應(yīng)用平平臺應(yīng)用服務(wù)層元數(shù)據(jù)訪問服務(wù) BI工具引擎報表查詢決策支持應(yīng)用層（Portal）EDWDDS對外接口口數(shù)據(jù)交換換平臺數(shù)據(jù)挖掘掘與分析系系統(tǒng)其它應(yīng)用用元數(shù)據(jù)管理OLAPADSDM數(shù)據(jù)倉庫庫-案例3歷史數(shù)據(jù)據(jù)存儲（HDS）操作數(shù)據(jù)據(jù)存儲（ODS）主數(shù)據(jù)ETL數(shù)據(jù)質(zhì)量管理業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)據(jù)倉庫庫應(yīng)用平平臺應(yīng)用服務(wù)層元數(shù)據(jù)訪問服務(wù) BI工具引擎報表查詢決策支持應(yīng)用層（Portal）EDWDDS對外接口口數(shù)據(jù)交換換平臺數(shù)據(jù)挖掘掘與分析系系統(tǒng)其它應(yīng)用用元數(shù)據(jù)管理OLAPADSDM數(shù)據(jù)倉庫庫-案例4歷史數(shù)據(jù)據(jù)存儲（HDS）操作數(shù)據(jù)據(jù)存儲（ODS）主數(shù)據(jù)ETL數(shù)據(jù)質(zhì)量管理業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)據(jù)倉庫庫應(yīng)用平平臺應(yīng)用服務(wù)層元數(shù)據(jù)訪問服務(wù) BI工具引擎報表查詢決策支持應(yīng)用層（Portal）EDWDDS對外接口口數(shù)據(jù)交換換平臺數(shù)據(jù)挖掘掘與分析系系統(tǒng)其它應(yīng)用用元數(shù)據(jù)管理OLAPADSDM數(shù)據(jù)倉庫庫-案例5歷史數(shù)據(jù)據(jù)存儲（HDS）操作數(shù)據(jù)據(jù)存儲（ODS）主數(shù)據(jù)ETL數(shù)據(jù)質(zhì)量管理業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)存儲儲平臺數(shù)