數據倉庫概述和設計

1、2/23/2022大數據培訓-數據倉庫概述v講師：楊勇 v2015年7月v電話：133820447282/23/2022數據倉庫提綱v 數據倉庫概念v 數據倉庫體系結構及組件v 數據倉庫設計v 數據倉庫技術（與數據庫技術的區(qū)別）2/23/2022基本概念數據倉庫產生背景v 數據倉庫技術是隨著人們對大型數據庫系統(tǒng)研究的不斷深入,在傳統(tǒng)數據庫技術基礎之上發(fā)展而來的,其主要目的就是為決策提供支持為決策提供支持,為為OLAP、數據挖掘深層次的分析提供、數據挖掘深層次的分析提供平臺平臺。v 數據倉庫是一個和實際應用密不可分的研究領域，與傳統(tǒng)數據庫相比，數據倉庫不僅引入了許多新的概念，而且在體系結構、數據

2、組織體系結構、數據組織等方面，均有其自身的特點。2/23/2022基本概念數據倉庫定義 數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented ）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，主要用于支持管理決策和信息的全局共享。 -數據倉庫之父Bill Inmon在1991年出版的“Building the Data Warehouse”（建立數據倉庫） 2/23/2022基本概念數據倉庫特征Inmon,1996v 面向主題u 一個主題領域的表來源于多個操作型應用（如：客戶主題

3、，來源于：定單處理；應收帳目；應付帳目；）u 典型的主題領域：客戶；產品；交易；帳目u 主題領域以一組相關的表來具體實現u 相關的表通過公共的鍵碼聯系起來（如：顧客標識號Customer ID）u 每個鍵碼都有時間元素（從日期到日期；每月累積；單獨日期）u 主題內數據可以存儲在不同介質上（綜合級，細節(jié)級，多粒度）v 集成 數據提取、凈化、轉換、裝載v 穩(wěn)定性 批處理增加，倉庫已經存在的數據不會改變v 隨時間而變化（時間維）v 管理決策支持2/23/2022基本概念Data Mart, ODSvData Mart 數據集市 - 小型的，面向部門或工作組級數據倉庫。vOperation Data

4、Store 操作數據存儲 ODS是能支持企業(yè)日常的全局應用的數據集合,是不同于DB的一種新的數據環(huán)境, 是DW 擴展后得到的一個混合形式。四個基本特點：面向主題的(Subject -Oriented)、集成的、可變的、 當前或接近當前的。2/23/2022基本概念ETL, 元數據，粒度，分割vETL（也有ELT） ETL（Extract/Transformation/Load）數據裝載、轉換、抽取工具。Microsoft DTS; IBM Visual Warehouse etc.v元數據 關于數據的數據，用于構造、維持、管理、和使用數據倉庫，在數據倉庫中尤為重要。v粒度 數據倉庫的數據單位中

5、保存數據的細化或綜合程度的級別。細化程度越高，粒度越小。v分割 數據分散到各自的物理單元中去，它們能獨立地處理。2/23/2022數據 數據倉庫是一個建設過程，而不是一個產品。數據倉庫數據倉庫是通過對來自不同的數據源進行統(tǒng)一處理及管理，通過靈活的展現是通過對來自不同的數據源進行統(tǒng)一處理及管理，通過靈活的展現方法來幫助決策支持。方法來幫助決策支持。數據倉庫最新理解數據數據信息信息知識知識決策決策獲取管理使用2/23/2022數據倉庫提綱v 數據倉庫概念v 數據倉庫體系結構及組件v 數據倉庫設計v 數據倉庫技術（與數據庫技術的區(qū)別）2/23/2022數據倉庫體系結構及組件v 體系結構v ETL工具

6、v 元數據庫(Repository)及元數據管理v 數據訪問和分析工具2/23/2022體系結構 源數據庫系統(tǒng)源數據庫系統(tǒng)數據抽取、轉換加載數據抽取、轉換加載WarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadata數據集市數據集市數據訪問與分析數據訪問與分析中央數據倉庫中央數據倉庫Central DataWarehouseMid-TierMid-TierDataMartDataMartLocal MetadataLocal MetadataLocal MetadataMetadataExchang

7、eMDBDataCleansingToolRelationalAppl. PackageLegacyExternalRDBMSRDBMS2/23/2022帶ODS的體系結構源數據庫系統(tǒng)源數據庫系統(tǒng)數據抽取、轉換、加載數據抽取、轉換、加載WarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadata數據集市數據集市數據訪問與分析數據訪問與分析中央數據倉庫和中央數據倉庫和ODSCentral DataWarehouseMid-TierRDBMSDataMartMid-TierRDBMSDataMartLoc

8、al MetadataLocal MetadataLocal MetadataMetadataExchangeODSOLTPToolsDataCleansingToolRelationalAppl. PackageLegacyExternalMDBEnd-UserDW Tools2/23/2022一個實際的數據倉庫的完整架構數據轉換數據轉換中央數據倉庫中央數據倉庫信息展現信息展現業(yè)務用戶業(yè)務用戶源數據源數據數據獲取數據獲取數據管理數據管理數據使用數據使用項目管理 數據倉庫實施指導方法論業(yè)務規(guī)劃 信息評估 邏輯數據 模型設計 物理數據模型設計數據庫管理 元數據管理 應用開發(fā) 顧問咨詢 知識轉移

9、營銷系統(tǒng)營銷系統(tǒng)財務系統(tǒng)財務系統(tǒng)物資系統(tǒng)物資系統(tǒng)PMS系統(tǒng)系統(tǒng)抽取轉化過濾加載隨即查詢隨即查詢報表報表多維分析多維分析數據挖掘數據挖掘Portal集成集成RelationalTransformationOLAPData Mining數據集市企業(yè)級企業(yè)級EDW直接用戶直接用戶(客戶端客戶端)Olap用戶用戶Web用戶用戶應用應用服務器服務器決策者分析員研究員查詢人員2/23/2022數據倉庫的焦點問題-數據的獲得、存儲和使用RelationalPackageLegacyExternalsourceDataCleanToolDataStagingEnterprise DataWarehouse D

10、atamartDatamartRDBMSROLAPRDBMSEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserTool2/23/2022ETL工具v 去掉操作型數據庫中的不需要的數據v 統(tǒng)一轉換數據的名稱和定義v 計算匯總數據和派生數據v 估計遺失數據的缺省值v 調節(jié)源數據的定義變化 2/23/2022ETL工具體系結構2/23/2022元數據庫及元數據管理v元數據分類：技術元數據；商業(yè)元數據；數據倉庫操作型信息。-Alex Berson etc, 1999v技術元數據 包括為數據倉庫設計人員和管理員使用的數據倉庫數據信息，用于執(zhí)行數據倉庫開發(fā)和管理

11、任務。包括： 數據源信息 轉換描述（從操作數據庫到數據倉庫的映射方法，以及轉換數據的算法） 目標數據的倉庫對象和數據結構定義 數據清洗和數據增加的規(guī)則 數據映射操作 訪問權限，備份歷史，存檔歷史，信息傳輸歷史，數據獲取歷史，數據訪問，等等2/23/2022元數據庫及元數據管理v 商業(yè)元數據 給用戶易于理解的信息，包括： 主題區(qū)和信息對象類型，包括查詢、報表、圖像、音頻、視頻等 Internet主頁 支持數據倉庫的其它信息，例如對于信息傳輸系統(tǒng)包括預約信息、調度信息、傳送目標的詳細描述、商業(yè)查詢對象，等v數據倉庫操作型信息 例如，數據歷史（快照，版本），擁有權，抽取的審計軌跡，數據用法 2/23

12、/2022數據訪問和分析工具v 報表v OLAPv 數據挖掘2/23/2022數據倉庫設計v 自上而下（Top-Down）v 自底而上（Bottom Up）v 混合的方法v 數據倉庫建模2/23/2022自上而下設計方法v 建立企業(yè)數據倉庫H通用數據模型通用數據模型H數據重新執(zhí)行數據重新執(zhí)行H減少冗余和不一致減少冗余和不一致 H詳細和歷史數據詳細和歷史數據; 全局數據知識發(fā)現全局數據知識發(fā)現v 根據企業(yè)數據倉庫（EDW）建立數據集市H部門級數據倉庫部門級數據倉庫H主要為匯總數據主要為匯總數據H直接依賴有效的數據倉庫直接依賴有效的數據倉庫外部數據外部數據操作數據操作數據企業(yè)數據倉庫企業(yè)數據倉庫2

13、/23/2022自底而上設計方法l創(chuàng)建部門的數據集市l(wèi)范圍局限于一個主題區(qū)域范圍局限于一個主題區(qū)域l快速的快速的 ROI - 局部的商業(yè)需求得局部的商業(yè)需求得到滿足到滿足l本部門自治本部門自治 - 設計上具有靈活性設計上具有靈活性l對其他部門數據集市是一個好的對其他部門數據集市是一個好的指導指導l容易復制到其他部門容易復制到其他部門 l需要為每個部門做數據重建需要為每個部門做數據重建l有一定級別的冗余和不一致性有一定級別的冗余和不一致性l一個切實可行的方法一個切實可行的方法l擴大到企業(yè)數據倉庫l 創(chuàng)建創(chuàng)建EDB作為一個長期的目標作為一個長期的目標局部數據集市局部數據集市外部數據外部數據操作型數

14、據操作型數據 (全部全部)操作型數據操作型數據(局部局部)操作型數據操作型數據(局部局部)局部數據集市局部數據集市企業(yè)數據倉庫企業(yè)數據倉庫EDB2/23/2022數據倉庫建模 星型模式DateMonthYearDateCustIdCustNameCustCityCustCountryCust銷售事實表 Date Product Store Customer unit_sales dollar_sales Yen_sales度量ProductNoProdNameProdDescCategoryQOHProductStoreIDCityStateCountryRegionStore2/23/2022數據倉庫建模 雪花模式 DateMonthDateCustIdCustNameCustCityCustCountryCustSales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_sales度量ProductNoProdNameProdDescCategoryQOH