數(shù)據(jù)倉(cāng)庫(kù)概述和設(shè)計(jì)

1、7/4/2022大數(shù)據(jù)培訓(xùn)-數(shù)據(jù)倉(cāng)庫(kù)概述v講師：楊勇 v2015年7月v電話：133820447287/4/2022數(shù)據(jù)倉(cāng)庫(kù)提綱v 數(shù)據(jù)倉(cāng)庫(kù)概念v 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及組件v 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)v 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（與數(shù)據(jù)庫(kù)技術(shù)的區(qū)別）7/4/2022基本概念數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生背景v 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是隨著人們對(duì)大型數(shù)據(jù)庫(kù)系統(tǒng)研究的不斷深入,在傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)基礎(chǔ)之上發(fā)展而來的,其主要目的就是為決策提供支持為決策提供支持,為為OLAP、數(shù)據(jù)挖掘深層次的分析提供、數(shù)據(jù)挖掘深層次的分析提供平臺(tái)平臺(tái)。v 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)和實(shí)際應(yīng)用密不可分的研究領(lǐng)域，與傳統(tǒng)數(shù)據(jù)庫(kù)相比，數(shù)據(jù)倉(cāng)庫(kù)不僅引入了許多新的概念，而且在體系結(jié)構(gòu)、數(shù)據(jù)組織體

2、系結(jié)構(gòu)、數(shù)據(jù)組織等方面，均有其自身的特點(diǎn)。7/4/2022基本概念數(shù)據(jù)倉(cāng)庫(kù)定義 數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）是一個(gè)面向主題的（Subject Oriented ）、集成的（Integrated）、相對(duì)穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，主要用于支持管理決策和信息的全局共享。 -數(shù)據(jù)倉(cāng)庫(kù)之父Bill Inmon在1991年出版的“Building the Data Warehouse”（建立數(shù)據(jù)倉(cāng)庫(kù)） 7/4/2022基本概念數(shù)據(jù)倉(cāng)庫(kù)特征Inmon,1996v 面向主題u 一個(gè)主題領(lǐng)域的表來源于多個(gè)操作型應(yīng)用（如：客戶主題，來源于：

3、定單處理；應(yīng)收帳目；應(yīng)付帳目；）u 典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目u 主題領(lǐng)域以一組相關(guān)的表來具體實(shí)現(xiàn)u 相關(guān)的表通過公共的鍵碼聯(lián)系起來（如：顧客標(biāo)識(shí)號(hào)Customer ID）u 每個(gè)鍵碼都有時(shí)間元素（從日期到日期；每月累積；單獨(dú)日期）u 主題內(nèi)數(shù)據(jù)可以存儲(chǔ)在不同介質(zhì)上（綜合級(jí)，細(xì)節(jié)級(jí)，多粒度）v 集成 數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載v 穩(wěn)定性 批處理增加，倉(cāng)庫(kù)已經(jīng)存在的數(shù)據(jù)不會(huì)改變v 隨時(shí)間而變化（時(shí)間維）v 管理決策支持7/4/2022基本概念Data Mart, ODSvData Mart 數(shù)據(jù)集市 - 小型的，面向部門或工作組級(jí)數(shù)據(jù)倉(cāng)庫(kù)。vOperation Data Store

4、操作數(shù)據(jù)存儲(chǔ) ODS是能支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合,是不同于DB的一種新的數(shù)據(jù)環(huán)境, 是DW 擴(kuò)展后得到的一個(gè)混合形式。四個(gè)基本特點(diǎn)：面向主題的(Subject -Oriented)、集成的、可變的、 當(dāng)前或接近當(dāng)前的。7/4/2022基本概念ETL, 元數(shù)據(jù)，粒度，分割vETL（也有ELT） ETL（Extract/Transformation/Load）數(shù)據(jù)裝載、轉(zhuǎn)換、抽取工具。Microsoft DTS; IBM Visual Warehouse etc.v元數(shù)據(jù) 關(guān)于數(shù)據(jù)的數(shù)據(jù)，用于構(gòu)造、維持、管理、和使用數(shù)據(jù)倉(cāng)庫(kù)，在數(shù)據(jù)倉(cāng)庫(kù)中尤為重要。v粒度 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化

5、或綜合程度的級(jí)別。細(xì)化程度越高，粒度越小。v分割 數(shù)據(jù)分散到各自的物理單元中去，它們能獨(dú)立地處理。7/4/2022數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)建設(shè)過程，而不是一個(gè)產(chǎn)品。數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)是通過對(duì)來自不同的數(shù)據(jù)源進(jìn)行統(tǒng)一處理及管理，通過靈活的展現(xiàn)是通過對(duì)來自不同的數(shù)據(jù)源進(jìn)行統(tǒng)一處理及管理，通過靈活的展現(xiàn)方法來幫助決策支持。方法來幫助決策支持。數(shù)據(jù)倉(cāng)庫(kù)最新理解數(shù)據(jù)數(shù)據(jù)信息信息知識(shí)知識(shí)決策決策獲取管理使用7/4/2022數(shù)據(jù)倉(cāng)庫(kù)提綱v 數(shù)據(jù)倉(cāng)庫(kù)概念v 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及組件v 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)v 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（與數(shù)據(jù)庫(kù)技術(shù)的區(qū)別）7/4/2022數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及組件v 體系結(jié)構(gòu)v ETL工具v 元數(shù)據(jù)庫(kù)(Rep

6、ository)及元數(shù)據(jù)管理v 數(shù)據(jù)訪問和分析工具7/4/2022體系結(jié)構(gòu) 源數(shù)據(jù)庫(kù)系統(tǒng)源數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)抽取、轉(zhuǎn)換加載數(shù)據(jù)抽取、轉(zhuǎn)換加載WarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadata數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)訪問與分析數(shù)據(jù)訪問與分析中央數(shù)據(jù)倉(cāng)庫(kù)中央數(shù)據(jù)倉(cāng)庫(kù)Central DataWarehouseMid-TierMid-TierDataMartDataMartLocal MetadataLocal MetadataLocal MetadataMetadataExchangeMDBDataCle

7、ansingToolRelationalAppl. PackageLegacyExternalRDBMSRDBMS7/4/2022帶ODS的體系結(jié)構(gòu)源數(shù)據(jù)庫(kù)系統(tǒng)源數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)抽取、轉(zhuǎn)換、加載數(shù)據(jù)抽取、轉(zhuǎn)換、加載WarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadata數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)訪問與分析數(shù)據(jù)訪問與分析中央數(shù)據(jù)倉(cāng)庫(kù)和中央數(shù)據(jù)倉(cāng)庫(kù)和ODSCentral DataWarehouseMid-TierRDBMSDataMartMid-TierRDBMSDataMartLocal MetadataL

8、ocal MetadataLocal MetadataMetadataExchangeODSOLTPToolsDataCleansingToolRelationalAppl. PackageLegacyExternalMDBEnd-UserDW Tools7/4/2022一個(gè)實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)的完整架構(gòu)數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換中央數(shù)據(jù)倉(cāng)庫(kù)中央數(shù)據(jù)倉(cāng)庫(kù)信息展現(xiàn)信息展現(xiàn)業(yè)務(wù)用戶業(yè)務(wù)用戶源數(shù)據(jù)源數(shù)據(jù)數(shù)據(jù)獲取數(shù)據(jù)獲取數(shù)據(jù)管理數(shù)據(jù)管理數(shù)據(jù)使用數(shù)據(jù)使用項(xiàng)目管理 數(shù)據(jù)倉(cāng)庫(kù)實(shí)施指導(dǎo)方法論業(yè)務(wù)規(guī)劃 信息評(píng)估 邏輯數(shù)據(jù) 模型設(shè)計(jì) 物理數(shù)據(jù)模型設(shè)計(jì)數(shù)據(jù)庫(kù)管理 元數(shù)據(jù)管理 應(yīng)用開發(fā) 顧問咨詢 知識(shí)轉(zhuǎn)移 營(yíng)銷系統(tǒng)營(yíng)銷系統(tǒng)財(cái)務(wù)系統(tǒng)財(cái)

9、務(wù)系統(tǒng)物資系統(tǒng)物資系統(tǒng)PMS系統(tǒng)系統(tǒng)抽取轉(zhuǎn)化過濾加載隨即查詢隨即查詢報(bào)表報(bào)表多維分析多維分析數(shù)據(jù)挖掘數(shù)據(jù)挖掘Portal集成集成RelationalTransformationOLAPData Mining數(shù)據(jù)集市企業(yè)級(jí)企業(yè)級(jí)EDW直接用戶直接用戶(客戶端客戶端)Olap用戶用戶Web用戶用戶應(yīng)用應(yīng)用服務(wù)器服務(wù)器決策者分析員研究員查詢?nèi)藛T7/4/2022數(shù)據(jù)倉(cāng)庫(kù)的焦點(diǎn)問題-數(shù)據(jù)的獲得、存儲(chǔ)和使用RelationalPackageLegacyExternalsourceDataCleanToolDataStagingEnterprise DataWarehouse DatamartDatamar

10、tRDBMSROLAPRDBMSEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserTool7/4/2022ETL工具v 去掉操作型數(shù)據(jù)庫(kù)中的不需要的數(shù)據(jù)v 統(tǒng)一轉(zhuǎn)換數(shù)據(jù)的名稱和定義v 計(jì)算匯總數(shù)據(jù)和派生數(shù)據(jù)v 估計(jì)遺失數(shù)據(jù)的缺省值v 調(diào)節(jié)源數(shù)據(jù)的定義變化 7/4/2022ETL工具體系結(jié)構(gòu)7/4/2022元數(shù)據(jù)庫(kù)及元數(shù)據(jù)管理v元數(shù)據(jù)分類：技術(shù)元數(shù)據(jù)；商業(yè)元數(shù)據(jù)；數(shù)據(jù)倉(cāng)庫(kù)操作型信息。-Alex Berson etc, 1999v技術(shù)元數(shù)據(jù) 包括為數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)人員和管理員使用的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)信息，用于執(zhí)行數(shù)據(jù)倉(cāng)庫(kù)開發(fā)和管理任務(wù)。包括： 數(shù)據(jù)源信息 轉(zhuǎn)換描述

11、（從操作數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的映射方法，以及轉(zhuǎn)換數(shù)據(jù)的算法） 目標(biāo)數(shù)據(jù)的倉(cāng)庫(kù)對(duì)象和數(shù)據(jù)結(jié)構(gòu)定義 數(shù)據(jù)清洗和數(shù)據(jù)增加的規(guī)則 數(shù)據(jù)映射操作 訪問權(quán)限，備份歷史，存檔歷史，信息傳輸歷史，數(shù)據(jù)獲取歷史，數(shù)據(jù)訪問，等等7/4/2022元數(shù)據(jù)庫(kù)及元數(shù)據(jù)管理v 商業(yè)元數(shù)據(jù) 給用戶易于理解的信息，包括： 主題區(qū)和信息對(duì)象類型，包括查詢、報(bào)表、圖像、音頻、視頻等 Internet主頁(yè) 支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)的其它信息，例如對(duì)于信息傳輸系統(tǒng)包括預(yù)約信息、調(diào)度信息、傳送目標(biāo)的詳細(xì)描述、商業(yè)查詢對(duì)象，等v數(shù)據(jù)倉(cāng)庫(kù)操作型信息 例如，數(shù)據(jù)歷史（快照，版本），擁有權(quán)，抽取的審計(jì)軌跡，數(shù)據(jù)用法 7/4/2022數(shù)據(jù)訪問和分析工具v 報(bào)表v

12、 OLAPv 數(shù)據(jù)挖掘7/4/2022數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)v 自上而下（Top-Down）v 自底而上（Bottom Up）v 混合的方法v 數(shù)據(jù)倉(cāng)庫(kù)建模7/4/2022自上而下設(shè)計(jì)方法v 建立企業(yè)數(shù)據(jù)倉(cāng)庫(kù)H通用數(shù)據(jù)模型通用數(shù)據(jù)模型H數(shù)據(jù)重新執(zhí)行數(shù)據(jù)重新執(zhí)行H減少冗余和不一致減少冗余和不一致 H詳細(xì)和歷史數(shù)據(jù)詳細(xì)和歷史數(shù)據(jù); 全局?jǐn)?shù)據(jù)知識(shí)發(fā)現(xiàn)全局?jǐn)?shù)據(jù)知識(shí)發(fā)現(xiàn)v 根據(jù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)（EDW）建立數(shù)據(jù)集市H部門級(jí)數(shù)據(jù)倉(cāng)庫(kù)部門級(jí)數(shù)據(jù)倉(cāng)庫(kù)H主要為匯總數(shù)據(jù)主要為匯總數(shù)據(jù)H直接依賴有效的數(shù)據(jù)倉(cāng)庫(kù)直接依賴有效的數(shù)據(jù)倉(cāng)庫(kù)外部數(shù)據(jù)外部數(shù)據(jù)操作數(shù)據(jù)操作數(shù)據(jù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)7/4/2022自底而上設(shè)計(jì)方法l創(chuàng)建部門的

13、數(shù)據(jù)集市l(wèi)范圍局限于一個(gè)主題區(qū)域范圍局限于一個(gè)主題區(qū)域l快速的快速的 ROI - 局部的商業(yè)需求得局部的商業(yè)需求得到滿足到滿足l本部門自治本部門自治 - 設(shè)計(jì)上具有靈活性設(shè)計(jì)上具有靈活性l對(duì)其他部門數(shù)據(jù)集市是一個(gè)好的對(duì)其他部門數(shù)據(jù)集市是一個(gè)好的指導(dǎo)指導(dǎo)l容易復(fù)制到其他部門容易復(fù)制到其他部門 l需要為每個(gè)部門做數(shù)據(jù)重建需要為每個(gè)部門做數(shù)據(jù)重建l有一定級(jí)別的冗余和不一致性有一定級(jí)別的冗余和不一致性l一個(gè)切實(shí)可行的方法一個(gè)切實(shí)可行的方法l擴(kuò)大到企業(yè)數(shù)據(jù)倉(cāng)庫(kù)l 創(chuàng)建創(chuàng)建EDB作為一個(gè)長(zhǎng)期的目標(biāo)作為一個(gè)長(zhǎng)期的目標(biāo)局部數(shù)據(jù)集市局部數(shù)據(jù)集市外部數(shù)據(jù)外部數(shù)據(jù)操作型數(shù)據(jù)操作型數(shù)據(jù) (全部全部)操作型數(shù)據(jù)操作型數(shù)

14、據(jù)(局部局部)操作型數(shù)據(jù)操作型數(shù)據(jù)(局部局部)局部數(shù)據(jù)集市局部數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉(cāng)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)EDB7/4/2022數(shù)據(jù)倉(cāng)庫(kù)建模 星型模式DateMonthYearDateCustIdCustNameCustCityCustCountryCust銷售事實(shí)表 Date Product Store Customer unit_sales dollar_sales Yen_sales度量ProductNoProdNameProdDescCategoryQOHProductStoreIDCityStateCountryRegionStore7/4/2022數(shù)據(jù)倉(cāng)庫(kù)建模 雪花模式 DateMonthDateCustIdCustNameCustCityCustCountryCustSales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_sales度量ProductNoProdNameProdDescCategor