數(shù)據(jù)倉庫管理

數(shù)據(jù)倉庫管理數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫架構(gòu)分層01

數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫概述

數(shù)據(jù)倉庫，英文名稱為DataWarehouse，可簡寫為DW或DWH。數(shù)據(jù)倉庫，是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它出于分析性報告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進、監(jiān)視時間、成本、質(zhì)量以及控制。

什么是數(shù)據(jù)倉庫

數(shù)據(jù)倉庫概述

1年度銷售目標(biāo)的指定，根據(jù)以往的歷史報表進行決策。

2優(yōu)化業(yè)務(wù)流程

例如：一個電商網(wǎng)站訂單的完成包括：瀏覽、下單、支付、物流，其中物流環(huán)節(jié)可能和中通、申通、韻達等快遞公司合作。快遞公司每派送一個訂單，都會有訂單派送的確認時間，可以根據(jù)訂單派送時間來分析哪個快遞公司比較快捷高效，從而選擇與哪些快遞公司合作，剔除哪些快遞公司，增加用戶友好型。

數(shù)據(jù)倉庫能干什么？

數(shù)據(jù)倉庫概述1數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的2數(shù)據(jù)倉庫的數(shù)據(jù)是集成的3數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的4數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間不斷變化的數(shù)據(jù)倉庫能干什么？

02

數(shù)據(jù)倉庫架構(gòu)分層數(shù)據(jù)倉庫架構(gòu)分層

數(shù)據(jù)倉庫標(biāo)準上可以分為四層：ODS（臨時存儲層）

PDW（數(shù)據(jù)倉庫層）

DM（數(shù)據(jù)集市層）

APP（應(yīng)用層）

數(shù)據(jù)倉庫架構(gòu)

數(shù)據(jù)倉庫架構(gòu)分層臨時存儲層，是接口數(shù)據(jù)的臨時存儲區(qū)域，為后一步的數(shù)據(jù)處理做準備。一般來說ODS層的數(shù)據(jù)和源系統(tǒng)的數(shù)據(jù)是同構(gòu)的，主要目的是簡化后續(xù)數(shù)據(jù)加工處理的工作。從數(shù)據(jù)粒度上來說ODS層的數(shù)據(jù)粒度是最細的。ODS層的表通常包括兩類，一個用于存儲當(dāng)前需要加載的數(shù)據(jù)，一個用于存儲處理完后的歷史數(shù)據(jù)。歷史數(shù)據(jù)一般保存3-6個月后需要清除，以節(jié)省空間。但不同的項目要區(qū)別對待，如果源系統(tǒng)的數(shù)據(jù)量不大，可以保留更長的時間，甚至全量保存。1）ODS層：

數(shù)據(jù)倉庫架構(gòu)分層

數(shù)據(jù)倉庫層，PDW層的數(shù)據(jù)應(yīng)該是一致的、準確的、干凈的數(shù)據(jù)，即對源系統(tǒng)數(shù)據(jù)進行了清洗（去除了雜質(zhì)）后的數(shù)據(jù)。這一層的數(shù)據(jù)一般是遵循數(shù)據(jù)庫第三范式的，其數(shù)據(jù)粒度通常和ODS的粒度相同。在PDW層會保存BI系統(tǒng)中所有的歷史數(shù)據(jù)，例如保存10年的數(shù)據(jù)。2）PDW層：

數(shù)據(jù)倉庫架構(gòu)分層

數(shù)據(jù)集市層，這層數(shù)據(jù)是面向主題來組織數(shù)據(jù)的，通常是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來說，這層的數(shù)據(jù)是輕度匯總級的數(shù)據(jù)，已經(jīng)不存在明細數(shù)據(jù)了。從數(shù)據(jù)的時間跨度來說，通常是PDW層的一部分，主要的目的是為了滿足用戶分析的需求，而從分析的角度來說，用戶通常只需要分析近幾年（如近三年的數(shù)據(jù)）的即可。從數(shù)據(jù)的廣度來說，仍然覆蓋了所有業(yè)務(wù)數(shù)據(jù)。3）DM層：

數(shù)據(jù)倉庫架構(gòu)分層應(yīng)用層，這層數(shù)據(jù)是完全為了滿足具體的分析需求而構(gòu)建的數(shù)據(jù)，也是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來說是高度匯總的數(shù)據(jù)。從數(shù)據(jù)的廣度來說，則并不一定會覆蓋所有業(yè)務(wù)數(shù)據(jù)，而是DM層數(shù)據(jù)的一個真子集，從某種意義上來說是DM層數(shù)據(jù)的一個重復(fù)。從極端情況來說，可以為每一張報表在APP層構(gòu)建一個模型來支持，達到以空間換時間的目的.數(shù)據(jù)倉庫的標(biāo)準分層只是一個建議性質(zhì)的標(biāo)準，實際實施時需要根據(jù)