數(shù)據(jù)倉庫基本概念課件

1、數(shù)據(jù)倉庫基本概念2022/7/26數(shù)據(jù)倉庫基本概念數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.2數(shù)據(jù)倉庫定義及基本特性1.3數(shù)據(jù)倉庫與決策支持系統(tǒng)1.4數(shù)據(jù)倉庫體系結(jié)構(gòu)1.5數(shù)據(jù)倉庫相關(guān)概念數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場(chǎng)競(jìng)爭(zhēng)的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計(jì)算機(jī)去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價(jià)值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔(dān)這一責(zé)任。因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的

2、問題和決策數(shù)據(jù)操作的問題。數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于決策支持應(yīng)用事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動(dòng)態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作型環(huán)境和分析型環(huán)境的分離:數(shù)據(jù)抽取數(shù)據(jù)倉庫基本概念現(xiàn)實(shí)生活中面臨的問題人們?cè)谌粘Ｉ钪薪?jīng)常會(huì)遇到這樣的情況：超市的經(jīng)營(yíng)者希望將經(jīng)常被同時(shí)購買的商品放在一起，以增加銷售；保險(xiǎn)公司想知道購買保險(xiǎn)的客戶一般具有哪些特征；醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；數(shù)據(jù)倉庫基本概念企業(yè)面臨的問題經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場(chǎng)積累，許多企業(yè)保存了大

3、量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù), 它是企業(yè)生產(chǎn)經(jīng)營(yíng)活動(dòng)的真實(shí)記錄由于缺乏集中存儲(chǔ)和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用, 不能進(jìn)行有效的統(tǒng)計(jì)、分析及評(píng)估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息數(shù)據(jù)倉庫基本概念數(shù)據(jù)爆炸問題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中 。我們會(huì)淹死在數(shù)據(jù)中, 但卻為信息、知識(shí)所餓! 數(shù)據(jù)倉庫基本概念面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃光點(diǎn)？如何使您的企業(yè)或組織在激烈的市場(chǎng)競(jìng)爭(zhēng)中保持對(duì)客戶的吸引力？如何預(yù)先發(fā)現(xiàn)和避免企業(yè)運(yùn)作過程中不易察覺的商業(yè)風(fēng)險(xiǎn)？數(shù)據(jù)倉庫基本概念數(shù)據(jù)倉庫應(yīng)運(yùn)而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和

4、OLTP技術(shù)發(fā)展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物；目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策服務(wù)。數(shù)據(jù)倉庫基本概念討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動(dòng)力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動(dòng)還是需求驅(qū)動(dòng)的?數(shù)據(jù)倉庫基本概念“我們花了20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿出來的時(shí)候了。” -著名的數(shù)據(jù)倉庫專家Ralph Kimball市場(chǎng)需求是技術(shù)發(fā)展的源動(dòng)力數(shù)據(jù)倉庫基本概念1.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義1.2.2數(shù)據(jù)倉庫基本特性數(shù)據(jù)倉庫基本概念1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（Data Warehouse）是一個(gè)面向主題的（Subject Oriented）集成的（Int

5、egrate）相對(duì)穩(wěn)定的（Non-Volatile）反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫基本概念1.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。數(shù)據(jù)倉庫之父-Bill Inmon數(shù)據(jù)倉庫基本概念1.2數(shù)據(jù)倉庫基本特性面向主題性數(shù)據(jù)集成性數(shù)據(jù)的時(shí)變性數(shù)據(jù)的非易失性數(shù)據(jù)倉庫基本概念面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。 確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。 不同的主題之間可能會(huì)出現(xiàn)相互重疊的信息。 主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進(jìn)

6、行存儲(chǔ)。主題的劃分中，必須保證每一個(gè)主題的獨(dú)立性。 數(shù)據(jù)倉庫基本概念數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。 業(yè)務(wù)數(shù)據(jù)庫1業(yè)務(wù)數(shù)據(jù)庫2業(yè)務(wù)數(shù)據(jù)庫n數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載數(shù)據(jù)倉庫基本概念數(shù)據(jù)的時(shí)變性數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化，不斷地生成主題的新快照。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)Tn時(shí)點(diǎn)主題數(shù)據(jù)數(shù)據(jù)倉庫基本概念數(shù)據(jù)的非易失性數(shù)據(jù)的相對(duì)穩(wěn)定性。數(shù)據(jù)倉庫中的數(shù)據(jù)只進(jìn)行刷新，從不進(jìn)行更新處理。反映歷史變化。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加

7、載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)Tn時(shí)點(diǎn)主題數(shù)據(jù)時(shí)間戳鎖定數(shù)據(jù)數(shù)據(jù)倉庫基本概念討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？數(shù)據(jù)倉庫基本概念數(shù)據(jù)庫與數(shù)據(jù)倉庫的對(duì)比對(duì)比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡(jiǎn)單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個(gè)事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對(duì)響應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位數(shù)據(jù)倉庫基本概念1.3數(shù)據(jù)倉庫與決策支持系統(tǒng)決策支持系統(tǒng)的發(fā)展階段初始階

8、段（DSS階段）與專家系統(tǒng)結(jié)合階段（IDSS階段）基于數(shù)據(jù)倉庫技術(shù)階段（BI階段）基于數(shù)據(jù)倉庫的決策支持系統(tǒng)數(shù)據(jù)倉庫基本概念DSS的先天不足DSS的先天不足決策所需信息不足，難以滿足決策支持系統(tǒng)的需要。模型庫提供的分析能力有限 人機(jī)接口部件占整個(gè)DSS開發(fā)工作量的一半 ，成為DSS實(shí)施中的一個(gè)瓶頸。數(shù)據(jù)倉庫基本概念基于數(shù)據(jù)倉庫的DSS基于數(shù)據(jù)倉庫的DSS數(shù)據(jù)倉庫為DSS的發(fā)展開辟了新途徑目前DSS的開發(fā)模式（BI解決方案）以數(shù)據(jù)倉庫技術(shù)為基礎(chǔ)以聯(lián)機(jī)分析、數(shù)據(jù)挖掘工具為手段數(shù)據(jù)倉庫基本概念1.4數(shù)據(jù)倉庫體系結(jié)構(gòu)接口數(shù)據(jù)倉庫管理環(huán)境細(xì)節(jié)級(jí)數(shù)據(jù)數(shù)據(jù)集市1數(shù)據(jù)集市2數(shù)據(jù)集市nETL邏輯 數(shù)據(jù)倉庫組織與

9、管理 數(shù)據(jù)利用元數(shù)據(jù)(MetaData)數(shù)據(jù)集市x主題數(shù)據(jù)主題數(shù)據(jù)主題數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)系統(tǒng)市場(chǎng)調(diào)查信息數(shù)據(jù)源外部數(shù)據(jù)OLAPDataMiningForecasting應(yīng)用環(huán)境專家經(jīng)驗(yàn)數(shù)據(jù)數(shù)據(jù)倉庫基本概念1.4.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識(shí)挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)集市/知識(shí)挖掘庫業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具應(yīng)用工具數(shù)據(jù)集市/知識(shí)挖掘庫數(shù)據(jù)倉庫基本概念1.4.2 虛擬數(shù)據(jù)倉庫結(jié)構(gòu)虛擬數(shù)據(jù)倉庫利用描述了業(yè)務(wù)系統(tǒng)中數(shù)據(jù)位置和抽取數(shù)據(jù)算法的元數(shù)據(jù)直接從業(yè)務(wù)系統(tǒng)中抽取查詢的數(shù)據(jù)進(jìn)行概括、聚合

10、操作后，將最終結(jié)果提供給用戶。 用戶圖1.2 虛擬數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫基本概念1.4.3數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是按照主題進(jìn)行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個(gè)獨(dú)立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲(chǔ)在同一數(shù)據(jù)倉庫中，每個(gè)主題有自己的物理存儲(chǔ)區(qū)。 數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題2數(shù)據(jù)倉庫基本概念1.4.4單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個(gè)大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標(biāo)準(zhǔn)抽取到獨(dú)立的數(shù)據(jù)倉庫中，用戶在使用時(shí)再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。 數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)

11、據(jù)集市2數(shù)據(jù)倉庫基本概念1.4.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)在企業(yè)各個(gè)分公司具有相當(dāng)大的獨(dú)立性時(shí)，企業(yè)總部設(shè)置一個(gè)全局?jǐn)?shù)據(jù)倉庫，各個(gè)分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲(chǔ)各自的未經(jīng)轉(zhuǎn)換的細(xì)節(jié)數(shù)據(jù)，全局?jǐn)?shù)據(jù)倉庫中主要存儲(chǔ)經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)。 站點(diǎn)A 站點(diǎn)B 總部 站點(diǎn)C 站點(diǎn)D 站點(diǎn)C 站點(diǎn)D全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫數(shù)據(jù)倉庫基本概念討論話題三數(shù)據(jù)倉庫、數(shù)據(jù)集市、分析主題的關(guān)系是什么？在數(shù)據(jù)集市間如何保證數(shù)據(jù)的一致性？數(shù)據(jù)倉庫基本概念1.5數(shù)據(jù)倉庫相關(guān)概念BI(商務(wù)智能)ETL（抽取、轉(zhuǎn)換、加載）META DATA（元數(shù)據(jù)）DATA MART(數(shù)據(jù)集市)SU

12、BJECT(主題)DIMENSION(維度)數(shù)據(jù)倉庫基本概念商務(wù)智能簡(jiǎn)單定義 綜合企業(yè)所有沉淀下來的信息，用科學(xué)的分析方法，為企業(yè)領(lǐng)導(dǎo)提供科學(xué)決策信息的過程。 完整定義 基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)(DSS)。它 以數(shù)據(jù)倉庫（DW）技術(shù)為基礎(chǔ)，通過抽取、轉(zhuǎn)換和清洗將分散在企業(yè)各處的數(shù)據(jù)整合在一起，轉(zhuǎn)化為信息；進(jìn)而以聯(lián)機(jī)分析處理（OLAP）工具、數(shù)據(jù)挖掘（DM）工具、報(bào)表工具為手段將信息提升為知識(shí)；最后運(yùn)用可視化技術(shù)以快捷直觀的方式將探察分析結(jié)果呈現(xiàn)給最終用戶，為管理決策層提供量化依據(jù)的過程。數(shù)據(jù)倉庫基本概念ETL抽取、轉(zhuǎn)換、加載（ETL） 數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換Transform）

13、、清洗（Cleansing）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。數(shù)據(jù)倉庫基本概念元數(shù)據(jù)元數(shù)據(jù)（Meta Data）關(guān)于數(shù)據(jù)倉庫的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標(biāo)定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時(shí)元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息，所有這些信息都應(yīng)當(dāng)妥善保存，并很好地管理。為數(shù)據(jù)倉庫的發(fā)展和使用提供方便。數(shù)據(jù)倉庫基本概念數(shù)據(jù)集市數(shù)據(jù)集市（Data mart）即”小數(shù)據(jù)倉庫”。如果說數(shù)據(jù)倉庫是建立在企業(yè)級(jí)的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)據(jù)倉庫的一個(gè)子