數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理

數(shù)據(jù)倉庫技術(shù)與聯(lián)機(jī)分析處理

DataWarehouse&OLAP數(shù)據(jù)庫處處理的兩兩大應(yīng)用用聯(lián)機(jī)事務(wù)務(wù)處理（OLTP）決策支持持系統(tǒng)（DSS）數(shù)據(jù)庫處處理的兩兩大應(yīng)用用聯(lián)機(jī)事務(wù)務(wù)處理（OLTP）操作型處處理，為為企業(yè)的的特定應(yīng)應(yīng)用服務(wù)務(wù)是對(duì)數(shù)據(jù)據(jù)庫的聯(lián)聯(lián)機(jī)的日日常操作作，通常常是對(duì)一一個(gè)或一一組記錄錄的查詢?cè)兒托薷母娜藗冴P(guān)心心的是響響應(yīng)時(shí)間間、數(shù)據(jù)據(jù)的安全全性和完完整性決策支持持系統(tǒng)（DSS）數(shù)據(jù)庫處處理的兩兩大應(yīng)用用聯(lián)機(jī)事務(wù)務(wù)處理（OLTP）決策支持持系統(tǒng)（DSS）分析型處處理，用用于管理理人員的的決策分分析經(jīng)常需要要訪問大大量的歷歷史數(shù)據(jù)據(jù)數(shù)據(jù)倉庫庫+聯(lián)聯(lián)機(jī)分分析處理理+數(shù)據(jù)據(jù)挖掘（DW+OLAP++DM）→→DSS數(shù)據(jù)倉庫庫是一個(gè)面面向主題題的、集集成的、、非易失失的（不不可修改改）且隨隨時(shí)間變變化的數(shù)數(shù)據(jù)集合合，用來來支持管管理人員員的決策策數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)面向主題題主題是在在較高層層次上對(duì)對(duì)數(shù)據(jù)抽抽象面向主題題的數(shù)據(jù)據(jù)組織分分為兩步步驟抽取主題題確定每個(gè)個(gè)主題所所包含的的數(shù)據(jù)內(nèi)內(nèi)容每個(gè)主題題在數(shù)據(jù)據(jù)倉庫中中都是由由一組關(guān)系系表實(shí)現(xiàn)的的集成的數(shù)據(jù)不可可更改隨時(shí)間變變化的數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)——面向主題題數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)面向主題題集成的數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)是從原原有的分分散數(shù)據(jù)據(jù)庫數(shù)據(jù)據(jù)中抽取取來的消除數(shù)據(jù)據(jù)表述的的不一致致性（數(shù)數(shù)據(jù)的清清洗）數(shù)據(jù)的綜綜合數(shù)據(jù)不可可更改隨時(shí)間變變化的數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)——集成數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)面向主題題集成的數(shù)據(jù)不可可更改數(shù)據(jù)倉庫庫的主要要數(shù)據(jù)操操作是查查詢、分分析不進(jìn)行一一般意義義上的數(shù)數(shù)據(jù)更新新（過期期數(shù)據(jù)可可能被刪刪除）數(shù)據(jù)倉庫庫強(qiáng)化查查詢、淡淡化并發(fā)發(fā)控制和和完整性性保護(hù)等等技術(shù)隨時(shí)間變變化的數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)——數(shù)據(jù)不可可更改數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)面向主題題集成的數(shù)據(jù)不可可更改隨時(shí)間變變化的不斷增加加新的數(shù)數(shù)據(jù)內(nèi)容容不斷刪除除舊的數(shù)數(shù)據(jù)內(nèi)容容定時(shí)綜合合數(shù)據(jù)倉庫庫中數(shù)據(jù)據(jù)表的鍵碼都包含時(shí)時(shí)間項(xiàng)，，以標(biāo)明明數(shù)據(jù)的的歷史時(shí)時(shí)期數(shù)據(jù)倉庫庫的特點(diǎn)點(diǎn)——隨時(shí)間變變化數(shù)據(jù)倉庫庫的結(jié)構(gòu)構(gòu)OLTP系統(tǒng)RDBMSSybaseVSAMSAP//ERP5-10年過去詳細(xì)數(shù)據(jù)據(jù)當(dāng)前詳細(xì)數(shù)據(jù)據(jù)輕度匯總數(shù)據(jù)據(jù)高度匯總數(shù)據(jù)據(jù)數(shù)據(jù)集市市分析型CRM業(yè)務(wù)指標(biāo)標(biāo)分析數(shù)據(jù)倉庫庫數(shù)據(jù)倉庫庫/決策策分析系系統(tǒng)EXCEL數(shù)據(jù)倉庫庫的結(jié)構(gòu)構(gòu)數(shù)據(jù)由操操作型環(huán)環(huán)境（綜綜合）導(dǎo)導(dǎo)入數(shù)據(jù)據(jù)倉庫數(shù)據(jù)具有有不同的的細(xì)節(jié)級(jí)級(jí)早期細(xì)節(jié)節(jié)級(jí)（過過期數(shù)據(jù)據(jù)）當(dāng)前細(xì)節(jié)節(jié)級(jí)輕度綜合合數(shù)據(jù)級(jí)級(jí)（數(shù)據(jù)據(jù)集市））高度綜合合數(shù)據(jù)級(jí)級(jí)數(shù)據(jù)倉庫庫建立的的過程粒度是指數(shù)據(jù)據(jù)倉庫的的數(shù)據(jù)單單位中保保存數(shù)據(jù)據(jù)的細(xì)化化或綜合合程度的的級(jí)別粒度級(jí)越越小，細(xì)細(xì)節(jié)程度度越高，，綜合程程度越低低，回答答查詢的的種類越越多粒度影響響數(shù)據(jù)倉倉庫中數(shù)數(shù)據(jù)量的的大小粒度問題題是設(shè)計(jì)計(jì)數(shù)據(jù)倉倉庫的一一個(gè)重要要方面雙重粒度度在數(shù)據(jù)倉倉庫的細(xì)細(xì)節(jié)級(jí)上上創(chuàng)建兩兩種粒度度短期儲(chǔ)存存的低粒粒度（真真實(shí)檔案案），滿滿足細(xì)節(jié)節(jié)查詢具有綜合合的高粒粒度（輕輕度綜合合），做做分析分割是指把數(shù)數(shù)據(jù)分散散到各自自的物理理單元中中去，以以便能分分別獨(dú)立立處理，，提高數(shù)數(shù)據(jù)處理理效率是粒度之之后的第第二個(gè)主主要設(shè)計(jì)計(jì)問題兩個(gè)層次次的分割割系統(tǒng)層：：DBMS，一一種定義義應(yīng)用層：：開發(fā)者者，多種種定義多種分割割的標(biāo)準(zhǔn)準(zhǔn)日期：最最常用的的地理位置置組織單位位…....數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)組織織形式簡單堆積積輪轉(zhuǎn)綜合合數(shù)據(jù)按一一定的格格式進(jìn)行行輪轉(zhuǎn)的的累加簡化直接接按一定的的時(shí)間間間隔，對(duì)對(duì)數(shù)據(jù)進(jìn)進(jìn)行提取取，是操操作型數(shù)數(shù)據(jù)的一一個(gè)快照照連續(xù)把新的快快照追加加到以前前的連續(xù)續(xù)數(shù)據(jù)上上去數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)組織織形式簡單堆積積每日由數(shù)數(shù)據(jù)庫中中提取并并加工的的數(shù)據(jù)逐逐天積累累堆積數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)組織織形式輪轉(zhuǎn)綜合合數(shù)據(jù)按一一定的格格式進(jìn)行行輪轉(zhuǎn)的的累加數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)組織織形式簡單堆積積與輪轉(zhuǎn)轉(zhuǎn)綜合的的比較數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)組織織形式簡化直接接按一定的的時(shí)間間間隔，對(duì)對(duì)數(shù)據(jù)進(jìn)進(jìn)行提取取，是操操作型數(shù)數(shù)據(jù)的一一個(gè)快照照數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)組織織形式連續(xù)把新的快快照追加加到以前前的連續(xù)續(xù)數(shù)據(jù)上上去數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)追加數(shù)據(jù)追加加數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)初裝完完成以后后，再向向數(shù)據(jù)倉倉庫輸入入數(shù)據(jù)的的過程稱稱為數(shù)據(jù)追加加變化數(shù)據(jù)據(jù)的捕獲獲時(shí)標(biāo)法：：加標(biāo)識(shí)識(shí)DELTA法：：對(duì)更新新作記錄錄前后映象象法：兩兩次快照照的對(duì)比比日志法：利用DBMS的日志志，需改改進(jìn)數(shù)據(jù)庫的的體系化化環(huán)境是在一個(gè)個(gè)企業(yè)或或組織內(nèi)內(nèi)部，由由各面向向應(yīng)用的的OLTP數(shù)據(jù)據(jù)庫及各各級(jí)面向向主題的的數(shù)據(jù)倉倉庫所組組成的完完整的數(shù)數(shù)據(jù)環(huán)境境操作型環(huán)環(huán)境、分分析型環(huán)環(huán)境四層體系系化環(huán)境境操作型環(huán)環(huán)境———OLTP全局級(jí)———數(shù)據(jù)據(jù)倉庫部門級(jí)———局部部倉庫個(gè)人級(jí)———個(gè)人人倉庫，，用于啟啟發(fā)式的的分析數(shù)據(jù)集市市（DataMart）特定的、、面向部部門的小小型數(shù)據(jù)據(jù)倉庫是為滿足足用戶特特定需求求而創(chuàng)建建的數(shù)據(jù)據(jù)倉庫是數(shù)據(jù)倉倉庫的子子集數(shù)據(jù)庫的的體系化化環(huán)境數(shù)據(jù)庫的的體系化化環(huán)境數(shù)據(jù)倉庫庫的開發(fā)發(fā)生命周周期數(shù)據(jù)倉庫庫的基本本數(shù)據(jù)模模式星型模式式(StarSchema)事實(shí)表((facttable)，，存放基基本數(shù)據(jù)據(jù)，相關(guān)關(guān)主題的的數(shù)據(jù)主主體（BCNF）維(dimension)，，影響、、分析主主體數(shù)據(jù)據(jù)的因素素量(measure))，事實(shí)實(shí)表中的的數(shù)據(jù)屬屬性維表(dimensiontable))，表示示維的各各種表維是量的的取值條條件，維維用外鍵鍵表示以事實(shí)表表為中心心，加上上若干維維表，組組成星型型數(shù)據(jù)模模式例：產(chǎn)品品-商店店-銷售售額數(shù)據(jù)倉庫庫的基本本數(shù)據(jù)模模式CustSalesLocationSalesProdSalesTimeSalesSalestimeid<pk,fk>productid<pk,fk>locationid<pk,fk>customerid<pk,fk>salesrevenueunitssoldProductproductid<pk>makemodelTimetimeid<pk>dateyearquartermonthweekLocationlocationid<pk>regiondistrictstoreCustomercustomerid<pk>categorygroupSalesfactSalesmeasuresTimedimensionAttributesofthetimedimension數(shù)據(jù)倉庫庫的基本本數(shù)據(jù)模模式雪花模式式(SnowflakeSchema))維一般是是由若干干層次組組成把維按其其層次結(jié)構(gòu)表示示成若干干個(gè)表規(guī)范化、、節(jié)省存存儲(chǔ)空間間但需多做做連接操操作數(shù)據(jù)倉庫庫的解決決方案通用的關(guān)關(guān)系數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng)專門的數(shù)數(shù)據(jù)倉庫庫服務(wù)器器數(shù)據(jù)倉庫庫系統(tǒng)的的體系結(jié)結(jié)構(gòu)數(shù)據(jù)倉庫庫層數(shù)據(jù)倉庫庫工具層層最終用戶戶數(shù)據(jù)倉庫庫系統(tǒng)數(shù)據(jù)倉庫庫居系統(tǒng)的的核心地地位是信息挖挖掘的基基礎(chǔ)數(shù)據(jù)倉庫庫管理系系統(tǒng)是整個(gè)系系統(tǒng)的引引擎負(fù)責(zé)管理理整個(gè)系系統(tǒng)的運(yùn)運(yùn)轉(zhuǎn)數(shù)據(jù)倉庫庫工具一般的查查詢工具具、功能能強(qiáng)大的的分析工工具是整個(gè)系系統(tǒng)發(fā)揮揮作用的的關(guān)鍵數(shù)據(jù)倉庫庫系統(tǒng)一個(gè)集成成化的產(chǎn)產(chǎn)品集數(shù)據(jù)倉庫庫系統(tǒng)DesignWarehouseArchitectManageSybaseASIQIntegrateInformaticaEnterpriseConnectReplicationServerPowerMartVisualizeBrioCognosAdministerWarehouseControlCenterWarehouseControlCentre數(shù)據(jù)分析析模型早期靜態(tài)數(shù)據(jù)據(jù)值的相相互比較較需求從多個(gè)不不同的數(shù)數(shù)據(jù)源中中綜合數(shù)數(shù)據(jù)從不同的的角度觀觀察數(shù)據(jù)據(jù)多變的主主題、多多維數(shù)據(jù)據(jù)E-R不能完全全支持四種分析析模型（Codd）絕對(duì)模型型靜態(tài)數(shù)據(jù)據(jù)分析只能對(duì)歷歷史數(shù)據(jù)據(jù)進(jìn)行值值的比較較，描述述基本事事實(shí)用戶交互互少解釋模型型思考模型型公式模型型四種分析析模型（Codd）絕對(duì)模型型解釋模型型靜態(tài)數(shù)據(jù)據(jù)分析在當(dāng)前多多維視圖圖的基礎(chǔ)礎(chǔ)上找出出事件發(fā)發(fā)生的原原因思考模型型公式模型型四種分析析模型（Codd）絕對(duì)模型型解釋模型型思考模型型動(dòng)態(tài)數(shù)據(jù)據(jù)分析多維分析析在決策者者的參與與下，找找出關(guān)鍵鍵變量需要高級(jí)級(jí)數(shù)據(jù)分分析人員員的介入入公式模型型四種分析析模型（Codd）絕對(duì)模型型解釋模型型思考模型型公式模型型動(dòng)態(tài)性最最高的一一類自動(dòng)完成成變量的的引入工工作數(shù)據(jù)倉庫庫系統(tǒng)的的工具層層查詢工具具主要是對(duì)對(duì)分析結(jié)結(jié)果的查查詢很少有對(duì)對(duì)記錄級(jí)級(jí)數(shù)據(jù)的的查詢驗(yàn)證型工工具多維分析析工具用戶首先先提出假假設(shè)，然然后利用用各種工工具通過過反復(fù)、、遞歸的的檢索查查詢以驗(yàn)驗(yàn)證或否否定假設(shè)設(shè)發(fā)掘型工工具從大量數(shù)數(shù)據(jù)中發(fā)發(fā)現(xiàn)數(shù)據(jù)據(jù)模式預(yù)測(cè)趨勢(shì)勢(shì)和行為為聯(lián)機(jī)分析析處理——OLAP是針對(duì)特特定問題題的聯(lián)機(jī)機(jī)訪問和和分析。。通過對(duì)信信息的很很多種可可能的觀觀察形式式進(jìn)行快快速、穩(wěn)穩(wěn)定一致致和交互互性的存存取，允允許分析析人員對(duì)對(duì)數(shù)據(jù)進(jìn)進(jìn)行深入入觀察一些概念念變量是數(shù)據(jù)的的實(shí)際意意義，描描述數(shù)據(jù)據(jù)是什么么維是人們觀觀察數(shù)據(jù)據(jù)的特定定角度維的層次次是維在不不同細(xì)節(jié)節(jié)程度的的描述維成員是維的一一個(gè)取值值多層次維維的維成成員是各各層次取取值的組組合對(duì)應(yīng)一個(gè)個(gè)數(shù)據(jù)項(xiàng)項(xiàng)，維成成員是該該數(shù)據(jù)項(xiàng)項(xiàng)在該維維中位置置的描述述多維數(shù)組組可以表示示為（維維1,維2,………,變量），如（（地區(qū),時(shí)間,銷售渠道道,銷售額）多維數(shù)組組的取值值稱為數(shù)據(jù)單元元（單元元格）可以理解解為交叉叉表的數(shù)數(shù)據(jù)格一些基本本操作在多維數(shù)數(shù)組的某某一維選選定一個(gè)個(gè)維成員員的動(dòng)作作稱為切片。舍棄一些些觀察角角度在多維數(shù)數(shù)組的某某一維上上選定某某一區(qū)間間的維成成員切塊多個(gè)切片片的疊加加旋轉(zhuǎn)是改變一一個(gè)報(bào)告告或頁面面顯示的的維方向向以用戶容容易理解解的角度度來觀察察數(shù)據(jù)基于多維維數(shù)據(jù)庫庫的OLAP——MOLAP以多維方方式組織織數(shù)據(jù)（（綜合數(shù)據(jù)）以多維方方式顯示示（觀察察）數(shù)據(jù)據(jù)多維數(shù)據(jù)據(jù)庫的形形式類似似于交叉叉表，可可直觀地地表述一一對(duì)多、、多對(duì)多多的關(guān)系系如：產(chǎn)品品、地區(qū)區(qū)、銷售售額關(guān)系多維多維數(shù)據(jù)據(jù)庫由許許多經(jīng)壓壓縮的、、類似于于數(shù)組的的對(duì)象構(gòu)構(gòu)成，帶帶有高度度壓縮的的索引及及指針結(jié)結(jié)構(gòu)以關(guān)系數(shù)數(shù)據(jù)庫存存放細(xì)節(jié)節(jié)數(shù)據(jù)、、以多維維數(shù)據(jù)庫庫存放綜綜合數(shù)據(jù)據(jù)基于關(guān)系系數(shù)據(jù)庫庫的OLAP——ROLAP以二維表與多維聯(lián)系系來表達(dá)多多維數(shù)據(jù)據(jù)（綜合數(shù)據(jù)）星型結(jié)構(gòu)構(gòu)事實(shí)表，，存儲(chǔ)事事實(shí)的量量及各維維的碼值值（BCNF）維表，對(duì)對(duì)每一個(gè)個(gè)維，至至少有一一個(gè)表用用來保存存該維的的元數(shù)據(jù)據(jù)（多層層次、冗冗余）事實(shí)表通通過外鍵鍵與每個(gè)個(gè)維表相相聯(lián)系雪花、星星座、雪雪暴模擬多維維方式顯顯示（觀觀察）數(shù)數(shù)據(jù)MOLAP與ROLAPMOLAP計(jì)算速度度較快支持的數(shù)數(shù)據(jù)容量量較小缺乏細(xì)節(jié)節(jié)數(shù)據(jù)的的OLAPROLAP結(jié)構(gòu)較復(fù)復(fù)雜以關(guān)系模模擬多維維支持適當(dāng)當(dāng)細(xì)節(jié)的的OLAP較成熟HOLAP是以上兩兩種的綜綜合桌面級(jí)工工具BrioQuery((ROLAP)BusinessObjects(ROLAP)CognosImpromptu(ROLAP)CognosPowerPlay(MOLAP)服務(wù)器級(jí)級(jí)OLAPArborSoftwareEssbase(MOLAP)MicroStrategyDSSAgent((ROLAP))Oracle’’sExpress(hybridMOLAP//ROLAP))SQL3對(duì)聚集的的擴(kuò)展(在GroupBy中中擴(kuò)展))SP(S#,P#,QTY))S#P#QTYS1P1300S1P2200S2P1300S2P2400S3P2200S4P2200Selectsum(QTY)asTOTQTYFrom SP;SelectS#,,Sum(QTY)asTOTQTYFrom SPGroupByS#;…....SQL3對(duì)聚集的的擴(kuò)展(在GroupBy中中擴(kuò)展))GroupingSets：支持持多個(gè)分分組同時(shí)時(shí)運(yùn)算SelectS#,,P#,,SUN(QTY)asTOTQTYFromSPGroupByGroupingSets((S##),,(P#)))S#P#TOTQTYS1Null 500S2Null700S3Null200S4Null200Null P1 600Null P2 1000SQL3對(duì)聚集的的擴(kuò)展(在GroupBy中中擴(kuò)展))Rollup：：上卷SelectS#,,P#,,SUN(QTY)asTOTQTYFromSPGroupByRollup(S#,,P#)等同于GroupByGroupingSets(((S#,,P##),,(S#),,()))S#P#TOTQTYS1P1300S1P2200S2P1300S2P2400S3P2200S4P2200S1Null 500S2Null700S3Null200S4Null200Null Null1600SQL3對(duì)聚集的的擴(kuò)展(在GroupBy中中擴(kuò)展))Cube：立方方體（交交叉表））SelectS#,,P#,,SUN((QTY)asTOTQTYFromSPGroupByCube(S#,,P##)等同于GroupByGroupingSets(((S#,,P##),,(S#),,((P#)),(()))S#P#TOTQTYS1P1300S1P2200S2P1300S2P2400S3P2200S4P2200S1Null 500S2Null700S3Null200S4Null200Null P1 600Null P2 1000Null Null1600數(shù)據(jù)挖掘掘（DataMining）探測(cè)型的的數(shù)據(jù)分分