SQLServer教程第17章數(shù)據(jù)倉庫與聯(lián)機分析處理技術ppt課件

1、數(shù)據(jù)庫系統(tǒng)概論數(shù)據(jù)庫系統(tǒng)概論An Introduction to An Introduction to Database SystemDatabase System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機分析數(shù)據(jù)倉庫與聯(lián)機分析處理技術處理技術數(shù)據(jù)倉庫的產(chǎn)生數(shù)據(jù)倉庫的產(chǎn)生v 操作型處理也叫事務處理）：對數(shù)據(jù)庫聯(lián)機的日常操作，通常是對一個或一組記錄的查詢和修改v 特點：快速響應用戶請求，對數(shù)據(jù)的安全性、完整性以及事務吞吐量要求很高。v 分析型處理：對數(shù)據(jù)的查詢和分析操作，通常是對海量的歷史數(shù)據(jù)查詢和分析v 特點：要訪問的數(shù)據(jù)量非常大，查詢和分析的操作十分復雜。v 數(shù)據(jù)倉庫技術v 為了構建新的分析處理環(huán)境而

2、出現(xiàn)的一種數(shù)據(jù)存儲和組織技術第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術數(shù)據(jù)倉庫與聯(lián)機分析處理技術17.1 數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術17.2 聯(lián)機分析處理技術聯(lián)機分析處理技術17.3 數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術17.4 小結小結17.1 數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術表17.1 操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細節(jié)的綜合的，或提煉的在存取瞬間是準確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對性能要求高對性能要求寬松一個時刻操作一元組一個時刻操作一集合事務驅(qū)動分析驅(qū)動面向應用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支

3、持管理決策需求數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術(續(xù)續(xù))v數(shù)據(jù)倉庫定義：v是一個用以更好地支持企業(yè)或組織決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。v本質(zhì)上和數(shù)據(jù)庫一樣，是長期儲存在計算機內(nèi)的、有組織、可共享的數(shù)據(jù)集合。數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術(續(xù)續(xù))v一、 數(shù)據(jù)倉庫的基本特征v數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的；v數(shù)據(jù)倉庫的數(shù)據(jù)是集成的；v數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的；v數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間不斷變化的 數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術(續(xù)續(xù))v二、 數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結構 數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術(續(xù)續(xù))v三、 數(shù)據(jù)倉庫系統(tǒng)的體系結構數(shù)據(jù)倉庫體系結構 數(shù)據(jù)倉庫技術數(shù)據(jù)

4、倉庫技術(續(xù)續(xù))v 數(shù)據(jù)倉庫的后臺工具v 包括數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載和維護(Maintain)工具。v 數(shù)據(jù)倉庫服務器v 相當于數(shù)據(jù)庫系統(tǒng)中的DBMS，負責管理數(shù)據(jù)倉庫中數(shù)據(jù)的存儲管理和數(shù)據(jù)存取，并給OLAP服務器和前臺工具提供存取接口(如SQL查詢接口)v OLAP服務器v 透明地為前臺工具和用戶提供多維數(shù)據(jù)視圖v OLAP服務器則必須考慮物理上這些分析數(shù)據(jù)的存儲問題v 前臺工具v 包括查詢報表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結果可視化工具等 第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術數(shù)據(jù)倉庫與聯(lián)機分析處理技術17.1 數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術17.2 聯(lián)機分析處理技術聯(lián)機分析處

5、理技術17.3 數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術17.4 小結小結17.2 聯(lián)機分析處理技術聯(lián)機分析處理技術v OLAP(On-Line Analytical Processing)即聯(lián)機分析處理，是以海量數(shù)據(jù)為基礎的復雜分析技術 v 一、多維數(shù)據(jù)模型v 數(shù)據(jù)分析時用戶的數(shù)據(jù)視圖，是面向分析的數(shù)據(jù)模型，用于給分析人員提供多種觀察的視角和面向分析的操作 v 可用這樣來一個多維數(shù)組來表示：(維1，維2，維n，度量值) 聯(lián)機分析處理技術聯(lián)機分析處理技術(續(xù)續(xù))v 一、多維數(shù)據(jù)模型(續(xù))v 例如： (地區(qū)，時間，電器商品種類，銷售額) n三維數(shù)組可以用一個立方體來直觀地表示n一般地多維數(shù)組用多維立方體CUBE

6、超立方體來表示聯(lián)機分析處理技術聯(lián)機分析處理技術(續(xù)續(xù))v二、多維分析操作v 常用的OLAP多維分析操作v切片(slice)v切塊(dice)v旋轉(zhuǎn)(pivot)v向上綜合(roll-up)v向下鉆取(drill-down)等 聯(lián)機分析處理技術聯(lián)機分析處理技術(續(xù)續(xù))v三、OLAP的實現(xiàn)方式v按照多維數(shù)據(jù)模型的不同實現(xiàn)方式vMOLAP結構vROLAP結構vHOLAP結構OLAP的實現(xiàn)方式的實現(xiàn)方式(續(xù)續(xù))vMOLAP結構v以多維立方體CUBE來組織數(shù)據(jù)，以多維數(shù)組來存儲數(shù)據(jù)，支持直接對多維數(shù)據(jù)的各種操作。v多維數(shù)據(jù)庫( Multi-Dimension DataBase，簡記為MDDB)。v例如：

7、Arbor公司的Essbase聯(lián)機分析處理技術聯(lián)機分析處理技術(續(xù)續(xù))vROLAP結構v用RDBMS或擴展的RDBMS來管理多維數(shù)據(jù)，用關系的表來組織和存儲多維數(shù)據(jù)v兩類表：一類是事實(fact)表，另一類是維表v事實表用來描述和存儲多維立方體的度量值及各個維的碼值；v維表用來描述維信息。vROLAP用“星形模式和“雪片模式來表示多維數(shù)據(jù)模型聯(lián)機分析處理技術聯(lián)機分析處理技術(續(xù)續(xù))n星形模式Star Schema通常由一個中心表(事實表)和一組維表組成 n 如下圖所示的星形模式 星形模式的中心是銷售事實表維表有時間維表、顧客維表、銷售員維表、制造商維表和產(chǎn)品維表 圖17.4 星形模式聯(lián)機分析處

8、理技術聯(lián)機分析處理技術(續(xù)續(xù))n雪片模式就是對維表按層次進一步細化后形成的圖17.5 雪片模式第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術數(shù)據(jù)倉庫與聯(lián)機分析處理技術17.1 數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術17.2 聯(lián)機分析處理技術聯(lián)機分析處理技術17.3 數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術17.4 小結小結17.3 數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術v一、數(shù)據(jù)挖掘的概念v概念：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)并提取隱藏在內(nèi)的、人們事先不知道的但又可能有用的信息和知識的一種新技術v目的：幫助決策者尋找數(shù)據(jù)間潛在的關聯(lián)，發(fā)現(xiàn)經(jīng)營者被忽略的要素v數(shù)據(jù)挖掘技術涉及數(shù)據(jù)庫技術、人工智能技術、機器學習、統(tǒng)計分析等多種技術v決策支持系統(tǒng)(

9、DSS)跨入了一個新階段 數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術(續(xù)續(xù))v二、數(shù)據(jù)挖掘和傳統(tǒng)分析方法的區(qū)別 v本質(zhì)區(qū)別：數(shù)據(jù)挖掘是在沒有明確假設的前提下去挖掘信息，發(fā)現(xiàn)知識 v數(shù)據(jù)挖掘所得到的信息應具有事先未知、有效和可實用3個特征 數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術(續(xù)續(xù))v三、數(shù)據(jù)挖掘的數(shù)據(jù)源 v從數(shù)據(jù)倉庫中來v優(yōu)點：許多數(shù)據(jù)不一致的問題都較好地解決了，在數(shù)據(jù)挖掘時大大減少了清理數(shù)據(jù)的工作量 v缺點：建立數(shù)據(jù)倉庫是一項巨大的工程，耗時耗力v從數(shù)據(jù)庫中來v如果只是為了數(shù)據(jù)挖掘，可以把一個或幾個OLTP數(shù)據(jù)庫導入一個只讀的數(shù)據(jù)庫中，然后在上面進行數(shù)據(jù)挖掘數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術(續(xù)續(xù))v四、 數(shù)據(jù)挖掘的功能v概念描述v關聯(lián)分析v分類和預測v聚類v孤立點檢測v趨勢和演變分析數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術(續(xù)續(xù))典型的數(shù)據(jù)挖掘系統(tǒng)的體系結構v 數(shù)據(jù)挖掘步驟v 明確挖掘任務v 對所選擇數(shù)據(jù)進行預處理v 選擇具體的算法進行挖掘v 對挖掘出的模式進行評價v 消減重復部分v 展現(xiàn)最終的結果第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術數(shù)據(jù)倉庫與聯(lián)機分析處理技術17.1 數(shù)據(jù)倉庫技術數(shù)據(jù)倉庫技術17.2 聯(lián)機分析處理技術聯(lián)機分析處理技術17.3 數(shù)據(jù)挖掘技術