數(shù)據(jù)倉庫與聯(lián)機分析處.ppt

An Introduction to Database System,中國人民大學信息學院,數(shù)據(jù)庫系統(tǒng)概論 An Introduction to Database System 第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術,An Introduction to Database System,數(shù)據(jù)倉庫的產生,操作型處理（也叫事務處理）：對數(shù)據(jù)庫聯(lián)機的日常操作，通常是對一個或一組記錄的查詢和修改 特點：快速響應用戶請求，對數(shù)據(jù)的安全性、完整性以及事務吞吐量要求很高。 分析型處理：對數(shù)據(jù)的查詢和分析操作，通常是對海量的歷史數(shù)據(jù)查詢和分析 特點：要訪問的數(shù)據(jù)量非常大，查詢和分析的操作十分復雜。 數(shù)據(jù)倉庫技術 為了構建新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術,An Introduction to Database System,第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術,17.1 數(shù)據(jù)倉庫技術 17.2 聯(lián)機分析處理技術 17.3 數(shù)據(jù)挖掘技術 17.4 小結,An Introduction to Database System,17.1 數(shù)據(jù)倉庫技術,表17.1 操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別,An Introduction to Database System,數(shù)據(jù)倉庫技術(續(xù)),數(shù)據(jù)倉庫定義： 是一個用以更好地支持企業(yè)（或組織）決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。 本質上和數(shù)據(jù)庫一樣，是長期儲存在計算機內的、有組織、可共享的數(shù)據(jù)集合。,An Introduction to Database System,數(shù)據(jù)倉庫技術(續(xù)),一、 數(shù)據(jù)倉庫的基本特征 數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的； 數(shù)據(jù)倉庫的數(shù)據(jù)是集成的； 數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的； 數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間不斷變化的,An Introduction to Database System,數(shù)據(jù)倉庫技術(續(xù)),二、 數(shù)據(jù)倉庫中的數(shù)據(jù)組織,數(shù)據(jù)倉庫的數(shù)據(jù)組織結構,An Introduction to Database System,數(shù)據(jù)倉庫技術(續(xù)),三、 數(shù)據(jù)倉庫系統(tǒng)的體系結構,數(shù)據(jù)倉庫體系結構,An Introduction to Database System,數(shù)據(jù)倉庫技術(續(xù)),數(shù)據(jù)倉庫的后臺工具 包括數(shù)據(jù)抽取、清洗、轉換、裝載和維護(Maintain)工具。 數(shù)據(jù)倉庫服務器 相當于數(shù)據(jù)庫系統(tǒng)中的DBMS，負責管理數(shù)據(jù)倉庫中數(shù)據(jù)的存儲管理和數(shù)據(jù)存取，并給OLAP服務器和前臺工具提供存取接口(如SQL查詢接口) OLAP服務器 透明地為前臺工具和用戶提供多維數(shù)據(jù)視圖 OLAP服務器則必須考慮物理上這些分析數(shù)據(jù)的存儲問題 前臺工具 包括查詢報表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結果可視化工具等,An Introduction to Database System,第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術,17.1 數(shù)據(jù)倉庫技術 17.2 聯(lián)機分析處理技術 17.3 數(shù)據(jù)挖掘技術 17.4 小結,An Introduction to Database System,17.2 聯(lián)機分析處理技術,OLAP(On-Line Analytical Processing)即聯(lián)機分析處理，是以海量數(shù)據(jù)為基礎的復雜分析技術 一、多維數(shù)據(jù)模型 數(shù)據(jù)分析時用戶的數(shù)據(jù)視圖，是面向分析的數(shù)據(jù)模型，用于給分析人員提供多種觀察的視角和面向分析的操作 可用這樣來一個多維數(shù)組來表示：(維1，維2，維n，度量值),An Introduction to Database System,聯(lián)機分析處理技術(續(xù)),一、多維數(shù)據(jù)模型(續(xù)) 例如： (地區(qū)，時間，電器商品種類，銷售額),三維數(shù)組可以用一個立方體來直觀地表示 一般地多維數(shù)組用多維立方體CUBE（超立方體）來表示,An Introduction to Database System,聯(lián)機分析處理技術(續(xù)),二、多維分析操作 常用的OLAP多維分析操作 切片(slice) 切塊(dice) 旋轉(pivot) 向上綜合(roll-up) 向下鉆取(drill-down)等,An Introduction to Database System,聯(lián)機分析處理技術(續(xù)),三、OLAP的實現(xiàn)方式 按照多維數(shù)據(jù)模型的不同實現(xiàn)方式 MOLAP結構 ROLAP結構 HOLAP結構,An Introduction to Database System,OLAP的實現(xiàn)方式(續(xù)),MOLAP結構 以多維立方體CUBE來組織數(shù)據(jù)，以多維數(shù)組來存儲數(shù)據(jù)，支持直接對多維數(shù)據(jù)的各種操作。 多維數(shù)據(jù)庫( Multi-Dimension DataBase，簡記為MDDB)。 例如：Arbor公司的Essbase,An Introduction to Database System,聯(lián)機分析處理技術(續(xù)),ROLAP結構 用RDBMS或擴展的RDBMS來管理多維數(shù)據(jù)，用關系的表來組織和存儲多維數(shù)據(jù) 兩類表：一類是事實(fact)表，另一類是維表 事實表用來描述和存儲多維立方體的度量值及各個維的碼值； 維表用來描述維信息。 ROLAP用“星形模式”和“雪片模式”來表示多維數(shù)據(jù)模型,An Introduction to Database System,聯(lián)機分析處理技術(續(xù)),星形模式（Star Schema）通常由一個中心表(事實表)和一組維表組成 如下圖所示的星形模式,星形模式的中心是銷售事實表 維表有時間維表、顧客維表、銷售員維表、制造商維表和產品維表,圖17.4 星形模式,An Introduction to Database System,聯(lián)機分析處理技術(續(xù)),雪片模式就是對維表按層次進一步細化后形成的,圖17.5 雪片模式,An Introduction to Database System,第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術,17.1 數(shù)據(jù)倉庫技術 17.2 聯(lián)機分析處理技術 17.3 數(shù)據(jù)挖掘技術 17.4 小結,An Introduction to Database System,17.3 數(shù)據(jù)挖掘技術,一、數(shù)據(jù)挖掘的概念 概念：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)并提取隱藏在內的、人們事先不知道的但又可能有用的信息和知識的一種新技術 目的：幫助決策者尋找數(shù)據(jù)間潛在的關聯(lián)，發(fā)現(xiàn)經(jīng)營者被忽略的要素 數(shù)據(jù)挖掘技術涉及數(shù)據(jù)庫技術、人工智能技術、機器學習、統(tǒng)計分析等多種技術 決策支持系統(tǒng)(DSS)跨入了一個新階段,An Introduction to Database System,數(shù)據(jù)挖掘技術(續(xù)),二、數(shù)據(jù)挖掘和傳統(tǒng)分析方法的區(qū)別 本質區(qū)別：數(shù)據(jù)挖掘是在沒有明確假設的前提下去挖掘信息，發(fā)現(xiàn)知識 數(shù)據(jù)挖掘所得到的信息應具有事先未知、有效和可實用3個特征,An Introduction to Database System,數(shù)據(jù)挖掘技術(續(xù)),三、數(shù)據(jù)挖掘的數(shù)據(jù)源 從數(shù)據(jù)倉庫中來 優(yōu)點：許多數(shù)據(jù)不一致的問題都較好地解決了，在數(shù)據(jù)挖掘時大大減少了清理數(shù)據(jù)的工作量 缺點：建立數(shù)據(jù)倉庫是一項巨大的工程，耗時耗力 從數(shù)據(jù)庫中來 如果只是為了數(shù)據(jù)挖掘，可以把一個或幾個OLTP數(shù)據(jù)庫導入一個只讀的數(shù)據(jù)庫中，然后在上面進行數(shù)據(jù)挖掘,An Introduction to Database System,數(shù)據(jù)挖掘技術(續(xù)),四、 數(shù)據(jù)挖掘的功能 概念描述 關聯(lián)分析 分類和預測 聚類 孤立點檢測 趨勢和演變分析,An Introduction to Database System,數(shù)據(jù)挖掘技術(續(xù)),典型的數(shù)據(jù)挖掘系統(tǒng)的體系結構,數(shù)據(jù)挖掘步驟 明確挖掘任務 對所選擇數(shù)據(jù)進行預處理 選擇具體的算法進行挖掘 對挖掘出的模式進行評價 消減重復部分 展現(xiàn)最終的結果,An Introduction to Database System,第十七章 數(shù)據(jù)倉庫與聯(lián)機分析處理技術,17.1 數(shù)據(jù)倉庫技術 17.2 聯(lián)機分析處理技術 17.3 數(shù)據(jù)挖掘技術