數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法課件

集市建設(shè)及數(shù)據(jù)管理方法 (初稿)目錄

數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市：數(shù)據(jù)倉庫的子集經(jīng)過ETL流程的一定粒度匯總數(shù)據(jù)面向部門級業(yè)務(wù)針對特定主題的數(shù)據(jù)集星型模式(不遵循3NF結(jié)構(gòu))緩解倉庫訪問瓶頸實(shí)現(xiàn)方式：獨(dú)立型(RalphKimball)倉庫是集市的聯(lián)合數(shù)據(jù)來源于業(yè)務(wù)系統(tǒng)首先滿足數(shù)據(jù)展示的需求必需統(tǒng)一的數(shù)據(jù)倉庫建設(shè)思想?yún)f(xié)調(diào)從屬型(BillInmon)集市是倉庫的子集數(shù)據(jù)來源于倉庫提供更強(qiáng)的數(shù)據(jù)一致性和靈活性長期規(guī)劃獨(dú)立型從屬型實(shí)現(xiàn)原則：統(tǒng)一構(gòu)建總體指導(dǎo)穩(wěn)定性可適應(yīng)性可擴(kuò)展性數(shù)據(jù)分層架構(gòu)針對性營銷數(shù)據(jù)集市基于EDW/ODS，通過對EDW/ODS中的數(shù)據(jù)進(jìn)行一定粒度的匯總，滿足針對性營銷IT支撐需求的數(shù)據(jù)集合包括營銷分析數(shù)據(jù)和營銷事務(wù)數(shù)據(jù)營銷分析數(shù)據(jù)數(shù)據(jù)挖掘?qū)挶碜灾?shù)匯總表外部數(shù)據(jù)寬表數(shù)據(jù)挖掘?qū)挶碇荚跒閿?shù)據(jù)挖掘模型的建立和分析提供基礎(chǔ)支撐，并為之提供有效的數(shù)據(jù)集合，提升系統(tǒng)效率。包含客戶屬性類數(shù)據(jù)、客戶擁有類數(shù)據(jù)、客戶行為類數(shù)據(jù)、客戶價值類數(shù)據(jù)和客戶交互類數(shù)據(jù)。自助取數(shù)匯總表自助取數(shù)匯總表主要包含按照客戶、用戶等維度進(jìn)行數(shù)據(jù)的初級匯總和整合，實(shí)現(xiàn)自助取數(shù)系統(tǒng)對客戶、產(chǎn)品等相關(guān)信息數(shù)據(jù)提取外部數(shù)據(jù)寬表(外部調(diào)研數(shù)據(jù))在成功獲取了外部數(shù)據(jù)后，可構(gòu)建合適的數(shù)據(jù)集市，納入系統(tǒng)的外部數(shù)據(jù)可包括：競爭對手信息、客戶偏好信息、客戶滿意度信息等外部數(shù)據(jù)涵蓋的范圍非常廣泛，將所有的外部數(shù)據(jù)都加載到針對性營銷的數(shù)據(jù)集市中存在較大難度。套餐資料庫套餐資料庫存儲已有的套餐資料，為套餐梳理和套餐方案設(shè)計(jì)環(huán)節(jié)提供數(shù)據(jù)支撐。套餐的結(jié)構(gòu)包括基本套餐和可選套餐兩部分。基本套餐是套餐的主體部分，它包含了套餐的核心產(chǎn)品及主要優(yōu)惠規(guī)則，可以獨(dú)立存在；可選套餐是由客戶自行選擇的疊加套餐，一般不單獨(dú)提供，需以購買基本套餐為前提。營銷資料庫營銷資料庫包含了整個營銷活動的策劃、分析、評估環(huán)節(jié)所涉及到的除了套餐以外的內(nèi)容：市場調(diào)研所需的問卷題庫營銷腳本宣傳方案促銷方案營銷活動案例目錄

數(shù)據(jù)集市

數(shù)據(jù)管理數(shù)據(jù)整合數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理數(shù)據(jù)整合整合準(zhǔn)備：源/目標(biāo)模型數(shù)據(jù)預(yù)處理整合過程：數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載整合規(guī)則：數(shù)據(jù)編碼統(tǒng)一保證數(shù)據(jù)質(zhì)量支持異?？刂屏鞒炭删S護(hù)異常處理流程管理輸出：規(guī)則分析包括：候選數(shù)據(jù)源確定、源與目標(biāo)的映射關(guān)系、估計(jì)行數(shù)等執(zhí)行分析包括：執(zhí)行時間、執(zhí)行方式、執(zhí)行順序、執(zhí)行頻度等異常報告包括：異常位置、異常原因、處理方式等版本控制數(shù)據(jù)整合總體流程總體處理流程數(shù)據(jù)質(zhì)量解決方法信息問題域流程問題域管理問題域數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)質(zhì)量評估分析問題解決和驗(yàn)證數(shù)據(jù)質(zhì)量問題分析源系統(tǒng)數(shù)據(jù)人員ODS系統(tǒng)維護(hù)人員數(shù)據(jù)質(zhì)量管理人員數(shù)據(jù)質(zhì)量檢查人員數(shù)據(jù)質(zhì)量檢查問題匯總數(shù)據(jù)質(zhì)量稽核分析問題問題展現(xiàn)ETL處理過程數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)問題工單生成派單派單判斷源系統(tǒng)問題工單ODS系統(tǒng)問題工單工單處理問題解決N數(shù)據(jù)質(zhì)量分析評估問題驗(yàn)證數(shù)據(jù)質(zhì)量考核源系統(tǒng)評估報告ODS系統(tǒng)評估報告數(shù)據(jù)質(zhì)量檢查稽核數(shù)據(jù)質(zhì)量評估監(jiān)控管理功能源系統(tǒng)1源系統(tǒng)2ETL/EAI企業(yè)數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量任務(wù)派發(fā)數(shù)據(jù)質(zhì)量角色管理數(shù)據(jù)質(zhì)量組織管理數(shù)據(jù)質(zhì)量工單管理數(shù)據(jù)質(zhì)量權(quán)限管理數(shù)據(jù)屬性關(guān)系檢查數(shù)據(jù)屬性檢查數(shù)據(jù)表關(guān)系檢查數(shù)據(jù)對比稽核異常處理數(shù)據(jù)對比展現(xiàn)數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量告警數(shù)據(jù)質(zhì)量異常跟蹤數(shù)據(jù)質(zhì)量修正跟蹤數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量管理平臺數(shù)據(jù)質(zhì)量基礎(chǔ)管理規(guī)則配置數(shù)據(jù)處理情況考核算法配置統(tǒng)一指標(biāo)定義流程配置異常流程跟蹤接口定義數(shù)據(jù)質(zhì)量管理總體流程總體處理流程：目錄

數(shù)據(jù)集市

數(shù)據(jù)管理數(shù)據(jù)整合數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)定義元數(shù)據(jù)最本質(zhì)，最抽象的定義為:dataaboutdata(關(guān)于數(shù)據(jù)的數(shù)據(jù))在數(shù)據(jù)倉庫領(lǐng)域中，元數(shù)據(jù)被定義為：描述數(shù)據(jù)及其環(huán)境的數(shù)據(jù)元數(shù)據(jù)存儲技術(shù)元數(shù)據(jù)：為企業(yè)技術(shù)用戶和IT人員提供支持的元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)：為企業(yè)業(yè)務(wù)用戶提供支持的元數(shù)據(jù)元數(shù)據(jù)管理元數(shù)據(jù)管理技術(shù)——公共倉庫元模型CWMCWM公共倉庫元模型（CommonWarehouseMetamodel）是OMG國際標(biāo)準(zhǔn)化組織提出的，主要目的是在異構(gòu)環(huán)境下，使不同數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進(jìn)行元數(shù)據(jù)交換。元數(shù)據(jù)管理－支持五類系統(tǒng)管理功能描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中;定義要進(jìn)入數(shù)據(jù)倉庫中的數(shù)據(jù)和從數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù);記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)行的數(shù)據(jù)抽取工作時間安排;記錄并檢測系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況;衡量數(shù)據(jù)質(zhì)量。數(shù)據(jù)倉庫元數(shù)據(jù)管理數(shù)據(jù)倉庫涉及的元數(shù)據(jù)管理包括：數(shù)據(jù)源元數(shù)據(jù)ETL規(guī)則元數(shù)據(jù)數(shù)據(jù)倉庫元數(shù)據(jù)報表元數(shù)據(jù)接口文件格式元數(shù)據(jù)商業(yè)元數(shù)據(jù)其他元數(shù)據(jù)各類元數(shù)據(jù)管理辦法：數(shù)據(jù)源元數(shù)據(jù)數(shù)據(jù)源元數(shù)據(jù)主要是數(shù)據(jù)庫模型設(shè)計(jì)文檔、為綜合統(tǒng)計(jì)分析平臺提供數(shù)據(jù)的各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)字典及數(shù)據(jù)接口文件等。數(shù)據(jù)源元數(shù)據(jù)的管理：由相關(guān)人員對各類文檔進(jìn)行統(tǒng)一版本的管理。各類元數(shù)據(jù)管理辦法：ETL規(guī)則元數(shù)據(jù)ETL規(guī)則元數(shù)據(jù)中涉及到數(shù)據(jù)源元數(shù)據(jù)、目標(biāo)系統(tǒng)元數(shù)據(jù)、ETL流程、源與目標(biāo)的映射關(guān)系等元數(shù)據(jù)信息。數(shù)據(jù)源元數(shù)據(jù)包括業(yè)務(wù)系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)倉庫元數(shù)據(jù)等；目標(biāo)系統(tǒng)元數(shù)據(jù)可能是數(shù)據(jù)倉庫元數(shù)據(jù)、數(shù)據(jù)集市元數(shù)據(jù)等。ETL規(guī)則元數(shù)據(jù)的管理：由數(shù)據(jù)庫開發(fā)人員根據(jù)各個模塊的ETL過程以及過程運(yùn)行的順序，形成相關(guān)元數(shù)據(jù)管理文檔進(jìn)行統(tǒng)一管理。各類元數(shù)據(jù)管理辦法：數(shù)據(jù)倉庫元數(shù)據(jù)數(shù)據(jù)倉庫采用RDBMS進(jìn)行數(shù)據(jù)的存儲和管理，設(shè)計(jì)模式遵循數(shù)據(jù)倉庫的設(shè)計(jì)準(zhǔn)則，實(shí)現(xiàn)主題、維、度量等多維概念模型，這些元素在RDBMS中物理上是具體的數(shù)據(jù)表，這些表與具體多維模型的映射關(guān)系需要通過元數(shù)據(jù)進(jìn)行描述和定義。數(shù)據(jù)倉庫元數(shù)據(jù)的管理：制定數(shù)據(jù)倉庫模型設(shè)計(jì)文檔記錄事實(shí)表、維度、屬性、層次等信息，物理表與多維模型的映射關(guān)系等信息，對文檔進(jìn)行統(tǒng)一版本的管理。各類元數(shù)據(jù)管理辦法：報表元數(shù)據(jù)包括對報表和報表中具體指標(biāo)（度量）的描述信息等報表元數(shù)據(jù)的管理：對數(shù)據(jù)集上可以計(jì)算的度量進(jìn)行相關(guān)元數(shù)據(jù)的管理，包括詳細(xì)設(shè)計(jì)文檔中對各個表中度量的定義、描述等；對所有表和度量之間的關(guān)系進(jìn)行嚴(yán)格的文檔記錄，包括度量的計(jì)算、度量之間的相互依賴關(guān)系、以及歷史信息進(jìn)行元數(shù)據(jù)管理各類元數(shù)據(jù)管理辦法：接口文件格式元數(shù)據(jù)接口數(shù)據(jù)文件格式，包括接口數(shù)據(jù)文件的命名、傳輸周期、格式等說明信息。接口文件格式元數(shù)據(jù)：與ETL規(guī)則元數(shù)據(jù)進(jìn)行統(tǒng)一管理。各類元數(shù)據(jù)管理辦法：商業(yè)元數(shù)據(jù)系統(tǒng)中對各項(xiàng)指標(biāo)的業(yè)務(wù)含義的描述性信息，在綜合統(tǒng)計(jì)分析平臺中，包括維、度量的業(yè)務(wù)含義描述，主題的分析目標(biāo)描述，報表指標(biāo)的解釋信息等。商業(yè)元數(shù)據(jù)的管理可以分解成數(shù)據(jù)倉庫元數(shù)據(jù)的管理和報表元數(shù)據(jù)的管理。各類元數(shù)據(jù)管理辦法：其他元數(shù)據(jù)數(shù)據(jù)訪問日志、數(shù)據(jù)裝載日志等信息。數(shù)據(jù)訪問日志記錄數(shù)據(jù)