數(shù)據(jù)集市建設(shè)、數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法ppt課件

1、集市建立及數(shù)據(jù)管理方法 (初稿)目錄數(shù)據(jù)集市數(shù)據(jù)集市：數(shù)據(jù)倉庫的子集經(jīng)過ETL流程的一定粒度匯總數(shù)據(jù)面向部門級業(yè)務(wù)針對特定主題的數(shù)據(jù)集星型方式(不遵照3NF構(gòu)造)緩解倉庫訪問瓶頸實現(xiàn)方式：獨(dú)立型(Ralph Kimball)倉庫是集市的結(jié)合數(shù)據(jù)來源于業(yè)務(wù)系統(tǒng)首先滿足數(shù)據(jù)展現(xiàn)的需求必需一致的數(shù)據(jù)倉庫建立思想?yún)f(xié)調(diào)從屬型(Bill Inmon)集市是倉庫的子集數(shù)據(jù)來源于倉庫提供更強(qiáng)的數(shù)據(jù)一致性和靈敏性長期規(guī)劃實現(xiàn)目的合并不同系統(tǒng)數(shù)據(jù)源非實時更新數(shù)據(jù)的訪問信息發(fā)布面向特定用戶群體合理的查詢呼應(yīng)時間快速一致的視圖訪問 獨(dú)立型 從屬型實現(xiàn)步驟：定義商業(yè)目的了解數(shù)據(jù)源確定匯總粒度定義數(shù)據(jù)模型實現(xiàn)原那么：一致

2、構(gòu)建總體指點(diǎn)穩(wěn)定性可順應(yīng)性可擴(kuò)展性數(shù)據(jù)分層架構(gòu)針對性營銷數(shù)據(jù)集市基于EDW/ODS ，經(jīng)過對EDW/ODS中的數(shù)據(jù)進(jìn)展一定粒度的匯總，滿足針對性營銷IT支撐需求的數(shù)據(jù)集合 包括營銷分析數(shù)據(jù)和營銷事務(wù)數(shù)據(jù) 營銷分析數(shù)據(jù)數(shù)據(jù)發(fā)掘?qū)挶碜灾?shù)匯總表外部數(shù)據(jù)寬表 數(shù)據(jù)發(fā)掘?qū)挶?旨在為數(shù)據(jù)發(fā)掘模型的建立和分析提供根底支撐，并為之提供有效的數(shù)據(jù)集合，提升系統(tǒng)效率。 包含客戶屬性類數(shù)據(jù)、客戶擁有類數(shù)據(jù)、客戶行為類數(shù)據(jù)、客戶價值類數(shù)據(jù)和客戶交互類數(shù)據(jù)。 自助取數(shù)匯總表 自助取數(shù)匯總表主要包含按照客戶、用戶等維度進(jìn)展數(shù)據(jù)的初級匯總和整合，實現(xiàn)自助取數(shù)系統(tǒng)對客戶、產(chǎn)品等相關(guān)信息數(shù)據(jù)提取 外部數(shù)據(jù)寬表(外部調(diào)研數(shù)據(jù)

3、)在勝利獲取了外部數(shù)據(jù)后，可構(gòu)建適宜的數(shù)據(jù)集市，納入系統(tǒng)的外部數(shù)據(jù)可包括：競爭對手信息、客戶偏好信息、客戶稱心度信息等 外部數(shù)據(jù)涵蓋的范圍非常廣泛，將一切的外部數(shù)據(jù)都加載到針對性營銷的數(shù)據(jù)集市中存在較大難度。營銷事務(wù)數(shù)據(jù)營銷事務(wù)數(shù)據(jù)用以支撐營銷活動的制定與開展套餐資料庫營銷資料庫營銷資源庫 套餐資料庫套餐資料庫存儲已有的套餐資料，為套餐梳理和套餐方案設(shè)計環(huán)節(jié)提供數(shù)據(jù)支撐。 套餐的構(gòu)造包括根本套餐和可選套餐兩部分。根本套餐是套餐的主體部分，它包含了套餐的中心產(chǎn)品及主要優(yōu)惠規(guī)那么，可以獨(dú)立存在；可選套餐是由客戶自行選擇的疊加套餐，普通不單獨(dú)提供，需以購買根本套餐為前提。營銷資料庫營銷資料庫包含了整

4、個營銷活動的謀劃、分析、評價環(huán)節(jié)所涉及到的除了套餐以外的內(nèi)容：市場調(diào)研所需的問卷題庫營銷腳本宣傳方案促銷方案營銷活動案例營銷資源庫營銷資源庫包含了電信公司所擁有的渠道、銷售品、外呼中心等資源的，供營銷謀劃人員在謀劃時可以查詢當(dāng)前營銷活動可以利用的營銷資源；用于對營銷活動所需資源的可利用性進(jìn)展檢查人力資源財務(wù)預(yù)算廣告資源渠道資源協(xié)作同伴促銷品資源包括贈送品、搭售品等其他支撐系統(tǒng)功能如計費(fèi)系統(tǒng) 目錄目錄數(shù)據(jù)整合整合預(yù)備：源/目的模型數(shù)據(jù)預(yù)處置整合過程：數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載整合規(guī)那么：數(shù)據(jù)編碼一致保證數(shù)據(jù)質(zhì)量支持異?？刂屏鞒炭删S護(hù)異常處置流程管理輸出：規(guī)那么分析包括：候選數(shù)據(jù)源確定、源與目的的映

5、射關(guān)系、估計行數(shù)等執(zhí)行分析包括：執(zhí)行時間、執(zhí)行方式、執(zhí)行順序、執(zhí)行頻度等異常報告包括：異常位置、異常緣由、處置方式等版本控制數(shù)據(jù)整合總體流程總體處置流程目錄目錄數(shù)據(jù)質(zhì)量處理方法數(shù)據(jù)質(zhì)量處理方法信息問題域信息問題域技術(shù)問題域流程問題域管理問題域數(shù)據(jù)質(zhì)量管理流程 數(shù)據(jù)質(zhì)量評價分析 問題處理和驗證 數(shù)據(jù)質(zhì)量問題分析源系統(tǒng)數(shù)據(jù)人員ODS系統(tǒng)維護(hù)人員數(shù)據(jù)質(zhì)量管理人員數(shù)據(jù)質(zhì)量檢查人員數(shù)據(jù)質(zhì)量檢查問題匯總數(shù)據(jù)質(zhì)量稽核分析問題問題展現(xiàn)ETL處置過程數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)問題工單生成派單派單判別源系統(tǒng)問題工單ODS系統(tǒng)問題工單工單處置問題處理N數(shù)據(jù)質(zhì)量分析評價問題驗證數(shù)據(jù)質(zhì)量考核源系統(tǒng)評價報告ODS系統(tǒng)評價報告數(shù)據(jù)質(zhì)

6、量檢查稽核數(shù)據(jù)質(zhì)量評價監(jiān)控管理功能源系統(tǒng)1源系統(tǒng)2ETL/EAI企業(yè)數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量義務(wù)派發(fā)數(shù)據(jù)質(zhì)量角色管理數(shù)據(jù)質(zhì)量組織管理數(shù)據(jù)質(zhì)量工單管理數(shù)據(jù)質(zhì)量權(quán)限管理數(shù)據(jù)屬性關(guān)系檢查數(shù)據(jù)屬性檢查數(shù)據(jù)表關(guān)系檢查數(shù)據(jù)對比稽核異常處置數(shù)據(jù)對比展現(xiàn)數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量評價數(shù)據(jù)質(zhì)量告警數(shù)據(jù)質(zhì)量異常跟蹤數(shù)據(jù)質(zhì)量修正跟蹤數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量管理平臺數(shù)據(jù)質(zhì)量根底管理規(guī)那么配置數(shù)據(jù)處置情況考核算法配置一致目的定義流程配置異常流程跟蹤接口定義數(shù)據(jù)質(zhì)量管理總體流程 總體處置流程：目錄目錄元數(shù)據(jù)管理元數(shù)據(jù)定義元數(shù)據(jù)最本質(zhì)，最籠統(tǒng)的定義為:data about data (關(guān)于數(shù)據(jù)的數(shù)據(jù)) 在數(shù)據(jù)倉庫領(lǐng)域中，元數(shù)據(jù)被定義為：描畫

7、數(shù)據(jù)及其環(huán)境的數(shù)據(jù)元數(shù)據(jù)存儲技術(shù)元數(shù)據(jù)：為企業(yè)技術(shù)用戶和IT人員提供支持的元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)：為企業(yè)業(yè)務(wù)用戶提供支持的元數(shù)據(jù)元數(shù)據(jù)管理元數(shù)據(jù)管理技術(shù)公共倉庫元模型CWM CWM 公共倉庫元模型Common Warehouse Metamodel是OMG國際規(guī)范化組織提出的，主要目的是在異構(gòu)環(huán)境下，使不同數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進(jìn)展元數(shù)據(jù)交換。元數(shù)據(jù)管理支持五類系統(tǒng)管理功能描畫哪些數(shù)據(jù)在數(shù)據(jù)倉庫中;定義要進(jìn)入數(shù)據(jù)倉庫中的數(shù)據(jù)和從數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù);記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)展的數(shù)據(jù)抽取任務(wù)時間安排;記錄并檢測系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況;衡量數(shù)據(jù)質(zhì)量。數(shù)據(jù)倉庫元數(shù)據(jù)管理數(shù)據(jù)倉庫涉及的

8、元數(shù)據(jù)管理包括：數(shù)據(jù)源元數(shù)據(jù)ETL規(guī)那么元數(shù)據(jù)數(shù)據(jù)倉庫元數(shù)據(jù)報表元數(shù)據(jù)接口文件格式元數(shù)據(jù)商業(yè)元數(shù)據(jù)其他元數(shù)據(jù) 各類元數(shù)據(jù)管理方法：數(shù)據(jù)源元數(shù)據(jù)數(shù)據(jù)源元數(shù)據(jù)主要是數(shù)據(jù)庫模型設(shè)計文檔、為綜合統(tǒng)計分析平臺提供數(shù)據(jù)的各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)字典及數(shù)據(jù)接口文件等。數(shù)據(jù)源元數(shù)據(jù)的管理：由相關(guān)人員對各類文檔進(jìn)展一致版本的管理。各類元數(shù)據(jù)管理方法： ETL規(guī)那么元數(shù)據(jù) ETL規(guī)那么元數(shù)據(jù)中涉及到數(shù)據(jù)源元數(shù)據(jù)、目的系統(tǒng)元數(shù)據(jù)、ETL流程、源與目的的映射關(guān)系等元數(shù)據(jù)信息。 數(shù)據(jù)源元數(shù)據(jù)包括業(yè)務(wù)系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)倉庫元數(shù)據(jù)等；目的系統(tǒng)元數(shù)據(jù)能夠是數(shù)據(jù)倉庫元數(shù)據(jù)、數(shù)據(jù)集市元數(shù)據(jù)等。 ETL規(guī)那么元數(shù)據(jù)的管理：由數(shù)據(jù)庫開發(fā)人員

9、根據(jù)各個模塊的ETL過程以及過程運(yùn)轉(zhuǎn)的順序，構(gòu)成相關(guān)元數(shù)據(jù)管理文檔進(jìn)展一致管理。各類元數(shù)據(jù)管理方法： 數(shù)據(jù)倉庫元數(shù)據(jù) 數(shù)據(jù)倉庫采用RDBMS進(jìn)展數(shù)據(jù)的存儲和管理，設(shè)計方式遵照數(shù)據(jù)倉庫的設(shè)計準(zhǔn)那么，實現(xiàn)主題、維、度量等多維概念模型，這些元素在RDBMS中物理上是詳細(xì)的數(shù)據(jù)表，這些表與詳細(xì)多維模型的映射關(guān)系需求經(jīng)過元數(shù)據(jù)進(jìn)展描畫和定義。 數(shù)據(jù)倉庫元數(shù)據(jù)的管理：制定數(shù)據(jù)倉庫模型設(shè)計文檔記錄現(xiàn)實表、維度、屬性、層次等信息，物理表與多維模型的映射關(guān)系等信息 ，對文檔進(jìn)展一致版本的管理。各類元數(shù)據(jù)管理方法： 報表元數(shù)據(jù) 包括對報表和報表中詳細(xì)目的度量的描畫信息等 報表元數(shù)據(jù)的管理：對數(shù)據(jù)集上可以計算的度量

10、進(jìn)展相關(guān)元數(shù)據(jù)的管理，包括詳細(xì)設(shè)計文檔中對各個表中度量的定義、描畫等；對一切表和度量之間的關(guān)系進(jìn)展嚴(yán)厲的文檔記錄，包括度量的計算、度量之間的相互依賴關(guān)系、以及歷史信息進(jìn)展元數(shù)據(jù)管理 各類元數(shù)據(jù)管理方法： 接口文件格式元數(shù)據(jù) 接口數(shù)據(jù)文件格式，包括接口數(shù)據(jù)文件的命名、傳輸周期、格式等闡明信息。 接口文件格式元數(shù)據(jù)：與ETL規(guī)那么元數(shù)據(jù)進(jìn)展一致管理。各類元數(shù)據(jù)管理方法： 商業(yè)元數(shù)據(jù) 系統(tǒng)中對各項目的的業(yè)務(wù)含義的描畫性信息，在綜合統(tǒng)計分析平臺中，包括維、度量的業(yè)務(wù)含義描畫，主題的分析目的描畫，報表目的的解釋信息等。 商業(yè)元數(shù)據(jù)的管理可以分解成數(shù)據(jù)倉庫元數(shù)據(jù)的管理和報表元數(shù)據(jù)的管理。各類元數(shù)據(jù)管理方法： 其他元數(shù)據(jù) 數(shù)據(jù)訪問日志、數(shù)據(jù)裝載日志