元數(shù)據(jù)管理模塊方案

1、目錄1. 現(xiàn)狀分析 2.1.1 目前的困境 2.1.2 什么是元數(shù)據(jù)管理 3.2. 目標(biāo)分析 3.2.1 建立完善的指標(biāo)解釋體系 3.2.2 建立規(guī)范的元數(shù)據(jù)管理體系 4.2.3 建立有效的數(shù)據(jù)稽核體系 4.3. 功能概述 4.3.1 元數(shù)據(jù)管理 4.3.1.1 業(yè)務(wù)元數(shù)據(jù) 5.3.2.2 技術(shù)元數(shù)據(jù) 6.3.3 元數(shù)據(jù)分析 9.3.3.1 血統(tǒng)分析 9.3.3.2 影響分析 1.0.3.3.3 重要性分析 1.1.3.3.4 無關(guān)性分析 1.2.3.4數(shù)據(jù)稽核 1.2.3.4.1 稽核規(guī)則管理 1.3.3.4.2 稽核任務(wù)調(diào)度 1.3.3.4.3 稽核結(jié)果分析 1.4.3.4.4 數(shù)據(jù)質(zhì)量評

2、估 1.4.數(shù)據(jù)問題管理 1.4.2元數(shù)據(jù)管理系統(tǒng)概述1. 現(xiàn)狀分析隨著經(jīng)營分析系統(tǒng)規(guī)模不斷擴(kuò)大， 系統(tǒng)所積累數(shù)據(jù)量也越來越大， 收集到的 海量數(shù)據(jù)背后隱藏著大量珍貴重要的信息，但也同時(shí)提高了系統(tǒng)的數(shù)據(jù)管理難 度：一方面難以對這些數(shù)據(jù)進(jìn)行有效解釋， 缺乏對業(yè)務(wù)流程執(zhí)行的實(shí)時(shí)監(jiān)控和管 理；另一方面各部門數(shù)據(jù)與數(shù)據(jù)整合的難度也不斷加大， 影響到了經(jīng)營分析系統(tǒng) 中的數(shù)據(jù)質(zhì)量。如何對現(xiàn)有數(shù)據(jù)進(jìn)行深層發(fā)掘， 并揭示出埋藏在元數(shù)據(jù)中的趨勢、 因果關(guān)系、 關(guān)聯(lián)模式等核心信息？這是下一步深化經(jīng)營分析系統(tǒng)應(yīng)用的電信運(yùn)營商需要解 決的頭等大事。構(gòu)建 BI，首先要保證的是數(shù)據(jù)質(zhì)量。元數(shù)據(jù)管理解決的問題就 是如何把業(yè)

3、務(wù)系統(tǒng)中的數(shù)據(jù)分門別類地進(jìn)行管理，并建立數(shù)據(jù)與數(shù)據(jù)之間的關(guān) 系，為數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量監(jiān)控提供基礎(chǔ)素材。1.1 目前的困境使用者 (決策層、業(yè)務(wù)分析人員 )：1) 經(jīng)營分析系統(tǒng)中存在有很多報(bào)表，不同報(bào)表中存在一些相同的指標(biāo)，這 些指標(biāo)往往不一致， 給業(yè)務(wù)分析和決策工作造成很多困惑， 必須花費(fèi)很大的 精力去檢查核實(shí)。2) 對于很多指標(biāo)，不清楚其具體含義，不清楚其反映的問題，不清楚其具 體算法和來龍去脈。數(shù)據(jù)倉庫項(xiàng)目開發(fā)維護(hù)者：1) 不同報(bào)表中的同一指標(biāo)不一致，必須花費(fèi)很大的精力去檢查，目前基本 上是通過手工檢查表和存儲過程的方式，效率較低。2) 沒有完善的開發(fā)、維護(hù)規(guī)范。比如，新增一張分析報(bào)表，開

4、發(fā)人員根據(jù) 業(yè)務(wù)人員的需求制作完成之后， 往往沒有整理完善相應(yīng)的數(shù)據(jù)指標(biāo)解釋和元 數(shù)據(jù)管理，造成日后檢查困難。3) 開發(fā)、維護(hù)規(guī)范的執(zhí)行力較低，沒有行之有效的管控手段。不嚴(yán)格按照規(guī)范執(zhí)行，隨著項(xiàng)目的發(fā)展和時(shí)間的推移， 導(dǎo)致數(shù)據(jù)倉庫項(xiàng)目的健壯性和可 維護(hù)性呈幾何級數(shù)下降，給數(shù)據(jù)倉庫的建設(shè)帶來大量的重復(fù)工作。1.2 什么是元數(shù)據(jù)管理元數(shù)據(jù)最本質(zhì)，最抽象的定義為： data about data （ 關(guān)于數(shù)據(jù)的數(shù)據(jù) ）。 而對于經(jīng)營分析數(shù)據(jù)倉庫而言， 形象的定義為：元數(shù)據(jù)就是數(shù)據(jù)倉庫的規(guī)范 。 這些規(guī)范包括對各種指標(biāo)的定義、 解釋； 包括對各表中數(shù)據(jù)的來龍去脈、 數(shù) 據(jù)的大小和格式的定義。元數(shù)據(jù)管理

5、，就是要建立一套行之有效的規(guī)范以及該規(guī)范的管控體系， 實(shí)現(xiàn)從管理到查詢到綜合分析的全面管控，管理層次從接口到 ETL 處理、 業(yè)務(wù)邏輯處理、 結(jié)果展現(xiàn)處理和指標(biāo)分析的方方面面， 構(gòu)成數(shù)據(jù)倉庫應(yīng)用系 統(tǒng)的核心和基礎(chǔ)。做到開發(fā)者能嚴(yán)格遵守規(guī)范， 維護(hù)者和使用者有規(guī)范可查， 有力的保障數(shù)據(jù)倉庫項(xiàng)目的健壯性和可維護(hù)性。2. 目標(biāo)分析要走出目前的困境，有下面三個(gè)方面的問題急待解決：2.1 建立完善的指標(biāo)解釋體系滿足用戶對業(yè)務(wù)和數(shù)據(jù)理解的需求， 建立標(biāo)準(zhǔn)的企業(yè)內(nèi)部知識傳承的信 息承載平臺，建立業(yè)務(wù)分析知識庫， 實(shí)現(xiàn)知識共享。 能夠回答諸如以下問題： 什么是出帳用戶數(shù)？在網(wǎng)用戶數(shù)和網(wǎng)上用戶數(shù)有何區(qū)別？什么是

6、套餐的生命周期？競爭對手新發(fā)展用戶數(shù)是怎么得來的？這個(gè)數(shù)據(jù)還叫什么名字？2.2 建立規(guī)范的元數(shù)據(jù)管理體系讓用戶能夠清晰的了解數(shù)據(jù)倉庫中數(shù)據(jù)流的來龍去脈，業(yè)務(wù)處理規(guī)則、 發(fā)展情況等，提高系統(tǒng)的可維護(hù)性、適應(yīng)性和集成性，支持?jǐn)?shù)據(jù)倉庫/集市的成長需求，減少因員工換崗造成的影響。具體來講， 主要是對數(shù)據(jù)倉庫建設(shè)、 運(yùn)行和維護(hù)的規(guī)范的管理。 能夠回 答諸如以下的問題：哪張表是從業(yè)務(wù)系統(tǒng)抽取過來的原始話單表？ 競爭對手新發(fā)展用戶事實(shí)表中的數(shù)據(jù)，是從哪些表匯總計(jì)算出來的？ DW 用戶下的 P_XXX 這個(gè)存儲過程是誰寫的，現(xiàn)在還有用嗎？ 我是新手，要生成套餐生命周期演化分析事實(shí)表，我該怎么做？ 表空間不夠了

7、，哪些表的數(shù)據(jù)可以刪掉？2.3 建立有效的數(shù)據(jù)稽核體系促進(jìn)數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量建設(shè)， 為提高整個(gè)系統(tǒng)的數(shù)據(jù)質(zhì)量奠定堅(jiān)實(shí)的 基礎(chǔ)。建立報(bào)警、監(jiān)控機(jī)制，出現(xiàn)故障，能及時(shí)發(fā)現(xiàn)問題。提供整體系統(tǒng)運(yùn) 營的情況分析。能夠回答諸如以下問題：今天的出帳用戶數(shù)過高，是怎么回事？數(shù)據(jù)集市層中的 DM_XXX 表中數(shù)據(jù)為空，什么原因？A 報(bào)表中的全省 ARPU 值和 B 報(bào)表中的 ARPU 值為什么不同？3. 功能概述3.1 元數(shù)據(jù)管理對數(shù)據(jù)倉庫的層次結(jié)構(gòu)、主題域劃分，各層的各種對象，如表、存儲過 程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。能夠清晰的展現(xiàn)各層次結(jié)構(gòu)之間的 數(shù)據(jù)流程，圖形化展現(xiàn)各對象之間的關(guān)系，展現(xiàn)表中數(shù)據(jù)的

8、來龍去脈。3.1.1業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)包括以下信息：使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象 名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)來源；系統(tǒng)所提供的分析方法及公式、 報(bào)表信息。業(yè)務(wù)元數(shù)據(jù)管理除了管理上述信息外，還提供對業(yè)務(wù)元數(shù)據(jù)來源的管理 和差異性對比功能，使用戶能夠方便的查詢、比較和追溯。包括兩個(gè)子模塊，指標(biāo)管理和指標(biāo)解釋接口。指標(biāo)管理：主要實(shí)現(xiàn)對所有指標(biāo)的維護(hù)功能，維護(hù)指標(biāo)的基本信息、業(yè) 務(wù)規(guī)則和技術(shù)算法等。能夠展現(xiàn)各個(gè)主題分析中的指標(biāo)，以及指標(biāo)間的區(qū)別 等信息。指標(biāo)解釋接口 ：提供統(tǒng)一的接口，使用戶能夠在經(jīng)營分析系統(tǒng)或CRM系統(tǒng)中，點(diǎn)擊任一指標(biāo)名稱，即可查看該指標(biāo)的詳細(xì)描述和解釋說明。322

9、技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管 理數(shù)據(jù)倉庫的數(shù)據(jù)，主要包括數(shù)據(jù)倉庫結(jié)構(gòu)的描述（各個(gè)主題的定義，星型 模式或雪花型模式的描述定義等）、ODS層（操作數(shù)據(jù)存儲ODS .Operation Data Storage）的企業(yè)數(shù)據(jù)模型描述（以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式）、 對數(shù)據(jù)稽核規(guī)則的定義、數(shù)據(jù)集市定義描述與裝載描述（包括Cube的維度、 層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則）。系統(tǒng)除了維護(hù)技術(shù)員數(shù)據(jù)的基本信息外，更以圖形的方式展現(xiàn)和管理各 技術(shù)元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系和來源。技術(shù)元數(shù)據(jù)管理主要包括以下幾個(gè)功能模塊：元數(shù)據(jù)查詢：按關(guān)鍵字、分類、主題域名稱

10、等維度進(jìn)行查詢，展現(xiàn)該元 數(shù)據(jù)的基本信息，如業(yè)務(wù)描述、技術(shù)描述、計(jì)量單位、所屬分類等信息。元數(shù)據(jù)維護(hù)：對元數(shù)據(jù)的基本信息進(jìn)行維護(hù)，包括增、刪、改。元數(shù)據(jù)關(guān)系查詢：展現(xiàn)元數(shù)據(jù)之間的關(guān)系，女口：按經(jīng)營分析數(shù)據(jù)倉庫的各個(gè)層次進(jìn)行展現(xiàn)；按元數(shù)據(jù)之間的映射關(guān)系展現(xiàn)；按元數(shù)據(jù)的處理流程進(jìn)行展現(xiàn)等等。遼蛙慣拜稱；Sft-ESA ,F.DM OPPOHEMT MOBILE NOH眼環(huán)脫控制，禺際右鋌點(diǎn)擊 某元鞭帚節(jié)點(diǎn)j進(jìn)入諄元議霍 的矣茂維步卑而，對其與苴乜 工或耀之口笛乂樂蘭T増刪奴三也F ZW OPPOHEVT CNC MCM8#FA0T_VI?U5E#元數(shù)據(jù)關(guān)系管理：對元數(shù)據(jù)關(guān)系進(jìn)行維護(hù)，包括增加、刪除

11、和修改元教詰矣型：全理 T元敢據(jù)名稱：出軼用戶數(shù)點(diǎn)擊陡擇*彈岀元戲!8遺捋界面遷疔培趙擇*【鐮1阿杞據(jù)按眾揑制屜標(biāo)吉龍疸港 慕元數(shù)18爭海/進(jìn)入懐元?jiǎng)PJS 的關(guān)手純護(hù)界面弼瓦與菽幡 元risi的產(chǎn)樂誨疔增鋁凸弟擊熹元對1&刊點(diǎn)巖現(xiàn)閃元 數(shù)聞的關(guān)爭虱i-t Er_GS'/_-_T_-増加上圾節(jié)點(diǎn)2 爆改元魏據(jù)信恿rttt.9#掛岳：出讀朋尸徽如上圖所示，鼠標(biāo)右鍵點(diǎn)擊某個(gè)節(jié)點(diǎn)，對該節(jié)點(diǎn)進(jìn)行增、刪、改操作。桎擊（JM®h彈出元數(shù)番趣逼界両，才行拮番土揺,#tt供擔(dān)匚感適*-.Bj増加三越和書占0"r3-<>0NXfraMiiy. BtAWM*上址主適：

12、出供弓戶弟甫洱H阻：#10點(diǎn)出血揮弾出元致?lián)嫇]界叛，迸h植確世客稱：|宙祐用戶戢選擇直詢?yōu)oG 日 F-口 S 間亠匚AL L_J= 2CC6-C23.3元數(shù)據(jù)分析血統(tǒng)分析、影響分析、表重要程度分析、表無關(guān)程度分析等等。通過上 述分析，讓用戶對整個(gè)數(shù)據(jù)倉庫總體上有清晰的認(rèn)識和理解，解決數(shù)據(jù)孤島的問題。3.3.1血統(tǒng)分析數(shù)據(jù)血統(tǒng)Data Lin eage ,通過數(shù)據(jù)血統(tǒng)分析，用戶可以知道數(shù)據(jù)何時(shí) 更新、如何計(jì)算以及從何處而來，所有這些手段幫助用戶追溯報(bào)表中數(shù)據(jù)產(chǎn) 生的來源。這種深入洞查數(shù)據(jù)來龍去脈的能力對于幫助用戶更加信賴他們的 信息來說，具有至關(guān)重要的作用。ETI抽取話單營帳系統(tǒng)話單表業(yè)務(wù)生產(chǎn)

13、系統(tǒng).V _二聯(lián)通用戶通話詳單源數(shù)據(jù) SRC層從詳單中抽取與移動(dòng)用戶的通話記錄ODS層與移動(dòng)在網(wǎng)用戶比較匯總產(chǎn)生大客戶信息移動(dòng)新入網(wǎng)用戶信息展現(xiàn)數(shù)據(jù)倉庫 DW層數(shù)據(jù)集市 DM層移動(dòng)大客戶信息展現(xiàn)移動(dòng)用戶通話詳單表3.3.2影響分析影響分析關(guān)注的重點(diǎn)是數(shù)據(jù)的流向，提供端對端影響分析，使您能夠看 見源系統(tǒng)發(fā)生變化時(shí)，BI報(bào)表受到的影響，而因此可以輕松地處理 BI環(huán)境 中的變化。前端展現(xiàn)專題分析模塊競爭專題大客戶明細(xì)競爭專題 用戶分析競爭專題 策反目標(biāo)元數(shù)據(jù)對象高層決策 市場分析3.3.3重要性分析分析BI系統(tǒng)中，用戶最關(guān)心的分析主題、報(bào)表和指標(biāo)，追溯這些分析 主題、報(bào)表和指標(biāo)涉及到的元數(shù)據(jù)，這對于

14、 BI系統(tǒng)和數(shù)據(jù)倉庫開發(fā)團(tuán)隊(duì)具 有重要的指導(dǎo)意義。KtEJSCAX34503442埜愛Vi2334L4S&:絢下備旳両的怯汰折分析數(shù)據(jù)倉庫中各層次的包、表分析各元數(shù)據(jù)對象之間的關(guān)聯(lián)密集度,等對象的重要程度，指導(dǎo)數(shù)據(jù)倉庫開發(fā)和維護(hù)團(tuán)隊(duì)對重點(diǎn)元數(shù)據(jù)進(jìn)行重點(diǎn)關(guān) 注和質(zhì)量監(jiān)控3.3.4無關(guān)性分析與重要性分析相反，隨著數(shù)據(jù)倉庫系統(tǒng)的規(guī)模不斷擴(kuò)大， 業(yè)務(wù)需求的日 益變化，會產(chǎn)生一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報(bào)表，找出這些無關(guān)的內(nèi)容, 結(jié)合業(yè)務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡化工作負(fù)載，降低項(xiàng)目總擁 有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。報(bào)喪無關(guān)程廈報(bào)義名舔關(guān)注度（人次渠道明細(xì)日報(bào)面向贛導(dǎo)層而的決

15、策支捋0自定義套餐日報(bào)分新政策與市場對品牌炭展的戰(zhàn)曙能響2產(chǎn)品群分析芬析渠道的發(fā)展和收益3基站逮鑄量勞祈與a鬲業(yè)務(wù)運(yùn)營相英曲數(shù)據(jù)7點(diǎn)擊報(bào)表名稱可直看該報(bào)表耕吸到囲相關(guān)數(shù)務(wù)乘的分祈"3.4數(shù)據(jù)稽核根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對數(shù)據(jù)的準(zhǔn)確性、合理性 等多角度的檢查，以及時(shí)發(fā)現(xiàn)問題，解決問題。對于稽核結(jié)果，進(jìn)行統(tǒng)計(jì)分析，形成結(jié)果報(bào)告，為以后的數(shù)據(jù)倉庫建設(shè)、 實(shí)施和維護(hù)的改進(jìn)打下堅(jiān)實(shí)的基礎(chǔ)。3.4.1 稽核規(guī)則管理接口數(shù)據(jù)檢驗(yàn) ：對接口數(shù)據(jù)的過程進(jìn)行稽核和校驗(yàn)，分為文件接口， DB-LINK 接口，其他異構(gòu)數(shù)據(jù)庫接口。處理過程檢驗(yàn) ：對數(shù)據(jù)處理過程進(jìn)行監(jiān)控和稽核，分為 JOB 稽

16、核，工 作流稽核，其他處理方式稽核等。處理環(huán)境檢驗(yàn) ：對數(shù)據(jù)處理環(huán)境進(jìn)行檢查， 針對不同的應(yīng)用環(huán)境， 主要 分為數(shù)據(jù)庫系統(tǒng)檢查、主機(jī)系統(tǒng)檢查、接口機(jī)檢查、應(yīng)用服務(wù)器檢查。日志監(jiān)控 ：在 ETL 自動(dòng)運(yùn)行的過程中可能出現(xiàn)各種各樣的錯(cuò)誤，比如 ETL 過程申請的資源超過硬件的物理限制（存儲不足或者排序空間不足） 。 通過檢測 ETL 過程的日志可以判斷出該過程輸出的目標(biāo)表數(shù)據(jù)是否完整。 提供選擇日志監(jiān)控的各種信息供選擇，如：過程名、所屬模塊（營業(yè)數(shù)據(jù)、 計(jì)費(fèi)數(shù)據(jù)、維表數(shù)據(jù)等） 、執(zhí)行時(shí)間、完成時(shí)間、執(zhí)行時(shí)長、執(zhí)行用戶、執(zhí) 行結(jié)果、預(yù)警等。維度檢驗(yàn) ：如：所屬模塊（營業(yè)數(shù)據(jù)、計(jì)費(fèi)數(shù)據(jù)、維表數(shù)據(jù)等） 、日期、 表名、維度名稱、緯度格式、緯度說明、緯度關(guān)聯(lián)編碼表、各緯度記錄分布 情況、是否有空值、空值記錄數(shù)、空值率、預(yù)警區(qū)間等指標(biāo)。指標(biāo)值檢驗(yàn) ：包括數(shù)據(jù)量校驗(yàn)、單指標(biāo)校驗(yàn)、交叉校驗(yàn)等。3.4.2 稽核任務(wù)調(diào)度在設(shè)定數(shù)據(jù)稽核的模板后， 可以對稽核任務(wù)實(shí)行自動(dòng)化處理， 也可以通 過定制方式來完成，可以定時(shí)調(diào)用或觸發(fā)。由不同類型數(shù)據(jù)檢驗(yàn)確定。比如：前序數(shù)據(jù)（計(jì)費(fèi)營帳數(shù)據(jù)） ，可以使用定時(shí)調(diào)度任務(wù)檢查數(shù)據(jù)完 整性，后序數(shù)據(jù)（ DW 層數(shù)據(jù)直到數(shù)據(jù)集市展示層的匯總數(shù)據(jù)）的調(diào)用可以 通過日志記錄觸發(fā)開始， 每個(gè)表記錄完成后如果日志檢測執(zhí)行