技術(shù)文檔-元數(shù)據(jù)實(shí)例參考.ppt

中國移動(dòng)省級NG2-BASS3.0規(guī)范培訓(xùn) -元數(shù)據(jù)管理分冊 2019年7月13日星期六,目 錄,修訂背景,實(shí)現(xiàn)兩級經(jīng)分元數(shù)據(jù)信息互通，保障一、二經(jīng)指標(biāo)口徑一致，使各省上報(bào)重點(diǎn)一經(jīng)接口的真實(shí)匯總過程透明化，在發(fā)生數(shù)據(jù)質(zhì)量問題時(shí)兩級系統(tǒng)有共同的溝通平臺(tái)，并防范部分省公司干擾指標(biāo)真實(shí)性。,經(jīng)過NG1-BASS2.0元數(shù)據(jù)管理模塊的建設(shè)，各省在元數(shù)據(jù)管理和應(yīng)用方面積累了一些具有推廣價(jià)值的經(jīng)驗(yàn)，同時(shí)也發(fā)現(xiàn)了一些存在問題,一級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量依賴于省級經(jīng)營分析系統(tǒng)上傳的接口數(shù)據(jù)質(zhì)量，需要加強(qiáng)兩級經(jīng)營分析系統(tǒng)的數(shù)據(jù)理解一致性和重點(diǎn)接口的數(shù)據(jù)處理過程規(guī)范性；,為提升經(jīng)分系統(tǒng)數(shù)據(jù)質(zhì)量，需要建立經(jīng)分與數(shù)據(jù)源系統(tǒng)的協(xié)同管理機(jī)制；,經(jīng)營分析系統(tǒng)的發(fā)展對提出元數(shù)據(jù)管理模塊提出新的要求，需要增強(qiáng)元模型管理、元數(shù)據(jù)獲取能力和對外服務(wù)能基礎(chǔ)能力，以更好支持經(jīng)分建設(shè)和應(yīng)用。,修訂目標(biāo)和思路,修訂目標(biāo),建立經(jīng)營分析系統(tǒng)核心元模型，規(guī)范數(shù)據(jù)處理過程的結(jié)構(gòu)化描述 實(shí)現(xiàn)兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通，促進(jìn)重點(diǎn)接口數(shù)據(jù)處理過程規(guī)范化 為經(jīng)營分析系統(tǒng)基礎(chǔ)技術(shù)模塊提供支撐，擴(kuò)充元數(shù)據(jù)服務(wù)接口 服務(wù)經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量管理子系統(tǒng)，為源系統(tǒng)聯(lián)動(dòng)機(jī)制提供基礎(chǔ)支撐,修訂思路,以CWM為基礎(chǔ)面向經(jīng)營分析系統(tǒng)建設(shè)和管理需要進(jìn)行元模型細(xì)化和擴(kuò)展，針對關(guān)鍵元數(shù)據(jù)對象建立核心元模型，實(shí)現(xiàn)兩級元數(shù)據(jù)互通 增強(qiáng)SQL腳本解析，提升數(shù)據(jù)處理邏輯過程的展現(xiàn)能力 建立維表庫管理、接口管理機(jī)制，支撐數(shù)據(jù)質(zhì)量的源系統(tǒng)協(xié)同機(jī)制 提供數(shù)據(jù)封裝和數(shù)據(jù)地圖訪問服務(wù)接口，增強(qiáng)元數(shù)據(jù)對外服務(wù)能力,目 錄,元數(shù)據(jù)管理模塊在經(jīng)營分析系統(tǒng)中的定位,本期修訂內(nèi)容,本期修改內(nèi)容,本期新增內(nèi)容,經(jīng)營分析系統(tǒng)核心元模型 兩級經(jīng)分元數(shù)據(jù)互通 維表庫管理 接口管理 數(shù)據(jù)地圖展現(xiàn) 數(shù)據(jù)封裝元數(shù)據(jù) 客戶隱私信息元數(shù)據(jù),元數(shù)據(jù)變更管理 數(shù)據(jù)源接口元數(shù)據(jù) 維度數(shù)據(jù) 輔助安全管理,元數(shù)據(jù)服務(wù)接口（二期） SQL腳本自動(dòng)解析（二期）,二期建設(shè)內(nèi)容,目 錄,3.1 元數(shù)據(jù)獲取層,元數(shù)據(jù)獲取新增SQL解析二期內(nèi)容建設(shè) 在原有SQL腳本自動(dòng)解析一期建設(shè)基礎(chǔ)上，規(guī)范數(shù)據(jù)處理元數(shù)據(jù)的結(jié)構(gòu)化描述、細(xì)化描述粒度、豐富解析效果展現(xiàn)層次，對SQL解析中的關(guān)鍵問題提出處理方法要求： 數(shù)據(jù)處理過程元數(shù)據(jù)的生成 SQL腳本對象結(jié)構(gòu)化描述 以ClassifierMap對象描述SQL腳本的數(shù)據(jù)轉(zhuǎn)換處理邏輯 以RelationalOperator對象描述SELECT子句的關(guān)系代數(shù)操作 以FeatureMap對象細(xì)化描述SQL腳本的關(guān)系操作 數(shù)據(jù)處理過程日志規(guī)范要求 SQL腳本的上下文關(guān)系處理要求 多路徑問題和信息丟失問題處理要求,二期建設(shè)：SQL腳本解析,日志規(guī)范要求細(xì)化,運(yùn)行日志的輸出形式： 日志文件 日志表,日志內(nèi)容中要求包含： 提交到數(shù)據(jù)庫執(zhí)行的SQL腳本 創(chuàng)建數(shù)據(jù)庫鏈接的相關(guān)參數(shù) 文件導(dǎo)入導(dǎo)出操作 不要求包含游標(biāo)操作信息,二期建設(shè)：SQL腳本解析,腳本程序描述和 SQL片段描述,關(guān)系代數(shù)操作及其明細(xì)的描述,數(shù)據(jù)轉(zhuǎn)換處理單元描述,腳本程序：TransformationTask SQL片段：TransformationMap,SELECT / COMBINATION / INSERTALL / MERGE / RENAME 投影操作/交并差操作/改名操作,二期建設(shè)：SQL腳本解析,SQL腳本上下文信息處理,多路徑和信息丟失問題處理,要求能夠處理如下上下文相關(guān)類型： 改變數(shù)據(jù)庫連接 臨時(shí)表的處理 命名空間的處理 SQL腳本循環(huán)執(zhí)行,問題自動(dòng)處理能力： 將腳本多次運(yùn)行日志自動(dòng)合并 對導(dǎo)入導(dǎo)出命令自動(dòng)解析 export/import/unload/load 輔助人工處理能力： 游標(biāo)處理，可提供告警功能 手工補(bǔ)充相關(guān)的元數(shù)據(jù)。,3.2 元數(shù)據(jù)存儲(chǔ)層,元數(shù)據(jù)存儲(chǔ)新增內(nèi)容包括： 經(jīng)營分析系統(tǒng)核心元模型 數(shù)據(jù)封裝元數(shù)據(jù) 增強(qiáng)內(nèi)容包括： 維度元數(shù)據(jù)的存儲(chǔ)：對維度元數(shù)據(jù)的屬性要求進(jìn)行細(xì)化，支撐維表庫管理應(yīng)用 數(shù)據(jù)源接口元數(shù)據(jù)的存儲(chǔ)：對接口元數(shù)據(jù)的屬性要求進(jìn)行細(xì)化，支撐接口管理應(yīng)用,CWM作為數(shù)據(jù)倉庫領(lǐng)域的元模型標(biāo)準(zhǔn)，在元數(shù)據(jù)的集中管理、元數(shù)據(jù)互操作和元數(shù)據(jù)交換方面發(fā)揮重要作用。但是CWM作為一個(gè)國際性、廠商無關(guān)、平臺(tái)無關(guān)的規(guī)范，本身只提供一個(gè)公共的元模型框架，將數(shù)據(jù)倉庫領(lǐng)域的公共特性納入元模型中，而不追求對物理實(shí)現(xiàn)的精確定義。 經(jīng)營分析系統(tǒng)核心元模型以CWM元模型為基礎(chǔ)擴(kuò)展而成，是面向兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通的實(shí)際需要對關(guān)鍵元數(shù)據(jù)對象進(jìn)行精確定義的元模型規(guī)范。,新增：經(jīng)營分析系統(tǒng)核心元模型,派生,新增：數(shù)據(jù)封裝元數(shù)據(jù),數(shù)據(jù)封裝元數(shù)據(jù)主要包括數(shù)據(jù)封裝服務(wù)開發(fā)生成的邏輯模型，以及邏輯模型與數(shù)據(jù)倉庫/數(shù)據(jù)集市物理模型的映射關(guān)系。 數(shù)據(jù)封裝元數(shù)據(jù)包括四類：邏輯模型實(shí)體、邏輯模型字段、映射關(guān)系組、映射關(guān)系,邏輯模型實(shí)體元模型,邏輯對象名稱 邏輯對象描述,邏輯模型字段元模型,字段名稱 字段描述 字段類型 字段長度 是否為PK 是否關(guān)聯(lián)字段,關(guān)系組標(biāo)識(shí) 關(guān)系標(biāo)識(shí) 源對象 目標(biāo)對象 關(guān)系類型 是否主關(guān)聯(lián),3.3 元數(shù)據(jù)功能層,元數(shù)據(jù)功能層新增內(nèi)容包括： 基于元數(shù)據(jù)的多層級數(shù)據(jù)地圖展現(xiàn) 元數(shù)據(jù)服務(wù)接口二期建設(shè)內(nèi)容 增強(qiáng)內(nèi)容包括： 元數(shù)據(jù)變更管理：增加大版本管理功能，支持批量元數(shù)據(jù)定版；支持版本差異分析；支持元數(shù)據(jù)生成修訂記錄功能,新增：數(shù)據(jù)地圖展現(xiàn),作為元模型規(guī)范化的延伸，統(tǒng)一圖形展現(xiàn)方式，消除圖形表達(dá)的語義理解差異。 解決圖形展現(xiàn)缺乏層次控制、布局凌亂、難于看懂的現(xiàn)狀。 圖形展現(xiàn)包括： 作業(yè)層圖形展現(xiàn) SQL語句層的圖形展現(xiàn)和布局,作業(yè)層展現(xiàn),數(shù)據(jù)處理邏輯層展現(xiàn),SQL語句層展現(xiàn),數(shù)據(jù)處理邏輯層明細(xì)展現(xiàn),數(shù)據(jù)處理邏輯層的圖形展現(xiàn) 數(shù)據(jù)處理邏輯明細(xì)層的圖形展現(xiàn),二期建設(shè)：元數(shù)據(jù)對外服務(wù)接口,一期建設(shè)中，已實(shí)現(xiàn)元數(shù)據(jù)封裝原語定義和基礎(chǔ)技術(shù)能力建設(shè) 本期建設(shè)，重點(diǎn)增加元數(shù)據(jù)封裝接口應(yīng)用功能，包括： 數(shù)據(jù)封裝元數(shù)據(jù)訪問服務(wù)接口 讀取物理模型元數(shù)據(jù) 寫入數(shù)據(jù)封裝元數(shù)據(jù) 數(shù)據(jù)地圖訪問服務(wù)接口 關(guān)系分析圖形接口 包含分析圖形接口,3.4 元數(shù)據(jù)應(yīng)用層,元數(shù)據(jù)應(yīng)用新增內(nèi)容包括： 兩級經(jīng)分元數(shù)據(jù)互通 維表庫管理 接口管理 元數(shù)據(jù)應(yīng)用增強(qiáng)內(nèi)容： 輔助安全管理,新增：兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通,通過實(shí)施兩級經(jīng)營分析系統(tǒng)的元數(shù)據(jù)互通，使各省經(jīng)營分析系統(tǒng)數(shù)據(jù)處理過程對集團(tuán)透明化，促進(jìn)集團(tuán)對各省營分析系統(tǒng)的數(shù)據(jù)處理過程的理解，進(jìn)一步了解各省接口開發(fā)方案、新接口改造的實(shí)際進(jìn)度并加強(qiáng)管理，有助于兩級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量的整體提升。,數(shù)據(jù)倉庫 數(shù)據(jù)處理過程 源系統(tǒng)接口 源系統(tǒng)維度,互通內(nèi)容,互通元數(shù)據(jù)維護(hù) 互通元數(shù)據(jù)轉(zhuǎn)換接口 校驗(yàn)結(jié)果處理,功能要求,XML文件 基于互通元數(shù)據(jù)接口標(biāo)準(zhǔn),互通接口,新增：維表庫管理,維表庫管理是指基于元數(shù)據(jù)系統(tǒng)，對數(shù)據(jù)源系統(tǒng)維表庫、各省經(jīng)分系統(tǒng)之標(biāo)準(zhǔn)維表庫和集團(tuán)一經(jīng)維表庫分別進(jìn)行管理，從而建立一套標(biāo)準(zhǔn)的維表庫體系。實(shí)現(xiàn)標(biāo)準(zhǔn)維表庫與源系統(tǒng)維表庫之間的關(guān)聯(lián)管理，旨在有效處理源系統(tǒng)維表庫與標(biāo)準(zhǔn)維表庫之間的維度數(shù)據(jù)統(tǒng)一，促進(jìn)經(jīng)營分析系統(tǒng)與源系統(tǒng)協(xié)同。,維表目錄管理,維表登記管理,維表數(shù)據(jù)管理,維表關(guān)系管理,維表分類定義 目錄調(diào)整,維表登記 維表結(jié)構(gòu)定義 維表分類整理,維表數(shù)據(jù)基本維護(hù)管理 維表數(shù)據(jù)導(dǎo)入/導(dǎo)出,維表映射關(guān)系 維表映射 字段映射 數(shù)據(jù)映射 維表引用關(guān)系 接口引用 事實(shí)表引用,維表同步機(jī)制、維表變更日志管理、維表信息公告發(fā)布,新增：接口管理,省級經(jīng)營分析系統(tǒng)與BOSS、CRM等系統(tǒng)和一級經(jīng)營分析系統(tǒng)以數(shù)據(jù)接口形式進(jìn)行大量數(shù)據(jù)交互?；谠獢?shù)據(jù)進(jìn)行接口管理，對于接口數(shù)據(jù)規(guī)格、數(shù)據(jù)內(nèi)容以及接口管理過程進(jìn)行規(guī)范管理，建立接口元數(shù)據(jù)維護(hù)機(jī)制，提高接口元數(shù)據(jù)質(zhì)量，為源系統(tǒng)變更協(xié)同管理和兩級經(jīng)營系統(tǒng)元數(shù)據(jù)互通奠定基礎(chǔ)。,接口管理范圍,接口元數(shù)據(jù)獲取 接口元數(shù)據(jù)管理、維護(hù) 查詢分析 變更管理 對外服務(wù)接口,功能要求,增強(qiáng)：輔助安全管理,增加客戶隱私信息元數(shù)據(jù)管理，支撐經(jīng)營分析系統(tǒng)安全管理,提供客戶隱私信息的基本配置和存儲(chǔ)： 定義是否為隱私信息： 附加隱私標(biāo)識(shí) 定義所屬的隱私類別： 為個(gè)人客戶隱私、集團(tuán)客戶隱私或集團(tuán)客戶成員隱私信息。 定義具體的隱私屬性： 如，手機(jī)號(hào)碼、地址、客戶姓名等。,提供客戶隱私信息服務(wù)接口： 獲取隱私信息相關(guān)的技術(shù)實(shí)體： 輸入：需要查詢的隱私標(biāo)識(shí)、隱私類別或隱私屬性等參數(shù)； 輸出：元數(shù)據(jù)實(shí)體，如數(shù)據(jù)庫表名和字段名，以及相關(guān)技術(shù)元數(shù)據(jù)屬性。 獲取技術(shù)實(shí)體的隱私信息定義： 輸入：技術(shù)元數(shù)據(jù)實(shí)體信息，如數(shù)據(jù)庫表名； 輸出：該實(shí)體的隱私標(biāo)識(shí)、隱私類別和隱私屬性等客戶隱私信息定義信息。,目 錄,附件一：CWM元數(shù)據(jù)模型結(jié)構(gòu),CWM模型是OMG組織定義的數(shù)據(jù)倉庫和相關(guān)系統(tǒng)的國際元數(shù)據(jù)標(biāo)準(zhǔn)，CWM標(biāo)準(zhǔn)的目的在于使數(shù)據(jù)倉庫和商業(yè)智能軟件的元數(shù)據(jù)在分布異構(gòu)的數(shù)據(jù)分析工具、數(shù)據(jù)倉庫平臺(tái)、元數(shù)據(jù)存儲(chǔ)等系統(tǒng)之間進(jìn)行。,CWM元模型可用于描述數(shù)據(jù)加工鏈路中各種實(shí)體的平臺(tái)無關(guān)的公共特性，但是對于特定應(yīng)用場合，CWM元模型可能會(huì)缺乏實(shí)際應(yīng)用所必須的某些信息的描述能力，這時(shí)需要對CWM元模型進(jìn)行擴(kuò)展。CWM提供了兩種擴(kuò)展機(jī)制： 子類擴(kuò)展機(jī)制 TaggedValue和Stereotype擴(kuò)展機(jī)制,附件一：CWM元數(shù)據(jù)模型擴(kuò)展機(jī)制,從核心包擴(kuò)展而成的XML元模型,Stereotype類和TaggedValue類擴(kuò)展機(jī)制,經(jīng)營分析系統(tǒng)元模型主要包括四個(gè)層面： 基礎(chǔ)層元模型 獲取層元模型 數(shù)據(jù)層元模型 訪問層元模型。,附件一： CWM和經(jīng)分系統(tǒng)元模型的對應(yīng)關(guān)系,附件一：經(jīng)分核心元模型對CWM的擴(kuò)展內(nèi)容,從Transformation包的TransformationTask類派生出TransformationTask類和TransformationMap類，用于描述腳本程序和SQL腳本； 從Transformation包的Transformation類派生出ClassifierMap類，用于描述腳本程序或者SQL腳本中的轉(zhuǎn)換處理邏輯； 表級數(shù)據(jù)處理邏輯到字段級數(shù)據(jù)處理邏輯的臃腫的映射關(guān)系，建立直接從ClassifierMap到FeatureMap的映射；