中國移動-數(shù)據(jù)倉庫在綜合性能分析系統(tǒng)中的應(yīng)用

網(wǎng)絡(luò)質(zhì)量是通信企業(yè)生命線 2009年 7月 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 網(wǎng)管支撐室 數(shù)據(jù)倉庫在綜合性能分析系統(tǒng)中的應(yīng)用 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 2 - 目錄 四川移動網(wǎng)管系統(tǒng)數(shù)據(jù)特點 數(shù)據(jù)倉庫技術(shù)簡介 綜合性能分析系統(tǒng)簡介 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 3 - 數(shù)據(jù)倉庫技術(shù)簡介 數(shù)據(jù)倉庫 （ Data Warehouse）是支持管理決策過程的、面向主題的、集成的、隨時間變化的、持久的數(shù)據(jù)集合。它是一種達(dá)成“數(shù)據(jù)整合、知識管理”的有效手段。其特征有： 2 3 4 面向主題 集成性 相對穩(wěn)定 反應(yīng)歷史變化 面向主題進(jìn)行組織（主題即客觀分析領(lǐng)域，是指在較高層次上企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行利用的抽象）。 對不同來源的外部信息進(jìn)行必要的變換和集成，包括格式轉(zhuǎn)換、消除沖突、運算、總結(jié)、綜合、設(shè)置時間屬性、設(shè)置缺省值，等等。 反映歷史信息內(nèi)容。每個數(shù)據(jù)項對應(yīng)一個特定的時間，需要大量的查詢操作，很少進(jìn)行修改和刪除，通常需要定期加載、刷新。 數(shù)據(jù)是從過去某個時間點到目前各個階段的信息，使用者可利用信息對過去的發(fā)展歷程和未來趨勢做出分析和預(yù)測。 1 定義及技術(shù)特征 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 數(shù)據(jù)倉庫技術(shù)簡介 - 4 - 抽取、清理 轉(zhuǎn)載、刷新 數(shù)據(jù)源 數(shù)據(jù)集市 服務(wù) OLAP服務(wù)器 OLAP服務(wù)器 數(shù)據(jù)挖掘工具 分析工具 報表工具 查詢工具 前端工具 數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu) 數(shù)據(jù)倉庫 體系結(jié)構(gòu)（一） 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 數(shù)據(jù)倉庫技術(shù)簡介 - 5 - 體系結(jié)構(gòu)（二） 數(shù)據(jù)源 是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是整個系統(tǒng)的數(shù)據(jù)源泉。通常包含企業(yè)的各類內(nèi)部 信息和外部信息。 數(shù)據(jù)存儲與管理 OLAP服務(wù)器 前端工具 是整個數(shù)據(jù)倉庫系統(tǒng)的核心和關(guān)鍵。針對現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫。 對分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢。其具體實現(xiàn)可以分為： ROLAP、 MOLAP和 HOLAP。 主要包括各種報表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 數(shù)據(jù)倉庫技術(shù)簡介 - 6 - 數(shù)據(jù)倉庫擅長處理海量數(shù)據(jù)，特別是 MOLAP存儲方式，能夠向數(shù)據(jù)使用者提供出色的壓縮效率和查詢速度。 數(shù)據(jù)存儲 ETL 數(shù)據(jù)倉庫提供的 ETL過程以及與其相關(guān)的諸多技術(shù)和工具，易于 集成來源和結(jié)構(gòu)復(fù)雜的數(shù)據(jù)，使之成為干凈、完備、經(jīng)過整合的數(shù)據(jù)。 OLAP OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，向數(shù)據(jù)使用者提供直觀易懂的查詢結(jié)果。 前臺展現(xiàn)技術(shù) 將沒有感情的、枯燥的結(jié)構(gòu)化數(shù)據(jù)，用友好的方式、靈活的方式、可定義的方式展現(xiàn)出來，形式包含報表、圖表，甚至影像多媒體。便于數(shù)據(jù)使用者理解其中數(shù)據(jù)的含義和業(yè)務(wù)表現(xiàn)。 數(shù)據(jù)挖掘 運用一種或多種算法，對海量數(shù)據(jù)進(jìn)行探索，促使數(shù)據(jù)使用者發(fā)現(xiàn)未知 的模式或關(guān)系，最終做出預(yù)測或總結(jié)規(guī)律。 主流支撐技術(shù) 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動網(wǎng)管系統(tǒng)數(shù)據(jù)特點 數(shù)據(jù)類型均為日志型 數(shù)據(jù)結(jié)構(gòu)復(fù)雜 數(shù)據(jù)量龐大 使用者觀察數(shù)據(jù)視角豐富 四川移動網(wǎng)管系統(tǒng) 數(shù)據(jù)來源復(fù)雜 設(shè)備廠商、設(shè)備類型眾多，各廠家、各設(shè)備類型數(shù)據(jù)存儲方式不同造成數(shù)據(jù)來源復(fù)雜 眾多的設(shè)備廠商，以及各廠商采用的不同數(shù)據(jù)存儲、編碼、計算、表現(xiàn)方式造成了數(shù)據(jù)結(jié)構(gòu)復(fù)雜 各廠商設(shè)備記錄數(shù)據(jù)均為日志型，這類數(shù)據(jù)一旦產(chǎn)生就不再變化，具有穩(wěn)定性特征 各廠商設(shè)備日產(chǎn)生數(shù)據(jù)約 160G（數(shù)據(jù)庫存儲方式），以此估算，年匯總數(shù)據(jù)達(dá)到驚人的 58400G 不同分工人員觀察數(shù)據(jù)的視角各不相同， 概述 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動網(wǎng)管系統(tǒng)數(shù)據(jù)特點 - 8 - 四川網(wǎng)管系統(tǒng)管理的設(shè)備廠商包括 西門子 、 摩托羅拉 、 愛立信 、 諾西 、 華為 、 康為 、 東信北郵 、 中興 等等；專業(yè)涵蓋 無線 、 交換 、 GPRS、 短信 、 智能網(wǎng) 、 數(shù)據(jù)網(wǎng) 等等。 各廠家、各類型設(shè)備的數(shù)據(jù)存儲方式并不相同，比如：西門子以 ASCII文件存儲數(shù)據(jù)；愛立信以 SNMP協(xié)議和 ASCII編碼網(wǎng)管數(shù)據(jù)文件。其他廠商通常把數(shù)據(jù)存儲在自己的數(shù)據(jù)庫中，這些數(shù)據(jù)庫包括 INFORMIX、 SYSBASE、 ORACLE、 SQL SERVER，且數(shù)據(jù)庫版本各異。 西門子 摩托羅拉 愛立信 諾西 華為 康維 東信北郵 中興 設(shè)備廠家眾多 無線 GPRS 交換 短信 智能網(wǎng) 數(shù)據(jù)網(wǎng) 涉及專業(yè)眾多 數(shù)據(jù)來源、結(jié)構(gòu)復(fù)雜 數(shù)據(jù)來源及結(jié)構(gòu)復(fù)雜 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動網(wǎng)管系統(tǒng)數(shù)據(jù)特點 - 9 - 數(shù)據(jù)量龐大 眾多設(shè)備廠商的各類設(shè)備上產(chǎn)生的數(shù)據(jù)量非常龐大。如采用數(shù)據(jù)庫存儲，日數(shù)據(jù)將占用 160G左右的磁盤存儲空間，年匯總數(shù)據(jù)量將達(dá) 58400G左右。 海量數(shù)據(jù) 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動網(wǎng)管系統(tǒng)數(shù)據(jù)特點 - 10 - 使用者觀察數(shù)據(jù)視角豐富 領(lǐng)導(dǎo)層 關(guān)心系統(tǒng) KPI指標(biāo)的實時情況 及 中、長期走勢 網(wǎng)絡(luò)規(guī)劃 及 分析人員 需要綜合分析相當(dāng) 長時期 甚至一年、幾年的數(shù)據(jù)，以便進(jìn)行 預(yù)測 、 規(guī)劃 網(wǎng)絡(luò)維護(hù) 及 優(yōu)化人員需要確保數(shù)據(jù)的 及時性 、 準(zhǔn)確性 ，以便有效獲知 網(wǎng)絡(luò)現(xiàn)狀 、明確 問題隱患 網(wǎng)絡(luò)監(jiān)控人員 除了對數(shù)據(jù)的 及時性 和 準(zhǔn)確性 要求很高外，還需要從大量的數(shù)據(jù)中剔出哪些特異的數(shù)據(jù)，以便對網(wǎng)絡(luò)進(jìn)行 整體評價 、對網(wǎng)絡(luò)問題進(jìn)行 故障預(yù)警 網(wǎng)管系統(tǒng) 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 11 - 綜合性能分析系統(tǒng)簡介 系統(tǒng)概況 綜合性能分析系統(tǒng)是數(shù)據(jù)倉庫技術(shù)在網(wǎng)管系統(tǒng)中的應(yīng)用項目之一。 系統(tǒng)通過廠家提供的數(shù)據(jù)接口實時、完整、穩(wěn)定地自動采集各廠家能夠提供的所有網(wǎng)管性能數(shù)據(jù)和配置數(shù)據(jù)。對采集到的數(shù)據(jù)按照數(shù)據(jù)倉庫模型進(jìn)行抽?。?Extract）、轉(zhuǎn)換（ Transform）、清洗（ Cleansing）、裝載（ Load），并參照集團(tuán)公司的規(guī)范對采集到的數(shù)據(jù)按業(yè)務(wù)分類綜合入庫。 在數(shù)據(jù)倉庫的展現(xiàn)層，使用者可以根據(jù)業(yè)務(wù)和需求的不同，靈活的選擇維度和指標(biāo)，快速生成想要的報表。 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡介 - 12 - 系統(tǒng)數(shù)據(jù)倉庫過程 數(shù)據(jù)源 實時數(shù)據(jù)采集、補(bǔ)充采集 抽取 轉(zhuǎn)換 清洗 轉(zhuǎn)載 按業(yè)務(wù)綜合、自定義指標(biāo) 多維分析、多維呈現(xiàn)（ OLAP） 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 13 - 綜合性能分析系統(tǒng)簡介 系統(tǒng)結(jié)構(gòu) EDIS系統(tǒng) 智能網(wǎng)系統(tǒng) 短信系統(tǒng) 數(shù)據(jù)網(wǎng)系統(tǒng) 交換系統(tǒng) GPRS系統(tǒng) 無線系統(tǒng) 中繼信令目的碼 數(shù)據(jù)鉆取 數(shù)據(jù)預(yù)估 差異分析 對比分析 GIS模塊 廠家全 COUNTER分析 經(jīng)營分析 聯(lián)機(jī)分析(OLTP) 在線分析(OLAP) 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡介 - 14 - 技術(shù)優(yōu)勢（一） 數(shù)據(jù)集成 運用成熟、穩(wěn)定的 ETL工具及技術(shù)，對不同來源、不同結(jié)構(gòu)數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換。有效應(yīng)對了網(wǎng)管系統(tǒng)中數(shù)據(jù)來源及數(shù)據(jù)結(jié)構(gòu)復(fù)雜的現(xiàn)狀，為多維形式組織數(shù)據(jù)提供基礎(chǔ) 。 數(shù)據(jù)存儲與管理 靈活的 KPI定義 多維分析 采用 MOLAP的多維存儲方式，在縮小存儲空間的同時保證查詢響應(yīng)速度 。有效解決了網(wǎng)管系統(tǒng)各廠家設(shè)備海量數(shù)據(jù)的長期保留問題 。 提供 KPI指標(biāo)自定義功能，系統(tǒng) KPI指標(biāo)既可來自度量值，也可通過現(xiàn)有度量值根據(jù)業(yè)務(wù)邏輯生成計算成員實現(xiàn)，便于 KPI指標(biāo)的調(diào)整和更新。 支持按照主題進(jìn)行數(shù)據(jù)的多維形式組織，以及對多維形式組織的數(shù)據(jù)采取切片、切塊、旋轉(zhuǎn)等各種分析動作。為前端進(jìn)行數(shù)據(jù)多維呈現(xiàn)提供基礎(chǔ)。使用戶能夠從多角度、多層次觀察數(shù)據(jù)，深入了解包含在數(shù)據(jù)中的信息和內(nèi)涵，為決策提供有效支持。 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 15 - 綜合性能分析系統(tǒng)簡介 技術(shù)優(yōu)勢（二） 數(shù)據(jù)挖掘 支持從有效組織的數(shù)據(jù)中運用數(shù)據(jù)挖掘工具、算法， 獲取有效的、新穎的、潛在有用的、最終可理解的模式。目前，系統(tǒng)已實現(xiàn)網(wǎng)絡(luò)重要指標(biāo)走勢的較準(zhǔn)確預(yù)測。 數(shù)據(jù)表現(xiàn) 設(shè)計模式 標(biāo)準(zhǔn)開放 實現(xiàn)豐富的前端統(tǒng)計分析功能，使用戶可通過自定義查詢、指標(biāo)等方式自主創(chuàng)建視角觀察數(shù)據(jù)；支持圖表、地圖等多種形式表現(xiàn)多維數(shù)據(jù)，確保用戶更有效獲取數(shù)據(jù)信息；提供豐富的報表管理功能，全面滿足網(wǎng)管部門日常報表需求。 基于 .NET的多層結(jié)構(gòu)設(shè)計模式，便于日后靈活快速的升級。 使用 XML，與其它業(yè)務(wù)系統(tǒng)方便地集成。 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡介 - 16 - 查詢 報表 自定義指標(biāo) 系統(tǒng)管理 系統(tǒng) 前端功能包含： 查詢； 報表； 自定義指標(biāo)； 系統(tǒng)管理。 前端首頁 系統(tǒng)前端功能 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡介 - 17 - 系統(tǒng)前端功能 查詢管理 新建查詢 已創(chuàng)建的查詢，可以修改時間參數(shù)后反復(fù)使用 通過設(shè)置時間范圍以及鎖定指標(biāo)，可以構(gòu)造復(fù)雜的性能數(shù)據(jù)查詢 中國移動通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡介 - 18 - 系統(tǒng)前端功能 自定義指標(biāo) 報表管理 公式和函數(shù)列表 性能數(shù)據(jù)和配置數(shù)據(jù)列表 已根據(jù)用戶需要定義的各類報表，可方便進(jìn)行查看和數(shù)據(jù)下載 中