大數(shù)據(jù)平臺(tái)交流課件

大數(shù)據(jù)平臺(tái)交流1目錄一二三五項(xiàng)目概述總體框架數(shù)據(jù)匯聚大數(shù)據(jù)治理四大數(shù)據(jù)存儲(chǔ)六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項(xiàng)目建議21、總體思路以大數(shù)據(jù)支撐平臺(tái)建設(shè)為核心，為后續(xù)數(shù)據(jù)應(yīng)用提供有力支撐

建立數(shù)據(jù)管控體系，匯聚集團(tuán)所有數(shù)據(jù)，通過(guò)數(shù)據(jù)治理手段保障數(shù)據(jù)質(zhì)量

提供一系列數(shù)據(jù)應(yīng)用支撐組件，為項(xiàng)目人員、業(yè)務(wù)分析人員、數(shù)據(jù)分析員提供可視化的數(shù)據(jù)應(yīng)用機(jī)制。

以大數(shù)據(jù)平臺(tái)為中心，建立系統(tǒng)之間的共享協(xié)同機(jī)制

選取一到兩類示范業(yè)務(wù)作為試點(diǎn)，展示大數(shù)據(jù)平臺(tái)的魅力32、建設(shè)目標(biāo)1、數(shù)據(jù)管理目標(biāo)：建設(shè)統(tǒng)一的數(shù)據(jù)管控體系，對(duì)整個(gè)集團(tuán)各個(gè)項(xiàng)目的數(shù)據(jù)進(jìn)行集中化管理，保障數(shù)據(jù)質(zhì)量。2、數(shù)據(jù)應(yīng)用目標(biāo)

DaaS：DataasaService，使數(shù)據(jù)管理集中化管理，讓更多的用戶無(wú)需去注意底層數(shù)據(jù)的問(wèn)題，而將注意力完全放在如何使用這些數(shù)據(jù)。

BIaaS：BusinessIntelligenceasaservice，提供一系列數(shù)據(jù)分析、數(shù)據(jù)可視化組件，作為一種敏捷的BI服務(wù)為項(xiàng)目提供支撐。4決策層

儀表盤：通過(guò)圖表的方式對(duì)關(guān)鍵指標(biāo)數(shù)據(jù)進(jìn)行展示，為領(lǐng)導(dǎo)決策提供直觀的數(shù)據(jù)支持。

報(bào)表：按照預(yù)定義的格式，在線查詢報(bào)表即席查詢：通過(guò)即席查詢工具或者自定義SQL方式，完成業(yè)務(wù)信息的檢索

多維分析：從多個(gè)維度靈活組合進(jìn)行分析，提供上下鉆取等

信息檢索：對(duì)文檔數(shù)據(jù)進(jìn)行全文搜索數(shù)據(jù)挖掘：通過(guò)數(shù)據(jù)挖掘工具分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)數(shù)據(jù)模型挖掘隱藏的數(shù)據(jù)價(jià)值。數(shù)據(jù)共享：訪問(wèn)數(shù)據(jù)平臺(tái)匯聚的不同項(xiàng)目共享的數(shù)據(jù)。

數(shù)據(jù)分析：提供工具，實(shí)現(xiàn)數(shù)據(jù)的分析與可視化3、不同用戶對(duì)數(shù)據(jù)平臺(tái)的關(guān)注點(diǎn)業(yè)務(wù)人員數(shù)據(jù)分析員業(yè)務(wù)系統(tǒng)數(shù)據(jù)管理員數(shù)據(jù)管控：提供對(duì)數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的管控體系

數(shù)據(jù)安全：對(duì)數(shù)據(jù)平臺(tái)的數(shù)據(jù)進(jìn)行安全訪問(wèn)控制和監(jiān)控5目錄二一三五總體框架項(xiàng)目概述數(shù)據(jù)匯聚大數(shù)據(jù)治理四大數(shù)據(jù)存儲(chǔ)六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項(xiàng)目建議61、總體框架數(shù)據(jù)應(yīng)用數(shù)據(jù)開放門戶平臺(tái)管理門戶數(shù)據(jù)增值應(yīng)用業(yè)務(wù)應(yīng)用數(shù)據(jù)治理數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)安全自動(dòng)化運(yùn)維資源監(jiān)控事件管理問(wèn)題處理運(yùn)維服務(wù)數(shù)據(jù)分析數(shù)據(jù)可視化即席分析OLAP分析數(shù)據(jù)挖掘全文檢索大數(shù)據(jù)基礎(chǔ)平臺(tái)iPaaS數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)服務(wù)數(shù)據(jù)分發(fā)數(shù)據(jù)庫(kù)、文件、接口、協(xié)議適配業(yè)務(wù)系統(tǒng)APP應(yīng)用數(shù)據(jù)資源目錄7匯聚存儲(chǔ)治理分析共享數(shù)據(jù)適配數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)校驗(yàn)HDFSHBase索引庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)數(shù)據(jù)資源目錄數(shù)據(jù)質(zhì)量數(shù)據(jù)安全即席分析OLAP分析數(shù)據(jù)挖掘全文檢索數(shù)據(jù)可視化數(shù)據(jù)服務(wù)數(shù)據(jù)分發(fā)數(shù)據(jù)訂閱2、大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)8目錄三二一五數(shù)據(jù)匯聚總體框架項(xiàng)目概述大數(shù)據(jù)治理四大數(shù)據(jù)存儲(chǔ)六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項(xiàng)目建議9數(shù)據(jù)匯聚過(guò)程10目錄四二三五大數(shù)據(jù)存儲(chǔ)總體框架數(shù)據(jù)集成大數(shù)據(jù)治理一項(xiàng)目概述六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項(xiàng)目建議11數(shù)據(jù)存儲(chǔ)架構(gòu)歷史歸檔數(shù)據(jù)區(qū)臨時(shí)數(shù)據(jù)區(qū)源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)索引數(shù)據(jù)區(qū)應(yīng)用數(shù)據(jù)區(qū)沙盤演練區(qū)12目錄五二三一大數(shù)據(jù)治理總體框架數(shù)據(jù)集成項(xiàng)目概述四大數(shù)據(jù)存儲(chǔ)六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項(xiàng)目建議131、數(shù)據(jù)治理過(guò)程中遇到的問(wèn)題

在業(yè)務(wù)需求方面：缺乏企業(yè)級(jí)通用的業(yè)務(wù)規(guī)則。各業(yè)務(wù)部門制定自己的業(yè)務(wù)標(biāo)準(zhǔn)，部門之間的標(biāo)準(zhǔn)常常有矛盾或相互混淆。

在數(shù)據(jù)質(zhì)量方面：以滿足功能應(yīng)用為主，未形成企業(yè)級(jí)的整體數(shù)據(jù)架構(gòu)設(shè)計(jì)，數(shù)據(jù)共享上比較困難，數(shù)據(jù)冗余、數(shù)據(jù)完整性、數(shù)據(jù)合規(guī)性、數(shù)據(jù)一致性等問(wèn)題突出；在組織管控方面：針對(duì)數(shù)據(jù)質(zhì)量管控提升，業(yè)務(wù)部門與信息部門之間未達(dá)成共識(shí)，職責(zé)劃分不清，標(biāo)準(zhǔn)規(guī)范不統(tǒng)一，未形成企業(yè)級(jí)統(tǒng)一的管理體系、管理規(guī)范和執(zhí)行流程。

在數(shù)據(jù)發(fā)現(xiàn)方面：各部門建設(shè)了大量的業(yè)務(wù)系統(tǒng)，信息資源數(shù)量多、門類廣、分布分散、信息不對(duì)稱的特性，沒(méi)有統(tǒng)一的機(jī)制進(jìn)行資源的發(fā)現(xiàn)和定位。142、解決這些問(wèn)題需要哪些手段？我們需要一個(gè)尺度作為判斷的依據(jù)來(lái)衡量---建立數(shù)據(jù)標(biāo)準(zhǔn)體系我們需要一個(gè)監(jiān)測(cè)、報(bào)告、協(xié)助分析數(shù)據(jù)問(wèn)題的系統(tǒng)---數(shù)據(jù)質(zhì)量管理我們需要對(duì)數(shù)據(jù)問(wèn)題的影響進(jìn)行分析，對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的版本管理和規(guī)范管理控制---元數(shù)據(jù)管理

我們需要有一套完整的定義、度量、分析、評(píng)估、執(zhí)行的完整制度規(guī)范和流程---管理規(guī)范和流程

我們需要業(yè)務(wù)人員、開發(fā)人員、數(shù)據(jù)管理員、數(shù)據(jù)治理人員等相關(guān)人員的通力合作，各司其職對(duì)數(shù)據(jù)負(fù)責(zé)---組織和角色職責(zé)

我們需要一種方式，對(duì)眾多的分布分散的信息資源進(jìn)行發(fā)現(xiàn)、定位和使用資源

---信息資源目錄15組織架構(gòu)數(shù)據(jù)生產(chǎn)者數(shù)據(jù)使用者數(shù)據(jù)管理者數(shù)據(jù)擁有者制度流程數(shù)據(jù)治理基本制度數(shù)據(jù)治理管理辦法數(shù)據(jù)治理實(shí)施細(xì)則數(shù)據(jù)治理管控流程技術(shù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理資源目錄體系系統(tǒng)實(shí)現(xiàn)流程制定支持3、數(shù)據(jù)治理框架163、總體框架---人員組織數(shù)據(jù)治理組織體系數(shù)據(jù)生產(chǎn)者數(shù)據(jù)使用者數(shù)據(jù)管理者數(shù)據(jù)擁有者數(shù)據(jù)標(biāo)準(zhǔn)核對(duì)數(shù)據(jù)質(zhì)量初審數(shù)據(jù)質(zhì)量績(jī)效執(zhí)行理解數(shù)據(jù)標(biāo)準(zhǔn)、管理制度提出數(shù)據(jù)質(zhì)量問(wèn)題數(shù)據(jù)發(fā)現(xiàn)、定位、使用數(shù)據(jù)治理績(jī)效評(píng)估日常數(shù)據(jù)管理維護(hù)數(shù)據(jù)安全防護(hù)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)化流程修復(fù)數(shù)據(jù)質(zhì)量問(wèn)題按照標(biāo)準(zhǔn)建設(shè)系統(tǒng)173、總體框架---制度流程數(shù)據(jù)治理組織架構(gòu)與崗位職責(zé)數(shù)據(jù)治理制度規(guī)范數(shù)據(jù)治理考核辦法數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)資源目錄數(shù)據(jù)安全管理數(shù)據(jù)標(biāo)準(zhǔn)需求管理流程數(shù)據(jù)標(biāo)準(zhǔn)制定流程數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行流程數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程元數(shù)據(jù)需求管理流程元數(shù)據(jù)發(fā)布流程元數(shù)據(jù)維護(hù)管理流程元數(shù)據(jù)變更流程數(shù)據(jù)質(zhì)量需求管理流程數(shù)據(jù)質(zhì)量核檢定義流程數(shù)據(jù)質(zhì)量問(wèn)題排查流程數(shù)據(jù)質(zhì)量問(wèn)題處理流程數(shù)據(jù)資源目錄發(fā)布流程數(shù)據(jù)服務(wù)申請(qǐng)流程數(shù)據(jù)訪問(wèn)流程數(shù)據(jù)安全控制流程183、總體框架---技術(shù)平臺(tái)194、數(shù)據(jù)治理：數(shù)據(jù)標(biāo)準(zhǔn)管理什么是數(shù)據(jù)標(biāo)準(zhǔn)化：對(duì)分散在各系統(tǒng)中的數(shù)據(jù)提供一套統(tǒng)一的數(shù)據(jù)命名、數(shù)據(jù)定義、數(shù)據(jù)類型、復(fù)制規(guī)則等的定義基準(zhǔn)，并提供運(yùn)維這套數(shù)據(jù)標(biāo)準(zhǔn)成功的科學(xué)流程。

有哪些數(shù)據(jù)標(biāo)準(zhǔn)類型：術(shù)語(yǔ)標(biāo)準(zhǔn)、代碼標(biāo)準(zhǔn)（代碼集）、層次代碼標(biāo)準(zhǔn)、規(guī)則標(biāo)準(zhǔn)、引用分類標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)化的目標(biāo)是什么：通過(guò)統(tǒng)一信息標(biāo)準(zhǔn)制定、發(fā)布使用、制度約束、系統(tǒng)控制等手段，實(shí)現(xiàn)信息的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理，提高信息化水平205、元數(shù)據(jù)管理（1）---數(shù)據(jù)管理面臨的困惑？

龐大的數(shù)據(jù)資源該如何管理？形態(tài)萬(wàn)千、散落在企業(yè)各處的數(shù)據(jù)資源如何管理？數(shù)據(jù)資源之間的關(guān)系是怎么樣的？如何讓數(shù)據(jù)資源正確、有效的被使用并產(chǎn)生價(jià)值？215、元數(shù)據(jù)管理（2）---可以帶來(lái)什么價(jià)值？

對(duì)數(shù)據(jù)資源再組織并形成全局性的視圖幫助用戶更好的理解各個(gè)環(huán)節(jié)的數(shù)據(jù)和系統(tǒng)的建設(shè)現(xiàn)狀是保障企業(yè)數(shù)據(jù)質(zhì)量的基礎(chǔ)支持企業(yè)信息化的知識(shí)傳承

提高數(shù)據(jù)信息化管理水平226、數(shù)據(jù)質(zhì)量管理237、數(shù)據(jù)資源目錄HOWWHENWHATWHOWHERE什么時(shí)候可以使用？什么時(shí)候可以提供？什么時(shí)間用的？有什么資源？資源的內(nèi)容是什么？信息從哪里來(lái)？需要的信息在哪里？信息到哪里去？在哪里使用？誰(shuí)提供的？誰(shuí)加工的？誰(shuí)使用的？如何使用？如何管理？如何發(fā)布？如何查找？24目錄六二三五大數(shù)據(jù)分析總體框架數(shù)據(jù)集成大數(shù)據(jù)治理四大數(shù)據(jù)存儲(chǔ)一項(xiàng)目概述七大數(shù)據(jù)共享八項(xiàng)目建議25大數(shù)據(jù)分析是大數(shù)據(jù)平臺(tái)的核心價(jià)值，只有通過(guò)分析才能獲得更多智能的、深入的、有價(jià)值的信息。

由于目前廣州地鐵業(yè)務(wù)部門對(duì)大數(shù)據(jù)分析的需求不是非常明確，但大數(shù)據(jù)平臺(tái)作為公司的核心資源，需要提供一套完善的數(shù)據(jù)分析工具，為業(yè)務(wù)部門、項(xiàng)目提供數(shù)據(jù)分析和數(shù)據(jù)可視化支撐。

將分析和可視化平臺(tái)作為一種敏捷的BI服務(wù)，提供給各個(gè)業(yè)務(wù)部門和項(xiàng)目使用，方便數(shù)據(jù)的探索，充分利用數(shù)據(jù)的價(jià)值。1、大數(shù)據(jù)分析概述262、大數(shù)據(jù)分析總體思路大數(shù)據(jù)應(yīng)用，是利用大數(shù)據(jù)分析的結(jié)果，為用戶提供輔助決策，發(fā)掘潛在價(jià)值的過(guò)程。大數(shù)據(jù)應(yīng)用建設(shè)總體建設(shè)思路：1、建立大數(shù)據(jù)分析和可視化支撐平臺(tái)，為項(xiàng)目提供數(shù)據(jù)統(tǒng)計(jì)、分析、挖掘服務(wù)。2、遷移目前一些常用的數(shù)據(jù)統(tǒng)計(jì)和分析功能到大數(shù)據(jù)平臺(tái)，并提供統(tǒng)一的可視化系統(tǒng)。3、通過(guò)與業(yè)務(wù)部門的需求溝通和數(shù)據(jù)分析建模，針對(duì)一些業(yè)務(wù)做深度的數(shù)據(jù)挖掘和分析。273、大數(shù)據(jù)分析服務(wù)即席查詢服務(wù)：提供SQL即席分析機(jī)制，簡(jiǎn)便快捷的檢索、分析小規(guī)模的數(shù)據(jù)集，并提供靈活方便的配置方式，允許用戶自定義查詢，并生成查詢結(jié)果和統(tǒng)計(jì)圖表。

多維自助分析服務(wù)：結(jié)合數(shù)據(jù)立方體（Cube）技術(shù)實(shí)現(xiàn)多維度快速OLAP分析能力。通過(guò)建立維度分析機(jī)制，有效的減少Hadoop在億級(jí)以上數(shù)據(jù)規(guī)模情況下的查詢延遲。

全文信息檢索服務(wù)：借助索引、分詞等技術(shù)，對(duì)大數(shù)據(jù)平臺(tái)的大量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)一的數(shù)據(jù)檢索方式。

可視化數(shù)據(jù)挖掘服務(wù)：建立通用的算法庫(kù)，和可視化數(shù)據(jù)建模方式，使得分析人員探索數(shù)據(jù)模式及特征，進(jìn)而發(fā)現(xiàn)行為規(guī)律，專業(yè)人員就可以預(yù)測(cè)到未來(lái)可能發(fā)生的變化趨勢(shì)。284、數(shù)據(jù)可視化大數(shù)據(jù)可視化是以圖形的方式直觀的展示數(shù)據(jù)信息，能夠幫助人們更快的理解數(shù)據(jù)，輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識(shí)與智慧。大數(shù)據(jù)分析支撐平臺(tái)可以通過(guò)一個(gè)直觀的拖放界面就可創(chuàng)造交互式的圖表，輕松打造“私人訂制”級(jí)的數(shù)據(jù)可視化,有力支持管理者進(jìn)行商業(yè)決策，提高核心競(jìng)爭(zhēng)力。

常用可視化方法：圖形可視化、多維數(shù)據(jù)可視化、時(shí)空數(shù)據(jù)可視化、網(wǎng)絡(luò)關(guān)系可視化、文本信息可視化29目錄七二三五大數(shù)據(jù)共享總體框架數(shù)據(jù)集成大數(shù)據(jù)治理四大數(shù)據(jù)存儲(chǔ)六大數(shù)據(jù)分析一項(xiàng)目概述八項(xiàng)目建議30大數(shù)據(jù)共享概述

大數(shù)據(jù)平臺(tái)匯聚了大量的企業(yè)數(shù)據(jù)，以大數(shù)據(jù)平臺(tái)為中心，構(gòu)建DaaS服務(wù)，實(shí)現(xiàn)企業(yè)不同系統(tǒng)之間的數(shù)據(jù)共享和業(yè)務(wù)協(xié)同。數(shù)據(jù)共享方式：服務(wù)共享：通過(guò)接口服務(wù)的方式訪問(wèn)共享數(shù)據(jù)，支持字段級(jí)權(quán)限控制。數(shù)據(jù)分發(fā)：預(yù)定義規(guī)則將大數(shù)據(jù)平臺(tái)處理的數(shù)據(jù)分發(fā)到不同的系統(tǒng)。數(shù)據(jù)訂閱：業(yè)務(wù)系統(tǒng)訂閱自己關(guān)心的數(shù)據(jù)主題，當(dāng)有數(shù)據(jù)變更時(shí)會(huì)通知到相應(yīng)的訂閱方31目錄八二三五項(xiàng)目建議總體框架數(shù)據(jù)集成大數(shù)據(jù)治理四大數(shù)據(jù)存儲(chǔ)六大數(shù)據(jù)分析七大數(shù)據(jù)共享一項(xiàng)目概述321、總體建議建設(shè)大數(shù)據(jù)平臺(tái)