數(shù)據(jù)中臺解決方案

數(shù)據(jù)中臺解決方案

目錄

1.大數(shù)據(jù)管理的現(xiàn)狀...............................................................1

2.數(shù)據(jù)中臺的概述..................................................................6

2.1數(shù)據(jù)中臺概念................................................................8

2.2數(shù)據(jù)中臺目標(biāo)................................................................9

3.數(shù)據(jù)中臺體系...................................................................10

3.1數(shù)據(jù)連接..................................................................13

3.2數(shù)據(jù)建模...................................................................14

3.3統(tǒng)計(jì)報表...................................................................14

3.4決策儀表板.................................................................14

3.5數(shù)據(jù)大屏...................................................................15

4.數(shù)據(jù)中臺核心領(lǐng)域...............................................................15

4.1大數(shù)據(jù)模型.................................................................20

4.2大數(shù)據(jù)生命周期............................................................20

4.3大數(shù)據(jù)標(biāo)準(zhǔn).................................................................22

4.4主大數(shù)據(jù)...................................................................24

4.5大數(shù)據(jù)質(zhì)量.................................................................25

4.6大數(shù)據(jù)服務(wù).................................................................27

4.7大數(shù)據(jù)安全.................................................................27

5.數(shù)據(jù)中臺保障機(jī)制...............................................................28

5.1制度章程..................................................................28

5.1.1規(guī)章制度............................................................28

5.1.2管控辦法............................................................29

5.1.3考核機(jī)制.............................................................29

5.2數(shù)據(jù)中臺組織...............................................................30

5.2.1組織架構(gòu).............................................................30

5.2.2組織層次.............................................................31

5.2.3組織職責(zé).............................................................32

5.3流程管理...................................................................34

5.4IT技術(shù)應(yīng)用................................................................35

5.4.1支撐平臺............................................................35

5.4.2技術(shù)規(guī)范............................................................37

附件A大數(shù)據(jù)管理規(guī)范...............................................................39

附件B大數(shù)據(jù)質(zhì)量評估辦法............................................................57

附件C大數(shù)據(jù)質(zhì)量管理流程............................................................61

關(guān)于數(shù)據(jù)中臺的理解

1.大數(shù)據(jù)管理的現(xiàn)狀

數(shù)據(jù)中臺不是產(chǎn)品，而是為了讓數(shù)據(jù)更快、更省用起來的一些

列產(chǎn)品組件而成的數(shù)據(jù)產(chǎn)品矩陣與解決方案。企業(yè)在數(shù)據(jù)中臺解決

方案規(guī)劃時，要基于目前數(shù)據(jù)在采、存、管、治、用各個環(huán)節(jié)的痛

點(diǎn)，進(jìn)行針對性的降本提效建設(shè)。數(shù)據(jù)中臺是不是YYDS,能解決業(yè)

務(wù)痛點(diǎn)的，才是王道，說不定，幾年之后又出現(xiàn)了新的名詞，現(xiàn)有

的產(chǎn)品體系是否可以更快的升級適應(yīng)呢。

?企業(yè)數(shù)據(jù)化管理的痛點(diǎn)

1.指標(biāo)口徑不統(tǒng)一

產(chǎn)品部門和財(cái)務(wù)部門一起開會給老板匯報，APP下單用戶數(shù)產(chǎn)

品1021W,財(cái)務(wù)1000W,產(chǎn)品說我的數(shù)據(jù)是數(shù)據(jù)團(tuán)隊(duì)出的，財(cái)務(wù)說我

的也是，那數(shù)據(jù)為什么不一致呢?原因數(shù)據(jù)開發(fā)A給運(yùn)營出的報表,

第1頁

按照業(yè)務(wù)的口徑以設(shè)備ID去重，數(shù)據(jù)開發(fā)B,給財(cái)務(wù)出的報表是按

照userID（注冊會員id）統(tǒng)計(jì)，存多設(shè)備登錄的情況

2.數(shù)據(jù)質(zhì)量差

指標(biāo)表現(xiàn)異常，業(yè)務(wù)第一反應(yīng)就是“是不是數(shù)據(jù)不準(zhǔn)啊"，這

時作為數(shù)據(jù)部門如何能夠有底氣來反駁這種DISS呢?數(shù)據(jù)業(yè)務(wù)系統(tǒng)

同步到數(shù)倉，ETL加工，再輸出到報表應(yīng)用，會經(jīng)過多個步驟，每一

個步驟都有可能會出現(xiàn)任務(wù)的異常、延遲以及人為的bug,監(jiān)控覆

蓋足夠健全，業(yè)務(wù)反饋問題時，數(shù)據(jù)開發(fā)就可以自信的說，今天數(shù)

據(jù)無異常（沒有收到報警），而不是我先確認(rèn)下。

3.數(shù)據(jù)重復(fù)建設(shè)

缺少統(tǒng)一的數(shù)倉建設(shè)和管理規(guī)范，CaseByCase地響應(yīng)業(yè)務(wù)需求,

往往會導(dǎo)致數(shù)據(jù)的重復(fù)建設(shè)，例如，數(shù)據(jù)開發(fā)A接到產(chǎn)品的大盤流

量報表需求，直接基于ODS的明細(xì)數(shù)據(jù)進(jìn)行ETL,加工出自己的為

了滿足這一報表需求的APP層表，數(shù)據(jù)開發(fā)B,接到會員營銷的需

求，報表指標(biāo)不盡相同，小A的APP層表無法直接使用，于是自己

又加工了新的數(shù)據(jù)表，由此，導(dǎo)致相同指標(biāo)多個模型出現(xiàn)，但又無

法復(fù)用，造成重復(fù)建設(shè)

4.數(shù)據(jù)找不到

業(yè)務(wù)發(fā)展加上數(shù)據(jù)的重復(fù)建設(shè)，數(shù)據(jù)表的數(shù)量在10W+,缺少工

具的指引，尤其是新用戶很難找到需要的數(shù)據(jù)在哪個表里，處理邏

第2頁

輯是不是自己需要的

5.數(shù)據(jù)成本增長快

隨著業(yè)務(wù)需求發(fā)展，數(shù)據(jù)處理所需要的存儲和計(jì)算成本也線性

或指數(shù)增長，對于DAU千萬級的互聯(lián)網(wǎng)公司，每個月大數(shù)據(jù)集群的

資源成本可能也在百萬?千萬級，是真正的成本中心了。往往一線數(shù)

據(jù)開發(fā)很多只關(guān)注新增業(yè)務(wù)，不去梳理歷史任務(wù)，或者一些低效的

SQL任務(wù)占據(jù)了大量的資源。

6.數(shù)據(jù)報表開發(fā)周期長

定制化的數(shù)據(jù)可視化報表開發(fā)需要數(shù)據(jù)開發(fā)、接口開發(fā)、前端

開發(fā)，產(chǎn)品迭代、活動上線節(jié)奏非?？欤夹枰獙?yīng)的報表監(jiān)控支

持，單個報表的開發(fā)周期往往在1?2周，對開發(fā)資源的依賴導(dǎo)致需

求響應(yīng)周期長，很多時候報表上線了，活動結(jié)束了。

7.數(shù)據(jù)需求響應(yīng)慢

對于無SQL的業(yè)務(wù)人員很多探索性的數(shù)據(jù)分析依賴于數(shù)據(jù)開發(fā)

的SQL取數(shù)，一般SQL取數(shù)都是由數(shù)倉兼職進(jìn)行，時間排期就有限，

只能按照提需時間或者緊急需求的申請通道進(jìn)行處理，臨時取數(shù)的

時效性要求更高，經(jīng)常出現(xiàn)數(shù)據(jù)輸出了，業(yè)務(wù)意見拍腦袋做完決策

了。可能有人問可不可以安排全職取數(shù),對于有個人追求的程序員，

一直做SQL取數(shù)，估計(jì)很快就要離職了。

8.數(shù)據(jù)服務(wù)難追蹤

第3頁

數(shù)據(jù)部門會輸出很多的API接口，由于歷史久遠(yuǎn)文檔不完善加

上業(yè)務(wù)不斷調(diào)整變化，導(dǎo)致接口和應(yīng)用鏈路斷層，接口出問題只能

由業(yè)務(wù)反饋后處理。梳理出流量小的接口要做下線，卻找不到應(yīng)用

端的人確認(rèn)，只能先下線看下，有人反饋再處理。

9.數(shù)據(jù)輸出效率影響運(yùn)營頻率

精細(xì)化運(yùn)營背景下，用戶運(yùn)營每個營銷場景需要最精準(zhǔn)的確定

目標(biāo)人群，比如會員生日關(guān)懷、迪士尼目標(biāo)用戶群體投放等，業(yè)務(wù)

需要先找數(shù)據(jù)部門獲取目標(biāo)用戶的id信息，再進(jìn)行投放，數(shù)據(jù)部門

的響應(yīng)周期和效率制約了運(yùn)營活動的投放頻次，即數(shù)據(jù)每周可以處

理3?7次人群調(diào)取，那運(yùn)營活動肯定不能超過這個頻率。

根據(jù)行業(yè)信息化發(fā)展的現(xiàn)狀，結(jié)合當(dāng)今行業(yè)數(shù)據(jù)中臺的要求，

大型集團(tuán)或政務(wù)管理部門現(xiàn)階段大數(shù)據(jù)管理方面存在以下的不足：

(1)大數(shù)據(jù)多頭管理，缺少專門對大數(shù)據(jù)管理進(jìn)行監(jiān)督和控

制的組織。信息系統(tǒng)的建設(shè)和管理職能分散在各部門，致使大數(shù)據(jù)

管理的職責(zé)分散，權(quán)責(zé)不明確。組織機(jī)構(gòu)各部門關(guān)注大數(shù)據(jù)的角度

不一樣，缺少一個組織從全局的視角對大數(shù)據(jù)進(jìn)行管理，導(dǎo)致無法

建立統(tǒng)一的大數(shù)據(jù)管理規(guī)程、標(biāo)準(zhǔn)等，相應(yīng)的大數(shù)據(jù)管理監(jiān)督措施

無法得到落實(shí)。組織機(jī)構(gòu)的大數(shù)據(jù)考核體系也尚未建立，無法保障

第4頁

大數(shù)據(jù)管理標(biāo)準(zhǔn)和規(guī)程的有效執(zhí)行。

(2)多系統(tǒng)分散建設(shè)，沒有規(guī)范統(tǒng)一的省級大數(shù)據(jù)標(biāo)準(zhǔn)和大

數(shù)據(jù)模型。組織機(jī)構(gòu)為應(yīng)對迅速變化的市場和社會需求，逐步建立

了各自的信息系統(tǒng)，各部門站在各自的立場生產(chǎn)、使用和管理大數(shù)

據(jù)，使得大數(shù)據(jù)分散在不同的部門和信息系統(tǒng)中，缺乏統(tǒng)一的大數(shù)

據(jù)規(guī)劃、可信的大數(shù)據(jù)來源和大數(shù)據(jù)標(biāo)準(zhǔn)，導(dǎo)致大數(shù)據(jù)不規(guī)范、不

一致、冗余、無法共享等問題出現(xiàn)，組織機(jī)構(gòu)各部門對大數(shù)據(jù)的理

解難以應(yīng)用一致的語言來描述，導(dǎo)致理解不一致。

(3)缺少統(tǒng)一的主大數(shù)據(jù)，組織機(jī)構(gòu)核心系統(tǒng)間的人員等主

要信息并不是存儲在一個獨(dú)立的系統(tǒng)中，或者不是通過統(tǒng)一的業(yè)務(wù)

管理流程在系統(tǒng)間維護(hù)。缺乏對集團(tuán)公司或政務(wù)單位主大數(shù)據(jù)的管

理,就無法保障主大數(shù)據(jù)在整個業(yè)務(wù)范圍內(nèi)保持一致、完整和可控，

導(dǎo)致業(yè)務(wù)大數(shù)據(jù)正確性無法得到保障。

(4)缺乏統(tǒng)一的集團(tuán)型大數(shù)據(jù)質(zhì)量管理流程體系。當(dāng)前現(xiàn)狀

中大數(shù)據(jù)質(zhì)量管理主要由各組織部門分頭進(jìn)行；跨局跨部門的大數(shù)

據(jù)質(zhì)量溝通機(jī)制不完善；缺乏清晰的跨局跨部門的大數(shù)據(jù)質(zhì)量管控

規(guī)范與標(biāo)準(zhǔn)，大數(shù)據(jù)分析隨機(jī)性強(qiáng)，存在業(yè)務(wù)需求不清的現(xiàn)象，影

響大數(shù)據(jù)質(zhì)量；大數(shù)據(jù)的自動采集尚未全面實(shí)現(xiàn)，處理過程存在人

為干預(yù)問題，很多部門存在大數(shù)據(jù)質(zhì)量管理人員不足、知識與經(jīng)驗(yàn)

不夠、監(jiān)管方式不全面等問題；缺乏完善的大數(shù)據(jù)質(zhì)量管控流程和

第5頁

系統(tǒng)支撐能力。

(5)大數(shù)據(jù)全生命周期管理不完整。目前，大型集團(tuán)或政務(wù)

單位，大數(shù)據(jù)的產(chǎn)生、使用、維護(hù)、備份到過時被銷毀的大數(shù)據(jù)生

命周期管理規(guī)范和流程還不完善，不能確定過期和無效大數(shù)據(jù)的識

別條件，且非結(jié)構(gòu)化大數(shù)據(jù)未納入大數(shù)據(jù)生命周期的管理范疇；無

信息化工具支撐大數(shù)據(jù)生命周期狀態(tài)的查詢，未有效利用元大數(shù)據(jù)

管理。

2.數(shù)據(jù)中臺的概述

通過靈活的數(shù)據(jù)交互和探索分析能力，以及OEM白標(biāo)集成的

方式，全面滿足行業(yè)應(yīng)用軟件的數(shù)據(jù)分析需求。它提供多源數(shù)據(jù)整

合、報表統(tǒng)計(jì)、數(shù)據(jù)可視化、自助式BI分析、以及數(shù)據(jù)填報等功能，

幫助用戶挖掘數(shù)據(jù)的潛在價值，為管理者制定決策提供數(shù)據(jù)支撐。

多數(shù)據(jù)源整合，為決策分析提供完整數(shù)據(jù)支持

通過數(shù)據(jù)查詢設(shè)計(jì)器,有效整合您分散在企業(yè)內(nèi)外的各種數(shù)據(jù)。

包括數(shù)據(jù)庫、云端數(shù)據(jù)、本地存放的文件數(shù)據(jù)以及JSON/OData等

程序數(shù)據(jù)。既能通過拖拽操作完成跨源的數(shù)據(jù)建模，也支持直接編

寫查詢語句。最終，通過數(shù)據(jù)模型訪問控制和行級數(shù)據(jù)安全管理，

分享給BI分析或報表統(tǒng)計(jì)者使用。

自助式BI,強(qiáng)大的交互分析和自由數(shù)據(jù)探索能力

自助式BI,讓最終用戶毫無約束的與數(shù)據(jù)交互，任意探索數(shù)

第6頁

據(jù)背后的真正原因，發(fā)覺價值，為決策制定找到有效的數(shù)據(jù)支撐。

在Dashboard的設(shè)計(jì)和分析階段，均提供圖表聯(lián)動、數(shù)據(jù)鉆取、數(shù)

據(jù)切片器、OLAP等交互式分析功能，僅需通過極少的操作便能找到

最有價值的數(shù)據(jù)，并能與企業(yè)成員進(jìn)行協(xié)同討論分析。

數(shù)據(jù)可視化，讓數(shù)據(jù)之間的關(guān)系更加清晰明了、便于理解

具有多屏自適應(yīng)能力的儀表板，內(nèi)置豐富的數(shù)據(jù)可視化類型，

而且開放的數(shù)據(jù)可視化插件功能，幾乎可以將任意的可視化組件庫

集成到產(chǎn)品中,比如:Echarts,D3,ChartJS,三維模型等，充分

滿足數(shù)據(jù)可視化大屏等場景的需要。

在線報表，最終用戶和實(shí)施人員都能設(shè)計(jì)報表

創(chuàng)新的在線報表設(shè)計(jì)功能，類似微軟Office產(chǎn)品的使用體驗(yàn),

功能豐富卻極易上手。從此，對軟件公司而言，客戶定制化報表需

求再也不用修改軟件源代碼；對企業(yè)IT部門而言，讓業(yè)務(wù)部門自

主設(shè)計(jì)所需報表的暢想變得可能。

嵌入式分析，滿足軟件項(xiàng)目的深度集成和OEM合作需要

幾乎可以將WynEnterprise的全部功能集成到您自己的軟件

產(chǎn)品中。對您的用戶而言，他們完全感覺不到我們的存在；對您的

技術(shù)人員而言，我們提供靜默安裝、軟件界面定制、單點(diǎn)登錄、報

表/儀表板的設(shè)計(jì)器和查看器的集成等開箱即用的功能，大大節(jié)省系

統(tǒng)集成所花的時間。

第7頁

2.1數(shù)據(jù)中臺概念

數(shù)據(jù)中臺是指將大數(shù)據(jù)作為組織資產(chǎn)而展開的一系列的具體化

工作，是對大數(shù)據(jù)的全生命周期管理。

?數(shù)據(jù)中臺的思想

讓數(shù)據(jù)更快、更省地用起來

關(guān)于數(shù)據(jù)中臺的定義和概念，已經(jīng)被講爛了，結(jié)合近三年的數(shù)

據(jù)中臺實(shí)踐，總結(jié)一下就是“讓數(shù)據(jù)更快、更省地用起來”的一種

思想、架構(gòu)。也就是，數(shù)據(jù)中臺所做的一切，最終的目標(biāo)都是數(shù)據(jù)

價值的挖掘和應(yīng)用輸出，為了達(dá)到這一目標(biāo)，涉及數(shù)據(jù)的采、存、

管、治、用各個環(huán)節(jié)和流程，可以用來“降本增效”的產(chǎn)品，都?xì)w

屬于數(shù)據(jù)中臺產(chǎn)品體系。

在數(shù)據(jù)中臺概念清晰之前，各個互聯(lián)網(wǎng)公司其實(shí)也都做了很多

的基礎(chǔ)建設(shè)工作，只是沒有明確地定義為數(shù)據(jù)中臺而已。每個公司

都在實(shí)踐中尋找解決數(shù)據(jù)應(yīng)用實(shí)踐方法，例如構(gòu)建指標(biāo)體系解決指

標(biāo)口徑不一致的問題;建設(shè)自助取數(shù)工具，業(yè)務(wù)自助取數(shù)不求人，開

第8頁

發(fā)人力釋放專注于數(shù)倉模型建設(shè);開發(fā)配置化的BI可視化產(chǎn)品，減

少可視化報表對接口開發(fā)、前端開發(fā)人力的依賴;建設(shè)精準(zhǔn)營銷（DMP）

平臺，業(yè)務(wù)自助圈選目標(biāo)用戶進(jìn)行精準(zhǔn)觸達(dá)，提升運(yùn)營活動頻率等。

所以，個人理解，數(shù)據(jù)中臺概念的出現(xiàn)，只是提供了一套完整的解

決方案和思想，把原來的不成體系的“野路子“，扣上”中臺”的

帽子后，成了有方法論、戰(zhàn)略的指引和支撐正規(guī)軍了。

可以把數(shù)據(jù)中臺類比成汽車工廠，如果發(fā)動機(jī)、輪胎等零配件

已經(jīng)生產(chǎn)完畢，可以很快組裝出一輛汽車。而Hadoop生態(tài)，集群建

設(shè)，就像水電煤等基礎(chǔ)設(shè)施，提供工廠運(yùn)行所需能源支持，大數(shù)據(jù)

平臺，數(shù)據(jù)開發(fā)工具就像是機(jī)床設(shè)備，提供制造零配件的工具能力，

而數(shù)據(jù)倉庫的建設(shè)，則像是用機(jī)床加工好各自零配件，并且提供快

捷的倉庫索引目錄，能夠最短時間找到所需配件。

數(shù)據(jù)中臺體系是指從組織架構(gòu)、管理制度、操作規(guī)范、IT應(yīng)用

技術(shù)、績效考核支持等多個維度對組織的大數(shù)據(jù)模型、大數(shù)據(jù)架構(gòu)、

大數(shù)據(jù)質(zhì)量、大數(shù)據(jù)安全、大數(shù)據(jù)生命周期等各方面進(jìn)行全面的梳

理、建設(shè)以及持續(xù)改進(jìn)的體系。

2.2數(shù)據(jù)中臺目標(biāo)

數(shù)據(jù)中臺的目標(biāo)是提高大數(shù)據(jù)的質(zhì)量（準(zhǔn)確性和完整性），保證

大數(shù)據(jù)的安全性（保密性、完整性及可用性），實(shí)現(xiàn)大數(shù)據(jù)資源在各

組織機(jī)構(gòu)部門的共享；推進(jìn)信息資源的整合、對接和共享，從而提

第9頁

升集團(tuán)公司或政務(wù)單位信息化水平，充分發(fā)揮信息化作用。

3.數(shù)據(jù)中臺體系

數(shù)據(jù)中臺體系包含兩個方面，一是大數(shù)據(jù)質(zhì)量核心領(lǐng)域，二是

大數(shù)據(jù)質(zhì)量保障機(jī)制。

具體兩者內(nèi)容及相互關(guān)系可以參見下圖:

制度章程組織

?規(guī)章制度?組織架構(gòu)

?管控辦法?組織層次

?考核機(jī)制?組織職責(zé)

數(shù)

據(jù)

數(shù)

主據(jù)

數(shù)

安

據(jù)

全

標(biāo)

數(shù)據(jù)

準(zhǔn)

元

數(shù)據(jù)匯聚

將異構(gòu)數(shù)據(jù)源通過源和目標(biāo)參數(shù)配置實(shí)現(xiàn)數(shù)據(jù)入湖、入倉，

以及存儲介質(zhì)的轉(zhuǎn)換，降低人肉腳本處理帶來的風(fēng)險和維護(hù)成本。

構(gòu)建統(tǒng)一的數(shù)據(jù)集散中心，打破數(shù)據(jù)孤島。

資產(chǎn)沉淀

第10頁

將數(shù)據(jù)提純加工，形成可快速使用的數(shù)據(jù)模型，建立完善的

數(shù)據(jù)共享機(jī)制與安全管控流程，構(gòu)建數(shù)據(jù)復(fù)用能力。同時需要對

資產(chǎn)進(jìn)行常態(tài)化、周期性的質(zhì)量管控與治理。

產(chǎn)品化能力

數(shù)據(jù)采集、資產(chǎn)管理、數(shù)據(jù)應(yīng)用流程的平臺化、配置化，基

于工具實(shí)現(xiàn)數(shù)據(jù)的快速流轉(zhuǎn)，提升數(shù)據(jù)輸出的效率。

業(yè)務(wù)賦能

數(shù)據(jù)驅(qū)動決策、為產(chǎn)品智能化、運(yùn)營精細(xì)化賦能。一是賦能

效率的提升，二是賦能過程的數(shù)據(jù)資產(chǎn)管控。

?數(shù)據(jù)中臺四大核心能力

整合■資產(chǎn)沉淀

打破數(shù)據(jù)孤島數(shù)據(jù)提純加工

■脫敏加密■資產(chǎn)共享管理

屏蔽結(jié)構(gòu)差異數(shù)據(jù)質(zhì)量管理

降低成本

服務(wù)可視業(yè)務(wù)賦能

■加工過程平臺化?數(shù)據(jù)化管理、決策

■查詢流程簡單化■API應(yīng)用

■分析過程可視化?AI應(yīng)用

■服務(wù)輸出配置化

通過靈活的數(shù)據(jù)交互和探索分析能力，以及OEM白標(biāo)集成

的方式，全面滿足行業(yè)應(yīng)用軟件的數(shù)據(jù)分析需求。它提供多源數(shù)

據(jù)整合、報表統(tǒng)計(jì)、數(shù)據(jù)可視化、自助式BI分析、以及數(shù)據(jù)填

第11頁

報等功能，幫助用戶挖掘數(shù)據(jù)的潛在價值，為管理者制定決策提

供數(shù)據(jù)支撐。

(1)數(shù)據(jù)應(yīng)用效率問題

自助BI與可視化分析：以產(chǎn)品化的方式降低數(shù)據(jù)獲取、數(shù)

據(jù)分析、數(shù)據(jù)應(yīng)用的成本，解決數(shù)據(jù)響應(yīng)周期長、開發(fā)成本高、

運(yùn)營效率低問題

能力要求：集成數(shù)據(jù)建模、自助分析、數(shù)據(jù)可視化、數(shù)據(jù)治

理、智能分析的一站式數(shù)智化決策分析平臺，數(shù)據(jù)開發(fā)專注數(shù)倉

模型建設(shè)，提供健全的模型、完善的資產(chǎn)元數(shù)據(jù)信息后，業(yè)務(wù)拖

拽式、可視化的數(shù)據(jù)查詢和分析，不需要數(shù)據(jù)開發(fā)介入。針對需

要周期性使用的數(shù)據(jù)，可以保存成可視化Dashboard,自助進(jìn)行

可視化報表減少，釋放接口和前端開發(fā)人力。比如：QuickBK

觀遠(yuǎn)、帆軟BI、tableau等

智能營銷平臺(DMP)：基于大數(shù)據(jù)計(jì)算和數(shù)據(jù)挖掘技術(shù)，構(gòu)

第12頁

建用戶畫像標(biāo)簽體系，用戶圈選、精細(xì)化分層，進(jìn)行差異化運(yùn)營

和營銷觸達(dá)，提升運(yùn)營ROI。業(yè)務(wù)同學(xué)可基于平臺實(shí)現(xiàn)從人群圈

選、場景構(gòu)建、觸達(dá)投放、效果回收的閉環(huán)，同時，基于算法挖

掘標(biāo)簽及模型推薦的人群組合，從基于人的經(jīng)驗(yàn)運(yùn)營，到基于大

數(shù)據(jù)算法推薦的智能運(yùn)營。

(2)數(shù)據(jù)資產(chǎn)建設(shè)與治理問題

21年云棲大會，阿里云數(shù)據(jù)中臺負(fù)責(zé)人強(qiáng)調(diào)，要在場景的驅(qū)

動下，把數(shù)據(jù)中臺的資產(chǎn)模塊做的更厚實(shí)。

決策分析窗能應(yīng)用

數(shù)鼎諭出

整體應(yīng)用流程:

3.1數(shù)據(jù)連接

通過數(shù)據(jù)連接引擎建立與Oracle、Mysql>SqlServer等各

種關(guān)系型數(shù)據(jù)庫、API、ODBC或者Excel、JSON、XML等數(shù)據(jù)文件

第13頁

等不同來源的數(shù)據(jù)連接，支持跨源，用于數(shù)據(jù)建模。

3.2數(shù)據(jù)建模

將填報采集的數(shù)據(jù)和已有業(yè)務(wù)系統(tǒng)如OA、ERP、CRM數(shù)據(jù)庫

的數(shù)據(jù)，通過可視化數(shù)據(jù)模型設(shè)計(jì)器或者自定義SQL數(shù)據(jù)集，建

立多表關(guān)聯(lián)模型，并對模型進(jìn)行字段重命名、二次計(jì)算、分組計(jì)

算等操作，添加參數(shù)及篩選過濾，形成最終用于設(shè)計(jì)報表和儀表

板的數(shù)據(jù)集。

3.3統(tǒng)計(jì)報表

為業(yè)務(wù)層的日常運(yùn)營提供必備的明細(xì)報表，以滿足數(shù)據(jù)查詢、

報表打印等需要。包括典型的Excel類中國式復(fù)雜報表、合同文

檔類報表、分組報表、明細(xì)報表、圖表、分欄報表等各種報表類

型。

3.4決策儀表板

以高度交互與自由數(shù)據(jù)探索的管理看板為基礎(chǔ)，輔助決策的

制定。通過靈活自由的布局頁面，拖拽可視化組件，綁定數(shù)據(jù)，

生成儀表板。瀏覽者在查看時，可以通過條件過濾、條件格式化、

排序、圖表切換、調(diào)整數(shù)據(jù)綁定等組件，多維自由的從不同視角

進(jìn)行數(shù)據(jù)分析。儀表板自帶的聯(lián)動和鉆取分析，深入探查數(shù)據(jù)背

第14頁

后的原因。指導(dǎo)管理層科學(xué)決策。

3.5數(shù)據(jù)大屏

通過可視化大屏，對企業(yè)綜合信息進(jìn)行展示，滿足企業(yè)內(nèi)、

外部信息共享與交流的需要。通過各種酷炫的可視化組件，將企

業(yè)核心經(jīng)營指標(biāo)、KPI指標(biāo)、綜合管控指標(biāo)等直觀的展示到總經(jīng)

理辦公室、會議室或者會客大廳等，方便管理層掌握企業(yè)經(jīng)營情

況。

4.數(shù)據(jù)中臺核心領(lǐng)域

為了有效管理信息資源，必須構(gòu)集團(tuán)級數(shù)據(jù)中臺體系。數(shù)據(jù)中

臺體系包含數(shù)據(jù)中臺組織、大數(shù)據(jù)構(gòu)架管理、主大數(shù)據(jù)管理、大數(shù)

據(jù)質(zhì)量管理、大數(shù)據(jù)服務(wù)管理及大數(shù)據(jù)安全管理內(nèi)容，這些內(nèi)容既

有機(jī)結(jié)合，又相互支撐。

（1）數(shù)據(jù)應(yīng)用效率問題

自助BI與可視化分析：以產(chǎn)品化的方式降低數(shù)據(jù)獲取、數(shù)據(jù)分

析、數(shù)據(jù)應(yīng)用的成本，解決數(shù)據(jù)響應(yīng)周期長、開發(fā)成本高、運(yùn)營效

率低問題

能力要求：集成數(shù)據(jù)建模、自助分析、數(shù)據(jù)可視化、數(shù)據(jù)治理、

智能分析的一站式數(shù)智化決策分析平臺，數(shù)據(jù)開發(fā)專注數(shù)倉模型建

設(shè)，提供健全的模型、完善的資產(chǎn)元數(shù)據(jù)信息后，業(yè)務(wù)拖拽式、可

第15頁

視化的數(shù)據(jù)查詢和分析，不需要數(shù)據(jù)開發(fā)介入。針對需要周期性使

用的數(shù)據(jù)，可以保存成可視化Dashboard,自助進(jìn)行可視化報表減

少，釋放接口和前端開發(fā)人力。比如：QuickBI、觀遠(yuǎn)、帆軟BI、

tableau等

智能營銷平臺①M(fèi)P)：基于大數(shù)據(jù)計(jì)算和數(shù)據(jù)挖掘技術(shù)，構(gòu)建用

戶畫像標(biāo)簽體系，用戶圈選、精細(xì)化分層，進(jìn)行差異化運(yùn)營和營銷

觸達(dá)，提升運(yùn)營R0L業(yè)務(wù)同學(xué)可基于平臺實(shí)現(xiàn)從人群圈選、場景構(gòu)

建、觸達(dá)投放、效果回收的閉環(huán)，同時，基于算法挖掘標(biāo)簽及模型

推薦的人群組合，從基于人的經(jīng)驗(yàn)運(yùn)營，到基于大數(shù)據(jù)算法推薦的

智能運(yùn)營。

(2)數(shù)據(jù)資產(chǎn)建設(shè)與治理問題

21年云棲大會，阿里云數(shù)據(jù)中臺負(fù)責(zé)人強(qiáng)調(diào)，要在場景的驅(qū)動

下，把數(shù)據(jù)中臺的資產(chǎn)模塊做的更厚實(shí)。

第16頁

業(yè)務(wù)場.福隹TATSttESFSSifi

?

數(shù)酬6%總線(DCwrvlce)

決分析數(shù)鞫化應(yīng)用

指標(biāo)A?

數(shù)憲AB號

DCsovIce

數(shù)注可取化APIAPIKS

全

鏈

ME集

路

血

緣

慢生集市

知城交會0域際品域ESM

OneModel

數(shù)據(jù)流向

目標(biāo)：提供數(shù)據(jù)資產(chǎn)建設(shè)、資產(chǎn)管理與治理的完整產(chǎn)品方案，

通過數(shù)據(jù)資產(chǎn)化管理和共享流程提高數(shù)據(jù)復(fù)用性，減少重復(fù)開發(fā)成

本，基于完善的監(jiān)控覆蓋保障數(shù)據(jù)質(zhì)量，并周期性的盤點(diǎn)、治理資

產(chǎn)，達(dá)到降本的目標(biāo)。

數(shù)據(jù)地圖：通過業(yè)務(wù)域、主題、標(biāo)簽、字段元數(shù)據(jù)等信息，幫

助用戶快速檢索到目標(biāo)數(shù)據(jù)，基于條件過濾或自助搜索，“逛數(shù)據(jù)”，

“用數(shù)據(jù)”。

數(shù)據(jù)質(zhì)量監(jiān)控：圍繞“準(zhǔn)確性、一致性、及時性、唯一性、完

整性”等標(biāo)準(zhǔn)維度,提供配置化的質(zhì)量監(jiān)控規(guī)則，對數(shù)據(jù)表數(shù)據(jù)量、

字段值進(jìn)行監(jiān)控覆蓋，從源頭及時發(fā)現(xiàn)數(shù)據(jù)問題并加以干預(yù)，保障

數(shù)據(jù)質(zhì)量。

第17頁

數(shù)據(jù)血緣：數(shù)據(jù)入湖到輸出應(yīng)用經(jīng)過多個環(huán)節(jié)，上游數(shù)據(jù)問題

如何快速通知下游，下游數(shù)據(jù)邏輯排查如何向上追溯，以及數(shù)據(jù)治

理表或路徑下線，如何評估下游的影響并通知，都依賴于全鏈路數(shù)

據(jù)血緣的建設(shè)?？梢哉f，完善的血緣功能，可以極大提高數(shù)據(jù)開發(fā)

的工作效率

成本優(yōu)化：數(shù)據(jù)有自己的生命周期，比如活動期間的數(shù)據(jù)監(jiān)控

報表，活動下線后，報表可以下線釋放資源。成本優(yōu)化提供高耗任

務(wù)、小文件、冷數(shù)據(jù)等不同治理維度的指標(biāo)，及治理目標(biāo)，從資產(chǎn)

健康度評估維度，指導(dǎo)數(shù)據(jù)開發(fā)人員主動進(jìn)行成本優(yōu)化、數(shù)據(jù)治理，

系統(tǒng)層面具備治理目標(biāo)檢測、一鍵治理、數(shù)據(jù)回收、徹底刪除等治

理功能，并且可以基于固化的治理規(guī)則，進(jìn)行系統(tǒng)自動化治理。

(3)數(shù)據(jù)開發(fā)流程的效率問題

目標(biāo)：提供異構(gòu)數(shù)據(jù)源數(shù)據(jù)同步可視化工具，通過源和目標(biāo)參

數(shù)配置實(shí)現(xiàn)數(shù)據(jù)入湖、入倉，以及存儲介質(zhì)的轉(zhuǎn)換，降低人肉腳本

處理帶來的風(fēng)險和維護(hù)成本。建設(shè)統(tǒng)一的數(shù)據(jù)開發(fā)平臺，數(shù)據(jù)開發(fā)

只需要關(guān)注數(shù)據(jù)處理邏輯，無需關(guān)注集群資源、任務(wù)調(diào)度，通過配

置化的方式進(jìn)行依賴關(guān)系配置，及任務(wù)運(yùn)行周期，快速進(jìn)行數(shù)據(jù)回

溯、任務(wù)重啟、停止

數(shù)據(jù)集成：業(yè)務(wù)數(shù)據(jù)庫、操作日志、狀態(tài)變更消息等數(shù)據(jù)源接

入數(shù)據(jù)中心,如Biglog同步、MySQL庫表訂閱、Kakfa數(shù)據(jù)落HDFS

第18頁

等。數(shù)據(jù)經(jīng)過實(shí)時或離線ETL后，數(shù)據(jù)集成再將數(shù)據(jù)輸入CK、Hbase、

ES等供業(yè)務(wù)端應(yīng)用

離線開發(fā)平臺：批數(shù)據(jù)處理，一般為T+1或小時級的準(zhǔn)實(shí)時數(shù)

據(jù)，包括任務(wù)邏輯處理、依賴配置、調(diào)度配置、任務(wù)運(yùn)維等功能。

實(shí)時開發(fā)平臺：流數(shù)據(jù)處理，以FlinkSQL、StreamSQL為主要

計(jì)算處理框架，實(shí)時處理消息隊(duì)列等各種流式數(shù)據(jù),輸出實(shí)時報表、

實(shí)時接口推薦等服務(wù)

隨著批流技術(shù)組件的發(fā)展，批流一體化開發(fā)平臺的建設(shè)也陸續(xù)

在實(shí)踐中。

(4)數(shù)據(jù)服務(wù)快速輸出

有人也把數(shù)據(jù)中臺稱之為DAAS,即數(shù)據(jù)即服務(wù)，數(shù)據(jù)如何快速

輸出業(yè)務(wù)端，賦能產(chǎn)品創(chuàng)新。API服務(wù)統(tǒng)一管理，建立完善的應(yīng)用血

緣關(guān)系，提供通用接口的配置化生成能力，降低對Java開發(fā)的依賴。

數(shù)據(jù)服務(wù)管理平臺：數(shù)據(jù)中臺思想下，數(shù)據(jù)服務(wù)輸出是應(yīng)用輸

出的最主要形式，數(shù)據(jù)服務(wù)管理平臺一方面要具備將數(shù)據(jù)資產(chǎn)自助

配置化輸出的能力，即數(shù)倉清洗好的數(shù)據(jù)模型，數(shù)據(jù)開發(fā)或業(yè)務(wù)人

員可以通過入?yún)?、出參的可視化配置生成API接口，不需要接口開

發(fā)介入。同時也要把API資產(chǎn)化管理，API接口文檔、應(yīng)用調(diào)用情

況做到可追蹤、可監(jiān)控。

第19頁

4.1大數(shù)據(jù)模型

大數(shù)據(jù)模型是大數(shù)據(jù)構(gòu)架中重要一部分，包括概念大數(shù)據(jù)模型

和邏輯大數(shù)據(jù)模型，是數(shù)據(jù)中臺的關(guān)鍵、重點(diǎn)。理想的大數(shù)據(jù)模型

應(yīng)該具有非冗余、穩(wěn)定、一致、易用等特征。邏輯大數(shù)據(jù)模型能涵

蓋整個集團(tuán)的業(yè)務(wù)范圍，以一種清晰的表達(dá)方式記錄跟蹤集團(tuán)單位

的重要大數(shù)據(jù)元素及其變動，并利用它們之間各種可能的限制條件

和關(guān)系來表達(dá)重要的業(yè)務(wù)規(guī)則。大數(shù)據(jù)模型必須在設(shè)計(jì)過程中保持

統(tǒng)一的業(yè)務(wù)定義。為了滿足將來不同的應(yīng)用分析需要，邏輯大數(shù)據(jù)

模型的設(shè)計(jì)應(yīng)該能夠支持最小粒度的詳細(xì)大數(shù)據(jù)的存儲，以支持各

種可能的分析查詢。同時保障邏輯大數(shù)據(jù)模型能夠最大程度上減少

冗余，并保障結(jié)構(gòu)具有足夠的靈活性和擴(kuò)展性

4.2大數(shù)據(jù)生命周期

一般包括大數(shù)據(jù)生成及傳輸、大數(shù)據(jù)存儲、大數(shù)據(jù)處理及應(yīng)用、

大數(shù)據(jù)銷毀四個方面。

（1）大數(shù)據(jù)生成及傳輸

大數(shù)據(jù)應(yīng)該能夠按照大數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和發(fā)展需要產(chǎn)生，應(yīng)采取

措施保證大數(shù)據(jù)的準(zhǔn)確性和完整性，業(yè)務(wù)系統(tǒng)上線前應(yīng)該進(jìn)行必要

的安全測試，以保證上述措施的有效性。對于手工流程中產(chǎn)生的大

數(shù)據(jù)在相關(guān)制度中明確要求，并通過事中復(fù)核、事后檢查等手段保

第20頁

證其準(zhǔn)確性和完整性。大數(shù)據(jù)傳輸過程中需要考慮保密性和完整性

的問題，對不同種類的大數(shù)據(jù)分別采取不同的措施防止大數(shù)據(jù)泄漏

或大數(shù)據(jù)被篡改。

(2)大數(shù)據(jù)存儲

這個階段除了關(guān)注保密性、完整性之外，更要關(guān)心大數(shù)據(jù)的可

用性，對于大部分大數(shù)據(jù)應(yīng)采取分級存儲的方式，不僅存儲在本地

磁盤上，還應(yīng)該在磁帶上，甚至遠(yuǎn)程復(fù)制到磁盤陣列中，或者采用

光盤庫進(jìn)行存儲。對于存儲備份的大數(shù)據(jù)要定期進(jìn)行測試，確保其

可訪問其大數(shù)據(jù)完整。大數(shù)據(jù)的備份恢復(fù)策略應(yīng)該由大數(shù)據(jù)的責(zé)任

部門或責(zé)任人負(fù)責(zé)制定，信息化管理部門可以給予相應(yīng)的支持。同

時還需要注意因?yàn)椴块T需要或故障處理的需要，可能對大數(shù)據(jù)進(jìn)行

修改，必須在大數(shù)據(jù)管理辦法中明確大數(shù)據(jù)修改的申請審批流程，

審慎對待后臺大數(shù)據(jù)修改。

(3)大數(shù)據(jù)處理和應(yīng)用

信息化相關(guān)部門需要對大數(shù)據(jù)進(jìn)行分析處理，以挖掘出對于管

理及業(yè)務(wù)開展有價值的信息，為保證過程中大數(shù)據(jù)的安全性，一般

應(yīng)采用聯(lián)機(jī)處理，系統(tǒng)只輸出分析處理的結(jié)果。但是實(shí)際中，因?yàn)?/p>

相關(guān)大數(shù)據(jù)分析系統(tǒng)建設(shè)不到位，需要從大數(shù)據(jù)庫中提取大數(shù)據(jù)后

再對大數(shù)據(jù)進(jìn)行必要的分析處理，在這個過程中就需要關(guān)注大數(shù)據(jù)

提取操作是否可能對大數(shù)據(jù)庫造成破壞、提取出的大數(shù)據(jù)在交付給

第21頁

分析處理人員的過程中其安全性是否會降低、大數(shù)據(jù)分析處理的環(huán)

境安全性等等。

(4)大數(shù)據(jù)銷毀

這個階段主要涉及大數(shù)據(jù)的保密性。應(yīng)明確大數(shù)據(jù)銷毀的流程,

采用必要的工具，大數(shù)據(jù)的銷毀應(yīng)該有完整的記錄。尤其是對于需

要送出外部修理的存儲設(shè)備，送修之前應(yīng)該對大數(shù)據(jù)進(jìn)行可靠的銷

毀。

4.3大數(shù)據(jù)標(biāo)準(zhǔn)

大數(shù)據(jù)標(biāo)準(zhǔn)是集團(tuán)單位建立的一套符合自身實(shí)際，涵蓋定義、

操作、應(yīng)用多層次大數(shù)據(jù)的標(biāo)準(zhǔn)化體系。

大數(shù)據(jù)標(biāo)準(zhǔn)的建立是集團(tuán)單位信息化、數(shù)字化建設(shè)的一項(xiàng)重要

工作，行業(yè)的各類大數(shù)據(jù)必須遵循一個統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行組織，才能

構(gòu)成一個可流通、可共享的信息平臺。

數(shù)據(jù)中臺對標(biāo)準(zhǔn)的需求可以劃分為兩類，即基礎(chǔ)性標(biāo)準(zhǔn)和應(yīng)用

性標(biāo)準(zhǔn)。前者主要用于在不同系統(tǒng)間，形成信息的一致理解和統(tǒng)一

的坐標(biāo)參照系統(tǒng)，是信息匯集、交換以及應(yīng)用的基礎(chǔ)，包括大數(shù)據(jù)

分類與編碼、大數(shù)據(jù)字典、數(shù)字地圖標(biāo)準(zhǔn)；后者是為平臺功能發(fā)揮

所涉及的各個環(huán)節(jié)，提供一定的標(biāo)準(zhǔn)規(guī)范，以保證信息的高效匯集

和交換，包括元大數(shù)據(jù)標(biāo)準(zhǔn)、大數(shù)據(jù)交換技術(shù)規(guī)范、大數(shù)據(jù)傳輸協(xié)

議、大數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)等。

第22頁

(1)大數(shù)據(jù)分類與編碼

大數(shù)據(jù)分類與編碼標(biāo)準(zhǔn)是信息化建設(shè)中標(biāo)準(zhǔn)化的一項(xiàng)基礎(chǔ)工作,

該類標(biāo)準(zhǔn)規(guī)定平臺匯集、交換相關(guān)信息統(tǒng)一的分類系統(tǒng)和排列順序

以及編碼規(guī)則，目的是在不同系統(tǒng)和用戶之間建立交通大數(shù)據(jù)的一

致參照,對提高大數(shù)據(jù)采集、處理和大數(shù)據(jù)交換效率具有重要作用。

大數(shù)據(jù)分類與編碼標(biāo)準(zhǔn)的制定將有力推進(jìn)平臺標(biāo)準(zhǔn)化及交通信息化

建設(shè)標(biāo)準(zhǔn)化的進(jìn)程。

(2)大數(shù)據(jù)字典

針對實(shí)際需求，定義大數(shù)據(jù)集，建立各個領(lǐng)域的大數(shù)據(jù)字典，

規(guī)范大數(shù)據(jù)概念和大數(shù)據(jù)定義。在此基礎(chǔ)上，形成完備的集團(tuán)單位

大數(shù)據(jù)集和大數(shù)據(jù)字典。

(3)元大數(shù)據(jù)標(biāo)準(zhǔn)

元大數(shù)據(jù)標(biāo)準(zhǔn)是描述大數(shù)據(jù)資源的具體對象時所有規(guī)則的集合,

它包括了完整描述一個具體大數(shù)據(jù)對象時所需要的大數(shù)據(jù)項(xiàng)集合。

針對各種信息資源分別制定適當(dāng)?shù)脑髷?shù)據(jù)標(biāo)準(zhǔn)，可為信息的管理、

發(fā)現(xiàn)和獲取提供一種實(shí)際而簡便的方法，從而提高大數(shù)據(jù)交換效率。

(4)大數(shù)據(jù)交換標(biāo)準(zhǔn)

為了保證大數(shù)據(jù)共享和交換的順利實(shí)現(xiàn)，必須明確定義和規(guī)范

大數(shù)據(jù)交換的相關(guān)標(biāo)準(zhǔn)。大數(shù)據(jù)交換的標(biāo)準(zhǔn)規(guī)范是集團(tuán)單位綜合信

息平臺的核心標(biāo)準(zhǔn)。其中應(yīng)當(dāng)包括大數(shù)據(jù)交換內(nèi)容、大數(shù)據(jù)交換格

第23頁

式、大數(shù)據(jù)傳輸方式、各類中心間大數(shù)據(jù)接口的標(biāo)準(zhǔn)化等方面。

（5）大數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)

由于大數(shù)據(jù)采集任務(wù)通常由其他二級平臺完成，數(shù)據(jù)中臺平臺

的標(biāo)準(zhǔn)方法主要集中在大數(shù)據(jù)的加工和管理上。應(yīng)該重點(diǎn)開發(fā)的一

個領(lǐng)域是大數(shù)據(jù)質(zhì)量控制方法。應(yīng)當(dāng)從三個方面對大數(shù)據(jù)質(zhì)量方法

進(jìn)行研究：“壞大數(shù)據(jù)”或“不可靠大數(shù)據(jù)”的識別，錯誤大數(shù)據(jù)

的編輯方法，以及缺少值的處理。

4.4主大數(shù)據(jù)

主大數(shù)據(jù)管理要做的就是從各部門的多個業(yè)務(wù)系統(tǒng)中整合最核

心的、最需要共享的大數(shù)據(jù)（主大數(shù)據(jù)），集中進(jìn)行大數(shù)據(jù)的清洗和

豐富，并且以服務(wù)的方式把統(tǒng)一的、完整的、準(zhǔn)確的、具有權(quán)威性

的主大數(shù)據(jù)傳送給集團(tuán)單位范圍內(nèi)需要使用這些大數(shù)據(jù)的操作型應(yīng)

用系統(tǒng)和分析型應(yīng)用系統(tǒng)。

主大數(shù)據(jù)管理的信息流應(yīng)為：

1）某個業(yè)務(wù)系統(tǒng)觸發(fā)對主大數(shù)據(jù)的改動；

2）主大數(shù)據(jù)管理系統(tǒng)將整合之后完整、準(zhǔn)確的主大數(shù)據(jù)傳送給

所有有關(guān)的應(yīng)用系統(tǒng)

3）主大數(shù)據(jù)管理系統(tǒng)為決策支持和大數(shù)據(jù)倉庫系統(tǒng)提供準(zhǔn)確

的大數(shù)據(jù)源。

因此對于主大數(shù)據(jù)管理要考慮運(yùn)用主大數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)，主

第24頁

大數(shù)據(jù)管理系統(tǒng)的建設(shè)，要從建設(shè)初期就考慮整體的平臺框架和技

術(shù)實(shí)現(xiàn)。

4.5大數(shù)據(jù)質(zhì)量

大數(shù)據(jù)質(zhì)量不高將影響大數(shù)據(jù)倉庫應(yīng)用程度不高。低下的大數(shù)

據(jù)質(zhì)量往往造成開發(fā)出來的系統(tǒng)與用戶的預(yù)期大相徑庭，大數(shù)據(jù)質(zhì)

量關(guān)系建設(shè)有關(guān)分析型信息系統(tǒng)成敗，同時大數(shù)據(jù)資源是集團(tuán)單位

的戰(zhàn)略資源，合理有效的使用正確的大數(shù)據(jù)能指導(dǎo)集團(tuán)單位做出正

確的決策，提高省綜合競爭力。不合理的使用不正確的大數(shù)據(jù)（即

差的大數(shù)據(jù)質(zhì)量）可導(dǎo)致決策的失敗，正可謂差之毫厘、謬以千里。

大數(shù)據(jù)質(zhì)量管理包含對大數(shù)據(jù)的絕對質(zhì)量管理、過程質(zhì)量管理。

絕對質(zhì)量即大數(shù)據(jù)的真實(shí)性、完備性、自治性是大數(shù)據(jù)本身應(yīng)具有

的屬性。過程質(zhì)量即使用質(zhì)量、存儲質(zhì)量和傳輸質(zhì)量，大數(shù)據(jù)的使

用質(zhì)量是指大數(shù)據(jù)被正確的使用。再正確的大數(shù)據(jù)，如果被錯誤的

使用，就不可能得出正確的結(jié)論。大數(shù)據(jù)的存貯質(zhì)量指大數(shù)據(jù)被安

全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂存貯在適當(dāng)?shù)慕橘|(zhì)上是指當(dāng)需要大

數(shù)據(jù)的時候能及時方便的取出。大數(shù)據(jù)的傳輸質(zhì)量是指大數(shù)據(jù)在傳

輸過程中的效率和正確性。

高質(zhì)量的交通運(yùn)輸行業(yè)大數(shù)據(jù)至少有如下幾項(xiàng)要求：

一是正確性，在轉(zhuǎn)換、分析、存儲、傳輸、應(yīng)用流程中不存在

錯誤;

第25頁

二是完整性，大數(shù)據(jù)庫應(yīng)用或要求的所有記錄、字段都存在；

三是一致性，體現(xiàn)在整個大數(shù)據(jù)庫的定義和維護(hù)方面，確保大

數(shù)據(jù)在使用的整個過程中是一致的；

四是時效性，衡量指標(biāo)是在指定的大數(shù)據(jù)與真實(shí)的業(yè)務(wù)情況同

步的時間容忍度內(nèi)，即指定的更新頻度內(nèi)，及時被刷新的大數(shù)據(jù)的

百分比；

五是可靠性，提供大數(shù)據(jù)的大數(shù)據(jù)源必須能夠可靠穩(wěn)定地提供

大數(shù)據(jù)。

大數(shù)據(jù)質(zhì)量管理的規(guī)劃和實(shí)施包括以下內(nèi)容：

一是大數(shù)據(jù)質(zhì)量管控體系的建立，包括大數(shù)據(jù)質(zhì)量的評估體系,

定期評估大數(shù)據(jù)質(zhì)量狀況；

二是在部門各個應(yīng)用系統(tǒng)中的落實(shí)，包括每個應(yīng)用系統(tǒng)中的大

數(shù)據(jù)質(zhì)量檢查等；

三是在最開始建立大數(shù)據(jù)質(zhì)量管理系統(tǒng)的時候，借助數(shù)據(jù)中臺

平臺上，通過建立大數(shù)據(jù)質(zhì)量管理的規(guī)則來集中化地建立大數(shù)據(jù)質(zhì)

量管理系統(tǒng)，發(fā)現(xiàn)問題并持續(xù)改進(jìn)；

四是大數(shù)據(jù)質(zhì)量管理與業(yè)務(wù)稽核的結(jié)合，通過業(yè)務(wù)規(guī)則的稽核

來發(fā)現(xiàn)大數(shù)據(jù)質(zhì)量深層次的問題，將大數(shù)據(jù)質(zhì)量與業(yè)務(wù)一線結(jié)合起

來，使業(yè)務(wù)人員對大數(shù)據(jù)質(zhì)量問題有更加清晰和明確的認(rèn)識。

完善的大數(shù)據(jù)質(zhì)量管理是保障各項(xiàng)數(shù)據(jù)中臺工作能夠得到有效

第26頁

落實(shí)，達(dá)到大數(shù)據(jù)準(zhǔn)確、完整的目標(biāo)，并能夠提供有效的增值服務(wù)

的重要基礎(chǔ)。

4.6大數(shù)據(jù)服務(wù)

大數(shù)據(jù)整理最終目的就是要服務(wù)于各部門單位、人員等，能更

準(zhǔn)確更快更方便的服務(wù)是大數(shù)據(jù)服務(wù)管理的目標(biāo)。

大數(shù)據(jù)服務(wù)管理是指針對內(nèi)部積累多年的大數(shù)據(jù)，研究如何能

夠充分利用這些大數(shù)據(jù)，分析行業(yè)業(yè)務(wù)流程優(yōu)化業(yè)務(wù)流程。大數(shù)據(jù)

使用的方式通常包括對大數(shù)據(jù)的深度加工和分析，包括通過各種報

表、工具來分析運(yùn)營層面的問題，還包括通過大數(shù)據(jù)挖掘等工具對

大數(shù)據(jù)進(jìn)行深度加工，從而更好的管理者服務(wù)。通過建立統(tǒng)一的大

數(shù)據(jù)服務(wù)平臺來滿足針對跨部門、跨系統(tǒng)的大數(shù)據(jù)應(yīng)用。通過統(tǒng)一

的大數(shù)據(jù)服務(wù)平臺來統(tǒng)一大數(shù)據(jù)源，變多源為單源，加快大數(shù)據(jù)流

轉(zhuǎn)速度，提升大數(shù)據(jù)服務(wù)的效率。

4.7大數(shù)據(jù)安全

由于集團(tuán)單位的重要且敏感信息大部分集中在應(yīng)用系統(tǒng)中，大

數(shù)據(jù)安全更是至關(guān)重要。如何保障大數(shù)據(jù)不被泄露和非法訪問，是

非常關(guān)鍵的問題。大數(shù)據(jù)安全管理主要解決的就是大數(shù)據(jù)在保存、

使用和交換過程中的安全問題。

大數(shù)據(jù)安全管理主要體現(xiàn)在以下六個方面：

第27頁

一是大數(shù)據(jù)使用的安全性，包括基礎(chǔ)大數(shù)據(jù)的保存、訪問和權(quán)

限管理；

二是大數(shù)據(jù)隱私問題，系統(tǒng)中采集的證件號碼、銀行賬號等信

息在下游分析系統(tǒng)和內(nèi)部管理系統(tǒng)中，是否要進(jìn)行加密，以避免大

數(shù)據(jù)被非法訪問；

三是訪問權(quán)限統(tǒng)一管理，包括單點(diǎn)登錄問題及用戶名、大數(shù)據(jù)

和應(yīng)用的訪問授權(quán)統(tǒng)一管理；

四是大數(shù)據(jù)安全審計(jì)，為大數(shù)據(jù)修改、使用等環(huán)節(jié)設(shè)置審計(jì)方

法，事后進(jìn)行審計(jì)和責(zé)任追究；

五是制度及流程建立，逐步建立大數(shù)據(jù)安全性的管理辦法、系

統(tǒng)開發(fā)規(guī)范、大數(shù)據(jù)隱私管理辦法及相應(yīng)的應(yīng)用系統(tǒng)規(guī)范、在管理

決策和分析類系統(tǒng)中的審計(jì)管理辦法等；

六是應(yīng)用系統(tǒng)權(quán)限的訪問控制，建立集團(tuán)級權(quán)限管理系統(tǒng)，增

加數(shù)字水印等技術(shù)在應(yīng)用系統(tǒng)中的使用。

5.數(shù)據(jù)中臺保障機(jī)制

5.1制度章程

5.1.1規(guī)章制度

數(shù)據(jù)中臺章程類似于企業(yè)的公司條例。該章程闡明數(shù)據(jù)中臺的

主要目標(biāo)、相關(guān)工作人員、職責(zé)、決策權(quán)利和度量標(biāo)準(zhǔn)。

具體可參見附件大數(shù)據(jù)管理規(guī)范

第28頁

5.1.2管控辦法

管控辦法是基于規(guī)章制度與工具的結(jié)合，可落地的操作的辦法。

具體可參見附件大數(shù)據(jù)質(zhì)量評估辦法

5.1.3考核機(jī)制

考核是是保障制度落實(shí)的根本，建立明確的考核制度，實(shí)際操

作中可根據(jù)集團(tuán)單位情況，建立相應(yīng)的針對數(shù)據(jù)中臺方面的考核辦

法，并與個人績效相關(guān)聯(lián)?？蓞⒖脊芾韺W(xué)中相關(guān)考核、績效管理相

關(guān)部分。

對于數(shù)據(jù)中臺的考核，可見下圖進(jìn)行理解：

執(zhí)行是管控體系落地的關(guān)鍵

業(yè)務(wù)梳理

以縝效的手段促1MS

管理,將數(shù)據(jù)生產(chǎn)者、使用者.管

理者海有者關(guān)翅來,形成T

可持續(xù)有效執(zhí)行的執(zhí)行體系，保障

持續(xù)的高數(shù)據(jù)質(zhì)量

o糠理核心業(yè)務(wù)流.數(shù)據(jù)流

0制定數(shù)據(jù)管控指標(biāo)（利麗準(zhǔn)）

o以標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行質(zhì)量探套.處理.

分析

0按規(guī)則對數(shù)據(jù)流進(jìn)預(yù)魯

OSW!誦質(zhì)鍛敗據(jù)，形成數(shù)據(jù)中

v心,實(shí)現(xiàn)共享、分發(fā)、觸

o以績效手段促迸.保障數(shù)據(jù)管

控機(jī)制持續(xù)有效運(yùn)行

第29頁

M雌

考核又掩數(shù)據(jù)負(fù)責(zé)人

發(fā)生數(shù)據(jù)質(zhì).考橇標(biāo)準(zhǔn)

月35扣分項(xiàng)

例1.發(fā)現(xiàn)f數(shù)據(jù)題■崛01分；

2.依此類推,直至本項(xiàng)指標(biāo)權(quán)重扣完為止；

考核對象數(shù)據(jù)負(fù)費(fèi)人

考核標(biāo)準(zhǔn)：

1.數(shù)據(jù)質(zhì)量何題影響30%以下（含30%）

信息系統(tǒng)，扣5分；

數(shù)據(jù)質(zhì)量問題2,數(shù)據(jù)質(zhì)量問題影響30%~70%（含70%）

影響范網(wǎng)月25扣分項(xiàng)

信息系統(tǒng)，捫15分；

3.數(shù)據(jù)質(zhì)量何期影響70%|壯信息系統(tǒng)，

扣25分;

4.按月統(tǒng)計(jì)，以單次《圖質(zhì)量問題影響范

圍最大的數(shù)據(jù)為準(zhǔn)；

考核對象數(shù)據(jù)ft費(fèi)人

嚴(yán)重程度寫極權(quán)準(zhǔn)以造成的邑濟(jì)損失為考核依據(jù)，年扣分項(xiàng)

依企業(yè)情況自定義；人工考倭

考核對象：數(shù)據(jù)負(fù)責(zé)人

數(shù)據(jù)質(zhì)■問題

數(shù)據(jù)質(zhì)量問題考候標(biāo)?：

的處理個數(shù)和月35加分項(xiàng)

1.在規(guī)定時間內(nèi)處理完成fHBSg?*問

K，加1分;否W不麗；

考則象數(shù)據(jù)管理員

問題預(yù)警、分；折現(xiàn)數(shù)據(jù)質(zhì)量問題時,在規(guī)定時間段

發(fā)

內(nèi)，及時預(yù)警并通知相關(guān)人員處理，不扣分；

5W,扣3分；

5.2數(shù)據(jù)中臺組織

5.2.1組織架構(gòu)

有效的組織機(jī)構(gòu)是項(xiàng)目成功的有力保證，為了達(dá)到項(xiàng)目預(yù)期目

標(biāo)，在項(xiàng)目開始之前對于組織機(jī)構(gòu)及其責(zé)任分工做出規(guī)劃是非常必

要的，數(shù)據(jù)中臺項(xiàng)目管理組織建議宜采用如圖所示的組織結(jié)構(gòu)：

第30頁

數(shù)據(jù)中臺委員會由集團(tuán)公司的高層領(lǐng)導(dǎo)者組成。委員會定義數(shù)

據(jù)中臺愿景和目標(biāo)；組織內(nèi)跨業(yè)務(wù)部門和IT部門進(jìn)行協(xié)調(diào)；設(shè)置

數(shù)據(jù)中臺計(jì)劃的總體方向；在發(fā)生策略分歧時進(jìn)行協(xié)調(diào)。此委員會

也將包含來自部門或子公司的領(lǐng)導(dǎo)代表，以及來自各單位視大數(shù)據(jù)

為機(jī)構(gòu)資產(chǎn)的信息科技部門的代表。這些高層管理人員是數(shù)據(jù)中臺

計(jì)劃的所有擁護(hù)者，確保在整個組織內(nèi)獲得支持。

數(shù)據(jù)中臺工作組是組織內(nèi)委員會下面的下一個級別。工作組執(zhí)

第31頁

行數(shù)據(jù)中臺計(jì)劃。工作組負(fù)責(zé)監(jiān)督大數(shù)據(jù)管理員工作。數(shù)據(jù)中臺工

作組由數(shù)據(jù)中臺委員會中各局領(lǐng)導(dǎo)主持。

每各業(yè)務(wù)部門有至少一位業(yè)務(wù)分析員，信息科技部門設(shè)置大數(shù)

據(jù)質(zhì)量分析員、大數(shù)據(jù)管理員、集成開發(fā)人員。各工作人員負(fù)責(zé)本

部門大數(shù)據(jù)的質(zhì)量，履行職責(zé)，解決具體的問題。

5.2.3組織職責(zé)

根據(jù)大數(shù)據(jù)管理工作的實(shí)際需要，在業(yè)務(wù)管理部門、技術(shù)管理

部門和業(yè)務(wù)應(yīng)用部門確定各工作人員的職責(zé)。

數(shù)據(jù)中臺委員會的職責(zé)范圍：

1）從戰(zhàn)略角度來統(tǒng)籌和規(guī)劃，對大數(shù)據(jù)資產(chǎn)和系統(tǒng)進(jìn)行清理,

確定數(shù)據(jù)中臺的范圍；明確大數(shù)據(jù)源的出處、使用和管理的流程及

職責(zé)；

2）明確數(shù)據(jù)中臺的組織、功能、角色和職責(zé)；

3）負(fù)責(zé)各工作組成員的培訓(xùn)工作；

4）負(fù)責(zé)審查各工作小組的目標(biāo)、原則，批準(zhǔn)大數(shù)據(jù)管理的相關(guān)

制度、標(biāo)準(zhǔn)及流程；

5）負(fù)責(zé)確定數(shù)據(jù)中臺的工具、技術(shù)和平臺；

6）負(fù)責(zé)制定數(shù)據(jù)中臺的評估指標(biāo)、方法。

數(shù)據(jù)中臺工作小組，其主要工作職責(zé)是：

負(fù)責(zé)數(shù)據(jù)中臺的牽頭，組織、指導(dǎo)和協(xié)調(diào)本單位的數(shù)據(jù)中臺工

第32頁

作;

綜合數(shù)據(jù)中臺管控辦法、數(shù)據(jù)中臺考核機(jī)制等有關(guān)規(guī)章制度的

牽頭制定、修改等；

負(fù)責(zé)大數(shù)據(jù)的分析整理并出具大數(shù)據(jù)指標(biāo)報告；

負(fù)責(zé)大數(shù)據(jù)的監(jiān)測預(yù)測工作；

建立大數(shù)據(jù)沖突的處理流程和大數(shù)據(jù)變更控制流程。

負(fù)責(zé)對基礎(chǔ)大數(shù)據(jù)質(zhì)量的檢測、發(fā)布、考核和清理完善工作。

工作組成員：業(yè)務(wù)分析員、大數(shù)據(jù)質(zhì)量分析員、大數(shù)據(jù)管理員、

集成開發(fā)員

這些不同的角色在數(shù)據(jù)中臺過程中承擔(dān)著彼此不同，而又相輔

相成的職責(zé)。其中集成開發(fā)人員在數(shù)據(jù)中臺流程中需要肩負(fù)起大數(shù)

據(jù)訪問、驗(yàn)證大數(shù)據(jù)結(jié)構(gòu)、驗(yàn)證大數(shù)據(jù)、交付大數(shù)據(jù)以及大數(shù)據(jù)庫

/知識庫的構(gòu)建等角色，因此他們的工作包括：

訪問及交付相應(yīng)大數(shù)據(jù)給業(yè)務(wù)用戶

提高生產(chǎn)力和性能

最大化減少異常/出錯的影響

開發(fā)和完善技術(shù)最佳實(shí)踐

大數(shù)據(jù)質(zhì)量分析員在數(shù)據(jù)中臺流程中負(fù)責(zé)大數(shù)據(jù)的剖析、清洗

匹配合并等。工作包括：

為開發(fā)人員定義大數(shù)據(jù)規(guī)格及標(biāo)準(zhǔn)

第33頁

為機(jī)構(gòu)有效的追蹤大數(shù)據(jù)質(zhì)量問題

實(shí)施被業(yè)務(wù)人員和大數(shù)據(jù)管理員定義正確的大數(shù)據(jù)質(zhì)量規(guī)

則

不間斷的監(jiān)控大數(shù)據(jù)質(zhì)量水平及問題

業(yè)務(wù)分析人員在數(shù)據(jù)中臺流程中負(fù)責(zé)定義大數(shù)據(jù)的轉(zhuǎn)換規(guī)則，

工作包括：

與需求開發(fā)人員協(xié)作，正確捕獲和解析業(yè)務(wù)需求

與開發(fā)人員和大數(shù)據(jù)管理員協(xié)作，為業(yè)務(wù)用戶縮短大數(shù)據(jù)產(chǎn)

生價值的時間

大數(shù)據(jù)管理員需要定義引證大數(shù)據(jù)，并管理元大數(shù)據(jù)，工作包

括：

保證大數(shù)據(jù)的質(zhì)量、正確、完整、一致、審計(jì)及安全性

定義引證/參考大數(shù)據(jù)

為組織機(jī)構(gòu)大數(shù)據(jù)實(shí)體給出正確業(yè)務(wù)定義

為組織機(jī)構(gòu)解決混淆和有爭論的大數(shù)據(jù)定義

5.3流程管理

流程管理包括流程目標(biāo)、流程任務(wù)、流程分級，根據(jù)數(shù)據(jù)中臺

的內(nèi)容，建立相應(yīng)流程，且遵循本單位數(shù)據(jù)中臺的規(guī)則制度。實(shí)際

操作中可結(jié)合所使用的數(shù)據(jù)中臺工具，與數(shù)據(jù)中臺工具供應(yīng)商進(jìn)行

第34頁

協(xié)商，建立符合集團(tuán)公司的流程管理。

5.4IT技術(shù)應(yīng)用

5.4.1支撐平臺

現(xiàn)市場上關(guān)于數(shù)據(jù)中臺平臺存在不同的成熟產(chǎn)品，但在功能實(shí)

現(xiàn)上大致相同，具體可參加下圖了解。

數(shù)據(jù)治理平臺構(gòu)成與定位

提供平臺

溝道栗遺

分析類應(yīng)

數(shù)維平臺數(shù)案集巾

第35頁

對數(shù)據(jù)平臺業(yè)務(wù)的支持一元數(shù)據(jù)

效據(jù)源系統(tǒng)

敏據(jù)揄取

元敗據(jù)管

理員

?代詢數(shù)據(jù)f臺相關(guān)元數(shù)由?敷保殳更影響分析

應(yīng)用開發(fā)苦撇,為開發(fā)用用柒供弁考元效州干系統(tǒng)

?數(shù)據(jù)同應(yīng)血修分析

?數(shù)據(jù)變更影響評估申請

數(shù)卅艱務(wù)

對數(shù)據(jù)平臺業(yè)務(wù)的支持一數(shù)據(jù)質(zhì)量

?竹"數(shù)粼腦量向虺

好健出先善建議

鹿用開發(fā)畬

?定義槍核需求與規(guī)則

?分析數(shù)據(jù)平臺數(shù)燃質(zhì)量

忑、?發(fā)現(xiàn)、發(fā)布數(shù)州檢核問題

?廣新八機(jī)構(gòu)特定系

業(yè)務(wù)部門

統(tǒng)敬州展量數(shù)把質(zhì)越管

?提出業(yè)務(wù)數(shù)據(jù)質(zhì)量敏期質(zhì)量理員

檢情需求檢檜

第36頁

對數(shù)據(jù)平臺業(yè)務(wù)的支持-數(shù)據(jù)服務(wù)

a?敏格平價服務(wù)中諳

■

段用開發(fā)者

?■供敷維平臺服務(wù)

?茲州平臺*務(wù)申請

業(yè)務(wù)覬門?）敝州￥介有效溝加數(shù)