多源異構(gòu)數(shù)據(jù)綜合服務(wù)平臺(tái)

多源異構(gòu)數(shù)據(jù)綜合服務(wù)平臺(tái)

1.1.1.平臺(tái)定位與架構(gòu)

1.1.1.1.平臺(tái)定位

大數(shù)據(jù)平臺(tái)的定位旨在解決將互聯(lián)網(wǎng)信息綜合管理系統(tǒng)、網(wǎng)絡(luò)安全綜合管

理系統(tǒng)、辦公管理綜合應(yīng)用系統(tǒng)、指揮調(diào)度系統(tǒng)等匯聚到平臺(tái)中，并且通過匯

聚的數(shù)據(jù)進(jìn)行數(shù)據(jù)整合處理，在通過業(yè)務(wù)的實(shí)際應(yīng)用，建設(shè)主題庫、專題庫。

以及最后通過共享交換子系統(tǒng)將數(shù)據(jù)以標(biāo)準(zhǔn)的接口方式發(fā)布。

因此大數(shù)據(jù)平臺(tái)是一個(gè)承上啟下的平臺(tái)，緊密貼合用戶實(shí)際的業(yè)務(wù)需求開

展具體數(shù)據(jù)的匯聚、整合、管理及應(yīng)用。

1.1.1.2.平臺(tái)架構(gòu)

多源異構(gòu)數(shù)據(jù)綜合服務(wù)平臺(tái)，主要是承上啟下的作用，也就是注重DAAS、

PAAS層面的子系統(tǒng)建設(shè)。

IAAS層主要由云主機(jī)房統(tǒng)一建設(shè)，包含了服務(wù)器資源的總體管理與分配。

DAAS層主要包含了三部分內(nèi)容，一是集成非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、二是各

第三方軟件平臺(tái)安裝的操作數(shù)據(jù)庫，三是由集成平臺(tái)獲取的數(shù)據(jù)集成到平臺(tái)的

數(shù)據(jù)中心庫，根據(jù)集成的數(shù)據(jù)內(nèi)容，分為基礎(chǔ)庫、模型庫、主題庫、專題庫。

PAAS層主要是對(duì)大數(shù)據(jù)平臺(tái)中的各個(gè)子系統(tǒng)的總體管理，包含了數(shù)據(jù)標(biāo)

準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)共享交換、數(shù)據(jù)資源目錄管理。從

數(shù)據(jù)的標(biāo)準(zhǔn)到數(shù)據(jù)的發(fā)布統(tǒng)一進(jìn)行管理。

SAAS層主要是基于我們集成后的數(shù)據(jù)提供上層應(yīng)用支撐，包含輿情監(jiān)測

等業(yè)務(wù)應(yīng)用。

1.1.1.3.數(shù)據(jù)流向

數(shù)據(jù)流向是從數(shù)據(jù)源端到應(yīng)用端之間數(shù)據(jù)產(chǎn)生了如何使用的完整路線?？?/p>

以清晰的體現(xiàn)數(shù)據(jù)的脈絡(luò)，對(duì)數(shù)據(jù)做全生命周期管理。

1.1.1.4.設(shè)備配置

序號(hào)項(xiàng)目名稱參數(shù)數(shù)量單位備注

*、計(jì)算服務(wù)

1數(shù)據(jù)集成平臺(tái)服務(wù)器8核/32G內(nèi)存/500G存儲(chǔ)2ZA集群

2數(shù)據(jù)標(biāo)準(zhǔn)子系統(tǒng)服務(wù)器4核/8G內(nèi)存/500G存儲(chǔ)1公

3數(shù)據(jù)質(zhì)量管理子系統(tǒng)服務(wù)器4核/16G內(nèi)存/500G存儲(chǔ)1臺(tái)

4元數(shù)據(jù)分析子系統(tǒng)服務(wù)器4核/16G內(nèi)存/500G存儲(chǔ)1臺(tái)

5服務(wù)集成子系統(tǒng)服務(wù)器8核/32G內(nèi)存/500G存儲(chǔ)2臺(tái)集群

6資源目錄管理子系統(tǒng)服務(wù)器8核/32G內(nèi)存/500G存儲(chǔ)1臺(tái)

二、數(shù)據(jù)庫服務(wù)

數(shù)據(jù)中心數(shù)據(jù)庫（元數(shù)據(jù)、

數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、服務(wù)

18核/32G內(nèi)存/1T存儲(chǔ)2臺(tái)集群

集成、資源目錄管理應(yīng)用數(shù)

據(jù)庫）

數(shù)據(jù)中心數(shù)據(jù)庫（基礎(chǔ)庫、

18核/32G內(nèi)存/1T存儲(chǔ)2臺(tái)集群

模型庫、主題庫、專題庫）

三、存儲(chǔ)服務(wù)

1文檔存儲(chǔ)(OSS)2.5T存儲(chǔ)

1.1.2.數(shù)據(jù)中心建模

依據(jù)數(shù)據(jù)梳理階段確定的標(biāo)準(zhǔn)和模型，根據(jù)業(yè)務(wù)需求，設(shè)計(jì)數(shù)據(jù)中心模

型。數(shù)據(jù)中心模型包括且不限于：內(nèi)部網(wǎng)信數(shù)據(jù)、網(wǎng)站數(shù)據(jù)、社交媒體數(shù)據(jù)、

微信公眾號(hào)數(shù)據(jù)、境外數(shù)據(jù)等。

1.1.2.1.數(shù)據(jù)模型概念

數(shù)據(jù)模型是指用實(shí)體、屬性及其關(guān)系對(duì)企業(yè)運(yùn)營和管理過程中涉及的所有

業(yè)務(wù)概念和邏輯規(guī)則進(jìn)行統(tǒng)一定義、命名和編碼。數(shù)據(jù)模型是業(yè)務(wù)人員、IT人

員和開發(fā)商之間進(jìn)行溝通的一套語言。數(shù)據(jù)模型分為概念數(shù)據(jù)模型、邏輯數(shù)據(jù)

模型和物理數(shù)據(jù)模型：

概念數(shù)據(jù)模型是一種高層次的數(shù)據(jù)模型，定義了重要的業(yè)務(wù)事務(wù)及其關(guān)

系，它主要由核心的數(shù)據(jù)主題或其集合，以及主題間的業(yè)務(wù)關(guān)系組成。例如：

傳輸網(wǎng)管主題域由網(wǎng)元基本信息、端口信息等多個(gè)主題構(gòu)成。

邏輯數(shù)據(jù)模型是對(duì)概念數(shù)據(jù)模型的進(jìn)一步分解和細(xì)化，描述了實(shí)體、屬性

以及實(shí)體之間的關(guān)系，它使用通用的字符類型與長度來描述每個(gè)屬性。例如：

客戶的基本信息包括客戶姓名、地址、出生日期等屬性，客戶姓名為字符類

型，長度為30。

物理數(shù)據(jù)模型描述了模型實(shí)體的細(xì)節(jié)并對(duì)數(shù)據(jù)冗余與性能進(jìn)行平衡，在設(shè)

計(jì)的時(shí)候需要考慮所用數(shù)據(jù)庫產(chǎn)品所對(duì)應(yīng)的數(shù)據(jù)類型、長度、索引等具體因

素，在設(shè)計(jì)物理數(shù)據(jù)模型的時(shí)候必須先確定數(shù)據(jù)庫平臺(tái)和應(yīng)用架構(gòu)。例如：在

客戶姓名以Varchar2(30)存儲(chǔ)在數(shù)據(jù)庫，且建立索引用于加速檢索。

概念模型更關(guān)注業(yè)務(wù)相關(guān)的核心問題，邏輯模型主要描述業(yè)務(wù)問題的各個(gè)

細(xì)節(jié)，而物理模型則側(cè)重表達(dá)數(shù)據(jù)的技術(shù)細(xì)節(jié)。

1.1.2.2.數(shù)據(jù)建模流程

數(shù)據(jù)建模一般應(yīng)遵循以下流程：

一般來說，在進(jìn)行系統(tǒng)設(shè)計(jì)與開發(fā)之前，各個(gè)業(yè)務(wù)部門人員應(yīng)該就核心的

業(yè)務(wù)概念及其關(guān)系（即概念模型）已經(jīng)達(dá)成一致；系統(tǒng)設(shè)計(jì)時(shí)，技術(shù)人員與業(yè)

務(wù)人員一起，直接進(jìn)行邏輯模型的設(shè)計(jì)，而不會(huì)再單獨(dú)設(shè)計(jì)概念模型；邏輯模

型設(shè)計(jì)完成之后，再根據(jù)所選的數(shù)據(jù)庫產(chǎn)品及其它因素，進(jìn)行物理模型的設(shè)

計(jì)。

1.1.2.3.傳統(tǒng)數(shù)據(jù)中心的模型設(shè)計(jì)思路

針對(duì)傳統(tǒng)的數(shù)據(jù)中心而言，數(shù)據(jù)建模工作是一件復(fù)雜而長期進(jìn)行的工作，

從總方針上講，應(yīng)該按照以下路線來完成業(yè)務(wù)數(shù)據(jù)的建模：

1）首先，統(tǒng)一建立企業(yè)級(jí)概念模型；

2）然后，在企業(yè)級(jí)概念模型的基礎(chǔ)上，逐步細(xì)化建立企業(yè)級(jí)邏輯模型；

3）此后，以企業(yè)級(jí)邏輯模型為指導(dǎo)模版設(shè)計(jì)邏輯數(shù)據(jù)模型；

4）最后，在確認(rèn)數(shù)據(jù)庫產(chǎn)品選型后，即可產(chǎn)生物理數(shù)據(jù)模型（針對(duì)模型建

立的步驟）。

（一）概念數(shù)據(jù)模型設(shè)計(jì)

概念數(shù)據(jù)模型設(shè)計(jì)目標(biāo)

企業(yè)級(jí)概念數(shù)據(jù)建模的目標(biāo)在于識(shí)別企業(yè)運(yùn)營業(yè)務(wù)主要數(shù)據(jù)主題并根據(jù)各

個(gè)數(shù)據(jù)主題間的邏輯關(guān)系劃分其所屬數(shù)據(jù)主題域。

數(shù)據(jù)主題域集中反映了某方面的業(yè)務(wù)內(nèi)容，通常是同類或關(guān)聯(lián)關(guān)系較為緊

密的數(shù)據(jù)主題的集合。數(shù)據(jù)主題是任何可以區(qū)分的人、地點(diǎn)、事情、事件或概

念，信息圍繞它來保存。數(shù)據(jù)主題域是數(shù)據(jù)中心主題建模的基礎(chǔ)，通過細(xì)化數(shù)

據(jù)主題域即可建立統(tǒng)一的數(shù)據(jù)中心模型。

同樣，數(shù)據(jù)主題分類可以幫助數(shù)據(jù)平臺(tái)開發(fā)人員歸納出各業(yè)務(wù)系統(tǒng)之間需

要共享的業(yè)務(wù)數(shù)據(jù)，并幫助企業(yè)建立統(tǒng)一的業(yè)務(wù)系統(tǒng)間共享數(shù)據(jù)模型。

概念數(shù)據(jù)模型設(shè)計(jì)方法

數(shù)據(jù)分類工作包括以下幾個(gè)步驟：

數(shù)據(jù)主題梳理

通過仔細(xì)分析數(shù)據(jù)中心各類業(yè)務(wù)系統(tǒng)詳細(xì)說明，從中梳理出業(yè)務(wù)所產(chǎn)生和

需要的主要數(shù)據(jù)并形成數(shù)據(jù)主題清單，這些數(shù)據(jù)主要包括主數(shù)據(jù)和事物數(shù)據(jù)兩

部分。

數(shù)據(jù)主題域設(shè)計(jì)

根據(jù)分析整理得到的數(shù)據(jù)主題清單，并結(jié)合這些數(shù)據(jù)的特點(diǎn)和具體業(yè)務(wù)關(guān)

注點(diǎn)即可歸納抽像出數(shù)據(jù)主題域。主題域集中反映了主題相關(guān)的所有業(yè)務(wù)內(nèi)

容，通常是同類或關(guān)聯(lián)關(guān)系較為緊密的數(shù)據(jù)實(shí)體集合。

（二）邏輯數(shù)據(jù)模型設(shè)計(jì)

邏輯數(shù)據(jù)模型是對(duì)概念數(shù)據(jù)模型的細(xì)化，是以主題及主題域來表現(xiàn)主要業(yè)

務(wù)數(shù)據(jù)范圍，通過對(duì)主題的細(xì)化形成了實(shí)體、實(shí)體與實(shí)體之間的聯(lián)系。

由于模型的設(shè)計(jì)，最終目標(biāo)是整合數(shù)據(jù)并對(duì)數(shù)據(jù)分析提供數(shù)據(jù)源，所以這

個(gè)細(xì)化過程一定是以數(shù)據(jù)分析應(yīng)用需求為驅(qū)動(dòng)的。它包括兩個(gè)層面的含義：

將概念數(shù)據(jù)模型中所有主題細(xì)化展開成實(shí)體，并找到實(shí)體和實(shí)體之間的聯(lián)

系是非常耗時(shí)的工作。需要以數(shù)據(jù)分析應(yīng)用需求為驅(qū)動(dòng)，決定哪些主題先展開

細(xì)化，而且某個(gè)主題的細(xì)化過程也是反復(fù)的，不斷完善的。

在設(shè)計(jì)某個(gè)實(shí)體時(shí)，實(shí)體中需要存放哪些屬性。這一過程也是以數(shù)據(jù)分析

應(yīng)用需求為驅(qū)動(dòng)的。如：為了滿足對(duì)客戶的基本信息的分析，需要使客戶這個(gè)

實(shí)體有“姓名”，“性別”，“區(qū)域”等屬性。

總的來說，邏輯數(shù)據(jù)模型的建模包括以下流程：

明確數(shù)據(jù)分析應(yīng)用需求。

確定數(shù)據(jù)分析應(yīng)用所涉及的數(shù)據(jù)主題域與相關(guān)主題。

識(shí)別這些數(shù)據(jù)主題所分布的業(yè)務(wù)系統(tǒng)，獲得源數(shù)據(jù)表結(jié)構(gòu)。

對(duì)分析需求所涉及的主題進(jìn)行細(xì)化得到相關(guān)實(shí)體、實(shí)體的屬性以及實(shí)體間

的關(guān)系。

1.1.2.4.針對(duì)兩種需求場景的建模思路

1.1.2.4.1.需求明確型建模

1）確認(rèn)需求

數(shù)據(jù)組從項(xiàng)目負(fù)責(zé)人處獲取將相關(guān)數(shù)據(jù)的業(yè)務(wù)規(guī)則文檔。文檔中應(yīng)該包括

的內(nèi)容有：ER圖、數(shù)據(jù)字典、業(yè)務(wù)規(guī)則、分析維度。

數(shù)據(jù)組根據(jù)項(xiàng)目負(fù)責(zé)人提供的ER圖、數(shù)據(jù)字典和業(yè)務(wù)規(guī)則進(jìn)行理解，如

果有業(yè)務(wù)規(guī)則不清楚的地方，項(xiàng)目負(fù)責(zé)人應(yīng)該協(xié)助解決；理解所有內(nèi)容后，數(shù)

據(jù)組成員分析這些內(nèi)容，并完成分析建模。

2）建模實(shí)施

需求明確后，要做的第一步是建模，它包括創(chuàng)建體系結(jié)構(gòu)的表示形式以捕

獲需求、就解決方案方法進(jìn)行交流、以及分析所提出的系統(tǒng)設(shè)計(jì)。其目的是使

用模型來表現(xiàn)系統(tǒng)中的關(guān)鍵數(shù)據(jù)組織形式設(shè)計(jì)，然后建模工具ERWIN、

Powerdesigner設(shè)計(jì)出概念模型，結(jié)合具體數(shù)據(jù)庫類型和管理需求形成物理模

型。使用這些模型，以研究預(yù)期的系統(tǒng)行為，并且可以在編寫文檔或總結(jié)時(shí)使

用這些模型，以便就系統(tǒng)的性能和外觀進(jìn)行交流。

＞域建模

域建模指的是，對(duì)問題域創(chuàng)建相應(yīng)的模型并且把它劃分為若干個(gè)內(nèi)聚組的

過程。然后，可以在抽象模型中捕獲業(yè)務(wù)流程、規(guī)則和數(shù)據(jù)。要構(gòu)造域模型，

必須完成下列工作：

?標(biāo)識(shí)并確定參與者（實(shí)體）及其操作（活動(dòng)）的特征。

?標(biāo)識(shí)管理操作（規(guī)則）的策略。

?收集有關(guān)實(shí)現(xiàn)這些操作、來自這些操作或者記錄這些操作（構(gòu)

件/數(shù)據(jù)）的信息。

?將相關(guān)的要素劃分為子域。

＞數(shù)據(jù)實(shí)體

根據(jù)需求設(shè)計(jì)數(shù)據(jù)實(shí)體。設(shè)計(jì)某個(gè)實(shí)體時(shí)，要充分考慮實(shí)體中需要存放哪

些屬性。這一過程也是以數(shù)據(jù)分析應(yīng)用需求為驅(qū)動(dòng)的。如：為了滿足對(duì)客戶的

基本信息的分析，需要使客戶這個(gè)實(shí)體有“姓名”，“性別”，“區(qū)域”等屬性

＞相互關(guān)系

描述了數(shù)據(jù)模型之間的主要交互，體現(xiàn)的是不同數(shù)據(jù)表之間的數(shù)據(jù)關(guān)系和

數(shù)據(jù)交互內(nèi)容。

1.1.2.4.2.探索性數(shù)據(jù)建模

(1)挖掘方案指定階段

/輸入：分析建模需求

/輸出：詳細(xì)需求文檔、數(shù)據(jù)挖掘方案

/提出分析建模需求：由業(yè)務(wù)人員提出分析建模需求，并匯報(bào)給項(xiàng)目負(fù)責(zé)

人。

,梳理維度：項(xiàng)目負(fù)責(zé)人收到需求后，組織相關(guān)人員進(jìn)行需求文檔的維度

梳理并整理為需求文檔和相迎的數(shù)據(jù)挖掘方案，提交給數(shù)據(jù)組。需求文檔

內(nèi)容包括有：ER圖、數(shù)據(jù)字典、業(yè)務(wù)規(guī)則、分析維度。

(2)實(shí)施階段

/輸入：詳細(xì)需求文檔、數(shù)據(jù)挖掘方案

/輸出：模型

/建立模型：數(shù)據(jù)組根據(jù)項(xiàng)目負(fù)責(zé)人提供的詳細(xì)需求文檔、數(shù)據(jù)挖掘方

案，建立模型。

(3)驗(yàn)證階段

/輸入：模型

/輸出：模型評(píng)估材料、確認(rèn)報(bào)告

/編寫模型評(píng)估材料：項(xiàng)目負(fù)責(zé)人根據(jù)數(shù)據(jù)組指定的模型編寫模型評(píng)估材

料，并提交給業(yè)務(wù)人員。

/評(píng)估模型：業(yè)務(wù)人員收到模型評(píng)估材料后，驗(yàn)證模型是否符合需求，并

填寫、完善模型評(píng)估材料，將評(píng)估材料反饋至項(xiàng)目負(fù)責(zé)人。

/確認(rèn)模型評(píng)估結(jié)果：項(xiàng)目負(fù)責(zé)人根據(jù)業(yè)務(wù)人員填寫的模型評(píng)估材料，確

認(rèn)模型評(píng)估結(jié)果，如結(jié)果符合需求，則編寫確認(rèn)報(bào)告；否則就從維度梳理

步驟開始，再次建立模型。

數(shù)據(jù)集市的數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)倉庫或大數(shù)據(jù)平臺(tái)的數(shù)據(jù)經(jīng)過處理轉(zhuǎn)換后形

成，直接支撐前端的應(yīng)用需求。數(shù)據(jù)集市區(qū)存儲(chǔ)的數(shù)據(jù)主要是主題分析數(shù)據(jù)。

數(shù)據(jù)計(jì)算組件提供分布式運(yùn)行引擎和協(xié)同計(jì)算功能，提供流計(jì)算、批量計(jì)

算、內(nèi)存計(jì)算等能力，滿足各類業(yè)務(wù)應(yīng)用不同時(shí)效性的數(shù)據(jù)計(jì)算需求。數(shù)據(jù)計(jì)

算放方面主要涉及的組件包括流計(jì)算組件、內(nèi)存計(jì)算組件、批量計(jì)算組件。

1.1.2.5.模型評(píng)估

1）會(huì)議準(zhǔn)備階段

/準(zhǔn)備評(píng)估材料：由項(xiàng)目負(fù)責(zé)人準(zhǔn)備，會(huì)議的材料應(yīng)該包括：需求文檔、

模型方案、模型。

,召集評(píng)估會(huì)人員：項(xiàng)目負(fù)責(zé)人準(zhǔn)備好評(píng)估材料后，發(fā)郵件通知與會(huì)人員

準(zhǔn)備參加評(píng)估會(huì)議，與會(huì)人員包括：需求提出者、項(xiàng)目負(fù)責(zé)人和數(shù)據(jù)組。

2）評(píng)估會(huì)議階段

評(píng)估會(huì)議：由需求提出者、項(xiàng)目負(fù)責(zé)人和數(shù)據(jù)組人員共同進(jìn)行，評(píng)估會(huì)議

記錄由項(xiàng)目負(fù)責(zé)人記錄，并產(chǎn)生評(píng)估報(bào)告；如果評(píng)估模型通過，則評(píng)估流程結(jié)

束，如果不通過，則數(shù)據(jù)組重新進(jìn)入模型開發(fā)流程。

1.1.2.6.數(shù)據(jù)中心庫建設(shè)

數(shù)據(jù)中心庫主要包含的是原始庫、基礎(chǔ)庫、模型庫、主題庫、專題庫。

原始庫是從各個(gè)業(yè)務(wù)系統(tǒng)、應(yīng)用系統(tǒng)等集成過來的元數(shù)據(jù)數(shù)據(jù)，沒有做任

何加工處理的數(shù)據(jù)庫。

基礎(chǔ)庫是基于原始庫之上的，通過數(shù)據(jù)質(zhì)量的校驗(yàn)，將數(shù)據(jù)質(zhì)量校驗(yàn)后沒

有問題的數(shù)據(jù)放入基礎(chǔ)庫中，保證我們?cè)跀?shù)據(jù)使用的時(shí)候有效性。

而主題庫和專題庫是根據(jù)業(yè)務(wù)有關(guān)的數(shù)據(jù)模型庫，根據(jù)業(yè)務(wù)的需要，將基

礎(chǔ)庫中的數(shù)據(jù)和對(duì)應(yīng)主題或者專題有關(guān)系的數(shù)據(jù)重新組裝定時(shí)寫入主題庫和專

題庫中。比如我們涉及到的輿情監(jiān)測，他是根據(jù)輿情監(jiān)測這個(gè)業(yè)務(wù)應(yīng)用的需

要，將基礎(chǔ)庫中和輿情監(jiān)測的相關(guān)數(shù)據(jù)寫入輿情監(jiān)測專題模型庫中，輿情監(jiān)測

業(yè)務(wù)應(yīng)用系統(tǒng)就可以直接使用該主題模型庫中的數(shù)據(jù)。因此主題庫和專題庫是

根據(jù)業(yè)務(wù)需要去創(chuàng)建的，可以有多個(gè)。

1.1.3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

1.1.3.1.概述

數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范提供系統(tǒng)工具支撐，包括標(biāo)準(zhǔn)管理、

標(biāo)準(zhǔn)展示、標(biāo)準(zhǔn)監(jiān)控三大功能。面向數(shù)據(jù)管理者提供標(biāo)準(zhǔn)發(fā)布、審批管理等功

能；面向數(shù)據(jù)維護(hù)者提供標(biāo)準(zhǔn)維護(hù)、稽核、版本管理等功能；面向數(shù)據(jù)提供者

和消費(fèi)者提供查詢、提取、核對(duì)及分析等功能，全面提供數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)能力。

同時(shí)，提供接口數(shù)據(jù)標(biāo)準(zhǔn)、維度數(shù)據(jù)標(biāo)準(zhǔn)、指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)的功能支撐。

1.1.3.2.主要功能

基于數(shù)據(jù)標(biāo)準(zhǔn)及規(guī)范的統(tǒng)籌內(nèi)容結(jié)合項(xiàng)目實(shí)際需求，數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

將實(shí)現(xiàn)的功能包括：數(shù)據(jù)標(biāo)準(zhǔn)采集、數(shù)據(jù)標(biāo)準(zhǔn)生命周期管理、數(shù)據(jù)標(biāo)準(zhǔn)查詢展

現(xiàn)、數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)控。

同時(shí)，數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)應(yīng)能與元數(shù)據(jù)管理子系統(tǒng)、數(shù)據(jù)質(zhì)量管理子系

統(tǒng)集成，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的管理、執(zhí)行和數(shù)據(jù)質(zhì)量檢測的全流程無縫對(duì)接。

1.1.3.2.1,數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)功能分析

(-)數(shù)據(jù)標(biāo)準(zhǔn)需求

提供數(shù)據(jù)標(biāo)準(zhǔn)需求流程支持，提供標(biāo)準(zhǔn)的查重功能。

(-)數(shù)據(jù)標(biāo)準(zhǔn)開發(fā)

提供數(shù)據(jù)標(biāo)準(zhǔn)開發(fā)功能，包括數(shù)據(jù)標(biāo)準(zhǔn)模型管理功能、數(shù)據(jù)標(biāo)準(zhǔn)模板導(dǎo)出

功能、數(shù)據(jù)標(biāo)準(zhǔn)制定過程日志記錄等。

（三）數(shù)據(jù)標(biāo)準(zhǔn)審批

提供數(shù)據(jù)標(biāo)準(zhǔn)制定、評(píng)審與發(fā)布流程；新增數(shù)據(jù)標(biāo)準(zhǔn)意見匯總、統(tǒng)計(jì)功

能。

（四）數(shù)據(jù)標(biāo)準(zhǔn)查詢與使用

提供新增數(shù)據(jù)標(biāo)準(zhǔn)全文搜索引擎功能；提供數(shù)據(jù)標(biāo)準(zhǔn)接口，供數(shù)據(jù)管理平

臺(tái)其他模塊調(diào)用；提供數(shù)據(jù)標(biāo)準(zhǔn)界面集成控件，可方便的查看對(duì)界面上的

數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)信息。

（五）數(shù)據(jù)標(biāo)準(zhǔn)落地

/新增數(shù)據(jù)標(biāo)準(zhǔn)落地探查功能

/新增數(shù)據(jù)標(biāo)準(zhǔn)檢核規(guī)則配置功能

/新增指標(biāo)庫管理功能

/新增數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行分析統(tǒng)計(jì)報(bào)告功能

1.1.3.2.2,數(shù)據(jù)標(biāo)準(zhǔn)采集功能

數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)須具備從外部導(dǎo)入數(shù)據(jù)標(biāo)準(zhǔn)的功能，支持以常規(guī)格式

存儲(chǔ)的外部數(shù)據(jù)標(biāo)準(zhǔn)文件，如txt、csv、xls（xlsx）、xml等，通過導(dǎo)入操作將

離線標(biāo)準(zhǔn)文件清洗轉(zhuǎn)換后存儲(chǔ)到系統(tǒng)中。

數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)同時(shí)制定外部標(biāo)準(zhǔn)的文件格式。

系統(tǒng)提供模板管理用于采集數(shù)據(jù)標(biāo)準(zhǔn)，支持txt、csv、xls（xlsx）、xml

等。各類模版適用于系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)入導(dǎo)出，系統(tǒng)中所有的數(shù)據(jù)標(biāo)準(zhǔn)都可以

在本模板中體現(xiàn)。

為技術(shù)人員維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)提供了輔助的技術(shù)手段。模板功能主要為自動(dòng)和

手動(dòng)導(dǎo)入元數(shù)據(jù)時(shí)使用，該功能主要提供技術(shù)人員導(dǎo)出需要導(dǎo)入元數(shù)據(jù)的數(shù)據(jù)

模板，方便提供導(dǎo)入數(shù)據(jù)的格式。

1.13.2.3.數(shù)據(jù)標(biāo)準(zhǔn)生命周期管理

數(shù)據(jù)標(biāo)準(zhǔn)生命周期包括創(chuàng)建/修訂、審批、生效、失效、銷毀等狀態(tài)，同

時(shí)，各狀態(tài)之間的流轉(zhuǎn)需具備審批功能，以及對(duì)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行版本管理，具備

版本恢復(fù)功能。

1.1.3.2.4.數(shù)據(jù)標(biāo)準(zhǔn)查詢展示

數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)支持對(duì)平臺(tái)所管理的所有標(biāo)準(zhǔn)進(jìn)行查詢、展現(xiàn)和導(dǎo)出

功能。

1.1.3.2.5,數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)控

對(duì)于生效的標(biāo)準(zhǔn)內(nèi)容，標(biāo)準(zhǔn)管理平臺(tái)需對(duì)生效標(biāo)準(zhǔn)的具體執(zhí)行情況進(jìn)行掃

描與監(jiān)控，并對(duì)標(biāo)準(zhǔn)違反行為進(jìn)行預(yù)警。

支持按指定時(shí)間周期、標(biāo)準(zhǔn)分類、標(biāo)準(zhǔn)維護(hù)人員等維度進(jìn)行結(jié)果統(tǒng)計(jì)。

1.1.4.數(shù)據(jù)集成子系統(tǒng)

1.1.4.1.概述

數(shù)據(jù)集成子系統(tǒng)將從輿情、動(dòng)態(tài)感知、0A系統(tǒng)等集成數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行

清洗與整合，按照數(shù)據(jù)中心建設(shè)標(biāo)準(zhǔn)的要求規(guī)范化數(shù)據(jù)形成核心數(shù)據(jù)庫。

1.1.4.2.主要功能

1.1.4.2.1,數(shù)據(jù)集成

1、數(shù)據(jù)聯(lián)邦功能設(shè)計(jì)

主要提供對(duì)各類數(shù)據(jù)資源的動(dòng)態(tài)接入。能夠?qū)崟r(shí)地訪問分布在市、區(qū)縣各部

門數(shù)據(jù)共享區(qū)內(nèi)不同的數(shù)據(jù)庫管理系統(tǒng)(如：Oracle,SQLServer,Sybase.

DB2,Informix等)，或者XML文件、文本文件、消息隊(duì)列、WebService等非結(jié)

構(gòu)化數(shù)據(jù)。數(shù)據(jù)聯(lián)邦功能將屏蔽由于操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)異構(gòu)性問題，為

數(shù)據(jù)采集提供統(tǒng)一訪問入口。

2、增量傳輸功能設(shè)計(jì)

增量傳輸功能提供高效數(shù)據(jù)傳輸方式，首先進(jìn)行增量比對(duì)和分離，支持任意

表之間、任意主鍵之間的數(shù)據(jù)比較。將交換數(shù)據(jù)區(qū)中存儲(chǔ)的最新數(shù)據(jù)與前次數(shù)據(jù)

進(jìn)行比對(duì)，把差異數(shù)據(jù)（增量變化）鑒別出來。支持源表與目標(biāo)表的數(shù)據(jù)同步,

增量數(shù)據(jù)被分離轉(zhuǎn)換進(jìn)入中心數(shù)據(jù)庫的同時(shí)又要被歸并到市交換數(shù)據(jù)庫的前次

提交數(shù)據(jù)中，為下一次的數(shù)據(jù)比對(duì)提供數(shù)據(jù)基礎(chǔ)。

3、數(shù)據(jù)校驗(yàn)與審核功能設(shè)計(jì)

數(shù)據(jù)校驗(yàn)與審核功能在數(shù)據(jù)集成加載到數(shù)據(jù)中心的交換數(shù)據(jù)庫前進(jìn)行校驗(yàn)

與審核。按照數(shù)據(jù)集成約定的數(shù)據(jù)格式、數(shù)據(jù)內(nèi)容進(jìn)行校驗(yàn)，對(duì)于不符合要求的

數(shù)據(jù)，輸出到錯(cuò)誤庫，并產(chǎn)生詳細(xì)的出錯(cuò)記錄，錯(cuò)誤數(shù)據(jù)和錯(cuò)誤日志將返還數(shù)據(jù)

提供方，供數(shù)據(jù)提供方分析修改數(shù)據(jù)輸出程序。對(duì)于數(shù)據(jù)質(zhì)量未達(dá)到校驗(yàn)最低標(biāo)

準(zhǔn)的，要求重新發(fā)送數(shù)據(jù)。

4、表單定義與錄入功能

對(duì)于沒有進(jìn)入數(shù)據(jù)庫的數(shù)據(jù)我們可能需要定義靈活的錄入界面，有專人負(fù)責(zé)

集成錄入，因此我們結(jié)合靈活的表單定義組件實(shí)現(xiàn)數(shù)據(jù)錄入界面的定義和錄入管

理。

1.1.4.2.2.數(shù)據(jù)轉(zhuǎn)換

實(shí)現(xiàn)對(duì)各種類型數(shù)據(jù)的訪問、過濾、清洗、轉(zhuǎn)換、加載等ETL過程，提供數(shù)

據(jù)庫數(shù)據(jù)抽取、轉(zhuǎn)換、裝載等功能。

基于數(shù)據(jù)庫的是數(shù)據(jù)交換是平臺(tái)的核心，負(fù)責(zé)解析數(shù)據(jù)集成模型定義、處理

請(qǐng)求、處理引擎自身的模型調(diào)度等。數(shù)據(jù)交換引擎可以滿足大規(guī)模數(shù)據(jù)的并發(fā)處

理，完成企業(yè)級(jí)的數(shù)據(jù)交換場景。

數(shù)據(jù)轉(zhuǎn)換組件庫包含了數(shù)據(jù)抽取組件集、數(shù)據(jù)裝載組件集、數(shù)據(jù)轉(zhuǎn)換組件集

以及用來傳輸二進(jìn)制數(shù)據(jù)的數(shù)據(jù)傳輸組件集。

1.1.4.2.3,數(shù)據(jù)交換節(jié)點(diǎn)管理

交換節(jié)點(diǎn)管理功能用來注冊(cè)管理各子交換子節(jié)點(diǎn)，及對(duì)整個(gè)交換平臺(tái)進(jìn)行統(tǒng)

一注冊(cè)管理。管理功能可以監(jiān)控注冊(cè)的交換節(jié)點(diǎn)的運(yùn)行狀態(tài)，可以進(jìn)行服務(wù)的部

署與控制。

1.1.4.2.4.數(shù)據(jù)交換管理調(diào)度

提供多類型交換作業(yè)的管理與調(diào)度功能。包括：

1）數(shù)據(jù)交換模型全生命周期管理與任務(wù)調(diào)度、監(jiān)控。

2）支持?jǐn)?shù)據(jù)處理作業(yè)自動(dòng)化。

3）數(shù)據(jù)交換引擎資源監(jiān)控與負(fù)載均衡。

4）數(shù)據(jù)采集子系統(tǒng)資源與權(quán)限管理。

5）提供二次開發(fā)API,與第三方系統(tǒng)集成。

1.1.4.2.5.子系統(tǒng)監(jiān)控

1）故障監(jiān)控

支持可視化服務(wù)器狀態(tài)監(jiān)控，及時(shí)了服務(wù)器的運(yùn)行狀況（啟動(dòng)/異常等）。

支持資源預(yù)警，提供圖形化方式實(shí)時(shí)跟蹤服務(wù)器CPU、內(nèi)存、磁盤空間等

狀態(tài)變化，設(shè)置服務(wù)器資源閥值，實(shí)時(shí)告警通知。

2）應(yīng)用監(jiān)控

?監(jiān)控應(yīng)用系統(tǒng)

能夠滿足對(duì)服務(wù)集成子系統(tǒng)上的應(yīng)用系統(tǒng)的監(jiān)控。

能夠通過頁面展示出集成在數(shù)據(jù)集成子系統(tǒng)上的應(yīng)用系統(tǒng)的調(diào)用情況與詳

細(xì)信息。

能夠滿足對(duì)數(shù)據(jù)集成子系統(tǒng)所集成的應(yīng)用系統(tǒng)的監(jiān)控，及相關(guān)應(yīng)用的物理

節(jié)點(diǎn)監(jiān)控。統(tǒng)一監(jiān)控及管理可用于各種規(guī)模的復(fù)雜的基礎(chǔ)設(shè)施，可以自動(dòng)發(fā)

現(xiàn)、整合、管理和監(jiān)控多種軟、硬件設(shè)備。

3）平臺(tái)資源監(jiān)控

監(jiān)控平臺(tái)除了提供故障監(jiān)控，還提供平臺(tái)資源使用情況監(jiān)控，可以直觀的

了解系統(tǒng)資源使用情況。

性能監(jiān)控與管理

監(jiān)控平臺(tái)對(duì)平臺(tái)等數(shù)據(jù)抽取作業(yè)、接口等提供完善的性能監(jiān)控管理，可以

及時(shí)發(fā)現(xiàn)性能問題。

數(shù)據(jù)抽取作業(yè)監(jiān)控

數(shù)據(jù)集成子系統(tǒng)提供節(jié)點(diǎn)監(jiān)控、交換流程監(jiān)控、中間件監(jiān)控與日志管理、

多方式的故障告警等透明性監(jiān)控管理功能。通過動(dòng)態(tài)配置管理，加強(qiáng)了數(shù)據(jù)傳

輸?shù)陌踩?、一致性，提高了系統(tǒng)的易用性、可維護(hù)性和可擴(kuò)展性，實(shí)現(xiàn)了快

速應(yīng)用集成能力。

任務(wù)監(jiān)控

借助數(shù)據(jù)集成子系統(tǒng)的任務(wù)監(jiān)控調(diào)度功能，可實(shí)現(xiàn)作業(yè)自動(dòng)化，無需人工

參與就可完成數(shù)據(jù)融合操作。調(diào)度監(jiān)控應(yīng)實(shí)現(xiàn)如下功能：

全局性監(jiān)控

全局的作業(yè)運(yùn)行監(jiān)控服務(wù)，有效提高數(shù)據(jù)管理水平；

靈活的作業(yè)狀態(tài)日志查詢，支持作業(yè)批次的，詳細(xì)日志的查詢，全局查看

作業(yè)文件日志或執(zhí)行腳本；

簡單靈活的作業(yè)流水分析與監(jiān)控，快速定位問題。

可視化監(jiān)控

支持可視化的多角度作業(yè)運(yùn)行監(jiān)控，包括總覽全局的總體監(jiān)控和明細(xì)型的

計(jì)劃監(jiān)控以及事件監(jiān)控；

支持可視化服務(wù)器狀態(tài)監(jiān)控，及時(shí)了服務(wù)器的運(yùn)行狀況（啟動(dòng)/異常等）；

支持資源預(yù)警，提供圖形化方式實(shí)時(shí)跟蹤服務(wù)器CPU、內(nèi)存、磁盤空間等

狀態(tài)變化，設(shè)置服務(wù)器資源閥值，實(shí)時(shí)告警通知。

節(jié)點(diǎn)監(jiān)控

監(jiān)控節(jié)點(diǎn)的系統(tǒng)資源:CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤、狀態(tài)。

CPU利用率：節(jié)點(diǎn)所在服務(wù)器當(dāng)前CPU利用率；

內(nèi)存使用情況：節(jié)點(diǎn)所在服務(wù)器當(dāng)前內(nèi)存使用情況；

網(wǎng)絡(luò)利用率：節(jié)點(diǎn)所在服務(wù)器網(wǎng)絡(luò)利用率；

硬盤使用情況：節(jié)點(diǎn)安裝在的磁盤（邏輯盤）的使用情況；

節(jié)點(diǎn)的狀態(tài)：如某節(jié)點(diǎn)是否連通等。

交換流程監(jiān)控

可監(jiān)控交換流程的狀態(tài)，是否啟動(dòng)、停止、重新啟動(dòng)等。

數(shù)據(jù)質(zhì)量作業(yè)監(jiān)控

作業(yè)調(diào)度監(jiān)控平臺(tái)可以再一個(gè)平臺(tái)中集中監(jiān)控多種數(shù)據(jù)平臺(tái)的作業(yè)任務(wù)，

包括數(shù)據(jù)抽取、數(shù)據(jù)建模、數(shù)據(jù)分析與報(bào)表、數(shù)據(jù)質(zhì)量檢核任務(wù)。支持對(duì)這些

數(shù)據(jù)作業(yè)的作業(yè)流編排、監(jiān)控作業(yè)執(zhí)行過程及結(jié)果監(jiān)控、可以圖形化監(jiān)控每個(gè)

作業(yè)執(zhí)行狀態(tài)，每個(gè)節(jié)點(diǎn)的資源使用情況，以及配置相關(guān)閾值，觸發(fā)時(shí)可以向

管理員發(fā)送郵件告警等功能。

1.1.5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

1.1.5.1.概述

數(shù)據(jù)質(zhì)量管理子系統(tǒng)提供對(duì)數(shù)據(jù)的質(zhì)量監(jiān)控，發(fā)現(xiàn)并報(bào)告問題數(shù)據(jù)，提高

數(shù)據(jù)準(zhǔn)確性和標(biāo)準(zhǔn)化。

數(shù)據(jù)質(zhì)量管理子系統(tǒng)通過對(duì)度量規(guī)則管理、檢驗(yàn)任務(wù)管理、質(zhì)量問題處

理、質(zhì)量評(píng)估等功能。在數(shù)據(jù)共享交換、運(yùn)營和應(yīng)用的整個(gè)過程，對(duì)數(shù)據(jù)質(zhì)量

進(jìn)行管理和控制。

1.1.5.2.主要功能

實(shí)現(xiàn)數(shù)據(jù)治理平臺(tái)的需求，需要通過數(shù)據(jù)治理工具，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理，

數(shù)據(jù)質(zhì)量規(guī)則管理、數(shù)據(jù)質(zhì)量檢測和數(shù)據(jù)質(zhì)量管理評(píng)估等功能。

1）數(shù)據(jù)質(zhì)量規(guī)則管理

數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量指標(biāo)在不同信息項(xiàng)上的落地實(shí)施，也是數(shù)據(jù)質(zhì)量

檢測任務(wù)執(zhí)行的主體。支持?jǐn)?shù)據(jù)質(zhì)量規(guī)則的定義、執(zhí)行、結(jié)果反饋管理。支持

通過SQL命令、配置等形式生成數(shù)據(jù)質(zhì)量規(guī)則，創(chuàng)建方式包括前臺(tái)手工操作和

批量導(dǎo)入。

根據(jù)數(shù)據(jù)質(zhì)量指標(biāo)中不同的信息項(xiàng)定義出不同的數(shù)據(jù)質(zhì)量規(guī)則，每一個(gè)數(shù)

據(jù)質(zhì)量規(guī)則根據(jù)其檢核對(duì)象定義各自的檢核腳本以及相關(guān)的屬性信息。

數(shù)據(jù)質(zhì)量規(guī)則中的檢核腳本就是數(shù)據(jù)質(zhì)量管理模塊執(zhí)行檢核操作時(shí)所實(shí)際

執(zhí)行的腳本，它反映了質(zhì)量問題的檢核邏輯，根據(jù)檢核類別的不同，其復(fù)雜度

也不同。

為了方便檢核腳本的定義，數(shù)據(jù)質(zhì)量管理模塊提供腳本配置模板，配置腳

本配置模板后，便可批量生成數(shù)據(jù)質(zhì)量規(guī)則各自的檢核腳本。

對(duì)于腳本配置模板，系統(tǒng)需提供相應(yīng)的界面，在頁面上導(dǎo)入模板后便可由

系統(tǒng)自動(dòng)生成檢核方法，然后系統(tǒng)會(huì)校驗(yàn)這些數(shù)據(jù)質(zhì)量規(guī)則配置的正確性，對(duì)

于配置錯(cuò)誤的腳本會(huì)予以標(biāo)識(shí)，并可在界面中查詢錯(cuò)誤信息。

2）數(shù)據(jù)質(zhì)量檢測

數(shù)據(jù)質(zhì)量檢測可根據(jù)數(shù)據(jù)質(zhì)量規(guī)則進(jìn)行定量檢測，如時(shí)間維或其他關(guān)鍵屬

性等，并支持自動(dòng)將數(shù)據(jù)質(zhì)量分析結(jié)果形成分析報(bào)告。數(shù)據(jù)質(zhì)量檢測方式分為

自動(dòng)檢測和手動(dòng)檢測，同時(shí)檢測結(jié)果可通過短信、郵件方式通知給相應(yīng)責(zé)任

人。

數(shù)據(jù)質(zhì)量檢測是數(shù)據(jù)質(zhì)量子系統(tǒng)的核心，通過執(zhí)行數(shù)據(jù)質(zhì)量規(guī)則，生成相

應(yīng)的檢核結(jié)果，檢核結(jié)果能夠反映出用戶所關(guān)心的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量檢

測任務(wù)可根據(jù)業(yè)務(wù)需求配置單個(gè)或多個(gè)數(shù)據(jù)質(zhì)量規(guī)則，數(shù)據(jù)質(zhì)量檢測任務(wù)在運(yùn)

行時(shí)系統(tǒng)會(huì)自動(dòng)分析并形成最優(yōu)的并發(fā)檢測策略，提升檢測效率。

3）數(shù)據(jù)質(zhì)量報(bào)告分析

數(shù)據(jù)質(zhì)量報(bào)告提供了一個(gè)集中展示平臺(tái)數(shù)據(jù)質(zhì)量狀況的窗口，數(shù)據(jù)質(zhì)量管

理人員召集相關(guān)人員對(duì)數(shù)據(jù)質(zhì)量報(bào)告進(jìn)行分析討論，以總結(jié)經(jīng)驗(yàn)、沉淀知識(shí)和

改進(jìn)方法，不斷提高各數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量問題的處理能力。

數(shù)據(jù)質(zhì)量報(bào)告支持圖形化展現(xiàn)，并可支持鉆取到明細(xì)頁面，打通鏈路，支

持實(shí)時(shí)導(dǎo)出即見即所得。

數(shù)據(jù)質(zhì)量報(bào)告支持?jǐn)?shù)據(jù)質(zhì)量的趨勢分析，在趨勢分析中，用戶可選擇輸出

一段時(shí)間內(nèi)的同一個(gè)數(shù)據(jù)質(zhì)量規(guī)則所檢核出的問題數(shù)據(jù)量的變化趨勢圖，以更

直觀的方式查看數(shù)據(jù)質(zhì)量問題的變化以及對(duì)質(zhì)量問題的治理結(jié)果。

通過對(duì)數(shù)據(jù)質(zhì)量模塊需求進(jìn)行理解，產(chǎn)生相應(yīng)的功能；在這里進(jìn)一步對(duì)需

求對(duì)進(jìn)行分析，以達(dá)到對(duì)需求的更好理解。

1.1.6.元數(shù)據(jù)管理子系統(tǒng)

1.1.6.1.概述

建設(shè)元數(shù)據(jù)管理子系統(tǒng)便于管理數(shù)據(jù)庫的數(shù)據(jù)模型，以及模型間的關(guān)聯(lián)關(guān)

系，并以圖形方式展示所有數(shù)據(jù)庫表結(jié)構(gòu)及關(guān)系，提供元數(shù)據(jù)血緣分析、影響

分析功能，為大數(shù)據(jù)平臺(tái)平臺(tái)建設(shè)提供支持。為后續(xù)系統(tǒng)開發(fā)和維護(hù)提供數(shù)據(jù)

模型指導(dǎo)，規(guī)范化數(shù)據(jù)模型的變更。

實(shí)現(xiàn)元數(shù)據(jù)管理的需求，需要通過元數(shù)據(jù)管理工具，對(duì)數(shù)據(jù)資源進(jìn)行采

集，存儲(chǔ)，分析，實(shí)現(xiàn)數(shù)據(jù)的管理功能。

1.1.6.2.主要功能

元數(shù)據(jù)管理實(shí)現(xiàn)的主要功能點(diǎn)如下：

（一）元數(shù)據(jù)采集

元數(shù)據(jù)管理提供統(tǒng)一的數(shù)據(jù)源管理功能，該功能中針對(duì)不同類型的元數(shù)

據(jù)，提供不同的適配器，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)

據(jù)模型、業(yè)務(wù)應(yīng)用、指標(biāo)等數(shù)據(jù)資源進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)元數(shù)據(jù)的手動(dòng)和自動(dòng)

獲取。

（二）元數(shù)據(jù)分析

元數(shù)據(jù)管理支持對(duì)采集來的元數(shù)據(jù)進(jìn)行血緣分析、影響分析、表的關(guān)聯(lián)程

度分析、數(shù)據(jù)差異分析等元數(shù)據(jù)分析功能，滿足對(duì)政府公共數(shù)據(jù)的管理需要，

并提供數(shù)據(jù)的全景地圖，用于展現(xiàn)數(shù)據(jù)全貌，為更有效的利用和挖掘信息資產(chǎn)

提供技術(shù)支撐。

（三）元數(shù)據(jù)檢索

提供查詢檢索功能，用戶能夠通過輸入關(guān)鍵字，精確查詢或者模糊匹配到

相應(yīng)的，有權(quán)限查看的元數(shù)據(jù)，從而了解到自己所屬部門能調(diào)用哪些元數(shù)據(jù)。

（四）元數(shù)據(jù)版本管理

針對(duì)數(shù)據(jù)可能發(fā)生的變更，版本管理是對(duì)元數(shù)據(jù)的變更過程進(jìn)行版本快照保

存，平臺(tái)支持單一元數(shù)據(jù)的版本管理、批量元數(shù)據(jù)的版本管理、版本差異分析等

功能。

（五）數(shù)據(jù)地圖

數(shù)據(jù)地圖是基于底層數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，繪制更高層數(shù)據(jù)之間的脈絡(luò)關(guān)系

圖，從宏觀角度展示數(shù)據(jù)中心各系統(tǒng)、各層次之間的關(guān)系，并支持從系統(tǒng)、數(shù)據(jù)

庫、表間關(guān)系和字段級(jí)關(guān)系的數(shù)據(jù)的下鉆、關(guān)聯(lián)和詳細(xì)信息的展示，有助于用戶

從不同粒度了解元數(shù)據(jù)之間相互關(guān)聯(lián)的情況，從而對(duì)數(shù)據(jù)中心數(shù)據(jù)流向關(guān)系進(jìn)行

全面、多層次的展示。

（六）分析功能

1.影響分析

影響分析采用圖形方式展示了以某個(gè)元數(shù)據(jù)為起始節(jié)點(diǎn)，其后與其有關(guān)系的

所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的流向與加工過程，使用影響分析可分析數(shù)據(jù)流向和數(shù)據(jù)

轉(zhuǎn)換中錯(cuò)誤的定位。

影響分析包括以下內(nèi)容：

?如何運(yùn)行影響分析

?瀏覽分析結(jié)果圖

?分析結(jié)果圖形化操作

2.血緣分析

血緣分析采用圖形方式展示了以某個(gè)元數(shù)據(jù)為終止節(jié)點(diǎn)，其前與其有關(guān)系的

所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的來源與加工過程，使用血緣分析可分析數(shù)據(jù)來源和數(shù)據(jù)

質(zhì)量問題的定位。

3.全鏈分析

全鏈分析采用圖形方式展示了以某個(gè)元數(shù)據(jù)為目標(biāo)節(jié)點(diǎn)，其前后與其有關(guān)

系的所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的來源與加工過程，使用全鏈分析可分析數(shù)據(jù)來源

和數(shù)據(jù)質(zhì)量問題的定位。

1.1.7.數(shù)據(jù)共享發(fā)布子系統(tǒng)

1.1.7.1.概述

數(shù)據(jù)發(fā)布平臺(tái)指在將中心數(shù)據(jù)以服務(wù)的方式發(fā)布，包含服務(wù)封裝管理、服

務(wù)管理、服務(wù)監(jiān)控、服務(wù)構(gòu)建、查詢檢索、服務(wù)發(fā)布接口管理。

1.1.7.2.主要功能

1.1.7.2.1,服務(wù)封裝管理

服務(wù)封裝管理指通過技術(shù)手段快速的將數(shù)據(jù)庫中的數(shù)據(jù)以WebService的方

式發(fā)布成服務(wù)。要求提供統(tǒng)一的基于SOA服務(wù)體系構(gòu)建的服務(wù)平臺(tái)；為平臺(tái)中

的共享信息資源提供統(tǒng)一的服務(wù)支撐環(huán)境；各業(yè)務(wù)部門內(nèi)部應(yīng)用系統(tǒng)、跨部門

業(yè)務(wù)系統(tǒng)中封裝的服務(wù)，都可以基于這個(gè)統(tǒng)一服務(wù)支撐平臺(tái)進(jìn)行管理和展現(xiàn)；

新的業(yè)務(wù)應(yīng)用可以利用服務(wù)支撐平臺(tái)自身和其他部門注冊(cè)的標(biāo)準(zhǔn)化服務(wù)進(jìn)行構(gòu)

建。

1.1.7.2.2.服務(wù)管理

實(shí)現(xiàn)對(duì)服務(wù)全生命周期的管理包括服務(wù)注冊(cè)、服務(wù)配置、服務(wù)發(fā)布、服務(wù)

注銷、服務(wù)查找。

在安全層面，要求支持白名單、IP攔截、訪問追溯，傳輸?shù)南⒘鬟M(jìn)行加

解密的功能，以確保通訊安全，具備對(duì)不同服務(wù)的加解密算法進(jìn)行靈活配置的

功能

1.1.7.2.3,服務(wù)監(jiān)控

以圖形以及表格的方式對(duì)服務(wù)運(yùn)行狀況的監(jiān)控，并通過可視化方式對(duì)服務(wù)

進(jìn)行調(diào)度設(shè)置，支持對(duì)平臺(tái)運(yùn)行進(jìn)行準(zhǔn)實(shí)時(shí)監(jiān)控，并具備對(duì)服務(wù)的運(yùn)行質(zhì)量進(jìn)監(jiān)

控和運(yùn)行日志圖表化統(tǒng)計(jì)分析。

1.1.7.2.4.服務(wù)構(gòu)建

提供可視化的服務(wù)構(gòu)建工具，能夠方便的進(jìn)行服務(wù)的構(gòu)建；要求提供多種

可視化的實(shí)現(xiàn)方式，方便用戶維護(hù)和設(shè)計(jì)服務(wù)模型、服務(wù)綁定以及服務(wù)組裝；

要求支持對(duì)服務(wù)調(diào)用過程的Debug調(diào)試，可單步跟蹤服務(wù)的調(diào)用過程，可現(xiàn)實(shí)

每步的報(bào)文變化情況，并記錄報(bào)文流經(jīng)的處理節(jié)點(diǎn)。

提供基于WebService的服務(wù)接口，便于各業(yè)務(wù)部門業(yè)務(wù)應(yīng)用系統(tǒng)直接調(diào)用

服務(wù)；

提供服務(wù)集成功能，能夠?qū)崿F(xiàn)各業(yè)務(wù)部門異構(gòu)的應(yīng)用系統(tǒng)的業(yè)務(wù)流程的集

成、多應(yīng)用系統(tǒng)間的應(yīng)用集成、以及數(shù)據(jù)（信息）集成。

1.1.7.2.5.查詢檢索

提供查詢檢索功能，用戶能夠通過輸入關(guān)鍵字查詢到相應(yīng)的信息資源。

提供目錄導(dǎo)航功能，方便用戶通過導(dǎo)航快速定位到目標(biāo)資源。

提供對(duì)查詢結(jié)果的下載功能，支持Excel、CVS、PDF等多種文件格式的下

載。

1.1.8.數(shù)據(jù)資源目錄管理子系統(tǒng)

1.1.8.1.系統(tǒng)概述

數(shù)據(jù)資源目錄管理子系統(tǒng)主要是對(duì)數(shù)據(jù)中心所有的資源進(jìn)行編目管理,提供

目錄管理、資源項(xiàng)管理、元數(shù)據(jù)管理、系統(tǒng)管理等功能。針對(duì)各個(gè)模塊的功能，

實(shí)現(xiàn)在數(shù)據(jù)資源目錄管理子系統(tǒng)中完成對(duì)所有數(shù)據(jù)項(xiàng)的全生命周期管理。

1.1.8.2.功能設(shè)計(jì)

數(shù)據(jù)資源目錄管理系統(tǒng)涉及的功能模塊如下圖所示：

數(shù)據(jù)資源目錄管理子系統(tǒng)

目錄管理數(shù)據(jù)瀏覽

額

數(shù)

據(jù)

據(jù)

查

瀏

詢

覽

1.1.8.3.詳細(xì)設(shè)計(jì)

1.1.8.3.1.目錄管理

數(shù)據(jù)資源目錄管理主要是對(duì)本次項(xiàng)目中所有的資源目錄進(jìn)行管理，包含目錄

的編制、目錄的發(fā)布、目錄的查詢等功能。

1、目錄編制

完成資源目錄的分類，如網(wǎng)信政務(wù)外網(wǎng)數(shù)據(jù)目錄、政務(wù)內(nèi)網(wǎng)數(shù)據(jù)目錄、403

網(wǎng)絡(luò)數(shù)據(jù)目錄、網(wǎng)信加密網(wǎng)數(shù)據(jù)目錄、互聯(lián)網(wǎng)數(shù)據(jù)目錄等。每個(gè)目錄設(shè)定的編碼

是唯一且不可修改的，只能對(duì)名字、排序號(hào)等進(jìn)行修改。

2、目錄發(fā)布

針對(duì)已經(jīng)編制好的目錄，錄入到系統(tǒng)中，并完成正式目錄發(fā)布；針對(duì)后期添

加以及維護(hù)的目錄,原始狀態(tài)為未發(fā)布狀態(tài),待確認(rèn)后，統(tǒng)一完成目錄發(fā)布操作。

3、目錄查詢

針對(duì)系統(tǒng)中已經(jīng)存在的目錄，可根據(jù)關(guān)鍵詞快速檢索已經(jīng)存在的目錄。

1.1.8.3.2.資源項(xiàng)管理

資源項(xiàng)管理是大數(shù)據(jù)平臺(tái)中比較重要的一個(gè)模塊，資源項(xiàng)是指各目錄下的具

體資源內(nèi)容，如網(wǎng)信政務(wù)外網(wǎng)目錄下的部門信息，它是數(shù)據(jù)的最小單