多源異構(gòu)數(shù)據(jù)綜合服務(wù)平臺

多源異構(gòu)數(shù)據(jù)綜合服務(wù)平臺

1.1.1.平臺定位與架構(gòu)

1.1.1.1.平臺定位

大數(shù)據(jù)平臺的定位旨在解決將互聯(lián)網(wǎng)信息綜合管理系統(tǒng)、網(wǎng)絡(luò)安全綜合管

理系統(tǒng)、辦公管理綜合應(yīng)用系統(tǒng)、指揮調(diào)度系統(tǒng)等匯聚到平臺中，并且通過匯

聚的數(shù)據(jù)進行數(shù)據(jù)整合處理，在通過業(yè)務(wù)的實際應(yīng)用，建設(shè)主題庫、專題庫。

以及最后通過共享交換子系統(tǒng)將數(shù)據(jù)以標準的接口方式發(fā)布。

因此大數(shù)據(jù)平臺是一個承上啟下的平臺，緊密貼合用戶實際的業(yè)務(wù)需求開

展具體數(shù)據(jù)的匯聚、整合、管理及應(yīng)用。

1.1.1.2.平臺架構(gòu)

多源異構(gòu)數(shù)據(jù)綜合服務(wù)平臺，主要是承上啟下的作用，也就是注重DAAS、

PAAS層面的子系統(tǒng)建設(shè)。

IAAS層主要由云主機房統(tǒng)一建設(shè)，包含了服務(wù)器資源的總體管理與分配。

DAAS層主要包含了三部分內(nèi)容，一是集成非結(jié)構(gòu)化數(shù)據(jù)的存儲、二是各

第三方軟件平臺安裝的操作數(shù)據(jù)庫，三是由集成平臺獲取的數(shù)據(jù)集成到平臺的

數(shù)據(jù)中心庫，根據(jù)集成的數(shù)據(jù)內(nèi)容，分為基礎(chǔ)庫、模型庫、主題庫、專題庫。

PAAS層主要是對大數(shù)據(jù)平臺中的各個子系統(tǒng)的總體管理，包含了數(shù)據(jù)標

準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)共享交換、數(shù)據(jù)資源目錄管理。從

數(shù)據(jù)的標準到數(shù)據(jù)的發(fā)布統(tǒng)一進行管理。

SAAS層主要是基于我們集成后的數(shù)據(jù)提供上層應(yīng)用支撐，包含輿情監(jiān)測

等業(yè)務(wù)應(yīng)用。

1.1.1.3.數(shù)據(jù)流向

數(shù)據(jù)流向是從數(shù)據(jù)源端到應(yīng)用端之間數(shù)據(jù)產(chǎn)生了如何使用的完整路線?？?/p>

以清晰的體現(xiàn)數(shù)據(jù)的脈絡(luò)，對數(shù)據(jù)做全生命周期管理。

1.1.1.4.設(shè)備配置

序號項目名稱參數(shù)數(shù)量單位備注

*、計算服務(wù)

1數(shù)據(jù)集成平臺服務(wù)器8核/32G內(nèi)存/500G存儲2ZA集群

2數(shù)據(jù)標準子系統(tǒng)服務(wù)器4核/8G內(nèi)存/500G存儲1公

3數(shù)據(jù)質(zhì)量管理子系統(tǒng)服務(wù)器4核/16G內(nèi)存/500G存儲1臺

4元數(shù)據(jù)分析子系統(tǒng)服務(wù)器4核/16G內(nèi)存/500G存儲1臺

5服務(wù)集成子系統(tǒng)服務(wù)器8核/32G內(nèi)存/500G存儲2臺集群

6資源目錄管理子系統(tǒng)服務(wù)器8核/32G內(nèi)存/500G存儲1臺

二、數(shù)據(jù)庫服務(wù)

數(shù)據(jù)中心數(shù)據(jù)庫（元數(shù)據(jù)、

數(shù)據(jù)質(zhì)量、數(shù)據(jù)標準、服務(wù)

18核/32G內(nèi)存/1T存儲2臺集群

集成、資源目錄管理應(yīng)用數(shù)

據(jù)庫）

數(shù)據(jù)中心數(shù)據(jù)庫（基礎(chǔ)庫、

18核/32G內(nèi)存/1T存儲2臺集群

模型庫、主題庫、專題庫）

三、存儲服務(wù)

1文檔存儲(OSS)2.5T存儲

1.1.2.數(shù)據(jù)中心建模

依據(jù)數(shù)據(jù)梳理階段確定的標準和模型，根據(jù)業(yè)務(wù)需求，設(shè)計數(shù)據(jù)中心模

型。數(shù)據(jù)中心模型包括且不限于：內(nèi)部網(wǎng)信數(shù)據(jù)、網(wǎng)站數(shù)據(jù)、社交媒體數(shù)據(jù)、

微信公眾號數(shù)據(jù)、境外數(shù)據(jù)等。

1.1.2.1.數(shù)據(jù)模型概念

數(shù)據(jù)模型是指用實體、屬性及其關(guān)系對企業(yè)運營和管理過程中涉及的所有

業(yè)務(wù)概念和邏輯規(guī)則進行統(tǒng)一定義、命名和編碼。數(shù)據(jù)模型是業(yè)務(wù)人員、IT人

員和開發(fā)商之間進行溝通的一套語言。數(shù)據(jù)模型分為概念數(shù)據(jù)模型、邏輯數(shù)據(jù)

模型和物理數(shù)據(jù)模型：

概念數(shù)據(jù)模型是一種高層次的數(shù)據(jù)模型，定義了重要的業(yè)務(wù)事務(wù)及其關(guān)

系，它主要由核心的數(shù)據(jù)主題或其集合，以及主題間的業(yè)務(wù)關(guān)系組成。例如：

傳輸網(wǎng)管主題域由網(wǎng)元基本信息、端口信息等多個主題構(gòu)成。

邏輯數(shù)據(jù)模型是對概念數(shù)據(jù)模型的進一步分解和細化，描述了實體、屬性

以及實體之間的關(guān)系，它使用通用的字符類型與長度來描述每個屬性。例如：

客戶的基本信息包括客戶姓名、地址、出生日期等屬性，客戶姓名為字符類

型，長度為30。

物理數(shù)據(jù)模型描述了模型實體的細節(jié)并對數(shù)據(jù)冗余與性能進行平衡，在設(shè)

計的時候需要考慮所用數(shù)據(jù)庫產(chǎn)品所對應(yīng)的數(shù)據(jù)類型、長度、索引等具體因

素，在設(shè)計物理數(shù)據(jù)模型的時候必須先確定數(shù)據(jù)庫平臺和應(yīng)用架構(gòu)。例如：在

客戶姓名以Varchar2(30)存儲在數(shù)據(jù)庫，且建立索引用于加速檢索。

概念模型更關(guān)注業(yè)務(wù)相關(guān)的核心問題，邏輯模型主要描述業(yè)務(wù)問題的各個

細節(jié)，而物理模型則側(cè)重表達數(shù)據(jù)的技術(shù)細節(jié)。

1.1.2.2.數(shù)據(jù)建模流程

數(shù)據(jù)建模一般應(yīng)遵循以下流程：

一般來說，在進行系統(tǒng)設(shè)計與開發(fā)之前，各個業(yè)務(wù)部門人員應(yīng)該就核心的

業(yè)務(wù)概念及其關(guān)系（即概念模型）已經(jīng)達成一致；系統(tǒng)設(shè)計時，技術(shù)人員與業(yè)

務(wù)人員一起，直接進行邏輯模型的設(shè)計，而不會再單獨設(shè)計概念模型；邏輯模

型設(shè)計完成之后，再根據(jù)所選的數(shù)據(jù)庫產(chǎn)品及其它因素，進行物理模型的設(shè)

計。

1.1.2.3.傳統(tǒng)數(shù)據(jù)中心的模型設(shè)計思路

針對傳統(tǒng)的數(shù)據(jù)中心而言，數(shù)據(jù)建模工作是一件復(fù)雜而長期進行的工作，

從總方針上講，應(yīng)該按照以下路線來完成業(yè)務(wù)數(shù)據(jù)的建模：

1）首先，統(tǒng)一建立企業(yè)級概念模型；

2）然后，在企業(yè)級概念模型的基礎(chǔ)上，逐步細化建立企業(yè)級邏輯模型；

3）此后，以企業(yè)級邏輯模型為指導(dǎo)模版設(shè)計邏輯數(shù)據(jù)模型；

4）最后，在確認數(shù)據(jù)庫產(chǎn)品選型后，即可產(chǎn)生物理數(shù)據(jù)模型（針對模型建

立的步驟）。

（一）概念數(shù)據(jù)模型設(shè)計

概念數(shù)據(jù)模型設(shè)計目標

企業(yè)級概念數(shù)據(jù)建模的目標在于識別企業(yè)運營業(yè)務(wù)主要數(shù)據(jù)主題并根據(jù)各

個數(shù)據(jù)主題間的邏輯關(guān)系劃分其所屬數(shù)據(jù)主題域。

數(shù)據(jù)主題域集中反映了某方面的業(yè)務(wù)內(nèi)容，通常是同類或關(guān)聯(lián)關(guān)系較為緊

密的數(shù)據(jù)主題的集合。數(shù)據(jù)主題是任何可以區(qū)分的人、地點、事情、事件或概

念，信息圍繞它來保存。數(shù)據(jù)主題域是數(shù)據(jù)中心主題建模的基礎(chǔ)，通過細化數(shù)

據(jù)主題域即可建立統(tǒng)一的數(shù)據(jù)中心模型。

同樣，數(shù)據(jù)主題分類可以幫助數(shù)據(jù)平臺開發(fā)人員歸納出各業(yè)務(wù)系統(tǒng)之間需

要共享的業(yè)務(wù)數(shù)據(jù)，并幫助企業(yè)建立統(tǒng)一的業(yè)務(wù)系統(tǒng)間共享數(shù)據(jù)模型。

概念數(shù)據(jù)模型設(shè)計方法

數(shù)據(jù)分類工作包括以下幾個步驟：

數(shù)據(jù)主題梳理

通過仔細分析數(shù)據(jù)中心各類業(yè)務(wù)系統(tǒng)詳細說明，從中梳理出業(yè)務(wù)所產(chǎn)生和

需要的主要數(shù)據(jù)并形成數(shù)據(jù)主題清單，這些數(shù)據(jù)主要包括主數(shù)據(jù)和事物數(shù)據(jù)兩

部分。

數(shù)據(jù)主題域設(shè)計

根據(jù)分析整理得到的數(shù)據(jù)主題清單，并結(jié)合這些數(shù)據(jù)的特點和具體業(yè)務(wù)關(guān)

注點即可歸納抽像出數(shù)據(jù)主題域。主題域集中反映了主題相關(guān)的所有業(yè)務(wù)內(nèi)

容，通常是同類或關(guān)聯(lián)關(guān)系較為緊密的數(shù)據(jù)實體集合。

（二）邏輯數(shù)據(jù)模型設(shè)計

邏輯數(shù)據(jù)模型是對概念數(shù)據(jù)模型的細化，是以主題及主題域來表現(xiàn)主要業(yè)

務(wù)數(shù)據(jù)范圍，通過對主題的細化形成了實體、實體與實體之間的聯(lián)系。

由于模型的設(shè)計，最終目標是整合數(shù)據(jù)并對數(shù)據(jù)分析提供數(shù)據(jù)源，所以這

個細化過程一定是以數(shù)據(jù)分析應(yīng)用需求為驅(qū)動的。它包括兩個層面的含義：

將概念數(shù)據(jù)模型中所有主題細化展開成實體，并找到實體和實體之間的聯(lián)

系是非常耗時的工作。需要以數(shù)據(jù)分析應(yīng)用需求為驅(qū)動，決定哪些主題先展開

細化，而且某個主題的細化過程也是反復(fù)的，不斷完善的。

在設(shè)計某個實體時，實體中需要存放哪些屬性。這一過程也是以數(shù)據(jù)分析

應(yīng)用需求為驅(qū)動的。如：為了滿足對客戶的基本信息的分析，需要使客戶這個

實體有“姓名”，“性別”，“區(qū)域”等屬性。

總的來說，邏輯數(shù)據(jù)模型的建模包括以下流程：

明確數(shù)據(jù)分析應(yīng)用需求。

確定數(shù)據(jù)分析應(yīng)用所涉及的數(shù)據(jù)主題域與相關(guān)主題。

識別這些數(shù)據(jù)主題所分布的業(yè)務(wù)系統(tǒng)，獲得源數(shù)據(jù)表結(jié)構(gòu)。

對分析需求所涉及的主題進行細化得到相關(guān)實體、實體的屬性以及實體間

的關(guān)系。

1.1.2.4.針對兩種需求場景的建模思路

1.1.2.4.1.需求明確型建模

1）確認需求

數(shù)據(jù)組從項目負責(zé)人處獲取將相關(guān)數(shù)據(jù)的業(yè)務(wù)規(guī)則文檔。文檔中應(yīng)該包括

的內(nèi)容有：ER圖、數(shù)據(jù)字典、業(yè)務(wù)規(guī)則、分析維度。

數(shù)據(jù)組根據(jù)項目負責(zé)人提供的ER圖、數(shù)據(jù)字典和業(yè)務(wù)規(guī)則進行理解，如

果有業(yè)務(wù)規(guī)則不清楚的地方，項目負責(zé)人應(yīng)該協(xié)助解決；理解所有內(nèi)容后，數(shù)

據(jù)組成員分析這些內(nèi)容，并完成分析建模。

2）建模實施

需求明確后，要做的第一步是建模，它包括創(chuàng)建體系結(jié)構(gòu)的表示形式以捕

獲需求、就解決方案方法進行交流、以及分析所提出的系統(tǒng)設(shè)計。其目的是使

用模型來表現(xiàn)系統(tǒng)中的關(guān)鍵數(shù)據(jù)組織形式設(shè)計，然后建模工具ERWIN、

Powerdesigner設(shè)計出概念模型，結(jié)合具體數(shù)據(jù)庫類型和管理需求形成物理模

型。使用這些模型，以研究預(yù)期的系統(tǒng)行為，并且可以在編寫文檔或總結(jié)時使

用這些模型，以便就系統(tǒng)的性能和外觀進行交流。

＞域建模

域建模指的是，對問題域創(chuàng)建相應(yīng)的模型并且把它劃分為若干個內(nèi)聚組的

過程。然后，可以在抽象模型中捕獲業(yè)務(wù)流程、規(guī)則和數(shù)據(jù)。要構(gòu)造域模型，

必須完成下列工作：

?標識并確定參與者（實體）及其操作（活動）的特征。

?標識管理操作（規(guī)則）的策略。

?收集有關(guān)實現(xiàn)這些操作、來自這些操作或者記錄這些操作（構(gòu)

件/數(shù)據(jù)）的信息。

?將相關(guān)的要素劃分為子域。

＞數(shù)據(jù)實體

根據(jù)需求設(shè)計數(shù)據(jù)實體。設(shè)計某個實體時，要充分考慮實體中需要存放哪

些屬性。這一過程也是以數(shù)據(jù)分析應(yīng)用需求為驅(qū)動的。如：為了滿足對客戶的

基本信息的分析，需要使客戶這個實體有“姓名”，“性別”，“區(qū)域”等屬性

＞相互關(guān)系

描述了數(shù)據(jù)模型之間的主要交互，體現(xiàn)的是不同數(shù)據(jù)表之間的數(shù)據(jù)關(guān)系和

數(shù)據(jù)交互內(nèi)容。

1.1.2.4.2.探索性數(shù)據(jù)建模

(1)挖掘方案指定階段

/輸入：分析建模需求

/輸出：詳細需求文檔、數(shù)據(jù)挖掘方案

/提出分析建模需求：由業(yè)務(wù)人員提出分析建模需求，并匯報給項目負責(zé)

人。

,梳理維度：項目負責(zé)人收到需求后，組織相關(guān)人員進行需求文檔的維度

梳理并整理為需求文檔和相迎的數(shù)據(jù)挖掘方案，提交給數(shù)據(jù)組。需求文檔

內(nèi)容包括有：ER圖、數(shù)據(jù)字典、業(yè)務(wù)規(guī)則、分析維度。

(2)實施階段

/輸入：詳細需求文檔、數(shù)據(jù)挖掘方案

/輸出：模型

/建立模型：數(shù)據(jù)組根據(jù)項目負責(zé)人提供的詳細需求文檔、數(shù)據(jù)挖掘方

案，建立模型。

(3)驗證階段

/輸入：模型

/輸出：模型評估材料、確認報告

/編寫模型評估材料：項目負責(zé)人根據(jù)數(shù)據(jù)組指定的模型編寫模型評估材

料，并提交給業(yè)務(wù)人員。

/評估模型：業(yè)務(wù)人員收到模型評估材料后，驗證模型是否符合需求，并

填寫、完善模型評估材料，將評估材料反饋至項目負責(zé)人。

/確認模型評估結(jié)果：項目負責(zé)人根據(jù)業(yè)務(wù)人員填寫的模型評估材料，確

認模型評估結(jié)果，如結(jié)果符合需求，則編寫確認報告；否則就從維度梳理

步驟開始，再次建立模型。

數(shù)據(jù)集市的數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)倉庫或大數(shù)據(jù)平臺的數(shù)據(jù)經(jīng)過處理轉(zhuǎn)換后形

成，直接支撐前端的應(yīng)用需求。數(shù)據(jù)集市區(qū)存儲的數(shù)據(jù)主要是主題分析數(shù)據(jù)。

數(shù)據(jù)計算組件提供分布式運行引擎和協(xié)同計算功能，提供流計算、批量計

算、內(nèi)存計算等能力，滿足各類業(yè)務(wù)應(yīng)用不同時效性的數(shù)據(jù)計算需求。數(shù)據(jù)計

算放方面主要涉及的組件包括流計算組件、內(nèi)存計算組件、批量計算組件。

1.1.2.5.模型評估

1）會議準備階段

/準備評估材料：由項目負責(zé)人準備，會議的材料應(yīng)該包括：需求文檔、

模型方案、模型。

,召集評估會人員：項目負責(zé)人準備好評估材料后，發(fā)郵件通知與會人員

準備參加評估會議，與會人員包括：需求提出者、項目負責(zé)人和數(shù)據(jù)組。

2）評估會議階段

評估會議：由需求提出者、項目負責(zé)人和數(shù)據(jù)組人員共同進行，評估會議

記錄由項目負責(zé)人記錄，并產(chǎn)生評估報告；如果評估模型通過，則評估流程結(jié)

束，如果不通過，則數(shù)據(jù)組重新進入模型開發(fā)流程。

1.1.2.6.數(shù)據(jù)中心庫建設(shè)

數(shù)據(jù)中心庫主要包含的是原始庫、基礎(chǔ)庫、模型庫、主題庫、專題庫。

原始庫是從各個業(yè)務(wù)系統(tǒng)、應(yīng)用系統(tǒng)等集成過來的元數(shù)據(jù)數(shù)據(jù)，沒有做任

何加工處理的數(shù)據(jù)庫。

基礎(chǔ)庫是基于原始庫之上的，通過數(shù)據(jù)質(zhì)量的校驗，將數(shù)據(jù)質(zhì)量校驗后沒

有問題的數(shù)據(jù)放入基礎(chǔ)庫中，保證我們在數(shù)據(jù)使用的時候有效性。

而主題庫和專題庫是根據(jù)業(yè)務(wù)有關(guān)的數(shù)據(jù)模型庫，根據(jù)業(yè)務(wù)的需要，將基

礎(chǔ)庫中的數(shù)據(jù)和對應(yīng)主題或者專題有關(guān)系的數(shù)據(jù)重新組裝定時寫入主題庫和專

題庫中。比如我們涉及到的輿情監(jiān)測，他是根據(jù)輿情監(jiān)測這個業(yè)務(wù)應(yīng)用的需

要，將基礎(chǔ)庫中和輿情監(jiān)測的相關(guān)數(shù)據(jù)寫入輿情監(jiān)測專題模型庫中，輿情監(jiān)測

業(yè)務(wù)應(yīng)用系統(tǒng)就可以直接使用該主題模型庫中的數(shù)據(jù)。因此主題庫和專題庫是

根據(jù)業(yè)務(wù)需要去創(chuàng)建的，可以有多個。

1.1.3.數(shù)據(jù)標準管理子系統(tǒng)

1.1.3.1.概述

數(shù)據(jù)標準管理子系統(tǒng)對數(shù)據(jù)標準規(guī)范提供系統(tǒng)工具支撐，包括標準管理、

標準展示、標準監(jiān)控三大功能。面向數(shù)據(jù)管理者提供標準發(fā)布、審批管理等功

能；面向數(shù)據(jù)維護者提供標準維護、稽核、版本管理等功能；面向數(shù)據(jù)提供者

和消費者提供查詢、提取、核對及分析等功能，全面提供數(shù)據(jù)標準服務(wù)能力。

同時，提供接口數(shù)據(jù)標準、維度數(shù)據(jù)標準、指標數(shù)據(jù)標準的功能支撐。

1.1.3.2.主要功能

基于數(shù)據(jù)標準及規(guī)范的統(tǒng)籌內(nèi)容結(jié)合項目實際需求，數(shù)據(jù)標準管理子系統(tǒng)

將實現(xiàn)的功能包括：數(shù)據(jù)標準采集、數(shù)據(jù)標準生命周期管理、數(shù)據(jù)標準查詢展

現(xiàn)、數(shù)據(jù)標準監(jiān)控。

同時，數(shù)據(jù)標準管理子系統(tǒng)應(yīng)能與元數(shù)據(jù)管理子系統(tǒng)、數(shù)據(jù)質(zhì)量管理子系

統(tǒng)集成，實現(xiàn)數(shù)據(jù)標準的管理、執(zhí)行和數(shù)據(jù)質(zhì)量檢測的全流程無縫對接。

1.1.3.2.1,數(shù)據(jù)標準管理子系統(tǒng)功能分析

(-)數(shù)據(jù)標準需求

提供數(shù)據(jù)標準需求流程支持，提供標準的查重功能。

(-)數(shù)據(jù)標準開發(fā)

提供數(shù)據(jù)標準開發(fā)功能，包括數(shù)據(jù)標準模型管理功能、數(shù)據(jù)標準模板導(dǎo)出

功能、數(shù)據(jù)標準制定過程日志記錄等。

（三）數(shù)據(jù)標準審批

提供數(shù)據(jù)標準制定、評審與發(fā)布流程；新增數(shù)據(jù)標準意見匯總、統(tǒng)計功

能。

（四）數(shù)據(jù)標準查詢與使用

提供新增數(shù)據(jù)標準全文搜索引擎功能；提供數(shù)據(jù)標準接口，供數(shù)據(jù)管理平

臺其他模塊調(diào)用；提供數(shù)據(jù)標準界面集成控件，可方便的查看對界面上的

數(shù)據(jù)標準相關(guān)信息。

（五）數(shù)據(jù)標準落地

/新增數(shù)據(jù)標準落地探查功能

/新增數(shù)據(jù)標準檢核規(guī)則配置功能

/新增指標庫管理功能

/新增數(shù)據(jù)標準執(zhí)行分析統(tǒng)計報告功能

1.1.3.2.2,數(shù)據(jù)標準采集功能

數(shù)據(jù)標準管理子系統(tǒng)須具備從外部導(dǎo)入數(shù)據(jù)標準的功能，支持以常規(guī)格式

存儲的外部數(shù)據(jù)標準文件，如txt、csv、xls（xlsx）、xml等，通過導(dǎo)入操作將

離線標準文件清洗轉(zhuǎn)換后存儲到系統(tǒng)中。

數(shù)據(jù)標準管理子系統(tǒng)同時制定外部標準的文件格式。

系統(tǒng)提供模板管理用于采集數(shù)據(jù)標準，支持txt、csv、xls（xlsx）、xml

等。各類模版適用于系統(tǒng)數(shù)據(jù)標準的導(dǎo)入導(dǎo)出，系統(tǒng)中所有的數(shù)據(jù)標準都可以

在本模板中體現(xiàn)。

為技術(shù)人員維護數(shù)據(jù)標準提供了輔助的技術(shù)手段。模板功能主要為自動和

手動導(dǎo)入元數(shù)據(jù)時使用，該功能主要提供技術(shù)人員導(dǎo)出需要導(dǎo)入元數(shù)據(jù)的數(shù)據(jù)

模板，方便提供導(dǎo)入數(shù)據(jù)的格式。

1.13.2.3.數(shù)據(jù)標準生命周期管理

數(shù)據(jù)標準生命周期包括創(chuàng)建/修訂、審批、生效、失效、銷毀等狀態(tài)，同

時，各狀態(tài)之間的流轉(zhuǎn)需具備審批功能，以及對數(shù)據(jù)標準進行版本管理，具備

版本恢復(fù)功能。

1.1.3.2.4.數(shù)據(jù)標準查詢展示

數(shù)據(jù)標準管理子系統(tǒng)支持對平臺所管理的所有標準進行查詢、展現(xiàn)和導(dǎo)出

功能。

1.1.3.2.5,數(shù)據(jù)標準監(jiān)控

對于生效的標準內(nèi)容，標準管理平臺需對生效標準的具體執(zhí)行情況進行掃

描與監(jiān)控，并對標準違反行為進行預(yù)警。

支持按指定時間周期、標準分類、標準維護人員等維度進行結(jié)果統(tǒng)計。

1.1.4.數(shù)據(jù)集成子系統(tǒng)

1.1.4.1.概述

數(shù)據(jù)集成子系統(tǒng)將從輿情、動態(tài)感知、0A系統(tǒng)等集成數(shù)據(jù)，對數(shù)據(jù)進行

清洗與整合，按照數(shù)據(jù)中心建設(shè)標準的要求規(guī)范化數(shù)據(jù)形成核心數(shù)據(jù)庫。

1.1.4.2.主要功能

1.1.4.2.1,數(shù)據(jù)集成

1、數(shù)據(jù)聯(lián)邦功能設(shè)計

主要提供對各類數(shù)據(jù)資源的動態(tài)接入。能夠?qū)崟r地訪問分布在市、區(qū)縣各部

門數(shù)據(jù)共享區(qū)內(nèi)不同的數(shù)據(jù)庫管理系統(tǒng)(如：Oracle,SQLServer,Sybase.

DB2,Informix等)，或者XML文件、文本文件、消息隊列、WebService等非結(jié)

構(gòu)化數(shù)據(jù)。數(shù)據(jù)聯(lián)邦功能將屏蔽由于操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)異構(gòu)性問題，為

數(shù)據(jù)采集提供統(tǒng)一訪問入口。

2、增量傳輸功能設(shè)計

增量傳輸功能提供高效數(shù)據(jù)傳輸方式，首先進行增量比對和分離，支持任意

表之間、任意主鍵之間的數(shù)據(jù)比較。將交換數(shù)據(jù)區(qū)中存儲的最新數(shù)據(jù)與前次數(shù)據(jù)

進行比對，把差異數(shù)據(jù)（增量變化）鑒別出來。支持源表與目標表的數(shù)據(jù)同步,

增量數(shù)據(jù)被分離轉(zhuǎn)換進入中心數(shù)據(jù)庫的同時又要被歸并到市交換數(shù)據(jù)庫的前次

提交數(shù)據(jù)中，為下一次的數(shù)據(jù)比對提供數(shù)據(jù)基礎(chǔ)。

3、數(shù)據(jù)校驗與審核功能設(shè)計

數(shù)據(jù)校驗與審核功能在數(shù)據(jù)集成加載到數(shù)據(jù)中心的交換數(shù)據(jù)庫前進行校驗

與審核。按照數(shù)據(jù)集成約定的數(shù)據(jù)格式、數(shù)據(jù)內(nèi)容進行校驗，對于不符合要求的

數(shù)據(jù)，輸出到錯誤庫，并產(chǎn)生詳細的出錯記錄，錯誤數(shù)據(jù)和錯誤日志將返還數(shù)據(jù)

提供方，供數(shù)據(jù)提供方分析修改數(shù)據(jù)輸出程序。對于數(shù)據(jù)質(zhì)量未達到校驗最低標

準的，要求重新發(fā)送數(shù)據(jù)。

4、表單定義與錄入功能

對于沒有進入數(shù)據(jù)庫的數(shù)據(jù)我們可能需要定義靈活的錄入界面，有專人負責(zé)

集成錄入，因此我們結(jié)合靈活的表單定義組件實現(xiàn)數(shù)據(jù)錄入界面的定義和錄入管

理。

1.1.4.2.2.數(shù)據(jù)轉(zhuǎn)換

實現(xiàn)對各種類型數(shù)據(jù)的訪問、過濾、清洗、轉(zhuǎn)換、加載等ETL過程，提供數(shù)

據(jù)庫數(shù)據(jù)抽取、轉(zhuǎn)換、裝載等功能。

基于數(shù)據(jù)庫的是數(shù)據(jù)交換是平臺的核心，負責(zé)解析數(shù)據(jù)集成模型定義、處理

請求、處理引擎自身的模型調(diào)度等。數(shù)據(jù)交換引擎可以滿足大規(guī)模數(shù)據(jù)的并發(fā)處

理，完成企業(yè)級的數(shù)據(jù)交換場景。

數(shù)據(jù)轉(zhuǎn)換組件庫包含了數(shù)據(jù)抽取組件集、數(shù)據(jù)裝載組件集、數(shù)據(jù)轉(zhuǎn)換組件集

以及用來傳輸二進制數(shù)據(jù)的數(shù)據(jù)傳輸組件集。

1.1.4.2.3,數(shù)據(jù)交換節(jié)點管理

交換節(jié)點管理功能用來注冊管理各子交換子節(jié)點，及對整個交換平臺進行統(tǒng)

一注冊管理。管理功能可以監(jiān)控注冊的交換節(jié)點的運行狀態(tài)，可以進行服務(wù)的部

署與控制。

1.1.4.2.4.數(shù)據(jù)交換管理調(diào)度

提供多類型交換作業(yè)的管理與調(diào)度功能。包括：

1）數(shù)據(jù)交換模型全生命周期管理與任務(wù)調(diào)度、監(jiān)控。

2）支持數(shù)據(jù)處理作業(yè)自動化。

3）數(shù)據(jù)交換引擎資源監(jiān)控與負載均衡。

4）數(shù)據(jù)采集子系統(tǒng)資源與權(quán)限管理。

5）提供二次開發(fā)API,與第三方系統(tǒng)集成。

1.1.4.2.5.子系統(tǒng)監(jiān)控

1）故障監(jiān)控

支持可視化服務(wù)器狀態(tài)監(jiān)控，及時了服務(wù)器的運行狀況（啟動/異常等）。

支持資源預(yù)警，提供圖形化方式實時跟蹤服務(wù)器CPU、內(nèi)存、磁盤空間等

狀態(tài)變化，設(shè)置服務(wù)器資源閥值，實時告警通知。

2）應(yīng)用監(jiān)控

?監(jiān)控應(yīng)用系統(tǒng)

能夠滿足對服務(wù)集成子系統(tǒng)上的應(yīng)用系統(tǒng)的監(jiān)控。

能夠通過頁面展示出集成在數(shù)據(jù)集成子系統(tǒng)上的應(yīng)用系統(tǒng)的調(diào)用情況與詳

細信息。

能夠滿足對數(shù)據(jù)集成子系統(tǒng)所集成的應(yīng)用系統(tǒng)的監(jiān)控，及相關(guān)應(yīng)用的物理

節(jié)點監(jiān)控。統(tǒng)一監(jiān)控及管理可用于各種規(guī)模的復(fù)雜的基礎(chǔ)設(shè)施，可以自動發(fā)

現(xiàn)、整合、管理和監(jiān)控多種軟、硬件設(shè)備。

3）平臺資源監(jiān)控

監(jiān)控平臺除了提供故障監(jiān)控，還提供平臺資源使用情況監(jiān)控，可以直觀的

了解系統(tǒng)資源使用情況。

性能監(jiān)控與管理

監(jiān)控平臺對平臺等數(shù)據(jù)抽取作業(yè)、接口等提供完善的性能監(jiān)控管理，可以

及時發(fā)現(xiàn)性能問題。

數(shù)據(jù)抽取作業(yè)監(jiān)控

數(shù)據(jù)集成子系統(tǒng)提供節(jié)點監(jiān)控、交換流程監(jiān)控、中間件監(jiān)控與日志管理、

多方式的故障告警等透明性監(jiān)控管理功能。通過動態(tài)配置管理，加強了數(shù)據(jù)傳

輸?shù)陌踩浴⒁恢滦?，提高了系統(tǒng)的易用性、可維護性和可擴展性，實現(xiàn)了快

速應(yīng)用集成能力。

任務(wù)監(jiān)控

借助數(shù)據(jù)集成子系統(tǒng)的任務(wù)監(jiān)控調(diào)度功能，可實現(xiàn)作業(yè)自動化，無需人工

參與就可完成數(shù)據(jù)融合操作。調(diào)度監(jiān)控應(yīng)實現(xiàn)如下功能：

全局性監(jiān)控

全局的作業(yè)運行監(jiān)控服務(wù)，有效提高數(shù)據(jù)管理水平；

靈活的作業(yè)狀態(tài)日志查詢，支持作業(yè)批次的，詳細日志的查詢，全局查看

作業(yè)文件日志或執(zhí)行腳本；

簡單靈活的作業(yè)流水分析與監(jiān)控，快速定位問題。

可視化監(jiān)控

支持可視化的多角度作業(yè)運行監(jiān)控，包括總覽全局的總體監(jiān)控和明細型的

計劃監(jiān)控以及事件監(jiān)控；

支持可視化服務(wù)器狀態(tài)監(jiān)控，及時了服務(wù)器的運行狀況（啟動/異常等）；

支持資源預(yù)警，提供圖形化方式實時跟蹤服務(wù)器CPU、內(nèi)存、磁盤空間等

狀態(tài)變化，設(shè)置服務(wù)器資源閥值，實時告警通知。

節(jié)點監(jiān)控

監(jiān)控節(jié)點的系統(tǒng)資源:CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤、狀態(tài)。

CPU利用率：節(jié)點所在服務(wù)器當(dāng)前CPU利用率；

內(nèi)存使用情況：節(jié)點所在服務(wù)器當(dāng)前內(nèi)存使用情況；

網(wǎng)絡(luò)利用率：節(jié)點所在服務(wù)器網(wǎng)絡(luò)利用率；

硬盤使用情況：節(jié)點安裝在的磁盤（邏輯盤）的使用情況；

節(jié)點的狀態(tài)：如某節(jié)點是否連通等。

交換流程監(jiān)控

可監(jiān)控交換流程的狀態(tài)，是否啟動、停止、重新啟動等。

數(shù)據(jù)質(zhì)量作業(yè)監(jiān)控

作業(yè)調(diào)度監(jiān)控平臺可以再一個平臺中集中監(jiān)控多種數(shù)據(jù)平臺的作業(yè)任務(wù)，

包括數(shù)據(jù)抽取、數(shù)據(jù)建模、數(shù)據(jù)分析與報表、數(shù)據(jù)質(zhì)量檢核任務(wù)。支持對這些

數(shù)據(jù)作業(yè)的作業(yè)流編排、監(jiān)控作業(yè)執(zhí)行過程及結(jié)果監(jiān)控、可以圖形化監(jiān)控每個

作業(yè)執(zhí)行狀態(tài)，每個節(jié)點的資源使用情況，以及配置相關(guān)閾值，觸發(fā)時可以向

管理員發(fā)送郵件告警等功能。

1.1.5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

1.1.5.1.概述

數(shù)據(jù)質(zhì)量管理子系統(tǒng)提供對數(shù)據(jù)的質(zhì)量監(jiān)控，發(fā)現(xiàn)并報告問題數(shù)據(jù)，提高

數(shù)據(jù)準確性和標準化。

數(shù)據(jù)質(zhì)量管理子系統(tǒng)通過對度量規(guī)則管理、檢驗任務(wù)管理、質(zhì)量問題處

理、質(zhì)量評估等功能。在數(shù)據(jù)共享交換、運營和應(yīng)用的整個過程，對數(shù)據(jù)質(zhì)量

進行管理和控制。

1.1.5.2.主要功能

實現(xiàn)數(shù)據(jù)治理平臺的需求，需要通過數(shù)據(jù)治理工具，實現(xiàn)數(shù)據(jù)標準管理，

數(shù)據(jù)質(zhì)量規(guī)則管理、數(shù)據(jù)質(zhì)量檢測和數(shù)據(jù)質(zhì)量管理評估等功能。

1）數(shù)據(jù)質(zhì)量規(guī)則管理

數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量指標在不同信息項上的落地實施，也是數(shù)據(jù)質(zhì)量

檢測任務(wù)執(zhí)行的主體。支持數(shù)據(jù)質(zhì)量規(guī)則的定義、執(zhí)行、結(jié)果反饋管理。支持

通過SQL命令、配置等形式生成數(shù)據(jù)質(zhì)量規(guī)則，創(chuàng)建方式包括前臺手工操作和

批量導(dǎo)入。

根據(jù)數(shù)據(jù)質(zhì)量指標中不同的信息項定義出不同的數(shù)據(jù)質(zhì)量規(guī)則，每一個數(shù)

據(jù)質(zhì)量規(guī)則根據(jù)其檢核對象定義各自的檢核腳本以及相關(guān)的屬性信息。

數(shù)據(jù)質(zhì)量規(guī)則中的檢核腳本就是數(shù)據(jù)質(zhì)量管理模塊執(zhí)行檢核操作時所實際

執(zhí)行的腳本，它反映了質(zhì)量問題的檢核邏輯，根據(jù)檢核類別的不同，其復(fù)雜度

也不同。

為了方便檢核腳本的定義，數(shù)據(jù)質(zhì)量管理模塊提供腳本配置模板，配置腳

本配置模板后，便可批量生成數(shù)據(jù)質(zhì)量規(guī)則各自的檢核腳本。

對于腳本配置模板，系統(tǒng)需提供相應(yīng)的界面，在頁面上導(dǎo)入模板后便可由

系統(tǒng)自動生成檢核方法，然后系統(tǒng)會校驗這些數(shù)據(jù)質(zhì)量規(guī)則配置的正確性，對

于配置錯誤的腳本會予以標識，并可在界面中查詢錯誤信息。

2）數(shù)據(jù)質(zhì)量檢測

數(shù)據(jù)質(zhì)量檢測可根據(jù)數(shù)據(jù)質(zhì)量規(guī)則進行定量檢測，如時間維或其他關(guān)鍵屬

性等，并支持自動將數(shù)據(jù)質(zhì)量分析結(jié)果形成分析報告。數(shù)據(jù)質(zhì)量檢測方式分為

自動檢測和手動檢測，同時檢測結(jié)果可通過短信、郵件方式通知給相應(yīng)責(zé)任

人。

數(shù)據(jù)質(zhì)量檢測是數(shù)據(jù)質(zhì)量子系統(tǒng)的核心，通過執(zhí)行數(shù)據(jù)質(zhì)量規(guī)則，生成相

應(yīng)的檢核結(jié)果，檢核結(jié)果能夠反映出用戶所關(guān)心的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量檢

測任務(wù)可根據(jù)業(yè)務(wù)需求配置單個或多個數(shù)據(jù)質(zhì)量規(guī)則，數(shù)據(jù)質(zhì)量檢測任務(wù)在運

行時系統(tǒng)會自動分析并形成最優(yōu)的并發(fā)檢測策略，提升檢測效率。

3）數(shù)據(jù)質(zhì)量報告分析

數(shù)據(jù)質(zhì)量報告提供了一個集中展示平臺數(shù)據(jù)質(zhì)量狀況的窗口，數(shù)據(jù)質(zhì)量管

理人員召集相關(guān)人員對數(shù)據(jù)質(zhì)量報告進行分析討論，以總結(jié)經(jīng)驗、沉淀知識和

改進方法，不斷提高各數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量問題的處理能力。

數(shù)據(jù)質(zhì)量報告支持圖形化展現(xiàn)，并可支持鉆取到明細頁面，打通鏈路，支

持實時導(dǎo)出即見即所得。

數(shù)據(jù)質(zhì)量報告支持數(shù)據(jù)質(zhì)量的趨勢分析，在趨勢分析中，用戶可選擇輸出

一段時間內(nèi)的同一個數(shù)據(jù)質(zhì)量規(guī)則所檢核出的問題數(shù)據(jù)量的變化趨勢圖，以更

直觀的方式查看數(shù)據(jù)質(zhì)量問題的變化以及對質(zhì)量問題的治理結(jié)果。

通過對數(shù)據(jù)質(zhì)量模塊需求進行理解，產(chǎn)生相應(yīng)的功能；在這里進一步對需

求對進行分析，以達到對需求的更好理解。

1.1.6.元數(shù)據(jù)管理子系統(tǒng)

1.1.6.1.概述

建設(shè)元數(shù)據(jù)管理子系統(tǒng)便于管理數(shù)據(jù)庫的數(shù)據(jù)模型，以及模型間的關(guān)聯(lián)關(guān)

系，并以圖形方式展示所有數(shù)據(jù)庫表結(jié)構(gòu)及關(guān)系，提供元數(shù)據(jù)血緣分析、影響

分析功能，為大數(shù)據(jù)平臺平臺建設(shè)提供支持。為后續(xù)系統(tǒng)開發(fā)和維護提供數(shù)據(jù)

模型指導(dǎo)，規(guī)范化數(shù)據(jù)模型的變更。

實現(xiàn)元數(shù)據(jù)管理的需求，需要通過元數(shù)據(jù)管理工具，對數(shù)據(jù)資源進行采

集，存儲，分析，實現(xiàn)數(shù)據(jù)的管理功能。

1.1.6.2.主要功能

元數(shù)據(jù)管理實現(xiàn)的主要功能點如下：

（一）元數(shù)據(jù)采集

元數(shù)據(jù)管理提供統(tǒng)一的數(shù)據(jù)源管理功能，該功能中針對不同類型的元數(shù)

據(jù)，提供不同的適配器，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)

據(jù)模型、業(yè)務(wù)應(yīng)用、指標等數(shù)據(jù)資源進行統(tǒng)一管理，實現(xiàn)元數(shù)據(jù)的手動和自動

獲取。

（二）元數(shù)據(jù)分析

元數(shù)據(jù)管理支持對采集來的元數(shù)據(jù)進行血緣分析、影響分析、表的關(guān)聯(lián)程

度分析、數(shù)據(jù)差異分析等元數(shù)據(jù)分析功能，滿足對政府公共數(shù)據(jù)的管理需要，

并提供數(shù)據(jù)的全景地圖，用于展現(xiàn)數(shù)據(jù)全貌，為更有效的利用和挖掘信息資產(chǎn)

提供技術(shù)支撐。

（三）元數(shù)據(jù)檢索

提供查詢檢索功能，用戶能夠通過輸入關(guān)鍵字，精確查詢或者模糊匹配到

相應(yīng)的，有權(quán)限查看的元數(shù)據(jù)，從而了解到自己所屬部門能調(diào)用哪些元數(shù)據(jù)。

（四）元數(shù)據(jù)版本管理

針對數(shù)據(jù)可能發(fā)生的變更，版本管理是對元數(shù)據(jù)的變更過程進行版本快照保

存，平臺支持單一元數(shù)據(jù)的版本管理、批量元數(shù)據(jù)的版本管理、版本差異分析等

功能。

（五）數(shù)據(jù)地圖

數(shù)據(jù)地圖是基于底層數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，繪制更高層數(shù)據(jù)之間的脈絡(luò)關(guān)系

圖，從宏觀角度展示數(shù)據(jù)中心各系統(tǒng)、各層次之間的關(guān)系，并支持從系統(tǒng)、數(shù)據(jù)

庫、表間關(guān)系和字段級關(guān)系的數(shù)據(jù)的下鉆、關(guān)聯(lián)和詳細信息的展示，有助于用戶

從不同粒度了解元數(shù)據(jù)之間相互關(guān)聯(lián)的情況，從而對數(shù)據(jù)中心數(shù)據(jù)流向關(guān)系進行

全面、多層次的展示。

（六）分析功能

1.影響分析

影響分析采用圖形方式展示了以某個元數(shù)據(jù)為起始節(jié)點，其后與其有關(guān)系的

所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的流向與加工過程，使用影響分析可分析數(shù)據(jù)流向和數(shù)據(jù)

轉(zhuǎn)換中錯誤的定位。

影響分析包括以下內(nèi)容：

?如何運行影響分析

?瀏覽分析結(jié)果圖

?分析結(jié)果圖形化操作

2.血緣分析

血緣分析采用圖形方式展示了以某個元數(shù)據(jù)為終止節(jié)點，其前與其有關(guān)系的

所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的來源與加工過程，使用血緣分析可分析數(shù)據(jù)來源和數(shù)據(jù)

質(zhì)量問題的定位。

3.全鏈分析

全鏈分析采用圖形方式展示了以某個元數(shù)據(jù)為目標節(jié)點，其前后與其有關(guān)

系的所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的來源與加工過程，使用全鏈分析可分析數(shù)據(jù)來源

和數(shù)據(jù)質(zhì)量問題的定位。

1.1.7.數(shù)據(jù)共享發(fā)布子系統(tǒng)

1.1.7.1.概述

數(shù)據(jù)發(fā)布平臺指在將中心數(shù)據(jù)以服務(wù)的方式發(fā)布，包含服務(wù)封裝管理、服

務(wù)管理、服務(wù)監(jiān)控、服務(wù)構(gòu)建、查詢檢索、服務(wù)發(fā)布接口管理。

1.1.7.2.主要功能

1.1.7.2.1,服務(wù)封裝管理

服務(wù)封裝管理指通過技術(shù)手段快速的將數(shù)據(jù)庫中的數(shù)據(jù)以WebService的方

式發(fā)布成服務(wù)。要求提供統(tǒng)一的基于SOA服務(wù)體系構(gòu)建的服務(wù)平臺；為平臺中

的共享信息資源提供統(tǒng)一的服務(wù)支撐環(huán)境；各業(yè)務(wù)部門內(nèi)部應(yīng)用系統(tǒng)、跨部門

業(yè)務(wù)系統(tǒng)中封裝的服務(wù)，都可以基于這個統(tǒng)一服務(wù)支撐平臺進行管理和展現(xiàn)；

新的業(yè)務(wù)應(yīng)用可以利用服務(wù)支撐平臺自身和其他部門注冊的標準化服務(wù)進行構(gòu)

建。

1.1.7.2.2.服務(wù)管理

實現(xiàn)對服務(wù)全生命周期的管理包括服務(wù)注冊、服務(wù)配置、服務(wù)發(fā)布、服務(wù)

注銷、服務(wù)查找。

在安全層面，要求支持白名單、IP攔截、訪問追溯，傳輸?shù)南⒘鬟M行加

解密的功能，以確保通訊安全，具備對不同服務(wù)的加解密算法進行靈活配置的

功能

1.1.7.2.3,服務(wù)監(jiān)控

以圖形以及表格的方式對服務(wù)運行狀況的監(jiān)控，并通過可視化方式對服務(wù)

進行調(diào)度設(shè)置，支持對平臺運行進行準實時監(jiān)控，并具備對服務(wù)的運行質(zhì)量進監(jiān)

控和運行日志圖表化統(tǒng)計分析。

1.1.7.2.4.服務(wù)構(gòu)建

提供可視化的服務(wù)構(gòu)建工具，能夠方便的進行服務(wù)的構(gòu)建；要求提供多種

可視化的實現(xiàn)方式，方便用戶維護和設(shè)計服務(wù)模型、服務(wù)綁定以及服務(wù)組裝；

要求支持對服務(wù)調(diào)用過程的Debug調(diào)試，可單步跟蹤服務(wù)的調(diào)用過程，可現(xiàn)實

每步的報文變化情況，并記錄報文流經(jīng)的處理節(jié)點。

提供基于WebService的服務(wù)接口，便于各業(yè)務(wù)部門業(yè)務(wù)應(yīng)用系統(tǒng)直接調(diào)用

服務(wù)；

提供服務(wù)集成功能，能夠?qū)崿F(xiàn)各業(yè)務(wù)部門異構(gòu)的應(yīng)用系統(tǒng)的業(yè)務(wù)流程的集

成、多應(yīng)用系統(tǒng)間的應(yīng)用集成、以及數(shù)據(jù)（信息）集成。

1.1.7.2.5.查詢檢索

提供查詢檢索功能，用戶能夠通過輸入關(guān)鍵字查詢到相應(yīng)的信息資源。

提供目錄導(dǎo)航功能，方便用戶通過導(dǎo)航快速定位到目標資源。

提供對查詢結(jié)果的下載功能，支持Excel、CVS、PDF等多種文件格式的下

載。

1.1.8.數(shù)據(jù)資源目錄管理子系統(tǒng)

1.1.8.1.系統(tǒng)概述

數(shù)據(jù)資源目錄管理子系統(tǒng)主要是對數(shù)據(jù)中心所有的資源進行編目管理,提供

目錄管理、資源項管理、元數(shù)據(jù)管理、系統(tǒng)管理等功能。針對各個模塊的功能，

實現(xiàn)在數(shù)據(jù)資源目錄管理子系統(tǒng)中完成對所有數(shù)據(jù)項的全生命周期管理。

1.1.8.2.功能設(shè)計

數(shù)據(jù)資源目錄管理系統(tǒng)涉及的功能模塊如下圖所示：

數(shù)據(jù)資源目錄管理子系統(tǒng)

目錄管理數(shù)據(jù)瀏覽

額

數(shù)

據(jù)

據(jù)

查

瀏

詢

覽

1.1.8.3.詳細設(shè)計

1.1.8.3.1.目錄管理

數(shù)據(jù)資源目錄管理主要是對本次項目中所有的資源目錄進行管理，包含目錄

的編制、目錄的發(fā)布、目錄的查詢等功能。

1、目錄編制

完成資源目錄的分類，如網(wǎng)信政務(wù)外網(wǎng)數(shù)據(jù)目錄、政務(wù)內(nèi)網(wǎng)數(shù)據(jù)目錄、403

網(wǎng)絡(luò)數(shù)據(jù)目錄、網(wǎng)信加密網(wǎng)數(shù)據(jù)目錄、互聯(lián)網(wǎng)數(shù)據(jù)目錄等。每個目錄設(shè)定的編碼

是唯一且不可修改的，只能對名字、排序號等進行修改。

2、目錄發(fā)布

針對已經(jīng)編制好的目錄，錄入到系統(tǒng)中，并完成正式目錄發(fā)布；針對后期添

加以及維護的目錄,原始狀態(tài)為未發(fā)布狀態(tài),待確認后，統(tǒng)一完成目錄發(fā)布操作。

3、目錄查詢

針對系統(tǒng)中已經(jīng)存在的目錄，可根據(jù)關(guān)鍵詞快速檢索已經(jīng)存在的目錄。

1.1.8.3.2.資源項管理

資源項管理是大數(shù)據(jù)平臺中比較重要的一個模塊，資源項是指各目錄下的具

體資源內(nèi)容，如網(wǎng)信政務(wù)外網(wǎng)目錄下的部門信息，它是數(shù)據(jù)的最小單