大數(shù)據(jù)平臺建設(shè)方案

大數(shù)據(jù)平臺建設(shè)方案

（項目需求與技術(shù)方案）

一、項目背景

“十三五”期間，隨著我國現(xiàn)代信息技術(shù)的蓬勃發(fā)展，信息化建

設(shè)模式發(fā)生根本性轉(zhuǎn)變，一場以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動應(yīng)用

等技術(shù)為核心的“新IT”浪潮風(fēng)起云涌，信息化應(yīng)用進(jìn)入一個“新

常態(tài)”。***（某政府部門）為積極應(yīng)對“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時代的

機(jī)遇和挑戰(zhàn)，適應(yīng)全省經(jīng)濟(jì)社會發(fā)展與改革要求，大數(shù)據(jù)平臺應(yīng)運而

生。

大數(shù)據(jù)平臺整合省社會經(jīng)濟(jì)發(fā)展資源，打造集數(shù)據(jù)采集、數(shù)據(jù)處

理、監(jiān)測管理、預(yù)測預(yù)警、應(yīng)急指揮、可視化平臺于一體的大數(shù)據(jù)平

臺，以信息化提升數(shù)據(jù)化管理與服務(wù)能力，及時準(zhǔn)確掌握社會經(jīng)濟(jì)發(fā)

展情況，做到“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”，

牢牢把握社會經(jīng)濟(jì)發(fā)展主動權(quán)和話語權(quán)。

二、建設(shè)目標(biāo)

大數(shù)據(jù)平臺是順應(yīng)目前信息化技術(shù)水平發(fā)展、服務(wù)政府職能改革

的架構(gòu)平臺。它的主要目標(biāo)是強(qiáng)化經(jīng)濟(jì)運行監(jiān)測分析，實現(xiàn)企業(yè)信用

社會化監(jiān)督，建立規(guī)范化共建共享投資項目管理體系，推進(jìn)政務(wù)數(shù)據(jù)

共享和業(yè)務(wù)協(xié)同，為決策提供及時、準(zhǔn)確、可靠的信息依據(jù)，提高政

務(wù)工作的前瞻性和針對性，加大宏觀調(diào)控力度，促進(jìn)經(jīng)濟(jì)持續(xù)健康發(fā)

1

展。

1、制定統(tǒng)一信息資源管理規(guī)范，拓寬數(shù)據(jù)獲取渠道，整合業(yè)務(wù)

信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構(gòu)建匯聚式一體化

數(shù)據(jù)庫，為平臺打下堅實穩(wěn)固的數(shù)據(jù)基礎(chǔ)。

2、梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建

立信息資源交換管理標(biāo)準(zhǔn)體系，在業(yè)務(wù)可行性的基礎(chǔ)上，實現(xiàn)數(shù)據(jù)信

息共享，推進(jìn)信息公開，建立跨部門跨領(lǐng)域經(jīng)濟(jì)形勢分析制度。

3、在大數(shù)據(jù)分析監(jiān)測基礎(chǔ)上，為政府把握經(jīng)濟(jì)發(fā)展趨勢、預(yù)見

經(jīng)濟(jì)發(fā)展?jié)撛趩栴}、輔助經(jīng)濟(jì)決策提供基礎(chǔ)支撐。

三、建設(shè)原則

大數(shù)據(jù)平臺以信息資源整合為重點，以大數(shù)據(jù)應(yīng)用為核心，堅持

“統(tǒng)籌規(guī)劃、分步實施，整合資源、協(xié)同共享，突出重點、注重實效，

深化應(yīng)用、創(chuàng)新驅(qū)動”的原則，全面提升信息化建設(shè)水平，促進(jìn)全省

經(jīng)濟(jì)持續(xù)健康發(fā)展。

2

結(jié)合我省經(jīng)濟(jì)發(fā)展與改革領(lǐng)域頭

際需求，明確總體目標(biāo)和階段性任務(wù)，科學(xué)規(guī)劃建設(shè)項目。先期完成

大數(shù)據(jù)平臺的整體架構(gòu)建設(shè)，后期分步完成業(yè)務(wù)系統(tǒng)的整合及相互間

數(shù)據(jù)共享問題。

j、-u=I〃/J、、\yj?J/、-r~0,,...,,.,._.

對信息資源統(tǒng)一梳理，建立經(jīng)濟(jì)

發(fā)展與改革信息標(biāo)準(zhǔn)資源庫和數(shù)據(jù)規(guī)范，逐步消滅“信息孤島”，加

快推進(jìn)數(shù)據(jù)資源整合，建設(shè)共享共用的大數(shù)據(jù)中心，實現(xiàn)業(yè)務(wù)協(xié)同。

以用尸為中心，以需求為導(dǎo)向，

以服務(wù)為目的，突出重點，注重實效，加強(qiáng)平臺可用性和易用性。

-1、，,1、I'J、-UJ-yju____.、___.

深入了解用戶需求，密切跟蹤信

息技術(shù)發(fā)展趨勢，不斷深化應(yīng)用、拓展新技術(shù)在應(yīng)用中的廣度和深度，

促進(jìn)跨界融合，豐富管理和服務(wù)手段。

四、建設(shè)方案

為了保證項目的順利進(jìn)行和建設(shè)目標(biāo)的可行性，我們采取如下幾

種建設(shè)方案。

1、數(shù)據(jù)采集方案。

我們統(tǒng)一信息資源標(biāo)準(zhǔn)規(guī)范，建立多維度數(shù)據(jù)庫，拓寬數(shù)據(jù)

來源，通過不同的方式匯聚數(shù)據(jù)，增強(qiáng)分析力度，提高監(jiān)測預(yù)警

的準(zhǔn)確性和時效性。

3

1、預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將

現(xiàn)存有關(guān)經(jīng)濟(jì)運行業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)和時效數(shù)據(jù)，通過上傳

數(shù)據(jù)文件至服務(wù)器、分析提取有效數(shù)據(jù)導(dǎo)入服務(wù)器數(shù)據(jù)庫等方式

采集起來，在本平臺上復(fù)用。

2、支持外接數(shù)據(jù)的上傳導(dǎo)入處理?？梢詫⑵髽I(yè)單位或定點

監(jiān)測機(jī)構(gòu)的數(shù)據(jù)通過同樣的方式采集起來，在本平臺上復(fù)用。

3、支持非結(jié)構(gòu)化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、

地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。

2、數(shù)據(jù)分析方案。

大數(shù)據(jù)之大并不是難點所在，其真正難以對付的挑戰(zhàn)來自于

數(shù)據(jù)類型多樣、要求及時響應(yīng)和數(shù)據(jù)的不確定性，而我們所面臨

的也正是如此。

我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學(xué)習(xí)、知識計算和

可視化等大數(shù)據(jù)分析技術(shù)，通過對數(shù)據(jù)的批量處理挖掘其中的價

值來支持決策和發(fā)現(xiàn)新的洞察。

3、業(yè)務(wù)整合方案。

在對社會發(fā)展相關(guān)業(yè)務(wù)子系統(tǒng)充分調(diào)研基礎(chǔ)上，結(jié)合項目需

求，可對其進(jìn)行整合或嵌入處理（本方案整合公共信用信息服務(wù)

平臺、投資項目信息管理平臺等）。

1、整合處理。將原有數(shù)據(jù)通過上傳或?qū)敕绞竭M(jìn)行采集，

4

原有功能模塊整合到本平臺中，合二為一，完美的將數(shù)據(jù)匯聚起

來。缺點是耗時較長。

2、嵌入處理。以單點登錄的方式將原有系統(tǒng)鏈接嵌入到本

平臺中，作為子系統(tǒng)單獨存在。缺點在于數(shù)據(jù)共享難以實現(xiàn)。

五、建設(shè)內(nèi)容

1、宏觀經(jīng)濟(jì)監(jiān)測預(yù)測及可視化平臺

政府信息化的最終目標(biāo)是提高政府的決策水平，其中經(jīng)濟(jì)決

策是核心內(nèi)容。為了提高宏觀調(diào)控決策水平，我們必須從依靠傳

統(tǒng)統(tǒng)計數(shù)據(jù)向依靠互聯(lián)網(wǎng)非統(tǒng)計數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測預(yù)測宏觀經(jīng)濟(jì)

總量向監(jiān)測預(yù)測宏觀經(jīng)濟(jì)先行指標(biāo)轉(zhuǎn)變，從中長期監(jiān)測預(yù)測向?qū)?/p>

時監(jiān)測預(yù)測轉(zhuǎn)變。

5

澈維介說子系統(tǒng)

統(tǒng)計分析不系統(tǒng)

預(yù)測千條填

監(jiān)測r系統(tǒng)

信息獷象f系績

報收定制干系統(tǒng)

業(yè)務(wù)處理請求

（叁詢.?*）效據(jù)鼻訪問請求

用

業(yè)

數(shù)

務(wù)

戶

據(jù)

邏

界

庫

輯

面

處理結(jié)果數(shù)掂數(shù)據(jù)叁訪問怙果層

層

層

圍繞重點產(chǎn)業(yè)活躍度、區(qū)域經(jīng)濟(jì)關(guān)聯(lián)度、宏觀經(jīng)濟(jì)走向社會

預(yù)期、社會消費熱點、大宗商品供求及價格走勢、全國就業(yè)形勢、

外貿(mào)訂單變化趨勢等方面，構(gòu)建大數(shù)據(jù)宏觀經(jīng)濟(jì)先行指標(biāo)和現(xiàn)時

預(yù)測指標(biāo)庫，研究能客觀、準(zhǔn)確反映我省宏觀經(jīng)濟(jì)運行狀況的指

標(biāo)體系，編制“山東指數(shù)”。

和理念，加強(qiáng)數(shù)據(jù)挖掘力度，強(qiáng)化定量分析，建立宏觀經(jīng)濟(jì)分析

系列模型，切實提高預(yù)測分析的前瞻性、準(zhǔn)確性和可靠性。

積極拓寬信息發(fā)布渠道，建立可視化平臺，采用Unity3D引

擎，三維界面高度仿真，所見即所得。平臺針對多源易構(gòu)的海量

數(shù)據(jù)，通過數(shù)據(jù)處理、存儲管理、可視化交互分析等技術(shù)，實現(xiàn)

圖形化數(shù)據(jù)查詢、可視化關(guān)聯(lián)分析、證據(jù)鏈和情報線索發(fā)掘等功

能。利用預(yù)測信號燈系統(tǒng)，形象地刻畫出宏觀經(jīng)濟(jì)總體運行狀況,

分析經(jīng)濟(jì)波動原因，及時了解各地區(qū)經(jīng)濟(jì)發(fā)展的不平衡性，準(zhǔn)確

判斷和測定經(jīng)濟(jì)景氣循環(huán)運行狀態(tài)，提高宏觀經(jīng)濟(jì)決策水平。

2、企業(yè)信用監(jiān)測預(yù)警服務(wù)平臺

國2企業(yè)信用危機(jī)預(yù)警系統(tǒng)

圍劃分三個預(yù)警級別，分別向企業(yè)自身、金融機(jī)構(gòu)、其他政府部

門及全社會進(jìn)行通報。

納入企業(yè)信用預(yù)警體系的企業(yè)信息包括侵犯消費者權(quán)益且不

履行相關(guān)義務(wù)的信息、消費者投訴未及時處理信息、行政處罰逾

期未執(zhí)行信息、查無下落企業(yè)信息等23種信息?？梢詣討B(tài)配置預(yù)

警信息項目和相應(yīng)預(yù)警等級，增強(qiáng)監(jiān)測預(yù)警的全面性和靈活性。

企業(yè)信用監(jiān)測預(yù)警服務(wù)平臺以信息技術(shù)為支撐，以信用監(jiān)管

為手段，全面提高信用監(jiān)管信息共享程度，及時預(yù)警影響社會交

易安全和社會公共安全的不良信用信息，遵循“對外警示社會和

企業(yè)；對內(nèi)明確重點，積極采取應(yīng)對措施”的原則，強(qiáng)化企業(yè)信

用監(jiān)管防范機(jī)制，有力推進(jìn)“信用保稅區(qū)”建設(shè)，加強(qiáng)企業(yè)信用

監(jiān)督管理的主動性、前瞻性，更好地服務(wù)經(jīng)濟(jì)發(fā)展，減少交易風(fēng)

險，促進(jìn)企業(yè)信用監(jiān)管到位，實現(xiàn)企業(yè)信用的社會化監(jiān)督。

3、投資項目信息管理平臺

建設(shè)投資項目（特別是一些大型項目）具有管理上的復(fù)雜性

特點，主要是建設(shè)周期長、參建方多。投資項目信息管理平臺的

建立和應(yīng)用，可有效解決投資建設(shè)項目管理動態(tài)過程的信息分析、

信息構(gòu)建，達(dá)到各參建方信息共享的目的。

8

P一目—"1域計分析平臺

白1堂U目擬卷■?項目"T-季白.淮T-口目其*iT比聯(lián)收

“目行HE.劃

甯批管理I"，-JI_______.'-----------、-JI_SflL.

L%目串浜-J就計,板

告占事由I塞目靈里猊沙

分析

案55重點11目一置點項目j?點布-

項S計劃申律史楂f下達(dá)"1次日建設(shè)性強(qiáng)

管理一??it?分板

次目在設(shè)時閩

項目系浜推表俄埃及以日避電*也任務(wù)這也晟<aa.KA

■理?度填攜—息率批fltfllliR?ft

-----，----------------------?二―、----1------項目霓&規(guī)播

?———-■<--1

項日日壇目標(biāo)更任指一目標(biāo)良任才一目泰更任憤

貴任評怙,標(biāo)1W，T體分析.警一項目^金住履

歧訃分I?

從自行出類弱

'r.i-7(;

互動交流

遺知諾告信息**及時遇京接H共享文作牌也

平臺

投資項目信息管理平臺，支持重大項目推介，建立規(guī)范的項

目審批流程和項目信息庫，管理項目啟動、計劃、執(zhí)行、監(jiān)控和

收尾的整個生命周期，覆蓋進(jìn)度、質(zhì)量、成本、資源、風(fēng)險等項

目管理的各個要素，構(gòu)建集成項目、流程、知識的信息化平臺。

逐步實現(xiàn)與相關(guān)部門業(yè)務(wù)系統(tǒng)的接入，形成全覆蓋的投資項

目管理統(tǒng)一工作平臺，真正做好資源共享，為項目的后期評價、

領(lǐng)導(dǎo)決策提供支持服務(wù)。圍繞設(shè)計、招標(biāo)、監(jiān)理、質(zhì)量、安全、

進(jìn)度、施工、資金、變更、合同管理“十大環(huán)節(jié)”，建立起對投資

項目進(jìn)行事前計劃、事中控制、事后評估、全程管理的有效管控

模式，促進(jìn)投資項目管理體系發(fā)揮全方位、全過程的計劃、組織、

協(xié)調(diào)與控制作用。

政務(wù)數(shù)據(jù)共享交換平臺是各個平臺中的基礎(chǔ)性和綜合性平

臺，是解決“信息孤島”、實現(xiàn)數(shù)據(jù)互連互通的基礎(chǔ)設(shè)施，有利于

提高各類信息資源整合共享，以及信息資源的綜合利用。

煲

源

資

共9

B

2^____一共

政

享

策

安

法

全

規(guī)

救運整合比對層ETLGh劇跣\(zhòng)標(biāo)戊化V詡，?)B

和

數(shù)

資

據(jù)

源3

標(biāo)

目

交

錄

換

虐磁瞥I氮助雷管理3而訂同'救兔伶褊)

系

航

平

臺全文檢索I元數(shù)據(jù)蕾理

資源定位

的信息共享模式，通過以應(yīng)用為抓手，進(jìn)一步打通數(shù)據(jù)流，滿足

政府部門多方位、多層次的數(shù)據(jù)需求，為跨地域、跨部門、跨平

臺不同應(yīng)用系統(tǒng)、不同數(shù)據(jù)庫之間的互連互通提供包含提取、轉(zhuǎn)

換、傳輸和加密等操作的數(shù)據(jù)交換服務(wù)。通過分布式部署和集中

式管理架構(gòu)，有效解決各節(jié)點間數(shù)據(jù)的及時、高效上傳下達(dá)，在

安全、快捷、方便的進(jìn)行信息交換的同時精準(zhǔn)的保證數(shù)據(jù)的一致

性和準(zhǔn)確性。

政務(wù)數(shù)據(jù)共享交換平臺的全局目標(biāo)是建立“一個系統(tǒng)”，解決

“兩個問題”，支持“三個應(yīng)用”，面向“四個服務(wù)”。建立“一個

系統(tǒng)”，即建立一個可擴(kuò)展、可集成、有統(tǒng)一數(shù)據(jù)模型、可交換和

安全可靠的分布式系統(tǒng)，對各類政務(wù)資源進(jìn)行組織和管理。解決

“兩個問題”，即解決政務(wù)信息資源的發(fā)現(xiàn)與定位問題，解決政務(wù)

信息資源規(guī)劃與整理問題。支持“三個應(yīng)用”，即支持信息集成整

合應(yīng)用、各業(yè)務(wù)部門辦公應(yīng)用和政府職能決策應(yīng)用。面向“四個

服務(wù)”，即面向政務(wù)協(xié)作、宏觀決策、市場監(jiān)管和社會管理服務(wù)。

六、技術(shù)支持與平臺性能

1、系統(tǒng)架構(gòu)

結(jié)合該項目以大數(shù)據(jù)平臺為核心，多業(yè)務(wù)子系統(tǒng)并存的業(yè)務(wù)

需求，以及存在不同種類操作系統(tǒng)、應(yīng)用軟件、系統(tǒng)軟件的現(xiàn)狀,

我們采用面向服務(wù)的體系結(jié)構(gòu)，即SOA架構(gòu)。

口

SOA是一個組件模型，它將應(yīng)用程序的不同功能單元（稱為

服務(wù)）通過這些服務(wù)之間定義良好的接口和契約聯(lián)系起來。接口

是采用中立的方式進(jìn)行定義的，它獨立于實現(xiàn)服務(wù)的硬件平臺、

操作系統(tǒng)和編程語言。這使得構(gòu)建在這樣系統(tǒng)中的服務(wù)可以以一

種統(tǒng)一和通用的方式進(jìn)行交互。它的本質(zhì)是實現(xiàn)服務(wù)和技術(shù)的完

全分離，從而最大程度上實現(xiàn)服務(wù)的集成和重組。

SOA實施是以業(yè)務(wù)服務(wù)為導(dǎo)向的，業(yè)務(wù)服務(wù)獨立于技術(shù)之上,

技術(shù)處于從屬地位，采用SOA架構(gòu)的主要優(yōu)勢有：

1、SOA與平臺無關(guān)，減少了業(yè)務(wù)應(yīng)用及業(yè)務(wù)子系統(tǒng)整合的限

制。

2、SOA具有低耦合的特點，各個業(yè)務(wù)子系統(tǒng)對整個業(yè)務(wù)系統(tǒng)

的影響較低，在各個系統(tǒng)不斷變化情況下，節(jié)省的費用會越來越

多。

3、SOA具有可按模塊分階段進(jìn)行實施的優(yōu)勢?？梢猿晒σ徊?/p>

再做下一步，將實施造成的沖擊減少到最小。

SOA服務(wù)交互示意圖如下：

企業(yè).仗

2、技術(shù)支持

頁面的輸出，保留了腳本語言易于使用的優(yōu)點。Servlet是一種

小型Java程序，擴(kuò)展了Web服務(wù)器的功能。XML提供了一種描述

結(jié)構(gòu)數(shù)據(jù)的格式，簡化了網(wǎng)絡(luò)中數(shù)據(jù)交換和表示，使得代碼、數(shù)

據(jù)和表示分離，作為數(shù)據(jù)交換的標(biāo)準(zhǔn)格式。

2、強(qiáng)大靈活的SSM整合框架。

SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。

其中SpringMVC屬于SpringFarmeWork的后續(xù)產(chǎn)品，它提供了構(gòu)

建Web應(yīng)用程序的全功能MVC模塊，分離了控制器、模型對象、

過濾器以及處理程序?qū)ο蟮慕巧?，這種分離讓它們更容易進(jìn)行定

制。Spring是一個輕量級開源框架，它的主要特點是方便解耦、

簡化開發(fā)、面向切面（A0P）的編程支持和聲明式事務(wù)支持，其主

要優(yōu)點有低侵入式設(shè)計、獨立于應(yīng)用服務(wù)器、允許將一些通用任

務(wù)如日志等進(jìn)行集中處理。Mybatis是輕量級0RM框架，它消除

了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索，使

用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs

映射成數(shù)據(jù)庫中的記錄。其框架架構(gòu)圖如下：

、發(fā)送請求

http://ip:port/RequestMapping

■I>ath/myRequestHandlerMapping

HaAdtortM<tft>?*<ha*n

用戶((l