大數(shù)據(jù)平臺項目建設方案

1、1（本文為word格式，下載后可編輯使用大數(shù)據(jù)平臺項目建設方案一、項目背景“十三五”期間，隨著我國現(xiàn)代信息技術的蓬勃發(fā)展，信息化建設模式發(fā)生根本性轉變, 一場以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動應用等技術為核心的“新IT ”浪潮風起云涌，信息化應用進入一個“新常態(tài)” 。 * （某政府部門）為積極應對“互聯(lián)網(wǎng) + ”和大數(shù)據(jù)時代的機遇和挑戰(zhàn)，適應全省經(jīng)濟社會發(fā)展與改革要求，大數(shù)據(jù)平臺應運而生。大數(shù)據(jù)平臺整合省社會經(jīng)濟發(fā)展資源， 打造集數(shù)據(jù)采集、數(shù)據(jù)處理、監(jiān)測管理、預測預警、應急指揮、可視化平臺于一體的大數(shù)據(jù)平臺，以信息化提升數(shù)據(jù)化管理與服務能力，及時準確掌握社會經(jīng)濟發(fā)展情況，做到“用數(shù)據(jù)說話、用數(shù)據(jù)管

2、理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新” ，牢牢把握社會經(jīng)濟發(fā)展主動權和話語權。二、建設目標大數(shù)據(jù)平臺是順應目前信息化技術水平發(fā)展、服務政府職能改革的架構平臺。它的主要目標是強化經(jīng)濟運行監(jiān)測分析，實現(xiàn)企業(yè)信用社會化監(jiān)督，建立規(guī)范化共建共享投資項目管理體系，推進政務數(shù)據(jù)共享和業(yè)務協(xié)同，為決策提供及時、準確、可靠的信息依據(jù)，提高政務工作的前瞻性和針對性，加大宏觀調控力度，促進經(jīng)濟持續(xù)健康發(fā)展。1 、制定統(tǒng)一信息資源管理規(guī)范， 拓寬數(shù)據(jù)獲取渠道， 整合業(yè)務信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構建匯聚式一體化數(shù)據(jù)庫，為平臺打下堅實穩(wěn)固的數(shù)據(jù)基礎。2 、梳理各相關系統(tǒng)數(shù)據(jù)資源的關聯(lián)性， 編制數(shù)據(jù)資源目錄，建

3、立信息資源交換管理標準體系，在業(yè)務可行性的基礎上，實現(xiàn)數(shù)據(jù)信息共享，推進信息公開，建立跨部門跨領域經(jīng)濟形勢分析制度。3、在大數(shù)據(jù)分析監(jiān)測基礎上，為政府把握經(jīng)濟發(fā)展趨勢、預見經(jīng)濟發(fā)展?jié)撛趩栴}、輔助經(jīng)濟決策提供基礎支撐。三、建設原則大數(shù)據(jù)平臺以信息資源整合為重點，以大數(shù)據(jù)應用為核心，堅持“統(tǒng)籌規(guī)劃、分步實施，整合資源、協(xié)同共享，突出重點、注重實效，深化應用、創(chuàng)新驅動”的原則，全面提升信息化建設水平，促進全省經(jīng)濟持續(xù)健康發(fā)展。51 、統(tǒng)籌規(guī)劃、分步實施。 結合我省經(jīng)濟發(fā)展與改革領域實際需求，明確總體目標和階段性任務，科學規(guī)劃建設項目。先期完成大數(shù)據(jù)平臺的整體架構建設，后期分步完成業(yè)務系統(tǒng)的整合及相互

4、間數(shù)據(jù)共享問題。2 、整合資源、協(xié)同共享。 對信息資源統(tǒng)一梳理，建立經(jīng)濟發(fā)展與改革信息標準資源庫和數(shù)據(jù)規(guī)范，逐步消滅“信息孤島” ，加快推進數(shù)據(jù)資源整合，建設共享共用的大數(shù)據(jù)中心，實現(xiàn)業(yè)務協(xié)同。3 、突出重點、注重實效。 以用戶為中心，以需求為導向，以服務為目的，突出重點，注重實效，加強平臺可用性和易用性。4 、深化應用、創(chuàng)新驅動。 深入了解用戶需求，密切跟蹤信息技術發(fā)展趨勢，不斷深化應用、拓展新技術在應用中的廣度和深度，促進跨界融合，豐富管理和服務手段。四、建設方案為了保證項目的順利進行和建設目標的可行性，我們采取如下幾種建設方案。1 、數(shù)據(jù)采集方案。我們統(tǒng)一信息資源標準規(guī)范，建立多維度數(shù)據(jù)

5、庫，拓寬數(shù)據(jù)來源，通過不同的方式匯聚數(shù)據(jù)，增強分析力度，提高監(jiān)測預警的準確性和時效性。1、預留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導入處理。將現(xiàn)存有關經(jīng)濟運行業(yè)務系統(tǒng)中的歷史數(shù)據(jù)和時效數(shù)據(jù)，通過上傳數(shù)據(jù)文件至服務器、分析提取有效數(shù)據(jù)導入服務器數(shù)據(jù)庫等方式采集起來，在本平臺上復用。2、支持外接數(shù)據(jù)的上傳導入處理?？梢詫⑵髽I(yè)單位 或定點監(jiān)測機構的數(shù)據(jù)通過同樣的方式采集起來，在本 平臺上復用。3、支持非結構化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體 數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2 、數(shù)據(jù)分析方案。大數(shù)據(jù)之大并不是難點所在，其真正難以對付的挑戰(zhàn)來自于數(shù)據(jù)類型多樣、要求及時響應和數(shù)據(jù)的不確定性，而我們所面臨的

6、也正是如此。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學習、知識計算和可視化等大數(shù)據(jù)分析技術，通過對數(shù)據(jù)的批量處理挖掘其中的價值來支持決策和發(fā)現(xiàn)新的洞察。3 、業(yè)務整合方案。在對社會發(fā)展相關業(yè)務子系統(tǒng)充分調研基礎上，結合項目需求，可對其進行整合或嵌入處理（本方案整合公共信用信息服務平臺、投資項目信息管理平臺等）1、整合處理。將原有數(shù)據(jù)通過上傳或導入方式進行 采集，原有功能模塊整合到本平臺中，合二為一，完美 的將數(shù)據(jù)匯聚起來。缺點是耗時較長。大數(shù)據(jù)平臺項目建設方案2、嵌入處理。以單點登錄的方式將原有系統(tǒng)鏈接嵌 入到本平臺中，作為子系統(tǒng)單獨存在。缺點在于數(shù)據(jù)共 享難以實現(xiàn)。五、建設內(nèi)容1 、宏觀經(jīng)濟監(jiān)測

7、預測及可視化平臺政府信息化的最終目標是提高政府的決策水平，其中經(jīng)濟決策是核心內(nèi)容。 為了提高宏觀調控決策水平， 我們 必須從依靠傳統(tǒng)統(tǒng)計數(shù)據(jù)向依靠互聯(lián)網(wǎng)非統(tǒng)計數(shù)據(jù)轉變， 從監(jiān)測預測宏觀經(jīng)濟總量向監(jiān)測預測宏觀經(jīng)濟先行指標 轉變，從中長期監(jiān)測預測向實時監(jiān)測預測轉變?？蛻粢睸S統(tǒng)計分析系統(tǒng)朋湖于冬城/胞廣系統(tǒng)信息江q系統(tǒng)把小定巾買處4t提瘴訪問請家數(shù)據(jù)庫詩問fit懸用 戶 界 面 層數(shù)據(jù)陣層客戶機數(shù)據(jù)陰V客機報及輸生我機4業(yè)務除理就荒（光溝、fit源）業(yè)務遂班層7宏觀經(jīng)濟監(jiān)測預測及可視化平臺圍繞網(wǎng)絡搜索、社交媒體、 電子商務、 終端定位和業(yè)務交易等五個方面全面整合互聯(lián)網(wǎng)相關數(shù)據(jù)資源，建設以“容量大、

8、形式多、分類細、 響應快”為目標的宏觀經(jīng)濟監(jiān)測預測數(shù)據(jù)庫，構建基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟非統(tǒng)計指標監(jiān)測預測應用平臺。圍繞重點產(chǎn)業(yè)活躍度、區(qū)域經(jīng)濟關聯(lián)度、宏觀經(jīng)濟走向社會預期、社會消費熱點、大宗商品供求及價格走勢、全國就業(yè)形勢、 外貿(mào)訂單變化趨勢等方面， 構建大數(shù)據(jù)宏觀經(jīng)濟先行指標和現(xiàn)時預測指標庫， 研究能客觀、 準確反映我省宏觀經(jīng)濟運行狀況的指標體系， 編制 “山東指數(shù)” 。在健全完善監(jiān)測預警數(shù)據(jù)庫的基礎上，充分運用大數(shù)據(jù)技術和理念，加強數(shù)據(jù)挖掘力度， 強化定量分析， 建立宏觀經(jīng)濟分析系列模型， 切實提高預測分析的前瞻性、 準確性和可靠性。積極拓寬信息發(fā)布渠道，建立可視化平臺，采用Unity3D

9、 引擎，三維界面高度仿真，所見即所得。平臺針對多源易構的海量數(shù)據(jù)， 通過數(shù)據(jù)處理、 存儲管理、 可視化交互分析等技術， 實現(xiàn)圖形化數(shù)據(jù)查詢、 可視化關聯(lián)分析、 證據(jù)鏈和情報線索發(fā)掘等功能。 利用預測信號燈系統(tǒng)，形象地刻畫出宏觀經(jīng)濟總體運行狀況，分析經(jīng)濟波動原因， 及時了解各地區(qū)經(jīng)濟發(fā)展的不平衡性， 準確判斷和測定經(jīng)濟景氣循環(huán)運行狀態(tài)，提高宏觀經(jīng)濟決策水平。2 、企業(yè)信用監(jiān)測預警服務平臺企業(yè)信用危機不僅給社會帶來嚴重危害，也是關系到 企業(yè)自身生死存亡的重大事件， 它是中國企業(yè)乃至中國市 場經(jīng)濟發(fā)展的巨大障礙。 因此，建立企業(yè)信用危機的預警 機制和管理機制，對企業(yè)信用危機進行有效的預警及管理 是十

10、分重要的。圖2企業(yè)信用危機頸警系蛻企業(yè)信用監(jiān)測預警服務平臺，全面整合社會信用監(jiān)管信息和社會公眾反映信息， 通過整理歸類與加工， 將這些 信用危機信息轉化為可以量化的指標體系， 按照失信行為 的嚴重程度和影響范圍劃分三個預警級別， 分別向企業(yè)自 身、金融機構、其他政府部門及全社會進行通報。納入企業(yè)信用預警體系的企業(yè)信息包括侵犯消費者權益且不履行相關義務的信息、消費者投訴未及時處理信息、行政處罰逾期未執(zhí)行信息、查無下落企業(yè)信息等23種信息?？梢詣討B(tài)配置預警信息項目和相應預警等級，增強監(jiān)測預警的全面性和靈活性。企業(yè)信用監(jiān)測預警服務平臺以信息技術為支撐，以信 用監(jiān)管為手段，全面提高信用監(jiān)管信息共享程度

11、，及時預大數(shù)據(jù)平臺項目建設方案警影響社會交易安全和社會公共安全的不良信用信息，遵循“對外警示社會和企業(yè)； 對內(nèi)明確重點，積極采取應對 措施”的原則，強化企業(yè)信用監(jiān)管防范機制， 有力推進“信 用保稅區(qū)”建設，加強企業(yè)信用監(jiān)督管理的主動性、前瞻性，更好地服務經(jīng)濟發(fā)展， 減少交易風險，促進企業(yè)信用 監(jiān)管到位，實現(xiàn)企業(yè)信用的社會化監(jiān)督。3 、投資項目信息管理平臺斐杜分年里名在日行政區(qū)劃施甘分析泉口里設性規(guī)統(tǒng)計分機”足隴也跛*It!:踞出跳噢第計分死建設投資項目（特別是一些大型項目）具有管理上的 復雜性特點，主要是建設周期長、參建方多。投資項目信 息管理平臺的建立和應用， 可有效解決投資建設項目管理 動

12、態(tài)過程的信息分析、信息構建，達到各參建方信息共享 的目的。乙璞一普環(huán)目界挺T 坦白伯裔一，一生總掛盤一尊U飛速TL審目審？it 1項目 I w H Sa H ts 誓青 -耳目耨歸 攢襲爆崇總d目*謾*竹缶房上金朋代息尤為需 在,管孽境城厘縣審批信息商驅及期表二曖一T年呂目k 門:港口培中_ 曰:,華1*責任譚Ut卷管. L 偌L1款為折JW仃上焚制統(tǒng)計分析互動交慝平臺浦切送去喳屯袁也用時通鈍減同扶阜 文仔嶂臉17投資項目信息管理平臺，支持重大項目推介，建立規(guī)范的項目審批流程和項目信息庫，管理項目啟動、計劃、執(zhí)行、監(jiān)控和收尾的整個生命周期，覆蓋進度、質量、成本、資源、風險等項目管理的各個要素，

13、構建集成項目、流程、知識的信息化平臺。逐步實現(xiàn)與相關部門業(yè)務系統(tǒng)的接入，形成全覆蓋的投資項目管理統(tǒng)一工作平臺， 真正做好資源共享， 為項目的后期評價、領導決策提供支持服務。圍繞設計、招標、監(jiān)理、質量、安全、進度、施工、資金、變更、合同管理“十大環(huán)節(jié)” ，建立起對投資項目進行事前計劃、事中控制、 事后評估、全程管理的有效管控模式， 促進投資項目管理體系發(fā)揮全方位、全過程的計劃、組織、協(xié)調與控制作用。投資項目信息管理平臺，以現(xiàn)代項目管理方法論為基礎； 以項目管理為主線， 全面組織、 全程貫穿各個業(yè)務環(huán)節(jié)； 以項目計劃為依據(jù)， 科學協(xié)調各個部門的工作； 以成本、進度、質量為最終控制目標；以完整、及時

14、、準確的項目信息和科學的分析模型為項目管理、決策提供依據(jù)；遵循 “以計劃為龍頭， 以合同為中心， 以投資控制為目的”的現(xiàn)代項目管理理念， 構建高效、 實用的項目協(xié)同管理綜合平臺。4 、政務數(shù)據(jù)共享交換平臺政務數(shù)據(jù)共享交換平臺是各個平臺中的基礎性和綜合性平臺，是解決“信息孤島”、實現(xiàn)數(shù)據(jù)互連互通的基 礎設施，有利于提高各類信息資源整合共享，以及信息資源的綜合利用。資感共享政策法規(guī)和標準共享平白數(shù)據(jù)可胡可蟀共享震然數(shù)據(jù)整掘I目錄導航I目錄注冊元趕桐青耳企業(yè)法人專震源城學安至B9建設政務數(shù)據(jù)共享交換平臺的首要目標就是要創(chuàng)造一個信息交換、信息共享的方式和環(huán)境，按照統(tǒng)一標準和 規(guī)范，建立信息資源整合機制

15、，規(guī)范數(shù)據(jù)采集口徑、 采集方式，規(guī)范數(shù)據(jù)的服務方式， 建立統(tǒng)一的資源信息整合與 交換機制。我們按照統(tǒng)一、集約、高效的數(shù)據(jù)開發(fā)利用理念，通 過研究建立多級交換管理體系，形成政務信息資源物理分 散、邏輯集中的信息共享模式， 通過以應用為抓手， 進一 步打通數(shù)據(jù)流，滿足政府部門多方位、多層次的數(shù)據(jù)需求， 為跨地域、跨部門、跨平臺不同應用系統(tǒng)、不同數(shù)據(jù)庫之間的互連互通提供包含提取、 轉換、傳輸和加密等操作的 數(shù)據(jù)交換服務。通過分布式部署和集中式管理架構，有效解決各節(jié)點間數(shù)據(jù)的及時、 高效上傳下達，在安全、快捷、方便的進行信息交換的同時精準的保證數(shù)據(jù)的一致性和準確性。政務數(shù)據(jù)共享交換平臺的全局目標是建立

16、“一個系統(tǒng)” ，解決“兩個問題” ，支持“三個應用” ，面向“四個服務” 。建立“一個系統(tǒng)” ，即建立一個可擴展、可集成、有統(tǒng)一數(shù)據(jù)模型、 可交換和安全可靠的分布式系統(tǒng)， 對各類政務資源進行組織和管理。解決“兩個問題” ，即解決政務信息資源的發(fā)現(xiàn)與定位問題， 解決政務信息資源規(guī)劃與整理問題。支持“三個應用” ，即支持信息集成整合應用、 各業(yè)務部門辦公應用和政府職能決策應用。 面向 “四個服務” ，即面向政務協(xié)作、宏觀決策、市場監(jiān)管和社會管理服務。六、技術支持與平臺性能1 、系統(tǒng)架構結合該項目以大數(shù)據(jù)平臺為核心，多業(yè)務子系統(tǒng)并存的業(yè)務需求，以及存在不同種類操作系統(tǒng)、 應用軟件、系統(tǒng)軟件的現(xiàn)狀，我

17、們采用面向服務的體系結構，即SO琳構。SOA是一個組件模型，它將應用程序的不同功能單元（稱為服務） 通過這些服務之間定義良好的接口和契約聯(lián)系起來。 接口是采用中立的方式進行定義的， 它獨立于實現(xiàn)服務的硬件平臺、 操作系統(tǒng)和編程語言。 這使得構建在這樣系統(tǒng)中的服務可以以一種統(tǒng)一和通用的方式進行交 互。它的本質是實現(xiàn)服務和技術的完全分離，從而最大程度上實現(xiàn)服務的集成和重組。SOA實施是以業(yè)務服務為導向的，業(yè)務服務獨立于技 術之上，技術處于從屬地位，采用SOAm構的主要優(yōu)勢有：1、SOA平臺無關，減少了業(yè)務應用及業(yè)務子系統(tǒng)整 合的限制。2、SOAM有低耦合的特點，各個業(yè)務子系統(tǒng)對整個業(yè) 務系統(tǒng)的影響

18、較低，在各個系統(tǒng)不斷變化情況下， 節(jié)省的 費用會越來越多。3、SOA*有可按模塊分階段進行實施的優(yōu)勢?？梢猿晒σ徊皆僮鱿乱徊剑瑢嵤┰斐傻臎_擊減少到最小。SON艮務交互示意圖如下：2 、技術支持1、技術領先的J2EE框架Java2 平臺企業(yè)版( Java 2 Platform Enterprise Edition ， J2EE ) 是一種利用 Java2 平臺來簡化且規(guī)范應 用系統(tǒng)的開發(fā)與部署， 進而提高可移植性、 安全與再用價 值。 基核心是一組技術規(guī)范與指南， 其中包含的各類組件、 服務架構及技術層次， 均有共同的標準及規(guī)格， 讓各種依 循 J2EE 架構的不同平臺之間，存在良好的兼容性，

19、解決 過去企業(yè)后端使用的信息產(chǎn)品彼此之間無法兼容， 企業(yè)內(nèi) 部或外部難以互通的窘境。 基主要的技術規(guī)范有JDBC、 EJB、 JSP、 Java Servlet 、XML等。JDBC為訪問不同數(shù)據(jù)庫提供了統(tǒng)一的路徑，使對數(shù)據(jù)庫的訪問具有平臺無關性。EJB提供了一個框架來開發(fā)和實施分布式商務邏輯， 簡化了具有可伸縮性和高度復 雜的企業(yè)級應用程序的開發(fā)。JSP頁面由HTML代碼和嵌入其中的 Java 代碼組成，簡化了頁面的輸出，保留了腳 本語言易于使用的優(yōu)點。 Servlet 是一種小型Java 程序，擴展了 Web服務器的功能。XM嬴供了一種描述結構數(shù)據(jù) 的格式，簡化了網(wǎng)絡中數(shù)據(jù)交換和表示， 使

20、得代碼、 數(shù)據(jù) 和表示分離，作為數(shù)據(jù)交換的標準格式。2、強大靈活的SSMK合框架。SSM匡架整合，即整合 SpringMVC、Spring 和 Mybatis 框架。其中SpringMVC屬于SpringFarmeWork的后續(xù)產(chǎn)品， 它提供了構建 Web應用程序白全功能 MVC莫塊，分離了控制器、模型對象、過濾器以及處理程序對象的角色，這種分離讓它們更容易進行定制。Spring是一個輕量級開源框架，它的主要特點是方便解耦、簡化開發(fā)、面向切面(AOP的編程支持和聲明式事務支持，其主要優(yōu)點有低 侵入式設計、獨立于應用服務器、 允許將一些通用任務如 日志等進行集中處理。 Mybatis是輕量級ORM匡架，它消 除了幾乎所有的JDBC代碼和參數(shù)的手工設置以及結果集 的檢索，使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOS央射成數(shù)據(jù)庫中的記錄。其框架架構圖如下:II1P喇府7.量'點需論配恥 MM/UQGTmllQir舞8陽*| 鼻制由百他用時暴 ¥4Mo* 事“d Vtav希瑞干。評.，上雄出座U jfltittNtrtiL 發(fā)送H求 httpV/ipTp&rt/ path/m yR vqueW*mmMaaiAndW.%帛修 帕“劭量A htlIntErnnLflESOLJ rce