電子政務(wù)公共平臺(tái)數(shù)據(jù)技術(shù)管理設(shè)計(jì)課件

1、基于云計(jì)算的電子政務(wù)公共平臺(tái)數(shù)據(jù)管理技術(shù)設(shè)計(jì)第1頁，共52頁。平臺(tái)數(shù)據(jù)管理范疇與定義平臺(tái)數(shù)據(jù)管理技術(shù)目標(biāo)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容數(shù)據(jù)管理的實(shí)踐匯報(bào)提綱第2頁，共52頁。平臺(tái)數(shù)據(jù)管理范疇與定義“數(shù)據(jù)”簡析追根溯源 數(shù)據(jù)產(chǎn)生于計(jì)算機(jī)出現(xiàn)之前：書本、地圖、藝術(shù)等 計(jì)算機(jī)出現(xiàn)以后，數(shù)據(jù)的內(nèi)涵與表現(xiàn)形式都發(fā)生了巨大變化 在存儲(chǔ)介質(zhì)層面，數(shù)據(jù)表現(xiàn)為各種能保存0，1兩種狀態(tài)的載體 在邏輯層面，數(shù)據(jù)表現(xiàn)為組織與使用方式 邏輯層面 （數(shù)據(jù)管理） 物理層面 （存儲(chǔ)介質(zhì)：卡片，內(nèi)存、磁盤、光盤、磁帶） 1 0 000 1 今天，我們討論的主要是指邏輯層面，可稱為數(shù)據(jù)管理 第3頁，共52頁。平臺(tái)數(shù)據(jù)管理問題與定義海量數(shù)

2、據(jù)管理時(shí)代的挑戰(zhàn) IDC研究表明： 全球數(shù)據(jù)產(chǎn)量僅2011就達(dá)1.8ZB(或1.8萬億GB）；未來十年的全球數(shù)據(jù)量將增長50倍主要有兩類情況： 一類是原有數(shù)據(jù)種類量的增加 （如業(yè)務(wù)應(yīng)用等）另一類是過去我們沒關(guān)心或沒能力關(guān)心的數(shù)據(jù) （如Weblog，社交媒體，實(shí)時(shí)位置，智能設(shè)備、傳感器計(jì)量等 ）數(shù)據(jù)管理最大的挑戰(zhàn)是：海量管理能力，多類型，變化快，高可用性，低成本，高端可擴(kuò)展性 很多傳統(tǒng)的技術(shù)已經(jīng)難以應(yīng)對(duì)！ 第4頁，共52頁。平臺(tái)數(shù)據(jù)管理范疇與定義電子政務(wù)公共平臺(tái)的挑戰(zhàn) - 數(shù)據(jù)管理第5頁，共52頁。平臺(tái)數(shù)據(jù)管理范疇與定義業(yè)務(wù)應(yīng)用對(duì)IT 方面需求信息資源共享云服務(wù)中心Information Ser

3、vices土地施工企業(yè)資質(zhì)人員資質(zhì)住宅形成權(quán)威性的建委數(shù)據(jù)管理中心保證各部門的數(shù)據(jù)共享需求保證各業(yè)務(wù)系統(tǒng)的業(yè)務(wù)使用對(duì)數(shù)據(jù)不全、不準(zhǔn)的系統(tǒng)可以對(duì)其數(shù)據(jù)進(jìn)行審計(jì)與績效監(jiān)控對(duì)數(shù)據(jù)可以進(jìn)行展示、挖掘、利用、分析，向下為各區(qū)縣服務(wù)，向上為委領(lǐng)導(dǎo)、住建部領(lǐng)導(dǎo)做決策支持服務(wù)。安檢施工監(jiān)控住宅驗(yàn)收形成數(shù)據(jù)資源共享服務(wù)新秩序第6頁，共52頁。住保業(yè)務(wù)系統(tǒng)輔助決策分析住保數(shù)據(jù)資源中心其他業(yè)務(wù)系統(tǒng)平臺(tái)數(shù)據(jù)管理范疇與定義第7頁，共52頁。集中資源池的共享虛擬化、分時(shí)/區(qū)共享動(dòng)態(tài)調(diào)配、彈性伸縮自動(dòng)化、自服務(wù)低成本、標(biāo)準(zhǔn)化硬件云計(jì)算云數(shù)據(jù)管理技術(shù)標(biāo)準(zhǔn)化能力服務(wù)化提供快速化資源彈性化管理自動(dòng)化管控集中化平臺(tái)數(shù)據(jù)管理范疇與定

4、義新工具-云數(shù)據(jù)管理 第8頁，共52頁。計(jì)算資源、存儲(chǔ)數(shù)據(jù)應(yīng)用/服務(wù)云接入數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！平臺(tái)數(shù)據(jù)管理范疇與定義第9頁，共52頁。 電子政務(wù)公共平臺(tái)數(shù)據(jù)管理技術(shù)是指全生命周期的數(shù)據(jù)管理體系，包括數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)服務(wù)技術(shù)等全過程的管理技術(shù)。它結(jié)合云計(jì)算、大數(shù)據(jù)的管理技術(shù)特征，同時(shí)規(guī)范電子政務(wù)公共平臺(tái)數(shù)據(jù)管理核心要素，并兼顧、引導(dǎo)傳統(tǒng)數(shù)據(jù)管理技術(shù)逐步進(jìn)化為云數(shù)據(jù)管理技術(shù)。平臺(tái)數(shù)據(jù)管理范疇與定義第10頁，共52頁。平臺(tái)數(shù)據(jù)管理范疇與定義平臺(tái)數(shù)據(jù)管理技術(shù)目標(biāo)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容數(shù)據(jù)管理的實(shí)踐匯報(bào)提綱第11頁，共52頁。復(fù)雜數(shù)據(jù)采集源頭海量分布式存儲(chǔ)與管理數(shù)據(jù)服務(wù)管理

5、數(shù)據(jù)共享交換管理與服務(wù)數(shù)據(jù)集成管理與服務(wù)標(biāo)準(zhǔn)的訪問接口服務(wù)化平臺(tái)數(shù)據(jù)管理技術(shù)目標(biāo)第12頁，共52頁。 電子政務(wù)公共平臺(tái)數(shù)據(jù)管理技術(shù)標(biāo)準(zhǔn)的建設(shè)，最終要指導(dǎo)平臺(tái)建設(shè)數(shù)據(jù)資源的統(tǒng)一采集管理、統(tǒng)一存儲(chǔ)管理、統(tǒng)一利用服務(wù)管理和業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)融合管理，形成平臺(tái)相應(yīng)的數(shù)據(jù)管理技術(shù)規(guī)范，保障政務(wù)數(shù)據(jù)資源的有效利用與開發(fā)。 電子政務(wù)公共平臺(tái)數(shù)據(jù)管理技術(shù)標(biāo)準(zhǔn)是指導(dǎo)平臺(tái)通過多種數(shù)據(jù)服務(wù)支撐模式，實(shí)現(xiàn)政務(wù)數(shù)據(jù)在平臺(tái)上的統(tǒng)一維護(hù)和靈活配置服務(wù)，為政務(wù)數(shù)據(jù)的高效使用提供有力的支撐管理能力，為政府社會(huì)管理創(chuàng)造更多的價(jià)值。平臺(tái)數(shù)據(jù)管理技術(shù)目標(biāo)第13頁，共52頁。平臺(tái)數(shù)據(jù)管理范疇與定義平臺(tái)數(shù)據(jù)管理技術(shù)目標(biāo)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與

6、內(nèi)容數(shù)據(jù)管理的實(shí)踐匯報(bào)提綱第14頁，共52頁。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容三個(gè)環(huán)節(jié)四部分內(nèi)容第15頁，共52頁。 數(shù)據(jù)管理采集技術(shù)指的是，依照平臺(tái)管理和服務(wù)的用戶需求，從平臺(tái)有效的數(shù)據(jù)源中獲取和收集各種形態(tài)數(shù)據(jù)的過程管理技術(shù)。它的設(shè)計(jì)內(nèi)容包括數(shù)據(jù)源的發(fā)現(xiàn)與定位和數(shù)據(jù)采集與提取等技術(shù)過程。數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第16頁，共52頁。確定數(shù)據(jù)源的范圍（什么樣的數(shù)據(jù)源為平臺(tái)合格的數(shù)據(jù)源）；如何將數(shù)據(jù)源變成真正的采集對(duì)象（服務(wù)化，自服務(wù)）；采集對(duì)象的自描述（含蓋哪些屬性）；平臺(tái)與采集對(duì)象的綁定（采集過程的實(shí)現(xiàn)）；對(duì)采集過程的監(jiān)控與追溯；對(duì)采集行為及任務(wù)完整統(tǒng)計(jì)分析；平臺(tái)將上述功能的服務(wù)化，

7、并為提供給平臺(tái)的使用者。數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容采集技術(shù)要解決的問題：第17頁，共52頁。采集對(duì)象管理采集過程管理采集監(jiān)控管理采集統(tǒng)計(jì)管理數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)第18頁，共52頁。數(shù)據(jù)源： 平臺(tái)能管理的數(shù)據(jù)來源，涵蓋在平臺(tái)內(nèi)外部署的所有應(yīng)用系統(tǒng)，應(yīng)包括政務(wù)業(yè)務(wù)應(yīng)用、物聯(lián)網(wǎng)應(yīng)用、互聯(lián)網(wǎng)應(yīng)用和移動(dòng)應(yīng)用等。采集對(duì)象： 能自描述和自服務(wù)的所有數(shù)據(jù)源稱之為采集對(duì)象。自描述是指它能提供所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)類型、更新頻率、訪問方式等屬性， 并以服務(wù)形式提供給平臺(tái)發(fā)現(xiàn)和定位；自服務(wù)是指它以服務(wù)化方式提供接入平臺(tái)的方式，以便平臺(tái)獲取和收集數(shù)據(jù)。數(shù)據(jù)管理技術(shù)設(shè)計(jì)

8、與內(nèi)容第19頁，共52頁。平臺(tái)對(duì)采集對(duì)象管理功能：提供采集對(duì)象的屬性描述功能，所有接入的數(shù)據(jù)源需要有唯一標(biāo)識(shí)、所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)類型、更新頻率、訪問方式、通信機(jī)制等；提供組織功能，可按用戶的組織機(jī)構(gòu)、業(yè)務(wù)應(yīng)用等不同方式進(jìn)行分類管理；提供對(duì)采集對(duì)象的查詢/檢索功能；提供生命周期控制功能，包括采集對(duì)象的注冊(cè)、發(fā)布、使用授權(quán)、變更、注銷；支持?jǐn)?shù)據(jù)源管理模型的擴(kuò)展能力，以便適應(yīng)多種新型的信息存取方式。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第20頁，共52頁。采集對(duì)象管理采集過程管理采集監(jiān)控管理采集統(tǒng)計(jì)管理數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)第21頁，共52頁。平臺(tái)對(duì)采集對(duì)象的綁定： 通過綁定方式對(duì)數(shù)據(jù)提供

9、者和使用者進(jìn)行關(guān)聯(lián)和管理，提供數(shù)據(jù)生產(chǎn)方與使用方一對(duì)一、一對(duì)多、多對(duì)多的綁定功能，提供綁定生成、綁定變更、綁定解除等。采集流程調(diào)度： 在采集過程中，依照數(shù)據(jù)提供周期及使用周期的不同，提供不同頻次的數(shù)據(jù)采集調(diào)度，包括：可以根據(jù)不同業(yè)務(wù)、不同場(chǎng)景，實(shí)時(shí)調(diào)度或者指定在某一天單一調(diào)度，也可以指定在某年、某月、某日、某小時(shí)、某分來循環(huán)調(diào)度。 并行采集技術(shù)： 為提高采集效率，通過多通道分時(shí)復(fù)用數(shù)據(jù)采集、多通道同步數(shù)據(jù)采集、分布式數(shù)據(jù)采集等采集技術(shù)。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第22頁，共52頁。采集對(duì)象管理采集過程管理采集監(jiān)控管理采集統(tǒng)計(jì)管理數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)第23頁，共52頁。狀態(tài)監(jiān)控

10、： 監(jiān)控采集過程中的所有信息，包括提供采集對(duì)象監(jiān)控，包括采集對(duì)象運(yùn)行狀態(tài)、負(fù)載情況監(jiān)控等。 任務(wù)監(jiān)控： 能實(shí)時(shí)了解供采集任務(wù)執(zhí)行情況，能實(shí)時(shí)了解任務(wù)執(zhí)行時(shí)間、采集數(shù)據(jù)量、采集數(shù)據(jù)大小、空間使用情況、內(nèi)存使用情況等。異常監(jiān)控： 針對(duì)過程中的異常情況，能提供異常情況預(yù)警；包括采集任務(wù)執(zhí)行失敗、采集節(jié)點(diǎn)狀態(tài)異常、網(wǎng)絡(luò)情況異常等；對(duì)采集異常情況可以進(jìn)行采集任務(wù)追溯。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第24頁，共52頁。采集對(duì)象管理采集過程管理采集監(jiān)控管理采集統(tǒng)計(jì)管理數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)第25頁，共52頁。 在數(shù)據(jù)過程中，采集統(tǒng)計(jì)管理負(fù)責(zé)對(duì)采集過程和采集結(jié)果的統(tǒng)計(jì)，主要包括：采集任務(wù)運(yùn)行情況統(tǒng)

11、計(jì)；采集任務(wù)資源使用情況統(tǒng)計(jì)；采集任務(wù)異常事件統(tǒng)計(jì)等按照日?qǐng)?bào)、周報(bào)、月報(bào)、年報(bào)、實(shí)時(shí)報(bào)方式統(tǒng)計(jì)；將各統(tǒng)計(jì)信息以不同圖表方式展示。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第26頁，共52頁。 在云計(jì)算電子政務(wù)公共平臺(tái)環(huán)境下，針對(duì)數(shù)據(jù)的非確定性、分布異構(gòu)性、海量、動(dòng)態(tài)變化等特點(diǎn)，設(shè)計(jì)采用分布式數(shù)據(jù)存儲(chǔ)技術(shù)對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行有效管理，為向用戶提供高效的數(shù)據(jù)服務(wù)能力。數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第27頁，共52頁。按不同用戶的需求，確定數(shù)據(jù)存儲(chǔ)策略；對(duì)不同用戶的數(shù)據(jù)，要實(shí)現(xiàn)數(shù)據(jù)隔離或融合機(jī)制；對(duì)用戶提供高效管理的工具（配置、導(dǎo)入、導(dǎo)出、安全等）；云服務(wù)動(dòng)態(tài)調(diào)度策略和機(jī)制；為用戶提供對(duì)存儲(chǔ)的有效監(jiān)控；支持非結(jié)構(gòu)

12、化和半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理技術(shù)；支持大數(shù)據(jù)存儲(chǔ)與分析。數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容存儲(chǔ)技術(shù)要解決的問題：第28頁，共52頁。存儲(chǔ)管理存儲(chǔ)調(diào)度存儲(chǔ)監(jiān)控存儲(chǔ)備份數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第29頁，共52頁。平臺(tái)云存儲(chǔ)的管理： 通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種存儲(chǔ)服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能；存儲(chǔ)管理是實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變的核心。云存儲(chǔ)管理要求： 云計(jì)算系統(tǒng)能為不同用戶提供不同級(jí)別的數(shù)據(jù)存儲(chǔ)策略。應(yīng)提供可將計(jì)算機(jī)文件的存放劃分為幾個(gè)等級(jí)，如單機(jī)級(jí)、跨服務(wù)器級(jí)、跨機(jī)柜級(jí)以

13、及跨數(shù)據(jù)中心級(jí)。為單個(gè)用戶提供獨(dú)立邏輯數(shù)據(jù)存儲(chǔ)空間，必須保證各用戶之間的數(shù)據(jù)不可見性，確保多用戶之間的數(shù)據(jù)隔離機(jī)制。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第30頁，共52頁。存儲(chǔ)管理存儲(chǔ)調(diào)度存儲(chǔ)監(jiān)控存儲(chǔ)備份數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第31頁，共52頁。存儲(chǔ)調(diào)度策略： 在存儲(chǔ)調(diào)度管理過程中，應(yīng)提供根據(jù)不同任務(wù)需求和調(diào)度模型情況下的云服務(wù)動(dòng)態(tài)調(diào)度機(jī)制： 可通過相應(yīng)的權(quán)限和優(yōu)先機(jī)制進(jìn)行服務(wù)的調(diào)度處理，以平衡各類應(yīng)用壓力，優(yōu)化資源的應(yīng)用； 提供讓用戶可以按任意的時(shí)間間隔（年、月、日、時(shí)、分）自動(dòng)調(diào)度。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第32頁，共52頁。存儲(chǔ)管理存儲(chǔ)調(diào)度存儲(chǔ)監(jiān)控存儲(chǔ)備份數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)數(shù)據(jù)管理

14、技術(shù)設(shè)計(jì)與內(nèi)容第33頁，共52頁。存儲(chǔ)活動(dòng)的運(yùn)行狀態(tài)監(jiān)控： 存儲(chǔ)監(jiān)控指在存儲(chǔ)過程中對(duì)存儲(chǔ)的所有活動(dòng)進(jìn)行監(jiān)控和管理，包括存儲(chǔ)狀態(tài)監(jiān)控、對(duì)基礎(chǔ)軟硬件進(jìn)行狀態(tài)監(jiān)控和性能監(jiān)控等。 分布式文件系統(tǒng)監(jiān)控： 監(jiān)控信息包括節(jié)點(diǎn)信息、文件/數(shù)據(jù)塊分析、文件歷史操作、數(shù)據(jù)塊操作歷史、文件/數(shù)據(jù)塊排名等監(jiān)控。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第34頁，共52頁。存儲(chǔ)管理存儲(chǔ)調(diào)度存儲(chǔ)監(jiān)控存儲(chǔ)備份數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第35頁，共52頁。安全設(shè)計(jì)應(yīng)考慮支持多實(shí)例并行： 任一實(shí)例宕機(jī)不會(huì)影響應(yīng)用可用性，系統(tǒng)自動(dòng)完成運(yùn)行實(shí)例與數(shù)據(jù)的恢復(fù)。支持集中控制云環(huán)境多節(jié)點(diǎn)數(shù)據(jù)并行備份： 應(yīng)支持系統(tǒng)提供錯(cuò)誤監(jiān)控機(jī)制，對(duì)于故障采

15、取自動(dòng)遷移，采用多份備份來確保數(shù)據(jù)的安全性，系統(tǒng)達(dá)到高可用性。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第36頁，共52頁。 電子政務(wù)云平臺(tái)應(yīng)提供數(shù)據(jù)管理的服務(wù)技術(shù)，方便各部門用戶管理處理和共享所需的各種數(shù)據(jù)資源。設(shè)計(jì)針對(duì)服務(wù)全生命周期不同階段進(jìn)行管理提供的服務(wù)。數(shù)據(jù)管理服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第37頁，共52頁。數(shù)據(jù)的使用要以服務(wù)方式體現(xiàn)；要支持?jǐn)?shù)據(jù)服務(wù)的多樣性，形成統(tǒng)一訪問方法；要支持?jǐn)?shù)據(jù)服務(wù)靈活變更需求；對(duì)數(shù)據(jù)服務(wù)要有有效監(jiān)控手段；平臺(tái)要支持多租戶管理；要有支撐數(shù)據(jù)服務(wù)的支撐技術(shù)。數(shù)據(jù)管理服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容服務(wù)技術(shù)要解決的問題：第38頁，共52頁。數(shù)據(jù)管理服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)

16、計(jì)與內(nèi)容數(shù)據(jù)服務(wù)發(fā)布管理數(shù)據(jù)服務(wù)訪問管理數(shù)據(jù)服務(wù)變更管理數(shù)據(jù)服務(wù)監(jiān)控管理第39頁，共52頁。 數(shù)據(jù)資源目錄服務(wù)技術(shù)設(shè)計(jì)應(yīng)按照政務(wù)信息資源目錄體系系列標(biāo)準(zhǔn)的各項(xiàng)功能設(shè)計(jì)，并將功能按照公共平臺(tái)規(guī)范要求將各功能進(jìn)行服務(wù)化設(shè)計(jì)。數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第40頁，共52頁。目錄編目目錄注冊(cè)目錄發(fā)布目錄查詢目錄維護(hù)數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第41頁，共52頁。 共享交換服務(wù)技術(shù)設(shè)計(jì)，應(yīng)在按照政務(wù)信息資源交換體系系列標(biāo)準(zhǔn)要求的功能基礎(chǔ)上實(shí)現(xiàn)共享交換功能的服務(wù)化和前置機(jī)虛擬化，并實(shí)現(xiàn)電子政務(wù)公共平臺(tái)內(nèi)部應(yīng)用系統(tǒng)間及政務(wù)公共平臺(tái)內(nèi)部、外部應(yīng)用系統(tǒng)間的交換和共享服務(wù)。數(shù)據(jù)共享交換

17、服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第42頁，共52頁。交換橋接前置交換交換傳輸交換管理數(shù)據(jù)共享交換服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第43頁，共52頁。 數(shù)據(jù)集成服務(wù)設(shè)計(jì)，應(yīng)提供面向多租戶的ETL服務(wù)，即數(shù)據(jù)抽?。‥xtraction）、數(shù)據(jù)轉(zhuǎn)換（Transformation）、數(shù)據(jù)加載（Loading）服務(wù)，同時(shí)提供用戶自主使用的ETL開發(fā)配置和監(jiān)控管理服務(wù)，幫助用戶將批量異構(gòu)的數(shù)據(jù)集成到統(tǒng)一的存儲(chǔ)管理系統(tǒng)中，以便完成進(jìn)一步的數(shù)據(jù)挖掘和分析。數(shù)據(jù)集成服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第44頁，共52頁。數(shù)據(jù)抽取服務(wù)數(shù)據(jù)轉(zhuǎn)換服務(wù)數(shù)據(jù)加載服務(wù)ETL開發(fā)配置服務(wù)ETL監(jiān)控管理服務(wù)數(shù)據(jù)集成服務(wù)技術(shù)設(shè)

18、計(jì)對(duì)可支持常見關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、文件等不同類型的數(shù)據(jù)源的數(shù)據(jù)抽取，必須支持主流國產(chǎn)數(shù)據(jù)庫。支持全量抽取、增量抽取、基于日志的抽取等抽取模式。具備擴(kuò)展能力，可以支持諸如NoSQL的非關(guān)系數(shù)據(jù)庫的抽取。數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第45頁，共52頁。 主要指為滿足電子政務(wù)應(yīng)用需求而提供的對(duì)數(shù)據(jù)的多種技術(shù)處理手段。電子政務(wù)中常用的有：數(shù)據(jù)分析服務(wù)和數(shù)據(jù)展現(xiàn)服務(wù)等。數(shù)據(jù)處理服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第46頁，共52頁。數(shù)據(jù)分析服務(wù)數(shù)據(jù)展現(xiàn)服務(wù)數(shù)據(jù)處理服務(wù)技術(shù)設(shè)計(jì)數(shù)據(jù)管理技術(shù)設(shè)計(jì)與內(nèi)容第47頁，共52頁。 公共平臺(tái)應(yīng)根據(jù)所管理數(shù)據(jù)的規(guī)模和實(shí)際業(yè)務(wù)需求提供大數(shù)據(jù)特征的數(shù)據(jù)分析和預(yù)測(cè)分析服務(wù)：具有良好的擴(kuò)展性、容錯(cuò)性和大規(guī)模并行處理特征，滿足電子政務(wù)的智能性分析預(yù)測(cè)的需求；應(yīng)支持海量數(shù)據(jù)挖