大數(shù)據(jù)統(tǒng)計平臺建設(shè)方案

AIU個↓叨

))1101011統(tǒng)計大數(shù)據(jù)統(tǒng)計平臺建設(shè)方案文….0)1大數(shù)據(jù)統(tǒng)計平臺綜述2

大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)3大數(shù)據(jù)統(tǒng)計平臺演進路線4大數(shù)據(jù)統(tǒng)計平臺建設(shè)實施5

大數(shù)據(jù)統(tǒng)計平臺治理目錄CONTENTS大數(shù)據(jù)統(tǒng)計平臺利用面臨的困惑和挑戰(zhàn)要完善統(tǒng)計交通、信息化基礎(chǔ)設(shè)施等市政治理效能有

待提升政府要提升公共服務(wù)質(zhì)量，提高行政效能資源環(huán)境有待改

善市民生活質(zhì)量有待提高統(tǒng)計居民社保、教育、文化和

衛(wèi)生等基礎(chǔ)日益重要統(tǒng)計污染、氣候變暖、資源

可持續(xù)性需要優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)、發(fā)展新

興產(chǎn)業(yè)、改進傳統(tǒng)產(chǎn)業(yè)統(tǒng)計基礎(chǔ)設(shè)施有

待完善產(chǎn)業(yè)經(jīng)濟有待

發(fā)展統(tǒng)計問題缺乏政府?dāng)?shù)據(jù)共享機制的責(zé)任主體，怕犯泄密錯誤，寧可不作為04缺乏機制大數(shù)據(jù)統(tǒng)計平臺利用面臨的困惑和挑戰(zhàn)缺乏政府?dāng)?shù)據(jù)共享的統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，缺乏治理機制設(shè)計缺乏政府?dāng)?shù)據(jù)共享的理念對治理現(xiàn)代化認(rèn)識不足02快乏標(biāo)準(zhǔn)缺乏數(shù)據(jù)共享的技術(shù)支撐能力和基礎(chǔ)平臺01缺乏理念03缺乏工具大數(shù)據(jù)統(tǒng)計平臺中心建設(shè)定位·

自動收費·

票務(wù)管理·

運輸信息管理智慧的交通全面感知智慧統(tǒng)計智能處理·

犯罪信息倉庫·

突發(fā)事件響應(yīng)·

數(shù)字監(jiān)控系統(tǒng)智慧的公共安全·

開放式學(xué)習(xí)

·

先進教室·

智慧的科技園區(qū)智慧的教育與科技·

電子病歷·

家庭健康服務(wù)·

醫(yī)療費用管理智慧的醫(yī)療·

高速寬帶網(wǎng)路·

智慧的電力·

建筑能耗評估監(jiān)測

·

水處理/水資源管理·

失業(yè)保險金管理

·就業(yè)服務(wù)·

家庭服務(wù)·

住宅信息管理智慧的公共事業(yè)智慧的市民服務(wù)推動公共服務(wù)便利化，讓百姓辦事不求人，實現(xiàn)衣食住行醫(yī)療教育等公共服務(wù)便捷化，市民生活幸福指數(shù)明顯提升善政基于大數(shù)據(jù)推進政府各項改革，轉(zhuǎn)變執(zhí)政理念，創(chuàng)新治理方式，由電子

政務(wù)向智慧政務(wù)升級，不斷提高政府工作的效率和效能大數(shù)據(jù)統(tǒng)計平臺中心建設(shè)定位依托統(tǒng)計大數(shù)據(jù)中心相關(guān)平臺和應(yīng)用支撐，匯聚統(tǒng)計管理各相關(guān)部門業(yè)務(wù)數(shù)據(jù)，進行集中展示和

分析，提升統(tǒng)計運行管理、政務(wù)服務(wù)、統(tǒng)計綜合管理決策和產(chǎn)業(yè)轉(zhuǎn)型升級等方面的綜合能力。通過大數(shù)據(jù)推動產(chǎn)

業(yè)結(jié)構(gòu)優(yōu)化升級，

催生基于大數(shù)據(jù)、

網(wǎng)絡(luò)經(jīng)濟的新興產(chǎn)

業(yè)，促進投資，拉

動經(jīng)濟增長統(tǒng)計管理惠民興

業(yè)掃描、分類收入組

成本組票據(jù)傳遞造成很大成本，

對成本降低的作用有限對管理和內(nèi)控主要是人

為監(jiān)控，沒有太大幫助共享歷史-傳統(tǒng)共享費用組原始資料提交財務(wù)業(yè)務(wù)提單

審核及掃描

領(lǐng)導(dǎo)審批數(shù)據(jù)提供財務(wù)賬表、賬轉(zhuǎn)表及數(shù)據(jù)分析任務(wù)分發(fā)收入組制證成本組制證資金中心支付

資金組審核支付指令共享中心/共享分中心任務(wù)分發(fā)資產(chǎn)組制證任務(wù)分發(fā)-歸

檔各部門共享平臺共享財務(wù)標(biāo)準(zhǔn)業(yè)務(wù)流程共享數(shù)據(jù)中心

任務(wù)分發(fā)費用組制證打印建設(shè)目標(biāo)-業(yè)財資稅數(shù)字化生態(tài)圈特制01數(shù)據(jù)規(guī)劃02數(shù)據(jù)采集03數(shù)據(jù)分析負(fù)責(zé)資金統(tǒng)一支付通過主數(shù)據(jù)管理規(guī)劃、數(shù)據(jù)采集載體設(shè)計、

數(shù)據(jù)分析挖掘及建模，支撐管理會計指標(biāo)體

系分析，支撐財務(wù)管理報表。負(fù)責(zé)業(yè)務(wù)管理及業(yè)務(wù)數(shù)據(jù)采集

驅(qū)動財務(wù)信息負(fù)責(zé)財務(wù)信息生成及處

理反饋及控制業(yè)務(wù)業(yè)、財、資、稅及數(shù)據(jù)分析建設(shè)負(fù)責(zé)增值稅進項銷項管理生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力提升價值創(chuàng)造能力支撐精準(zhǔn)決策創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建設(shè)財務(wù)信息平臺數(shù)據(jù)池業(yè)務(wù)共享支撐平臺集成型企業(yè)業(yè)務(wù)協(xié)同平臺經(jīng)濟活動

分析精準(zhǔn)決策通用接口決策支持平臺任務(wù)池票據(jù)池提升全面預(yù)算管控能力提升資金集中管控能力提升制度執(zhí)行力提升工作質(zhì)量和效率提升風(fēng)險管控能力支撐精準(zhǔn)決策創(chuàng)造價值通過管理提升創(chuàng)造價值

生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建設(shè)生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力

提升價值創(chuàng)造能力業(yè)務(wù)數(shù)據(jù)生產(chǎn)驅(qū)動財務(wù)數(shù)據(jù)支撐精準(zhǔn)決策創(chuàng)造價值加工通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建設(shè)業(yè)務(wù)部門業(yè)務(wù)

業(yè)財生

業(yè)務(wù)

!支

撐

態(tài)

圈

支撐財務(wù)部門分析業(yè)務(wù)信息反映控制財務(wù)信息生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力◆提升價值創(chuàng)造能力支撐精準(zhǔn)決策創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建立生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力◆提升價值創(chuàng)造能力協(xié)同和推動記錄和控制夠略務(wù)多好決策和配置弊

口財務(wù)共享

平臺【核心業(yè)務(wù)處理】查詢分析信息化生態(tài)圈體系架構(gòu)-工業(yè)板塊費用報銷組織機構(gòu)、

供應(yīng)商主數(shù)據(jù)、主數(shù)據(jù)平臺物資、機械、周轉(zhuǎn)材

主數(shù)據(jù)業(yè)務(wù)系統(tǒng)業(yè)務(wù)相關(guān)系統(tǒng)核算

系統(tǒng)影像系統(tǒng)資

金

金

支

付

管

理

、

系統(tǒng)資金業(yè)務(wù)管理、財務(wù)賬務(wù)查詢、

年初、年末處理網(wǎng)報

系統(tǒng)財務(wù)業(yè)務(wù)查詢像附件管理系統(tǒng)……接口股份云平臺影像系統(tǒng)報賬平臺

共享平臺

核算系統(tǒng)

專項核算報表系統(tǒng)二級云平臺信息化體系部署架構(gòu)微信平臺資金平臺財務(wù)頂層平臺業(yè)務(wù)規(guī)范

基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)化

業(yè)務(wù)模式標(biāo)準(zhǔn)化

業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化

業(yè)務(wù)流程標(biāo)準(zhǔn)化門

戶

權(quán)

限

基

礎(chǔ)通

訊

移

動任

務(wù)集

成數(shù)據(jù)表

單流程

業(yè)務(wù)制

證影像建模支撐環(huán)境

組

件

體系

數(shù)據(jù)組

件

組件組件組件

組

件引擎

引擎

引擎組件

組件組件中鐵財務(wù)共享平臺票據(jù)池影像管理附件管理影像采集影像查看任務(wù)池流程管理分發(fā)機制任務(wù)管理績效考核數(shù)據(jù)池業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)分析財務(wù)數(shù)據(jù)財務(wù)報表共享接口系統(tǒng)工業(yè)業(yè)務(wù)系統(tǒng)采購管理生產(chǎn)管理

銷售管理合同管理主數(shù)據(jù)平臺人員信息客商信息

機構(gòu)信息頂層數(shù)據(jù)資金系統(tǒng)賬戶管理資金管理票據(jù)指令付款指令報表系統(tǒng)報表設(shè)置報表填報合并報表數(shù)據(jù)分析

數(shù)據(jù)采集

建模工具

展現(xiàn)設(shè)置

數(shù)據(jù)分析

預(yù)警模型

風(fēng)險預(yù)警

領(lǐng)導(dǎo)查詢移動展現(xiàn)核算系統(tǒng)賬齡分析資產(chǎn)管理稅務(wù)系統(tǒng)對賬平臺數(shù)據(jù)接口數(shù)據(jù)接口數(shù)字生態(tài)共享建設(shè)方案報賬平臺互聯(lián)網(wǎng)+財務(wù)以“互聯(lián)網(wǎng)+財務(wù)”的模式，為企業(yè)統(tǒng)計提供

專業(yè)化財務(wù)核算服務(wù)，涵蓋財務(wù)核算的方方面

面，包括收入、成本、資產(chǎn)、費用、資金、稅

務(wù)

等

。資金收入資

產(chǎn)為統(tǒng)計提供專業(yè)化核算服務(wù)費用成本1、用核算系統(tǒng)的財務(wù)信息

控制業(yè)務(wù)系統(tǒng)的業(yè)務(wù)發(fā)生，

產(chǎn)生資金支付計劃或額度4、資金平臺支付完成，

共享平臺形成正式憑證給

核算系統(tǒng)，形成閉環(huán)3、共享平臺生成預(yù)憑證后，共

享資金組監(jiān)控支付風(fēng)險，審批

資金支付指令后推送到資金平臺，資金平臺提供統(tǒng)一支付出

口2、報賬平臺根據(jù)資金支付額度進行資金支付控制負(fù)責(zé)統(tǒng)計資金風(fēng)險監(jiān)控4、標(biāo)準(zhǔn)化業(yè)財處理流

程加強統(tǒng)計管控政策的解讀，

標(biāo)準(zhǔn)化企業(yè)流程：將業(yè)財審批流程標(biāo)準(zhǔn)化，由

系統(tǒng)控制流程風(fēng)險，推進內(nèi)

控制度落地。3、標(biāo)準(zhǔn)化財務(wù)處理政策加強政策解讀與細(xì)化，標(biāo)準(zhǔn)化財務(wù)

核算政策：根據(jù)業(yè)務(wù)表單設(shè)計和配置憑證模版，

由系統(tǒng)自動制證，標(biāo)準(zhǔn)化統(tǒng)計財務(wù)

核算政策與標(biāo)準(zhǔn)，實現(xiàn)業(yè)財數(shù)據(jù)縱

向一致性，提高統(tǒng)計內(nèi)部財務(wù)數(shù)據(jù)

的橫向可比性。1、標(biāo)準(zhǔn)化基礎(chǔ)數(shù)據(jù)強化財務(wù)主數(shù)據(jù)管理：標(biāo)準(zhǔn)化機構(gòu)、人員、客商、

科目、字典等基礎(chǔ)數(shù)據(jù)，為

系統(tǒng)集成和數(shù)據(jù)分析打好基

礎(chǔ)。2、標(biāo)準(zhǔn)化業(yè)務(wù)數(shù)據(jù)采集標(biāo)準(zhǔn)化業(yè)務(wù)數(shù)據(jù)的填寫與采集：將業(yè)務(wù)數(shù)據(jù)用標(biāo)準(zhǔn)化的表單進行

采集，加強業(yè)務(wù)規(guī)范性、橫向可

比性，強化核算依據(jù)的標(biāo)準(zhǔn)與規(guī)

范，為自動制證和賬轉(zhuǎn)表的實現(xiàn)

打好基礎(chǔ)。負(fù)責(zé)業(yè)統(tǒng)計策解讀與標(biāo)準(zhǔn)化風(fēng)險控制數(shù)據(jù)挖掘及風(fēng)險管理數(shù)據(jù)分析管理報表

數(shù)據(jù)資產(chǎn)形成管理報表財務(wù)報表

數(shù)據(jù)資產(chǎn)形成財務(wù)報表根據(jù)數(shù)據(jù)資產(chǎn)應(yīng)用要求優(yōu)化數(shù)據(jù)采集

數(shù)據(jù)資產(chǎn)管理分析建模數(shù)據(jù)資產(chǎn)挖掘進行風(fēng)險管理負(fù)責(zé)統(tǒng)計數(shù)據(jù)資產(chǎn)的采集和管理數(shù)據(jù)資產(chǎn)管理與應(yīng)用組織架構(gòu)體系組織機構(gòu)、職能部門、企業(yè)職員、

系統(tǒng)用戶、崗位職責(zé)等。核算政策體系會計科目、輔助類別、銀行賬戶、

客商往來、業(yè)務(wù)板塊等。其他標(biāo)準(zhǔn)字典國家地區(qū)、企業(yè)類型、單位隸屬

關(guān)系、營業(yè)狀態(tài)、職稱等。基礎(chǔ)數(shù)據(jù)申請及審批機構(gòu)、部門、人員、客商、字典

新增及變更審批，申請審批功能?？缇株P(guān)聯(lián)交易跨局管理交易的數(shù)據(jù)的抽取及對

賬。股份數(shù)據(jù)分析各局共享數(shù)據(jù)抽取及分析展現(xiàn)。股份數(shù)據(jù)中心及主數(shù)據(jù)建設(shè)資金處理組資金相關(guān)的核算及管理工作，主要負(fù)責(zé)資金中心的收支業(yè)務(wù)

。02綜合核算組應(yīng)收應(yīng)付賬齡分析、營業(yè)外

收支、質(zhì)保金折現(xiàn)、金融資

產(chǎn)確認(rèn)轉(zhuǎn)移處置、投資、融

資、稅務(wù)保險、期末結(jié)轉(zhuǎn)等

業(yè)務(wù)。共享站點共享站點及分中心管理；

共享業(yè)務(wù)分組及崗位設(shè)置。共享會計共享會計注冊及管理。任務(wù)處理共享任務(wù)的分發(fā)機制；共享標(biāo)準(zhǔn)節(jié)點：初審、符

合、資金處理節(jié)點。影像系統(tǒng)影像采集、發(fā)票識別、影

像上傳、影像管理、影像

補掃、電子文檔等。資產(chǎn)費用組資產(chǎn)(臨時設(shè)施、在建工程、

固定資產(chǎn)、無形資產(chǎn)、投資性

房地產(chǎn))新增、折舊、攤銷、

處置等業(yè)務(wù)；職工薪酬及差旅費、會議費等

經(jīng)費報銷業(yè)務(wù)。收入成本組收入確認(rèn)、成本確認(rèn)、勞務(wù)結(jié)算、

材料領(lǐng)用、攤銷及處置、機械費

結(jié)算、其他直接費結(jié)算、專項儲

備、研發(fā)支出、其他業(yè)務(wù)收入及

成本等業(yè)務(wù)。01任務(wù)分發(fā)03共享平臺建設(shè)04簡政放權(quán)

政府可借助大數(shù)據(jù)，助力簡政放權(quán)，支持從事前審批向事中事后監(jiān)管轉(zhuǎn)變，借助大數(shù)據(jù)實現(xiàn)政府負(fù)面清單、權(quán)力清單和責(zé)任清單的透明化管理，通過大數(shù)據(jù)實現(xiàn)精準(zhǔn)監(jiān)督。經(jīng)濟發(fā)展

政府借助大數(shù)據(jù)提高經(jīng)濟治理水平，融合稅務(wù)、財政、金融等多部門數(shù)據(jù)，同時結(jié)合社會化大數(shù)據(jù)，建立經(jīng)濟大數(shù)據(jù)決策支持體系，為產(chǎn)業(yè)結(jié)構(gòu)調(diào)整升級提供支持。政府運用大數(shù)據(jù)推動民生服務(wù)，實現(xiàn)基于大數(shù)據(jù)的智慧交通、智慧環(huán)保、智慧醫(yī)療、智慧教育、智慧養(yǎng)老、智慧旅游等。把大數(shù)據(jù)產(chǎn)業(yè)與大眾創(chuàng)業(yè)、萬眾創(chuàng)新結(jié)合起來。建立大數(shù)據(jù)創(chuàng)業(yè)公司、大數(shù)據(jù)產(chǎn)業(yè)園、大數(shù)據(jù)重點實驗室

等大數(shù)據(jù)生態(tài)環(huán)境。政府可借助大數(shù)據(jù)實現(xiàn)統(tǒng)計管理、社會管理、應(yīng)急指揮等精準(zhǔn)化治理。大數(shù)據(jù)將通過全息的數(shù)據(jù)呈現(xiàn)，使政府從“主觀主義”“經(jīng)驗主義”的模糊治理方式，轉(zhuǎn)向“實事求是”“數(shù)據(jù)驅(qū)動”的精準(zhǔn)治理方式。服務(wù)民生產(chǎn)業(yè)聚集大數(shù)據(jù)統(tǒng)計平臺建設(shè)目標(biāo)精準(zhǔn)治理●

統(tǒng)計已建立面向整個統(tǒng)計服務(wù)的數(shù)據(jù)

倉庫，整合了前臺應(yīng)急運營數(shù)據(jù)和后

臺管理數(shù)據(jù)，建立了面向統(tǒng)計服務(wù)的

管理分析應(yīng)用；●

政府已開展服務(wù)民生等多種應(yīng)急，積

累了一定量的應(yīng)急數(shù)據(jù)，同時應(yīng)急人

員也從服務(wù)管理、風(fēng)險評級和經(jīng)營規(guī)

模預(yù)測等方面，提出了大量分析預(yù)測

需求；●

……●

大數(shù)據(jù)統(tǒng)計平臺累積數(shù)據(jù)沒有充分利用●

缺乏面向整個政府的統(tǒng)一、完整的數(shù)據(jù)視圖；●

缺乏支撐政府日常應(yīng)急運轉(zhuǎn)的風(fēng)險評

估體系；●

缺乏政府服務(wù)360度視圖，服務(wù)行為

分析和預(yù)測無法實現(xiàn)；●

缺乏面向銀行應(yīng)急運營管理的關(guān)鍵績

效指標(biāo)體系；數(shù)據(jù)平臺、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控

…

…基礎(chǔ)數(shù)據(jù)平臺和BI應(yīng)用建設(shè)是未來一段時間的重點!●

數(shù)據(jù)平臺整體架構(gòu)；●

數(shù)據(jù)平臺各層建設(shè)的標(biāo)準(zhǔn)；●

較成熟的銀行業(yè)數(shù)據(jù)模型；●

數(shù)據(jù)質(zhì)量治理；●

元數(shù)據(jù)管理；●

數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)●

數(shù)據(jù)整合；●

數(shù)據(jù)應(yīng)用建設(shè)；●

數(shù)據(jù)平臺的軟硬環(huán)境

●

……基本的現(xiàn)狀關(guān)注的內(nèi)容存在的問題政府管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析Page26云數(shù)據(jù)推送平臺已實現(xiàn)了主要統(tǒng)計服務(wù)及銀行應(yīng)急系統(tǒng)數(shù)據(jù)清洗、整合，為未來政府?dāng)?shù)據(jù)平臺提供了豐富

的數(shù)據(jù)源。供應(yīng)鏈銀行系統(tǒng)POP

系

統(tǒng)統(tǒng)一定義BI

應(yīng)用統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計數(shù)據(jù)模式統(tǒng)

一

部署技術(shù)基礎(chǔ)>政堆沈策晨查看職能單位的應(yīng)急經(jīng)營情況c

二政喻職能管腔層通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，政府將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類應(yīng)急進行前瞻

性預(yù)測及分析，為政府各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力大數(shù)據(jù)統(tǒng)計平臺建設(shè)目標(biāo)自定義報表工具行+列的簡單定義方式統(tǒng)一制定目標(biāo)和分

析模型鄉(xiāng)種格式報表

虹分析工具關(guān)注政府主

要經(jīng)營指標(biāo)備級咖危蝶作爆處部非結(jié)構(gòu)化數(shù)據(jù)其他應(yīng)急系統(tǒng)采購管理系統(tǒng)上

一

年

度200400700我應(yīng)收款Page

27本

年

度T0600990資產(chǎn)負(fù)債表公司1仿真、預(yù)警、分析、預(yù)測、決策、處置

更智能的智慧調(diào)度

城市畫像

企業(yè)畫像

人口畫像城市事件

預(yù)警/立案

處置/處突監(jiān)察評價運行監(jiān)測

智能分撥征信評價更便捷的政務(wù)服務(wù)城市大腦更智慧的產(chǎn)業(yè)轉(zhuǎn)型云計算更貼心的民生服務(wù)0傳感器政務(wù)網(wǎng)調(diào)查監(jiān)測政務(wù)管理移動互

聯(lián)網(wǎng)移動應(yīng)用大數(shù)據(jù)統(tǒng)計平臺頂層框架分物聯(lián)網(wǎng)Page28感知管理CCTV取通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保政府各級單位均可在保證數(shù)據(jù)隱私和安全的前提

下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為政府重要資產(chǎn)的應(yīng)急價值實現(xiàn)分散在服務(wù)民生等各個應(yīng)急系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單

一的產(chǎn)品、服務(wù)等數(shù)據(jù)的政府級視圖，有效促進應(yīng)急的集成和協(xié)作，并為政府級分

析、交叉銷售提供基礎(chǔ)政府應(yīng)急人員可以基于明細(xì)、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為銀行應(yīng)急

創(chuàng)新(服務(wù)服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等)創(chuàng)造了有利條件通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基

礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)

變，提升相關(guān)IT系統(tǒng)的建設(shè)和運行效率從中長期看，數(shù)據(jù)倉庫對政府分散在各個應(yīng)急系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于政

府整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實用性1.實現(xiàn)數(shù)據(jù)共享2.加強應(yīng)急協(xié)作3.促進應(yīng)急創(chuàng)新4.提升建設(shè)效率5.改善數(shù)據(jù)質(zhì)量大數(shù)據(jù)統(tǒng)計平臺建設(shè)預(yù)期收益Page

29管控組織□數(shù)據(jù)管控委員會

數(shù)據(jù)所有人□數(shù)據(jù)認(rèn)責(zé)人

aIT支持□數(shù)據(jù)產(chǎn)生者□數(shù)據(jù)使用者o………管控流程□數(shù)據(jù)接入流程□數(shù)據(jù)變更流程□數(shù)據(jù)授權(quán)流程□數(shù)據(jù)退役流程□標(biāo)準(zhǔn)/政策制定流程□評價考核流程o……流程支撐制定考評評價與考核口標(biāo)準(zhǔn)

(數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求□遵守標(biāo)準(zhǔn)所需要的政策□政策與標(biāo)準(zhǔn)遵從考評定義工

具支撐管控綜合管理□標(biāo)準(zhǔn)/規(guī)范管理□流程管理□考核儀表盤管控平臺

元數(shù)據(jù)管理□應(yīng)急元數(shù)據(jù)管理□技術(shù)元數(shù)據(jù)管理□管理元數(shù)據(jù)分析工具支撐數(shù)據(jù)質(zhì)量管理□稽核規(guī)則管理□數(shù)據(jù)稽核□質(zhì)量報告>

明

確

了

數(shù)

據(jù)管控過程中的組織結(jié)構(gòu)、角色、

職責(zé)等。管控組

織除了要負(fù)責(zé)制

定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)

量、安全等要求

外，還需要負(fù)責(zé)

制定管控的相關(guān)

流程和評價考核

指標(biāo)等內(nèi)容。>通過建立一

些定性或定量的

數(shù)據(jù)管控評價考核指標(biāo)，去評估

及考核數(shù)據(jù)相關(guān)

責(zé)任人職責(zé)履行

情況、數(shù)據(jù)管控

標(biāo)準(zhǔn)及數(shù)據(jù)政策

的執(zhí)行情況等。>規(guī)范了數(shù)

據(jù)管控過程中，

各個環(huán)節(jié)日常任務(wù)處理的運

作模式，例如數(shù)據(jù)定義如何

變更、數(shù)據(jù)沖

突如何協(xié)調(diào)等。>

采用專門

的技術(shù)平臺支撐管控流程的

自動化，發(fā)布

管控組織制定

的一些相關(guān)標(biāo)

準(zhǔn)和規(guī)范，及時反映管控過

程中存在的一些問題等。組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系

統(tǒng)數(shù)據(jù)的管控。大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運轉(zhuǎn)機制流程支撐Page

30制定………………口口3

大數(shù)據(jù)統(tǒng)計平臺演進路線

大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺數(shù)據(jù)質(zhì)量管理平臺大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)大數(shù)據(jù)統(tǒng)計平臺建設(shè)實施重點1542目錄Page

31融合數(shù)據(jù)

服務(wù)數(shù)據(jù)數(shù)據(jù)融合

數(shù)據(jù)服務(wù)大數(shù)據(jù)基礎(chǔ)平臺政府決策大數(shù)據(jù)產(chǎn)業(yè)升級大數(shù)據(jù)統(tǒng)計運行大數(shù)據(jù)公共服務(wù)大數(shù)據(jù)政

府

部

門

數(shù)

據(jù)

社

會

化

數(shù)

據(jù)互

聯(lián)

網(wǎng)

數(shù)

據(jù)大數(shù)據(jù)統(tǒng)計平臺建設(shè)思路管理對象多維信息高融合環(huán)

保財政

人

改委跨部門數(shù)據(jù)整合加工數(shù)據(jù)質(zhì)量跨部門數(shù)據(jù)關(guān)聯(lián)融合按需服務(wù)民政

工商公安

質(zhì)監(jiān)

食藥監(jiān)基礎(chǔ)屬

性信息業(yè)務(wù)狀

態(tài)信息空間地理1

空間地理2

空間地理3空

間

地

理

4空間地理維交換數(shù)據(jù)10.8馨0.40.2o狀志維數(shù)據(jù)采集交換共享信息應(yīng)用數(shù)據(jù)融合分析數(shù)據(jù)交換平臺企

業(yè)個

人交通統(tǒng)計住建衛(wèi)生稅務(wù)法院處

理管理對象供應(yīng)鏈數(shù)據(jù)貼源數(shù)據(jù)區(qū)數(shù)據(jù)區(qū)數(shù)據(jù)交換組件

數(shù)據(jù)交換平臺輿情控制系統(tǒng)

金融系統(tǒng)

…系統(tǒng)大數(shù)據(jù)區(qū)服務(wù)匯總社交媒體用戶評價

服務(wù)主題移動互聯(lián)訪問日志

統(tǒng)計服務(wù)數(shù)據(jù)用戶訪

問層數(shù)據(jù)應(yīng)

用層數(shù)據(jù)計

算層數(shù)據(jù)交

換層數(shù)

據(jù)

產(chǎn)生層數(shù)據(jù)庫數(shù)據(jù)交換組件統(tǒng)計統(tǒng)計服務(wù)

公檢法系統(tǒng)賬戶匯總

機構(gòu)匯總協(xié)議主題

產(chǎn)品主題待處理大數(shù)據(jù)歷史歸檔數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)服務(wù)管理財務(wù)管理

風(fēng)險管理流程調(diào)度

監(jiān)控告警流程調(diào)度層大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)IT人

員

內(nèi)部用戶數(shù)據(jù)標(biāo)準(zhǔn)

數(shù)據(jù)質(zhì)量

元數(shù)據(jù)

數(shù)據(jù)安全實時數(shù)

歷史數(shù)據(jù)查詢

據(jù)查詢政府內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)增值產(chǎn)

品數(shù)據(jù)區(qū)流程

調(diào)度

平

臺數(shù)據(jù)管控層數(shù)據(jù)

管控

平

臺數(shù)據(jù)增

值產(chǎn)品沙盤演練數(shù)據(jù)區(qū)大數(shù)據(jù)交換組件內(nèi)部管理分析應(yīng)急沙盤演練處理后大數(shù)據(jù)主

題

數(shù)

據(jù)

區(qū)實時數(shù)據(jù)區(qū)外部用戶分析大數(shù)據(jù)統(tǒng)計平臺門戶整合

社會

災(zāi)害輿情事件事件事件采集事件信息數(shù)據(jù)源終端設(shè)備統(tǒng)計運行監(jiān)控中心視頻氣象環(huán)保交通位置

數(shù)據(jù)

監(jiān)測監(jiān)測流量信息EO

a1實時監(jiān)測流數(shù)據(jù)物聯(lián)網(wǎng)監(jiān)控設(shè)備專題數(shù)據(jù)經(jīng)濟數(shù)據(jù)建筑數(shù)據(jù)法人庫人口庫空

間

數(shù)

據(jù)政務(wù)數(shù)據(jù)委辦局?jǐn)?shù)據(jù)庫大數(shù)據(jù)平臺總體架構(gòu)政務(wù)決策支持平臺■基礎(chǔ)設(shè)施：地下管網(wǎng)、統(tǒng)計部件■交通出行：交通路況、車輛監(jiān)控、

客流量監(jiān)控■生態(tài)環(huán)境：氣象、空氣、水質(zhì)、污

染源、水位、雨量監(jiān)測數(shù)據(jù)■整合統(tǒng)計管理相關(guān)部門數(shù)據(jù)，建設(shè)

專題數(shù)據(jù)庫■接入天地圖地圖資源，全面展示統(tǒng)

計綜合運行視圖匯聚委辦局?jǐn)?shù)據(jù)■監(jiān)測數(shù)據(jù)實時更新，掌握最新動態(tài)■重要場所視頻監(jiān)控，及時查看現(xiàn)場狀

況■預(yù)警閾值設(shè)置和上報，提高保障能力打造統(tǒng)計資源基礎(chǔ)平臺實時可視化展示和預(yù)警統(tǒng)計運行大數(shù)據(jù)的資源采集監(jiān)控35統(tǒng)計大數(shù)據(jù)總體體征分析基于統(tǒng)計大數(shù)據(jù)的采集分析，建立一套經(jīng)專家論證的、符合統(tǒng)計實際的、科學(xué)合理的統(tǒng)計運行

評價指標(biāo)體系，基本涵蓋了統(tǒng)計運行的主要方面。通過儀表盤、雷達(dá)圖、柱狀圖、樹狀圖等多種呈

現(xiàn)方式，使得市領(lǐng)導(dǎo)能夠全面、直觀、多視角、快速地了解整個統(tǒng)計的總體運行狀態(tài)。統(tǒng)計體征指標(biāo)交通出行交通擁堵指數(shù)統(tǒng)

計客運指數(shù)2生態(tài)環(huán)境統(tǒng)計宜居指數(shù)

污染源排放指數(shù)氣象指數(shù)太湖藍(lán)藻指數(shù)4基礎(chǔ)設(shè)施統(tǒng)計供水指數(shù)

統(tǒng)計排水指數(shù)

統(tǒng)計能源指數(shù)

統(tǒng)計環(huán)境指數(shù)

統(tǒng)計通信指數(shù)

管網(wǎng)安全指數(shù)公共安全生產(chǎn)安全指數(shù)

統(tǒng)計治安指數(shù)

交通安全指數(shù)

消防安全指數(shù)

公共衛(wèi)生指數(shù)

城管綜合指數(shù)36智慧交通：交通信息實時采集、匯總、分析、發(fā)布航空行業(yè)解決方案高速公路解決方案收長途客運貼鐵站鐵路行業(yè)解決方案航空行業(yè)解決方案■客票銷售電子商務(wù)平臺■航空代理人銷售平臺■機場旅客服務(wù)平臺■機場信息管理系統(tǒng)■航空協(xié)會與管理機構(gòu)信息系統(tǒng)3高速公路解決方案■綜合視頻監(jiān)控

■ETC聯(lián)網(wǎng)收費■智能卡口與攔截■收費軟件通行卡加密軌道交通解決方案■地鐵綜合通信■售檢票系統(tǒng)■地鐵清分系統(tǒng)■乘客向?qū)到y(tǒng)統(tǒng)計綜合交通管理解決方案■統(tǒng)計交通數(shù)據(jù)采集發(fā)布■智能公交、智能停車■交通信號的智能控制■交通應(yīng)急指揮平臺鐵路行業(yè)解決方案■集裝箱貨運管理■鐵路旅客經(jīng)濟運行動態(tài)監(jiān)控■經(jīng)營分析與資產(chǎn)管理系統(tǒng)軌道交通解決方案上門診療/隨訪

個人/家庭健康檔案全科醫(yī)生隨診包社區(qū)熙康健康小屋■智慧醫(yī)療：可穿戴設(shè)備、電子病歷、遠(yuǎn)程醫(yī)療、移動支付地區(qū)大型綜合醫(yī)療醫(yī)院熙康社區(qū)健康平臺全方位支持/協(xié)同公衛(wèi)系統(tǒng))區(qū)域醫(yī)療信息網(wǎng)平臺轉(zhuǎn)診/遠(yuǎn)程醫(yī)療區(qū)域中心醫(yī)院

HIS個人/家庭健康檔案社區(qū)服務(wù)中心(HIS、

個人/家庭健康檔案區(qū)域診療平臺非健康檔案健康網(wǎng)政府公衛(wèi)監(jiān)控/決策平臺n*專家系統(tǒng)知識庫ORxim

POA十

xK軟

件家庭健康平臺智慧教育：整合各類教育資源，實現(xiàn)教育資源平衡教育管理公共服務(wù)平臺綜合辦公

教育管理信息系統(tǒng)平安校園

對接國家平臺教育資源公共服務(wù)平臺教材資源

品牌資源測評系統(tǒng)

網(wǎng)絡(luò)實驗班班通電子教輔+教學(xué)端電子教材+

教學(xué)端人人通

幼學(xué)通、翼校通飛Young人人通校校通

光纖寬帶無線網(wǎng)絡(luò)智慧圖書館

電子書包校園一卡通

平安校園教育主管部門遠(yuǎn)程教育智慧教室智慧校園學(xué)校老師學(xué)生家長智慧政務(wù)政務(wù)審批網(wǎng)格化管理政務(wù)服務(wù)政務(wù)服務(wù)智慧養(yǎng)老養(yǎng)老檔案緊急救援養(yǎng)老服務(wù)養(yǎng)老健康智慧社區(qū)平安社區(qū)智能家居智能物業(yè)社區(qū)020無線寬帶、3G

、4G網(wǎng)絡(luò)、物聯(lián)網(wǎng)云計算物聯(lián)網(wǎng)

大數(shù)據(jù)健康感知器

醫(yī)療設(shè)備終端政府

民企業(yè)移動終端智能終端

PC智慧社區(qū)：智慧政務(wù)、智慧網(wǎng)格、智慧養(yǎng)老、020智

慧

社

區(qū)

建

設(shè)

標(biāo)

準(zhǔn)管理門戶應(yīng)用

服務(wù)基礎(chǔ)

資源用戶終端門戶政府信

息

接

口

1

第

三

方

服

務(wù)

接

口用戶門戶GPS企業(yè)行為市場行為移動設(shè)備無線網(wǎng)關(guān)基礎(chǔ)設(shè)施監(jiān)控攝像智慧監(jiān)管：整合數(shù)據(jù)實現(xiàn)企業(yè)信用監(jiān)管工商食品安全宏觀經(jīng)濟水電氣熱企業(yè)管安全

監(jiān)管經(jīng)濟

市場基礎(chǔ)

設(shè)施衛(wèi)生安全節(jié)能減排公共安全價格指數(shù)交通運輸市政設(shè)施質(zhì)檢

安監(jiān)經(jīng)濟行為傳感器RFID互動溝通：增加創(chuàng)新的溝通渠道，提供市民與領(lǐng)

導(dǎo)，企業(yè)與政府之間互動交流的平臺

機制，加強與各界代表人士的協(xié)商，樹立一個公平、公正、公開，并且響應(yīng)快速高效的政府形象并聯(lián)審批：政府各聯(lián)網(wǎng)部門實現(xiàn)數(shù)據(jù)整合和信息

資源共享，對政府工作流程進行優(yōu)化

和改造，以標(biāo)準(zhǔn)化服務(wù)的方式實現(xiàn)各

類跨部門的聯(lián)動業(yè)務(wù)，提高政府辦事效

率智慧政務(wù)：數(shù)據(jù)開放、權(quán)利公開、政務(wù)協(xié)同權(quán)力公開：利用網(wǎng)上行政監(jiān)察和法制監(jiān)督系統(tǒng)對

“服務(wù)”的治理，對行政執(zhí)法信息公

開的程度和執(zhí)行效率進行監(jiān)督，確保

行政行為依法、透明、廉潔、高效運行一

站式服務(wù)：全面整合政府門戶及下屬單位子網(wǎng)站

的信息資源，實現(xiàn)有序互聯(lián)、有效共

享，政府各部門通過重置流程及資源

,以提供市民及公司便捷、優(yōu)質(zhì)、低成本的服務(wù)智慧政務(wù)6安全管理實時監(jiān)控統(tǒng)計安全事件，顯示事件名稱、緊急程度、

類

別、上報部門、發(fā)生時間

等信息，支持在GIS上進行定位顯示。提供事件周邊應(yīng)急資源的分析功能，包括醫(yī)院床位數(shù)、

應(yīng)急物資、避難場所等，

便于市領(lǐng)導(dǎo)對現(xiàn)場進行應(yīng)急指揮。事

件

名稱

條

程

度

洲

事

件

小

來

上

押

部

發(fā)

生

時

間插

作咨資一

客資疊細(xì)

預(yù)環(huán)事件

共P生中般

應(yīng)

行一般

一般

一般環(huán)急事件客汝環(huán)保局2015-10-0919.063應(yīng)急事件客流量鐵監(jiān)局2015-10-09183氣象預(yù)警像氣象局2015-10-09183填事件環(huán)境事件環(huán)境事件2015-10-09143028.

8公共衛(wèi)生公共衛(wèi)生公共衛(wèi)生2015-10-食品藥品食品安全2015-10-0917.37一般課預(yù)餐

交通事破

交通事故

山

體一般一般社

會一般

應(yīng)氣象局2015-10-0916

文通瑪2015-10-0916.文通局2015-10-0916.急事件媼應(yīng)急辦2015-10-0916.09055橋析0氣象預(yù)鑒

象

應(yīng)急事件文通

安全交通3量分析243歷史數(shù)據(jù)輿情報告年度報告監(jiān)測數(shù)據(jù)目

標(biāo)

庫民生資源：社會保險收支預(yù)測

價格波動預(yù)測市場經(jīng)濟預(yù)測大數(shù)據(jù)統(tǒng)計平臺預(yù)測分析、決策支持安全生產(chǎn)預(yù)測..統(tǒng)計交通容量預(yù)測

…

衛(wèi)生疫情預(yù)測..基礎(chǔ)設(shè)施：公眾服務(wù)：

安全監(jiān)管：可視化決策管理統(tǒng)計報表分析政務(wù)數(shù)據(jù)分析預(yù)測模型

預(yù)測結(jié)果宏觀調(diào)控

交通規(guī)劃

安全通告管理者可以實現(xiàn)行動指揮層層分析各領(lǐng)域運行狀態(tài)細(xì)化到最原始的指標(biāo)數(shù)據(jù)，并提供指標(biāo)變化趨勢分析。好的，馬上給您整理報告。發(fā)現(xiàn)不足確定需要重點關(guān)注和改進的指標(biāo)數(shù)據(jù)，安排專項整治。小李，咱們統(tǒng)計的生態(tài)環(huán)境總體狀況怎么樣?哪些環(huán)節(jié)需要重點關(guān)注和改進?綜合評價

全面、直觀、多視角、快速了解統(tǒng)計的總體運行狀態(tài)。統(tǒng)計綜合體征

領(lǐng)域指標(biāo)

三級指標(biāo)

監(jiān)測指標(biāo)統(tǒng)計運行態(tài)勢客觀評價基礎(chǔ)設(shè)施點擊播放交通出行生態(tài)環(huán)境公共安全基礎(chǔ)計算平臺(貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū))(Hadoop集群+Hive)Load(Hive)

1數(shù)據(jù)交換平臺(自主開發(fā)交換組件+NAS

存儲)FTP增值產(chǎn)品平臺(Hadoop

集群)DistcpHQL+Load沙盤演練平臺

(Hadoop

集群)DistcpHQL+Load管理分析平臺(X86

MPP集群)Sqoop食CopyfromloalSFTP/HTTP/API云數(shù)據(jù)推送平臺應(yīng)急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)統(tǒng)計平臺總體產(chǎn)品框架實時分析平臺

(

內(nèi)

存

數(shù)

據(jù)

庫)非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)SqoopMR歷史歸檔查詢平臺數(shù)據(jù)大腦管控平臺+Hive)流程調(diào)度平臺HQL+Load)

H

a

d

o

o

p

集

群SqoopDistcpDistcpQueue●

內(nèi)部應(yīng)急系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)統(tǒng)計日常統(tǒng)計服務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：

……政府日常應(yīng)急處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：

……●政府內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)日常應(yīng)急處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點評

……●

政府外部數(shù)據(jù)◆政府外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……●在本次項目實施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)●統(tǒng)計和政府應(yīng)急系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負(fù)責(zé)，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實現(xiàn)

對無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)產(chǎn)生層源數(shù)據(jù)內(nèi)容源數(shù)據(jù)增量Page

47大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲

庫的特點來針對性的設(shè)計工具，以追求卓越的性能云數(shù)據(jù)推送平臺統(tǒng)計系統(tǒng)

政府系統(tǒng)外部大數(shù)據(jù)NAS

存

儲數(shù)據(jù)平臺導(dǎo)入

數(shù)據(jù)平臺導(dǎo)出臨時區(qū)臨時區(qū)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)大數(shù)據(jù)交換組

件數(shù)據(jù)區(qū)數(shù)據(jù)交

換組件數(shù)據(jù)庫數(shù)據(jù)交

換組件數(shù)據(jù)交換層設(shè)計目標(biāo)數(shù)據(jù)服務(wù)層Hadoop

元數(shù)據(jù)ETL程

序區(qū)Page48政府?dāng)?shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的應(yīng)急系統(tǒng)變

化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)銀行數(shù)據(jù)平臺加工計算結(jié)果返回給應(yīng)急系統(tǒng)，暫存在NAS臨時數(shù)

據(jù)區(qū)e

數(shù)據(jù)平臺ETL加工處理程序(數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)

處理等)統(tǒng)一存儲在NAS集群指定目錄，各接口服務(wù)器通過文件

系統(tǒng)Link建立映射e

存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層NAS存儲Hadoop

集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)ETL數(shù)據(jù)處理程序區(qū)Page49●

定時抽取用戶訪問

日志，加載到數(shù)據(jù)

平臺大數(shù)據(jù)區(qū)HDFS指定目錄，MR

程序

加工處理●

開發(fā)網(wǎng)絡(luò)爬蟲程序

,掃描用戶微博，抓取用戶微博內(nèi)容

,社交圈信息，存入大數(shù)據(jù)區(qū)

Page

50●政府內(nèi)部非結(jié)構(gòu)化

、半結(jié)構(gòu)化數(shù)據(jù)，

如：音頻、視頻、

郵件、Office文檔

、抵押品掃描件等●

政府外部非結(jié)構(gòu)化

、半結(jié)構(gòu)化數(shù)據(jù)，

如：微博、貼吧、

論壇、用戶點擊流

、用戶移動位置等●

批量采集：大數(shù)據(jù)

源以SFTP協(xié)議批量

傳輸數(shù)據(jù)文件●

在線訪問：開發(fā)Java或C應(yīng)用，調(diào)用

大據(jù)源API,或以網(wǎng)

絡(luò)平臺爬蟲方式抓

取源系統(tǒng)非結(jié)構(gòu)化

、半結(jié)構(gòu)化數(shù)據(jù)●

組件以實時和批量兩種模式實現(xiàn)下列

功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交

換平臺(接口服務(wù)器)NAS指定目錄

存儲數(shù)據(jù)到數(shù)據(jù)平

臺大數(shù)據(jù)區(qū)指定

HDFS目

錄處理對象應(yīng)用場景大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)交換組件SFTP/J2EEHDFS

命令行Mapredurce實現(xiàn)技術(shù)實現(xiàn)功能●

Perl程序數(shù)據(jù)采集，調(diào)用

Perl文件模塊相關(guān)函

數(shù)，輪詢指定目錄，

獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl

執(zhí)行

文件級數(shù)據(jù)質(zhì)量檢查

數(shù)據(jù)加載，調(diào)用Hive

Load數(shù)據(jù)命令，加載到數(shù)據(jù)平臺臨時數(shù)據(jù)

區(qū)的Hive

Table●政府內(nèi)部應(yīng)急系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包

括兩大來源：統(tǒng)計統(tǒng)計服務(wù)數(shù)據(jù)，

數(shù)據(jù)存儲在Oracle

、

SQLServer、MySQL和

MongoDB四類數(shù)據(jù)庫政府互聯(lián)網(wǎng)銀行應(yīng)急

數(shù)據(jù)，數(shù)據(jù)存儲在MySQL數(shù)

據(jù)

庫●云數(shù)據(jù)推送平臺連接供應(yīng)鏈銀行系統(tǒng)數(shù)據(jù)

庫，分析供應(yīng)鏈銀行

MySQL

數(shù)據(jù)庫日志，識

別增量數(shù)據(jù)，存儲到

銀行平臺NAS

存儲的指

定目錄，銀行平臺加

載數(shù)據(jù)文件到數(shù)據(jù)平

臺臨時區(qū)Hive

表●

組件以實時和批量模式實現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集

群指定目錄，獲取數(shù)據(jù)

文件

(LZ0壓縮)數(shù)據(jù)核查，對數(shù)據(jù)文件

進行質(zhì)量校驗數(shù)據(jù)加載，加載數(shù)據(jù)到

臨時數(shù)據(jù)區(qū)應(yīng)用場景ORACLEMicrosoftSQLServerMySQL。mongoDB大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交換組件Perl十Hive

Load實現(xiàn)技求實現(xiàn)功能處理對象Page

51●

組件以批量方式實現(xiàn)下列數(shù)據(jù)交換功

能：貼源數(shù)據(jù)區(qū)和主題數(shù)

據(jù)區(qū)到集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)到主題數(shù)據(jù)

區(qū)和集市數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)

據(jù)區(qū)、集市數(shù)據(jù)區(qū)到

沙盤數(shù)據(jù)區(qū)●

Sqoop實現(xiàn)集市數(shù)據(jù)

區(qū)與數(shù)據(jù)平臺其他

Hadoop數(shù)據(jù)區(qū)的數(shù)

據(jù)交換●

Hadoop

命

令

、Hive

外部表、MR

程序?qū)?/p>

現(xiàn)數(shù)據(jù)平臺Hadoop

數(shù)據(jù)區(qū)間的數(shù)據(jù)交

換用罐護

鞭雄距好

s

5

的

B

服交牌平臺處理對象●數(shù)據(jù)平臺計算層各數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)沙盤數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)●

數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃

,統(tǒng)一將過期數(shù)據(jù)

歸檔到歷史數(shù)據(jù)歸

檔區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件Sqoop十HDFS

命令行各個數(shù)據(jù)區(qū)數(shù)據(jù)歸檔

Page

52應(yīng)用場景實現(xiàn)技求實現(xiàn)功能Sqoop口1區(qū)帷性西的重系我臨區(qū)數(shù)嬰件翡

化

菌文件加載

文連歸檔四

H作

發(fā)文件級質(zhì)量檢核文件到達(dá)事件監(jiān)控ODS

數(shù)據(jù)處理(Hive

SQL)貼源數(shù)據(jù)整合記詞級質(zhì)量檢查結(jié)構(gòu)化處理(MapReduce)文本檢素文本分詞關(guān)鍵詞提取鏈接提取鏈接合并圖像識別語音識別人臉識別豐題數(shù)據(jù)處理(Hive

SQL)基礎(chǔ)數(shù)據(jù)匯總數(shù)據(jù)捷數(shù)據(jù)質(zhì)量檢查事囊生成維度表處理自然鍵臂換代理生成主器繁區(qū)●

批量數(shù)據(jù)處理由流程調(diào)度層部署的

自定義開發(fā)WorkFlow組件調(diào)度運行●

整個流程主要完成如下工作：1.獲取應(yīng)急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存

入臨時數(shù)據(jù)區(qū)2.

獲取政府內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)

,并進行結(jié)構(gòu)化處理，存入主

題或集市數(shù)據(jù)區(qū)3.按照貼源數(shù)據(jù)模型整合數(shù)據(jù)(

標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加)4.按照主題數(shù)據(jù)模型整合數(shù)據(jù)并

生成匯總5.數(shù)據(jù)加工計算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用Page

53圖例■源系統(tǒng)加

載ETL

處理流程

執(zhí)行質(zhì)量檢查的ETL任務(wù)

執(zhí)行數(shù)據(jù)處理的ETL

任務(wù)

Hadoop

數(shù)

據(jù)區(qū)■數(shù)據(jù)庫數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層批量處理流程編程接口采集(大數(shù)賦交換組件)H

o

F

s數(shù)據(jù)歸檔監(jiān)

控流程優(yōu)化日志&審核跟蹤網(wǎng)絡(luò)陽蟲采集(大數(shù)理交授細(xì)件)

HD

F

S權(quán)限管理配置/命名管理通知提醒協(xié)同管理教據(jù)道面教據(jù)支解樂準(zhǔn)化處理核心服務(wù)組件清

洗

轉(zhuǎn)

換文件核

文件解莊

文祥蔽內(nèi)容并網(wǎng)釋析

網(wǎng);抓取數(shù)

輩

墨

臺源統(tǒng)蔡庫文件采集(大政察交換組件)抽取(數(shù)據(jù)庫交換組件)整萍論

貌

庸

接任務(wù)執(zhí)

行代理偵測器集市政據(jù)處理(SQL)儀存兇(NA5章舞)批量數(shù)據(jù)處理工作流在務(wù)

M抽

取過濾/招序任務(wù)調(diào)度

引擎霍

露數(shù)據(jù)

交換

流程

調(diào)度流程調(diào)度&質(zhì)量檢核元數(shù)據(jù)導(dǎo)入導(dǎo)出流

程

調(diào)

度

服

務(wù)日志管

理引摩數(shù)據(jù)質(zhì)量檢查歷史據(jù)計區(qū)據(jù)教貼風(fēng)費教時猛元數(shù)據(jù)管理區(qū)期數(shù)之橫管理和監(jiān)控元數(shù)據(jù)服務(wù)HofS霍通

用服務(wù)大數(shù)據(jù)區(qū)端和用物

帶森藏這代理鍵息

述教送取預(yù)計其算謂實時數(shù)據(jù)處理工作流實時(S數(shù)Q)處理貼源數(shù)據(jù)整合合記錄級質(zhì)量檢查結(jié)構(gòu)化處理(Storm)文本檢索文本分詞關(guān)鍵詞提取鏈接提取鏈接合并流程調(diào)度服務(wù)元數(shù)據(jù)服務(wù)元數(shù)據(jù)管理

元數(shù)據(jù)導(dǎo)入/導(dǎo)出通用服務(wù)權(quán)限管理配置/命名管理流程優(yōu)化日志&審核跟蹤圖

例源系統(tǒng)Hadoop

數(shù)據(jù)區(qū)●

實時數(shù)據(jù)處理強調(diào)的是實時或準(zhǔn)實時獲

取并處理數(shù)據(jù)，通常采取消息隊列等技

術(shù)構(gòu)建“數(shù)據(jù)流”●整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行●

整個流程主要完成如下工作：1.通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量

數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)2.通過大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化

數(shù)據(jù)，并利用Storm

處理數(shù)據(jù)，加

載到實時數(shù)據(jù)區(qū)3.針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合Page

54大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層實時數(shù)據(jù)處理流程執(zhí)行質(zhì)量檢查的ETL任務(wù)□執(zhí)行數(shù)據(jù)處理的ETL

任務(wù)潞加載整檢核

贛

蔽

繁輪訓(xùn)任務(wù)流程調(diào)度&質(zhì)量檢核

執(zhí)

行驚

最據(jù)認(rèn)證

數(shù)據(jù)途接疏整非結(jié)花骼教

傷內(nèi)套并

網(wǎng)

賈ETL處理流程數(shù)據(jù)庫數(shù)據(jù)區(qū)網(wǎng)絡(luò)爬蟲采集(天數(shù)據(jù)交換組件)數(shù)據(jù)歸檔監(jiān)控抽取過濾/排序通知提醒協(xié)同管理抽

取(數(shù)據(jù)庫交換組件)加載在務(wù)編程接口采集(天酸批交換組件)清洗

轉(zhuǎn)換數(shù)據(jù)交換流程調(diào)度日志管

理引擎任務(wù)調(diào)

度

引擎統(tǒng)一數(shù)擂聚臺區(qū)繁

料核心服務(wù)組件實時鞭區(qū)竺理和監(jiān)控偵

測

器品品繁代鯊贛

量繁

算像●數(shù)據(jù)歸檔的對象包括應(yīng)急系統(tǒng)數(shù)據(jù)文件、貼源數(shù)

據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集

市數(shù)據(jù)區(qū)數(shù)據(jù)●數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群

,歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)●

整個處理流程由流程調(diào)度層部署的自定義開發(fā)

WorkFlow組件調(diào)度運行●整個流程主要完成如下工作：1.

數(shù)據(jù)文件通過HDFS命令行copyfromlocal

進

行歸檔2.貼源、主題和大數(shù)據(jù)區(qū)通過HDFS命令行

distcp或自定義開發(fā)的MR程序執(zhí)行歸檔3.集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)(如：外部表)執(zhí)行歸檔Page55流程調(diào)度服務(wù)元數(shù)據(jù)服務(wù)過濾/排序=任

務(wù)配置/命名管理監(jiān)控通知提醒

流程優(yōu)化協(xié)同管理日志&審核跟蹤圖

例執(zhí)行質(zhì)量檢查的ETL任務(wù)執(zhí)行數(shù)據(jù)處理的ETL任務(wù)數(shù)據(jù)文件

主熱區(qū)

大

數(shù)

授

市

教歸檔數(shù)據(jù)處理工作流歸檔(數(shù)據(jù)區(qū)數(shù)據(jù)交換組件)風(fēng)數(shù)驚舊Copyfromlocal(HDFS)數(shù)據(jù)清理歸檔(數(shù)據(jù)區(qū)數(shù)據(jù)交換組件)Distcp(HDFS)

MapReduce程序數(shù)據(jù)清理歸檔(數(shù)據(jù)區(qū)數(shù)據(jù)交換組件)

i

e(

S)程

序

數(shù)據(jù)清理歸檔(數(shù)據(jù)區(qū)數(shù)據(jù)交換組件)Distcp(HDFS)

MapReduce程序數(shù)據(jù)清理歸

檔(數(shù)據(jù)區(qū)數(shù)據(jù)交換組件)

o

(

術(shù)

數(shù)據(jù)清理外部表技Hadoop)庫p數(shù)據(jù)SqoduceHDFapRstcpMD大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程流程強度&質(zhì)量檢核熱行管

任務(wù)調(diào)

偵測理引

度

引

擎

器

管理和監(jiān)控元數(shù)據(jù)管理

元數(shù)

導(dǎo)入導(dǎo)出據(jù)ETL處理流程數(shù)抵據(jù)庫數(shù)據(jù)區(qū)核

心

服

務(wù)

組

件清

洗

轉(zhuǎn)

換加載往旁Hadoop

數(shù)據(jù)區(qū)數(shù)據(jù)交換流程調(diào)度風(fēng)繁監(jiān)數(shù)據(jù)歸檔權(quán)限管理通用服務(wù)□源系統(tǒng)抽取貼源數(shù)據(jù)區(qū)應(yīng)急系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水?dāng)?shù)據(jù)●數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)●貼源數(shù)據(jù)模型●不保存歷史主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問

無最終用戶訪問I/0敏感，日終批量ETL●

以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群

(Hive)●無單點故障，7×24小時+非工作日有限停機臨時數(shù)據(jù)區(qū)●

應(yīng)急系統(tǒng)前日增量數(shù)據(jù)●緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理●貼源數(shù)據(jù)模型●保存最近7天數(shù)據(jù)●貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問●無最終用戶訪問●I/0敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載●少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序●與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群(Hive)●無單點故障，7×24小時+非工作日有限停機待處理大數(shù)據(jù)大數(shù)據(jù)區(qū)社交媒體用戶評價移動互聯(lián)訪問日志處理后大數(shù)據(jù)客戶匯總客戶主題零售數(shù)據(jù)機構(gòu)匯總產(chǎn)品主題主題數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問模式工作負(fù)載平臺要求…賬戶匯總協(xié)議主題供應(yīng)鏈數(shù)據(jù)應(yīng)用集市數(shù)據(jù)區(qū)客戶管理

財務(wù)管理

風(fēng)險管理歷史歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)數(shù)據(jù)計

算層

貼源數(shù)據(jù)區(qū)增

值

產(chǎn)

品數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)Page

56政府內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)●采集并存儲數(shù)據(jù)，進行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)應(yīng)用集市數(shù)據(jù)區(qū)…大

數(shù)

據(jù)

區(qū)賬戶匯總社交媒體協(xié)議主題供應(yīng)鏈數(shù)據(jù)歷史歸檔數(shù)據(jù)區(qū)●數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問

應(yīng)急人員執(zhí)行歷史數(shù)據(jù)查詢●

MapReduce分布式計算，HDFS

命令實現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢●獨立的Hadoop集群(HDFS+Hive)●無單點故障，7×24小時+非工作日有限停機

Page

57●數(shù)據(jù)按照HDFS文件存儲●建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問●少量高級應(yīng)急人員進行智慧統(tǒng)計大數(shù)據(jù)云●

MapReduce

分布式計算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理(

包括文本檢索、語義分詞、圖像識別、音頻識別等)●

與主題區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群(HDFS)

無單點故障，7×24小時+非工作日有限停機數(shù)據(jù)模型保留周期用戶訪問模式工作負(fù)載平臺要求大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢客戶匯總客戶主題零售數(shù)據(jù)用戶評價移動互聯(lián)訪問日志機構(gòu)匯總產(chǎn)品主題客戶管理財務(wù)管理

風(fēng)險管理數(shù)據(jù)計

算層增值產(chǎn)

品

數(shù)

據(jù)

區(qū)

貼

源

數(shù)

據(jù)

區(qū)歷史歸檔數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途沙盤演練數(shù)據(jù)區(qū)處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)●

主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問●

少量高級應(yīng)急人員進行靈活查詢、挖掘預(yù)測●I/0敏感，日終批量ETL

(合并、拉鏈、關(guān)聯(lián)、匯總等等)●

以ELT形式通過Hive

SQL執(zhí)行，復(fù)雜處理使用MR定制UDF●

與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群(Hive)

無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問

少量高級應(yīng)急人員進行靈活查詢、挖掘預(yù)測I/0敏感，日終批量ETL

(連接、聚合、匯總等等)以ELT形式通過Hive

SQL執(zhí)行，復(fù)雜處理使用MR定制UDF●

與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群(Hive)●無單點故障，7×24小時+非工作日有限停機對主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)●

針對應(yīng)用需求進行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))用戶訪問模式工作負(fù)載可用性要求…賬戶匯總協(xié)議主題供應(yīng)鏈數(shù)據(jù)大

數(shù)

據(jù)

區(qū)社交媒體用戶評價移動互聯(lián)訪問日志歷史歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)客戶管理財務(wù)管理

風(fēng)險管理主題數(shù)據(jù)區(qū)

一

明細(xì)

主題數(shù)據(jù)區(qū)

一匯總客戶匯總客戶主題零售數(shù)據(jù)●第三范式模型●

保留長期歷史，需要根據(jù)主題細(xì)化數(shù)據(jù)模型保留周期●

應(yīng)急系統(tǒng)歷史明細(xì)數(shù)據(jù)●

打破應(yīng)急條線整合數(shù)據(jù)●

逆范式寬表●依賴于集市數(shù)據(jù)需求機構(gòu)匯總產(chǎn)品主題數(shù)據(jù)計

算層

貼

源

數(shù)

據(jù)

區(qū)沙

盤

演

練

數(shù)

據(jù)

區(qū)數(shù)據(jù)內(nèi)容主要用途處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)增值產(chǎn)品

數(shù)

據(jù)

區(qū)Page58沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、應(yīng)急人員訪問I/0

敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL(匯總、聚集等操作，以ELT形式通過SQL執(zhí)行)●基于開放平臺的完全無共享MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫●無單點故障，7×24小時+非工作日有限停機

Page

59集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問●少量高級應(yīng)急人員進行靈活查詢、挖掘預(yù)測●I/0敏感，終批量ETL

(合并、拉鏈、關(guān)聯(lián)、匯總等等)●以ELT形式通過Hive

SQL執(zhí)行，復(fù)雜處理使用MR定制UDF獨立的Hadoop集群

(HDFS)無單點故障，7×24小時+非工作日有限停機數(shù)據(jù)內(nèi)容主要用途●按沙盤演練需求，準(zhǔn)備的明細(xì)或匯總應(yīng)急數(shù)據(jù)●為數(shù)據(jù)科學(xué)家的挖掘預(yù)測操作提供數(shù)據(jù)服務(wù)面向政府內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)●為服務(wù)、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))…賬戶匯總協(xié)議主題供應(yīng)鏈數(shù)據(jù)大

數(shù)

據(jù)

區(qū)社交媒體用戶評價移動互聯(lián)訪問日志工作負(fù)載可用性要求應(yīng)用集市數(shù)據(jù)區(qū)客戶管理財務(wù)管理

風(fēng)險管理歷史歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)

應(yīng)用集市數(shù)據(jù)區(qū)客戶匯總客戶主題零售數(shù)據(jù)●模型依賴于沙盤演練需求●在整個沙盤演練周期內(nèi)保留數(shù)據(jù)模型保留周期機構(gòu)匯總產(chǎn)品主題●維度數(shù)據(jù)模型●依賴應(yīng)急需求增值產(chǎn)

品

數(shù)

據(jù)

區(qū)數(shù)據(jù)計

算層

貼

源

數(shù)

據(jù)

區(qū)沙

盤

演

練

數(shù)

據(jù)區(qū)用戶訪問模式處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)…大

數(shù)

據(jù)

區(qū)賬戶匯總社交媒體協(xié)議主題供應(yīng)鏈數(shù)據(jù)實時數(shù)據(jù)區(qū)根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結(jié)果數(shù)

據(jù)◆-為部署在數(shù)據(jù)平臺上的政府內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持●應(yīng)用模型，依賴于用戶應(yīng)急需求●

依賴于用戶應(yīng)急需求●

獨立的Paas平臺，部署Hadoop集群

●

獨立的內(nèi)存數(shù)據(jù)庫集群無單點故障，7×24小時+非工作日有限停機

●無單點故障，365×24小時不停機Page

60●

面向應(yīng)用的應(yīng)急系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水●為實時獲準(zhǔn)實時分析應(yīng)用提供數(shù)據(jù)服務(wù)貼源數(shù)據(jù)模型●依賴用戶應(yīng)急需求大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))●I/0敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL(匯總、聚集等操作，以ELT形式通過SQL執(zhí)行)CPU敏感，BI工具或應(yīng)急系統(tǒng)高并發(fā)、高時效查詢，以及準(zhǔn)

實時連續(xù)ETL處理+SQL批量處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期工作負(fù)載可用性要求政府應(yīng)急人員高時效、高并發(fā)、高可靠性的聯(lián)機交易類查詢●政府外部人員，如：服務(wù)●

通過自己部署在Paas平臺上的應(yīng)用訪問客戶匯總客戶主題零售數(shù)據(jù)用戶訪問模式用戶評價移動互聯(lián)訪問日志機構(gòu)匯總產(chǎn)品主題客戶管理財務(wù)管理

風(fēng)險管理數(shù)據(jù)計

算層增值產(chǎn)

品

數(shù)

據(jù)

區(qū)

貼源數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)操作型明細(xì)據(jù)貼源數(shù)據(jù)區(qū)POP自營數(shù)據(jù)

大物流系統(tǒng)數(shù)據(jù)

供應(yīng)鏈系統(tǒng)數(shù)據(jù)

財務(wù)審計數(shù)據(jù)

財務(wù)研發(fā)數(shù)據(jù)

銀行應(yīng)急數(shù)據(jù)實時數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)政府管理集市財務(wù)管理集市運營管理集市風(fēng)險管理集市……集市實驗室數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)歸檔數(shù)據(jù)區(qū)源系統(tǒng)

數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)數(shù)據(jù)集成層操作型聚合數(shù)據(jù)主題數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)流主

題

明

細(xì)

數(shù)

據(jù)公

共

匯

總

數(shù)

據(jù)沙盤演練數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)高時效數(shù)據(jù)大數(shù)據(jù)臨

時

數(shù)

據(jù)

區(qū)4

歷

史

查

詢

類

應(yīng)

用●針對公檢法查詢需求、內(nèi)外部審

計需求和最終用戶的歷史交易查

詢需求，以貼源存儲的歸檔數(shù)據(jù)

為基礎(chǔ)，實現(xiàn)的查詢類應(yīng)用●歷史查詢類應(yīng)用通常使用BI工

具或自主開發(fā)實現(xiàn)3沙

盤

演

練

類

應(yīng)

用●應(yīng)急人員根據(jù)應(yīng)急需求或自己對

應(yīng)急的理解，設(shè)計計算模型，準(zhǔn)

備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模

型運算，驗證應(yīng)急結(jié)果●沙盤演練類應(yīng)用通常使用R語言

在Hadoop

分布式體系下實現(xiàn)1

管

理

分

析

類

應(yīng)

用●管理分析類應(yīng)用主要實現(xiàn)了政府

服務(wù)管理、運營管理、財務(wù)管理

、風(fēng)險管理、監(jiān)管信息披露五大

分析體系功能管理分析類應(yīng)用通常采用套裝軟

件和BI工

具

(MicroStrategy等

)

實

現(xiàn)2

數(shù)

據(jù)

增

值

類

產(chǎn)

品●政府?dāng)?shù)據(jù)科學(xué)家根據(jù)自己對應(yīng)急

需求的理解或者對市場的判斷，設(shè)計并運行模型，發(fā)掘數(shù)據(jù)價值

,并封裝成商業(yè)產(chǎn)品●數(shù)據(jù)增值產(chǎn)品通常采用R語言和

BI工具實現(xiàn)，面向政府內(nèi)外部用5

高時效類分析應(yīng)用●服務(wù)經(jīng)理等最終應(yīng)急人員針對當(dāng)●

實時分析類應(yīng)用通常使用CEP前應(yīng)急的發(fā)生(如：用戶交易、、ESB等技術(shù)實現(xiàn)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)應(yīng)用層用戶訪問日志),進行實時查詢

、分析的應(yīng)用大數(shù)據(jù)

平臺應(yīng)用戶

Page

62工作負(fù)載復(fù)雜度預(yù)測為主階段

將會發(fā)生什么?分析為主階段為什么會發(fā)生報表為主階良發(fā)生了什么大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——平臺發(fā)展不同階段對應(yīng)應(yīng)用持續(xù)更新加載/短查詢大數(shù)據(jù)平臺發(fā)展階段劃分基于事件的動態(tài)觸發(fā)數(shù)據(jù)量增長用戶數(shù)增長查詢復(fù)雜度增長ETL處理復(fù)雜度增長批量隨機查詢■數(shù)據(jù)分析■動態(tài)數(shù)據(jù)倉庫階段讓正確的事情發(fā)生!操作為主階段什么正在發(fā)生?Page

63口總賬分析區(qū)資產(chǎn)負(fù)債表分析

區(qū)損益表分析區(qū)現(xiàn)金流量表分析區(qū)財務(wù)指標(biāo)分析口盈利分析區(qū)機構(gòu)貢獻(xiàn)度區(qū)產(chǎn)品貢獻(xiàn)度區(qū)服務(wù)細(xì)分貢獻(xiàn)度

區(qū)渠道績效口資產(chǎn)負(fù)債分析區(qū)主要指標(biāo)報告，如：

凈利息收入、凈收入凈現(xiàn)值、市場價值等兇頭寸報告兇現(xiàn)金流報告兇風(fēng)險價值(VaR)計算

口財務(wù)預(yù)算與計劃兇財務(wù)預(yù)算區(qū)財務(wù)計劃執(zhí)行監(jiān)控

區(qū)執(zhí)行過程分析區(qū)年末財務(wù)計劃執(zhí)行分

析口預(yù)測與場景分析區(qū)應(yīng)急規(guī)模預(yù)測區(qū)收益預(yù)測口

……口風(fēng)險監(jiān)控報表/信息披露

區(qū)流動性報表區(qū)利率敏感性報表

兇資本充足率報表

區(qū)……口

市場風(fēng)險區(qū)市場風(fēng)險暴露值區(qū)流動性管理、利率管理口信用風(fēng)險區(qū)信用風(fēng)險暴露值計算

區(qū)信用風(fēng)險控制(貸前控制、貸中監(jiān)控

、貸后分析)口操作風(fēng)險區(qū)異常交易預(yù)警區(qū)后督差錯檢查區(qū)……口防欺詐/反洗錢區(qū)定義欺詐交易模型區(qū)可能性欺詐交易預(yù)警

區(qū)欺詐交易分布分析□

全面風(fēng)險管理口

……口

服務(wù)單一視圖區(qū)政府服務(wù)信息管理

區(qū)個人服務(wù)信息管理

區(qū)同業(yè)服務(wù)信息管理口目標(biāo)服務(wù)搜索區(qū)重點服務(wù)區(qū)關(guān)懷服務(wù)兇風(fēng)險服務(wù)區(qū)異動服務(wù)口服務(wù)細(xì)分兇個人服務(wù)細(xì)分區(qū)政府服務(wù)細(xì)分口服務(wù)行為分析區(qū)服務(wù)輪廓分析兇產(chǎn)品交叉銷售分析

區(qū)百分比分析兇渠道偏好分析口營銷活動管理區(qū)營銷活動規(guī)劃

區(qū)營銷活動定義區(qū)營銷活動執(zhí)行區(qū)營銷活動蘋果口營銷活動自動化區(qū)渠道接口與集成兇流程自動化口

……口領(lǐng)導(dǎo)管理駕駛艙□

機構(gòu)績效考核口

服務(wù)經(jīng)理考核區(qū)服務(wù)經(jīng)理工作量評估區(qū)服務(wù)經(jīng)理服務(wù)服務(wù)收

益評估口產(chǎn)品績效考核口應(yīng)急量考核區(qū)供應(yīng)鏈銀行應(yīng)急區(qū)人人貸應(yīng)急區(qū)保理應(yīng)急區(qū)基金應(yīng)急區(qū)其它中間應(yīng)急區(qū)……口渠道成本與收益口

……大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——管理分析類應(yīng)用□

目前監(jiān)管機構(gòu)沒有明確要求風(fēng)險管理運營管理監(jiān)管披露服務(wù)管理財務(wù)管理Page64●即席查詢：通過即席查詢工具或手工書寫SQL語句，完成應(yīng)急信息的即席查看●多維分析：從多個維度靈活組合對目標(biāo)值進行分析，常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取等●主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)政府運營中的問題，通過手機、郵即席查詢

靜

態(tài)

報

表

多

維

分

析

儀表盤0oō直觀的數(shù)據(jù)支持●靜態(tài)報表：按照預(yù)先定義格式，批處理報表，在線查詢報表等●

Office

集

成

：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用●Web

服

務(wù)：將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊在政府服務(wù)總線上，供其它應(yīng)急系統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果應(yīng)急系統(tǒng)Page

65●挖掘預(yù)測：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)訪問層●儀表盤：通過儀表盤及其它展現(xiàn)方式對政府關(guān)鍵績效指標(biāo)進行展示，為領(lǐng)導(dǎo)層決策提供問題發(fā)現(xiàn)

Office

集成SOffice多種展現(xiàn)形式滿足各層級用戶及應(yīng)用系統(tǒng)使用需求決策層管理層件等

方

式

報

警數(shù)據(jù)科學(xué)家戶使用難度應(yīng)急人員挖掘預(yù)測Web服務(wù)組

織數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會數(shù)據(jù)管理人

數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人

數(shù)據(jù)使用人IT

支持團隊流程組織建立/維護

流程標(biāo)準(zhǔn)建立/維護

流程考核指標(biāo)建立/維護流程評價與考核流程數(shù)據(jù)質(zhì)量數(shù)據(jù)存儲

數(shù)據(jù)移動真實性定義及時性定義完整性定義一致性定義銀行數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評價與考核、管控流程、管控平臺四個域?？己酥笜?biāo)數(shù)據(jù)全生命周期評價標(biāo)準(zhǔn)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控層平臺數(shù)據(jù)安全管理

工

作

流

管

理數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)創(chuàng)建數(shù)據(jù)類型

數(shù)據(jù)格式

應(yīng)急分類

應(yīng)急含義數(shù)據(jù)安全數(shù)據(jù)停用安全等級

權(quán)限定義

審計定義

保留策略元數(shù)據(jù)數(shù)據(jù)共享技術(shù)元數(shù)據(jù)

應(yīng)急元數(shù)據(jù)

管理元數(shù)據(jù)責(zé)

任

評

價

標(biāo)準(zhǔn)執(zhí)行評價政策執(zhí)行評價數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)質(zhì)量管理評

價與

考核元數(shù)據(jù)管理數(shù)據(jù)認(rèn)責(zé)Page

66二管控組織□數(shù)據(jù)管控委員會

數(shù)據(jù)所有人□數(shù)據(jù)認(rèn)責(zé)人

aIT支持□數(shù)據(jù)產(chǎn)生者□數(shù)據(jù)使用者o………管控流程□數(shù)據(jù)接入流程□數(shù)據(jù)變更流程□數(shù)據(jù)授權(quán)流程□數(shù)據(jù)退役流程□標(biāo)準(zhǔn)/政策制定流程□評價考核流程o……流程支撐制定考評評價與考核口標(biāo)準(zhǔn)

(數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求□遵守標(biāo)準(zhǔn)所需要的政策□政策與標(biāo)準(zhǔn)遵從考評定義工

具支撐管控綜合管理□標(biāo)準(zhǔn)/規(guī)范管理□流程管理□考核儀表盤管控平臺

元數(shù)據(jù)管理□應(yīng)急元數(shù)據(jù)管理

□技術(shù)元數(shù)據(jù)管理

□管理元數(shù)據(jù)分析

口

……工具支撐數(shù)據(jù)質(zhì)量管理□稽核規(guī)則管理

□數(shù)據(jù)稽核□質(zhì)量報告口

……>

明

確

了

數(shù)

據(jù)管控過程中的組織結(jié)構(gòu)、角色、

職責(zé)等。管控組

織除了要負(fù)責(zé)制

定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)

量、安全等要求

外，還需要負(fù)責(zé)

制定管控的相關(guān)

流程和評價考核

指標(biāo)等內(nèi)容。>通過建立一

些定性或定量的

數(shù)據(jù)管控評價考核指標(biāo)，去評估

及考核數(shù)據(jù)相關(guān)

責(zé)任人職責(zé)履行

情況、數(shù)據(jù)管控

標(biāo)準(zhǔn)及數(shù)據(jù)政策

的執(zhí)行情況等。>規(guī)范了數(shù)

據(jù)管控過程中，

各個環(huán)節(jié)日常任務(wù)處理的運

作模式，例如數(shù)據(jù)定義如何

變更、數(shù)據(jù)沖

突如何協(xié)調(diào)等。>

采用專門

的技術(shù)平臺支撐管控流程的

自動化，發(fā)布

管控組織制定

的一些相關(guān)標(biāo)

準(zhǔn)和規(guī)范，及時反映管控過

程