大數(shù)據(jù)治理平臺建設(shè)與應(yīng)用解決方案相關(guān)兩份資料

大數(shù)據(jù)治理平臺

建設(shè)與應(yīng)用解決方案

大數(shù)據(jù)治理平臺背景大數(shù)據(jù)治理平臺應(yīng)用場景分析大數(shù)據(jù)治理平臺建設(shè)方案大數(shù)據(jù)時代到來，我們已被海量數(shù)據(jù)信息包圍刑偵信息輿情信息監(jiān)測數(shù)據(jù)用戶信息風(fēng)險信息管理數(shù)據(jù)數(shù)據(jù)廣告數(shù)據(jù)輿情數(shù)據(jù)搜索數(shù)據(jù)研發(fā)數(shù)據(jù)社交數(shù)據(jù)第三方數(shù)據(jù)電信持有大量用戶數(shù)據(jù)，對數(shù)據(jù)資產(chǎn)的售出，將成為行業(yè)的新增長點。金融各行業(yè)的金融信息流可結(jié)合第三方數(shù)據(jù)，更深入分析客戶情況。制造從傳統(tǒng)制造到互聯(lián)網(wǎng)+的轉(zhuǎn)型，大數(shù)據(jù)是核心動力政府大數(shù)據(jù)已經(jīng)成為國家戰(zhàn)略，政府機構(gòu)大數(shù)據(jù)將能夠更好的治理社會電力大數(shù)據(jù)資產(chǎn)已經(jīng)成為電力行業(yè)的關(guān)注重點，利用大數(shù)據(jù)在生產(chǎn)，營銷，物資等多方面提高效率現(xiàn)階段我們已經(jīng)應(yīng)用了很多大數(shù)據(jù)技術(shù)大數(shù)據(jù)存儲應(yīng)用廣泛，具備大數(shù)據(jù)必備因素現(xiàn)階段大數(shù)據(jù)技術(shù)Hive、Spark、Storm、Hbase已使用廣泛，解決了大數(shù)據(jù)存儲問題。ETL工具、FLUME組件負責(zé)大數(shù)據(jù)交換問題大數(shù)據(jù)存儲數(shù)據(jù)的傳輸問題也有大數(shù)據(jù)組件解決，如Flume，主流ETL工具等。數(shù)據(jù)BI、數(shù)據(jù)挖掘通過數(shù)據(jù)BI軟件、數(shù)據(jù)分析挖掘通過大數(shù)據(jù)平臺的相關(guān)組件也可以進行相關(guān)分析。實施了大數(shù)據(jù)項目，所采用的技術(shù)眾多SparkHiveStorm流處理HBase列存儲數(shù)據(jù)挖掘BI分析模型算法現(xiàn)階段已經(jīng)有了眾多的大數(shù)據(jù)技術(shù)團隊產(chǎn)品提供商數(shù)據(jù)分析廠商數(shù)據(jù)產(chǎn)品廠商，缺乏場景使用經(jīng)驗數(shù)據(jù)平臺廠商與數(shù)據(jù)應(yīng)用廠商往往不是一家，平臺廠商缺乏數(shù)據(jù)應(yīng)用建設(shè)經(jīng)驗。我們還需要哪些數(shù)據(jù)建設(shè)廠商？數(shù)據(jù)提供商平臺提供商解決方案提供商業(yè)務(wù)算法提供商數(shù)據(jù)應(yīng)用廠商不能理解平臺內(nèi)數(shù)據(jù)業(yè)務(wù)含義具有涉密數(shù)據(jù)開發(fā)資質(zhì)的廠商有限，但并不了解大數(shù)據(jù)平臺數(shù)據(jù)的含義。各廠商之間交換的數(shù)據(jù)質(zhì)量得不到保證大數(shù)據(jù)建設(shè)項目被分為數(shù)據(jù)平臺、應(yīng)用、業(yè)務(wù)等多個獨立項目和廠商，之間的銜接部分沒有人管理，造成數(shù)據(jù)質(zhì)量差。眾多數(shù)據(jù)建設(shè)廠商，還缺哪個？能否有效的解決大數(shù)據(jù)快速、透明化的使用大數(shù)據(jù)平臺沒有創(chuàng)新需求點數(shù)據(jù)使用者無法理解數(shù)據(jù)模型平臺建設(shè)廠商不懂數(shù)據(jù)拿到的使用數(shù)據(jù)根本沒法用……業(yè)務(wù)需求業(yè)務(wù)需求集中響應(yīng)眾多大數(shù)據(jù)廠商難以協(xié)調(diào)廠商管理之間的空隙沒填補數(shù)據(jù)質(zhì)量問題來回推諉……管理需求需要專業(yè)的大數(shù)據(jù)管理團隊大文件數(shù)據(jù)傳輸慢大數(shù)據(jù)量實時傳輸沒有解決方案沒有統(tǒng)一的技術(shù)管理平臺跨平臺數(shù)據(jù)問題無法追述……技術(shù)需求需要全面支撐的落地平臺大數(shù)據(jù)治理平臺背景大數(shù)據(jù)治理平臺應(yīng)用場景分析大數(shù)據(jù)治理平臺建設(shè)方案大數(shù)據(jù)平臺化的發(fā)展趨勢與現(xiàn)狀數(shù)據(jù)源存儲層訪問層數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用廠商X廠商Y廠商Z應(yīng)用百花齊放傳統(tǒng)的應(yīng)用按照業(yè)務(wù)建設(shè)，一個廠商需要負責(zé)數(shù)據(jù)采集、存儲、數(shù)據(jù)應(yīng)用等全部過程；大數(shù)據(jù)時代，技術(shù)更加專注和專業(yè)，系統(tǒng)建設(shè)趨勢是采用橫向切分模式。數(shù)據(jù)中心集中建設(shè)需要解決“應(yīng)用和平臺分離”建設(shè)模式帶來的新問題。廠商X：只了解業(yè)務(wù)系統(tǒng)特性，對于大數(shù)據(jù)平臺需求平臺產(chǎn)品特性不清楚。廠商Y：我只是提供數(shù)據(jù)存儲平臺，不了解業(yè)務(wù)建設(shè)需求。廠商Z：我只是提供數(shù)據(jù)共享平臺，廠商X的數(shù)據(jù)特性平臺無法支持，產(chǎn)品不能動。應(yīng)用：我有數(shù)據(jù)分析經(jīng)驗，但是我拿不到高質(zhì)量的數(shù)據(jù)。目前拿到的數(shù)據(jù)不能用。大數(shù)據(jù)項目實施中遇到的哪些問題？電信政府個人電商數(shù)據(jù)管理數(shù)據(jù)源基礎(chǔ)數(shù)據(jù)區(qū)專題數(shù)據(jù)區(qū)大數(shù)據(jù)平臺建設(shè)廠商1大數(shù)據(jù)平臺數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用廠商2數(shù)據(jù)服務(wù)BI分析3質(zhì)量監(jiān)控數(shù)據(jù)接入管理不規(guī)范：數(shù)據(jù)模型管理缺乏規(guī)范化體系，大數(shù)據(jù)平臺內(nèi)數(shù)據(jù)的技術(shù)、業(yè)務(wù)屬性不清晰，沒有完善的數(shù)據(jù)模型管理體系與規(guī)范。數(shù)據(jù)挖掘數(shù)據(jù)使用使用不明確：由于數(shù)據(jù)業(yè)務(wù)特性與使用方法不統(tǒng)一，難以對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的快速集成和共享。監(jiān)控不到位：在實際數(shù)據(jù)運行中，會出現(xiàn)數(shù)據(jù)信息發(fā)生中斷異?；驍?shù)據(jù)量發(fā)生突然變化等數(shù)據(jù)異常監(jiān)控。無法通過傳統(tǒng)的監(jiān)控手段及時發(fā)現(xiàn)。管理使用監(jiān)控批量導(dǎo)入實時同步場景一：建好數(shù)據(jù)管理體系，快速識別數(shù)據(jù)大數(shù)據(jù)平臺數(shù)據(jù)分析數(shù)據(jù)挖掘數(shù)據(jù)接口………數(shù)據(jù)使用

元數(shù)據(jù)數(shù)據(jù)如何快速識別數(shù)據(jù)？如何自動化管理？如何快速找到樣例數(shù)據(jù)？我的數(shù)據(jù)都在哪里？數(shù)據(jù)的業(yè)務(wù)特點是？我該找誰要數(shù)據(jù)？建議：1.自動化獲取元數(shù)據(jù)信息通過自動化采集與解析手段，建立技術(shù)、業(yè)務(wù)、過程元數(shù)據(jù)的注冊輸入，標明數(shù)據(jù)方位。2.標明數(shù)據(jù)方位，整理業(yè)務(wù)屬性將數(shù)據(jù)資產(chǎn)按業(yè)務(wù)屬性編目，梳理數(shù)據(jù)的屬性、共享方式、特性、映射。3：建立業(yè)務(wù)數(shù)據(jù)服務(wù)目錄以數(shù)據(jù)資產(chǎn)為驅(qū)動方式，實現(xiàn)數(shù)據(jù)集成和共享。建立數(shù)據(jù)服務(wù)目錄。數(shù)據(jù)資產(chǎn)模型元元模型元模型場景二：建立專業(yè)的數(shù)據(jù)共享通道，高效使用數(shù)據(jù)大數(shù)據(jù)資源空間資源實例數(shù)據(jù)模型數(shù)據(jù)資產(chǎn)服務(wù)數(shù)據(jù)資源模型數(shù)據(jù)資源服務(wù)內(nèi)存數(shù)據(jù)服務(wù)數(shù)據(jù)庫服務(wù)資源服務(wù)內(nèi)存數(shù)據(jù)模型CRUDCRUD資源獲取資源同步元數(shù)據(jù)庫批量數(shù)據(jù)交換？我需要秒級更新數(shù)據(jù)？數(shù)據(jù)太大無法傳？建議：1.梳理數(shù)據(jù)交換需求梳理數(shù)據(jù)集成、交換需求。按技術(shù)特征劃分為實時、準實時、批量等。2.數(shù)據(jù)資產(chǎn)與服務(wù)對接基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)開發(fā)，實現(xiàn)資產(chǎn)與數(shù)據(jù)服務(wù)的對接。通過服務(wù)目錄直接獲取所需數(shù)據(jù)。批量實時場景三：提供專業(yè)的數(shù)據(jù)監(jiān)控體系，快速發(fā)現(xiàn)問題。數(shù)據(jù)源頭監(jiān)控

針對調(diào)度監(jiān)控和數(shù)據(jù)源相關(guān)監(jiān)控過程中的數(shù)據(jù)進行整合形成數(shù)據(jù)源頭調(diào)度監(jiān)控的分析報表。數(shù)據(jù)波動監(jiān)控數(shù)據(jù)抖動監(jiān)控是指通過對數(shù)據(jù)記錄數(shù)的監(jiān)控，在一段時間周期內(nèi)，通過折線圖的方式可以查詢一段時間內(nèi)數(shù)據(jù)的峰值和低谷。及時性監(jiān)控

數(shù)據(jù)文件及時性監(jiān)控是指通過對要采集到大數(shù)據(jù)平臺的或外部文件進行存在性和按時到達性的監(jiān)控手段。一致性監(jiān)控數(shù)據(jù)一致性監(jiān)控是對采集時的數(shù)據(jù)記錄條數(shù)和入庫的數(shù)據(jù)條數(shù)進行一致性比對，對不一致的數(shù)據(jù)采集作業(yè)進行標記的一種監(jiān)控。日使用流量（MB）6月7月數(shù)據(jù)不一致怎么辦？數(shù)據(jù)量異常波動？數(shù)據(jù)源變更怎么辦？建議：1.明確重要監(jiān)控指標梳理數(shù)據(jù)平臺、MPP、Hadoop平臺的重要數(shù)據(jù)監(jiān)控指標與監(jiān)控需求。2.建立多渠道監(jiān)控方式對接數(shù)據(jù)監(jiān)控平臺，以以郵件、短信等通知方式告警。我們需要什么樣的大數(shù)據(jù)治理平臺？可以靈活擴展支撐業(yè)務(wù)變化，保證業(yè)務(wù)數(shù)據(jù)保質(zhì)量、標準化基于模型的數(shù)據(jù)獲取數(shù)據(jù)，基于數(shù)據(jù)模型管理，可以讓技術(shù)與業(yè)務(wù)人員通過平臺可以迅速找到對應(yīng)的數(shù)據(jù)資源。數(shù)據(jù)獲取方式靈活多樣，可支持配置化數(shù)據(jù)訂閱管理

支持靈活的數(shù)據(jù)訂閱方式，以支推，拉的數(shù)據(jù)訂閱數(shù)據(jù)與服務(wù)接口對接?？梢钥焖俚墨@取到想要的數(shù)據(jù)活文件。支持多種數(shù)據(jù)預(yù)警機制，隨時發(fā)現(xiàn)數(shù)據(jù)任務(wù)執(zhí)行過程中所遇到的問題支持執(zhí)行任務(wù)的全過程監(jiān)控，執(zhí)行數(shù)量監(jiān)控，數(shù)據(jù)波動、數(shù)據(jù)到達預(yù)警監(jiān)控等，并支持多種信息通知方式，如短信、郵件等?；跀?shù)據(jù)模型管理提供數(shù)據(jù)監(jiān)控預(yù)警機制可對接多種數(shù)據(jù)源支持多種數(shù)據(jù)獲取方式支持現(xiàn)有主流的大數(shù)據(jù)技術(shù)平臺的對接可對接現(xiàn)有的大數(shù)據(jù)Hive，Spark，Strom流數(shù)據(jù)等主流的數(shù)據(jù)結(jié)構(gòu)，分為實時數(shù)據(jù)和批量數(shù)據(jù)的對接方式。大數(shù)據(jù)治理平臺背景大數(shù)據(jù)治理平臺應(yīng)用場景分析大數(shù)據(jù)治理平臺建設(shè)方案大數(shù)據(jù)平臺的核心價值轉(zhuǎn)變管理思路管理職責(zé)管理組織自己應(yīng)用方便別人提供數(shù)據(jù)服務(wù)數(shù)據(jù)管理數(shù)據(jù)開發(fā)數(shù)據(jù)應(yīng)用專業(yè)的服務(wù)團隊業(yè)務(wù)開發(fā)運維全棧能力團隊通過大數(shù)據(jù)治理，提供數(shù)據(jù)服務(wù)，從管理中心轉(zhuǎn)變?yōu)榉?wù)中心通過大數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價值，從成本中心轉(zhuǎn)變?yōu)槔麧欀行膫鹘y(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理大數(shù)據(jù)治理平臺的定位采集數(shù)據(jù)傳感器數(shù)據(jù)社交媒體IT/OT圖像視頻三方數(shù)據(jù)信用數(shù)據(jù)通信數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)客戶數(shù)據(jù)大數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)非/結(jié)構(gòu)化數(shù)據(jù)實時流數(shù)據(jù)數(shù)據(jù)發(fā)布交易運營生產(chǎn)分析交易運營生產(chǎn)分析業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新交易運營財務(wù)人力數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)大數(shù)據(jù)治理平臺治理數(shù)據(jù)用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新服務(wù)服務(wù)數(shù)據(jù)開發(fā)大數(shù)據(jù)治理平臺的架構(gòu)特征傳統(tǒng)大數(shù)據(jù)平臺框架大數(shù)據(jù)平臺分析展現(xiàn)應(yīng)用數(shù)據(jù)源大數(shù)據(jù)治理平臺數(shù)據(jù)服務(wù)總線大數(shù)據(jù)平臺需求規(guī)范以數(shù)據(jù)存儲、處理為核心的傳統(tǒng)數(shù)據(jù)管理平臺過度到大數(shù)據(jù)治理平臺數(shù)據(jù)應(yīng)用數(shù)據(jù)開發(fā)平臺數(shù)據(jù)監(jiān)控平臺數(shù)據(jù)資產(chǎn)平臺1大數(shù)據(jù)治理平臺傳統(tǒng)大數(shù)據(jù)平臺234企業(yè)中哪些角色會直接使用到大數(shù)據(jù)治理平臺業(yè)務(wù)運營人員業(yè)務(wù)系統(tǒng)開發(fā)人員大數(shù)據(jù)中心管理者大數(shù)據(jù)中心開發(fā)者

業(yè)務(wù)運營人員是企業(yè)各業(yè)務(wù)部門一線的業(yè)務(wù)人員，擁有大量的數(shù)據(jù)使用的需求。但通常并不了解大數(shù)據(jù)中心的數(shù)據(jù)能力與企業(yè)其他部門的數(shù)據(jù)情況。

業(yè)務(wù)所屬部門的系統(tǒng)開發(fā)人員，主要提供所負責(zé)業(yè)務(wù)系統(tǒng)功能開發(fā)與業(yè)務(wù)創(chuàng)新的IT實現(xiàn)。但往往不清楚大數(shù)據(jù)中心數(shù)據(jù)的特性。往往把業(yè)務(wù)人員提出的需求交給數(shù)據(jù)中心實現(xiàn)。

大數(shù)據(jù)中心的管理員，負責(zé)大數(shù)據(jù)中心的運營與管理。負責(zé)采集與各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，接收各業(yè)務(wù)系統(tǒng)的提出的數(shù)據(jù)業(yè)務(wù)需求。并負責(zé)給數(shù)據(jù)消費者提供必要的大數(shù)據(jù)支撐。大數(shù)據(jù)中心的開發(fā)人員，負責(zé)大數(shù)據(jù)中心的數(shù)據(jù)ETL加工，并數(shù)據(jù)管理中心批準的數(shù)據(jù)需求進行開發(fā)。通常需要面對各業(yè)務(wù)部門的需求，難以了解業(yè)務(wù)部門的數(shù)據(jù)特點。大數(shù)據(jù)治理平臺的數(shù)據(jù)使用流程業(yè)務(wù)運營人員1.提出數(shù)據(jù)需求業(yè)務(wù)系統(tǒng)開發(fā)人員2.查找數(shù)據(jù)5.確認數(shù)據(jù)需求大數(shù)據(jù)治理平臺3.返回數(shù)據(jù)4、7.交付數(shù)據(jù)大數(shù)據(jù)中心管理者大數(shù)據(jù)中心數(shù)據(jù)中心開發(fā)人員6.返回數(shù)據(jù)80%數(shù)據(jù)使用需求20%需開發(fā)數(shù)據(jù)需求交易運營生產(chǎn)分析數(shù)據(jù)消費方數(shù)據(jù)提供方大數(shù)據(jù)治理平臺總體功能架構(gòu)圖關(guān)系數(shù)據(jù)庫對接數(shù)據(jù)資產(chǎn)平臺數(shù)據(jù)監(jiān)控平臺日志監(jiān)控性能監(jiān)控主機告警安全管理需求/流程服務(wù)標準與流程數(shù)據(jù)使用流程元數(shù)據(jù)規(guī)范數(shù)據(jù)申請規(guī)范數(shù)據(jù)質(zhì)量規(guī)范服務(wù)共享規(guī)范數(shù)據(jù)管理流程等標準管理流程應(yīng)用治理規(guī)范數(shù)據(jù)服務(wù)總線標準檢查數(shù)據(jù)地圖版本管理流向分析質(zhì)量檢查資產(chǎn)編輯數(shù)據(jù)使用分析應(yīng)用調(diào)度管理服務(wù)管理路由管理文本數(shù)據(jù)對接流數(shù)據(jù)對接內(nèi)存數(shù)據(jù)對接波動監(jiān)控數(shù)據(jù)開發(fā)平臺模型設(shè)計接口應(yīng)用資產(chǎn)采集適配器資產(chǎn)維護編目資產(chǎn)使用運營管理調(diào)用管理審計管理模型開發(fā)過程開發(fā)服務(wù)開發(fā)目錄管理策略管理接口開發(fā)模型管理資源查詢服務(wù)規(guī)范大數(shù)據(jù)治理平臺總體技術(shù)架構(gòu)圖

DB

FIleStream業(yè)務(wù)數(shù)據(jù)…RPC調(diào)用ETL調(diào)度監(jiān)控大數(shù)據(jù)平臺專題庫分析模型數(shù)據(jù)模型服務(wù)發(fā)布服務(wù)服務(wù)監(jiān)控服務(wù)安全數(shù)據(jù)服務(wù)總線服務(wù)分類服務(wù)注冊服務(wù)訂閱服務(wù)查詢數(shù)據(jù)訂閱數(shù)據(jù)分發(fā)服務(wù)目錄庫存儲模型組件轉(zhuǎn)換模型組件文件模型組件數(shù)據(jù)開發(fā)數(shù)據(jù)接口應(yīng)用數(shù)據(jù)分析應(yīng)用業(yè)務(wù)分析應(yīng)用數(shù)據(jù)加工應(yīng)用數(shù)據(jù)預(yù)測應(yīng)用…資源層開發(fā)層數(shù)據(jù)共享/發(fā)布層數(shù)據(jù)應(yīng)用層BFTHiveSparkESB采集組件解析組件加工組件大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺功能架構(gòu)圖數(shù)據(jù)資產(chǎn)采集采集調(diào)度管理采集適配器管理數(shù)據(jù)資產(chǎn)使用數(shù)據(jù)資產(chǎn)關(guān)系維護數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)維護采集模板管理數(shù)據(jù)資產(chǎn)數(shù)據(jù)源管理采集任務(wù)管理采集模板映射管理采集日志管理數(shù)據(jù)資產(chǎn)分析數(shù)據(jù)資產(chǎn)權(quán)限數(shù)據(jù)資產(chǎn)訪問資產(chǎn)變更服務(wù)資產(chǎn)分析服務(wù)數(shù)據(jù)資產(chǎn)檢索數(shù)據(jù)資產(chǎn)統(tǒng)計影響分析血統(tǒng)分析資產(chǎn)訂閱資產(chǎn)使用情況數(shù)據(jù)資產(chǎn)地圖全鏈路分析編目管理打標簽數(shù)據(jù)資產(chǎn)認責(zé)管理數(shù)據(jù)資產(chǎn)質(zhì)量管理應(yīng)用企業(yè)全局數(shù)據(jù)資產(chǎn)升級影響數(shù)據(jù)問題定位輔助開發(fā)……元模型管理元模型關(guān)系維護元模型設(shè)計器元模型設(shè)計器元模型設(shè)計執(zhí)行元模型反向生成圖形模型框架元模型版本管理數(shù)據(jù)資產(chǎn)模型設(shè)計Excel采集Hive采集DB采集……視圖管理版本管理狀態(tài)管理大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺邏輯架構(gòu)圖DB文件接口…數(shù)據(jù)資產(chǎn)接口服務(wù)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)分析統(tǒng)計數(shù)據(jù)資產(chǎn)存儲元模型管理數(shù)據(jù)資產(chǎn)采集資產(chǎn)存儲數(shù)據(jù)開發(fā)數(shù)據(jù)監(jiān)控數(shù)據(jù)應(yīng)用大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺關(guān)鍵技術(shù)與特性多類型企業(yè)數(shù)據(jù)源數(shù)據(jù)資產(chǎn)采集解析算法采集調(diào)度入庫策略采集解析模型組裝數(shù)據(jù)入庫數(shù)據(jù)采集適配技術(shù)采集適配業(yè)務(wù)采集適配……數(shù)據(jù)模型技術(shù)模型業(yè)務(wù)模型……數(shù)據(jù)資產(chǎn)存儲TDDB2Oracle數(shù)據(jù)資產(chǎn)存儲數(shù)據(jù)資產(chǎn)元模型存儲采集配置存儲2、可插拔的采集適配器，支持數(shù)據(jù)資產(chǎn)管理的無限擴充1、解析、組裝、入庫過程分離，實現(xiàn)數(shù)據(jù)資產(chǎn)采集和存儲解耦3、采用MOF模型規(guī)范實現(xiàn)數(shù)據(jù)資產(chǎn)擴展存儲數(shù)據(jù)資產(chǎn)平臺給客戶帶來的價值建立統(tǒng)一的第三方數(shù)據(jù)審核機制，不依附于某個業(yè)務(wù)單元的數(shù)據(jù)特性，對數(shù)據(jù)資產(chǎn)重新定位；基于系統(tǒng)運行態(tài)環(huán)境的元數(shù)據(jù)采集，真正做到以系統(tǒng)落地環(huán)境為基礎(chǔ)的數(shù)據(jù)資產(chǎn)梳理；建立統(tǒng)一的數(shù)據(jù)模型視圖，為業(yè)務(wù)管理人員方便的獲取到數(shù)據(jù)提供先決條件;基于MOF可擴展模型，對業(yè)務(wù)模型擴展無需改動代碼，節(jié)省團隊管理成本；

快速輔助定位問題，出現(xiàn)數(shù)據(jù)問題可輔助定位與分析問題的根源，迅速響應(yīng)業(yè)務(wù)需求；數(shù)據(jù)資產(chǎn)平臺權(quán)威落地統(tǒng)一擴展分析大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺功能架構(gòu)圖批量資源導(dǎo)入基本信息維護資源關(guān)系管理資源展示配置資源目錄管理編目管理在線數(shù)據(jù)維護模型檢索資源檢索基礎(chǔ)查詢維度查詢?nèi)藛T管理權(quán)限管理角色管理…條件查詢策略定義策略管理策略開發(fā)自定義開發(fā)模型設(shè)計模型管理交換模型開發(fā)交換作業(yè)開發(fā)加密策略交換策略關(guān)系維護配置管理交換作業(yè)開發(fā)交換組件管理脫敏策略監(jiān)控策略策略開發(fā)數(shù)據(jù)開發(fā)數(shù)據(jù)資源管理存儲模型開發(fā)數(shù)據(jù)交換開發(fā)策略配置數(shù)據(jù)資源探查系統(tǒng)管理模型設(shè)計模型管理關(guān)系維護存儲開發(fā)文件交換開發(fā)服務(wù)接口開發(fā)服務(wù)接口配置應(yīng)用組件配置組件管理服務(wù)接口開發(fā)策略管理資源探查大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺邏輯架構(gòu)圖數(shù)據(jù)資產(chǎn)數(shù)據(jù)開發(fā)層數(shù)據(jù)共享層批量數(shù)據(jù)HadoopMPPFile策略管理數(shù)據(jù)模型開發(fā)數(shù)據(jù)開放門戶資源發(fā)布開發(fā)者門戶運營者門戶數(shù)據(jù)交換作業(yè)開發(fā)文件交換作業(yè)開發(fā)數(shù)據(jù)資源管理數(shù)據(jù)服務(wù)目錄數(shù)據(jù)庫文件數(shù)據(jù)接口使用者門戶數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資源目錄資源探查大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺技術(shù)與特性大數(shù)據(jù)模型數(shù)據(jù)服務(wù)層結(jié)構(gòu)描述約束結(jié)構(gòu)描述約束關(guān)系資源模型服務(wù)資源池服務(wù)服務(wù)服務(wù)服務(wù)接口目錄接口應(yīng)用服務(wù)服務(wù)服務(wù)服務(wù)數(shù)據(jù)開發(fā)1、以數(shù)據(jù)服務(wù)目錄為基礎(chǔ)的目錄提供形式，快速找到所需數(shù)據(jù)。2、數(shù)據(jù)開發(fā)層，以數(shù)據(jù)資產(chǎn)、模型為基礎(chǔ)的資源開發(fā)。將模型開發(fā)與數(shù)據(jù)發(fā)布共享剝離。數(shù)據(jù)開發(fā)平臺給客戶帶來的價值提供圖形化的開發(fā)界面，顛覆以往的數(shù)據(jù)只能寫SQL代碼的情況。直觀并可提升開發(fā)效率；復(fù)用結(jié)構(gòu)化的組件，利于知識積累與復(fù)用。避免人員變動帶來的無形中的學(xué)習(xí)成本；針對業(yè)務(wù)特性對現(xiàn)有的數(shù)據(jù)資產(chǎn)進行編目開發(fā)，讓數(shù)據(jù)使用者直觀理解數(shù)據(jù)的含義；以數(shù)據(jù)資產(chǎn)模型為驅(qū)動力，實現(xiàn)數(shù)據(jù)集成與共享的服務(wù)創(chuàng)新開發(fā)模式；讓項目中的各數(shù)據(jù)實施廠商都使用統(tǒng)一的數(shù)據(jù)開發(fā)方式，避免技術(shù)實現(xiàn)不同所帶來的壁壘；數(shù)據(jù)開發(fā)平臺提升復(fù)用易懂創(chuàng)新統(tǒng)一大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務(wù)總線功能架構(gòu)圖服務(wù)資源目錄中心數(shù)據(jù)服務(wù)總線總線監(jiān)控中心節(jié)點管理服務(wù)管理節(jié)點注冊服務(wù)信息的全網(wǎng)同步節(jié)點審批服務(wù)注冊服務(wù)審批擴展管理分類管理發(fā)布管理服務(wù)檢索服務(wù)維護服務(wù)管理服務(wù)調(diào)度調(diào)度管理資源擴展路由管理路由服務(wù)路由規(guī)則數(shù)據(jù)交換消息交換文件交換服務(wù)調(diào)用鑒權(quán)管理資源查詢流交換斷點續(xù)傳重發(fā)處理優(yōu)先級訪問控制服務(wù)編排緩存管理節(jié)點監(jiān)控啟動管理停止管理異常管理服務(wù)審計傳輸監(jiān)控質(zhì)量管理統(tǒng)計及上報服務(wù)監(jiān)控啟動管理停止管理異常管理數(shù)據(jù)服務(wù)總線基礎(chǔ)服務(wù)組織機構(gòu)管理用戶管理角色管理日志管理流控管理元數(shù)據(jù)管理服務(wù)視圖系統(tǒng)安全標準規(guī)范大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務(wù)總線邏輯架構(gòu)圖文件服務(wù)開發(fā)接口服務(wù)開發(fā)數(shù)據(jù)消費者接入認證接入路由服務(wù)路由配額管理接口服務(wù)文件服務(wù)流媒體服務(wù)數(shù)據(jù)共享層數(shù)據(jù)傳輸引擎統(tǒng)計引擎數(shù)據(jù)服務(wù)處理引擎數(shù)據(jù)開發(fā)層數(shù)據(jù)/文件訂閱接口運行監(jiān)控引擎元數(shù)據(jù)管理數(shù)據(jù)采集管理數(shù)據(jù)資產(chǎn)資產(chǎn)運營管理數(shù)據(jù)服務(wù)注冊管理大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務(wù)總線關(guān)鍵技術(shù)與特性標點數(shù)據(jù)服務(wù)總線重點解決高性能和高可用性能力單Server處理能力：采用SEDA架構(gòu)、輕量級部署架構(gòu)（直接部署JVM之上）、異步Servlet接入等技術(shù)分布式橫向擴展能力：采用靈活的集群部署模式、配置熱更新、資源統(tǒng)一監(jiān)控超量請求資源配額請求積壓基于隊列有策略丟棄外部不穩(wěn)定異步通知……異步多線程模型-SEDA特點邏輯分段段之間基于隊列通信資源分配ESB實例2ESB實例3ESB實例4ESB實例5硬件C硬件DESB管理服務(wù)器ESB實例1……ESB實例n硬件A硬件B通過控制臺對多個ESBServer進行統(tǒng)一管理跨機器、跨JVM部署配置更新、統(tǒng)一監(jiān)控單實例處理能力分布式擴展能力數(shù)據(jù)服務(wù)總線帶來的價值多渠道的數(shù)據(jù)共享方式，包括數(shù)據(jù)接口，文件，數(shù)據(jù)庫等，保證業(yè)務(wù)實現(xiàn)的可行性；提示實時的數(shù)據(jù)解決方案，支持流數(shù)據(jù)傳傳輸方式，保證業(yè)務(wù)數(shù)據(jù)的及時性；對于海量數(shù)據(jù)與音視頻文件，提供快速的大文件傳輸機制，快速獲得大數(shù)據(jù)；全方位的數(shù)據(jù)流量統(tǒng)計方式，讓數(shù)據(jù)的獲取與使用更加的透明化；數(shù)據(jù)的集成與共享，提供數(shù)據(jù)加密、數(shù)據(jù)脫敏等配置策略，保證數(shù)據(jù)的安全性；數(shù)據(jù)服務(wù)總線渠道快速海量統(tǒng)計安全大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺功能架構(gòu)圖導(dǎo)入導(dǎo)出資源操作日志用戶權(quán)限管理數(shù)據(jù)文件及時性監(jiān)控數(shù)據(jù)文件完整性監(jiān)控數(shù)據(jù)條數(shù)監(jiān)控數(shù)據(jù)文件大小監(jiān)控數(shù)據(jù)源連通性監(jiān)控服務(wù)運行情況監(jiān)控服務(wù)訪問情況監(jiān)控服務(wù)依賴關(guān)系監(jiān)控數(shù)據(jù)抖動監(jiān)控數(shù)據(jù)源管理ETL服務(wù)器配置郵件服務(wù)器配置調(diào)度服務(wù)器配置代理服務(wù)器配置數(shù)據(jù)一致性監(jiān)控作業(yè)異常監(jiān)控監(jiān)控規(guī)則及方法專題庫質(zhì)量監(jiān)控執(zhí)行源數(shù)據(jù)質(zhì)量監(jiān)控執(zhí)行……文件元模型監(jiān)控數(shù)據(jù)庫元模型監(jiān)控接口模型監(jiān)控元數(shù)據(jù)變更影響范圍監(jiān)控前臺告警短信告警郵件告警元數(shù)據(jù)監(jiān)控分析報表數(shù)據(jù)質(zhì)量監(jiān)控分析報表數(shù)據(jù)傳輸監(jiān)控報表數(shù)據(jù)服務(wù)監(jiān)控分析報表………數(shù)據(jù)傳輸調(diào)度監(jiān)控統(tǒng)計分析質(zhì)量監(jiān)控數(shù)據(jù)標準落地監(jiān)控數(shù)據(jù)服務(wù)監(jiān)控告警提醒系統(tǒng)配置元數(shù)據(jù)監(jiān)控大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)平臺邏輯架構(gòu)圖數(shù)據(jù)服務(wù)總線政府數(shù)據(jù)城市數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)資產(chǎn)人口數(shù)據(jù)......外部數(shù)據(jù)E（抽?。┝魈幚頂?shù)據(jù)開發(fā)T（轉(zhuǎn)換，清洗）L（加載）離線數(shù)據(jù)采集實時數(shù)據(jù)采集大數(shù)據(jù)平臺其他應(yīng)用平臺業(yè)務(wù)應(yīng)用分析類應(yīng)用人員類應(yīng)用預(yù)測類應(yīng)用挖掘類應(yīng)用………大數(shù)據(jù)平臺治理七條監(jiān)控線A專題庫B專題庫C專題庫大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺關(guān)鍵技術(shù)與特性數(shù)據(jù)采集監(jiān)控是指對外部和的離線數(shù)據(jù)和實時數(shù)據(jù)進行采集記錄數(shù)據(jù)層面的監(jiān)控，如：數(shù)據(jù)文件大小，數(shù)據(jù)文件記錄數(shù)，數(shù)據(jù)文件增全量采集，采集頻率等的監(jiān)控及預(yù)警實現(xiàn)大數(shù)據(jù)平臺中離線數(shù)據(jù)計算處理ETL執(zhí)行的監(jiān)控，如作業(yè)的啟動情況，作業(yè)的執(zhí)行情況，作業(yè)的依賴情況，作業(yè)的執(zhí)行時效，作業(yè)狀態(tài)，作業(yè)執(zhí)行日志。對數(shù)據(jù)質(zhì)量進行統(tǒng)一閉環(huán)管理，覆蓋數(shù)據(jù)質(zhì)量的定義、監(jiān)控、問題分析、整改和評估，推動質(zhì)量問題的解決。圍繞數(shù)據(jù)質(zhì)量管理，建立監(jiān)控機制，如，及時性、完整性、準確性、有效性等監(jiān)控及預(yù)警。實現(xiàn)大數(shù)據(jù)平臺數(shù)據(jù)到達情況監(jiān)控和數(shù)據(jù)分發(fā)成功與否監(jiān)控，數(shù)據(jù)到達是指采集的數(shù)據(jù)文件或DB數(shù)據(jù)是否按約定的時間節(jié)點準備就緒，對問題實現(xiàn)預(yù)警；數(shù)據(jù)分發(fā)是指大數(shù)據(jù)平臺中的數(shù)據(jù)及時傳遞到目標端的監(jiān)控。數(shù)據(jù)服務(wù)總線服務(wù)監(jiān)控管理，服務(wù)監(jiān)控包括，服務(wù)運行情況，消費者訪問情況，提供者提供情況，SLA滿足程度，提供者與消費者之間的依賴關(guān)系，依賴分析，從而能確定哪個客戶端在使用服務(wù)大數(shù)據(jù)平臺中數(shù)據(jù)模型，與大數(shù)據(jù)交互數(shù)據(jù)源數(shù)據(jù)模型變更的監(jiān)控，包括數(shù)據(jù)庫表結(jié)構(gòu)，數(shù)據(jù)文件結(jié)構(gòu)，指標定義，數(shù)據(jù)標準規(guī)范的技術(shù)，業(yè)務(wù)，管理屬性監(jiān)控，數(shù)據(jù)字典的監(jiān)控及預(yù)警。實現(xiàn)數(shù)據(jù)標準的變更監(jiān)控，數(shù)據(jù)標準的落地映射監(jiān)控，在數(shù)據(jù)標準發(fā)生現(xiàn)在后調(diào)整的時候，能快速的定位變更的影響，也能知道哪些系統(tǒng)，哪些部門的哪個數(shù)據(jù)庫表落地了數(shù)據(jù)標準規(guī)范。數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)采集監(jiān)控線作業(yè)調(diào)度監(jiān)控線數(shù)據(jù)傳輸監(jiān)控線數(shù)據(jù)服務(wù)監(jiān)控線元數(shù)據(jù)監(jiān)控線標準執(zhí)行監(jiān)控線1276543數(shù)據(jù)監(jiān)控平臺給客戶帶來的價值監(jiān)控用戶的使用安全，通過郵件、短信等方式無需登錄系統(tǒng)可發(fā)現(xiàn)數(shù)據(jù)問題；及時發(fā)現(xiàn)數(shù)據(jù)的波動、缺失等變化，在影響業(yè)務(wù)開展之前及時發(fā)現(xiàn)問題原因；以提高數(shù)據(jù)質(zhì)量為目標，定期數(shù)據(jù)做質(zhì)量檢查，建立閉環(huán)質(zhì)量管理機制；通過數(shù)據(jù)質(zhì)量監(jiān)控手段，自動化發(fā)現(xiàn)數(shù)據(jù)標準問題，提供數(shù)據(jù)標準落地檢查機制；提供集中的數(shù)據(jù)監(jiān)控平臺，統(tǒng)一監(jiān)控環(huán)境，無需在不同環(huán)境配置多套監(jiān)控產(chǎn)品；數(shù)據(jù)監(jiān)控平臺便捷及時準確集中標準總結(jié)：大數(shù)據(jù)的全生命周期閉環(huán)管理大數(shù)據(jù)

治理數(shù)據(jù)保障管理共享開發(fā)使用資產(chǎn)管理開發(fā)利用共享協(xié)作運營分析普元大數(shù)據(jù)治理平臺特色涉及數(shù)據(jù)全生命周期跨行業(yè)、經(jīng)驗豐富國內(nèi)最權(quán)威的大數(shù)據(jù)治理廠商全體系全框架全過程全行業(yè)全自主全部平臺自主研發(fā)頂層規(guī)劃，平臺建設(shè)，過程服務(wù)實踐提煉穩(wěn)定框架大數(shù)據(jù)治理平臺實施的實踐路線一階段：建立平臺二階段：項目實施三階段：治理數(shù)據(jù)建立大數(shù)據(jù)運營平臺建立大數(shù)據(jù)治理平臺（數(shù)據(jù)基礎(chǔ)監(jiān)控，數(shù)據(jù)傳輸監(jiān)控，數(shù)據(jù)管理監(jiān)控，數(shù)據(jù)服務(wù)監(jiān)控）根據(jù)數(shù)據(jù)治理平臺的建立，以大數(shù)據(jù)平臺為依托，實施數(shù)據(jù)治理項目，實現(xiàn)數(shù)據(jù)管理目的逐步推進項目實施數(shù)據(jù)管理，建議先實施元數(shù)據(jù)建立數(shù)據(jù)服務(wù)支撐體系，使數(shù)據(jù)管理實現(xiàn)為數(shù)據(jù)服務(wù)提供支撐的目的。建立治理數(shù)據(jù)的一體化數(shù)據(jù)治理體系，實現(xiàn)全方位的數(shù)據(jù)管理，提升大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量。平臺驗證項目實施全面提升THANKS大數(shù)據(jù)中心建設(shè)方案目錄/Contents項目總體解決方案01大數(shù)據(jù)平臺建設(shè)方案02數(shù)據(jù)資源中心建設(shè)方案03總體解決方案中心總體定位總體解決方案總體實施方案1中心總體定位縣級政務(wù)大數(shù)據(jù)資源中心構(gòu)建PB級大數(shù)據(jù)采集、存儲、計算、挖掘、分析與應(yīng)用能力匯聚數(shù)據(jù)資源形成數(shù)據(jù)資產(chǎn)建立數(shù)據(jù)應(yīng)用建立數(shù)據(jù)服務(wù)保護數(shù)據(jù)安全政務(wù)處理經(jīng)濟發(fā)展城市管理民生保障……公共安全縣各級政務(wù)數(shù)據(jù)監(jiān)控視頻數(shù)據(jù)物聯(lián)設(shè)備數(shù)據(jù)企事業(yè)單位數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…智慧政務(wù)數(shù)據(jù)檢索數(shù)據(jù)計算決策依據(jù)洞察&建議數(shù)據(jù)統(tǒng)計、業(yè)務(wù)分析、風(fēng)險預(yù)警、智能服務(wù)、輔助決策&兌現(xiàn)數(shù)據(jù)價值、賦能政務(wù)處理、提升治理水平、推動社會發(fā)展總體建設(shè)目標總體建設(shè)目標聚：推進與縣級R口、FR、空間地理庫的數(shù)據(jù)集成，促進電子證照庫對接利用；逐步推進縣級各部門政務(wù)數(shù)據(jù)、視頻數(shù)據(jù)、物聯(lián)數(shù)據(jù)以及基層業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)匯聚。管：構(gòu)建一站式數(shù)據(jù)資產(chǎn)管理平臺，通過數(shù)據(jù)交換共享實現(xiàn)全縣內(nèi)數(shù)據(jù)匯聚、整合，構(gòu)建全縣統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄管理，形成對數(shù)據(jù)全生命周期管理及各環(huán)節(jié)安全監(jiān)管。通：實現(xiàn)基于應(yīng)用場景的數(shù)據(jù)資源授權(quán)管理機制，推動全縣公共數(shù)據(jù)按需充分共享。實現(xiàn)數(shù)據(jù)分級分類開放管理，擴展共享交換平臺功能。用：開展主題數(shù)據(jù)庫建設(shè)，推動數(shù)據(jù)資源整合及數(shù)據(jù)分析應(yīng)用。開展數(shù)據(jù)應(yīng)用模型及算法研究，探索數(shù)據(jù)服務(wù)模式創(chuàng)新；推進全縣跨部門的數(shù)據(jù)智能應(yīng)用。安：打造整體安全管控體系，保證平臺上政務(wù)數(shù)據(jù)在數(shù)據(jù)匯聚、數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)開放等全生命周期中的安全防護能力?？h級政務(wù)大數(shù)據(jù)資源中心總體解決方案縣級政務(wù)大數(shù)據(jù)資源中心AI圖譜技術(shù)大數(shù)據(jù)云計算數(shù)據(jù)整合可視化數(shù)據(jù)展示功能設(shè)計應(yīng)用發(fā)布需求分析數(shù)據(jù)應(yīng)用模型設(shè)計全民健康資金監(jiān)管工業(yè)農(nóng)業(yè)發(fā)展市場監(jiān)管數(shù)據(jù)資源數(shù)據(jù)計算管理治理開發(fā)調(diào)度數(shù)據(jù)模型計算模型數(shù)據(jù)源關(guān)聯(lián)業(yè)務(wù)目標表單樣式計算任務(wù)調(diào)度共享開放數(shù)據(jù)應(yīng)用與推送整合各類數(shù)據(jù)資源連接各類人員數(shù)據(jù)管理/開放門戶數(shù)據(jù)采集數(shù)據(jù)安全總體應(yīng)用流程總體實施方案縣級政務(wù)大數(shù)據(jù)資源中心建設(shè)項目實施數(shù)據(jù)管理平臺建設(shè)數(shù)據(jù)治理開發(fā)運營平臺工具支撐應(yīng)用需求推動利器工事建設(shè)一套大數(shù)據(jù)管理與應(yīng)用平臺以構(gòu)建一個能持續(xù)高效運轉(zhuǎn)的數(shù)據(jù)治理管理體系為目標建設(shè)縣數(shù)據(jù)湖開發(fā)建設(shè)R口與FR基礎(chǔ)庫建設(shè)市場監(jiān)管、工業(yè)、全民健康、惠民資金監(jiān)管、農(nóng)業(yè)五大示范應(yīng)用平臺建設(shè)方案平臺總體架構(gòu)平臺各子平臺建設(shè)方案2平臺總體架構(gòu)數(shù)據(jù)源縣級政務(wù)數(shù)據(jù)監(jiān)控視頻數(shù)據(jù)物聯(lián)設(shè)備數(shù)據(jù)事業(yè)單位數(shù)據(jù)企業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…數(shù)據(jù)交換數(shù)據(jù)采集配置與校驗數(shù)據(jù)交換前置數(shù)據(jù)共享服務(wù)管理數(shù)據(jù)共享服務(wù)接口數(shù)據(jù)交換異常監(jiān)控數(shù)據(jù)交換安全傳輸數(shù)據(jù)資源中心存儲RDMS消息隊列分布式存儲……存儲非結(jié)構(gòu)化數(shù)據(jù)圖片數(shù)據(jù)文本數(shù)據(jù)實時數(shù)據(jù)實時存儲時實模型離線數(shù)據(jù)應(yīng)用層(FR、R口)計算區(qū)離線計算實時計算標準層數(shù)據(jù)湖數(shù)據(jù)治理管理元數(shù)據(jù)管理數(shù)據(jù)標準管理數(shù)據(jù)開發(fā)管理統(tǒng)一調(diào)度管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)管理開放門戶開放共享服務(wù)列表服務(wù)申請服務(wù)審批服務(wù)授權(quán)服務(wù)接口服務(wù)監(jiān)控統(tǒng)一運維監(jiān)控資源管理基礎(chǔ)資源監(jiān)控應(yīng)用服務(wù)監(jiān)控監(jiān)控告警管理平臺運維管理日常巡檢管理數(shù)據(jù)安全統(tǒng)一用戶管理統(tǒng)一身份管理統(tǒng)一授權(quán)管理統(tǒng)一認證管理日志審計管理統(tǒng)一日志管理首頁資源目錄資源服務(wù)開放清單數(shù)據(jù)開放統(tǒng)一消息數(shù)據(jù)資產(chǎn)管理平臺架構(gòu)關(guān)系數(shù)據(jù)治理管理平臺數(shù)據(jù)資產(chǎn)管理（元數(shù)據(jù)、標準、質(zhì)量、資產(chǎn)、目錄）應(yīng)用建模數(shù)據(jù)采集數(shù)據(jù)共享數(shù)據(jù)加工數(shù)據(jù)源數(shù)據(jù)基礎(chǔ)支撐平臺數(shù)據(jù)共享交換平臺-采集大數(shù)據(jù)資源中心質(zhì)量稽核統(tǒng)一維護平臺數(shù)據(jù)安全管理數(shù)據(jù)采集任務(wù)調(diào)度數(shù)據(jù)處理提取與存儲集中監(jiān)控維護信息安全保障數(shù)據(jù)共享開放門戶數(shù)據(jù)管理門戶數(shù)據(jù)資產(chǎn)&服務(wù)調(diào)度開放控制&下發(fā)調(diào)度1243540資產(chǎn)管理65數(shù)據(jù)共享輸出數(shù)據(jù)使用單位數(shù)據(jù)支撐子平臺·總體架構(gòu)Zookeeper(分布式協(xié)調(diào)服務(wù))HDFS（分布式文件系統(tǒng)）HBaseHiveKuduKafka數(shù)據(jù)存儲MR(離線計算)Spark(內(nèi)存計算)Flink(流式計算)數(shù)據(jù)處理Flume(文件日志采集)Sqoop(數(shù)據(jù)庫采集)Oozie

(作業(yè)調(diào)度系統(tǒng)）ClouderaManager

(安裝部署工具）Impala(SQL引擎)數(shù)據(jù)支撐子平臺·數(shù)據(jù)范圍與存儲數(shù)據(jù)支撐子平臺可承載的縣信息資源平臺數(shù)據(jù)湖/庫歸集的數(shù)據(jù)范圍、種類和存儲方式如下：數(shù)據(jù)范圍存儲方式政務(wù)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)公共事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)縣級政務(wù)數(shù)據(jù)：縣級各委辦局提供的公安、稅務(wù)等各類政務(wù)數(shù)據(jù)；街道政務(wù)數(shù)據(jù)：下屬街道社區(qū)上報的各類政務(wù)數(shù)據(jù)。水電煤：采集區(qū)級自來水、電力、煤氣、供熱等公共事業(yè)數(shù)據(jù)，此類數(shù)據(jù)是和百姓生活息息相關(guān)的重要民生資源。金融行業(yè)：整合金融行業(yè)個人、企業(yè)征信數(shù)據(jù)；電信行業(yè)：整合電信運營商個人、企業(yè)的位置數(shù)據(jù)、互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)等關(guān)鍵數(shù)據(jù)其他行業(yè)：整合其他行業(yè)的優(yōu)質(zhì)數(shù)據(jù)資源。視頻監(jiān)控數(shù)據(jù)：采集閔行區(qū)署的交通、公安監(jiān)等各類控攝像頭所記錄的監(jiān)控視頻數(shù)據(jù)；其他感知設(shè)備數(shù)據(jù)：采集部署在閔行區(qū)內(nèi)各類感知設(shè)備提供的數(shù)據(jù)。SQL數(shù)據(jù)庫：結(jié)構(gòu)化數(shù)據(jù)的存儲和計算以支持SQL的關(guān)系型數(shù)據(jù)為主，如MySql、KunDB等.NoSQL數(shù)據(jù)庫：非結(jié)構(gòu)化數(shù)據(jù)的存儲和計算以NoSQ數(shù)據(jù)為主，其中電子證照等小文件數(shù)據(jù)存儲在Hyperbase等KeyValue結(jié)構(gòu)的數(shù)據(jù)庫中，視頻等大文件存儲在HDFS上。半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)共享交換子平臺·總體架構(gòu)建全縣統(tǒng)一的數(shù)據(jù)共享交換子平臺，形成公共數(shù)據(jù)采集、交換、共享的核心樞紐，并可打通全縣各單位間數(shù)據(jù)資源共享通道，實現(xiàn)雙向信息傳遞（源數(shù)據(jù)采集&數(shù)據(jù)應(yīng)用共享）互通。數(shù)據(jù)交換是整個平臺的基礎(chǔ)，提供系統(tǒng)業(yè)務(wù)接口接入、交換前置接入、數(shù)據(jù)采集、交換傳輸、數(shù)據(jù)集成、交換管理等功能服務(wù)；數(shù)據(jù)交換通過前置交換系統(tǒng)與各交換部門進行互聯(lián)；通過數(shù)據(jù)傳輸系統(tǒng)各委辦的數(shù)據(jù)資源匯集到數(shù)據(jù)中心；對匯集到數(shù)據(jù)中心的數(shù)據(jù)進行統(tǒng)一加工、處理，并將經(jīng)過數(shù)據(jù)治理后的數(shù)據(jù)中心中的數(shù)據(jù)交換到各類基礎(chǔ)信息庫中；服務(wù)管理系統(tǒng)將各類基礎(chǔ)信息庫中的數(shù)據(jù)進行服務(wù)封裝和服務(wù)發(fā)布，提供給各委辦或決策分析等系統(tǒng)使用。數(shù)據(jù)共享交換子平臺·技術(shù)方案數(shù)據(jù)共享交互平臺總體架構(gòu)主要分為基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、支撐層，服務(wù)層以及貫穿多層的標準規(guī)范體系和安全保障體系。基礎(chǔ)設(shè)施層主要是指平臺建設(shè)運行所需的網(wǎng)絡(luò)、服務(wù)器、存儲、安全、虛擬化等基礎(chǔ)支撐設(shè)施息資源層就是在資源中心所匯聚、沉淀形成的各類數(shù)據(jù)資源；基礎(chǔ)支撐層由平臺基礎(chǔ)支撐軟件構(gòu)成，是平臺穩(wěn)定運行提供服務(wù)的基礎(chǔ)交換支撐層是數(shù)據(jù)資源匯集、處理與服務(wù)的核心支撐，通過底層中間件為基礎(chǔ)，構(gòu)建面向上層應(yīng)用的服務(wù)系統(tǒng)標準規(guī)范與運維體系貫穿平臺的各個層面，用于規(guī)范各部分的建設(shè)運行和管理，保障平臺的順利建設(shè)實施和正常穩(wěn)定運行。數(shù)據(jù)治理子平臺·總體架構(gòu)數(shù)據(jù)服務(wù)數(shù)據(jù)生產(chǎn)者縣政務(wù)數(shù)據(jù)鄉(xiāng)鎮(zhèn)政務(wù)數(shù)據(jù)企事業(yè)數(shù)據(jù)視頻數(shù)據(jù)物聯(lián)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…數(shù)據(jù)消費者縣各政務(wù)單位鄉(xiāng)鎮(zhèn)、街道事業(yè)單位民間機構(gòu)企業(yè)…上級政務(wù)單位政務(wù)大數(shù)據(jù)資源中心數(shù)據(jù)治理管理規(guī)范標準（元數(shù)據(jù)、標準、質(zhì)量、資產(chǎn)、目錄）數(shù)據(jù)治理平臺數(shù)據(jù)建模數(shù)據(jù)采集數(shù)據(jù)共享清洗加工質(zhì)量稽核資產(chǎn)管理數(shù)據(jù)生命周期管理持續(xù)反饋數(shù)據(jù)歸集數(shù)據(jù)安全管控數(shù)據(jù)治理平臺覆蓋了從標準、設(shè)計、采集、開發(fā)到使用，再到交付的全數(shù)據(jù)治理流程，為組織提供了一站式數(shù)據(jù)治理運營平臺，可滿足數(shù)據(jù)共享交換、數(shù)據(jù)開發(fā)、數(shù)據(jù)運營多種應(yīng)用場景，并通過構(gòu)建數(shù)據(jù)工廠，實現(xiàn)數(shù)據(jù)治理的標準化、流程化與組件化。數(shù)據(jù)治理子平臺·功能架構(gòu)元數(shù)據(jù)采集數(shù)據(jù)標準管理元數(shù)據(jù)管理數(shù)據(jù)地圖字典標準數(shù)據(jù)項標準元數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)管理資產(chǎn)分類資產(chǎn)注冊數(shù)據(jù)血緣資產(chǎn)分析數(shù)據(jù)架構(gòu)管理組織層級管理數(shù)據(jù)團隊管理系統(tǒng)管理用戶管理權(quán)限管理數(shù)據(jù)開發(fā)數(shù)據(jù)異常管理異常對接管理異常問題列表人工處理管理系統(tǒng)處理管理數(shù)據(jù)質(zhì)量全過程流程驅(qū)動全過程開發(fā)質(zhì)量控制校驗規(guī)則管理物理表檢查配置質(zhì)量檢查質(zhì)量檢查報告腳本開發(fā)作業(yè)開發(fā)開發(fā)測試上線部署任務(wù)監(jiān)控運維數(shù)據(jù)探索數(shù)據(jù)治理平臺能夠支持多種數(shù)據(jù)庫環(huán)境的數(shù)據(jù)開發(fā)功能，實現(xiàn)從數(shù)據(jù)的采集、加工到數(shù)據(jù)探索服務(wù)的全生命周期管理。并提供數(shù)據(jù)開發(fā)全過程的治理管控能力。制定配套的數(shù)據(jù)規(guī)范管理流程。包括數(shù)據(jù)標準的定義、數(shù)據(jù)標準執(zhí)行、數(shù)據(jù)質(zhì)量檢核規(guī)則管理、數(shù)據(jù)質(zhì)量問題治理、數(shù)據(jù)模型管理辦法、數(shù)據(jù)交換管理、ETL開發(fā)管理規(guī)范等工作流程。數(shù)據(jù)治理子平臺·數(shù)據(jù)應(yīng)用開發(fā)整體流程模型開發(fā)程序開發(fā)程序測試審核上線數(shù)據(jù)探索2-模型定義創(chuàng)建模型基礎(chǔ)信息、定義模型的元數(shù)據(jù)3-構(gòu)建表結(jié)構(gòu)添加模型字段信息提供手工/批量方式4-編輯模型應(yīng)用程序①可視化開發(fā)：固化程序命令，拖拽式使用，自由配置邏輯②腳本開發(fā):支持sql、Python、java、shell等類型的腳本5-程序在線測試提供WEB界面可視化測試功能;查看執(zhí)行時長、執(zhí)行狀態(tài)等信息，方便開發(fā)人員調(diào)試，性能分析7-提交審核并上線開發(fā)人員建立上線任務(wù)，提交審核并上線6-調(diào)度配置1-數(shù)據(jù)探索根據(jù)業(yè)務(wù)邏輯做需求分析，通過探索了解相關(guān)數(shù)據(jù)情況數(shù)據(jù)治理子平臺·可視化、流程化數(shù)據(jù)開發(fā)數(shù)據(jù)工廠支持可視化的程序編排，數(shù)據(jù)處理流程開發(fā)，使程序開發(fā)更簡便，降低數(shù)據(jù)開發(fā)周期、開發(fā)成本；平臺提供數(shù)據(jù)處理各項能力的開發(fā)功能，提供包括數(shù)據(jù)采集、處理、裝載、分發(fā)、校驗等功能開發(fā)平臺具備執(zhí)行標準的開源Hadoop接口調(diào)用能力，以及基于個性化Hadoop接口封裝能力；根據(jù)不同的數(shù)據(jù)生產(chǎn)環(huán)境，具備不同的數(shù)據(jù)處理能力，可根據(jù)自身需求，基于平臺擴展自主的數(shù)據(jù)處理功能可視化程序開發(fā)可結(jié)合數(shù)據(jù)標準化體系，整體數(shù)據(jù)開發(fā)流程與標準化管控切實對接。數(shù)據(jù)治理子平臺·統(tǒng)一任務(wù)調(diào)度以一個流水線生產(chǎn)為例：傳統(tǒng)做法是單條生產(chǎn)線依賴產(chǎn)品的生產(chǎn)工序進行協(xié)同生產(chǎn)。在統(tǒng)一開發(fā)調(diào)度平臺可以通過控制中心進行作業(yè)命令下發(fā)，狀態(tài)收集進行控制，達到多個工廠，多條生產(chǎn)線的協(xié)同調(diào)度，實現(xiàn)數(shù)據(jù)從“采集→加工→對外應(yīng)用服務(wù)”的全生命周期管理。統(tǒng)一調(diào)度管理流程設(shè)計與管理調(diào)度策略管控任務(wù)調(diào)度控制標準化控件……作業(yè)/任務(wù)管理作業(yè)/任務(wù)調(diào)度作業(yè)/任務(wù)執(zhí)行采集轉(zhuǎn)換加載調(diào)度監(jiān)控數(shù)據(jù)治理子平臺·數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理主要包含對數(shù)據(jù)完整性、準確性、鮮活性、權(quán)威性的分析和管理，并對數(shù)據(jù)進行跟蹤、處理和解決，實現(xiàn)對數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。質(zhì)量模型一套規(guī)則質(zhì)檢方案一質(zhì)檢方案二質(zhì)檢方案……and╋╋質(zhì)量模型實體表數(shù)據(jù)質(zhì)量基礎(chǔ)單元完整性準確性鮮活性權(quán)威性根據(jù)業(yè)務(wù)需要選擇實體表和規(guī)則，方案與方案之間相互獨立，互不干擾。通過執(zhí)行模型下的質(zhì)檢方案，可以得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問題數(shù)據(jù)明細信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。平臺能夠提供質(zhì)量規(guī)則配置、質(zhì)量監(jiān)控、問題處理等功能，及時發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價值空值檢查值域檢查規(guī)范檢查邏輯檢查重復(fù)數(shù)據(jù)檢查及時性檢查缺失記錄檢查引用完整性檢查……檢查質(zhì)量規(guī)則數(shù)據(jù)治理子平臺·數(shù)據(jù)資產(chǎn)管理通過對數(shù)據(jù)治理，讓數(shù)據(jù)更加準確、一致、完整、安全，并形成數(shù)據(jù)資產(chǎn)，讓對數(shù)據(jù)的使用過程更為人性、便捷、智能，從而提升管理決策水平。利用數(shù)據(jù)資產(chǎn)管理支持對數(shù)據(jù)的分發(fā)、開發(fā)、交易等數(shù)據(jù)嫁接的實現(xiàn)，從而促進數(shù)據(jù)資產(chǎn)的價值實現(xiàn)。數(shù)據(jù)資產(chǎn)ETL數(shù)據(jù)庫分析報告設(shè)計文檔處理程序報表服務(wù)數(shù)據(jù)模型資產(chǎn)目錄管理資產(chǎn)生命周期管理資產(chǎn)注冊資產(chǎn)上下線資產(chǎn)變更管理資產(chǎn)引用管理數(shù)據(jù)血緣資產(chǎn)地圖自動化收集數(shù)據(jù)可知明確數(shù)據(jù)來源、含義、用法數(shù)據(jù)可控數(shù)據(jù)流可控數(shù)據(jù)質(zhì)量可控數(shù)據(jù)可取方便各層級人員獲取管理目標數(shù)據(jù)治理子平臺·可視化全景數(shù)據(jù)資產(chǎn)視圖元數(shù)據(jù)采集，進行資產(chǎn)注冊，形成可查詢可閱讀的數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)開發(fā)管理后，展現(xiàn)全鏈路數(shù)據(jù)血緣關(guān)系數(shù)據(jù)治理體系形成后，展示數(shù)據(jù)業(yè)務(wù)全景統(tǒng)一數(shù)據(jù)管理與開放門戶·構(gòu)建統(tǒng)一數(shù)據(jù)管理與應(yīng)用入口統(tǒng)一數(shù)據(jù)管理與開放門戶作為信息發(fā)布和數(shù)據(jù)服務(wù)的總管理入口，為縣各級單位提供信息資源展示、在線信息服務(wù)、信息檢索等服務(wù)；并推動公共數(shù)據(jù)未來和社會面的數(shù)據(jù)交互和開放使用，加強政企數(shù)據(jù)互動，開放創(chuàng)新應(yīng)用，實現(xiàn)數(shù)據(jù)智能的社會化應(yīng)用價值。門戶提供統(tǒng)一的待辦工單流轉(zhuǎn)和個人消息提醒功能，通過門戶入口實現(xiàn)對業(yè)務(wù)的協(xié)同管理；門戶提供統(tǒng)一的權(quán)限管理并適配各管理子系統(tǒng)，提供角色互斥配置，實現(xiàn)權(quán)限的管、用、審分離；門戶實現(xiàn)CA認證、統(tǒng)一身份認證和單點登錄。統(tǒng)一運維子平臺·功能架構(gòu)采集層前端采集前端采集前端采集前端采集前端采集數(shù)據(jù)層數(shù)據(jù)庫應(yīng)用層分布式服務(wù)組件分布式緩存組件消息管理組件搜索引擎組件流處理組件分布式文件系統(tǒng)通知推送自動監(jiān)控文件管理搜索中心通用能力監(jiān)控資源管理基礎(chǔ)資源監(jiān)測應(yīng)用系統(tǒng)監(jiān)控平臺服務(wù)監(jiān)控監(jiān)控告警配置監(jiān)控告警管理數(shù)據(jù)質(zhì)量監(jiān)控服務(wù)層集中平臺運維統(tǒng)一運維平臺負責(zé)對縣級大數(shù)據(jù)資源平臺內(nèi)的所有基礎(chǔ)資源，系統(tǒng)模塊，系統(tǒng)運行行情況提供整體的監(jiān)控告警，運維視圖、巡檢等工具承載，使得可以快速發(fā)現(xiàn)縣級大數(shù)據(jù)資源平臺上的各種異常，及時發(fā)現(xiàn)并告知維護人員，快速恢復(fù)，提升平臺內(nèi)外客戶感知。日常巡檢管理平臺運維管理平臺故障管理平臺數(shù)據(jù)安全管理方案安全服務(wù)體系平臺基礎(chǔ)設(shè)備信息源身份認證信息數(shù)據(jù)授權(quán)信息安全服務(wù)信息數(shù)據(jù)使用信息信息資源平臺數(shù)據(jù)流數(shù)據(jù)流安全運營中心監(jiān)控服務(wù)信息平臺安全運營安全規(guī)范審計事前：統(tǒng)一身份訪問控制事中：數(shù)據(jù)使用權(quán)限控制事后：統(tǒng)一日志管理日志審計分析整體：數(shù)據(jù)安全合規(guī)審查數(shù)據(jù)資源中心建設(shè)方案資源中心規(guī)劃方案資源建設(shè)流程基礎(chǔ)庫建設(shè)方案3大數(shù)據(jù)資源中心建設(shè)·總體規(guī)劃方案通過相應(yīng)平臺工具匯聚全縣內(nèi)各單位公共數(shù)據(jù)形成縣級數(shù)據(jù)湖，同時經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、融合、治理后高質(zhì)量的公共數(shù)據(jù)資源庫，并基于相關(guān)應(yīng)用需求構(gòu)建各類應(yīng)用基礎(chǔ)、主題、專題庫，進而形成縣級大數(shù)據(jù)資源中心。各類數(shù)據(jù)源各類數(shù)據(jù)使用單位與應(yīng)用政務(wù)大數(shù)據(jù)資源中心數(shù)據(jù)湖（ODS貼源層）數(shù)據(jù)庫（DWD層）基礎(chǔ)庫大數(shù)據(jù)示范應(yīng)用區(qū)共享庫（

開放共享區(qū)）數(shù)據(jù)安全保障集中監(jiān)控維護數(shù)據(jù)治理處理管理主題/專題庫大數(shù)據(jù)資源中心建設(shè)·區(qū)域模型設(shè)計共享數(shù)據(jù)庫數(shù)據(jù)共享區(qū)政務(wù)大數(shù)據(jù)資源中心離線數(shù)據(jù)區(qū)實時數(shù)據(jù)應(yīng)用數(shù)據(jù)庫專題庫主題庫基礎(chǔ)庫示范應(yīng)用區(qū)結(jié)構(gòu)化數(shù)據(jù)公共數(shù)據(jù)庫非結(jié)構(gòu)化數(shù)據(jù)R口庫FR庫地理信息庫電子證照庫市場監(jiān)管工業(yè)、農(nóng)業(yè)惠民資金監(jiān)管全面健康數(shù)據(jù)湖-貼源數(shù)據(jù)層政務(wù)資源社會資源智能物聯(lián)設(shè)備基礎(chǔ)標簽庫互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)資源中心建設(shè)·數(shù)據(jù)湖建設(shè)建立縣數(shù)據(jù)湖，用以存儲縣級各種各樣原始數(shù)據(jù)，并保證湖中的數(shù)據(jù)可供存取、處理、分析及傳輸。通過數(shù)據(jù)采集相關(guān)技術(shù)手段，面向多類數(shù)據(jù)源，匯集縣委辦、監(jiān)控視頻、企事業(yè)單位、互聯(lián)網(wǎng)以及其他各類數(shù)據(jù)，并統(tǒng)一存儲到縣數(shù)據(jù)湖中。SRC近源數(shù)據(jù)層定位在于將原始數(shù)據(jù)源進行全量映射保存，是外部各類數(shù)據(jù)進入數(shù)據(jù)湖的第一步緩沖節(jié)點。該層需要匯集縣各業(yè)務(wù)條線數(shù)據(jù)，數(shù)據(jù)類型需要涵蓋結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)為了構(gòu)建有效的數(shù)據(jù)分層治理，構(gòu)建起逐層遞進的數(shù)據(jù)流轉(zhuǎn)模式，數(shù)據(jù)湖構(gòu)建過程中，需要構(gòu)建ODS源數(shù)據(jù)層。以數(shù)據(jù)開發(fā)工具為基礎(chǔ)，構(gòu)建SRC近源數(shù)據(jù)層、ODS數(shù)據(jù)資源層，形成面向全行業(yè)的數(shù)據(jù)基礎(chǔ)層；以數(shù)據(jù)湖為基礎(chǔ)，為后續(xù)主題、專題建設(shè)提供基礎(chǔ)數(shù)據(jù)支撐，同時為上層應(yīng)用價值發(fā)掘提供全面的數(shù)據(jù)支撐。監(jiān)控視頻數(shù)據(jù)大數(shù)據(jù)資源中心建設(shè)·資源治理流程政務(wù)業(yè)務(wù)數(shù)據(jù)物聯(lián)視頻數(shù)據(jù)事業(yè)單位數(shù)據(jù)企業(yè)數(shù)據(jù)…互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)前置庫大數(shù)據(jù)資源中心-數(shù)據(jù)湖&數(shù)據(jù)庫ODS貼源層DWD基礎(chǔ)庫R口、FR、……大數(shù)據(jù)示范應(yīng)用市場監(jiān)管、工業(yè)、農(nóng)業(yè)、…主題/專題庫應(yīng)急管理、智能農(nóng)業(yè)…共享庫數(shù)據(jù)前置庫數(shù)據(jù)歸集清洗加工分發(fā)分發(fā)分發(fā)分發(fā)分發(fā)分發(fā)文件下發(fā)庫表下發(fā)分發(fā)政務(wù)單位外部社會機構(gòu)數(shù)據(jù)調(diào)用接口調(diào)用數(shù)據(jù)使用機構(gòu)基礎(chǔ)庫建設(shè)·總體方案業(yè)務(wù)信息數(shù)據(jù)公A口R口出生、死亡及戶籍登記基本信息地理實體數(shù)據(jù)影像數(shù)據(jù)高程數(shù)據(jù)電子地圖數(shù)據(jù)地名地址數(shù)據(jù)三維數(shù)據(jù)數(shù)據(jù)抽取/數(shù)據(jù)交換R口概況、R口查詢、R口統(tǒng)計、R口畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標簽管理、標簽映射和關(guān)系、圖形化分析……R口庫建模元數(shù)據(jù)管理FR庫建模元數(shù)據(jù)管理基礎(chǔ)數(shù)據(jù)庫基礎(chǔ)庫管理應(yīng)用R口應(yīng)用FR概況、FR查詢、FR統(tǒng)計、FR畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標簽管理、標簽映射和關(guān)系、圖形化分析……FR應(yīng)用R口數(shù)據(jù)FR數(shù)據(jù)空間地理數(shù)據(jù)民政口婚姻關(guān)系雙方R口信息R社口社會五險參保等R口信息衛(wèi)計口孕產(chǎn)婦及家屬信息工商口稅務(wù)口質(zhì)監(jiān)口民政口基礎(chǔ)庫建設(shè)·R口庫建設(shè)通過對R口庫數(shù)據(jù)源的全面梳理，利用信息資源平臺已歸集的R口相關(guān)數(shù)據(jù)，構(gòu)建全縣統(tǒng)一的、以公民身份號位為唯一標識的、可共享的綜合R口信息資源庫?；诰C合R口庫，實現(xiàn)全縣R口信息的匯聚治理、共享交換和應(yīng)用服務(wù)，為開展跨部門、跨業(yè)務(wù)、跨區(qū)域的R口應(yīng)用服務(wù)和數(shù)據(jù)共享，以及R口大數(shù)據(jù)分析、輔助決策等，提供全方位的R口信息支撐。R口庫管理應(yīng)用提供對匯聚形成的R口數(shù)據(jù)的概況展示、R口個案查詢及多條件查詢、R口統(tǒng)計、R口畫像等應(yīng)用功能，并提供針對R口數(shù)據(jù)處理規(guī)則、數(shù)據(jù)模型、字段來源、生命周期配置等管理維護功能。基礎(chǔ)庫建設(shè)·FR庫建設(shè)

FR庫采用統(tǒng)一社會編碼作為主鍵，F(xiàn)R覆蓋政府機關(guān)、事業(yè)單位、企業(yè)、社會團體等類別。FR庫建立畫像數(shù)據(jù)標簽，標簽設(shè)計分為FR基礎(chǔ)主題、財務(wù)主題、生命周期主題、信用主題、關(guān)系主題、關(guān)鍵人主題6大主題域，數(shù)據(jù)應(yīng)用于社會經(jīng)濟統(tǒng)計、FR信用領(lǐng)域、國家經(jīng)濟結(jié)構(gòu)、企業(yè)經(jīng)營情況等方向的分析統(tǒng)計。專主題建設(shè)規(guī)劃·總體方案利用大數(shù)據(jù)資源中心數(shù)據(jù)湖中多匯聚的數(shù)據(jù)以及基礎(chǔ)庫中的各類基礎(chǔ)數(shù)據(jù)，未來可以根據(jù)政務(wù)處理、城市管理、社會治理以及經(jīng)濟發(fā)展等各方面的實際問題與需求，在資源中心構(gòu)建各類主題庫或?qū)ｎ}庫并向相關(guān)用戶開放，為全縣的管理與發(fā)展提供數(shù)據(jù)服務(wù)支撐。經(jīng)濟發(fā)展市場