智慧環(huán)保-數(shù)據(jù)資源中心擴(kuò)充升級(jí)

1、智慧環(huán)保-數(shù)據(jù)資源中心擴(kuò)充升級(jí)利用云計(jì)算、大數(shù)據(jù)技術(shù)，構(gòu)建涵蓋關(guān)系型數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)、NOSQL數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)等混合型數(shù)據(jù)資源中心，建立高安全、高可用、高擴(kuò)展的智慧環(huán)保大數(shù)據(jù)中心數(shù)據(jù)架構(gòu),更好地解決未來(lái)5-10年大流量、高并發(fā)、高響應(yīng)、高實(shí)時(shí)需求所帶來(lái)的計(jì)算、存儲(chǔ)、擴(kuò)容、負(fù)載均衡等問(wèn)題。同時(shí)按照標(biāo)準(zhǔn)先行的思路，整合環(huán)保各類數(shù)據(jù)資源，建立可知、可管、可控、可用的數(shù)據(jù)資源管理與服務(wù)平臺(tái)，依托平臺(tái)，向各類專業(yè)應(yīng)用、綜合應(yīng)用、移動(dòng)應(yīng)用等提供統(tǒng)一的數(shù)據(jù)資源管理、分析及服務(wù)。（1） 數(shù)據(jù)資源標(biāo)準(zhǔn)制定數(shù)據(jù)資源標(biāo)準(zhǔn)制定通過(guò)研究數(shù)據(jù)資源處理與管理的理論和方法結(jié)合荷澤市環(huán)保數(shù)據(jù)資源的特點(diǎn)，梳理當(dāng)前環(huán)保數(shù)

2、據(jù)資源存在的問(wèn)題，并參照環(huán)保監(jiān)測(cè)的政策法規(guī)，以標(biāo)準(zhǔn)化、模塊化、統(tǒng)一化”的原則進(jìn)行設(shè)計(jì)，完成對(duì)荷澤市環(huán)保數(shù)據(jù)資源標(biāo)準(zhǔn)制定，采用多層體系結(jié)構(gòu)設(shè)計(jì)，將用戶界面、用戶邏輯、數(shù)據(jù)相互分離，最終建立包含數(shù)據(jù)管理、數(shù)據(jù)處理、數(shù)據(jù)展示的數(shù)據(jù)共享及應(yīng)用的平臺(tái)。（2） 環(huán)境信息資源服務(wù)平臺(tái)1建設(shè)目標(biāo)環(huán)保大數(shù)據(jù)中心數(shù)據(jù)層的建設(shè)，按照以數(shù)據(jù)資源為核心的理念，充分利用基礎(chǔ)設(shè)施與各類大數(shù)據(jù)服務(wù)，實(shí)現(xiàn)各類環(huán)保數(shù)據(jù)資源、企業(yè)數(shù)據(jù)資源以及互聯(lián)網(wǎng)數(shù)據(jù)資源的整合匯集、存儲(chǔ)組織、分析處理以及標(biāo)準(zhǔn)化管理，通過(guò)環(huán)保大數(shù)據(jù)中心數(shù)據(jù)層，將各類資源數(shù)據(jù)以服務(wù)接口等形式提供給上層各類應(yīng)用。環(huán)保大數(shù)據(jù)中心數(shù)據(jù)層的建設(shè)目標(biāo)主要包括以下幾方面：1、搭

3、建標(biāo)準(zhǔn)化數(shù)據(jù)資源中心基于目前各業(yè)務(wù)系統(tǒng)積累的各類數(shù)據(jù)資源結(jié)構(gòu)特點(diǎn)與實(shí)戰(zhàn)應(yīng)用特點(diǎn)，利用關(guān)系型數(shù)據(jù)庫(kù)、海量數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)、內(nèi)存數(shù)據(jù)庫(kù)等多種存儲(chǔ)技術(shù)，搭建數(shù)據(jù)資源整合平臺(tái)，實(shí)現(xiàn)環(huán)保結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的整合匯集、標(biāo)準(zhǔn)轉(zhuǎn)換、存儲(chǔ)組織。2、實(shí)現(xiàn)環(huán)保信息資源全息化管理對(duì)環(huán)保內(nèi)部各個(gè)應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)、數(shù)據(jù)表以及數(shù)據(jù)項(xiàng)等各類信息資源進(jìn)行管理，實(shí)現(xiàn)對(duì)環(huán)保內(nèi)部資源布局等情況的精準(zhǔn)掌控。同時(shí)依據(jù)相關(guān)國(guó)家標(biāo)準(zhǔn)、部頒標(biāo)準(zhǔn)，對(duì)各類資源進(jìn)行標(biāo)準(zhǔn)化處理，形成標(biāo)準(zhǔn)化的信息資源，提升各級(jí)單位及部門的標(biāo)準(zhǔn)化信息資源服務(wù)與支撐能力。3、構(gòu)建高效靈活的數(shù)據(jù)分析處理平臺(tái)利用大數(shù)據(jù)分布式計(jì)算、內(nèi)存計(jì)算以及流式計(jì)

4、算等關(guān)鍵技術(shù)，建立高效能、松耦合、可擴(kuò)展的環(huán)保大數(shù)據(jù)中心分析處理平臺(tái)，圍繞數(shù)據(jù)挖掘分析、信息綜合應(yīng)用，在海量數(shù)據(jù)、高并發(fā)等條件下，為各業(yè)務(wù)部門需求提供數(shù)據(jù)檢索、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)分析、數(shù)據(jù)挖掘等數(shù)據(jù)處理服務(wù)支撐。4、建設(shè)一體化數(shù)據(jù)服務(wù)體系以滿足各環(huán)保部門應(yīng)用需求為目的，基于環(huán)保大數(shù)據(jù)中心數(shù)據(jù)中心構(gòu)建數(shù)據(jù)服務(wù)接口，為各個(gè)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。同時(shí)對(duì)環(huán)保內(nèi)部數(shù)據(jù)服務(wù)進(jìn)行集中式管理，以環(huán)保大數(shù)據(jù)中心為中心對(duì)外提供一體化、標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)，進(jìn)而實(shí)現(xiàn)環(huán)保各類數(shù)據(jù)服務(wù)由原來(lái)的點(diǎn)到點(diǎn)模式轉(zhuǎn)變?yōu)橛牲c(diǎn)到面的模式，提高數(shù)據(jù)資源服務(wù)能力和管理水平。5、建立數(shù)據(jù)與服務(wù)安全可靠保障機(jī)制利用數(shù)據(jù)加密等安全技術(shù)對(duì)關(guān)鍵信息資源進(jìn)行

5、加密存儲(chǔ)傳輸。同時(shí)，強(qiáng)化數(shù)據(jù)使用權(quán)限控制和數(shù)據(jù)使用審計(jì)，保證數(shù)據(jù)資源在存儲(chǔ)過(guò)程、傳輸過(guò)程、使用過(guò)程等各個(gè)階段的安全。2總體架構(gòu)數(shù)據(jù)層是整個(gè)環(huán)保大數(shù)據(jù)中心核心組成部分，在規(guī)劃建設(shè)過(guò)程中，堅(jiān)持以數(shù)據(jù)資源為核心，面向數(shù)據(jù)資源應(yīng)用與服務(wù)、環(huán)保信息數(shù)據(jù)資源標(biāo)準(zhǔn)化與管理，實(shí)現(xiàn)數(shù)據(jù)資源橫向集成、縱向貫通、全局共享的運(yùn)轉(zhuǎn)模式。信息資源服務(wù)平臺(tái)邏輯架構(gòu)如下圖：敖據(jù)斕*厘整個(gè)信息資源服務(wù)平臺(tái)邏輯組成部分有數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)組織、數(shù)據(jù)處理、資源管理、數(shù)據(jù)服務(wù)支撐。數(shù)據(jù)存儲(chǔ)：主要采用關(guān)系數(shù)據(jù)庫(kù)群、海量數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)以及內(nèi)存數(shù)據(jù)庫(kù)等多種數(shù)據(jù)存儲(chǔ)技術(shù)，以滿足環(huán)保結(jié)構(gòu)化、非結(jié)構(gòu)化多種類型格式的海量數(shù)據(jù)資源存儲(chǔ)需求。數(shù)據(jù)

6、組織：對(duì)各類數(shù)據(jù)資源進(jìn)行邏輯組織，形成基礎(chǔ)數(shù)據(jù)資源庫(kù)、專題應(yīng)用資源庫(kù)以及資源管理庫(kù)，滿足環(huán)保數(shù)據(jù)資源應(yīng)用、管理與服務(wù)的需求。數(shù)據(jù)處理：主要包括數(shù)據(jù)整合匯集、數(shù)據(jù)標(biāo)準(zhǔn)化處理、通用數(shù)據(jù)處理、專題數(shù)據(jù)處理。從多個(gè)層面對(duì)數(shù)據(jù)資源進(jìn)行分析挖掘，為不同業(yè)務(wù)需求提供數(shù)據(jù)處理服務(wù)支撐。資源管理：資源管理從應(yīng)用資源、數(shù)據(jù)資源、服務(wù)資源以及標(biāo)準(zhǔn)資源多個(gè)層面實(shí)現(xiàn)環(huán)保大數(shù)據(jù)中心內(nèi)外信息資源的管理與標(biāo)準(zhǔn)建設(shè)。數(shù)據(jù)服務(wù)支撐：環(huán)保大數(shù)據(jù)中心數(shù)據(jù)從數(shù)據(jù)服務(wù)、專題應(yīng)用、標(biāo)準(zhǔn)化以及資源管理提供環(huán)保信息化服務(wù)支撐能力。3數(shù)據(jù)集成數(shù)據(jù)集成系統(tǒng)是將各個(gè)源頭數(shù)據(jù)資源遷移至環(huán)保大數(shù)據(jù)中心數(shù)據(jù)資源中心中，實(shí)現(xiàn)多種類型環(huán)保數(shù)據(jù)資源集成處理。數(shù)

7、據(jù)集成系統(tǒng)利用不同技術(shù)對(duì)數(shù)據(jù)進(jìn)行集成，借助增量數(shù)據(jù)監(jiān)測(cè)、數(shù)據(jù)日志分析、大數(shù)據(jù)集成等技術(shù)，采集整合各類環(huán)保大數(shù)據(jù)中心平臺(tái)外的數(shù)據(jù)資源并裝載到數(shù)據(jù)資源中心中的原始數(shù)據(jù)資源庫(kù)中，并保持?jǐn)?shù)據(jù)資源的實(shí)時(shí)鮮活。根據(jù)數(shù)據(jù)來(lái)源的分析，有關(guān)污染源的數(shù)據(jù)集成方案如下:數(shù)據(jù)來(lái)源數(shù)據(jù)集成方式頻率說(shuō)明環(huán)境統(tǒng)計(jì)手動(dòng)執(zhí)行導(dǎo)入包每年1、整合歷史數(shù)據(jù)包括五”環(huán)統(tǒng)、“十二五”環(huán)統(tǒng)數(shù)據(jù)一次性導(dǎo)入中心數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每年導(dǎo)入中心數(shù)據(jù)庫(kù)。污染源普查手動(dòng)執(zhí)行導(dǎo)入包每十年1、整合歷史數(shù)據(jù)包括2007及2009污染源普查數(shù)據(jù)、2010年污染源普查動(dòng)態(tài)更新數(shù)據(jù)排污申報(bào)手動(dòng)執(zhí)行導(dǎo)入包每年1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新

8、增數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每年導(dǎo)入。排污收費(fèi)定期直接入庫(kù)每月1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每月導(dǎo)入。污染源監(jiān)督性監(jiān)測(cè)數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)污染源在線監(jiān)測(cè)數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)建設(shè)項(xiàng)目數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、整合歷史數(shù)據(jù)一次性導(dǎo)入中心數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。排污許可數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。其他行政許可手動(dòng)執(zhí)行導(dǎo)入包每月1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新增

9、數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每月導(dǎo)入。環(huán)境監(jiān)察數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。行政處罰手動(dòng)執(zhí)行導(dǎo)入包每月1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每月導(dǎo)入。移動(dòng)執(zhí)法數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。信訪投訴手動(dòng)執(zhí)行導(dǎo)入包每月1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每月導(dǎo)入。企業(yè)基礎(chǔ)信息數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、歷史數(shù)據(jù)通過(guò)填報(bào)后對(duì)接導(dǎo)入；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每月導(dǎo)入。危險(xiǎn)廢物管理數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、整合歷史數(shù)據(jù)一次性導(dǎo)入中心數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。輻射安全管理數(shù)據(jù)接口自

10、動(dòng)入庫(kù)實(shí)時(shí)1、整合歷史數(shù)據(jù)一次性導(dǎo)入中心數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。生態(tài)管理手動(dòng)執(zhí)行導(dǎo)入包每月1、整合歷史數(shù)據(jù)一次性導(dǎo)入數(shù)據(jù)庫(kù)；2、新增數(shù)據(jù)通過(guò)數(shù)據(jù)導(dǎo)入包每月導(dǎo)入。環(huán)境質(zhì)量數(shù)據(jù)集成方案環(huán)境質(zhì)量相關(guān)的數(shù)據(jù)從來(lái)源來(lái)說(shuō)相對(duì)單純，因此其數(shù)據(jù)集成主要有如下方式:數(shù)據(jù)來(lái)源數(shù)據(jù)集成方式頻率說(shuō)明手工監(jiān)測(cè)數(shù)據(jù)數(shù)據(jù)接口自動(dòng)入庫(kù)定期1、定期通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。環(huán)境質(zhì)里在線監(jiān)測(cè)數(shù)據(jù)接口自動(dòng)入庫(kù)實(shí)時(shí)1、新增數(shù)據(jù)通過(guò)數(shù)據(jù)接口實(shí)時(shí)進(jìn)入中心數(shù)據(jù)庫(kù)。環(huán)境監(jiān)測(cè)歷史數(shù)據(jù)手動(dòng)執(zhí)行導(dǎo)入包+集成管理一次性導(dǎo)入1、整合歷史數(shù)據(jù)一次性導(dǎo)入中心數(shù)據(jù)庫(kù)。3.4.4紙質(zhì)檔案電子化入庫(kù)荷澤環(huán)保局還存在大量的歷史環(huán)

11、保數(shù)據(jù)，這些數(shù)據(jù)是以紙質(zhì)文件的方式存檔的，在環(huán)境資源數(shù)據(jù)中心的建設(shè)中，必須考慮對(duì)這部分?jǐn)?shù)據(jù)進(jìn)行電子化入庫(kù)。4數(shù)據(jù)質(zhì)量數(shù)據(jù)整合監(jiān)控MORE上:卜:匕閭鑄X2,出舊劉時(shí)閭領(lǐng)濡中部理1蹴獷（-防8需】1m曲（同:K巾。:如SCtBH蜂除第咻口翊t牌1郊a百欣榭崛I叫r,4o閭蜩EM噴M冰】崛E姍溝俅.如沖述6：徹軍需匚H身K三配中5B:沏SRM慣在樣1前遇#M枷絹縹游:慣1綽MORE*數(shù)據(jù)質(zhì)量管理基于環(huán)保大數(shù)據(jù)中心數(shù)據(jù)資源中心采集的各類數(shù)據(jù)資源，進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)、數(shù)據(jù)質(zhì)量問(wèn)題發(fā)現(xiàn)、跟蹤以及修正，確保環(huán)保大數(shù)據(jù)中心對(duì)各個(gè)業(yè)務(wù)部門提供可用、高質(zhì)量的數(shù)據(jù)資源。環(huán)保數(shù)據(jù)資源中心建設(shè)中不僅要提高數(shù)據(jù)的準(zhǔn)確性，

12、而且要保障資源中心中數(shù)據(jù)資源的完整性、唯一性、合法性、一致性、及時(shí)性等;通過(guò)明確數(shù)據(jù)質(zhì)量的組織、流程、方法的管理框架，建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，及時(shí)發(fā)現(xiàn)、報(bào)告、處理倉(cāng)庫(kù)系統(tǒng)中的數(shù)據(jù)質(zhì)量問(wèn)題。從技術(shù)和用戶角度考慮和衡量數(shù)據(jù)質(zhì)量問(wèn)題，提高用戶對(duì)數(shù)據(jù)的滿意度。加強(qiáng)數(shù)據(jù)質(zhì)量評(píng)估，根據(jù)評(píng)估指標(biāo)和評(píng)估方法，實(shí)現(xiàn)對(duì)系統(tǒng)源接口基礎(chǔ)數(shù)據(jù)質(zhì)量的評(píng)價(jià)和基礎(chǔ)編碼評(píng)估，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量潛在的問(wèn)題和規(guī)律，作為系統(tǒng)數(shù)據(jù)質(zhì)量改進(jìn)的參考和依據(jù)。建立數(shù)據(jù)質(zhì)量報(bào)告功能，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量子系統(tǒng)各種信息的匯總、梳理、統(tǒng)計(jì)和分析，提供全面及時(shí)的數(shù)據(jù)質(zhì)量報(bào)告，預(yù)防和控制錯(cuò)誤范圍的擴(kuò)大，便于數(shù)據(jù)質(zhì)量管控信息總結(jié)、知識(shí)沉淀和經(jīng)驗(yàn)重用。5數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)

13、準(zhǔn)化是環(huán)保大數(shù)據(jù)中心數(shù)據(jù)層建設(shè)的基礎(chǔ)。在項(xiàng)目建設(shè)時(shí)根據(jù)環(huán)保信息資源標(biāo)準(zhǔn)，并根據(jù)實(shí)際情況進(jìn)行完善。環(huán)保大數(shù)據(jù)中心數(shù)據(jù)標(biāo)準(zhǔn)化工作主要以下幾個(gè)層面出發(fā)進(jìn)行建設(shè)：數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)化通過(guò)依據(jù)現(xiàn)有相關(guān)標(biāo)準(zhǔn)內(nèi)容，對(duì)整合的各類數(shù)據(jù)資源進(jìn)行標(biāo)準(zhǔn)化處理，形成標(biāo)準(zhǔn)化數(shù)據(jù)資源，從而對(duì)各個(gè)業(yè)務(wù)部門提供標(biāo)準(zhǔn)化的數(shù)據(jù)資源服務(wù)。資源管理標(biāo)準(zhǔn)化通過(guò)對(duì)信息資源注冊(cè)、梳理、對(duì)標(biāo)等一系列的工作，建立標(biāo)準(zhǔn)化的資源管理機(jī)制，實(shí)現(xiàn)對(duì)全部信息化資源的標(biāo)準(zhǔn)化管理。以管理推動(dòng)信息標(biāo)準(zhǔn)化應(yīng)用工作，逐步實(shí)現(xiàn)環(huán)保信息化建設(shè)的規(guī)范化、標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)化工作是一項(xiàng)長(zhǎng)期的過(guò)程，隨著信息化的升級(jí)和深入，數(shù)據(jù)標(biāo)準(zhǔn)體系也在逐漸完善，所以通過(guò)制定相應(yīng)的信息管

14、理規(guī)范，必要時(shí)制定相關(guān)信息管理制度，來(lái)規(guī)范和長(zhǎng)期完善環(huán)保大數(shù)據(jù)中心標(biāo)準(zhǔn)管理平臺(tái)，保證數(shù)據(jù)資源標(biāo)準(zhǔn)化工作開(kāi)展和標(biāo)準(zhǔn)化工作成果的形成。6數(shù)據(jù)資源中心數(shù)據(jù)資源中心采用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)技術(shù)與大數(shù)據(jù)、分布式存儲(chǔ)等先進(jìn)云計(jì)算技術(shù)相結(jié)合方式搭建形成，用于存儲(chǔ)組織各類環(huán)保內(nèi)部數(shù)據(jù)資源、企業(yè)數(shù)據(jù)資源以及互聯(lián)網(wǎng)數(shù)據(jù)資源等。數(shù)據(jù)資源中心一方面要滿足匯集多種類型數(shù)據(jù)資源存儲(chǔ)需求，另一方面要滿足對(duì)外提供高效標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)支撐需求，同時(shí)面向具體業(yè)務(wù)需求要滿足高效靈活的數(shù)據(jù)分析處理需求。因此在存儲(chǔ)組織時(shí)依據(jù)各種數(shù)據(jù)資源的物理特性、業(yè)務(wù)應(yīng)用需求特性等，對(duì)各類數(shù)據(jù)資源進(jìn)行科學(xué)合理規(guī)劃組織，用以存儲(chǔ)環(huán)保內(nèi)部、企業(yè)以及互聯(lián)網(wǎng)來(lái)源數(shù)據(jù)

15、資源中的結(jié)構(gòu)化、非結(jié)構(gòu)數(shù)據(jù)資源。7基礎(chǔ)數(shù)據(jù)資源庫(kù)基礎(chǔ)數(shù)據(jù)資源庫(kù)用以存儲(chǔ)通過(guò)整合匯集環(huán)保內(nèi)部、被監(jiān)控企業(yè)單位、互聯(lián)網(wǎng)取得的各類共享原始數(shù)據(jù)資源，以及對(duì)這些數(shù)據(jù)資源進(jìn)行標(biāo)準(zhǔn)化、規(guī)范化轉(zhuǎn)換加工后的標(biāo)準(zhǔn)數(shù)據(jù)資源。基礎(chǔ)資源庫(kù)主要包括原始數(shù)據(jù)資源庫(kù)與標(biāo)準(zhǔn)數(shù)據(jù)資源庫(kù)。基礎(chǔ)數(shù)據(jù)資源庫(kù)根據(jù)數(shù)據(jù)資源特性以及數(shù)據(jù)資源應(yīng)用場(chǎng)景選擇采用傳統(tǒng)結(jié)構(gòu)化關(guān)系數(shù)據(jù)庫(kù)、海量數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)等多種存儲(chǔ)方式，綜合利用各項(xiàng)存儲(chǔ)技術(shù)強(qiáng)項(xiàng)，以提高數(shù)據(jù)存儲(chǔ)與處理效率。存儲(chǔ)原則：對(duì)于數(shù)據(jù)量小、結(jié)構(gòu)關(guān)系復(fù)雜或需要進(jìn)行事務(wù)處理的數(shù)據(jù)資源主要采用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)；對(duì)于數(shù)量大、結(jié)構(gòu)相對(duì)簡(jiǎn)單的數(shù)據(jù)資源采用海量數(shù)據(jù)庫(kù)存儲(chǔ)；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)資源主要采用分

16、布式文件系統(tǒng)進(jìn)行存儲(chǔ)；對(duì)于數(shù)據(jù)實(shí)時(shí)性要求或處理要求較高的采用內(nèi)存數(shù)據(jù)庫(kù)存儲(chǔ)。為確保數(shù)據(jù)資源中心數(shù)據(jù)資源安全以及穩(wěn)定高效運(yùn)行，原則上基礎(chǔ)數(shù)據(jù)資源庫(kù)不直接對(duì)外提供應(yīng)用級(jí)的數(shù)據(jù)庫(kù)掛接、數(shù)據(jù)資源下載以及抽取等操作。各類數(shù)據(jù)資源需求按照通過(guò)數(shù)據(jù)服務(wù)接口方式獲取，或通過(guò)云數(shù)據(jù)總線掛接數(shù)據(jù)處理工具構(gòu)建形成專題應(yīng)用數(shù)據(jù)資源對(duì)外提供數(shù)據(jù)服務(wù)?；A(chǔ)資源庫(kù)主要包括原始數(shù)據(jù)資源庫(kù)與標(biāo)準(zhǔn)數(shù)據(jù)資源庫(kù)：1、原始數(shù)據(jù)資源庫(kù)利用數(shù)據(jù)集成系統(tǒng)實(shí)現(xiàn)各個(gè)源頭數(shù)據(jù)資源的完整原樣復(fù)制，將數(shù)據(jù)資源從源頭匯集到環(huán)保大數(shù)據(jù)中心數(shù)據(jù)資源中心中。在數(shù)據(jù)整合匯集過(guò)程中不對(duì)源頭數(shù)據(jù)資源的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)內(nèi)容做任何改動(dòng)，主要目的一是減少數(shù)據(jù)匯集過(guò)程的復(fù)雜

17、程度，確保數(shù)據(jù)整合匯聚效率并提高數(shù)據(jù)實(shí)效性，避免傳統(tǒng)模式下同步進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理時(shí)發(fā)生錯(cuò)誤導(dǎo)致的數(shù)據(jù)重新匯集。二是滿足某些環(huán)保業(yè)務(wù)對(duì)原始數(shù)據(jù)資源的需求，同時(shí)可基于原始數(shù)據(jù)資源實(shí)現(xiàn)多次多層面對(duì)數(shù)據(jù)深度應(yīng)用支撐。三是原始數(shù)據(jù)資源庫(kù)可作為原始憑證，在數(shù)據(jù)出現(xiàn)不一致或錯(cuò)誤情況下可對(duì)數(shù)據(jù)情況進(jìn)行回溯調(diào)查。四是通過(guò)原始數(shù)據(jù)資源做進(jìn)一步的數(shù)據(jù)質(zhì)量檢查工作，以促使源頭數(shù)據(jù)資源質(zhì)量提高。2、標(biāo)準(zhǔn)數(shù)據(jù)資源庫(kù)基于環(huán)保部頒標(biāo)準(zhǔn)、國(guó)家相關(guān)標(biāo)準(zhǔn)、其他部委相關(guān)標(biāo)準(zhǔn)，同時(shí)結(jié)合自定義標(biāo)準(zhǔn)，利用標(biāo)準(zhǔn)數(shù)據(jù)轉(zhuǎn)化工具將集中在原始數(shù)據(jù)資源庫(kù)中的數(shù)據(jù)資源經(jīng)過(guò)清洗轉(zhuǎn)化等一系列操作后，形成標(biāo)準(zhǔn)化環(huán)保數(shù)據(jù)資源進(jìn)行存儲(chǔ)。標(biāo)準(zhǔn)數(shù)據(jù)資源庫(kù)是數(shù)據(jù)資源中心

18、對(duì)外提供數(shù)據(jù)資源服務(wù)的主要部分。主要作用一是對(duì)外提供標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)，二是基于標(biāo)準(zhǔn)化數(shù)據(jù)資源為各個(gè)業(yè)務(wù)部門需求提供數(shù)據(jù)關(guān)聯(lián)、分析挖掘等處理。7.1 專題應(yīng)用資源庫(kù)為滿足環(huán)保各類業(yè)務(wù)需求，建立多種專題應(yīng)用業(yè)務(wù)模型，通過(guò)對(duì)數(shù)據(jù)資源的挖掘分析、關(guān)聯(lián)串并、索引化等數(shù)據(jù)處理方式構(gòu)建形成專題應(yīng)用資源庫(kù)。專題應(yīng)用資源庫(kù)中主要存儲(chǔ)按照不同業(yè)務(wù)主題、不同需求緯度、不同粒度的組織形成的綜合關(guān)聯(lián)數(shù)據(jù)、專題業(yè)務(wù)數(shù)據(jù)、全文索引數(shù)據(jù)等。為實(shí)現(xiàn)縱向和橫向跨業(yè)務(wù)部門數(shù)據(jù)資源深度利用、創(chuàng)新環(huán)保應(yīng)用提供專題數(shù)據(jù)服務(wù)。根據(jù)專題數(shù)據(jù)應(yīng)用方式，以及共享程度、存儲(chǔ)粒度和應(yīng)用層次，應(yīng)用服務(wù)資源庫(kù)分為關(guān)聯(lián)數(shù)據(jù)庫(kù)、專題數(shù)據(jù)庫(kù)、全文索引庫(kù)等。1、

19、關(guān)聯(lián)資源庫(kù)以三要素為核心，對(duì)各類數(shù)據(jù)資源利用關(guān)鍵信息進(jìn)行關(guān)聯(lián)串并和再組織，建立形成“企業(yè)、案件、環(huán)境”關(guān)聯(lián)資源庫(kù)，為信息資源綜合查詢提供數(shù)據(jù)基礎(chǔ)支撐。例如構(gòu)建形成的企業(yè)檔案、辦案案件檔案、環(huán)境檔案（例如環(huán)保監(jiān)控河流、水庫(kù)等）等信息。2、專題資源庫(kù)按照業(yè)務(wù)應(yīng)用具體需求，對(duì)各類數(shù)據(jù)資源進(jìn)一步分析挖掘。按照業(yè)務(wù)需求建立數(shù)據(jù)聚合、信息比對(duì)、統(tǒng)計(jì)分析等各種業(yè)務(wù)處理模型，并對(duì)分析結(jié)果數(shù)據(jù)資源進(jìn)行固化后，形成適合各類業(yè)務(wù)應(yīng)用的專題數(shù)據(jù)庫(kù)，如造假可疑企業(yè)信息庫(kù)、溯源信息庫(kù)、決策分析信息庫(kù)等。3、全文索引庫(kù)全文索引庫(kù)主要包括標(biāo)簽數(shù)據(jù)和索引數(shù)據(jù)。對(duì)于各類結(jié)構(gòu)化數(shù)據(jù)、網(wǎng)頁(yè)數(shù)據(jù)、文檔數(shù)據(jù)等資源，通過(guò)切詞處理、語(yǔ)義標(biāo)注

20、分析等操作后，通過(guò)提取關(guān)鍵字和關(guān)鍵信息建立形成標(biāo)簽數(shù)據(jù)。通過(guò)對(duì)數(shù)據(jù)資源建立索引關(guān)系形成索引數(shù)據(jù)，實(shí)現(xiàn)對(duì)特定信息快速檢索與定位。7.2 資源管理庫(kù)為了對(duì)環(huán)保信息資源進(jìn)行科學(xué)有效的管理，實(shí)現(xiàn)對(duì)信息資源的可知、可管、可控，構(gòu)建資源管理庫(kù)。信息資源庫(kù)信息資源庫(kù)主要對(duì)環(huán)保內(nèi)部各個(gè)基礎(chǔ)信息資源進(jìn)行管理，范圍包括應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)、數(shù)據(jù)表以及數(shù)據(jù)項(xiàng)等內(nèi)容，并且按照信息資源行業(yè)分類、業(yè)務(wù)分類、所屬單位部門等內(nèi)容進(jìn)行管理。數(shù)據(jù)元標(biāo)注庫(kù)利用標(biāo)準(zhǔn)環(huán)保數(shù)據(jù)元對(duì)數(shù)據(jù)項(xiàng)進(jìn)行標(biāo)準(zhǔn)化標(biāo)注，建立形成應(yīng)用系統(tǒng)一一數(shù)據(jù)庫(kù)一一數(shù)據(jù)表一一數(shù)據(jù)項(xiàng)一一同義詞一一數(shù)據(jù)元關(guān)聯(lián)。共享數(shù)據(jù)資源目錄庫(kù)基于根據(jù)環(huán)保數(shù)據(jù)資源目錄注冊(cè)接口規(guī)范與環(huán)保部信息資

21、源目錄要求，對(duì)數(shù)據(jù)資源名稱、摘要、分類、共享屬性、公開(kāi)屬性、數(shù)據(jù)資源提供方等內(nèi)容進(jìn)行明確，對(duì)已注冊(cè)的基礎(chǔ)資源按照業(yè)務(wù)、層級(jí)等進(jìn)行編目，形成共享數(shù)據(jù)資源目錄。標(biāo)準(zhǔn)資源庫(kù)標(biāo)準(zhǔn)資源庫(kù)主要實(shí)現(xiàn)各類標(biāo)準(zhǔn)資源數(shù)據(jù)的管理。標(biāo)準(zhǔn)資源庫(kù)將與環(huán)保部相關(guān)標(biāo)準(zhǔn)系統(tǒng)進(jìn)行對(duì)接，實(shí)現(xiàn)標(biāo)準(zhǔn)資源的同步。標(biāo)準(zhǔn)資源庫(kù)建設(shè)依據(jù)國(guó)家相關(guān)標(biāo)準(zhǔn)、環(huán)保部部頒標(biāo)準(zhǔn)、其他行業(yè)相關(guān)標(biāo)準(zhǔn)內(nèi)容，主要包括以下組成部分：數(shù)據(jù)元及同義詞數(shù)據(jù)主要管理標(biāo)準(zhǔn)數(shù)據(jù)元以及同義詞。數(shù)據(jù)元是用于定義業(yè)務(wù)相關(guān)數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)元素，主要以環(huán)保部頒布形成的環(huán)境信息元數(shù)據(jù)規(guī)范為基礎(chǔ)建設(shè)形成。環(huán)保數(shù)據(jù)元也包括省、地市局根據(jù)本地實(shí)際情況整合、梳理、審定、上報(bào)形成的本地?cái)?shù)據(jù)元信息。同義

22、詞是在標(biāo)準(zhǔn)數(shù)據(jù)元基礎(chǔ)之上進(jìn)行構(gòu)建形成，主要實(shí)現(xiàn)各類注冊(cè)數(shù)據(jù)資源與數(shù)據(jù)項(xiàng)進(jìn)行標(biāo)準(zhǔn)化對(duì)照提供支撐。代碼字典數(shù)據(jù)標(biāo)準(zhǔn)代碼字典數(shù)據(jù)是環(huán)保大數(shù)據(jù)中心數(shù)據(jù)標(biāo)準(zhǔn)的核心要素之一,其內(nèi)容建設(shè)主要納入國(guó)家相關(guān)標(biāo)準(zhǔn)、環(huán)保部部頒標(biāo)準(zhǔn)、其他行業(yè)相關(guān)標(biāo)準(zhǔn)等標(biāo)準(zhǔn)文件規(guī)定的代碼字典信息項(xiàng)。標(biāo)準(zhǔn)主數(shù)據(jù)主數(shù)據(jù)是對(duì)各個(gè)系統(tǒng)之間共享數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化管理。例如用戶信息、組織機(jī)構(gòu)信息、地址信息、單位信息等數(shù)據(jù)。由于原有各條線在各個(gè)系統(tǒng)中這些數(shù)據(jù)資源參照的標(biāo)準(zhǔn)不一或無(wú)標(biāo)準(zhǔn)參照，導(dǎo)致目前在數(shù)據(jù)綜合利用過(guò)程中，各個(gè)數(shù)據(jù)資源難以融合，消耗了大量時(shí)間和人力進(jìn)行梳理。因此通過(guò)對(duì)這些主數(shù)據(jù)資源進(jìn)行統(tǒng)一管理，遵循有標(biāo)準(zhǔn)的依據(jù)相關(guān)標(biāo)準(zhǔn)建設(shè)，無(wú)標(biāo)準(zhǔn)依據(jù)的制訂

23、本地化標(biāo)準(zhǔn)的建設(shè)原則，建立標(biāo)準(zhǔn)化的主數(shù)據(jù)資源，逐步實(shí)現(xiàn)各個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)之間主數(shù)據(jù)標(biāo)準(zhǔn)化映射。8數(shù)據(jù)分析處理數(shù)據(jù)分析處理主要面向各個(gè)業(yè)務(wù)對(duì)數(shù)據(jù)分析利用的需求，構(gòu)建一套基于數(shù)據(jù)資源中心的數(shù)據(jù)分析處理流程，使數(shù)據(jù)分析處理變得高效靈活。8.1 數(shù)據(jù)總線數(shù)據(jù)總線數(shù)據(jù)總線負(fù)責(zé)對(duì)各類數(shù)據(jù)資源進(jìn)行傳輸，通過(guò)數(shù)據(jù)推送引擎將需要處理的數(shù)據(jù)資源推送到數(shù)據(jù)總線中，并有掛接到數(shù)據(jù)總線中的數(shù)據(jù)處理引擎負(fù)責(zé)從數(shù)據(jù)總線中獲取相應(yīng)的數(shù)據(jù)資源，并對(duì)這些數(shù)據(jù)進(jìn)行加工、分析處理。數(shù)據(jù)推送引擎數(shù)據(jù)推送引擎通過(guò)云數(shù)據(jù)總線任務(wù)調(diào)度，實(shí)現(xiàn)將數(shù)據(jù)資源推送至數(shù)據(jù)總線中。主要包括任務(wù)調(diào)度與解析、數(shù)據(jù)資源獲取、數(shù)據(jù)資源推送、推送日志記錄等功能。數(shù)據(jù)

24、總線管理主要針對(duì)數(shù)據(jù)總線進(jìn)行配置管理與監(jiān)控功能。數(shù)據(jù)處理工具配置管理：主要實(shí)現(xiàn)各個(gè)數(shù)據(jù)處理工具的掛接與管理，包括數(shù)據(jù)處理工具列表、數(shù)據(jù)處理工具注冊(cè)、數(shù)據(jù)處理工具上下線管理、數(shù)據(jù)處理工具狀態(tài)等。數(shù)據(jù)推送引擎配置管理：包括數(shù)據(jù)推送任務(wù)定制、任務(wù)調(diào)度與解析、數(shù)據(jù)推送引擎狀態(tài)等內(nèi)容。數(shù)據(jù)總線狀態(tài)監(jiān)控：包括數(shù)據(jù)推送引擎狀況、推送數(shù)據(jù)資源量、數(shù)據(jù)處理工具運(yùn)行狀況。8.2 數(shù)據(jù)處理引擎數(shù)據(jù)處理引擎采用分布式計(jì)算、實(shí)時(shí)計(jì)算等多種數(shù)據(jù)處理技術(shù)，為滿足環(huán)保業(yè)務(wù)需求構(gòu)建全文索引化、信息關(guān)聯(lián)化以及數(shù)據(jù)挖掘分析的多種數(shù)據(jù)處理模型。標(biāo)準(zhǔn)數(shù)據(jù)轉(zhuǎn)化工具依靠標(biāo)準(zhǔn)化數(shù)據(jù)資源，對(duì)數(shù)據(jù)整合系統(tǒng)采集的各類原始數(shù)據(jù)資源進(jìn)行清洗、標(biāo)準(zhǔn)化轉(zhuǎn)

25、換等數(shù)據(jù)預(yù)處理，最終形成環(huán)保大數(shù)據(jù)中心標(biāo)準(zhǔn)數(shù)據(jù)資源。索引處理工具海量信息索引處理引擎從基礎(chǔ)數(shù)據(jù)資源庫(kù)、專題應(yīng)用資源庫(kù)等數(shù)據(jù)資源中抓取全部或關(guān)鍵信息對(duì)數(shù)據(jù)資源進(jìn)行標(biāo)記，形成索引信息，為實(shí)現(xiàn)各類數(shù)據(jù)資源快速高效檢索建立形成全文索引庫(kù)。檔案處理工具檔案處理工具根據(jù)三要素，通過(guò)對(duì)基礎(chǔ)數(shù)據(jù)資源庫(kù)中的標(biāo)準(zhǔn)資源進(jìn)行深度信息關(guān)聯(lián)串并，形成“一廠一檔”等綜合檔案信息，構(gòu)建形成關(guān)聯(lián)信息庫(kù)。比對(duì)數(shù)據(jù)處理工具對(duì)各類環(huán)境業(yè)務(wù)數(shù)據(jù)信息，按照分布式壓縮文件格式進(jìn)行分區(qū)存儲(chǔ)，并加載到大數(shù)據(jù)比對(duì)引擎中，為海量數(shù)據(jù)的實(shí)時(shí)快速比對(duì)碰撞提供高效的比對(duì)數(shù)據(jù)支撐。專題數(shù)據(jù)處理工具根據(jù)環(huán)保不同部門工作需求，以數(shù)據(jù)中心聚合和組織的數(shù)據(jù)為基礎(chǔ)

26、，開(kāi)展面向主體業(yè)務(wù)的和面向決策的數(shù)據(jù)分析工作，提供快速、靈活的大數(shù)據(jù)量復(fù)雜查詢與分析處理，面向業(yè)務(wù)實(shí)際需求和管理決策提供專題數(shù)據(jù)服務(wù)。9數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)主要是將數(shù)據(jù)資源中的標(biāo)準(zhǔn)數(shù)據(jù)資源與專題數(shù)據(jù)資源按照業(yè)務(wù)需求建立形成數(shù)據(jù)服務(wù)接口，為各業(yè)務(wù)部門提供標(biāo)準(zhǔn)化、共享的、安全的數(shù)據(jù)服務(wù)，實(shí)現(xiàn)數(shù)據(jù)資源對(duì)外統(tǒng)一服務(wù)、資源共享與管理。主要目的一是提高數(shù)據(jù)資源安全性，有效防止外部應(yīng)用對(duì)底層數(shù)據(jù)資源的直接訪問(wèn)；二是提高數(shù)據(jù)服務(wù)穩(wěn)定性，確保數(shù)據(jù)資源中心的高效穩(wěn)定運(yùn)行；三是對(duì)數(shù)據(jù)服務(wù)進(jìn)行授權(quán)管理以及應(yīng)用管理，保障數(shù)據(jù)服務(wù)安全可控；四是對(duì)數(shù)據(jù)資源利用情況進(jìn)行有效管理監(jiān)控。（三）GIS服務(wù)擴(kuò)充利用現(xiàn)有三維GIS平臺(tái)、制作生態(tài)環(huán)境專題圖、發(fā)布各類專題地圖服務(wù)，為上層應(yīng)用提供地圖服務(wù)、分析服務(wù)。（四）數(shù)據(jù)資源創(chuàng)新應(yīng)用1環(huán)保云搜環(huán)保云搜是基于大數(shù)據(jù)應(yīng)用支撐平臺(tái)基礎(chǔ)上的環(huán)保云應(yīng)用，通過(guò)類百度的方式實(shí)現(xiàn)環(huán)保業(yè)務(wù)相關(guān)信息的快速搜索。環(huán)保云搜的設(shè)計(jì)立足于業(yè)務(wù)實(shí)戰(zhàn)，并充分借鑒了互聯(lián)網(wǎng)搜索的易用性、智能性。系統(tǒng)基于分布式全文檢索引擎，讓用戶使用多維度的碎片信息即可在海量數(shù)據(jù)中