福建省生態(tài)環(huán)境大數(shù)據(jù)平臺概要設(shè)計v02

1、福建省生態(tài)環(huán)境大數(shù)據(jù)平臺概要設(shè)計1. 整體設(shè)計思想福建省生態(tài)環(huán)境大數(shù)據(jù)平臺立足于福建省各種生態(tài)環(huán)境數(shù)據(jù)；通過多種渠道，采集與生態(tài)及環(huán)保有關(guān)的海量數(shù)據(jù)；采用當(dāng)前最前沿的大數(shù)據(jù)技術(shù)（并行計算技術(shù)、人工智能技術(shù)），對數(shù)據(jù)等進(jìn)行挖掘建模和機(jī)器學(xué)習(xí)建模，通過數(shù)據(jù)挖掘發(fā)現(xiàn)隱藏于其后的規(guī)律或數(shù)據(jù)間的關(guān)系，充分挖掘這些數(shù)據(jù)的價值，從而形成能實際應(yīng)用于民生的新生數(shù)據(jù)；作為專家及政府的決策依據(jù)，輔助政府精細(xì)化決策,輔助專家預(yù)測將來可能有出現(xiàn)的環(huán)保問題；并能解決現(xiàn)實中真實發(fā)生的環(huán)保問題；從而改善環(huán)境，提升居民生活環(huán)境的質(zhì)量，和百姓生活的福祉。平臺建成后，將形成一個完整的基于大數(shù)據(jù)的生態(tài)環(huán)境數(shù)據(jù)智能化收集、智能化核算

2、分析、智能化發(fā)布和智能化監(jiān)管體系，這一平臺體系可以把福建省生態(tài)環(huán)境狀況，全面、直觀地展現(xiàn)給政府部門和社會公眾。同時環(huán)保部門可以重點關(guān)注核電站周邊生態(tài)環(huán)境實況。通過可測量、可核查的生態(tài)環(huán)境數(shù)據(jù)，為福建省的生態(tài)環(huán)境現(xiàn)狀評估、趨勢預(yù)測、潛力分析、目標(biāo)制定與跟蹤，提供決策服務(wù)，進(jìn)而實現(xiàn)對生態(tài)環(huán)境重點污染源、生態(tài)環(huán)境動態(tài)變化進(jìn)行有效監(jiān)管，并為建設(shè)生態(tài)環(huán)境交易市場體系奠定基礎(chǔ)。從使用者的角度看，所有的平臺數(shù)據(jù)集中到統(tǒng)一的邏輯平面上來；平臺以省、市、縣分級別多視角展示生態(tài)環(huán)境實時信息，以全息,動態(tài)的地圖形式全方位地展現(xiàn)給使用者。平臺為各類使用者提供不同的觀察視角；領(lǐng)導(dǎo)能查看實時匯總信息，核輻射區(qū)大氣實況；環(huán)

3、保工作能查看各類精細(xì)報表與指標(biāo)，并能搜索工作中所需要的信息。展現(xiàn)方式有：電子大屏幕播放，WEB瀏覽, 手機(jī)APP訪問等三種方式。從數(shù)據(jù)處理的角度看，平臺運行后將建成以生態(tài)環(huán)境數(shù)據(jù)為中心的開放式數(shù)據(jù)中心，廣泛收集來自氣象，農(nóng)林，海洋,交通，能源, 車聯(lián)網(wǎng)等第三方數(shù)據(jù)，同時也給第三方輸出數(shù)據(jù)并分享成果數(shù)據(jù)；為后續(xù)深度學(xué)習(xí)積累數(shù)據(jù)樣本，將來平臺具備很強(qiáng)的自我學(xué)習(xí)能力。2. 用戶使用場景環(huán)保領(lǐng)導(dǎo)大屏查看全局實時信息情況，核核輻射區(qū)大氣實況,查看匯總報表，指揮環(huán)境突發(fā)事件處理。環(huán)?？茖W(xué)家使用多級分析報告，生成各類分析結(jié)果，導(dǎo)入環(huán)保知識庫，搜索各類數(shù)據(jù)。環(huán)保工作者輸入各類數(shù)據(jù)，依據(jù)決策系統(tǒng)認(rèn)領(lǐng)分發(fā)任務(wù)。市

4、民訂閱環(huán)保信息，上傳個人采集數(shù)據(jù)。3. 數(shù)據(jù)處理場景平臺將形成以生態(tài)環(huán)境數(shù)據(jù)為中心的開放式數(shù)據(jù)中心,數(shù)據(jù)來源有來自環(huán)保廳的自有行業(yè)數(shù)據(jù)，廣泛收集與環(huán)境有關(guān)系的第三方數(shù)據(jù)，定期抓取互聯(lián)網(wǎng)數(shù)據(jù)，也接受來自市民提交的數(shù)據(jù)。如下圖所示，數(shù)據(jù)處理場景為了數(shù)據(jù)安全，平臺提供了數(shù)據(jù)安全子系統(tǒng)，用于數(shù)據(jù)安全，數(shù)據(jù)進(jìn)入平臺有兩種方式，一種是直接進(jìn)入處理中心，另一種是通過數(shù)據(jù)安全中心加密后進(jìn)入處理中心，加密后的數(shù)據(jù)與其它數(shù)據(jù)在平臺里是沒有區(qū)別的，處理進(jìn)程在使用數(shù)據(jù)內(nèi)容時需先行解密后方可使用。進(jìn)入平臺的數(shù)據(jù)存放在數(shù)據(jù)倉庫中。永久存放的數(shù)據(jù)就內(nèi)容來說，分為原始數(shù)據(jù)，對象數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)，成果數(shù)據(jù)；原始數(shù)據(jù)是指沒進(jìn)行任

5、何處理的裸數(shù)據(jù)，對象數(shù)據(jù)是有屬性，能用元數(shù)據(jù)來標(biāo)識的數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)通常指數(shù)據(jù)庫，成果數(shù)據(jù)由處理系統(tǒng)來確定格式，是其它數(shù)據(jù)經(jīng)處理后的有實用意義的成果。當(dāng)然平臺也會把數(shù)據(jù)處理成果輸出給用戶，在原始數(shù)據(jù)擁有者的許可下，成果可以共享。4. 架構(gòu)設(shè)計概要系統(tǒng)采用分層設(shè)計方案，如下圖所示，系統(tǒng)分為三個層次：應(yīng)用表示層、數(shù)據(jù)處理層、并行計算環(huán)境層；另有兩個子系統(tǒng):數(shù)據(jù)接口子系統(tǒng)、運行保障子系統(tǒng)。把與實際業(yè)務(wù)有關(guān)的模塊集中在應(yīng)用表示層，把數(shù)據(jù)處理有關(guān)的放在數(shù)據(jù)處理層，由并行計算環(huán)境層提供海量的存儲與大規(guī)模計算，數(shù)據(jù)接口系統(tǒng)作為平臺統(tǒng)一的數(shù)據(jù)來源，及輸出接口;運行保障子系統(tǒng)給整個平臺提供不間斷的運行維護(hù)及安全

6、保障?？傮w構(gòu)成4.1. 數(shù)據(jù)接口子系統(tǒng)平臺數(shù)據(jù)辦輸入與輸出功能全部由數(shù)據(jù)接口子系統(tǒng)來完成，核心數(shù)據(jù)由環(huán)保部門的監(jiān)測數(shù)據(jù)以及從手工導(dǎo)入歷史數(shù)據(jù)構(gòu)成；第三方采集數(shù)據(jù)，互聯(lián)網(wǎng)抓取數(shù)據(jù)，市民上傳數(shù)據(jù)是重要的補(bǔ)充部分；數(shù)據(jù)全集必須在內(nèi)在的邏輯方面形成一個完整有效的數(shù)據(jù)鏈，以便人工智能模塊進(jìn)行多維度分析。針對核與輻射的土壤監(jiān)控，采用數(shù)據(jù)動態(tài)同步方式，數(shù)據(jù)來源主要來自福建輻射監(jiān)督站開展的年度監(jiān)測工作，包括土壤樣本的實驗分析結(jié)果、輻射本底調(diào)查數(shù)據(jù)等。將核電廠周邊區(qū)域的土壤環(huán)境質(zhì)量進(jìn)行動態(tài)監(jiān)控。同時，在歷史數(shù)據(jù)挖掘的基礎(chǔ)上，研究放射性物質(zhì)在土壤中的遷移規(guī)律。針對核與輻射的土壤監(jiān)控，采用數(shù)據(jù)動態(tài)同步方式，數(shù)據(jù)來源

7、主要來自福建輻射監(jiān)督站開展的年度監(jiān)測工作，包括土壤樣本的實驗分析結(jié)果、輻射本底調(diào)查數(shù)據(jù)等。將核電廠周邊區(qū)域的土壤環(huán)境質(zhì)量進(jìn)行動態(tài)監(jiān)控。同時，在歷史數(shù)據(jù)挖掘的基礎(chǔ)上，研究放射性物質(zhì)在土壤中的遷移規(guī)律。4.2. 應(yīng)用表示層應(yīng)用表示層通過調(diào)用數(shù)據(jù)處理層的功能來完應(yīng)用系統(tǒng)的功能，凡是與具體應(yīng)用無關(guān)，可以抽象出來的功能，均在數(shù)據(jù)處理層實現(xiàn)，各應(yīng)用系統(tǒng)不用單獨開發(fā)相應(yīng)功能?？傮w上來看應(yīng)用表示層完成以下功能:a.實時動態(tài)按省市具區(qū)域、按類別、按管理功能的數(shù)據(jù)可視化顯示。b.掌握生態(tài)環(huán)境數(shù)據(jù)庫，實時掌握生態(tài)環(huán)境的變化。c.區(qū)域生態(tài)環(huán)境信息、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產(chǎn)過程生態(tài)環(huán)境量、能源種類生態(tài)環(huán)境量、廢棄物生

8、態(tài)環(huán)境量、生態(tài)環(huán)境匯集等。d.可視化運行監(jiān)測，全面能耗監(jiān)測，為宏觀分析和決策提供數(shù)據(jù)分析支撐。e.輻射環(huán)境大氣監(jiān)測應(yīng)用福建省核電發(fā)展迅猛，在建的寧德核電廠與福清核電廠分別于2012年和2013年投產(chǎn)發(fā)電，規(guī)劃建設(shè)的三明快中子反應(yīng)堆項目已通過可研，目前福建省規(guī)劃建設(shè)和在建的核電機(jī)組共十幾臺，這些能源項目的啟動和建設(shè)，將大大緩解福建省電力能源供應(yīng)緊張的局面，奠定海西大型能源基地的地位。同時，也樹立了福建省作為核電大省的地位。由于核輻射看不起，摸不著，但卻是人民群眾密切關(guān)注的，這就需要與之相匹配的輻射環(huán)境大氣自動監(jiān)測網(wǎng)。未來福建省將建成核電廠輻射監(jiān)測系統(tǒng)、監(jiān)督性監(jiān)測系統(tǒng)、國控點、省控點等多個監(jiān)測平臺

9、，提供各類的大氣輻射環(huán)境在線、離線監(jiān)測數(shù)據(jù)，但對于這些多來源的數(shù)據(jù)如何處理、整合，進(jìn)而開發(fā)相關(guān)的數(shù)據(jù)功能，還需進(jìn)一步的工作。通過對輻射環(huán)境類大氣監(jiān)測數(shù)據(jù)的大數(shù)據(jù)挖掘，實現(xiàn)核與輻射數(shù)據(jù)的相關(guān)業(yè)務(wù)應(yīng)用。4.3. 數(shù)據(jù)處理層數(shù)據(jù)處理層建立在并行計算環(huán)境層基礎(chǔ)之上，為應(yīng)用層提供數(shù)據(jù)計算服務(wù)，本層分為兩個部分：環(huán)保推薦引擎，常規(guī)大數(shù)據(jù)處理；常規(guī)大數(shù)據(jù)處理為上層及推薦引擎的數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)預(yù)警、數(shù)據(jù)挖掘提供支撐平臺。環(huán)保推薦引擎完成數(shù)據(jù)挖掘與專題分析任務(wù)，為上層提供判定結(jié)果。集成多種模型算法，優(yōu)化核算模型，溫室氣體排放因子測算, 對排放因子測算和數(shù)據(jù)質(zhì)量控制，進(jìn)行準(zhǔn)確性判斷。為城市管理者提供現(xiàn)狀評

10、估、趨勢預(yù)測、潛力分析、目標(biāo)制定分解及跟蹤等輔助決策服務(wù)。通過成立專家評估委員會，對排放系數(shù)的有效性進(jìn)行分析，特別是對一些強(qiáng)制性指標(biāo)加以深入推敲?？刂浦笜?biāo)包括排放系數(shù)統(tǒng)計信息分類的所有指標(biāo)。建立企業(yè)生態(tài)環(huán)境價值評估模型, 分析研究主要行生態(tài)環(huán)境對比研究行業(yè)不同規(guī)模、不同性質(zhì)、不同層次的溫室氣體排放情況，融合生態(tài)環(huán)境的核算、因素分解分析、模型、峰值預(yù)測、情景潛力研究和福建省減排路徑分析，為低生態(tài)環(huán)境策略制定提供可量化的決策依據(jù)。建立生態(tài)環(huán)境評價與挖掘平臺，自動完成主要行業(yè)基于溫室氣體排放分析研究報告，為工業(yè)源的溫室氣體排放研究、評估以及未來的控制政策提供支撐支持。主要實現(xiàn)功能如下：a.為實現(xiàn)生態(tài)

11、環(huán)境交易提供數(shù)據(jù)決策支撐服務(wù)。b.針對環(huán)境發(fā)展通過大數(shù)據(jù)建模，對生態(tài)環(huán)境未來進(jìn)行預(yù)測和預(yù)警。c.針對生態(tài)環(huán)境的決策，依據(jù)生態(tài)環(huán)境基礎(chǔ)數(shù)據(jù)，建立大數(shù)據(jù)模型，并進(jìn)行深度分析，得出生態(tài)環(huán)境配額，生態(tài)環(huán)境足跡分析等各種專業(yè)問題的結(jié)論。d.建模，以支持節(jié)能減排降生態(tài)環(huán)境目標(biāo)的預(yù)警調(diào)控方案。e.低能耗低排放產(chǎn)業(yè)分析。f.為調(diào)整優(yōu)化能源消費結(jié)構(gòu)提供數(shù)據(jù)支撐等h.氣象數(shù)據(jù)耦合計算所有的大氣環(huán)境污染，都在在大氣環(huán)流中彌散傳播的。如果要通過監(jiān)測數(shù)據(jù)對污染源進(jìn)行追蹤，則需要同時耦合大氣擴(kuò)散數(shù)據(jù)進(jìn)行反向的溯源計算。環(huán)保氣象數(shù)據(jù)處工功能主要負(fù)責(zé)接入全省實時氣象數(shù)據(jù)和預(yù)報數(shù)據(jù)，將其處理為可供各個其它應(yīng)用的基礎(chǔ)數(shù)據(jù)，并提供

12、相關(guān)的計算模型進(jìn)行反向耦合計算。4.4. 并行計算環(huán)境層并行計算環(huán)境層是大數(shù)據(jù)平臺的核心驅(qū)動層，其基礎(chǔ)計算能力直接影響上層的運行效率與運行速度。并行計算環(huán)境層為上層提供大規(guī)模計算與存儲服務(wù)，并行計算環(huán)境層由工作流協(xié)調(diào)處理系統(tǒng),并行式計算系統(tǒng).數(shù)據(jù)倉庫,并行式文件系統(tǒng)組成; 并行計算環(huán)境層由一個服務(wù)器集群組成，集群規(guī)模隨著平臺的計算需求進(jìn)行擴(kuò)充。5. 平臺建設(shè)關(guān)鍵技術(shù)大數(shù)據(jù)是指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù),通常以PB來計量(1P=1024T,1T=1024G);其意義不僅僅在于容量之大，更大的意義在于通過對海量數(shù)據(jù)的交換、整合和分析，發(fā)現(xiàn)新的知識，創(chuàng)造新的價值；通常大家用4V特

13、性來描述大數(shù)據(jù)；¨ Volume(容量) 根據(jù)IDC(國際數(shù)據(jù)公司)的監(jiān)測統(tǒng)計，2011年全球數(shù)據(jù)總量已經(jīng)達(dá)到1.8ZB(1ZB等于1萬億GB，1.8ZB也就相當(dāng)于18億個1TB移動硬盤的存儲量)，而這個數(shù)值還在以每兩年翻一番的速度增長，預(yù)計 到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，增長近20倍。¨ Variety(多樣性) 大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或語義。¨ Value(價值) 價值通常也被理解為價值密度，也就是說依據(jù)大量的不相關(guān)信息進(jìn)行深度復(fù)雜分析，對未來趨勢與模式的做出可靠的判定，從而

14、發(fā)現(xiàn)數(shù)據(jù)的價值。¨ Velocity(高速率) 大量的數(shù)據(jù)需要進(jìn)行快速的，實時的處理，才能在指定時間內(nèi)得到結(jié)果；數(shù)據(jù)的處理方法多以批量化，分布式為主要處理方式。從以上大數(shù)據(jù)的特性分析可知，我們生態(tài)環(huán)境的海量數(shù)據(jù)價值發(fā)現(xiàn)的核心前提條件是: 1.大規(guī)模的基礎(chǔ)運算能力與海量的存儲能力。 2. 高效的數(shù)據(jù)價值提取算法。 在分布式/并行式計算系統(tǒng)沒有出現(xiàn)之前，大規(guī)模的計算資源只能由超級計算機(jī)來提供，這是一種昂貴的資源，把大部分中小團(tuán)隊拒之門外；約2006年云計算技術(shù)開始發(fā)芽，至2010前左右隨著云計算技術(shù)的發(fā)展成熟,大規(guī)模分布式/并行式計算系統(tǒng)也得到了發(fā)展壯大，并快速成熟起來；分布式/并行式計

15、算系統(tǒng)能把廉價的大批量硬件組合起來，提供一種廉價的大規(guī)模運算能力與海量存儲能力；因而當(dāng)前技術(shù)發(fā)展已能滿足第一個前提條件。 僅有大規(guī)模運算能力還是不夠的，使用人工智能技術(shù)是解決復(fù)雜非線性計算的關(guān)鍵； 如：美國超級計算機(jī)深藍(lán)，僅使用其強(qiáng)大的計算能力，沒有使用人工智能技術(shù)的情況下，與圍棋大師的較量中最終還是敗下陣來；而使用了深度學(xué)習(xí)技術(shù)的智能象棋程序，在自我學(xué)習(xí)8年后輕易就打敗了象棋大師。人工智能的發(fā)展歷史很長，幾乎是和計算機(jī)技術(shù)一起發(fā)展的，但是大部分人工智能算法不能應(yīng)用于人們實際生活中，直到近年深度學(xué)習(xí)算法的發(fā)展與成熟，深度學(xué)習(xí)算法被證實在處理大數(shù)據(jù)時是行之有效的，其成果已經(jīng)在人們實際生活中起到了

16、的很好的作用，如：蘋果的SIRI,微軟小冰，多種BI產(chǎn)品，人臉識別等。因而深度學(xué)習(xí)算法的成熟是滿足第二個核心條件的最佳解決方案之一。6. 平臺模塊設(shè)計整個平臺是松耦合的,多模塊并行開發(fā)；數(shù)據(jù)接口系統(tǒng)，與大數(shù)據(jù)處理層及資源層是應(yīng)用系統(tǒng)的基礎(chǔ)，因而在各系統(tǒng)設(shè)計開發(fā)之初必須優(yōu)先擬定好各個接口定義，方可各自設(shè)計與開發(fā)。6.1. 環(huán)保平臺應(yīng)用表示層設(shè)計應(yīng)用系統(tǒng)分為平臺通用功能模塊以及各種專題子系統(tǒng)構(gòu)成；應(yīng)用系統(tǒng)通過調(diào)用生態(tài)環(huán)境推薦引擎和其它大數(shù)據(jù)分析技術(shù)來完成就用系統(tǒng)的功能，不須要單獨開發(fā)自己的底層數(shù)據(jù)分析功能。平臺可視化功能是通用功能，可以為各個應(yīng)用系統(tǒng)所用。7.1.1 通用功能設(shè)計7.1.1.1可視

17、化展現(xiàn)功能可視化展現(xiàn)，就是把所有的最終結(jié)果數(shù)據(jù)以全息地圖方式呈現(xiàn)在使用者面前，其所有的信息均具備地理屬性。主要功能如下：a.實時動態(tài)按區(qū)域、按行業(yè)、按企業(yè)的數(shù)據(jù)排放可視化顯示。b.掌握溫室氣體排放數(shù)據(jù)庫，實時掌握資源的利用。c.區(qū)域生態(tài)環(huán)境信息、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產(chǎn)過程生態(tài)環(huán)境量、能源種類生態(tài)環(huán)境量、廢棄物生態(tài)環(huán)境量、生態(tài)環(huán)境量等。d.可視化運行監(jiān)測，全面能耗監(jiān)測，為宏觀分析和決策提供數(shù)據(jù)分析支撐。展現(xiàn)方式:1.全省生態(tài)環(huán)境區(qū)域能量圖，縱覽全省生態(tài)環(huán)境。2. 環(huán)境生態(tài)環(huán)境健康圖譜，大數(shù)據(jù)挖掘建立綜合評價體。3. 全省生態(tài)環(huán)境指標(biāo)看板，企業(yè)排放TOP100，區(qū)域排放排。4.生態(tài)環(huán)境預(yù)警分析

18、，按排放類型等預(yù)警分。5.全省生態(tài)環(huán)境趨勢，按行業(yè)按區(qū)域趨。7.1.1.2搜索化平臺 搜索分析平臺在豐富的業(yè)務(wù)模板庫的基礎(chǔ)上可以快速的為使用在搜索中發(fā)現(xiàn)關(guān)鍵信息，可以使你輕松的在1到3秒以內(nèi)完成85%以上的生態(tài)環(huán)境分析。智能檢索系統(tǒng)依托全文檢索、自動分詞、結(jié)果聚類等先進(jìn)技術(shù)，提供對不同類型、不同格式環(huán)境資源數(shù)據(jù)的快速檢索及關(guān)鍵字模糊查詢，同時可業(yè)務(wù)明細(xì)、業(yè)務(wù)報表、相關(guān)文檔、地理空間數(shù)據(jù)等聚類類別進(jìn)行搜索結(jié)果展示，可極大滿足用戶的數(shù)據(jù)共享、快速查找需求。7.1.1.3 系統(tǒng)管理系統(tǒng)管理屬于數(shù)據(jù)分析平臺的功能。通過使用授權(quán)來控制不同崗位、不同用戶的業(yè)務(wù)操作權(quán)限。并采用用戶組的方式對用戶權(quán)限進(jìn)行管理

19、，一個用戶組可以包括多個權(quán)限相同的用戶，用戶組設(shè)定遵循便于生產(chǎn)、靈活管理的原則，以生產(chǎn)過程中的職能為依據(jù)，可以以崗位為基礎(chǔ)進(jìn)行劃分，也可以按照實際需要重新進(jìn)行劃分。系統(tǒng)用戶角色不同，則使用的系統(tǒng)功能不同，不同崗位的用戶不能越權(quán)操作系統(tǒng)功能。權(quán)限管理就是保障大數(shù)據(jù)分析平臺安全性和數(shù)據(jù)安全性的手段，也是企業(yè)強(qiáng)化管理的手段。7.1.1.3.1 訪問權(quán)限管理按功能模塊和操作權(quán)限劃分多層級多職能角色，建立不同權(quán)限的角色和用戶。通過配置權(quán)限功能、操作模塊和擁有窗體的操作類型（如讀、寫、刪除、顯示等），決定不同角色的授權(quán)范圍或者不同角色及用戶訪問的數(shù)據(jù)資源范圍。角色與用戶可指定映射，一個用戶可屬于一個或幾個

20、角色，系統(tǒng)管理員給相關(guān)人員分配相應(yīng)的管理權(quán)限。具體實現(xiàn)上系統(tǒng)將提供所有角色或用戶信息列表、所有的功能界面列表、每個功能界面上所有的資源操作類型列表，只要對角色或用戶權(quán)限范圍內(nèi)的業(yè)務(wù)信息及操作權(quán)限進(jìn)行打勾選擇即可，配置靈活。訪問權(quán)限管理采用口令認(rèn)證手段支持身份認(rèn)證系統(tǒng)。系統(tǒng)對登錄用戶的密碼以加密形式保存，對多次（比如三次）嘗試登錄失敗的用戶進(jìn)行封鎖，并記入系統(tǒng)日志。7.1.1.3.2 系統(tǒng)日志管理記錄所有登錄人員訪問系統(tǒng)的關(guān)鍵操作信息以及系統(tǒng)更新信息等，如增加、修改、刪除記錄以及系統(tǒng)更新時間、更新人、更新版本等。并提供按人員、功能操作、時間等多種條件的系統(tǒng)日志查詢，支持對重大安全事件（如數(shù)據(jù)修改

21、）的追蹤和回溯。6.2. 環(huán)保平臺并行計算環(huán)境層設(shè)計并行計算環(huán)境層提供海量存儲與大規(guī)模計算資源，由極融并行計算系統(tǒng)與建立在并行計算系統(tǒng)之上的數(shù)據(jù)倉庫組成。7.3.1 數(shù)據(jù)倉庫設(shè)計生態(tài)環(huán)境數(shù)據(jù)中心的主體是生態(tài)環(huán)境數(shù)據(jù)倉庫，數(shù)據(jù)倉庫以主題的方式建立。生態(tài)環(huán)境大數(shù)據(jù)中心，底層依托可擴(kuò)展的大數(shù)據(jù)存儲平臺，能夠支撐省級乃至國家級大規(guī)模的生態(tài)環(huán)境數(shù)據(jù)。生態(tài)環(huán)境數(shù)據(jù)中心根據(jù)數(shù)據(jù)采集后的數(shù)據(jù)，根據(jù)排放因子等進(jìn)行計算，形成溫室氣體排放數(shù)據(jù)庫。并根據(jù)不同的專題，形成各種分析的專題數(shù)據(jù)庫。7.3.2 并行計算系統(tǒng)7.3.2.1極融并行計算系統(tǒng)特性與優(yōu)勢極融并行計算系統(tǒng)的主要設(shè)計思想是軟件定義一切，高度的抽象化；所有

22、的資源均虛擬化以提高自動化管理能力及容錯能力。極融并行計算系統(tǒng)主要特性如下：1. 領(lǐng)先的并行計算架構(gòu)，使用分布式的元數(shù)據(jù)管理模型，元數(shù)據(jù)分散在集群中，這種架構(gòu)使得整個存儲系統(tǒng)沒有單點故障。2. 遠(yuǎn)程內(nèi)存直接訪問（RDMA）技術(shù)的深度運用，從本質(zhì)上改變平臺的使用場景，平臺開發(fā)者可以如同使用一臺超級計算機(jī)一樣，在一個開發(fā)平面上開發(fā)與運行自已的業(yè)務(wù)系統(tǒng)。3. 真正的近線性擴(kuò)展能力，在從三個節(jié)點擴(kuò)展到上萬個節(jié)點的過程中，不需要考慮元數(shù)據(jù)遷移和擴(kuò)展問題。4. 本地化I/O，在平臺中，由于計算資源的虛擬化，會盡量移動計算到數(shù)據(jù)所在的節(jié)點，而不是移動數(shù)據(jù)自身，因而大部分的數(shù)據(jù)不需要跨越網(wǎng)絡(luò)讀寫。5. 高度的

23、自我修復(fù)能力，當(dāng)集群中某個節(jié)點出現(xiàn)故障時，數(shù)據(jù)會自動遷移至完好節(jié)點中。6. 高度數(shù)據(jù)安全，所有存放在平臺中的數(shù)據(jù)均有2個以上的副本，同時也在更低層次提供多種數(shù)據(jù)安全保障。7. 全方位多視角的運行時監(jiān)控，平臺置于運行保障系統(tǒng)的多維度監(jiān)控下，能實時報警，并能自動修復(fù)一部分常見故障。8. 軟件定義網(wǎng)絡(luò)（SDN），網(wǎng)絡(luò)吞吐能力不再是固定的，而是依據(jù)需要進(jìn)行動態(tài)的擴(kuò)張。7.3.2.2極融并行計算系統(tǒng)概述極融并行計算系統(tǒng)的設(shè)計目標(biāo)旨在把大批量普通的、不可靠的、廉價的服務(wù)器組織起來，向外提供海量的、無差別的、高可用的數(shù)據(jù)處理服務(wù)。從外部的角度看，InfinityFusion如同一個巨大的，有序的，可伸縮的存

24、儲池，同時也具備大規(guī)模的抽象化計算能力，如下圖所示?！居脩粞壑械腎nfinityFusion】因而，InfinityFusion從宏觀角度上來說分成兩部分，一部分是把硬件資源組織起來，另一部分把資源抽象化后，組織成標(biāo)準(zhǔn)的服務(wù)接口。從外部的角度看，InfinityFusion的運行實體是一個存儲集群，一個集群是一個整體的存儲單位，不管集群由多少臺物理計算機(jī)組成。7.2.2.1 集群層次極融并行計算系統(tǒng)從邏輯功能的角度看，包括：由統(tǒng)一存儲服務(wù)提供層、集群管理層、存儲層、chunk層、資源層。集群構(gòu)成分層如下圖所示： 【集群層次圖】統(tǒng)一存儲服務(wù)提供層提供用戶交互界面；集群管理層調(diào)用存儲層接口為服務(wù)提

25、供層提供管理接口，同時負(fù)責(zé)節(jié)點的角色定位；存儲層把chunk層提供的服務(wù)轉(zhuǎn)化成數(shù)據(jù)存放接口；chunk層直接與資源層交互，向上層提供定長存儲區(qū)，向下通過本地文件系統(tǒng)讀寫硬盤；資源層在這里指的是所有的集群內(nèi)的硬盤。以上各層唯有統(tǒng)一存儲服務(wù)提供層可以單獨存在一臺服務(wù)器上，其它均分布在整個集群范圍內(nèi)。另外，并不是所有的分層都要通過上一層的調(diào)用才能被使用，存儲層在運行時直接與客戶端交互。7.2.2.2 數(shù)據(jù)安全真實存放在集群中的數(shù)據(jù)最終會存放于chunk所指向的物理數(shù)據(jù)塊中，chunk有多個副本，多個副本中數(shù)據(jù)是一致的，從而保證存放數(shù)據(jù)的安全；InfinityFusion尊守順序一致性（Sequent

26、ial Consistency）以保證副本間的數(shù)據(jù)一致性。chunk副本位置選擇是為了實現(xiàn)兩大目標(biāo)：最大化數(shù)據(jù)可靠性和可用性，最大化網(wǎng)絡(luò)帶寬利用率；對于任意副本的讀寫，只要滿足順序一致性要求，其結(jié)果是一致的。7.2.2.3 元數(shù)據(jù)元數(shù)據(jù)是集群范圍里的概念，是全局的，每個集群有且僅有一套完整的元數(shù)據(jù)；如同向外部聲明自身所擁有的資源的整體情況，外部無需考慮具體的物理細(xì)節(jié)；對內(nèi)則詳細(xì)記錄object和chunk的命名空間、object和chunk的對應(yīng)關(guān)系、每個chunk副本的存放地點等。其中承載元數(shù)據(jù)內(nèi)容的重要數(shù)據(jù)表有：root表，chunk表兩個，它們在運行時在內(nèi)存中形成樹狀關(guān)系；元數(shù)據(jù)均勻地分

27、布在整個集群所有物理節(jié)點中。6.3. 數(shù)據(jù)接口系統(tǒng)數(shù)據(jù)接口系統(tǒng)的功能是：把各種內(nèi)外部數(shù)據(jù)導(dǎo)入到平臺內(nèi)，并進(jìn)行清洗后，內(nèi)含一個數(shù)據(jù)引擎把數(shù)據(jù)進(jìn)行初步整合后,分類存入平臺數(shù)據(jù)倉庫里。同時結(jié)果數(shù)據(jù)也從數(shù)據(jù)接口系統(tǒng)向外輸出數(shù)據(jù)。數(shù)據(jù)來源有: 監(jiān)測數(shù)據(jù)采集、歷史數(shù)據(jù)導(dǎo)入、第三方數(shù)據(jù)采集、互聯(lián)網(wǎng)彈性搜索、市民微信上傳接口五種方式。其中第三方數(shù)據(jù)采集面向多個行業(yè)，其中污染源數(shù)據(jù)接入主要從能源消費和非能源消費2個角度出發(fā)，將城市生態(tài)環(huán)境源分成工業(yè)能源、交通能源、居民生活能源、商業(yè)能源、工業(yè)過程和廢物等6個單元。 除了歷史數(shù)據(jù)通過離線方式導(dǎo)入外，其它數(shù)據(jù)需要實時采集，數(shù)據(jù)實時采集：1. 通過環(huán)保部門內(nèi)置網(wǎng)絡(luò)采集

28、生態(tài)環(huán)境信息。2. 通過氣象部門采集全省及部分東部省份信息。3 .重點工業(yè)企業(yè)用電數(shù)據(jù)、用煤數(shù)據(jù)。數(shù)據(jù)通過電力公司、稅務(wù)公司等實時采集數(shù)據(jù)。通過行業(yè)管理部門、統(tǒng)計局收集綜合數(shù)據(jù)。4. 城市交通能源的數(shù)據(jù)采集，從中石油，中石化實時采集能源消耗數(shù)據(jù)。5.居民生活能源數(shù)據(jù)，可以從煤氣公司、液化氣公司、電力公司實時采集數(shù)據(jù)。6.商業(yè)能源數(shù)據(jù)，從電力公司、熱力公司實時采集數(shù)據(jù)。7.工業(yè)過程數(shù)據(jù)，從重點基礎(chǔ)企業(yè)進(jìn)行數(shù)據(jù)采集。7.4.1 數(shù)據(jù)接入引擎：6.4. 運行保障子系統(tǒng)設(shè)計運行保障子系統(tǒng)的特點為采用源于數(shù)據(jù)庫的應(yīng)用通信協(xié)議,動態(tài)擴(kuò)展被監(jiān)控對象，能動態(tài)增加通信協(xié)議，而無須重新更改運行保障平臺代碼. 在分

29、布式軟件體系中，各個模塊通信方式不同，系統(tǒng)規(guī)模體系統(tǒng)與規(guī)模隨著使用時間的推移不斷發(fā)生變化，很難在系統(tǒng)設(shè)計之初定義各個模塊之間的通信協(xié)義；這要求我們把通信協(xié)義的定義分布到系統(tǒng)的整個生命周期之中，也就是說協(xié)義是隨時可以”熱添加”的，后續(xù)添加的協(xié)義不影響已運行協(xié)義；這就要求我們定義的協(xié)議是抽象的，協(xié)議的具體化由數(shù)據(jù)源(如存放在數(shù)據(jù)庫的數(shù)據(jù))來細(xì)化 運行保障子系統(tǒng)的另一個特點是多視角多維度的展示系統(tǒng)運行狀態(tài)。例如硬件設(shè)備供應(yīng)商只看硬件設(shè)備運行狀態(tài)，應(yīng)用軟件開發(fā)商只關(guān)注自身軟件系統(tǒng)的運行狀態(tài)，而云計算管理軟件只關(guān)注各個虛擬機(jī)的運行狀態(tài)；他們可以從各自的角度出發(fā)，從運行保障子系統(tǒng)中查看相關(guān)數(shù)據(jù)并做出處理動

30、作7.5.1 運行保障子系統(tǒng)應(yīng)用場景在分布式體系中，參與眾多,且時常變動，參與者切入系統(tǒng)的角度不同；這種體系規(guī)模比較大且在運行中不斷地動態(tài)擴(kuò)展或縮減；整個體系的責(zé)任團(tuán)隊需要從多個視角,多個層次把所有的參與要素的運行狀態(tài)集中到統(tǒng)一界面中進(jìn)行監(jiān)視與管控. 通常由作為基礎(chǔ)軟硬件設(shè)施服務(wù)商或集成商為責(zé)任團(tuán)隊提供這個功能這就是運行保障子系統(tǒng)應(yīng)用場景. 從具體項目的角度看，需要運行保障子系統(tǒng)的有:云計算，各種大型功能中心(如移動通信短信中心，110指揮中心等)，各種大型平臺(如醫(yī)保平臺) 等; 簡單的應(yīng)用軟件不適合，規(guī)模很小的項目也不適合.7.5.2 運行保障子系統(tǒng)理論依據(jù)1. 大部分致命故障是由其它錯誤

31、累積而成，預(yù)警與趨勢分析能把致命故障扼殺在萌芽狀態(tài)，從而保障系統(tǒng)的穩(wěn)定運行2. 異常是可擴(kuò)散的，大部分系列的異常的源頭只有一個3. 各種異?？梢杂邢嗤奶幹眠^程，異常拋出，異常分析，異常處理4. 歷史數(shù)據(jù)的挖掘與分析是發(fā)現(xiàn)問題與產(chǎn)生新的有效需求的有效方式7.5.3運行保障子系統(tǒng)開發(fā)難點運行保障子系統(tǒng)與其它模塊不同之處在于，開發(fā)完成并運行后還會陸續(xù)進(jìn)行一些接入式開發(fā)，以完善其功，這種開發(fā)類似于插件式開發(fā)，而不是升級開發(fā)7. 平臺建設(shè)目標(biāo)平臺建設(shè)分為三個階段，2016年7月平臺開始建設(shè)，2018年初全面建成并投入試運行。相應(yīng)的硬件環(huán)境建設(shè)依據(jù)軟件的開發(fā)進(jìn)度進(jìn)行。第一階段 平臺基礎(chǔ)建設(shè)期 2016年7月到2