環(huán)保行業(yè)數據整合與應用技術培訓課件

1、環(huán)保行業(yè)數據整合與應用技術培訓空氣質量預報數據生產流程NAQPMSCMAQCAMx源識別與跟蹤過程分析敏感性分析反向模擬衛(wèi)星資料模式參數優(yōu)化城市冠層模擬技術復合污染化學模塊誤差智能識別最優(yōu)插值同化集合卡爾曼濾波污染源反演集成預報產品污染源模型SMOKE氣象模型WRF各種觀測 氣象 空氣質量 航測 衛(wèi)星 污染源權重平均多元回歸神經網絡集合濾波空氣質量預報重大活動預警空氣質量預測預報應用demo環(huán)境數據整合應用污染物排放量分布激光雷達監(jiān)測衛(wèi)星遙感（AOD）O3濃度垂直剖面氣團軌跡分析污染來源追因1、環(huán)境數據整合與應用技術架構2、環(huán)境數據類型和應用場景3、環(huán)境數據存儲與管理4、環(huán)境數據整合處理方法5

2、、環(huán)境數據分析與應用內容概述環(huán)境數據整合與應用技術架構環(huán)境數據整合與應用技術架構DesktopWebDeviceServerOnlinePortalLayersWeb MapsWebScenes環(huán)境質量監(jiān)測空氣質量預測預報環(huán)境應急核輻射安全應用環(huán)境評估環(huán)境監(jiān)察生態(tài)保護環(huán)境模型輸出集成各類環(huán)境數據傳感網電子數據表影像數據數據庫環(huán)境模型數據數據分析處理數據存儲管理數據服務管理數據業(yè)務應用環(huán)境信息平臺處理集成環(huán)境數據整合處理解決方案NetCDFGRIB多維數據GRDDAT電子表格文本數據監(jiān)測點數據模型點數據數據庫數據糾偏標準化數據重構數據讀取標準化數據變換生成NC插值處理等值線抽取標準化NC標準化G

3、RIB風場數據NC各種濃度數據（TIF）等值線數據（溫、濕、氣）軌跡數據監(jiān)測點數據風場影像服務濃度影像服務溫度影像服務濕度影像服務氣壓影像服務影像服務各種等值線要素服務軌跡要素服務監(jiān)測站點要素服務要素服務 環(huán)境數據鑲嵌數據集SDE數據轉換處理數據存儲管理 服務發(fā)布環(huán)境數據整合應用流程輸出數據數據柵格化鑲嵌數據集Image Service數據再生產深度應用時空立方體WebSceneFeather Service統(tǒng)計挖掘環(huán)境數據類型與應用場景環(huán)境數據類型數據庫傳感網文本數據電子數據表矢量數據 應用LayersWeb MapsWebScenes地理信息模型Geoinformation ModelWe

4、b GIS影像數據多維數據環(huán)境多維數據應用場景海洋數據 海水溫度，鹽度，洋流氣象環(huán)境數據溫度，濕度，氣壓，風場，降水，濃度土地數據土壤含水量, NDVI，土地覆蓋風場和濕度風場和氣壓洋流擴散濃度環(huán)境數據整合應用場景環(huán)境數據整合需要解決哪些問題？多源異構數據的集成不同環(huán)境監(jiān)測手段和設備、不同環(huán)境模型結構化、半結構化、非結構化海量數據的存儲管理環(huán)境歷史數據、現(xiàn)勢數據、預測數據數據快速處理與自動化業(yè)務應用對數據處理的要求環(huán)境數據存儲、管理與服務發(fā)布海量影像柵格管理鑲嵌數據集海量影像柵格管理鑲嵌數據集快速動態(tài)大規(guī)模任何格式可視化和分析大規(guī)模數據管理和共享ArcGIS影像分類實時鑲嵌圖像融合色彩平衡正射

5、校正變化分析Full Motion Video (FMV)3D量測 自動配準高級影像處理工具鑲嵌數據集（Mosaic Dataset）是ArcGIS 10推出的管理柵格數據的影像新技術。提供對數據集進行索引，并且可對集合執(zhí)行查詢。支持多種通用影像處理任務環(huán)境數據存儲與管理污染物分布U和V向量風場|流場優(yōu)勢管理大規(guī)模影像對NetCDF、GRIB多維數據支持動態(tài)鑲嵌規(guī)則與渲染規(guī)則實時柵格處理函數環(huán)境數據存儲結構多維的鑲嵌數據集支持多文件和多變量用地理數據庫屬性表來管理多維數組，而不存儲數據本身每一行代表2維的柵格數組維度和變量名稱作為字段存儲不同區(qū)域的數據不同時間的數據不同渲染模板使用柵格函數處理

6、模板由柵格函數或者柵格函數處理鏈生成的模板用于server端或桌面端調用柵格函數處理模板(*.RFT.xml) - 單景影像的處理 - 鑲嵌數據集處理 - REST影像服務處理Image FileRaster Function ChainScreen product串聯(lián)多個柵格函數形成靈活增刪可生成柵格函數模板復用柵格函數實時處理無需更改原始數據或生成中間結果影像可以從一份原始數據創(chuàng)建多種影像產品，而無需額外的存儲成本和中間結果影像操作：柵格數據入庫12操作：實時處理函數定制1234文件+索引存儲 管理大規(guī)模影像柵格數據支持多維數據管理 多維環(huán)境數據入庫和展示動態(tài)鑲嵌與渲染 時空數據存儲和展示

7、實時處理函數 柵格處理計算更靈活鑲嵌數據集解決了哪些問題？環(huán)境數據整合處理方法污染物時空立方體應用剖面分析環(huán)境數據整合處理Arcpy為用戶提供了使用 Python 語言操作所有地理處理工具（包括擴展模塊）的入口，并提供了多種有用的函數和類，以用于處理、訪問和管理分析 GIS 數據。使用 Python 和 ArcPy，可以開發(fā)出大量的用于處理地理數據的實用程序。ArcGIS服務共享地理分析可視化數據管理地理處理利用ArcPy與Python方便實現(xiàn)GIS處理流程不需要學習龐大的AO接口數據管理工具（矢量、柵格） 空間數據增、刪、改、查 空間數據投影、轉換數據分析工具 插值、柵格計算、數據查找、柵格

8、變換自動化制圖工具服務管理工具環(huán)境數據整合處理常見數據格式多維數據處理NetCDF、Grib文本數據處理Excel、Grd數據庫數據處理屬性表數據處理多維數據結構特點NetCDF(network Common Data Form)網絡通用數據格式是一種科學數據，包含維、變量和屬性三種描述類型。變量存儲實際數據，是一個N維數組；維給出了變量維度信息，屬性則給出了變量或數據集本身的輔助信息屬性。NetCDF可以對海量網格（陣列）數據進行高效地存儲、管理、獲取和分發(fā)等操作。Dimensions：/定義維數Variables：/定義變量Attributes：/屬性多維數據標準化處理單位變量名坐標系統(tǒng)時

9、間操作：多維數據標準化處理多維數據預處理入庫空間化操作：多維數據入庫模板定制123操作：環(huán)境數據渲染模板定制Excel數據處理1、Excel To Table2、創(chuàng)建XY圖層3、數組分組插值4、入庫更新屬性電子表格數據操作：Excel數據處理DB數據處理1、連接數據庫2、逐條寫入數據3、數據分組插值4、入庫更新屬性1、連接數據庫2、創(chuàng)建XY圖層3、數據分組插值4、入庫更新屬性非空間數據庫地理空間數據庫屬性表數據DB數據處理GRD數據處理大氣擴散地面溫度溫度海平面壓力輻射劑量降水Radcon模型輸出數據(GRD)風場地面風場擴散軌跡柵格轉換等值線矢量轉換多維向量GRD數據處理N個不同時刻數據單個

10、數據文件格式1、GRD文件標準化2、轉換成Numpy3、轉換成tif4、入庫更新屬性濃度數據（氣象、擴散）GRD數據處理1、GRD文件標準化2、轉換成Numpy3、轉換成NetCDF4、入庫更新屬性風場數據N個不同時刻數據單個數據文件格式不同高度GRD數據處理濃度數據GRD數據處理風場數據GRD數據處理結果氣壓分布降水分布擴散軌跡風場與大氣擴散環(huán)境數據整合處理要點有哪些？處理數據類型 多維數據、文本數據、數據庫數據、激光雷達數據處理數據方法 Arcpy+Python自動流程化的正確打開方式 發(fā)布GP服務，Server提供實例管理環(huán)境數據分析與應用空氣質量預報數據展示與分析應用模型數據標準化入庫

11、鑲嵌數據集（濃度）鑲嵌數據集（風場）ArcGIS ServerArcGIS ServerImage LayerImageVectorLayer操作：影像服務發(fā)布空氣質量預報數據展示與分析應用風場數據展示影像矢量圖層ArcGISImageServiceVectorLayer空氣質量預報數據展示與分析應用動態(tài)播放多維數據鑲嵌規(guī)則mosaicRule:mosaicMethod:esriMosaicNone,ascending:true,mosaicOperation:MT_FIRST,multidimensionalDefinition:variableName:,dimensionName:tim

12、e,values:0,isSlice:true,variableName:,dimensionName:bottom_top,values:2,isSlice:truePM2影像服務rest請求wind影像服務rest請求mosaicRule:mosaicMethod:esriMosaicNone,ascending:true,mosaicOperation:MT_FIRST,multidimensionalDefinition:variableName:Vector-UV,dimensionName:bottom_top,values:2,isSlice:true,variableName:

13、Vector-UV,dimensionName:time,values:0,isSlice:true空氣質量預報數據展示與分析應用鉆取分析工具空氣質量預報數據展示與分析應用鉆取分析工具空氣質量預報數據展示與分析應用GP服務發(fā)布Python、ArcPy APIArcCatalogArcToolboxArcMap(Share As Geoprocessing Service)或ArcPy發(fā)布Gp服務設計和制作腳本制作腳本工具調試運行、發(fā)布服務GP服務發(fā)布流程操作：GP服務發(fā)布空氣質量在線統(tǒng)計與對比分析應用demo環(huán)境數據在線統(tǒng)計與對比分析應用思路GP服務發(fā)布結果轉換統(tǒng)計計算Python庫實現(xiàn)統(tǒng)計A

14、rcpy實現(xiàn)轉換供前端應用調用利用Python提供的眾多開源程序庫numpy、Scipy、Pandas、netCDF4Python工具通過ArcGIS發(fā)布成GP服務，滿足前端應用環(huán)境數據統(tǒng)計分析應用利器NumpyPython的開源科學計算包，用來存儲和處理大型矩陣強大的N維數組對象Array（靈活索引、合并分割）實用的線性代數和隨機數生成函數（算術運算、維度變換）多維數據與GIS可視化之間的橋梁（柵格轉化）Arcpy中Numpy轉換：NumPyArrayToRasterRasterToNumPyArrayNumPyArrayToTableTableToNumPyArrayNumPyArrayT

15、oFeatureClassFeatureClassToNumPyArray環(huán)境數據統(tǒng)計分析應用利器Numpy多維數組構建 索引數組合并、分割維度轉換（數據降維）文件加載柵格轉換柵格矩陣運算（轉置、算術、邏輯運算）環(huán)境數據在線統(tǒng)計與對比分析應用方法數據讀取降維單幅柵格鑲嵌數據集多維數據數據轉換運算柵格計算器numpy（數組計算）pandas（科學統(tǒng)計包）Multidimension ToolsnetCDF4（多維數據包）結果轉換輸出矢量數據柵格數據數據讀取數組降維統(tǒng)計計算輸出柵格環(huán)境數據在線統(tǒng)計與對比分析應用在線統(tǒng)計提取一天24小時數據統(tǒng)計計算后維度變成(1,rowsize*colsize)環(huán)境數據在線統(tǒng)計與對比分析應用對比分析環(huán)境數據在線統(tǒng)計與對比分析應用展現(xiàn)JS濾鏡拖動展示效果環(huán)境數據分析與應用怎么做？前提 數據的整合和服務發(fā)布應用開發(fā)內容 緊密結合用戶業(yè)務需求應用開發(fā)方法 JS API+開源資源總站空氣質量預報預警系統(tǒng)海域放射性后果評價大范圍核物質擴散近海岸核物質擴散洋流動態(tài)展示該項目中整合了基于三角網的海洋數據，能夠無縫對