氣象云計算和大數(shù)據(jù)平臺建設(shè)方案

1、氣象云計算和大數(shù)據(jù)平臺建設(shè)方案技術(shù)創(chuàng)新，變革未來需求梳理及 行業(yè)發(fā)展趨勢01氣象行業(yè)解決方案02案例分析04目錄2氣象局新一代信息工程總體技術(shù)架構(gòu)理解重點解析：總體架構(gòu)和云架構(gòu)是銜接-演進的關(guān)系標(biāo)準(zhǔn)化數(shù)字化數(shù)字化標(biāo)準(zhǔn)化數(shù)字化應(yīng)用資源整合數(shù)據(jù)資源整合硬件資源整合智慧氣象云工程智慧業(yè)務(wù)、智慧管理、智慧服務(wù)以資源整合和應(yīng)用集約為抓手，以標(biāo)準(zhǔn)化貫 穿始終，從流程再造入手，初步完成數(shù)據(jù)、硬件和 業(yè)務(wù)應(yīng)用等三大資源整合，以統(tǒng)一構(gòu)建的國省數(shù)據(jù) 環(huán)境，統(tǒng)一規(guī)劃的基礎(chǔ)設(shè)施資源池，統(tǒng)一的加工處 理流水線，構(gòu)建扁平化的信息組織體系，為實施金 云工程，發(fā)展智慧氣象奠定基礎(chǔ)。氣象信息化行動方案實施氣象信息化行動方案，夯

2、實氣象云建設(shè)基礎(chǔ)管理信息化標(biāo)準(zhǔn)化問題導(dǎo)向：數(shù)據(jù)分散、信息孤島、 應(yīng)用林立資源整合共享是國家新一代信息工程建設(shè)的重點 應(yīng)用導(dǎo)向，搭建國省統(tǒng)一CIMISS數(shù)據(jù)環(huán)境以CIMISS為基礎(chǔ)構(gòu)建國省統(tǒng)一數(shù)據(jù)環(huán)境CIMISS確立了標(biāo)準(zhǔn)，整合了各類數(shù)據(jù)這就是氣象大數(shù)據(jù)在國省、省際流動并創(chuàng)造價值的前提基礎(chǔ)咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應(yīng)用展示中心應(yīng)用體系主要任務(wù)發(fā)展戰(zhàn)略現(xiàn)狀分析標(biāo)桿研究需求問題分析內(nèi)涵及要素構(gòu)成智慧城市 愿景及目標(biāo)總體架構(gòu)業(yè)務(wù)架構(gòu)技術(shù)架構(gòu)重點工程行動計劃關(guān)鍵路徑指標(biāo)體系應(yīng)用架構(gòu)保障措施 氣象信息化整體規(guī)劃思路和路線咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應(yīng)用展示中心應(yīng)用體系 氣象云主題建設(shè)內(nèi)容咨詢規(guī)劃

3、云計算中心氣象大數(shù)據(jù)平臺應(yīng)用展示中心應(yīng)用體系 氣象大數(shù)據(jù)主體建設(shè)內(nèi)容咨詢規(guī)劃云計算中心政務(wù)大數(shù)據(jù)平臺應(yīng)用展示中心應(yīng)用體系開放共贏 融合創(chuàng)新 氣象工程展示中心主體建設(shè)內(nèi)容咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應(yīng)用展示中心應(yīng)用體系 氣象應(yīng)用體系主體建設(shè)內(nèi)容氣象信息化建設(shè)發(fā)展方向：大整合、大平臺業(yè)務(wù)數(shù)據(jù)/ 平 臺基 礎(chǔ) 設(shè) 施管 理CIPASCIMISS日志審計MICAPS請求服務(wù)100業(yè)務(wù)系統(tǒng)基礎(chǔ)庫行業(yè)庫實時庫自動站 數(shù)據(jù)業(yè)務(wù)網(wǎng)+氣象專網(wǎng)+互聯(lián)網(wǎng) 二級、三級、四級網(wǎng)網(wǎng)絡(luò)多品牌服務(wù)器+小機FC SAN + NAS + 分布式文件服務(wù)器存儲容災(zāi)預(yù)報中心氣候中心 本地備份雙活、異地容災(zāi)（弱）氣象中心公服中心人

4、工影響天氣中心氣象信息中心（數(shù)據(jù)中心）信息化現(xiàn)狀統(tǒng)一大平臺門戶CIPASMICAPS大數(shù)據(jù)分析平臺資源整合平臺資源服務(wù)平臺云計算服務(wù)基礎(chǔ)設(shè)施統(tǒng) 一 運 維管理計 算 資 源池存 儲 資 源池網(wǎng) 絡(luò) 資 源池信息化痛點信息化方向業(yè)務(wù)自建、缺乏標(biāo)準(zhǔn)系統(tǒng)多雜，多次登陸重復(fù)錄入，效率低下數(shù)據(jù)量大，處理效率 低數(shù)據(jù)格式雜，無法處 理數(shù)據(jù)無法有效共享多元化數(shù)據(jù)如何創(chuàng)新基礎(chǔ)設(shè)施大整合GIS數(shù)據(jù)資源大整合業(yè)務(wù)支撐平臺業(yè)務(wù)應(yīng)用大平臺業(yè)務(wù) 廠商設(shè)備多，品牌雜利用率低，服務(wù)器20% 利用管理難，無法有效監(jiān)控 運維不靈活，難以支撐信息化擴展安全水平低，難以持續(xù) 提供信息化基礎(chǔ)設(shè)施能 力信息化管理部門無法向 快速為業(yè)務(wù)

5、部門信息化 需求提供服務(wù)容 災(zāi) 資 源池衛(wèi)星數(shù)據(jù)雷達(dá)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)+非結(jié)構(gòu)化數(shù)據(jù)百億條基礎(chǔ)數(shù)據(jù)，數(shù)值預(yù)報數(shù)據(jù)龐大數(shù)值產(chǎn)品需求梳理及 行業(yè)發(fā)展趨勢01氣象行業(yè)解決方案02案例分析04目錄12 構(gòu)建基于CIMISS的國省兩級氣象云應(yīng)用體系-整體架構(gòu)異地災(zāi)備中心公眾服務(wù)國家級相關(guān)部門國家氣象云主中心應(yīng)用2應(yīng)用3應(yīng)用1天氣預(yù)報減災(zāi)服務(wù)氣象觀測衛(wèi)星遙感科研計算數(shù)值預(yù)報同城雙活中心公眾服務(wù)省市縣相關(guān)部門公眾服務(wù)省市縣相關(guān)部門公眾服務(wù)省市縣相關(guān)部門應(yīng)用2氣象公有云應(yīng)用1 應(yīng)用3省級分中心省級分中心省級分中心國家氣象云建設(shè)1個主中心（含北京局）+1個同城災(zāi)備中心+1個異地災(zāi)備中心+30個省級分中心標(biāo)準(zhǔn)體系建設(shè)

6、技術(shù)架構(gòu) 安全標(biāo)準(zhǔn) 數(shù)據(jù)標(biāo)準(zhǔn) 服務(wù)標(biāo)準(zhǔn) 國家氣象云參考部署架構(gòu)氣象云計算平臺網(wǎng)絡(luò)拓?fù)浼軜?gòu)氣象有公共服務(wù)資源池氣象有私有云資源池 氣象云內(nèi)外網(wǎng)數(shù)據(jù)安全傳輸1717 氣象云部署架構(gòu)氣象公有云部署和設(shè)想從客戶角度出發(fā)，為了保證技術(shù)的透明性和可持有性，理解氣象公有云建設(shè)是運行在互聯(lián) 網(wǎng)上的氣象云建設(shè)，而不是純粹由互聯(lián)網(wǎng)廠商運行的黑匣子。根據(jù)公有云部署應(yīng)用的情況 分析可以考慮數(shù)據(jù)庫的云化；氣象局可以考慮采購服務(wù)的模式，避免自建，按需計費；物理部署位置選擇：最 近的城市云中心（無錫、南 京等），或者上海超算中心 云化資源池。1919氣象公有云部署和設(shè)想1、應(yīng)用拆分2、應(yīng)用/WEB上云3、數(shù)據(jù)庫U2L4、數(shù)

7、據(jù)上云CMISS平臺CMISS平臺按照不同階段處理流程劃分?jǐn)?shù)據(jù)收發(fā)系統(tǒng)（CTS）： 包括數(shù)據(jù)收集、收集處理、 分發(fā)處理、數(shù)據(jù)補調(diào)等加工處理系統(tǒng)（DPC）： 數(shù)據(jù)解碼系統(tǒng)、質(zhì)量控制 系統(tǒng)、產(chǎn)品生產(chǎn)系統(tǒng)等存儲管理系統(tǒng)（SOD）： 結(jié)構(gòu)管理、元數(shù)據(jù)管理、 數(shù)據(jù)處理、數(shù)據(jù)清除等共享服務(wù)系統(tǒng)：檢索查詢、 數(shù)據(jù)統(tǒng)計分析、可視化等平臺分類數(shù)據(jù)收發(fā)系統(tǒng)（CTS）系統(tǒng)構(gòu)成 數(shù)據(jù)收集環(huán)境特征 虛擬機虛擬機虛擬機 多核 虛擬機 大內(nèi)存 虛擬機虛擬機 虛擬機加工處理系統(tǒng)存儲管理系統(tǒng)（SOD）收集處理 分發(fā)處理 數(shù)據(jù)分發(fā) 數(shù)據(jù)補調(diào) 系統(tǒng)交互 監(jiān)所管理 數(shù)據(jù)解碼（DPC）質(zhì)量控制高IO 產(chǎn)品生產(chǎn)虛擬機結(jié)構(gòu)管理 入庫存儲數(shù)

8、據(jù)處理數(shù)據(jù)清除虛擬機共享服務(wù)系統(tǒng)（GDS）虛擬機虛擬機 大內(nèi)存檢索系統(tǒng) 數(shù)據(jù)獲取 數(shù)據(jù)可視化虛擬機 數(shù)據(jù)分發(fā)及統(tǒng)計 虛擬機存 儲 搬 遷數(shù) 據(jù) 上 云數(shù)據(jù)物理分散轉(zhuǎn)變?yōu)槲锢砑蟹稚⒋鎯D(zhuǎn)變統(tǒng)一云存儲；集中資源，降低未來容災(zāi)難度接警信息庫串并案庫案件信息庫違法人員庫嫌疑人庫其他數(shù)據(jù)庫原始數(shù)據(jù)庫CIMISS平臺與云平臺的關(guān)系分析大 數(shù) 據(jù)平 臺20信息資源數(shù)據(jù) 庫統(tǒng)一大數(shù)據(jù)平臺平臺HADOOPSPARKSTORMMPPDBDB1DB2DB1DB2HA/CLUSTERX86服務(wù)器HA/CLOUSTE R小型機網(wǎng)絡(luò)加速 IB網(wǎng)絡(luò)：心跳、業(yè)務(wù)網(wǎng) 萬兆網(wǎng)絡(luò)：業(yè)務(wù)網(wǎng)IO加速:PCIE-SSD內(nèi)存數(shù)據(jù)庫加速：

9、開啟Oracle12c內(nèi)存數(shù)據(jù)庫功能CTSDPCSODGDSMCP 氣象基礎(chǔ)設(shè)施資源池技術(shù)架構(gòu) 全球最先進的虛擬化技術(shù) 大型云計算中心運維經(jīng)驗 根正苗紅的國產(chǎn)品牌主要優(yōu)勢支撐應(yīng)用完善平臺特定行業(yè)云解決方案云計算管理平臺云計算基礎(chǔ)設(shè)施運維管理系統(tǒng)Web/網(wǎng)站/數(shù)據(jù)庫MIS系統(tǒng)中高端X86服務(wù)器虛擬化彈性計算資源池核心數(shù)據(jù)庫其他數(shù)據(jù)庫高性能X86服務(wù)器數(shù)據(jù)采集系統(tǒng)數(shù)據(jù)預(yù)處理系統(tǒng)數(shù)據(jù)分析系統(tǒng)通用低端服務(wù)器大數(shù)據(jù)計算分析資源池彈性計算計算資源池數(shù)據(jù)庫資源池基于不同分區(qū)的計算資源池架構(gòu)通用型服務(wù)器計算/IO服務(wù)器計算存儲型 服務(wù)器混合型 服務(wù)器網(wǎng)絡(luò)型服務(wù)器分布式云計算平臺使用x86 架構(gòu)的服務(wù)器搭建大規(guī)

10、模集 群，通過軟件可伸縮性的優(yōu) 勢彌補硬件差錯，提高云計 算平臺的可用性、可靠性和 安全性。整體建設(shè)原則：采購高端新 設(shè)備、整合可用老設(shè)備、淘 汰落后差設(shè)備；FC-SANSAN/NAS Pool分布式存儲資源池模式計算存儲資源池存儲服務(wù)高性能模式數(shù)據(jù)存儲服務(wù)分布式數(shù)據(jù)庫服務(wù)核心數(shù)據(jù)庫存儲超融合的云存儲系統(tǒng)支撐融合的信息化存儲資源關(guān)系型數(shù)據(jù)庫服務(wù)多媒體其它云平臺存儲管理采用兩套存儲架構(gòu)支撐氣 象云數(shù)據(jù)中心存儲平臺核心數(shù)據(jù)庫存儲：主要支撐氣 象核心生產(chǎn)系統(tǒng)數(shù)據(jù)庫，例如CIMISS、MICAPS結(jié)構(gòu)化數(shù)據(jù)等等；超融合云存儲系統(tǒng)：主要支撐數(shù) 據(jù)中心虛擬機、數(shù)值產(chǎn)品數(shù)據(jù)、 CIMISS、MICAPS等非

11、結(jié)構(gòu)化的文件數(shù)據(jù)，大數(shù)量多媒體文件存儲；融合的存儲資源池架構(gòu)云計算平臺以分布式存儲集群為主，同時以NAS、SAN等傳統(tǒng)存儲技術(shù)作為補充。Hypervisor網(wǎng)絡(luò)CSSPlugin PlatformSNMPHypervisor AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中間件應(yīng)用JMX/JDBCRest/WebserviceCSSPlugin Platform新資源SNMP/Modbus存儲SNMP/SMI-S動力環(huán)境服務(wù)器SNMPCSSPlugin Platform對動態(tài)數(shù)據(jù)中心資源集中監(jiān)管，并提供多視角的可視化展現(xiàn)。自主可控云操作系統(tǒng)云環(huán)境監(jiān)控總覽

12、PDUUPSATS空調(diào)WindowsLinuxSolarisAIX存儲友商存儲NetAPPEMC防火墻負(fù)載均衡路由器交換機虛擬化XenServerVmwareKVMXENRHEVPowerVMSqlServer)應(yīng)用服務(wù)器(Tomcat、WebSphere、Weblogic、JBoss)消息中間件( ActiveMQ)數(shù)據(jù)庫(DB2、MySQL、Oracle、氣象行業(yè)應(yīng)用第三方應(yīng)用插件開發(fā)支持新類 型資源監(jiān)控KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存儲管理豐富完善的管理功能模板管理靈活易擴展的架構(gòu)網(wǎng)絡(luò)管理資源

13、自動探查生命周期管理支持多種虛擬化平臺多虛擬化環(huán)境管理AdaptorCloudVirtual服務(wù)器設(shè)備監(jiān)控LinuxWindowsSolarisAIXHPUnix監(jiān)控代理監(jiān)控代理監(jiān)控代理AgentSNMPIPMI全面支持各類操作系統(tǒng)支持多種采集協(xié)議，適應(yīng)不同 場景監(jiān)控指標(biāo)豐富，可靈活設(shè)置顯 示與否CloudView網(wǎng)絡(luò)設(shè)備監(jiān)控及拓?fù)湔宫F(xiàn)支持SNMP V1、V2、V3支持設(shè)備自帶MIB庫上傳網(wǎng)絡(luò)拓?fù)涫謩釉O(shè)置拓?fù)渥詣影l(fā)現(xiàn)及故障預(yù)警自動接收Syslog、SNMP Trap等告基于ICMP（ping）、路由ARP以及SNMP協(xié)議的網(wǎng)絡(luò)自動發(fā)現(xiàn)警方式Request監(jiān)Response管CloudManag

14、er自動發(fā)現(xiàn)網(wǎng)絡(luò)及拓?fù)湔宫F(xiàn)設(shè)Syslog備Trap支持手動設(shè)置和修改網(wǎng)絡(luò)拓?fù)浠赟NMP（MIB）協(xié)議的網(wǎng)絡(luò)設(shè)備監(jiān)控支持多種網(wǎng)絡(luò)設(shè)備監(jiān)控數(shù)據(jù)中心資源網(wǎng)絡(luò)設(shè)備監(jiān)控數(shù)據(jù)庫資源監(jiān)控JDBC數(shù)據(jù)庫Log日志表空間資源消耗分析運行指標(biāo)數(shù)據(jù)庫文件事務(wù)連接數(shù)配置信息支持國內(nèi)國外多種數(shù)據(jù)庫靈活擴展支持?jǐn)U展指標(biāo)豐富，契合業(yè)務(wù)深度監(jiān)控支持靈活的指標(biāo)和日志級告警中間件資源監(jiān)控支撐各廠商的業(yè)務(wù)應(yīng)用中間件監(jiān)控，提供實時的業(yè)務(wù)應(yīng)用性能指標(biāo)信息。輕量級、無侵入：通過JMX、SNMP等方式進行監(jiān)控，無需安裝部署Agent代理程序。豐富的指標(biāo)采集：查看中間件在一段時間內(nèi)的各項指標(biāo)監(jiān)控，了解業(yè)務(wù)系統(tǒng)健康狀態(tài)。精確的實時預(yù)警：通過

15、對關(guān)心的性能指標(biāo)進行策略預(yù)警，及時獲得性能瓶頸。監(jiān)控實及日志監(jiān)控JVM內(nèi)存使用率支持中間優(yōu)化中間件配置，提升連接池現(xiàn)數(shù)據(jù)庫連接池狀態(tài)時了解業(yè)務(wù)處理狀態(tài)件錯誤log日志監(jiān)控性能根據(jù)關(guān)鍵字進行日志錯誤告警緩存 實現(xiàn)中間件緩存監(jiān)控 提升中間件訪問性能線程池 查看中間件繁忙線程數(shù) 優(yōu)化中間件參數(shù)配置WebSphereWebLogic TomcatJBossTongWeb集群集群監(jiān) 控 與 管 理交換機CloudFirm出入外網(wǎng)管理數(shù)據(jù)審 查Cloudview身份認(rèn)證系統(tǒng)日志記錄信息告警Cloud Manager三 級 安 全 等 保 審 查CA證書CloudGaurd的價值出入外網(wǎng)數(shù)據(jù)審查CA證書身份

16、認(rèn)證系統(tǒng)日志記錄.業(yè)務(wù)數(shù)據(jù)多級云安全管理 應(yīng)用拓?fù)湟晥D根據(jù)業(yè)務(wù)關(guān)系模型，展現(xiàn)業(yè)務(wù)與IT資源之間的關(guān)聯(lián)關(guān)系，并進行集中監(jiān)控，聚焦業(yè)務(wù)，提升IT服務(wù)質(zhì)量。 應(yīng)用及運行環(huán)境的快速交付虛擬化層操作系統(tǒng)層中間件層應(yīng)用層vAppvAppTomcat WeblogicMySQLWebSphereLinuxApacheWindowsVMware配置部署工具軟件堆棧云 管 理 平 臺Ansible WarRundeck JarBMC BladeLogic SQL ScriptDataConfiguration FiChefPuppetBMC BladeLogicCA Configuration Manageme

17、ntTomcatMySQLApache WebSphere WeblogicBMC BladeLogicPXExCATHP ServerAutomationCF EngineBMC BladeLogicLinux Windowsles軟件用戶軟件部署人員XenKVM 應(yīng)用一鍵式部署，版本自動升級回退，提升業(yè)務(wù)的部署和更新速度自動化彈性與動態(tài)調(diào)配VMMySQLVMAmebaVMMySQLVMMySQLVMMySQLVMTomcatWarVMTomcatWarVMTomcatWarVMTomcatWarVM負(fù)載均衡DNSvSwitchvSwitch+/-+/-Per VMCPU 4Core x 3

18、GHzRAM 2GBStorage 20GBCPU 2Core xvSwitchBW 100MbpsLatency 1GbpsLatency 10GbpsLatency 10MbpsLatency 10000SLO2 請求響應(yīng)時間 2000msvNetwork 1基礎(chǔ)架構(gòu)Software-Defined Datacenter ServicesVDCVDC組件應(yīng)用CloudVirtualPhysical提供應(yīng)用自動化部署全生命周期管理Firewall&LBWeb servers App serversDatabase servers模板通用應(yīng)用環(huán)境模板上線運行環(huán)境（數(shù)值預(yù)報用戶）module1m

19、odule2war1moduleAmoduleBwar2上線運行環(huán)境（防災(zāi)減災(zāi)用戶）war3XXXXXXwar4XXXXXX.彈性擴展支持多租用戶更高的集群利用率易于使用的界面通過硬件整合實現(xiàn)更低的總體擁有成本利用 CloudVirtual 增強 HA/FT概述CloudVirtual 加強了對大數(shù)據(jù)工作負(fù)載的支持，包括 所有主要 Hadoop 發(fā)行版在通用 CloudVirtual 基礎(chǔ)架構(gòu)上虛擬化 Hadoop 以 實現(xiàn)無與倫比的靈活性通過集成到管理中心的管理工具幫助用戶在CloudVirtual上部署、運行及管理Hadoop集群隔離存儲和計算以實現(xiàn)彈性擴展和真正的 多租戶優(yōu)勢Hadoop

20、 堆棧：CloudVirtual 加強了對大數(shù)據(jù)工作負(fù)載的支持當(dāng)前的Hadoop：組合式 存儲/ 計算VM計算VMT1VM存儲VM存儲VMT2彈性擴展：隔離存儲和計算物理主機大數(shù)據(jù)應(yīng)用擴展輸 入 數(shù) 據(jù)文件名檢查解壓縮格式檢查業(yè)務(wù)監(jiān)視 信息入庫數(shù)據(jù)收集預(yù)處理數(shù)據(jù)分發(fā)省行業(yè) 用戶國家 級用 戶級 用戶地面 傳輸衛(wèi)星 廣播業(yè)務(wù)監(jiān)視 信息入庫臨 時 文 件 庫數(shù)據(jù)處理數(shù) 據(jù) 1數(shù) 據(jù) 2數(shù)據(jù) 3解 碼文件名 標(biāo)準(zhǔn)化圖形生 成業(yè)務(wù)監(jiān)視 信息入庫數(shù)據(jù)存儲管理數(shù)據(jù)共享元 數(shù) 據(jù) 生 成數(shù)存數(shù)據(jù)儲據(jù)入管歸庫理檔業(yè)務(wù)監(jiān)視信息入庫AF元WPT數(shù)eIP據(jù) b 程 直 生 檢 序 接 成 索 調(diào) 服用務(wù)信業(yè)信息信務(wù)

21、 息統(tǒng)息流 管計展程 理分示管 析理業(yè)務(wù)監(jiān)控業(yè)務(wù)監(jiān)視 信息入庫基實礎(chǔ)時庫庫互 聯(lián) 網(wǎng) 庫行 業(yè) 庫歸檔 庫監(jiān)視 信息 庫系統(tǒng)軟 硬件監(jiān) 視信息部 用 戶內(nèi)行業(yè) 用 戶業(yè)務(wù)值 班用戶業(yè)務(wù)管 理用戶現(xiàn)有氣象數(shù)據(jù)處理流程38收據(jù)收集流 式 計 算數(shù)據(jù)源GTS資料業(yè)務(wù) 系統(tǒng) 資料 國家 下發(fā) 資料 行業(yè) 用戶 資料其他 資料日志 數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理主數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)存儲分析數(shù)據(jù)治 理體系雷達(dá)數(shù)據(jù)預(yù)報地面大氣高空農(nóng)業(yè)生態(tài)海洋氣象輻射衛(wèi)星數(shù)據(jù)T639模式數(shù)據(jù)文件過濾文件識別格式轉(zhuǎn)換數(shù)據(jù)解析數(shù)唯一性據(jù)檢查 預(yù)處解壓縮 理數(shù) 據(jù) 分 析 數(shù) 據(jù) 存 儲模式解碼雷達(dá)解碼衛(wèi)星解碼

22、產(chǎn)品生成 質(zhì)量控制 全文檢索 統(tǒng)計分析 可擴展解碼Nosql數(shù)據(jù)庫分布式文件系統(tǒng)可交互式檢索數(shù) 據(jù) 接 口 客戶端調(diào)用（時間、空 間、數(shù)據(jù)取值）Web Service（時間、 空間、數(shù)據(jù)取值）REST服務(wù)（時間、空間、 數(shù)據(jù)取值）調(diào)用腳本（時間、空間、 數(shù)據(jù)取值）數(shù)據(jù)訪問探索式檢索圖形化展示基于大數(shù)據(jù)的氣象數(shù)據(jù)處理流程 39數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資料數(shù)值預(yù)報大氣成分資料農(nóng)業(yè)&生態(tài)氣 象資料雷達(dá)氣象服務(wù)產(chǎn)品衛(wèi)星資料采集網(wǎng)關(guān)：CollectHTTPCollectFileCollectSocketCollectTCP/UDPCollect負(fù)載均衡器數(shù)據(jù)統(tǒng)一接入集群采集策略

23、配置存儲策略配置分發(fā)策略配置系統(tǒng)設(shè)置配置時效性配置 接入節(jié)點1接入節(jié)點 2系統(tǒng)監(jiān)控配置接入節(jié)點 3接入節(jié)點n數(shù)據(jù)處理分發(fā)集群收集 時效 處理 文件 拆分 處理格式檢查數(shù)據(jù) 規(guī)整Tar解地處面理/高 析空/海洋/大氣成 分氣象資 文料件解包解壓文件過 濾文件唯 一性處 理文件換 名處理輻射/農(nóng) 業(yè)/生態(tài) 氣象資 料格式檢查自定義 格式解 析數(shù)據(jù)抽 取文件 換名 處理數(shù)值預(yù) 報文件 過濾收集 時效 處理格式 檢查Grib 解析文件 識別雷達(dá)文件 換名 處理文件過濾收集 時效 處理格式 檢查文件 識別 自定 義格 式解文件 過濾唯一 性檢 查 文件 識別衛(wèi)星收集 時效 性處格式檢查文件 解包 解壓數(shù)

24、據(jù)消耗分布式文件系 統(tǒng)NoSQL數(shù)據(jù) 庫內(nèi)存計算引擎數(shù)據(jù)統(tǒng)一接入本地目錄遠(yuǎn)程目錄TCP/UDP端口數(shù)據(jù)源HTTP本地日志采集集群存儲配置監(jiān)控配置系統(tǒng)設(shè)置執(zhí) 行 任 務(wù)處理集群運行配 置解析處理配置集群系 統(tǒng)設(shè)置執(zhí)行線程執(zhí)行線 程執(zhí)行線 程執(zhí)行線程任務(wù)調(diào)度表信息設(shè) 置表歸檔設(shè) 置列式數(shù)據(jù)庫數(shù)據(jù)訪問 接口WebService數(shù)據(jù)存 儲配置數(shù)據(jù)格式配置HDFS文件系統(tǒng)批處理模 式處理批處理架構(gòu)流處理監(jiān)控系統(tǒng)采集集群監(jiān) 控處理集群監(jiān)控接收消息 監(jiān)控處理任務(wù)監(jiān)控370TB/天120萬條記 錄/s百億條 記錄秒 級返回數(shù)據(jù)采集流程數(shù)據(jù)源地面氣象資 料高空氣象資 料海洋氣象資 料氣象輻射資 料農(nóng)業(yè)&生態(tài)氣

25、象資料數(shù)值預(yù)報大氣成分資 料雷達(dá)氣象服務(wù)產(chǎn) 品衛(wèi)星資料數(shù)據(jù)采集集群Spark數(shù)據(jù)加工處理集群HDFS/ParaStor（數(shù)據(jù)存儲）資源管理調(diào)度Tar解碼BUFR解碼GRIB解碼ASCII文件解碼ImpalaSpark（Spark Streaming/Spark SQL)MapReduceHBAE/Hive分鐘數(shù)據(jù)產(chǎn)品 生成 質(zhì)量控制算法時值數(shù)據(jù)統(tǒng)計日值數(shù)據(jù)統(tǒng)計均值數(shù)據(jù)統(tǒng)計月值數(shù)據(jù)統(tǒng)計年值數(shù)據(jù)統(tǒng)計全文檢索監(jiān)控系統(tǒng)設(shè)備監(jiān)控訪問監(jiān)控存儲監(jiān)控權(quán)限管理告警管理統(tǒng)計分析策略配置并發(fā)監(jiān)控日志信息/審計信息日志信息/ 審計信息基于內(nèi)存的數(shù)據(jù)加工處理區(qū)域站、觀測站、ECMWF確定性模式、雷達(dá)基數(shù)據(jù)等；存儲內(nèi)容行

26、列存儲區(qū)別列存儲優(yōu)勢讀取需要數(shù)據(jù)，降低IO數(shù)據(jù)量壓縮編碼降低存儲空間讀取需要列，支持向量運算，具有更好掃描性能優(yōu)勢優(yōu)勢基于列式存儲的NoSQL數(shù)據(jù)庫，提高訪問性能；建立索引提高檢索速度任意維度任意尺度訪問數(shù)據(jù)數(shù)據(jù)訪問時效控制在秒級范圍內(nèi)數(shù)據(jù)存儲-行列混合存儲存儲內(nèi)容衛(wèi)星數(shù)據(jù)、T639模式數(shù)據(jù)等大文件數(shù)據(jù)索引控制器索引控制器索引控制器索引控制器數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器管 理 控 制 器管 理 控 制 器管理網(wǎng)數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器歸檔/回遷數(shù)據(jù)遷移數(shù)據(jù)遷移并發(fā)讀寫并發(fā)讀寫并發(fā)讀寫Linux、Windows客戶端/NFS/CIFS/POSIX API/HDFS/HTTP/FTP/RE

27、ST/SOAP/SNMP元數(shù)據(jù)讀寫數(shù)據(jù)存儲-分布式文件系統(tǒng)需求梳理及 行業(yè)發(fā)展趨勢01氣象行業(yè)解決方案02案例分析04目錄44基于氣象業(yè)務(wù)需求，本次測試主要面向大數(shù)據(jù)的實時檢索分析能力進行測試，包括數(shù)據(jù)檢索、實時統(tǒng) 計分析、實時交互分析、穩(wěn)定性、容錯性和高并發(fā)等能力測試。數(shù)據(jù)類型國家氣象信息中心整編下發(fā)的中國地面逐小時資料，TXT文件格式每條記錄95個字段，包括風(fēng)、降水量、溫度、濕度、氣壓、云等要素信息T639模式單場單要素，數(shù)據(jù)格式為grid數(shù)據(jù)規(guī)模提供2012年6月30日地面觀測樣例數(shù)據(jù)，112493條 基于提供的樣例數(shù)據(jù)，生成60億條測試數(shù)據(jù)提供T639模式單場單要素，10條基于提供的樣

28、例數(shù)據(jù)，生成100萬條測試數(shù)據(jù)測試場景數(shù)據(jù)導(dǎo)入 測試數(shù)據(jù)導(dǎo)入的性能填圖數(shù)據(jù)獲取 測試在高并發(fā)場景下，快速提取填圖數(shù)據(jù)的能力 長時間序列數(shù)據(jù)獲取 測試獲取長時間序列要素數(shù)據(jù)的能力統(tǒng)計分析 針對原始數(shù)據(jù)，測試對要素信息的聚合統(tǒng)計能力，數(shù)據(jù)更新，可以實時反映在聚合結(jié)果中數(shù)據(jù)預(yù)報數(shù)據(jù)快速獲取能力氣象局測試背景Xeon E5-2620v3 2.4G 15M 6C*2 I620-G20 CPU散熱片*216G DDR4 2133 ECC REG 內(nèi)存*8300G 2.5吋 10K 6Gb SAS*2480G 2.5寸 SATA 6Gb MLC SSD*6硬盤盤盒D12*8 550W雙電源模塊 PCI-E雙

29、口10G多模光纖網(wǎng)卡（含光模塊）S1：板載2G Cache RAID、3PCIE、2塊4盤位背板、千 兆雙口高端RJ45網(wǎng)卡物理結(jié)構(gòu)地面觀測數(shù)據(jù)1974197519762025node1node2node4node5node3node6數(shù)據(jù)分布并發(fā)度24加載速率44537條/秒，約267萬條/分鐘總加載時間38小時總加載數(shù)據(jù)量60億占用空間7TB測試要求：導(dǎo)入性能大于20萬/分鐘數(shù)據(jù)導(dǎo)入494919420688619615001000200015002500測試要求：按某一時間點（以整點小時為檢索條件）檢索中國地面逐小時資料降水量數(shù)據(jù)500并發(fā)1s內(nèi)返回結(jié)果，900并發(fā)2s內(nèi)返回結(jié)果查詢耗時降水要素填圖數(shù)據(jù)獲取050100查詢耗時500指數(shù) (查詢耗時)900505024225629884072600050004000300020001000測試要求：按某一時間點（以整點小時為檢索條件）檢索中國地面逐小時資料填圖數(shù)據(jù)5s內(nèi)返回結(jié)果查詢耗時全要素填圖數(shù)據(jù)獲取050100查詢耗時500指數(shù) (查詢耗時)900測試要求：在近5